[prev in list] [next in list] [prev in thread] [next in thread] 

List:       opensolaris-tools-discuss
Subject:    [tools-discuss] Re: [perf-discuss] cpu performance counters
From:       "=?GB2312?B?zNW93SBFdWxlciBUYW8=?=" <eulertao () gmail ! com>
Date:       2007-06-18 15:24:54
Message-ID: e31dc64a0706180824j1c42cbabhe37b5c5a9dd83485 () mail ! gmail ! com
[Download RAW message or body]

[Attachment #2 (multipart/alternative)]


Hi, Jean

Thank you for your explaination and your helpful advices :)
It seems you're right. After reading your guess, it reminded me that
something I've read from a book, Solairs Performance and Tools, and the
author talked about the decaying problem in this book.


2007/6/18, Jean-Francois Richard <jfr@nortel.com>:
>
>  Hi
>
> I don't know enough about the specifics for Open Solaris so the
> following is based on the guess that it is the same as regular Solaris (the
> fact that your vmstat r queue is at values like 7 and that idle CPU is at 0%
> but prstat shows only about 4% CPU makes this feel like a good guess) .
> Historically, Solaris used the "pcpu" parameter to display CPU against
> individual processes in prstat (or as part of ps -ef with the -o option). As
> pcpu is based on a slowly decaying average (equivalent to exponential
> weighting over the last minute) it deals poorly with processes with short
> lives such as the one you have (your example from your snap shot below shows
> that the CPU times are all very low - suggesting processes which don't stay
> up for long). Typically, changing the prstat refresh time doesn't change
> anything because the %cpu it is displaying remains the decaying average over
> the last minute. Alternatives could be prstat with the -m option if it is
> supported.  The TOP tool
>

yes,  -m option works partially. It shows the whole system's user and system
CPU percentage correctly, but to each process, they all look idle as well,
and no short lives are displayed either.

 changed how it calculates per process CPU% for Solaris (it stopped
> displaying the pcpu parameter and started to calculate %cpu based on the
> increases in cpu time) as of version 3.6, so you might want to give that a
> try. Because TOP calculates CPU% of the processes based on CPU time, going
> to a shorter refresh rate actually does help to improve accuracy for short
> processes...  but it can't go below 1 second.  Many short lived processes
> live less than one second. I don't know
>

TOP doesn't work correctly, it ignores all the short lives as well as the
prstat. But the whole system's user and system CPU percentage are correct in
TOP.

 Dtrace that well but look forward to having a good tools to deal with this
> type of situation.
>

Yes, DTrace works! I've used the dtrace script named shortlived.d introduced
by ,Matty in his email and the result is:

root@dell:~/performance/DTraceToolkit-0.96/Bin# ./shortlived.d
Tracing... Hit Ctrl-C to stop.
^C
short lived processes:     15.941 secs
total sample duration:     20.880 secs

Total time by process name,
             mkdir           26 ms
                mv           36 ms
             lint2           37 ms
              date           40 ms
              lint          642 ms
                sh          678 ms
             dmake         1422 ms
             lint1        12690 ms

Total time by PPID,
             26628            5 ms
             26637            5 ms
             26643            5 ms
             26659            5 ms
             26665            5 ms
             26682            5 ms
             26691            5 ms
             26697            5 ms
             26715            5 ms
             26721            5 ms
             26739            5 ms
             26748            5 ms
             26754            6 ms
             26653            7 ms
             26678            7 ms
             26699            7 ms
             26709            7 ms
             26723            7 ms
             26727            7 ms
             26733            7 ms
             24185            8 ms
             26621            8 ms
             26624            8 ms
             26675            8 ms
             26703            8 ms
             26768            8 ms
             26780            8 ms
             26784            8 ms
             26788            8 ms
             26792            8 ms
             26796            8 ms
             26800            8 ms
             26804            8 ms
             26808            8 ms
             26812            8 ms
             26820            8 ms
             26828            8 ms
             26840            8 ms
             26844            8 ms
             26860            8 ms
             26872            8 ms
             26756            9 ms
             26757            9 ms
             26764            9 ms
             26776            9 ms
             26816            9 ms
             26824            9 ms
             26832            9 ms
             26836            9 ms
             26848            9 ms
             26852            9 ms
             26856            9 ms
             26864            9 ms
             26873            9 ms
             26772           10 ms
             26845           10 ms
             26861           10 ms
             26667           11 ms
             26765           11 ms
             26837           11 ms
             26865           11 ms
             26613           12 ms
             26645           12 ms
             26773           12 ms
             26777           12 ms
             26797           12 ms
             26801           12 ms
             26825           12 ms
             26833           12 ms
             26841           12 ms
             26607           13 ms
             26648           13 ms
             26670           13 ms
             26758           13 ms
             26759           13 ms
             26769           13 ms
             26785           13 ms
             26789           13 ms
             26793           13 ms
             26805           13 ms
             26809           13 ms
             26813           13 ms
             26817           13 ms
             26821           13 ms
             26829           13 ms
             26853           13 ms
             26616           14 ms
             26700           14 ms
             26704           14 ms
             26728           14 ms
             26781           14 ms
             26849           14 ms
             26857           14 ms
             26610           15 ms
             26674           15 ms
             26724           15 ms
             26652           16 ms
             26708           23 ms
             26732           23 ms
             26737           24 ms
             26874           33 ms
             26626           39 ms
             26680           39 ms
             26862           46 ms
             26620           48 ms
             26590           51 ms
             26713           60 ms
             26689           61 ms
             26635           67 ms
             26657           67 ms
             26766          144 ms
             26866          147 ms
             26838          152 ms
             26846          155 ms
             26625          163 ms
             26679          163 ms
             26746          177 ms
             26842          180 ms
             26668          205 ms
             26646          206 ms
             26656          211 ms
             26634          214 ms
             26688          250 ms
             26712          252 ms
             26761          255 ms
             26790          263 ms
             26798          263 ms
             26806          264 ms
             26814          265 ms
             26818          265 ms
             26826          266 ms
             26810          267 ms
             26822          267 ms
             26778          270 ms
             26834          270 ms
             26770          271 ms
             26774          271 ms
             26671          273 ms
             26649          275 ms
             26802          275 ms
             26854          292 ms
             26608          351 ms
             26830          360 ms
             26614          366 ms
             26794          374 ms
             26850          391 ms
             26705          410 ms
             26729          412 ms
             26760          430 ms
             26786          442 ms
             26858          459 ms
             26617          510 ms
             26782          546 ms
             26725          549 ms
             26701          556 ms
             26611          694 ms

root@dell:~/performance/DTraceToolkit-0.96/Bin#


YES! DTRACE CATCHED THESE SHORT LIVES!



>
> Hope it helps and others, please correct me if I am saying anything wrong
> or that doesn't apply to OpenSolaris,
>
> JF.
>
>  ------------------------------
> *From:* perf-discuss-bounces@opensolaris.org [mailto:
> perf-discuss-bounces@opensolaris.org] *On Behalf Of *eulertao@gmail.com
> *Sent:* Monday, June 18, 2007 8:28 AM
> *To:* opensolaris-discuss@opensolaris.org; tools-discuss@opensolaris.org;
> perf-discuss@opensolaris.org
> *Subject:* [perf-discuss] cpu performance counters obtained by vmstat and
> prstat look conflict
>
>
>  Dear all:
>
> I'm compiling the ON build 65's source code now, using "nightly
> opensolaris.sh" command.
>
> The prstat reports that system is very idle, but the load average tells me
> that the system is very busy. -,-
> And then I check the vmstat report, it shows the system is busy now, too.
> Following are the reports, what's the problem?
>
> ps, My system is a dell workstation with a P4 1.7G CPU and 512MB memory.
>
>    PID USERNAME  SIZE   RSS STATE  PRI NICE      TIME  CPU PROCESS/NLWP
>   6673 root       13M   12M sleep   35    0   0:00:02 2.9% dmake/1
>   9086 root     5672K 3396K run     35    0   0:00:00 0.5% acomp/1
>   6634 root     2080K 1344K sleep   59    0   0:00:00 0.2% vmstat/1
>   9080 root     9640K 6576K run     15    0   0:00:00 0.2% ube/1
>   8383 root     4320K 2764K cpu0    59    0   0:00:00 0.1% prstat/1
>   7720 root     8112K 3928K sleep   59    0   0:00:00 0.0% sshd/1
>   9083 root     1140K  876K sleep   35    0   0:00:00 0.0% sh/1
>   9071 root     1200K  920K run     15    0   0:00:00 0.0% cc/1
>   9069 root     1140K  876K sleep   45    0   0:00:00 0.0% sh/1
>   9085 root     1192K  916K sleep   35    0   0:00:00 0.0% cc/1
>   9070 root      996K  688K sleep   35    0   0:00:00 0.0% cw/1
>   9084 root      996K  668K run     25    0   0:00:00 0.0% cw/1
>   9082 root       13M 1320K sleep   35    0   0:00:00 0.0% dmake/1
>   9068 root       13M 1316K sleep   45    0   0:00:00 0.0% dmake/1
>   7979 root     7836K 2040K sleep   59    0   0:00:00 0.0% sshd/1
>   7984 root     2588K 1820K sleep   59    0   0:00:00 0.0% bash/1
>   7918 root     7836K 2044K sleep   59    0   0:00:01 0.0% sshd/1
>    117 daemon   4008K 1972K sleep   59    0   0:00:01 0.0% kcfd/3
>   9742 root     4012K 2552K sleep   59    0   0:00:11 0.0% nscd/25
>   5309 root       12M 6428K sleep   59    0   0:10:35 0.0% smbd/1
>   7598 root     4600K 3860K sleep   59    0   0:00:02 0.0% dmake/1
>   7597 root      972K  688K sleep   59    0   0:00:00 0.0% time/1
>  27340 root     3152K 2396K sleep   59    0   0:00:00 0.0% dmake/1
>  26430 root     3176K 2436K sleep   59    0   0:00:00 0.0% dmake/1
>
>  NPROC USERNAME  SIZE   RSS MEMORY      TIME  CPU
>     63 root      289M  138M    27%   0:21:04 *4.3%
> *     2 daemon   6332K 2960K   0.6%   0:00:01 0.0%
>      1 smmsp    6996K 1452K   0.3%   0:00:05 0.0%
>
> Total: 66 processes, 176 lwps, load averages: *2.97, 3.04, 3.03*
>
>
>
> root@dell:~#vmstat 1
>
>  kthr      memory            page            disk          faults      cpu
>  r b w   swap  free  re  mf pi po fr de sr cd f0 s0 --   in   sy   cs us
> sy id
>  0 0 0 1238652 245720 15 22 40  0  0  0  0  2  0  0  0  419  153  155  1
> 1 97
>  1 0 0 1201976 225460 1445 6769 0 67 67 0 0 7  0  0  0  317 5544  115 73
> 27  0
>  3 0 0 1190896 224480 6842 18811 0 72 72 0 0 10 0 0  0  332 11701 223 35
> 65  0
>  7 0 0 1196188 231540 4681 13909 0 99 99 0 0 10 0 0  0  340 10901 292 47
> 53  0
>  4 0 0 1196072 230308 4168 11179 0 67 67 0 0 8 0  0  0  329 11525 171 58
> 42  0
>  3 0 0 1183820 218020 1415 7525 0 28 28 0 0 6  0  0  0  325 5082  135 74
> 26  0
>  2 0 0 1189328 222504 4544 12530 0 139 139 0 0 16 0 0 0 348 10556 309 50
> 50  0
>  8 0 0 1194864 229620 5194 15550 0 36 36 0 0 11 0 0  0  333 10805 204 43
> 57  0
>  7 0 0 1195228 229536 5172 14077 0 67 67 0 0 13 0 0  0  338 10306 196 50
> 50  0
>  7 0 0 1187484 226696 4699 14620 0 115 115 0 0 11 0 0 0 336 10514 205 *45
> 55  0
> *^C
> root@dell:~#
>
> It seems that prstat doesn't report the correct CPU usage percent for some
> processes.
>
>
>
> Regards
>
> TJ
>

Regards
TJ

[Attachment #5 (text/html)]

<div>Hi, Jean</div>
<div>&nbsp;</div>
<div>Thank you for your explaination and your helpful advices :)</div>
<div>It seems you&#39;re right. After reading your guess,&nbsp;it&nbsp;reminded me \
that something&nbsp;I&#39;ve read from a book, Solairs Performance and Tools, and the \
author talked about the <font size="2">decaying problem in this book. \
</font><br><br>&nbsp;</div> <div><span class="gmail_quote">2007/6/18, Jean-Francois \
Richard &lt;<a href="mailto:jfr@nortel.com">jfr@nortel.com</a>&gt;:</span> \
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; \
BORDER-LEFT: #ccc 1px solid"> <div>
<div dir="ltr" align="left"><span><font face="Arial" size="2">Hi </font></span></div>
<div dir="ltr" align="left"><span><font face="Arial" \
size="2"></font></span>&nbsp;</div> <div dir="ltr" align="left"><span><font \
face="Arial" size="2">I don&#39;t know enough about the specifics for&nbsp;Open \
Solaris&nbsp;so the following&nbsp;is based on the guess that it is the same as \
regular Solaris (the fact that your vmstat r queue is at values like 7 and that idle \
CPU is at 0% but prstat shows only about 4% CPU makes this&nbsp;feel like a \
good&nbsp;guess)&nbsp;. Historically, Solaris used the &quot;pcpu&quot; parameter to \
display CPU against individual processes in prstat (or as part of ps -ef with the -o \
option).  </font></span><span><font face="Arial" size="2">As pcpu is based on a \
slowly decaying average (equivalent to exponential weighting over the last minute) it \
deals&nbsp;</font></span><span><font face="Arial" size="2">poorly with processes with \
short lives such as the one you have (your example from your snap shot below shows \
that the CPU times are all very low - suggesting processes which don&#39;t stay up \
for long). Typically, changing the&nbsp;prstat refresh time doesn&#39;t change \
anything because the %cpu it is displaying remains the decaying average over the last \
minute. Alternatives could be prstat with the -m option if it is supported.&nbsp; The \
TOP tool  </font></span></div></div></blockquote>
<div>&nbsp;</div>
<div>yes,&nbsp; -m option works partially. It shows the whole system&#39;s user and \
system CPU percentage correctly, but to each process, they all look idle as well, and \
no short lives are displayed either.</div><br> <blockquote class="gmail_quote" \
style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid"> \
<div> <div dir="ltr" align="left"><span><font face="Arial" size="2">changed how it \
calculates per process CPU% for Solaris (it stopped displaying the pcpu parameter and \
started to calculate %cpu based on the increases in cpu time) as of version  3.6, so \
you might want to give that a try. Because TOP calculates CPU% of the processes based \
on CPU time, going to a shorter refresh rate actually does help to improve accuracy \
for short processes... &nbsp;but it can&#39;t go below 1 second.&nbsp; Many short \
lived processes live less than one second. I don&#39;t know  \
</font></span></div></div></blockquote> <div>&nbsp;</div>
<div>TOP doesn&#39;t work correctly, it ignores all the short lives as well as the \
prstat. But the whole system&#39;s user and system CPU percentage are correct in \
TOP.</div><br> <blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px \
0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid"> <div>
<div dir="ltr" align="left"><span><font face="Arial" size="2">Dtrace that well but \
look forward to having a good tools to deal with this type of \
situation.</font></span></div></div></blockquote> <div>&nbsp;</div>
<div>Yes, DTrace works! I&#39;ve used the dtrace script named shortlived.d introduced \
by ,Matty in his&nbsp;email&nbsp;and the result is:</div> <p><a \
href="mailto:root@dell:~/performance/DTraceToolkit-0.96/Bin">root@dell:~/performance/DTraceToolkit-0.96/Bin</a># \
./shortlived.d<br>Tracing... Hit Ctrl-C to stop.<br>^C<br>short lived \
processes:&nbsp;&nbsp;&nbsp;&nbsp; 15.941 secs<br>total sample \
duration:&nbsp;&nbsp;&nbsp;&nbsp;  20.880 secs</p>
<p>Total time by process \
name,<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
mkdir&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
mv&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 36 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
lint2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 37 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
date&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
lint&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 642 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
sh&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 678 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
dmake&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1422 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
lint1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12690 ms</p> <p>Total time by \
PPID,<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26628&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26637&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26643&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26659&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26665&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26682&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26691&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26697&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26715&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26721&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26739&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26748&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26754&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26653&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26678&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26699&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26709&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26723&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26727&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26733&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
24185&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26621&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26624&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26675&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26703&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26768&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26780&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26784&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26788&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26792&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26796&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26800&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26804&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26808&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26812&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26820&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26828&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26840&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26844&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26860&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26872&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26756&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26757&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26764&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26776&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26816&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26824&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26832&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26836&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26848&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26852&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26856&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26864&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26873&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26772&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26845&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26861&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26667&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26765&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26837&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26865&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26613&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26645&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26773&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26777&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26797&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26801&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26825&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26833&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26841&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26607&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26648&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26670&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26758&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26759&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26769&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26785&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26789&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26793&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26805&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26809&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26813&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26817&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26821&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26829&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26853&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26616&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26700&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26704&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26728&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26781&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26849&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26652&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26708&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 23 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26732&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 23 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26737&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26874&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 33 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26626&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 39 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26680&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 39 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26862&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 46 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26620&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 48 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26590&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26713&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 60 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26689&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 61 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26635&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 67 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26657&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 67 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26766&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 144 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26866&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 147 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26838&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 152 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26846&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 155 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26625&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 163 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26679&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 163 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26746&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 177 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26842&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 180 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26668&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 205 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26646&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 206 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26656&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 211 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26634&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 214 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26688&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 250 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26712&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 252 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26761&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 255 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26790&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 263 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26798&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 263 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26806&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 264 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26814&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 265 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26818&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 265 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26826&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 266 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26810&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 267 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26822&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 267 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26778&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 270 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26834&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 270 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26770&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 271 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26774&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 271 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26671&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 273 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26649&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 275 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26802&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 275 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26854&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 292 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26608&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 351 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26830&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 360 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26614&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 366 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26794&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 374 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26850&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 391 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26705&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 410 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26729&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 412 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26760&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 430 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26786&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 442 ms \
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26858&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 459 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26617&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 510 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26782&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 546 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26725&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 549 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26701&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 556 \
ms<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
26611&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 694 ms </p>
<p><a href="mailto:root@dell:~/performance/DTraceToolkit-0.96/Bin">root@dell:~/performance/DTraceToolkit-0.96/Bin</a>#<br></p></div>
 <div>
<div>&nbsp;</div>
<div>&nbsp;</div>
<div>YES! DTRACE CATCHED THESE SHORT LIVES!</div>
<div><br>&nbsp;</div>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; \
BORDER-LEFT: #ccc 1px solid"> <div>
<div dir="ltr" align="left">&nbsp;</div>
<div dir="ltr" align="left"><span><font face="Arial" size="2">Hope it helps and \
others, please correct me if I am saying anything wrong or that doesn&#39;t apply to \
OpenSolaris,</font></span></div> <div dir="ltr" align="left"><span><font face="Arial" \
size="2"></font></span>&nbsp;</div> <div dir="ltr" align="left"><span><font \
face="Arial" size="2">JF.</font></span></div><br> <div lang="en-us" dir="ltr" \
align="left"> <hr>
<font face="Tahoma" size="2"><b>From:</b> <a onclick="return \
top.js.OpenExtLink(window,event,this)" \
href="mailto:perf-discuss-bounces@opensolaris.org" \
target="_blank">perf-discuss-bounces@opensolaris.org</a> [mailto:<a onclick="return \
top.js.OpenExtLink(window,event,this)" \
href="mailto:perf-discuss-bounces@opensolaris.org" target="_blank"> \
perf-discuss-bounces@opensolaris.org</a>] <b>On Behalf Of </b><a onclick="return \
top.js.OpenExtLink(window,event,this)" href="mailto:eulertao@gmail.com" \
target="_blank">eulertao@gmail.com</a><br><b>Sent:</b> Monday, June 18, 2007 8:28 AM \
<br><b>To:</b> <a onclick="return top.js.OpenExtLink(window,event,this)" \
href="mailto:opensolaris-discuss@opensolaris.org" \
target="_blank">opensolaris-discuss@opensolaris.org</a>; <a onclick="return \
top.js.OpenExtLink(window,event,this)" href="mailto:tools-discuss@opensolaris.org" \
target="_blank"> tools-discuss@opensolaris.org</a>; <a onclick="return \
top.js.OpenExtLink(window,event,this)" href="mailto:perf-discuss@opensolaris.org" \
target="_blank">perf-discuss@opensolaris.org</a><br><b>Subject:</b> [perf-discuss] \
cpu performance counters obtained by vmstat and prstat look conflict \
<br></font><br>&nbsp;</div> <div><span class="e" id="q_1133f54646bc9250_1">
<div></div>
<div>Dear all:</div>
<div>&nbsp;</div>
<div>I&#39;m compiling the ON build 65&#39;s source code now, using &quot;nightly \
opensolaris.sh&quot; command.</div> <div>&nbsp;</div>
<div>The prstat reports that system is very idle, but the load average tells me that \
the system is very busy. -,-</div> <div>And then I check the vmstat report, it shows \
the system is busy now, too.</div> <div>Following&nbsp;are the reports, what&#39;s \
the problem?</div> <div>&nbsp;</div>
<div>ps, My system is a dell workstation with a P4 1.7G CPU and 512MB memory.</div>
<div>
<p>&nbsp;&nbsp; PID USERNAME&nbsp; SIZE&nbsp;&nbsp; RSS STATE&nbsp; PRI \
NICE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; TIME&nbsp; CPU PROCESS/NLWP<br>&nbsp; 6673 \
root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13M&nbsp;&nbsp; 12M sleep&nbsp;&nbsp; \
35&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:02 2.9% dmake/1<br>&nbsp; 9086 \
root&nbsp;&nbsp;&nbsp;&nbsp; 5672K 3396K run&nbsp;&nbsp;&nbsp;&nbsp; \
35&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.5% acomp/1<br>&nbsp; 6634 \
root&nbsp;&nbsp;&nbsp;&nbsp; 2080K 1344K sleep&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; \
0&nbsp;&nbsp; 0:00:00  0.2% vmstat/1<br>&nbsp; 9080 root&nbsp;&nbsp;&nbsp;&nbsp; \
9640K 6576K run&nbsp;&nbsp;&nbsp;&nbsp; 15&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 \
0.2% ube/1<br>&nbsp; 8383 root&nbsp;&nbsp;&nbsp;&nbsp; 4320K 2764K \
cpu0&nbsp;&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.1% \
prstat/1<br>&nbsp; 7720 root&nbsp;&nbsp;&nbsp;&nbsp; 8112K 3928K sleep&nbsp;&nbsp; \
59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.0% sshd/1  <br>&nbsp; 9083 \
root&nbsp;&nbsp;&nbsp;&nbsp; 1140K&nbsp; 876K sleep&nbsp;&nbsp; 35&nbsp;&nbsp;&nbsp; \
0&nbsp;&nbsp; 0:00:00 0.0% sh/1<br>&nbsp; 9071 root&nbsp;&nbsp;&nbsp;&nbsp; \
1200K&nbsp; 920K run&nbsp;&nbsp;&nbsp;&nbsp; 15&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; \
0:00:00 0.0% cc/1<br>&nbsp; 9069 root&nbsp;&nbsp;&nbsp;&nbsp; 1140K&nbsp; 876K \
sleep&nbsp;&nbsp; 45&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.0% sh/1<br>&nbsp; 9085 \
root&nbsp;&nbsp;&nbsp;&nbsp; 1192K&nbsp; 916K sleep&nbsp;&nbsp; 35&nbsp;&nbsp;&nbsp; \
0&nbsp;&nbsp; 0:00:00  0.0% cc/1<br>&nbsp; 9070 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
996K&nbsp; 688K sleep&nbsp;&nbsp; 35&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.0% \
cw/1<br>&nbsp; 9084 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 996K&nbsp; 668K \
run&nbsp;&nbsp;&nbsp;&nbsp; 25&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.0% \
cw/1<br>&nbsp; 9082 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13M 1320K \
sleep&nbsp;&nbsp; 35&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.0% dmake/1<br>&nbsp; \
9068 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13M 1316K sleep&nbsp;&nbsp; \
45&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00  0.0% dmake/1<br>&nbsp; 7979 \
root&nbsp;&nbsp;&nbsp;&nbsp; 7836K 2040K sleep&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; \
0&nbsp;&nbsp; 0:00:00 0.0% sshd/1<br>&nbsp; 7984 root&nbsp;&nbsp;&nbsp;&nbsp; 2588K \
1820K sleep&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.0% \
bash/1<br>&nbsp; 7918 root&nbsp;&nbsp;&nbsp;&nbsp; 7836K 2044K sleep&nbsp;&nbsp; \
59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:01 0.0% sshd/1<br> &nbsp;&nbsp; 117 \
daemon&nbsp;&nbsp; 4008K 1972K sleep&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; \
0:00:01 0.0% kcfd/3<br>&nbsp; 9742 root&nbsp;&nbsp;&nbsp;&nbsp; 4012K 2552K \
sleep&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:11 0.0% nscd/25<br>&nbsp; \
5309 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12M 6428K sleep&nbsp;&nbsp; \
59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:10:35 0.0% smbd/1<br>&nbsp; 7598 \
root&nbsp;&nbsp;&nbsp;&nbsp; 4600K 3860K sleep&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; \
0&nbsp;&nbsp; 0:00:02  0.0% dmake/1<br>&nbsp; 7597 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
972K&nbsp; 688K sleep&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.0% \
time/1<br>&nbsp;27340 root&nbsp;&nbsp;&nbsp;&nbsp; 3152K 2396K sleep&nbsp;&nbsp; \
59&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 0:00:00 0.0% dmake/1<br>&nbsp;26430 \
root&nbsp;&nbsp;&nbsp;&nbsp; 3176K 2436K sleep&nbsp;&nbsp; 59&nbsp;&nbsp;&nbsp; \
0&nbsp;&nbsp; 0:00:00 0.0% dmake/1  <br><br>&nbsp;NPROC USERNAME&nbsp; \
SIZE&nbsp;&nbsp; RSS MEMORY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; TIME&nbsp; \
CPU<br>&nbsp;&nbsp;&nbsp; 63 root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 289M&nbsp; \
138M&nbsp;&nbsp;&nbsp; 27%&nbsp;&nbsp; 0:21:04 <font \
color="#ff0000"><strong>4.3%<br></strong></font>&nbsp;&nbsp;&nbsp;&nbsp; 2 \
daemon&nbsp;&nbsp; 6332K 2960K&nbsp;&nbsp; 0.6%&nbsp;&nbsp; 0:00:01 \
0.0%<br>&nbsp;&nbsp;&nbsp;&nbsp; 1 smmsp&nbsp;&nbsp;&nbsp; 6996K 1452K&nbsp;&nbsp;  \
0.3%&nbsp;&nbsp; 0:00:05 0.0%</p> <p>Total: 66 processes, 176 lwps, load averages: \
<u><strong><em><font color="#3333ff">2.97, 3.04, 3.03</font></em></strong></u></p> \
<p>&nbsp;</p> <p><a onclick="return top.js.OpenExtLink(window,event,this)" \
href="mailto:root@dell:~#vmstat" target="_blank">root@dell:~#vmstat</a>&nbsp;1</p> \
<p>&nbsp;kthr&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
memory&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
page&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; \
faults&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; cpu<br>&nbsp;r b w&nbsp;&nbsp; swap&nbsp; \
free&nbsp; re&nbsp; mf pi po fr de sr cd f0 s0 --&nbsp;&nbsp; in&nbsp;&nbsp; \
sy&nbsp;&nbsp; cs us sy id<br>&nbsp;0 0 0 1238652 245720 15 22 40&nbsp; 0&nbsp; \
0&nbsp; 0&nbsp; 0&nbsp; 2&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 419&nbsp; 153&nbsp; 155&nbsp; \
1&nbsp; 1 97  <br>&nbsp;1 0 0 1201976 225460 1445 6769 0 67 67 0 0 7&nbsp; 0&nbsp; \
0&nbsp; 0&nbsp; 317 5544&nbsp; 115 73 27&nbsp; 0<br>&nbsp;3 0 0 1190896 224480 6842 \
18811 0 72 72 0 0 10 0 0&nbsp; 0&nbsp; 332 11701 223 35 65&nbsp; 0<br>&nbsp;7 0 0 \
1196188 231540 4681 13909 0 99 99 0 0 10 0 0&nbsp; 0&nbsp; 340 10901 292 47 53&nbsp; \
0  <br>&nbsp;4 0 0 1196072 230308 4168 11179 0 67 67 0 0 8 0&nbsp; 0&nbsp; 0&nbsp; \
329 11525 171 58 42&nbsp; 0<br>&nbsp;3 0 0 1183820 218020 1415 7525 0 28 28 0 0 \
6&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 325 5082&nbsp; 135 74 26&nbsp; 0<br>&nbsp;2 0 0 \
1189328 222504 4544 12530 0 139 139 0 0 16 0 0 0 348 10556 309 50 50&nbsp; 0  \
<br>&nbsp;8 0 0 1194864 229620 5194 15550 0 36 36 0 0 11 0 0&nbsp; 0&nbsp; 333 10805 \
204 43 57&nbsp; 0<br>&nbsp;7 0 0 1195228 229536 5172 14077 0 67 67 0 0 13 0 0&nbsp; \
0&nbsp; 338 10306 196 50 50&nbsp; 0<br>&nbsp;7 0 0 1187484 226696 4699 14620 0 115 \
115 0 0 11 0 0 0 336 10514 205  <u><em><strong><font color="#3333ff">45 55&nbsp; \
0<br></font></strong></em></u>^C<br><a onclick="return \
top.js.OpenExtLink(window,event,this)" href="mailto:root@dell" \
target="_blank">root@dell</a>:~#<br></p> <p>It seems that prstat doesn&#39;t report \
the&nbsp;correct CPU usage percent for some processes.</p> <p>&nbsp;</p>
<p>Regards</p>
<p>TJ</p></div></span></div></div></blockquote></div>
<div>&nbsp;</div>
<div>Regards</div>
<div>TJ<br>&nbsp;</div>



_______________________________________________
tools-discuss mailing list
tools-discuss@opensolaris.org

[prev in list] [next in list] [prev in thread] [next in thread] 

Configure | About | News | Add a list | Sponsored by KoreLogic