fio磁盘测试结果

Question

为什么我的微软云服务器测试出来的结果值多次测试结果不同。
你们的云服务器一般测出来的结果是多少？
以下是一次的结果
readjob: (g=0): rw=read, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
writejob: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
randreadjob: (g=0): rw=randread, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
randwritejob: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
fio-2.2.10
Starting 4 processes
Jobs: 1 (f=1): [_(2),r(1),_(1)] [100.0% done] [32020KB/0KB/0KB /s] [8005/0/0 iops] [eta 00m:00s]    
readjob: (groupid=0, jobs=1): err= 0: pid=125855: Wed Jun 13 14:00:33 2018
  read : io=204800KB, bw=38039KB/s, iops=9509, runt=  5384msec
    clat (usec): min=0, max=609098, avg=103.10, stdev=4372.83
     lat (usec): min=0, max=609098, avg=103.29, stdev=4372.83
    clat percentiles (usec):
     |  1.00th=[    0],  5.00th=[    0], 10.00th=[    0], 20.00th=[    0],
     | 30.00th=[    1], 40.00th=[    1], 50.00th=[    1], 60.00th=[    1],
     | 70.00th=[    1], 80.00th=[    1], 90.00th=[    1], 95.00th=[    1],
     | 99.00th=[  169], 99.50th=[  652], 99.90th=[39680], 99.95th=[42240],
     | 99.99th=[98816]
    bw (KB  /s): min=  465, max=59844, per=100.00%, avg=40150.44, stdev=24846.40
    lat (usec) : 2=96.46%, 4=1.24%, 10=0.24%, 20=0.20%, 50=0.52%
    lat (usec) : 100=0.23%, 250=0.25%, 500=0.26%, 750=0.18%, 1000=0.06%
    lat (msec) : 2=0.02%, 4=0.20%, 10=0.01%, 20=0.01%, 50=0.13%
    lat (msec) : 100=0.01%, 500=0.01%, 750=0.01%
  cpu          : usr=0.61%, sys=2.10%, ctx=1020, majf=0, minf=11
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=51200/w=0/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1
writejob: (groupid=0, jobs=1): err= 0: pid=125856: Wed Jun 13 14:00:33 2018
  write: io=204800KB, bw=906195KB/s, iops=226548, runt=   226msec
    clat (usec): min=2, max=1464, avg= 3.10, stdev=11.30
     lat (usec): min=2, max=1465, avg= 3.28, stdev=11.36
    clat percentiles (usec):
     |  1.00th=[    2],  5.00th=[    2], 10.00th=[    2], 20.00th=[    2],
     | 30.00th=[    2], 40.00th=[    2], 50.00th=[    3], 60.00th=[    3],
     | 70.00th=[    3], 80.00th=[    3], 90.00th=[    4], 95.00th=[    5],
     | 99.00th=[    8], 99.50th=[   11], 99.90th=[   44], 99.95th=[  141],
     | 99.99th=[  588]
    lat (usec) : 4=89.90%, 10=9.33%, 20=0.54%, 50=0.14%, 100=0.03%
    lat (usec) : 250=0.03%, 500=0.02%, 750=0.01%
    lat (msec) : 2=0.01%
  cpu          : usr=12.00%, sys=86.67%, ctx=45, majf=0, minf=11
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=51200/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1
randreadjob: (groupid=0, jobs=1): err= 0: pid=125857: Wed Jun 13 14:00:33 2018
  read : io=204800KB, bw=9272.5KB/s, iops=2318, runt= 22087msec
    clat (usec): min=28, max=3400.3K, avg=427.54, stdev=18971.66
     lat (usec): min=28, max=3400.3K, avg=427.80, stdev=18971.66
    clat percentiles (usec):
     |  1.00th=[   37],  5.00th=[   42], 10.00th=[   45], 20.00th=[   47],
     | 30.00th=[   49], 40.00th=[   52], 50.00th=[   57], 60.00th=[   62],
     | 70.00th=[   70], 80.00th=[   83], 90.00th=[  121], 95.00th=[  350],
     | 99.00th=[ 2832], 99.50th=[ 3472], 99.90th=[40192], 99.95th=[42752],
     | 99.99th=[1003520]
    bw (KB  /s): min=    1, max=32912, per=71.66%, avg=13288.13, stdev=13203.09
    lat (usec) : 50=30.57%, 100=56.10%, 250=7.42%, 500=2.97%, 750=0.48%
    lat (usec) : 1000=0.25%
    lat (msec) : 2=0.06%, 4=1.72%, 10=0.11%, 20=0.08%, 50=0.21%
    lat (msec) : 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%, 2000=0.01%
    lat (msec) : >=2000=0.01%
  cpu          : usr=0.86%, sys=3.04%, ctx=51282, majf=0, minf=10
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=51200/w=0/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1
randwritejob: (groupid=0, jobs=1): err= 0: pid=125858: Wed Jun 13 14:00:33 2018
  write: io=204800KB, bw=607715KB/s, iops=151928, runt=   337msec
    clat (usec): min=2, max=1164, avg= 4.34, stdev=11.44
     lat (usec): min=2, max=1164, avg= 4.52, stdev=11.64
    clat percentiles (usec):
     |  1.00th=[    2],  5.00th=[    3], 10.00th=[    3], 20.00th=[    3],
     | 30.00th=[    3], 40.00th=[    4], 50.00th=[    4], 60.00th=[    4],
     | 70.00th=[    4], 80.00th=[    4], 90.00th=[    5], 95.00th=[    6],
     | 99.00th=[   11], 99.50th=[   16], 99.90th=[  135], 99.95th=[  306],
     | 99.99th=[  426]
    lat (usec) : 4=36.45%, 10=62.07%, 20=1.10%, 50=0.25%, 100=0.02%
    lat (usec) : 250=0.04%, 500=0.06%, 750=0.01%
    lat (msec) : 2=0.01%
  cpu          : usr=8.04%, sys=78.27%, ctx=112, majf=0, minf=10
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=51200/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1Run status group 0 (all jobs):
   READ: io=409600KB, aggrb=18544KB/s, minb=9272KB/s, maxb=38038KB/s, mint=5384msec, maxt=22087msec
  WRITE: io=409600KB, aggrb=1186.1MB/s, minb=607715KB/s, maxb=906194KB/s, mint=226msec, maxt=337msecDisk stats (read/write):
  sdc: ios=50848/3899, merge=0/2809, ticks=38424/1162064, in_queue=1200472, util=97.58%

Answer 1

你测的是RAID卡还是HBA卡？ioengine和iodepth这两个参数设置的不是很合理，sync模式不符合现代操作系统和硬件的特性，最好改成async。iodepth太浅，完全无法发挥出系统缓存和控制器缓存的能力。
ioengine和iodepth设置不合理的情况下，受其他因素影响比较大，因为处于一个相对慢速的环境，如果能够把参数都设置对，让性能冲到接近硬件最大能力，波动就会小很多。