クラウド ベンチマーク比較 Nifty v.s. Cloudn v.s. Sakura

クラウドを導入するにあたり、ベンチマーク比較をしてみた。比較は Nifty,Cloudn,さくらの3社。

ベンチマークソフトはBYTE UNIX Benchmarks (Version 5.1.3)を利用した。

条件 各社1CPUプランでの性能比較とした

Ubuntu 16.04 64bit Plain
リージョン east14
Type-e(ホットスケールアップなし)
タイプ 1vCPU 1GB 5,200円/月

http://cloud.nifty.com/

Ubuntu Server 16.04.01 64bit
西日本リージョン ソーン ip-w1a
Plan v1(1CPU/2GB RAM) 3,400円/月

http://www.ntt.com/business/services/cloud/iaas/cloudn.html

Ubuntu Server 16.04.01 LTS 64bit
東京第1ゾーン
1仮想コア/1GB 20GB 2,484円/月

http://cloud.sakura.ad.jp/

1CPUという条件下では、すべてのベンチマーク指標において、さくらのクラウドが良い成績である。価格も3社比較で一番低価格でのプランであり、コストパフォーマンスにも優れているといえる。

Dhrstone.png
Dhrstone.png

整数演算においては、さくらのクラウドが他社製よりおよそ10%性能が高い事が分かる。

DoublePresision.png
DoublePresision.png

浮動小数点演算においてはNifty Cloudの性能がイマイチよくない。それに比較すると、さくらのクラウドは60%増しの性能となっている。

FileCopy.png
FileCopy.png

ファイルコピー速度については、どの会社もそこそこの値になっているが、そこでもさくらのクラウドは頭一つ出ている。

InternetSpeed.png
InternetSpeed.png

インターネット速度は、自社にあるサーバに向けてPingの応答速度を計測し、その応答速度から帯域を簡易計算した。自社サーバはnulo光回線を選択。ここでもさくらのクラウドが抜きんでて良い成績となっている。また、自社内にあるOCN光回線に向けてPing応答速度は、Cloudnが良い成績となっている。

sd

通信品質については、Ping応答速度の標準偏差をとってみた。値が大きいほどばらつきが大きい。ここでもさくらのクラウドが一番安定しており、Cloudnは通信品質に難がある結果となっている。

SystemBenchIndex.png

BYTE UNIX Benchmarksによる総合評価。30%~40%程度さくらのクラウド性能が良い評価となっている。

nifty cloudn sakura
Dhrystone 2 using register variables 23021962.9 22985109.5 25653301.9 lps
Double-Precision Whetstone 1967.0 2618.6 3145.8 MWIPS
Execl Throughput 2999.8 3335.9 5105.7 lps
File Copy 1024 bufsize 2000 maxblocks 779985.1 809556.2 1088977.5 KBps
File Copy 256 bufsize 500 maxblocks 228548.3 230669.3 286481.2 KBps
File Copy 4096 bufsize 8000 maxblocks 1886181.0 1863433.5 2272198.1 KBps
Pipe Throughput 1716220.3 1556535.2 1886231.3 lps
Pipe-based Context Switching 236051.5 249807.0 321049.9 lps
Process Creation 7647.8 9447.6 14101.8 lps
Shell Scripts (1 concurrent) 5153.5 6217.5 8440.9 lpm
Shell Scripts (8 concurrent) 684.2 798.1 894.3 lpm
System Call Overhead 2761333.7 2703841.0 3403386.5 lps
System Benchmarks Index Score 1152.5 1243.9 1587.0 point
Internet Speed 57.8 29.1 87.0 Mbps

 

========================================================================
BYTE UNIX Benchmarks (Version 5.1.3)

System: ubuntu: GNU/Linux
OS: GNU/Linux -- 4.4.0-21-generic -- #37-Ubuntu SMP Mon Apr 18 18:33:37 UTC 2016
Machine: x86_64 (x86_64)
Language: en_US.utf8 (charmap="UTF-8", collate="UTF-8")
CPU 0: Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz (5188.0 bogomips)
x86-64, MMX, Physical Address Ext, SYSENTER/SYSEXIT, SYSCALL/SYSRET
15:32:22 up 5 min, 1 user, load average: 0.51, 0.54, 0.26; runlevel 2016-10-28

------------------------------------------------------------------------
Benchmark Run: Fri Oct 28 2016 15:32:22 - 16:02:11
1 CPU in system; running 1 parallel copy of tests

Dhrystone 2 using register variables 23021962.9 lps (10.0 s, 7 samples)
Double-Precision Whetstone 1967.0 MWIPS (19.5 s, 7 samples)
Execl Throughput 2999.8 lps (29.5 s, 2 samples)
File Copy 1024 bufsize 2000 maxblocks 779985.1 KBps (30.0 s, 2 samples)
File Copy 256 bufsize 500 maxblocks 228548.3 KBps (30.0 s, 2 samples)
File Copy 4096 bufsize 8000 maxblocks 1886181.0 KBps (30.0 s, 2 samples)
Pipe Throughput 1716220.3 lps (10.0 s, 7 samples)
Pipe-based Context Switching 236051.5 lps (10.0 s, 7 samples)
Process Creation 7647.8 lps (30.0 s, 2 samples)
Shell Scripts (1 concurrent) 5153.5 lpm (60.1 s, 2 samples)
Shell Scripts (8 concurrent) 684.2 lpm (60.0 s, 2 samples)
System Call Overhead 2761333.7 lps (10.0 s, 7 samples)

System Benchmarks Index Values BASELINE RESULT INDEX
Dhrystone 2 using register variables 116700.0 23021962.9 1972.7
Double-Precision Whetstone 55.0 1967.0 357.6
Execl Throughput 43.0 2999.8 697.6
File Copy 1024 bufsize 2000 maxblocks 3960.0 779985.1 1969.7
File Copy 256 bufsize 500 maxblocks 1655.0 228548.3 1381.0
File Copy 4096 bufsize 8000 maxblocks 5800.0 1886181.0 3252.0
Pipe Throughput 12440.0 1716220.3 1379.6
Pipe-based Context Switching 4000.0 236051.5 590.1
Process Creation 126.0 7647.8 607.0
Shell Scripts (1 concurrent) 42.4 5153.5 1215.5
Shell Scripts (8 concurrent) 6.0 684.2 1140.3
System Call Overhead 15000.0 2761333.7 1840.9
========
System Benchmarks Index Score 1152.5

OCN向け
Ping結果 サイズ32008byte
平均 28.041ms
標準偏差 0.234ms
速度 18.26Mbps

Nulo向け速度
平均 8.862ms
標準偏差 0.0861ms
速度 57.79Mbps

========================================================================
BYTE UNIX Benchmarks (Version 5.1.3)

System: bench: GNU/Linux
OS: GNU/Linux -- 4.4.0-31-generic -- #50-Ubuntu SMP Wed Jul 13 00:07:12 UTC 2016
Machine: x86_64 (x86_64)
Language: en_US.utf8 (charmap="UTF-8", collate="UTF-8")
CPU 0: QEMU Virtual CPU version (cpu64-rhel6) (3990.4 bogomips)
x86-64, MMX, Physical Address Ext, SYSCALL/SYSRET
07:17:15 up 3:27, 1 user, load average: 0.00, 0.00, 0.00; runlevel 2016-10-28

------------------------------------------------------------------------
Benchmark Run: Fri Oct 28 2016 07:17:15 - 07:45:22
1 CPU in system; running 1 parallel copy of tests

Dhrystone 2 using register variables 22985109.5 lps (10.0 s, 7 samples)
Double-Precision Whetstone 2618.6 MWIPS (9.3 s, 7 samples)
Execl Throughput 3335.9 lps (29.7 s, 2 samples)
File Copy 1024 bufsize 2000 maxblocks 809556.2 KBps (30.0 s, 2 samples)
File Copy 256 bufsize 500 maxblocks 230669.3 KBps (30.0 s, 2 samples)
File Copy 4096 bufsize 8000 maxblocks 1863433.5 KBps (30.0 s, 2 samples)
Pipe Throughput 1556535.2 lps (10.0 s, 7 samples)
Pipe-based Context Switching 249807.0 lps (10.0 s, 7 samples)
Process Creation 9447.6 lps (30.0 s, 2 samples)
Shell Scripts (1 concurrent) 6217.5 lpm (60.0 s, 2 samples)
Shell Scripts (8 concurrent) 798.1 lpm (60.1 s, 2 samples)
System Call Overhead 2703841.0 lps (10.0 s, 7 samples)

System Benchmarks Index Values BASELINE RESULT INDEX
Dhrystone 2 using register variables 116700.0 22985109.5 1969.6
Double-Precision Whetstone 55.0 2618.6 476.1
Execl Throughput 43.0 3335.9 775.8
File Copy 1024 bufsize 2000 maxblocks 3960.0 809556.2 2044.3
File Copy 256 bufsize 500 maxblocks 1655.0 230669.3 1393.8
File Copy 4096 bufsize 8000 maxblocks 5800.0 1863433.5 3212.8
Pipe Throughput 12440.0 1556535.2 1251.2
Pipe-based Context Switching 4000.0 249807.0 624.5
Process Creation 126.0 9447.6 749.8
Shell Scripts (1 concurrent) 42.4 6217.5 1466.4
Shell Scripts (8 concurrent) 6.0 798.1 1330.2
System Call Overhead 15000.0 2703841.0 1802.6
========
System Benchmarks Index Score 1243.9

OCN向け速度
平均 19.597ms
標準偏差 0.394ms
速度 26.13Mbps

Nulo向け速度
平均 17.594ms
標準偏差 0.599ms
速度 29.108Mbps

 

========================================================================
BYTE UNIX Benchmarks (Version 5.1.3)

System: bench: GNU/Linux
OS: GNU/Linux -- 4.4.0-43-generic -- #63-Ubuntu SMP Wed Oct 12 13:48:03 UTC 2016
Machine: x86_64 (x86_64)
Language: en_US.utf8 (charmap="UTF-8", collate="UTF-8")
CPU 0: Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz (4589.4 bogomips)
x86-64, MMX, Physical Address Ext, SYSENTER/SYSEXIT, SYSCALL/SYSRET
21:31:48 up 4:34, 2 users, load average: 0.00, 0.00, 0.00; runlevel 2016-10-28

------------------------------------------------------------------------
Benchmark Run: Fri Oct 28 2016 21:31:48 - 22:00:01
1 CPU in system; running 1 parallel copy of tests

Dhrystone 2 using register variables 25653301.9 lps (10.0 s, 7 samples)
Double-Precision Whetstone 3145.8 MWIPS (9.9 s, 7 samples)
Execl Throughput 5105.7 lps (29.8 s, 2 samples)
File Copy 1024 bufsize 2000 maxblocks 1088977.5 KBps (30.0 s, 2 samples)
File Copy 256 bufsize 500 maxblocks 286481.2 KBps (30.0 s, 2 samples)
File Copy 4096 bufsize 8000 maxblocks 2272198.1 KBps (30.0 s, 2 samples)
Pipe Throughput 1886231.3 lps (10.0 s, 7 samples)
Pipe-based Context Switching 321049.9 lps (10.0 s, 7 samples)
Process Creation 14101.8 lps (30.0 s, 2 samples)
Shell Scripts (1 concurrent) 8440.9 lpm (60.0 s, 2 samples)
Shell Scripts (8 concurrent) 894.3 lpm (60.1 s, 2 samples)
System Call Overhead 3403386.5 lps (10.0 s, 7 samples)

System Benchmarks Index Values BASELINE RESULT INDEX
Dhrystone 2 using register variables 116700.0 25653301.9 2198.2
Double-Precision Whetstone 55.0 3145.8 572.0
Execl Throughput 43.0 5105.7 1187.4
File Copy 1024 bufsize 2000 maxblocks 3960.0 1088977.5 2749.9
File Copy 256 bufsize 500 maxblocks 1655.0 286481.2 1731.0
File Copy 4096 bufsize 8000 maxblocks 5800.0 2272198.1 3917.6
Pipe Throughput 12440.0 1886231.3 1516.3
Pipe-based Context Switching 4000.0 321049.9 802.6
Process Creation 126.0 14101.8 1119.2
Shell Scripts (1 concurrent) 42.4 8440.9 1990.8
Shell Scripts (8 concurrent) 6.0 894.3 1490.6
System Call Overhead 15000.0 3403386.5 2268.9
========
System Benchmarks Index Score 1587.0

OCN向け
平均 25.709ms
標準偏差 0.357ms
速度 19.92Mbps

Nulo向け速度
平均 5.884ms
標準偏差 0.0630ms
速度 87.04Mbps

ベンチマークソフトの使い方はこちら

Linuxをベンチマークしてみる

通信速度の試算方法
OCN光とNulo光にある自前サーバまでのPing結果解析

pingコマンド例

ping -s 1400 -M do 相手先IPアドレス
32008 bytes from 自前サーバ (IPアドレス): icmp_seq=101 ttl=239 time=24.9 ms
awk ‘{ print $6″,”$8 }’ ping.text |sed s/icmp_seq=// |sed s/time=// |less

この中からping結果が安定しそうな101回目〜200回目を抽出して平均と標準偏差を出す
帯域≒(データ・サイズ×2)÷所要時間×8 [bit/s]
として通信速度を簡易計算