...
方式 | テスト1 | テスト2 | テスト3 |
---|---|---|---|
Terracotta | ○ | ○ | ○ |
memcached | ○ | ○ | × |
Stateless Clustering | ○ | ○ | × |
アンカー | ||||
---|---|---|---|---|
|
アンカー | ||||
---|---|---|---|---|
|
アンカー | ||||
---|---|---|---|---|
|
表4-1 Terracotta方式 パターン1(2スレッド×1000回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
T1-1 | 2000 | 0 | 154.45 | 12.77 |
T1-2 | 2000 | 0 | 163.51 | 12.02 |
T1-3 | 2000 | 0 | 146.48 | 13.49 |
平均 | 2000 | 0 | 154.81 | 12.76 |
図 4-1 #T1-1の測定結果グラフ
図 4-2 #T1-2の測定結果グラフ
図 4-3 #T1-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-2 Terracotta方式 パターン2(10スレッド×200回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
T2-1 | 2000 | 0 | 649.73 | 14.91 |
T2-2 | 2000 | 0 | 600.70 | 15.50 |
T2-3 | 2000 | 0 | 620.43 | 15.64 |
平均 | 2000 | 0 | 623.62 | 15.35 |
図 4-4 #T2-1の測定結果グラフ
図 4-5 #T2-2の測定結果グラフ
図 4-6 #T2-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-3 Terracotta方式 パターン3(20スレッド×200回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
T3-1 | 4000 | 0 | 1212.99 | 15.14 |
T3-2 | 4000 | 0 | 1280.92 | 14.98 |
T3-3 | 4000 | 0 | 1214.07 | 15.55 |
平均 | 4000 | 0 | 1235.99 | 15.22 |
図 4-7 #T3-1の測定結果グラフ
図 4-8 #T3-2の測定結果グラフ
図 4-9 #T3-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
アンカー | ||||
---|---|---|---|---|
|
表4-4 memcached方式 パターン1(2スレッド×1000回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
M1-1 | 2000 | 0 | 111.97 | 17.54 |
M1-2 | 2000 | 0 | 104.96 | 18.70 |
M1-3 | 2000 | 0 | 100.73 | 19.38 |
平均 | 2000 | 0 | 105.88 | 18.54 |
図 4-10 #M1-1の測定結果グラフ
図 4-11 #M1-2の測定結果グラフ
図 4-12 #M1-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-5 memcached方式 パターン2(10スレッド×200回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
M2-1 | 2000 | 0 | 308.50 | 31.11 |
M2-2 | 2000 | 0 | 304.90 | 31.34 |
M2-3 | 2000 | 0 | 296.85 | 32.11 |
平均 | 2000 | 0 | 303.41 | 31.52 |
図 4-13 #M2-1の測定結果グラフ
図 4-14 #M2-2の測定結果グラフ
図 4-15 #M2-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-6 memcached方式 パターン3(20スレッド×200回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
M3-1 | 4000 | 0 | 493.24 | 39.01 |
M3-2 | 4000 | 0 | 487.27 | 39.59 |
M3-3 | 4000 | 0 | 484.07 | 39.79 |
平均 | 4000 | 0 | 488.19 | 39.46 |
図 4-16 #M3-1の測定結果グラフ
図 4-17 #M3-2の測定結果グラフ
図 4-18 #M3-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
アンカー | ||||
---|---|---|---|---|
|
表4-7 repcached方式 パターン1(2スレッド×1000回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
R1-1 | 2000 | 0 | 106.56 | 18.40 |
R1-2 | 2000 | 0 | 98.74 | 19.74 |
R1-3 | 2000 | 0 | 97.84 | 19.93 |
平均 | 2000 | 0 | 101.04 | 19.35 |
図 4-19 #R1-1の測定結果グラフ
図 4-20 #R1-2の測定結果グラフ
図 4-21 #R1-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-8 repcached方式 パターン2(10スレッド×200回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
R2-1 | 2000 | 0 | 304.33 | 31.22 |
R2-2 | 2000 | 0 | 299.58 | 31.57 |
R2-3 | 2000 | 0 | 296.84 | 32.18 |
平均 | 2000 | 0 | 300.25 | 31.65 |
図 4-22 #R2-1の測定結果グラフ
図 4-23 #R2-2の測定結果グラフ
図 4-24 #R2-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-9 repcached方式 パターン3(20スレッド×200回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
R3-1 | 4000 | 0 | 497.79 | 38.50 |
R3-2 | 4000 | 0 | 490.10 | 39.32 |
R3-3 | 4000 | 0 | 495.44 | 38.87 |
平均 | 4000 | 0 | 494.44 | 38.89 |
図 4-25 #R3-1の測定結果グラフ
図 4-26 #R3-2の測定結果グラフ
図 4-27 #R3-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
アンカー | ||||
---|---|---|---|---|
|
表4-10 IdP Stateless Clustering方式 パターン1(2スレッド×1000回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
S1-1 | 2000 | 0 | 80.46 | 24.05 |
S1-2 | 2000 | 0 | 74.14 | 26.08 |
S1-3 | 2000 | 0 | 70.30 | 27.36 |
平均 | 2000 | 0 | 74.96 | 25.83 |
図 4-28 #S1-1の測定結果グラフ
図 4-29 #S1-2の測定結果グラフ
図 4-30 #S1-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-11 IdP Stateless Clustering方式 パターン2(10スレッド×200回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
S2-1 | 2000 | 0 | 228.11 | 41.24 |
S2-2 | 2000 | 0 | 217.72 | 42.59 |
S2-3 | 2000 | 0 | 215.96 | 42.44 |
平均 | 2000 | 0 | 220.59 | 42.09 |
図 4-31 #S2-1の測定結果グラフ
図 4-32 #S2-2の測定結果グラフ
図 4-33 #S2-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-12 IdP Stateless Clustering方式 パターン3(20スレッド×200回)
# | Tests | Errors | MeanTestTime(ms) | TPS(トランザクション/秒) |
---|---|---|---|---|
S3-1 | 4000 | 0 | 403.31 | 46.94 |
S3-2 | 4000 | 0 | 389.94 | 48.23 |
S3-3 | 4000 | 0 | 402.58 | 46.44 |
平均 | 4000 | 0 | 398.61 | 47.20 |
図 4-34 #S3-1の測定結果グラフ
図 4-35 #S3-2の測定結果グラフ
図 4-36 #S3-3の測定結果グラフ
アンカー | ||||
---|---|---|---|---|
|
表4-13 平均一覧
# | 方式 | パターン1 | パターン2 | パターン3 |
---|---|---|---|---|
1 | Terracotta | 12.76 | 15.64 | 15.22 |
2 | memcached | 19.38 | 31.52 | 39.46 |
3 | repcached | 19.35 | 31.65 | 38.89 |
4 | Stateless Clustering | 25.83 | 42.09 | 47.20 |
アンカー | ||||
---|---|---|---|---|
|
今回行ったパフォーマンスの測定結果から判断すると同時に行う処理の数に関わらずStateless Clustering方式が他の方式より早いが、処理数が10以下と少ない場合、IdP Stateless Clustering方式、repcached方式、memcached方式とも同等の性能がでている。
なお、別紙の各環境構築手順書を見ると、Stateless Clustering方式はソースコードからjarファイルを作成する必要があり、他の方式と比べると複雑である。
Shibboleth-IdPの冗長化を導入する場合は、利用者数や構築にかけられるコストなどから判断して、利用する方式を選択することが望ましい。