子ページ
  • IdPClusteringPerformance

比較バージョン

キー

  • この行は追加されました。
  • この行は削除されました。
  • 書式設定が変更されました。

...

方式

テスト1

テスト2

テスト3

Terracotta

memcached

×

Stateless Clustering

×




アンカー
_Toc315862096
_Toc315862096
5. パフォーマンス測定結果

アンカー
_Toc315862097
_Toc315862097
5.1. Terracotta方式

アンカー
_Toc315862098
_Toc315862098
5.1.1. パターン1(2スレッド×1000回)

表4-1 Terracotta方式 パターン1(2スレッド×1000回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

T1-1

2000

0

154.45

12.77

T1-2

2000

0

163.51

12.02

T1-3

2000

0

146.48

13.49

平均

2000

0

154.81

12.76


図 4-1 #T1-1の測定結果グラフ

図 4-2 #T1-2の測定結果グラフ

図 4-3 #T1-3の測定結果グラフ

アンカー
_Toc315862099
_Toc315862099
5.1.2. パターン2(10スレッド×200回)

表4-2 Terracotta方式 パターン2(10スレッド×200回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

T2-1

2000

0

649.73

14.91

T2-2

2000

0

600.70

15.50

T2-3

2000

0

620.43

15.64

平均

2000

0

623.62

15.35


図 4-4 #T2-1の測定結果グラフ

図 4-5 #T2-2の測定結果グラフ

図 4-6 #T2-3の測定結果グラフ

アンカー
_Toc315862100
_Toc315862100
5.1.3. パターン3(20スレッド×200回)

表4-3 Terracotta方式 パターン3(20スレッド×200回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

T3-1

4000

0

1212.99

15.14

T3-2

4000

0

1280.92

14.98

T3-3

4000

0

1214.07

15.55

平均

4000

0

1235.99

15.22


図 4-7 #T3-1の測定結果グラフ

図 4-8 #T3-2の測定結果グラフ

図 4-9 #T3-3の測定結果グラフ

アンカー
_Toc315862101
_Toc315862101
5.2. memcached方式

アンカー
_Toc315862102
_Toc315862102
5.2.1. パターン1(2スレッド×1000回)

表4-4  memcached方式  パターン1(2スレッド×1000回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

M1-1

2000

0

111.97

17.54

M1-2

2000

0

104.96

18.70

M1-3

2000

0

100.73

19.38

平均

2000

0

105.88

18.54


図 4-10 #M1-1の測定結果グラフ

図 4-11 #M1-2の測定結果グラフ

図 4-12 #M1-3の測定結果グラフ

アンカー
_Toc315862103
_Toc315862103
5.2.2. パターン2(10スレッド×200回)

表4-5 memcached方式 パターン2(10スレッド×200回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

M2-1

2000

0

308.50

31.11

M2-2

2000

0

304.90

31.34

M2-3

2000

0

296.85

32.11

平均

2000

0

303.41

31.52


図 4-13 #M2-1の測定結果グラフ

図 4-14 #M2-2の測定結果グラフ

図 4-15 #M2-3の測定結果グラフ

アンカー
_Toc315862104
_Toc315862104
5.2.3. パターン3(20スレッド×200回)

表4-6 memcached方式 パターン3(20スレッド×200回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

M3-1

4000

0

493.24

39.01

M3-2

4000

0

487.27

39.59

M3-3

4000

0

484.07

39.79

平均

4000

0

488.19

39.46


図 4-16 #M3-1の測定結果グラフ

図 4-17 #M3-2の測定結果グラフ

図 4-18 #M3-3の測定結果グラフ

アンカー
_Toc315862105
_Toc315862105
5.3. repcached方式

アンカー
_Toc315862106
_Toc315862106
5.3.1. パターン1(2スレッド×1000回)

表4-7 repcached方式 パターン1(2スレッド×1000回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

R1-1

2000

0

106.56

18.40

R1-2

2000

0

98.74

19.74

R1-3

2000

0

97.84

19.93

平均

2000

0

101.04

19.35


図 4-19 #R1-1の測定結果グラフ

図 4-20 #R1-2の測定結果グラフ

図 4-21 #R1-3の測定結果グラフ

アンカー
_Toc315862107
_Toc315862107
5.3.2. パターン2(10スレッド×200回)

表4-8 repcached方式 パターン2(10スレッド×200回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

R2-1

2000

0

304.33

31.22

R2-2

2000

0

299.58

31.57

R2-3

2000

0

296.84

32.18

平均

2000

0

300.25

31.65


図 4-22 #R2-1の測定結果グラフ

図 4-23 #R2-2の測定結果グラフ

図 4-24 #R2-3の測定結果グラフ

アンカー
_Toc315862108
_Toc315862108
5.3.3. パターン3(20スレッド×200回)

表4-9 repcached方式 パターン3(20スレッド×200回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

R3-1

4000

0

497.79

38.50

R3-2

4000

0

490.10

39.32

R3-3

4000

0

495.44

38.87

平均

4000

0

494.44

38.89


図 4-25 #R3-1の測定結果グラフ

図 4-26 #R3-2の測定結果グラフ

図 4-27 #R3-3の測定結果グラフ

アンカー
_Toc315862109
_Toc315862109
5.4. IdP Stateless Clustering方式

アンカー
_Toc315862110
_Toc315862110
5.4.1. パターン1(2スレッド×1000回)

表4-10 IdP Stateless Clustering方式 パターン1(2スレッド×1000回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

S1-1

2000

0

80.46

24.05

S1-2

2000

0

74.14

26.08

S1-3

2000

0

70.30

27.36

平均

2000

0

74.96

25.83


図 4-28 #S1-1の測定結果グラフ

図 4-29 #S1-2の測定結果グラフ

図 4-30 #S1-3の測定結果グラフ

アンカー
_Toc315862111
_Toc315862111
5.4.2. パターン2(10スレッド×200回)

表4-11 IdP Stateless Clustering方式 パターン2(10スレッド×200回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

S2-1

2000

0

228.11

41.24

S2-2

2000

0

217.72

42.59

S2-3

2000

0

215.96

42.44

平均

2000

0

220.59

42.09


図 4-31 #S2-1の測定結果グラフ

図 4-32 #S2-2の測定結果グラフ

図 4-33 #S2-3の測定結果グラフ

アンカー
_Toc315862112
_Toc315862112
5.4.3. パターン3(20スレッド×200回)

表4-12 IdP Stateless Clustering方式 パターン3(20スレッド×200回)

#

Tests

Errors

MeanTestTime(ms)

TPS(トランザクション/秒)

S3-1

4000

0

403.31

46.94

S3-2

4000

0

389.94

48.23

S3-3

4000

0

402.58

46.44

平均

4000

0

398.61

47.20


図 4-34 #S3-1の測定結果グラフ

図 4-35 #S3-2の測定結果グラフ

図 4-36 #S3-3の測定結果グラフ

アンカー
_Toc315862113
_Toc315862113
5.5. 測定値の平均

表4-13 平均一覧

#

方式

パターン1
TPS(トランザクション/秒)平均

パターン2
TPS(トランザクション/秒)平均

パターン3
TPS(トランザクション/秒)平均

1

Terracotta

12.76

15.64

15.22

2

memcached

19.38

31.52

39.46

3

repcached

19.35

31.65

38.89

4

Stateless Clustering

25.83

42.09

47.20



アンカー
_Toc315862114
_Toc315862114
6. 考察

今回行ったパフォーマンスの測定結果から判断すると同時に行う処理の数に関わらずStateless Clustering方式が他の方式より早いが、処理数が10以下と少ない場合、IdP Stateless Clustering方式、repcached方式、memcached方式とも同等の性能がでている。
なお、別紙の各環境構築手順書を見ると、Stateless Clustering方式はソースコードからjarファイルを作成する必要があり、他の方式と比べると複雑である。
Shibboleth-IdPの冗長化を導入する場合は、利用者数や構築にかけられるコストなどから判断して、利用する方式を選択することが望ましい。