«前の日記(2009-09-27 (日)) 最新 次の日記(2009-10-18 (日))»  

まちゅダイアリー


2009-10-02 (金)

Memcached と PStore のベンチマーク比較

tDiary のプラグインを作っていると、ローカルにキャッシュを保存することがよくある。 flickr プラグインが取得した XML の写真情報だったり、プロフィールプラグインが取得したプロフィールデータだったり。 今は、 PStore を使って保存しているけど、 Memcached を使ったらどうなるかと思って比較してみた。

比較対象

  • 1ファイルに全てのデータを保存する PStore (ファイル数 = 1) → PStoreAdapter
  • 1ファイルに1データを保存する PStore (ファイル数 = データ数) → PStoreAdapter2
  • Memcached → MemcacheAdapter

ベンチマーク環境

Rubyで書いた。gistにて公開。 データ数を10, 100, 1000と増やし、それぞれの書き込み時間と読み込み時間を計測した。

  • Intel Core 2 Duo 2.2 GHz, 4GB memory
  • Mac OS X 10.6.1

ベンチマーク結果

「full」ボタンを押すと全画面表示される。 上からデータ数10, 100, 1000での時間。ループ回数は10000回。

分かったこと

  • PStoreで1ファイルにデータを詰め込むとスケールしない。
  • PStoreで1ファイル1データとするとスケールする。
  • PStoreとMemcachedの時間は同じくらい。
    • PStoreは、おそらくディスクのキャッシュが効いているから。ディスクIOが発生すると遅くなるのでは。

感想

tDiary のキャッシュを memcached に載せると速くなるかもと期待したけど、そう甘くはないかも。

Tags: tDiary Ruby

追記

キャッシュにputするデータが小さいという指摘をいただいた。 確かに数バイトでは少なかったかも…と思い、 tDiary キャッシュサイズを参考にして、 8KB のデータを put するようにした。

データサイズ8KBでのベンチマーク結果

データ数 = 10
methodusersystemtotal
PStoreAdapter#put9.721.2010.92
PStoreAdapter#get2.651.274.02
PStoreAdapter2#put1.920.392.31
PStoreAdapter2#get0.520.180.70
MemCacheAdapter#put2.050.292.34
MemCacheAdapter#gut1.240.251.49
データ数 = 100
methodusersystemtotal
PStoreAdapter#put113.3106.2219.5
PStoreAdapter#get20.810.231.0
PStoreAdapter2#put1.910.532.44
PStoreAdapter2#get0.510.190.70
MemCacheAdapter#put2.040.442.48
MemCacheAdapter#gut1.210.331.54
データ数 = 1000
methodusersystemtotal
PStoreAdapter#put---
PStoreAdapter#get---
PStoreAdapter2#put1.990.932.92
PStoreAdapter2#get0.560.220.78
MemCacheAdapter#put2.070.292.36
MemCacheAdapter#gut1.140.241.38

考察

1つのファイルに全キャッシュを格納する PStoreAdapter は、明らかに落ち込みが激しい。 データサイズを8KBにすると処理時間が10倍になった。 さらにデータ数に応じて計算量がO(n)で増加するので、大量のデータを1つの PStore ファイルのは望ましくない。

PStoreAdapter2 と MemCacheAdapter はデータサイズの増大で処理時間は2〜3倍に増加しているけど、データ数に関わらずに計算量は O(1) 。 ツッコミで指摘をいただいているけど、 tDiary くらいの規模のアプリケーションであれば、ファイル数の増加とメモリの消費のどちらを選ぶかで選択してもいいかも。

本日のツッコミ(全1件) [ツッコミを入れる]
トオルスガルモノノ (2009-10-02 (金) 02:47)

PStore は、読みこむたびに全部のデータをよみこんでオブジェクトにするので、キー数が増えるとスケールしないです。書きこみ時も同様の理由でスケールしません。<br>Pstore2 の場合、ファイル数が増えると嫌だという場合もあるかとおもいます。<br>memcached の場合、データがメモリにおさまらなくなると、expire されてしまうので、google のクローラーなどで舐められると、本来必要なキャッシュが消えてしまう可能性があるとおもいます。<br><br>現実的には、キー数はどの程度が想定されるのでしょうか。