Hadoopのボトルネックとチューニングについて

 Posted on March 20, 2010  |  Toshiaki Baba

昨日第16回InfoTalkに参加してHadoopの話、関数型言語の話を聞いてきました。 その中でHadoopのボトルネックとチューニングについて聞いてきたのでメモしておきます。

Hadoopのチューニング

いらないし、ほとんどできない（パラメーターがない）

本当ににいらない？

懇親会で講師の方に聞いてみました。

Q.解析元データをノードが取得するするところはボトルネックにならない？

A.ならない。データ(ファイル)を持っているノードが解析を担当するため、ネットワークでのデータ転送不要。ギガビットイーサのネットワークでも十分使えている。

Q.ノードへ解析指示を出すところはボトルネックにならない？

A.現状なっていない。ただし ファイル と それを保持しているノード の紐付けデータベースの探索はポイントになる可能性あり。 とのことでした。 ファイル-保持ノード紐付けデータベースはオンメモリで動作するため非常に高速、とのことですが、ファイル数に応じて大きくなるため**「細かい大量のファイルを扱うよりも、大きめの大量データを扱うほうが向いている」**とのこと。 分散してもスケールしないポイントとしては、このオンメモリDBがポイントになりそうです。

と、いうわけで

チューニングするとしたら・・・

  • 個々のノードのディスクI/O速度
  • マスターノード(DB?)でのファイル→ノードDB探索速度 の2点になりそうです。
Event 

See also