Hadoopのボトルネックとチューニングについて

シェアする

  • このエントリーをはてなブックマークに追加

昨日第16回InfoTalkに参加してHadoopの話、関数型言語の話を聞いてきました。 その中でHadoopのボトルネックとチューニングについて聞いてきたのでメモしておきます。

Hadoopのチューニング

いらないし、ほとんどできない(パラメーターがない)

本当ににいらない?

懇親会で講師の方に聞いてみました。

Q.解析元データをノードが取得するするところはボトルネックにならない?

A.ならない。データ(ファイル)を持っているノードが解析を担当するため、ネットワークでのデータ転送不要。ギガビットイーサのネットワークでも十分使えている。

Q.ノードへ解析指示を出すところはボトルネックにならない?

A.現状なっていない。ただし ファイル と それを保持しているノード の紐付けデータベースの探索はポイントになる可能性あり。 とのことでした。 ファイル-保持ノード紐付けデータベースはオンメモリで動作するため非常に高速、とのことですが、ファイル数に応じて大きくなるため「細かい大量のファイルを扱うよりも、大きめの大量データを扱うほうが向いている」とのこと。 分散してもスケールしないポイントとしては、このオンメモリDBがポイントになりそうです。

と、いうわけで

チューニングするとしたら・・・ – 個々のノードのディスクI/O速度 – マスターノード(DB?)でのファイル→ノードDB探索速度 の2点になりそうです。

ads

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

ads