Windows上でHadoopを実行する方法はいくつかあるのですが、色々興味本位に試していたら、うっかりWindows上でHaoopをビルドしてしまったので、その備忘録。
何故ビルドしてしまったかというと、Windows上で実行するのに必要なバイナリ(EXE)がtarball に同梱されていなかったためです。たとえば、Windows上でHadoopが必要とするUNIX系コマンドは、winutils.exe という名前のユーティリティ経由で実行されるのですが、これがなかったためで、ビルドすること自体が目的になった感じです。
以前は、そのためCygwinが必須でしたが、現在のHadoop 2.2以降では、CygwinなしでHadoopが実行出来るようになってます(ただしビルド時に、chmod/rm などのgnuwin32系のコマンドが必要だったりします)。また、Hadoop 1.1系もWindowsで動く(HDInsight Emulatorとか)で、そちらもきちんとビルドできると思われます。
元となる情報は、
- Hadoop2OnWindows - Hadoop Wiki
- https://svn.apache.org/viewvc/hadoop/common/branches/branch-2/BUILDING.txt?view=markup
を参照すれば無問題かと思います。
2014/7/31 追記しました。
続きを読む