Azureの小ネタ (改)

~Azureネタを中心に、色々とその他の技術的なことなどを~

Windows上で、 Hadoop 2.4.1 をビルドする

Windows上でHadoopを実行する方法はいくつかあるのですが、色々興味本位に試していたら、うっかりWindows上でHaoopをビルドしてしまったので、その備忘録。

何故ビルドしてしまったかというと、Windows上で実行するのに必要なバイナリ(EXE)がtarball に同梱されていなかったためです。たとえば、Windows上でHadoopが必要とするUNIX系コマンドは、winutils.exe という名前のユーティリティ経由で実行されるのですが、これがなかったためで、ビルドすること自体が目的になった感じです。

以前は、そのためCygwinが必須でしたが、現在のHadoop 2.2以降では、CygwinなしでHadoopが実行出来るようになってます(ただしビルド時に、chmod/rm などのgnuwin32系のコマンドが必要だったりします)。また、Hadoop 1.1系もWindowsで動く(HDInsight Emulatorとか)で、そちらもきちんとビルドできると思われます。

元となる情報は、

を参照すれば無問題かと思います。

2014/7/31 追記しました。

続きを読む