従来より Hadoop on Azureとしてプレビュー版が公開されていましたが、Windows Azure HDInsight Service として再度提供されています。これとともに、Windows Serverでも動作する、Microsoft HDInsight Server for Windows もCTPとして提供されています。現在Windows Serverで動作可能なのは、シングルノード版のみです。
- Big Data | Microsoft SQL Server
- Windows Azure HDInsight - Welcome 招待プレビュー
- Windows Web App Gallery - Install an App Web PI経由
Webサイトをみると、SQL Serverの文字がみえますから、将来的にはSQL Serverの一プロダクトとなるのでしょうか。
Server版のインストール
WebPIを起動します。
多数の依存関係が表示されますが、同意してインストールを実行します。ちなみに、実際の実装系はHortonworksで行っているらしく、それらのライセンス条項が以下で読めます。多数Windows向けに手が入っていそうです。
しばし待ち、完了すればOKです。
インストールされるものは、以下の３つとなります。
- Python
- Hortonworks Data Platform 1.0.1 Developer Preview
- Microsoft HDInsight Community Technology Preview
デスクトップ上にHadoop Command Lineが作成されるので実行してみますと、、、、
インストールに失敗します。
エラーリカバリ
どうもインストールスクリプトが悪くて失敗しているようです。
- http://social.msdn.microsoft.com/Forums/et-EE/hdinsight/thread/8d4da31b-b042-407a-8401-a4c14db7241e
- http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/hdinsight_preview.html
このとき、以下のフォルダができているはずです。
- C:\Hadoop
- D:\HadoopFeaturePackSetup
- D:\HadoopInstallFiles
D:\HadoopInstallFiles\HadoopPackages\hdp-1.0.1-winpkg.zip ファイルを解凍し、scripts\create_hadoop_user.ps1 を開きます。
おっと、どうやら文字化けしているみたいです。
これを以下のように修正し、再度ZIP化します。
$export.PSObject.TypeNames.Insert(0,’ExportedPSCredential’)
再度イントールスクリプトを起動します。
d:\ cd d:\HadoopInstallFiles\HadoopSetupTools bootstrap_install.cmd d:\HadoopInstallFiles\HadoopSetupTools
これでインストールが継続されるっぽい。
再度コマンドプロンプトを開けば、このとおり。
c:\hadoopは以下のようになっているはずです。
追記
このままだとDashboard系のソフトがインストールされませんでした。
http://prologika.com/CS/blogs/blog/archive/2012/10/31/installing-hdinsight-server-for-windows.aspx
にあるとおり、Powershell を起動し、d:\HadoopFeaturePackSetup\HadoopFeaturePackSetupTools で以下を実行します。
.\winpkg.ps1 ..\Packages\HadoopWebApi-winpkg.zip install -CredentialFilePath c:\Hadoop\Singlenodecreds.xml .\winpkg.ps1 ..\Packages\HadoopDashboard-winpkg.zip install -CredentialFilePath c:\Hadoop\Singlenodecreds.xml
ダッシュボードが起動します。
雑感
Windowsでは、Cygwin前提であったり、1.0系あたりから擬似分散モードでうまく動作しなくなったりいろいろしていたと思いますが、いくつかパッチをのぞいてみるとSymlink云々の修正が入っていたので、今後にHaoopの実行環境として期待できそうな予感です。
