読者です 読者をやめる 読者になる 読者になる

Azureの小ネタ (改)

~Azureネタを中心に、色々とその他の技術的なことなどを~

Microsoft HDInsight Server for Windows

Azure Hadoop

従来より Hadoop on Azureとしてプレビュー版が公開されていましたが、Windows Azure HDInsight Service として再度提供されています。これとともに、Windows Serverでも動作する、Microsoft HDInsight Server for Windows もCTPとして提供されています。現在Windows Serverで動作可能なのは、シングルノード版のみです。

Webサイトをみると、SQL Serverの文字がみえますから、将来的にはSQL Serverの一プロダクトとなるのでしょうか。

Server版のインストール

WebPIを起動します。



多数の依存関係が表示されますが、同意してインストールを実行します。ちなみに、実際の実装系はHortonworksで行っているらしく、それらのライセンス条項が以下で読めます。多数Windows向けに手が入っていそうです。


しばし待ち、完了すればOKです。


インストールされるものは、以下の3つとなります。

  • Python
  • Hortonworks Data Platform 1.0.1 Developer Preview
  • Microsoft HDInsight Community Technology Preview



デスクトップ上にHadoop Command Lineが作成されるので実行してみますと、、、、



インストールに失敗します。

エラーリカバリ

どうもインストールスクリプトが悪くて失敗しているようです。


このとき、以下のフォルダができているはずです。

  • C:\Hadoop
  • D:\HadoopFeaturePackSetup
  • D:\HadoopInstallFiles


D:\HadoopInstallFiles\HadoopPackages\hdp-1.0.1-winpkg.zip ファイルを解凍し、scripts\create_hadoop_user.ps1 を開きます。
おっと、どうやら文字化けしているみたいです。



これを以下のように修正し、再度ZIP化します。

$export.PSObject.TypeNames.Insert(0,’ExportedPSCredential’)


再度イントールスクリプトを起動します。

d:\
cd d:\HadoopInstallFiles\HadoopSetupTools
bootstrap_install.cmd d:\HadoopInstallFiles\HadoopSetupTools

これでインストールが継続されるっぽい。


再度コマンドプロンプトを開けば、このとおり。



c:\hadoopは以下のようになっているはずです。



追記

このままだとDashboard系のソフトがインストールされませんでした。

http://prologika.com/CS/blogs/blog/archive/2012/10/31/installing-hdinsight-server-for-windows.aspx

にあるとおり、Powershell を起動し、d:\HadoopFeaturePackSetup\HadoopFeaturePackSetupTools で以下を実行します。

.\winpkg.ps1 ..\Packages\HadoopWebApi-winpkg.zip install -CredentialFilePath c:\Hadoop\Singlenodecreds.xml
.\winpkg.ps1 ..\Packages\HadoopDashboard-winpkg.zip install -CredentialFilePath c:\Hadoop\Singlenodecreds.xml


ダッシュボードが起動します。



雑感

Windowsでは、Cygwin前提であったり、1.0系あたりから擬似分散モードでうまく動作しなくなったりいろいろしていたと思いますが、いくつかパッチをのぞいてみるとSymlink云々の修正が入っていたので、今後にHaoopの実行環境として期待できそうな予感です。