Hadoop をアップグレードする方法

これは Upgrading Hadoop の日本語訳です。

この文書では、Nutch に同梱されている Hadoop のバージョンをアップグレードする方法を説明します。

• Hadoop の最新バージョンをダウンロードします。公開バージョンには、Hadoop バイナリが入っており、また Hadoop 品質保証によりビルドされたいるので、ソースコードからビルドするより公開バージョンをダウンロードするほうが良いでしょう。もしソースコードをダウンロードした場合、ビルドには C libs が必要です。また、hadoop 管理画面に表示されるビルドに使われる名前も忘れないでください。公開版Nutch のHadoop をアップグレードする場合、Hadoop のために最新の公開バイナリをダウンロードしたほうが良いでしょう。
• ダウンロードしたものを解凍し、 lib/native/* ディレクトリを、まっさらな nutch の lib/native にコピーしてください。また、hadoop リリースの直下にある hadoop-core.jar を nutch の lib ディレクトリにコピーします。
• nutch の lib/native/OS ディレクトリから *.la ファイルを削除します(例: lib/native/Linux-i386-32/libhadoop.la)。これらはただのスクリプトで、公開版では必要ありません。また、 lib ディレクトリにある hadoop-core.jar の古いバージョンも削除します。
• もし何かしらエラーが出たり、Hadoop API のアップブレードにより変更の必要なコードがある場合、以下のことをする必要があります。
• ant clean と ant package ターゲットを実行し、Nutch を完全に初期化しビルドします。
• ant test ターゲットを実行し、完全なテストスイートを実行します。
• 一番良いのは、新しいバージョンの Hadoop で、完全なページの取得とインデックスを数回実行してみることです。
• すべてのテストが成功し、数回のページ取得サイクルが完了したら、関連する変更にともなうパッチを投稿してください。そして、コミット前に待ち時間をとる標準的な規則に従った後、nutch リポジトリにコミットできます。再度 hadoop をアップグレードしたり、Hadoop API の重大な変更(起こると思いますが)のために、CHANGES.txt を変更してください。

最終編集日時: 2008-02-04 02:18:01 by DennisKubes