hadoop

技術関係

hiveで検索する際のパーティションによる実行速度の違いの確認

構成やデータ量、データ内容などを考慮せずにパーティションのありがたみを実感するために実行時間だけを記載対象となるhiveのテーブルには、年(yyyy)、月(mm)、日(dd)のパーティションが含まれているとする 指定したパーティション 実...
技術関係

HDFSのラッパー

作りかけの何かが出てきたのでサルベージしておくぶっちゃけ、$ hadoop dfs ~ をPHPのコマンド風に呼び出せるようにしてみただけ※ で、execしているたしか途中でいらなくなったので、作ってる途中でお蔵入りしたはずめっちゃ遅い<?...
技術関係

hBaseのインストール

hBaseをインストール使用としたところ、先にインストールしたHadoopとバージョンが合わずに断念。再度Hadoopをインストールした。・ HBase 0.90.0をHadoop上で動作させる方法: Akito's IT技術 メモ・Hba...
技術関係

hBaseについて参考になる資料を集めてみた

大体ここからリンクを辿ったりHBaseとはどんなNoSQLデータベースなのか? 日本語で読める情報を集めてみた - Publickey・Cassandraとh baseの比較して入門するno sql・Apache HBase 入門 (第1回...
技術関係

PerlでHadoopのMap-Reduceを書く

Hadoop Streaming - naoyaのはてなダイアリー最初Rubyで書いたけど、なれないことで悩みたくなかったのでとりあえずPerlで例示は、ありがちな「単語の数を数える」サンプル 処理対象のデータ $ cat dataaa...
技術関係

hadoopをインストールする

とりあえず、サーバのクラスタ化など難しいことは考えずに一台のみで運用する・hadoop インストールメモ - cuspos diary・Apache Hadoop のインストール追記:一旦この方法でうまく行ったのだが、hBaseと組み合わせ...