hadoop

hiveで検索する際のパーティションによる実行速度の違いの確認

構成やデータ量、データ内容などを考慮せずにパーティションのありがたみを実感するために実行時間だけを記載対象となるhiveのテーブルには、年(yyyy)、月(mm)、日(dd)のパーティションが含まれているとする指定したパーティション実...

HDFSのラッパー

作りかけの何かが出てきたのでサルベージしておくぶっちゃけ、$ hadoop dfs ～をPHPのコマンド風に呼び出せるようにしてみただけ※ で、execしているたしか途中でいらなくなったので、作ってる途中でお蔵入りしたはずめっちゃ遅い<?...

hBaseのインストール

hBaseをインストール使用としたところ、先にインストールしたHadoopとバージョンが合わずに断念。再度Hadoopをインストールした。・ HBase 0.90.0をHadoop上で動作させる方法: Akito's IT技術メモ・Hba...

hBaseについて参考になる資料を集めてみた

大体ここからリンクを辿ったりHBaseとはどんなNoSQLデータベースなのか？日本語で読める情報を集めてみた－ Publickey・Cassandraとh baseの比較して入門するno sql・Apache HBase 入門 (第１回...

PerlでHadoopのMap-Reduceを書く

Hadoop Streaming - naoyaのはてなダイアリー最初Rubyで書いたけど、なれないことで悩みたくなかったのでとりあえずPerlで例示は、ありがちな「単語の数を数える」サンプル処理対象のデータ $ cat dataaa...

hadoopをインストールする

とりあえず、サーバのクラスタ化など難しいことは考えずに一台のみで運用する・hadoop インストールメモ - cuspos diary・Apache Hadoop のインストール追記：一旦この方法でうまく行ったのだが、hBaseと組み合わせ...