技術関係hiveで検索する際のパーティションによる実行速度の違いの確認
構成やデータ量、データ内容などを考慮せずにパーティションのありがたみを実感するために実行時間だけを記載 対象となるhiveのテーブルには、年(yyyy)、月(mm)、日(dd)のパーティションが含まれているとする 指定したパーティシ...
hadoop
技術関係技術関係HDFSのラッパー
作りかけの何かが出てきたのでサルベージしておく ぶっちゃけ、$ hadoop dfs ～ をPHPのコマンド風に呼び出せるようにしてみただけ ※ で、execしている たしか途中でいらなくなったので、作ってる途中でお蔵入りしたはず めっちゃ...
技術関係hBaseのインストール
hBaseをインストール使用としたところ、先にインストールしたHadoopとバージョンが合わずに断念。 再度Hadoopをインストールした。 ・ HBase 0.90.0をHadoop上で動作させる方法: Akito's IT技術 メモ ・...
技術関係hBaseについて参考になる資料を集めてみた
大体ここからリンクを辿ったり HBaseとはどんなNoSQLデータベースなのか？ 日本語で読める情報を集めてみた － Publickey ・Cassandraとh baseの比較して入門するno sql ・Apache HBase 入門 (...
技術関係PerlでHadoopのMap-Reduceを書く
Hadoop Streaming - naoyaのはてなダイアリー 最初Rubyで書いたけど、なれないことで悩みたくなかったのでとりあえずPerlで 例示は、ありがちな「単語の数を数える」 サンプル 処理対象のデータ $ cat d...
技術関係hadoopをインストールする
とりあえず、サーバのクラスタ化など難しいことは考えずに一台のみで運用する ・hadoop インストールメモ - cuspos diary ・Apache Hadoop のインストール 追記：一旦この方法でうまく行ったのだが、hBaseと組み...