技術関係hiveで検索する際のパーティションによる実行速度の違いの確認 構成やデータ量、データ内容などを考慮せずにパーティションのありがたみを実感するために実行時間だけを記載対象となるhiveのテーブルには、年(yyyy)、月(mm)、日(dd)のパーティションが含まれているとする 指定したパーティション 実...2014-07-11技術関係
技術関係HDFSのラッパー 作りかけの何かが出てきたのでサルベージしておくぶっちゃけ、$ hadoop dfs ~ をPHPのコマンド風に呼び出せるようにしてみただけ※ で、execしているたしか途中でいらなくなったので、作ってる途中でお蔵入りしたはずめっちゃ遅い<?...2014-06-20技術関係
技術関係hBaseのインストール hBaseをインストール使用としたところ、先にインストールしたHadoopとバージョンが合わずに断念。再度Hadoopをインストールした。・ HBase 0.90.0をHadoop上で動作させる方法: Akito's IT技術 メモ・Hba...2011-07-19技術関係
技術関係hBaseについて参考になる資料を集めてみた 大体ここからリンクを辿ったりHBaseとはどんなNoSQLデータベースなのか? 日本語で読める情報を集めてみた - Publickey・Cassandraとh baseの比較して入門するno sql・Apache HBase 入門 (第1回...2011-07-19技術関係
技術関係PerlでHadoopのMap-Reduceを書く Hadoop Streaming - naoyaのはてなダイアリー最初Rubyで書いたけど、なれないことで悩みたくなかったのでとりあえずPerlで例示は、ありがちな「単語の数を数える」サンプル 処理対象のデータ $ cat dataaa...2011-07-14技術関係
技術関係hadoopをインストールする とりあえず、サーバのクラスタ化など難しいことは考えずに一台のみで運用する・hadoop インストールメモ - cuspos diary・Apache Hadoop のインストール追記:一旦この方法でうまく行ったのだが、hBaseと組み合わせ...2011-07-14技術関係