技術関係 hBaseのインストール
hBaseをインストール使用としたところ、先にインストールしたHadoopとバージョンが合わずに断念。 再度Hadoopをインストールした。 ・ HBase 0.90.0をHadoop上で動作させる方法: Akito's IT技術 メモ ・...
技術関係
技術関係 技術関係 PerlでHadoopのMap-Reduceを書く
Hadoop Streaming - naoyaのはてなダイアリー 最初Rubyで書いたけど、なれないことで悩みたくなかったのでとりあえずPerlで 例示は、ありがちな「単語の数を数える」 サンプル 処理対象のデータ $ cat data ...
技術関係 hadoopをインストールする
とりあえず、サーバのクラスタ化など難しいことは考えずに一台のみで運用する ・hadoop インストールメモ - cuspos diary ・Apache Hadoop のインストール 追記：一旦この方法でうまく行ったのだが、hBaseと組み...
技術関係 java SDKのバージョンを1.4から1.6にアップデートする
環境はCentOS。Javaはrpmで初期インストールされていた １．Javaがインストールされているかどうかを確認 $ java -version java version "1.4.2" gcj (GCC) 3.4.6 20060404...
技術関係 phpの中からPerlのプログラムを記述して実行する
いったいなぜこう言うことになったのか、色々と混ぜるな危険な感じですがとりあえず。 まだ、簡単なプログラムでしか試してないので色々とエスケープとか足りてない気がするし、ステータスコードをみて強制終了するのではなくちゃんと結果を返したほうがいい...
技術関係 更新Pingを発行できるように修正する
先日、このブログがGoogleのブログ検索で引っかからないとぼやいたところ、藤野 氏より「いや、更新pingが打てないのはブログじゃないよね」的なごく当たり前の指摘を受けたので対応してみた。 このブログについて このブログ自体はChalow...
技術関係 XMLRPC
XMLRPC::LiteをインストールしようとするとXML::Parserで怒られ、XML::ParserをインストールしようとするとNet::SSLeayのバージョンが低すぎると怒られる なんやかよく分からないので、ひと通り入れなおしてみ...
技術関係 協調フィルタリングを行うライブラリVogoo PHP LIBを使ってみた
本家は、Vogoo PHP LIB 以下のページを参考に ・BUKURO-JIN | レコメンド機能を実装する ～Vogoo! PHP Lib～ ・ウノウラボ by Zynga Japan: オススメ機能には Vogoo がオススメ ・PH...
技術関係 Mecabに住所用の辞書を追加する
PHPで都道府県、市区町村、町域名以降の住所分割を高速に行う方法 - 理想未来はどうなった？を参考に ただし、辞書の生成のところのスクリプトをうまく動かすことができなかったのでPerlで書いて無理やり対応。 それに合わせて処理全体が手作業っ...
技術関係 PHPでベイジアンフィルタを使ってみる
主にここを参考に ライブラリはここ 上記のページを参考にして_getToken()をオーバーライドするNaiveBayesianJPを作成する。 ただし、今回はYahoo!の日本語形態素解析サービスを使わずngramで対応するよう修正する ...