技術関係 ネパール語の文字化けと表示について
PDFにネパール語で書かれたテキストをローカルのエディタに貼り付けると文字化け？するのでどうにかしたいという話。まずはFontの話だと考えて、Fontを導入してみる。Wikipediaで調べたところ、ネパール語はデーヴァナーガリーという文字...
自然言語処理
技術関係 技術関係 igo-PHPを使って形態素解析をやってみる
形態素解析と言うとMecabやらChasenやらKuromojiやらを使ってやる場合が多いんだけど、いざPHPでやろうとするとそれぞれにバインディングを準備したりして意外と面倒臭い。ぼやぼや探していると、igo-PHPというお手軽そうなもの...
技術関係 Cabochaのインストール
Mecabは既にインストール済みCRF++ のインストール を参考に以下からダウンロード$ tar zxvf CRF++-0.54.tar.gz$ cd CRF++-0.54$ ./configure$ make$ su$ make ins...
技術関係 Mecabに住所用の辞書を追加する
PHPで都道府県、市区町村、町域名以降の住所分割を高速に行う方法 - 理想未来はどうなった？を参考にただし、辞書の生成のところのスクリプトをうまく動かすことができなかったのでPerlで書いて無理やり対応。それに合わせて処理全体が手作業っぽく...
技術関係 PHPでベイジアンフィルタを使ってみる
主にここを参考にライブラリはここ上記のページを参考にして_getToken()をオーバーライドするNaiveBayesianJPを作成する。ただし、今回はYahoo!の日本語形態素解析サービスを使わずngramで対応するよう修正する|php...