2014-12-14

mecabに辞書を追加してみた話

せっかく前回のエントリでmecabを利用できるようにしたので、優秀な形態素解析くんになってほしく辞書を追加しました。
追加する方法はほぼ以下の記事の通りです。

<a href="http://qiita.com/ynakayama/items/388c82cbe14c65827769">mecab - 形態素解析のために Wikipedia とはてなキーワードからユーザー辞書を生成し利用する - Qiita</a>

テキトーにワークディレクトリを用意しておきます。

# mkdir dicMaker
# cd dicMaker

まずは「はてな」のワードを落とします。

curl -L http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv | iconv -f euc-jp -t utf-8 > keywordlist_furigana.csv

次にWikipediaのワードを落とします。

curl -L http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz | gunzip > jawiki-latest-all-titles-in-ns0

さすがのWikipedia。1分半ほど時間かかりました。

% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
Dload  Upload   Total   Spent    Left  Speed
100 9255k  100 9255k    0     0   104k      0  0:01:28  0:01:28 --:--:--  146k

落としてる間に、先ほどの記事の通りRubyのソースを書きます。
名前はテキトーにdicMaker.rbとしておきました。

require 'csv'

original_data = {
  wikipedia: 'jawiki-latest-all-titles-in-ns0',
  hatena: 'keywordlist_furigana.csv'
}

CSV.open("custom.csv", 'w') do |csv|
original_data.each do |type, filename|
next unless File.file? filename
open(filename).each do |title|
title.strip!

next if title =~ %r(^[+-.$()?*/&%!"'_,]+)
next if title =~ /^[-.0-9]+$/
next if title =~ /曖昧さ回避/
next if title =~ /_\(/
  next if title =~ /^PJ:/
  next if title =~ /の登場人物/
  next if title =~ /一覧/
  
  title_length = title.length
  
  if title_length > 3
  score = [-36000.0, -400 * (title_length ** 1.5)].max.to_i
  csv << [title, nil, nil, score, '名詞', '一般', '*', '*', '*', '*', title, '*', '*', type]
  end
  end
  end
  end

はてな、WikipediaのキーワードCSVが用意できたら早速Rubyを実行してみます。

# ruby dicMaker.rb

するとcustom.csvが出来上がります。
超簡単です。ynakayamaさんありがとう！

ここまでは本当に記事のとおりです。
ynakayamaさんの記事では以下のコマンドでした。

/usr/local/libexec/mecab/mecab-dict-index -d /usr/local/lib/mecab/dic/ipadic -u custom.dic -f utf-8 -t utf-8 custom.csv

私のmacにbrewで入れたmecabさんは以下のようになりました。

/usr/local/Cellar/mecab/0.996/libexec/mecab/mecab-dict-index -d /usr/local/Cellar/mecab/0.996/lib/mecab/dic/ipadic -u custom.dic -f utf-8 -t utf-8 custom.csv

PATH通してあげればいいんでしょうけど面倒なのでそのままにしてます。
とりあえず無事dicファイルができあがりました！

2014-12-14

macでmecabを利用してみる

めかぶ

macに日本語形態素解析のMecabをインストールするよってエントリーです。

brew install mecab
brew install mecab-ipadic

mecab-ipadicでエラーが出た。

Error: Failed to download resource "mecab-ipadic"

brewでインストールできるバージョンを把握しようと以下を実行してみる。

brew versions mecab

するとまたエラーが出た。ふぁぁぁあ！！

Error: Unknown command: versions

brewが2.0以降（？）versionsに対応しなくなったらしいと噂を聞く。
別途インストールして利用することができるようなので入れてみる。

brew install versions

そしてこれもエラー。。。

Error: No available formula for versions

ほんと泣けてくる。
とりあえずbrewのバージョンが中途半端ぽいので以下で一回アップデートして試す。

brew update
brew tap homebrew/boneyard
brew versions mecab

無事使えた。
インストールする必要ないんじゃん・・・

You should use the homebrew-versions tap instead:
  https://github.com/Homebrew/homebrew-versions

0.996    git checkout 10f80f1 /usr/local/Library/Formula/mecab.rb
0.995    git checkout 1c6ad82 /usr/local/Library/Formula/mecab.rb
0.994    git checkout 4844910 /usr/local/Library/Formula/mecab.rb
0.993    git checkout 642c664 /usr/local/Library/Formula/mecab.rb
0.992    git checkout bb95f13 /usr/local/Library/Formula/mecab.rb
0.99     git checkout 01788c0 /usr/local/Library/Formula/mecab.rb
0.98     git checkout 0476235 /usr/local/Library/Formula/mecab.rb

単純にbrewのバージョンが古かったっぽいので以下を実行して再度試す。