病名辞書をMeCabの辞書として追加してみようとした

してみようとした、ってのがミソではありますが。
2010-01-29 - chalk-less::weblog::theclaで書いたとおり、ＩＣＤ１０対応標準病名マスターメインってのがあって、けっこうよさげだぞ、と。で、読みがなもあるし、MeCabの辞書としてちゃらっと追加して、処理してみよう、ということでやってみたわけです。
こういう大規模な辞書の構築ってのはやったことなくて、ネットで調べてみたらば、はてなキーワードとかWikipediaのタイトルとか、そういうのを辞書化するなんてことをやっている人がいるのね。追加するときに、読みがなどうしよう、とうんうん考えていたのだけれども、 * で埋めておけばよいみたい。なぁんだ。
実際のユーザー辞書の追加は、本家がhttp://mecab.sourceforge.net/dic.htmlで、MeCabの辞書にはてなキーワードを追加しよう - 不可視点も参考になるでしょう。実際の形式は、

１型糖尿病,1284,1284,-23237,名詞,一般,*,*,*,*,１型糖尿病,１ガタトウニョウビョウ,1型糖尿病,疾患名

な感じ。最後の「疾患名」は、自分でつけたラベル。1284ってのは、品詞のIDと思えばいい（2つあるのは左からと右から。p53遺伝子の「遺伝子」は左から見たら接尾語的だけど、右からみたら名詞的とかそんなんだと思う。推測だけど）。-23237ってあるのはコストで、この値が小さいほど、出てくる頻度が高い。もろもろ見ると、たとえば「糖尿病」がこれより同じか小さいコストをもっていると１型糖尿病と1語でなくて、1＋型＋糖尿病みたいにさらにくぎられてしまう、とそういうことらしい。この計算は、上記のページとかに言及があるようだが、

cost = (int)max(-36000, -400 * (length^1.5))

なんてのが例として示されていて、それで計算している。
で、とりあえずやってみて頻度を取ったのが以下。

73708 よう名詞,一般,*,*,*,*,よう,ヨウ,よう,疾患名
9731 癌名詞,一般,*,*,*,*,癌,ガン,癌,疾患名
6537 切断名詞,一般,*,*,*,*,切断,セツダン,切断,疾患名
4239 腫瘍名詞,一般,*,*,*,*,腫瘍,シュヨウ,腫瘍,疾患名
2638 損傷名詞,一般,*,*,*,*,損傷,ソンショウ,損傷,疾患名
1412 老化名詞,一般,*,*,*,*,老化,ロウカ,老化,疾患名
1325 白血病名詞,一般,*,*,*,*,白血病,ハッケツビョウ,白血病,疾患名
1257 ショック名詞,一般,*,*,*,*,ショック,ショック,ショック,疾患名
1067 ブラ名詞,一般,*,*,*,*,ブラ,ブラ,ブラ,疾患名
654 糖尿病名詞,一般,*,*,*,*,糖尿病,トウニョウビョウ,糖尿病,疾患名

「よう」って何ぃーっ。ブラとか、なんか大丈夫かみたいな感じ。
ここで、2文字のコストは-5878。このコストが低すぎるんだろうと思ったので、思い切って、適当にどかんと大きい数字になる（文字数が増えると0とかに近づく）ようにしてみたのが以下。この場合、10e12くらい。

36034 よう名詞,一般,*,*,*,*,よう,ヨウ,よう,疾患名
9521 癌名詞,一般,*,*,*,*,癌,ガン,癌,疾患名
6533 切断名詞,一般,*,*,*,*,切断,セツダン,切断,疾患名
4246 腫瘍名詞,一般,*,*,*,*,腫瘍,シュヨウ,腫瘍,疾患名
2637 損傷名詞,一般,*,*,*,*,損傷,ソンショウ,損傷,疾患名
1412 老化名詞,一般,*,*,*,*,老化,ロウカ,老化,疾患名
1364 白血病名詞,一般,*,*,*,*,白血病,ハッケツビョウ,白血病,疾患名
1258 ショック名詞,一般,*,*,*,*,ショック,ショック,ショック,疾患名
1095 アルツハイマー病名詞,一般,*,*,*,*,アルツハイマー病,アルツハイマービョウ,アルツハイマー病,疾患名
648 糖尿病名詞,一般,*,*,*,*,糖尿病,トウニョウビョウ,糖尿病,疾患名

思い切ったけど、「よう」は全然ダメですねぇ。もう少し思い切って、10e15くらいで（あまり思い切ってないか）。

36034 よう名詞,一般,*,*,*,*,よう,ヨウ,よう,疾患名
9518 癌名詞,一般,*,*,*,*,癌,ガン,癌,疾患名
6533 切断名詞,一般,*,*,*,*,切断,セツダン,切断,疾患名
4244 腫瘍名詞,一般,*,*,*,*,腫瘍,シュヨウ,腫瘍,疾患名
2637 損傷名詞,一般,*,*,*,*,損傷,ソンショウ,損傷,疾患名
1412 老化名詞,一般,*,*,*,*,老化,ロウカ,老化,疾患名
1247 白血病名詞,一般,*,*,*,*,白血病,ハッケツビョウ,白血病,疾患名
1211 ショック名詞,一般,*,*,*,*,ショック,ショック,ショック,疾患名
689 インフルエンザ名詞,一般,*,*,*,*,インフルエンザ,インフルエンザ,インフルエンザ,疾患名
647 アルツハイマー病名詞,一般,*,*,*,*,アルツハイマー病,アルツハイマービョウ,アルツハイマー病,疾患名

「よう」は減らないけど、アルツハイマー病が減っちゃいましたねぇ。こういうざっくりしたコストの振りでは無理っぽいですねぇ。
まぁ、最初からこういうノイズについてはマニュアルで削っちゃおうとか思っていたので、とりあえずの参考。アルツハイマーあたりを参考に、コストをどうふったらいいか、チューニングしないとな、という感じです。はい。
ちなみに、この「よう」なんですけど、いまいちしっくりとはわからず。多分、腫瘍の「瘍」かと思います。（他に、黄色ブドウ球菌による化膿性炎症も「癰」というようですが）