単語の共起情報を利用したかな漢字変換システム

[omasanori]

• https://qiita.com/IshitaTakeshi/items/f2fbaee7ae48644e679e
  • 実行時のメモリ使用量の工夫
• 共起関係の学習コストの問題

[tokuhirom]

• kkc は trigram を使うことで共起情報に近い状態を生み出している。
• n-gramかな漢字変換 もにたアプローチ
• ニューラルかな漢字変換 のアプローチもあるけど、RNN をやるのはたぶんマシンリソースがめっちゃいるのでしんどいと思われる

[tokuhirom]

共起で対応したいもののうちほとんどは、名詞にたいして動詞が一位のものでを選びたいケースだと認識しています。
つまり、「夏は暑い」と「板は厚い」のようなケース。
共起情報を扱いたいケースというのは、かな漢字変換の順序の問題なのであって、文節の区切り方はそれでいいというケースがほとんどだと思います。
共起をビタビアルゴリズムの中に埋め込むと計算量が増えますんで、リランキング処理で済むならその方が良いのかなと。

[tokuhirom]

あらかじめ何らかの方法で共起関係辞書を作成しておいて、それをhashmapのような状態で保持しておく。
ビタビアルゴリズム適用した後に、リランキング処理のタイミングで共起辞書を引く。

「夏/は/暑い」について考える。
例えば「暑い/あつい」が辞書に登録されているかどうかを調べる。
登録されていたら、「暑い/あつい\t夏/なつ」と「暑い/あつい\tは/は」を追加で検索する。
つまり、動詞にたいして、それより前の単語全てに対して辞書を引く。

[tokuhirom]

辞書に描かれているvalueは補正値。
コストを減らすと良さそう。

が、ユーザー学習とのバランスが難しいか？

[tokuhirom]

どの共起を使ったかを引きまわして、別の候補が選択された場合はコストを調整する、みたいな処理をいれるといいかもしれない。