くれすのFreeBSD日記 このページをアンテナに追加 RSSフィード

只今建設中。。。

CressUnix.org

2008年07月12日(土)歴史的仮名遣いを含む全文検索など

[] MeCab歴史的仮名遣いは扱えるか 14:24  MeCabで歴史的仮名遣いは扱えるか - くれすのFreeBSD日記 を含むブックマーク はてなブックマーク -  MeCabで歴史的仮名遣いは扱えるか - くれすのFreeBSD日記

微妙ダメ

春はあけぼの。やうやうしろくなりゆく山ぎは、少しあかりて、紫だちたる雲の細くたなびきたる。

枕草子」の有名な一文。これを形態素解析にかける。「山ぎは」がアウト。

春      名詞,一般,*,*,*,*,春,ハル,ハル
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
あけぼの        名詞,固有名詞,地域,一般,*,*,あけぼの,アケボノ,アケボノ
。      記号,句点,*,*,*,*,。,。,。
やうやう        副詞,一般,*,*,*,*,やうやう,ヤウヤウ,ヨーヨー
しろく  形容詞,自立,*,*,形容詞・アウオ段,連用テ接続,しろい,シロク,シロク
なり    動詞,自立,*,*,五段・ラ行,連用形,なる,ナリ,ナリ
ゆく    動詞,非自立,*,*,五段・カ行促音便ユク,基本形,ゆく,ユク,ユク
山      名詞,一般,*,*,*,*,山,ヤマ,ヤマ
ぎ      名詞,一般,*,*,*,*,*
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
、      記号,読点,*,*,*,*,、,、,、
少し    副詞,助詞類接続,*,*,*,*,少し,スコシ,スコシ
あ      フィラー,*,*,*,*,*,あ,ア,ア
かり    動詞,自立,*,*,一段,連用形,かりる,カリ,カリ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
、      記号,読点,*,*,*,*,、,、,、
紫      名詞,一般,*,*,*,*,紫,ムラサキ,ムラサキ
だ      助動詞,*,*,*,特殊・ダ,基本形,だ,ダ,ダ
ち      動詞,自立,*,*,五段・ラ行,体言接続特殊2,ちる,チ,チ
たる    助動詞,*,*,*,文語・ナリ,体言接続,たり,タル,タル
雲      名詞,一般,*,*,*,*,雲,クモ,クモ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
細く    形容詞,自立,*,*,形容詞・アウオ段,連用テ接続,細い,ホソク,ホソク
たなびき        動詞,自立,*,*,五段・カ行イ音便,連用形,たなびく,タナビキ,タナビキ
たる    助動詞,*,*,*,文語・ナリ,体言接続,たり,タル,タル
。      記号,句点,*,*,*,*,。,。,。
EOS

せっかくなので他にも。「平家物語」の冒頭。

祇園精舎の鐘の声、諸行無常の響き有り。沙羅双樹の花の色、盛者必衰の理を顕す。奢れる人も久しからず、只春の夜の夢の如し。猛き者も終には亡ぬ、偏に風の前の塵に同じ。

後半がダメ。「猛し」の連体形活用がうまく解釈できてない。

猛      接頭詞,名詞接続,*,*,*,*,猛,モウ,モー
き      動詞,自立,*,*,カ変・クル,連用形,くる,キ,キ
者      名詞,接尾,一般,*,*,*,者,シャ,シャ
も      助詞,係助詞,*,*,*,*,も,モ,モ
終      名詞,一般,*,*,*,*,終,ツイ,ツイ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
亡      名詞,一般,*,*,*,*,*
ぬ      助動詞,*,*,*,特殊・ヌ,基本形,ぬ,ヌ,ヌ
、      記号,読点,*,*,*,*,、,、,、
偏に    副詞,一般,*,*,*,*,偏に,ヒトエニ,ヒトエニ
風      名詞,一般,*,*,*,*,風,カゼ,カゼ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
前      名詞,副詞可能,*,*,*,*,前,マエ,マエ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
塵      名詞,一般,*,*,*,*,塵,チリ,チリ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
同じ    連体詞,*,*,*,*,*,同じ,オナジ,オナジ
。      記号,句点,*,*,*,*,。,。,。
EOS

ここまで来たら次は「奥の細道」もやるしかないんじゃないかと。

月日は百代の過客にして、行かふ年も又旅人也。

月日    名詞,一般,*,*,*,*,月日,ツキヒ,ツキヒ
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
百代    名詞,副詞可能,*,*,*,*,百代,ヒャクダイ,ヒャクダイ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
過客    名詞,一般,*,*,*,*,過客,カカク,カカク
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
し      動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
、      記号,読点,*,*,*,*,、,、,、
行か    動詞,自立,*,*,五段・カ行促音便,未然形,行く,イカ,イカ
ふ      動詞,自立,*,*,五段・ラ行,体言接続特殊2,ふる,フ,フ
年      名詞,一般,*,*,*,*,年,トシ,トシ
も      助詞,係助詞,*,*,*,*,も,モ,モ
又      副詞,一般,*,*,*,*,又,マタ,マタ
旅人    名詞,一般,*,*,*,*,旅人,タビビト,タビビト
也      名詞,一般,*,*,*,*,*
。      記号,句点,*,*,*,*,。,。,。
EOS

やっぱり動詞が弱いかも。名詞抽出はうまく行っているようだが。

結論

N-gram使え。

もっとも、歴史的仮名遣いの辞書を作っている人でもいるなら話は別。

トラックバック - http://freebsd.g.hatena.ne.jp/Cress/20080712