英語などのヨーロッパ系の言語では、すでに品詞が分解された形で文章が書かれているため形態素解析は非常に簡単ですが、日本語は句読点を除きすべて連続した文字列となっているので品詞分解することが難しいです。
しかし、pythonライブラリであるJanomeのtokenizerモジュールを使用することで、日本語で書かれた文章の形態素解析を簡単に行うことができます。
目次
ライブラリのインストール
ターミナルからインストールします。
pip install janome形態素解析の実行
今回は、以下の日記を形態素解析していきます。
“スペインで習い事に行ってた時に、ある日突然お母さんに連れられて同年代のロシア人の子がやってきた。モスクワからバルセロナに家族で引っ越して来たらしい。その場にいた中で俺だけがアジア人だったからなのかわからないけど、結構積極的に話しかけてくれた。でも、会話してると一個だけ気になることがあって、全然話が噛み合わなかった。向こうの母語がロシア語だからってのもあるのかなって思ってたけど、やっぱり話が噛み合わなかった。気になってお母さんに聞いてみたら、自閉症スペクトラムがあるらしく、なるほどねって思った。今まで、自閉症スペクトラムの人と関わったことがなかったからどうすればいいかわからなかったけど、その子はいつもめちゃくちゃ楽しそうに話してくれて、自分もなんとなく楽しくなってた。それから、たまにカフェに一緒に行ったり、スペイン語を教えてあげたりして一緒に過ごしていくうちに、その子のすごい部分がだんだんわかってきた。確かに会話の面では話が二転三転したり、論理が崩壊してたりしてたんだけど、暗記とか言葉とかがとにかく強くて、1週間でスペイン語の文法はほとんど習得してしまった。他にも、スペイン語の活用って量が多いし、混乱するようなのがいっぱいあるんだけど、そういうのも一回教えたらそれ以降一切間違わなくてびっくりした。多分俺が「普通」に見ていると思っている世界を別の捉え方をして見ているんだと思う。これが日本だったら、「ああ、自閉症スペクトラムね、なんとなくきいたことあるわ」で終わってただろうなぁと。やっぱり当事者とか関係者じゃないと、なかなかここまで深く考えたりしないなって思った。それで、向き合えていい経験だったね、で終わるかと思ってたら、日本に帰って来た後も毎週土曜日にスペインの通りの写真とか、ランダムな物だけどたくさん送ってきてくれた。1番びっくりしたのは、最初に会った時にちょろっと話した誕生日を覚えてくれてたこと。誰かが自分のことについて覚えてくれてるってこんなに嬉しいものなんだ。先週は、スペインの家電量販店に置いてあるテレビに日本が映ってたよっていう写真を送ってきてくれた。気づけば毎週土曜日がちょっぴり楽しみになっていた。”
モジュールのインポート
先ほどインストールしたjanomeの中のtokenizerモジュールをインポートします。
import janome.tokenizer日本語を使えるようにする
pythonで日本語を処理できるようにするために、utf-8を使うという宣言をしておきます。(Unicodeで処理）
# -*- coding: utf-8 -*-オブジェクトの生成
janome.tokenizer.TokenizerクラスのコンストラクタTokenizer()を使用してtokenizerオブジェクトを生成します。
tokenizer = janome.tokenizer.Tokenizer()形態素解析
上記の解析対象のテキストを変数textに代入し、形態素解析を行います。
tokens = list(tokenizer.tokenize(text=text))
for t in tokens:
print(t)tokensはジェネレータであるため、リスト型変数に変換することで後からイテレータとして使えるようにしておきます。
上記の処理で形態素解析の結果を取り出すことができました。
解析結果
以下がターミナルに出力された解析結果です。
スペイン 名詞,固有名詞,地域,国,*,*,スペイン,スペイン,スペイン
で 助詞,格助詞,一般,*,*,*,で,デ,デ
習い事 名詞,一般,*,*,*,*,習い事,ナライゴト,ナライゴト
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
行っ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,行う,オコナッ,オコナッ
て 動詞,非自立,*,*,一段,連用形,てる,テ,テ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
時 名詞,非自立,副詞可能,*,*,*,時,トキ,トキ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
、 記号,読点,*,*,*,*,、,、,、
ある 連体詞,*,*,*,*,*,ある,アル,アル
日 名詞,非自立,副詞可能,*,*,*,日,ヒ,ヒ
突然 副詞,助詞類接続,*,*,*,*,突然,トツゼン,トツゼン
お母さん 名詞,一般,*,*,*,*,お母さん,オカアサン,オカーサン
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
連れ 動詞,自立,*,*,一段,未然形,連れる,ツレ,ツレ
られ 動詞,接尾,*,*,一段,連用形,られる,ラレ,ラレ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
同年代 名詞,一般,*,*,*,*,同年代,ドウネンダイ,ドーネンダイ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
ロシア 名詞,固有名詞,地域,国,*,*,ロシア,ロシア,ロシア
人 名詞,接尾,一般,*,*,*,人,ジン,ジン
の 助詞,連体化,*,*,*,*,の,ノ,ノ
子 名詞,一般,*,*,*,*,子,コ,コ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
やってき 動詞,自立,*,*,カ変・クル,連用形,やってくる,ヤッテキ,ヤッテキ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
モスクワ 名詞,固有名詞,地域,一般,*,*,モスクワ,モスクワ,モスクワ
から 助詞,格助詞,一般,*,*,*,から,カラ,カラ
バルセロナ 名詞,固有名詞,地域,一般,*,*,バルセロナ,バルセロナ,バルセロナ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
家族 名詞,一般,*,*,*,*,家族,カゾク,カゾク
で 助詞,格助詞,一般,*,*,*,で,デ,デ
引っ越し 動詞,自立,*,*,五段・サ行,連用形,引っ越す,ヒッコシ,ヒッコシ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
来 動詞,非自立,*,*,カ変・来ル,連用形,来る,キ,キ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
らしい 助動詞,*,*,*,形容詞・イ段,基本形,らしい,ラシイ,ラシイ
。 記号,句点,*,*,*,*,。,。,。
その 連体詞,*,*,*,*,*,その,ソノ,ソノ
場 名詞,一般,*,*,*,*,場,バ,バ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
い 動詞,自立,*,*,一段,連用形,いる,イ,イ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
中 名詞,非自立,副詞可能,*,*,*,中,ナカ,ナカ
で 助詞,格助詞,一般,*,*,*,で,デ,デ
俺 名詞,代名詞,一般,*,*,*,俺,オレ,オレ
だけ 助詞,副助詞,*,*,*,*,だけ,ダケ,ダケ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
アジア 名詞,固有名詞,地域,一般,*,*,アジア,アジア,アジア
人 名詞,接尾,一般,*,*,*,人,ジン,ジン
だっ 助動詞,*,*,*,特殊・ダ,連用タ接続,だ,ダッ,ダッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
から 助詞,接続助詞,*,*,*,*,から,カラ,カラ
な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
の 名詞,非自立,一般,*,*,*,の,ノ,ノ
か 助詞,副助詞／並立助詞／終助詞,*,*,*,*,か,カ,カ
わから 動詞,自立,*,*,五段・ラ行,未然形,わかる,ワカラ,ワカラ
ない 助動詞,*,*,*,特殊・ナイ,基本形,ない,ナイ,ナイ
けど 助詞,接続助詞,*,*,*,*,けど,ケド,ケド
、 記号,読点,*,*,*,*,、,、,、
結構 副詞,一般,*,*,*,*,結構,ケッコウ,ケッコー
積極 名詞,形容動詞語幹,*,*,*,*,積極,セッキョク,セッキョク
的 名詞,接尾,形容動詞語幹,*,*,*,的,テキ,テキ
に 助詞,副詞化,*,*,*,*,に,ニ,ニ
話しかけ 動詞,自立,*,*,一段,連用形,話しかける,ハナシカケ,ハナシカケ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
くれ 動詞,非自立,*,*,一段・クレル,連用形,くれる,クレ,クレ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
でも 接続詞,*,*,*,*,*,でも,デモ,デモ
、 記号,読点,*,*,*,*,、,、,、
会話 名詞,サ変接続,*,*,*,*,会話,カイワ,カイワ
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
てる 動詞,非自立,*,*,一段,基本形,てる,テル,テル
と 助詞,接続助詞,*,*,*,*,と,ト,ト
一 名詞,数,*,*,*,*,一,イチ,イチ
個 名詞,接尾,助数詞,*,*,*,個,コ,コ
だけ 助詞,副助詞,*,*,*,*,だけ,ダケ,ダケ
気 名詞,一般,*,*,*,*,気,キ,キ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
なる 動詞,自立,*,*,五段・ラ行,基本形,なる,ナル,ナル
こと 名詞,非自立,一般,*,*,*,こと,コト,コト
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
あっ 動詞,自立,*,*,五段・ラ行,連用タ接続,ある,アッ,アッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
、 記号,読点,*,*,*,*,、,、,、
全然 副詞,助詞類接続,*,*,*,*,全然,ゼンゼン,ゼンゼン
話 名詞,サ変接続,*,*,*,*,話,ハナシ,ハナシ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
噛み合わ 動詞,自立,*,*,五段・ワ行促音便,未然形,噛み合う,カミアワ,カミアワ
なかっ 助動詞,*,*,*,特殊・ナイ,連用タ接続,ない,ナカッ,ナカッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
向こう 名詞,一般,*,*,*,*,向こう,ムコウ,ムコー
の 助詞,連体化,*,*,*,*,の,ノ,ノ
母語 名詞,一般,*,*,*,*,母語,ボゴ,ボゴ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
ロシア 名詞,固有名詞,地域,国,*,*,ロシア,ロシア,ロシア
語 名詞,接尾,一般,*,*,*,語,ゴ,ゴ
だ 助動詞,*,*,*,特殊・ダ,基本形,だ,ダ,ダ
から 助詞,接続助詞,*,*,*,*,から,カラ,カラ
って 助詞,格助詞,連語,*,*,*,って,ッテ,ッテ
の 名詞,非自立,一般,*,*,*,の,ノ,ノ
も 助詞,係助詞,*,*,*,*,も,モ,モ
ある 動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル
の 名詞,非自立,一般,*,*,*,の,ノ,ノ
かなっ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,かなう,カナッ,カナッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
思っ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,思う,オモッ,オモッ
て 動詞,非自立,*,*,一段,連用形,てる,テ,テ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
けど 助詞,接続助詞,*,*,*,*,けど,ケド,ケド
、 記号,読点,*,*,*,*,、,、,、
やっぱり 副詞,一般,*,*,*,*,やっぱり,ヤッパリ,ヤッパリ
話 名詞,サ変接続,*,*,*,*,話,ハナシ,ハナシ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
噛み合わ 動詞,自立,*,*,五段・ワ行促音便,未然形,噛み合う,カミアワ,カミアワ
なかっ 助動詞,*,*,*,特殊・ナイ,連用タ接続,ない,ナカッ,ナカッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
気 名詞,一般,*,*,*,*,気,キ,キ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
なっ 動詞,自立,*,*,五段・ラ行,連用タ接続,なる,ナッ,ナッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
お母さん 名詞,一般,*,*,*,*,お母さん,オカアサン,オカーサン
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
聞い 動詞,自立,*,*,五段・カ行イ音便,連用タ接続,聞く,キイ,キイ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
み 動詞,非自立,*,*,一段,連用形,みる,ミ,ミ
たら 助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ
、 記号,読点,*,*,*,*,、,、,、
自閉症 名詞,一般,*,*,*,*,自閉症,ジヘイショウ,ジヘイショー
スペクトラム 名詞,一般,*,*,*,*,スペクトラム,スペクトラム,スペクトラム
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
ある 動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル
らしく 助動詞,*,*,*,形容詞・イ段,連用テ接続,らしい,ラシク,ラシク
、 記号,読点,*,*,*,*,、,、,、
なるほど 感動詞,*,*,*,*,*,なるほど,ナルホド,ナルホド
ねっ 動詞,自立,*,*,五段・ラ行,連用タ接続,ねる,ネッ,ネッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
思っ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,思う,オモッ,オモッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
今 名詞,副詞可能,*,*,*,*,今,イマ,イマ
まで 助詞,副助詞,*,*,*,*,まで,マデ,マデ
、 記号,読点,*,*,*,*,、,、,、
自閉症 名詞,一般,*,*,*,*,自閉症,ジヘイショウ,ジヘイショー
スペクトラム 名詞,一般,*,*,*,*,スペクトラム,スペクトラム,スペクトラム
の 助詞,連体化,*,*,*,*,の,ノ,ノ
人 名詞,一般,*,*,*,*,人,ヒト,ヒト
と 助詞,格助詞,一般,*,*,*,と,ト,ト
関わっ 動詞,自立,*,*,五段・ラ行,連用タ接続,関わる,カカワッ,カカワッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
こと 名詞,非自立,一般,*,*,*,こと,コト,コト
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
なかっ 形容詞,自立,*,*,形容詞・アウオ段,連用タ接続,ない,ナカッ,ナカッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
から 助詞,接続助詞,*,*,*,*,から,カラ,カラ
どう 副詞,助詞類接続,*,*,*,*,どう,ドウ,ドー
すれ 動詞,自立,*,*,サ変・スル,仮定形,する,スレ,スレ
ば 助詞,接続助詞,*,*,*,*,ば,バ,バ
いい 形容詞,非自立,*,*,形容詞・イイ,基本形,いい,イイ,イイ
か 助詞,副助詞／並立助詞／終助詞,*,*,*,*,か,カ,カ
わから 動詞,自立,*,*,五段・ラ行,未然形,わかる,ワカラ,ワカラ
なかっ 助動詞,*,*,*,特殊・ナイ,連用タ接続,ない,ナカッ,ナカッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
けど 助詞,接続助詞,*,*,*,*,けど,ケド,ケド
、 記号,読点,*,*,*,*,、,、,、
その 連体詞,*,*,*,*,*,その,ソノ,ソノ
子 名詞,一般,*,*,*,*,子,コ,コ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
いつも 副詞,一般,*,*,*,*,いつも,イツモ,イツモ
めちゃくちゃ 名詞,形容動詞語幹,*,*,*,*,めちゃくちゃ,メチャクチャ,メチャクチャ
楽し 形容詞,自立,*,*,形容詞・イ段,ガル接続,楽しい,タノシ,タノシ
そう 名詞,接尾,助動詞語幹,*,*,*,そう,ソウ,ソー
に 助詞,副詞化,*,*,*,*,に,ニ,ニ
話し 動詞,自立,*,*,五段・サ行,連用形,話す,ハナシ,ハナシ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
くれ 動詞,非自立,*,*,一段・クレル,連用形,くれる,クレ,クレ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
、 記号,読点,*,*,*,*,、,、,、
自分 名詞,一般,*,*,*,*,自分,ジブン,ジブン
も 助詞,係助詞,*,*,*,*,も,モ,モ
なんとなく 副詞,助詞類接続,*,*,*,*,なんとなく,ナントナク,ナントナク
楽しく 形容詞,自立,*,*,形容詞・イ段,連用テ接続,楽しい,タノシク,タノシク
なっ 動詞,自立,*,*,五段・ラ行,連用タ接続,なる,ナッ,ナッ
て 動詞,非自立,*,*,一段,連用形,てる,テ,テ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
それから 接続詞,*,*,*,*,*,それから,ソレカラ,ソレカラ
、 記号,読点,*,*,*,*,、,、,、
たまに 副詞,一般,*,*,*,*,たまに,タマニ,タマニ
カフェ 名詞,一般,*,*,*,*,カフェ,カフェ,カフェ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
一緒 名詞,サ変接続,*,*,*,*,一緒,イッショ,イッショ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
行っ 動詞,自立,*,*,五段・カ行促音便,連用タ接続,行く,イッ,イッ
たり 助詞,並立助詞,*,*,*,*,たり,タリ,タリ
、 記号,読点,*,*,*,*,、,、,、
スペイン 名詞,固有名詞,地域,国,*,*,スペイン,スペイン,スペイン
語 名詞,接尾,一般,*,*,*,語,ゴ,ゴ
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
教え 動詞,自立,*,*,一段,連用形,教える,オシエ,オシエ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
あげ 動詞,非自立,*,*,一段,連用形,あげる,アゲ,アゲ
たり 助詞,並立助詞,*,*,*,*,たり,タリ,タリ
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
一緒 名詞,サ変接続,*,*,*,*,一緒,イッショ,イッショ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
過ごし 動詞,自立,*,*,五段・サ行,連用形,過ごす,スゴシ,スゴシ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
いく 動詞,非自立,*,*,五段・カ行促音便,基本形,いく,イク,イク
うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
、 記号,読点,*,*,*,*,、,、,、
その 連体詞,*,*,*,*,*,その,ソノ,ソノ
子 名詞,一般,*,*,*,*,子,コ,コ
の 助詞,格助詞,一般,*,*,*,の,ノ,ノ
すごい 形容詞,自立,*,*,形容詞・アウオ段,基本形,すごい,スゴイ,スゴイ
部分 名詞,一般,*,*,*,*,部分,ブブン,ブブン
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
だんだん 副詞,助詞類接続,*,*,*,*,だんだん,ダンダン,ダンダン
わかっ 動詞,自立,*,*,五段・ラ行,連用タ接続,わかる,ワカッ,ワカッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
き 動詞,非自立,*,*,カ変・クル,連用形,くる,キ,キ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
確か 名詞,形容動詞語幹,*,*,*,*,確か,タシカ,タシカ
に 助詞,副詞化,*,*,*,*,に,ニ,ニ
会話 名詞,サ変接続,*,*,*,*,会話,カイワ,カイワ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
面 名詞,一般,*,*,*,*,面,メン,メン
で 助詞,格助詞,一般,*,*,*,で,デ,デ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
話 名詞,サ変接続,*,*,*,*,話,ハナシ,ハナシ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
二 名詞,数,*,*,*,*,二,ニ,ニ
転 名詞,接尾,助数詞,*,*,*,転,テン,テン
三 名詞,数,*,*,*,*,三,サン,サン
転 名詞,接尾,助数詞,*,*,*,転,テン,テン
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
たり 助詞,並立助詞,*,*,*,*,たり,タリ,タリ
、 記号,読点,*,*,*,*,、,、,、
論理 名詞,一般,*,*,*,*,論理,ロンリ,ロンリ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
崩壊 名詞,サ変接続,*,*,*,*,崩壊,ホウカイ,ホーカイ
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
たり 助詞,並立助詞,*,*,*,*,たり,タリ,タリ
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て 動詞,非自立,*,*,一段,連用形,てる,テ,テ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
ん 名詞,非自立,一般,*,*,*,ん,ン,ン
だ 助動詞,*,*,*,特殊・ダ,基本形,だ,ダ,ダ
けど 助詞,接続助詞,*,*,*,*,けど,ケド,ケド
、 記号,読点,*,*,*,*,、,、,、
暗記 名詞,サ変接続,*,*,*,*,暗記,アンキ,アンキ
とか 助詞,並立助詞,*,*,*,*,とか,トカ,トカ
言葉 名詞,一般,*,*,*,*,言葉,コトバ,コトバ
とか 助詞,並立助詞,*,*,*,*,とか,トカ,トカ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
とにかく 副詞,一般,*,*,*,*,とにかく,トニカク,トニカク
強く 形容詞,自立,*,*,形容詞・アウオ段,連用テ接続,強い,ツヨク,ツヨク
て 助詞,接続助詞,*,*,*,*,て,テ,テ
、 記号,読点,*,*,*,*,、,、,、
1 名詞,数,*,*,*,*,1,*,*
週間 名詞,接尾,助数詞,*,*,*,週間,シュウカン,シューカン
で 助詞,格助詞,一般,*,*,*,で,デ,デ
スペイン 名詞,固有名詞,地域,国,*,*,スペイン,スペイン,スペイン
語 名詞,接尾,一般,*,*,*,語,ゴ,ゴ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
文法 名詞,一般,*,*,*,*,文法,ブンポウ,ブンポー
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
ほとんど 副詞,一般,*,*,*,*,ほとんど,ホトンド,ホトンド
習得 名詞,サ変接続,*,*,*,*,習得,シュウトク,シュートク
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
しまっ 動詞,非自立,*,*,五段・ワ行促音便,連用タ接続,しまう,シマッ,シマッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
他 名詞,一般,*,*,*,*,他,タ,タ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
も 助詞,係助詞,*,*,*,*,も,モ,モ
、 記号,読点,*,*,*,*,、,、,、
スペイン 名詞,固有名詞,地域,国,*,*,スペイン,スペイン,スペイン
語 名詞,接尾,一般,*,*,*,語,ゴ,ゴ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
活用 名詞,サ変接続,*,*,*,*,活用,カツヨウ,カツヨー
って 助詞,格助詞,連語,*,*,*,って,ッテ,ッテ
量 名詞,一般,*,*,*,*,量,リョウ,リョー
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
多い 形容詞,自立,*,*,形容詞・アウオ段,基本形,多い,オオイ,オーイ
し 助詞,接続助詞,*,*,*,*,し,シ,シ
、 記号,読点,*,*,*,*,、,、,、
混乱 名詞,サ変接続,*,*,*,*,混乱,コンラン,コンラン
する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
よう 名詞,非自立,助動詞語幹,*,*,*,よう,ヨウ,ヨー
な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
の 名詞,非自立,一般,*,*,*,の,ノ,ノ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
いっぱい 副詞,一般,*,*,*,*,いっぱい,イッパイ,イッパイ
ある 動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル
ん 名詞,非自立,一般,*,*,*,ん,ン,ン
だ 助動詞,*,*,*,特殊・ダ,基本形,だ,ダ,ダ
けど 助詞,接続助詞,*,*,*,*,けど,ケド,ケド
、 記号,読点,*,*,*,*,、,、,、
そういう 連体詞,*,*,*,*,*,そういう,ソウイウ,ソーユウ
の 名詞,非自立,一般,*,*,*,の,ノ,ノ
も 助詞,係助詞,*,*,*,*,も,モ,モ
一 名詞,数,*,*,*,*,一,イチ,イチ
回 名詞,接尾,助数詞,*,*,*,回,カイ,カイ
教え 動詞,自立,*,*,一段,連用形,教える,オシエ,オシエ
たら 助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ
それ 名詞,代名詞,一般,*,*,*,それ,ソレ,ソレ
以降 名詞,副詞可能,*,*,*,*,以降,イコウ,イコー
一切 名詞,副詞可能,*,*,*,*,一切,イッサイ,イッサイ
間違わ 動詞,自立,*,*,五段・ワ行促音便,未然形,間違う,マチガワ,マチガワ
なく 助動詞,*,*,*,特殊・ナイ,連用テ接続,ない,ナク,ナク
て 助詞,接続助詞,*,*,*,*,て,テ,テ
びっくり 名詞,サ変接続,*,*,*,*,びっくり,ビックリ,ビックリ
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
多分 副詞,一般,*,*,*,*,多分,タブン,タブン
俺 名詞,代名詞,一般,*,*,*,俺,オレ,オレ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
「 記号,括弧開,*,*,*,*,「,「,「
普通 名詞,形容動詞語幹,*,*,*,*,普通,フツウ,フツー
」 記号,括弧閉,*,*,*,*,」,」,」
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
見 動詞,自立,*,*,一段,連用形,見る,ミ,ミ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
いる 動詞,非自立,*,*,一段,基本形,いる,イル,イル
と 助詞,格助詞,引用,*,*,*,と,ト,ト
思っ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,思う,オモッ,オモッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
いる 動詞,非自立,*,*,一段,基本形,いる,イル,イル
世界 名詞,一般,*,*,*,*,世界,セカイ,セカイ
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
別 名詞,一般,*,*,*,*,別,ベツ,ベツ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
捉え 動詞,自立,*,*,一段,連用形,捉える,トラエ,トラエ
方 名詞,接尾,特殊,*,*,*,方,カタ,カタ
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
見 動詞,自立,*,*,一段,連用形,見る,ミ,ミ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
いる 動詞,非自立,*,*,一段,基本形,いる,イル,イル
ん 名詞,非自立,一般,*,*,*,ん,ン,ン
だ 助動詞,*,*,*,特殊・ダ,基本形,だ,ダ,ダ
と 助詞,格助詞,引用,*,*,*,と,ト,ト
思う 動詞,自立,*,*,五段・ワ行促音便,基本形,思う,オモウ,オモウ
。 記号,句点,*,*,*,*,。,。,。
これ 名詞,代名詞,一般,*,*,*,これ,コレ,コレ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン
だっ 助動詞,*,*,*,特殊・ダ,連用タ接続,だ,ダッ,ダッ
たら 助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ
、 記号,読点,*,*,*,*,、,、,、
「 記号,括弧開,*,*,*,*,「,「,「
ああ 感動詞,*,*,*,*,*,ああ,アア,アー
、 記号,読点,*,*,*,*,、,、,、
自閉症 名詞,一般,*,*,*,*,自閉症,ジヘイショウ,ジヘイショー
スペクトラム 名詞,一般,*,*,*,*,スペクトラム,スペクトラム,スペクトラム
ね 助詞,終助詞,*,*,*,*,ね,ネ,ネ
、 記号,読点,*,*,*,*,、,、,、
なんとなく 副詞,助詞類接続,*,*,*,*,なんとなく,ナントナク,ナントナク
きい 動詞,自立,*,*,五段・カ行イ音便,連用タ接続,きく,キイ,キイ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
こと 名詞,非自立,一般,*,*,*,こと,コト,コト
ある 動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル
わ 助詞,終助詞,*,*,*,*,わ,ワ,ワ
」 記号,括弧閉,*,*,*,*,」,」,」
で 助詞,格助詞,一般,*,*,*,で,デ,デ
終わっ 動詞,自立,*,*,五段・ラ行,連用タ接続,終わる,オワッ,オワッ
て 動詞,非自立,*,*,一段,連用形,てる,テ,テ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
だろ 助動詞,*,*,*,特殊・ダ,未然形,だ,ダロ,ダロ
う 助動詞,*,*,*,不変化型,基本形,う,ウ,ウ
なぁ 助詞,終助詞,*,*,*,*,なぁ,ナァ,ナー
と 助詞,格助詞,引用,*,*,*,と,ト,ト
。 記号,句点,*,*,*,*,。,。,。
やっぱり 副詞,一般,*,*,*,*,やっぱり,ヤッパリ,ヤッパリ
当事者 名詞,一般,*,*,*,*,当事者,トウジシャ,トージシャ
とか 助詞,並立助詞,*,*,*,*,とか,トカ,トカ
関係 名詞,サ変接続,*,*,*,*,関係,カンケイ,カンケイ
者 名詞,接尾,一般,*,*,*,者,シャ,シャ
じゃ 助詞,副助詞,*,*,*,*,じゃ,ジャ,ジャ
ない 助動詞,*,*,*,特殊・ナイ,基本形,ない,ナイ,ナイ
と 助詞,接続助詞,*,*,*,*,と,ト,ト
、 記号,読点,*,*,*,*,、,、,、
なかなか 副詞,助詞類接続,*,*,*,*,なかなか,ナカナカ,ナカナカ
ここ 名詞,代名詞,一般,*,*,*,ここ,ココ,ココ
まで 助詞,副助詞,*,*,*,*,まで,マデ,マデ
深く 形容詞,自立,*,*,形容詞・アウオ段,連用テ接続,深い,フカク,フカク
考え 動詞,自立,*,*,一段,連用形,考える,カンガエ,カンガエ
たり 助詞,並立助詞,*,*,*,*,たり,タリ,タリ
し 動詞,自立,*,*,サ変・スル,未然形,する,シ,シ
ない 助動詞,*,*,*,特殊・ナイ,基本形,ない,ナイ,ナイ
なっ 動詞,自立,*,*,五段・ラ行,連用タ接続,なる,ナッ,ナッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
思っ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,思う,オモッ,オモッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
それで 接続詞,*,*,*,*,*,それで,ソレデ,ソレデ
、 記号,読点,*,*,*,*,、,、,、
向き合え 動詞,自立,*,*,一段,連用形,向き合える,ムキアエ,ムキアエ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
いい 形容詞,非自立,*,*,形容詞・イイ,基本形,いい,イイ,イイ
経験 名詞,サ変接続,*,*,*,*,経験,ケイケン,ケイケン
だっ 助動詞,*,*,*,特殊・ダ,連用タ接続,だ,ダッ,ダッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
ね 助詞,終助詞,*,*,*,*,ね,ネ,ネ
、 記号,読点,*,*,*,*,、,、,、
で 助詞,格助詞,一般,*,*,*,で,デ,デ
終わる 動詞,自立,*,*,五段・ラ行,基本形,終わる,オワル,オワル
か 助詞,副助詞／並立助詞／終助詞,*,*,*,*,か,カ,カ
と 助詞,格助詞,引用,*,*,*,と,ト,ト
思っ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,思う,オモッ,オモッ
て 動詞,非自立,*,*,一段,連用形,てる,テ,テ
たら 助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ
、 記号,読点,*,*,*,*,、,、,、
日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
帰っ 動詞,自立,*,*,五段・ラ行,連用タ接続,帰る,カエッ,カエッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
来 動詞,非自立,*,*,カ変・来ル,連用形,来る,キ,キ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
後 名詞,非自立,副詞可能,*,*,*,後,ノチ,ノチ
も 助詞,係助詞,*,*,*,*,も,モ,モ
毎週 名詞,副詞可能,*,*,*,*,毎週,マイシュウ,マイシュー
土曜日 名詞,副詞可能,*,*,*,*,土曜日,ドヨウビ,ドヨービ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
スペイン 名詞,固有名詞,地域,国,*,*,スペイン,スペイン,スペイン
の 助詞,連体化,*,*,*,*,の,ノ,ノ
通り 名詞,一般,*,*,*,*,通り,トオリ,トーリ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
写真 名詞,一般,*,*,*,*,写真,シャシン,シャシン
とか 助詞,並立助詞,*,*,*,*,とか,トカ,トカ
、 記号,読点,*,*,*,*,、,、,、
ランダム 名詞,形容動詞語幹,*,*,*,*,ランダム,ランダム,ランダム
な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
物 名詞,非自立,一般,*,*,*,物,モノ,モノ
だ 助動詞,*,*,*,特殊・ダ,基本形,だ,ダ,ダ
けど 助詞,接続助詞,*,*,*,*,けど,ケド,ケド
たくさん 名詞,副詞可能,*,*,*,*,たくさん,タクサン,タクサン
送っ 動詞,自立,*,*,五段・ラ行,連用タ接続,送る,オクッ,オクッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
き 動詞,非自立,*,*,カ変・クル,連用形,くる,キ,キ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
くれ 動詞,非自立,*,*,一段・クレル,連用形,くれる,クレ,クレ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
1 名詞,数,*,*,*,*,1,*,*
番 名詞,接尾,助数詞,*,*,*,番,バン,バン
びっくり 名詞,サ変接続,*,*,*,*,びっくり,ビックリ,ビックリ
し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
の 名詞,非自立,一般,*,*,*,の,ノ,ノ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
、 記号,読点,*,*,*,*,、,、,、
最初 名詞,一般,*,*,*,*,最初,サイショ,サイショ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
会っ 動詞,自立,*,*,五段・ワ行促音便,連用タ接続,会う,アッ,アッ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
時 名詞,非自立,副詞可能,*,*,*,時,トキ,トキ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
ちょろ 形容詞,自立,*,*,形容詞・アウオ段,ガル接続,ちょろい,チョロ,チョロ
っと 助詞,格助詞,引用,*,*,*,っと,ット,ット
話し 動詞,自立,*,*,五段・サ行,連用形,話す,ハナシ,ハナシ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
誕生 名詞,サ変接続,*,*,*,*,誕生,タンジョウ,タンジョー
日 名詞,接尾,一般,*,*,*,日,ビ,ビ
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
覚え 動詞,自立,*,*,一段,連用形,覚える,オボエ,オボエ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
くれ 動詞,非自立,*,*,一段・クレル,連用形,くれる,クレ,クレ
て 動詞,非自立,*,*,一段,連用形,てる,テ,テ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
こと 名詞,非自立,一般,*,*,*,こと,コト,コト
。 記号,句点,*,*,*,*,。,。,。
誰か 名詞,一般,*,*,*,*,誰か,ダレカ,ダレカ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
自分 名詞,一般,*,*,*,*,自分,ジブン,ジブン
の 助詞,連体化,*,*,*,*,の,ノ,ノ
こと 名詞,非自立,一般,*,*,*,こと,コト,コト
について 助詞,格助詞,連語,*,*,*,について,ニツイテ,ニツイテ
覚え 動詞,自立,*,*,一段,連用形,覚える,オボエ,オボエ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
くれ 動詞,非自立,*,*,一段・クレル,連用形,くれる,クレ,クレ
てる 動詞,非自立,*,*,一段,基本形,てる,テル,テル
って 助詞,格助詞,連語,*,*,*,って,ッテ,ッテ
こんなに 副詞,助詞類接続,*,*,*,*,こんなに,コンナニ,コンナニ
嬉しい 形容詞,自立,*,*,形容詞・イ段,基本形,嬉しい,ウレシイ,ウレシイ
もの 名詞,非自立,一般,*,*,*,もの,モノ,モノ
な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
ん 名詞,非自立,一般,*,*,*,ん,ン,ン
だ 助動詞,*,*,*,特殊・ダ,基本形,だ,ダ,ダ
。 記号,句点,*,*,*,*,。,。,。
先週 名詞,副詞可能,*,*,*,*,先週,センシュウ,センシュー
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
、 記号,読点,*,*,*,*,、,、,、
スペイン 名詞,固有名詞,地域,国,*,*,スペイン,スペイン,スペイン
の 助詞,連体化,*,*,*,*,の,ノ,ノ
家電 名詞,一般,*,*,*,*,家電,カデン,カデン
量販 名詞,サ変接続,*,*,*,*,量販,リョウハン,リョーハン
店 名詞,接尾,一般,*,*,*,店,テン,テン
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
置い 動詞,自立,*,*,五段・カ行イ音便,連用タ接続,置く,オイ,オイ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
ある 動詞,非自立,*,*,五段・ラ行,基本形,ある,アル,アル
テレビ 名詞,一般,*,*,*,*,テレビ,テレビ,テレビ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
映っ 動詞,自立,*,*,五段・ラ行,連用タ接続,映る,ウツッ,ウツッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
たよっ 動詞,自立,*,*,五段・ラ行,連用タ接続,たよる,タヨッ,タヨッ
ていう 助詞,格助詞,連語,*,*,*,ていう,テイウ,テユウ
写真 名詞,一般,*,*,*,*,写真,シャシン,シャシン
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
送っ 動詞,自立,*,*,五段・ラ行,連用タ接続,送る,オクッ,オクッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
き 動詞,非自立,*,*,カ変・クル,連用形,くる,キ,キ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
くれ 動詞,非自立,*,*,一段・クレル,連用形,くれる,クレ,クレ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
気づけ 動詞,自立,*,*,五段・カ行イ音便,仮定形,気づく,キヅケ,キズケ
ば 助詞,接続助詞,*,*,*,*,ば,バ,バ
毎週 名詞,副詞可能,*,*,*,*,毎週,マイシュウ,マイシュー
土曜日 名詞,副詞可能,*,*,*,*,土曜日,ドヨウビ,ドヨービ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
ちょっぴり 副詞,助詞類接続,*,*,*,*,ちょっぴり,チョッピリ,チョッピリ
楽しみ 名詞,一般,*,*,*,*,楽しみ,タノシミ,タノシミ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
なっ 動詞,自立,*,*,五段・ラ行,連用タ接続,なる,ナッ,ナッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
い 動詞,非自立,*,*,一段,連用形,いる,イ,イ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。コードの全体像
# -*- coding: utf-8 -*-
import janome.tokenizer
text = 'text'
tokenizer = janome.tokenizer.Tokenizer()
tokens = list(tokenizer.tokenize(text))
for t in tokens:
print(t)以上で、日本語の文章を形態素解析することができました。
tokenはイテラブルなオブジェクトであるため、ループを使用して取り出しながら他の処理を加えることもできます。
次回は、品詞分解したパーツをマルコフ連鎖によって再構築するプログラムを書いていきます。
