Janome の履歴(No.11)

情報†

Janome (蛇の目) は，Pure Python で書かれた，辞書内包の形態素解析器です。

mocobeta/janome: Japanese morphological analysis engine written in pure Python
```
Janome is a Japanese morphological analysis engine written in pure Python.
```

Pythonの形態素解析エンジン。日本語のテキストを形態素ごとに分割して品詞を判定したり分かち書き（単語に分割）したりすることができる。

形態素解析以外の前処理も簡単に統合できるanalyzerについて紹介します。

python-snippets/janome_example.py at 4fbbec5042f20edf7a05c4c3bb9aadd4d58145db · nkmk/python-snippets
- コメント：サンプルが豊富に載っている。(2020/01/01)

具体的にpandasのDataFrameの形で存在する日本語データの前処理について考えていきます。

本記事では自然言語処理における前処理の種類とその威力について説明します。

本投稿では形態素解析 (分かち書き) する前、つまり文字レベルでの前処理でよく使っているテクニックを紹介します。

Pythonでトピックモデル　Word Cloud と LDA - 見習いデータサイエンティストの隠れ家
```
ひらがな・カタガナ・英数字の一文字しか無い単語は削除
```

PythonのJanomeを用いた形態素解析 - iMind Developers Blog
```
TokenCountFilterは実行結果を単語とカウントのtupleで返す。
```
- コメント：フィルタと言いつつも他のフィルタ利用時と比較して、出力形式が異なる点に注意。(2020/01/26)