形態素解析

MeCabで遊んでみる。すぐ使えるコードあり。

某IT企業の新米SEのYUHです。データサイエンティストを目指してます。
データ分析の勉強をしようと思い、Pythonの環境構築をしてみた。
前回はJupyterの最低限の操作方法を確認したので、今回はJupyterでMeCabを使って遊んでみることにしてみました。

概要

MeCabとは
 ワカメの付着器の上にある、葉状部の中で厚く折り重なってひだ状になった部分である...
...ではなく、

もっとみる

【コード公開】【Python】あなたにもSiriが作れる?! チャットボットを作成しよう

みなさんはチャットボットをご存知でしょうか?

これはチャットが交わせるボット(ロボット)という意味で、ユーザーが入力した言葉を読み取って、あたかも会話しているかのように反応を返すプログラムのことです。聞きなれない言葉かもしれません。しかしこの記事にたどり着けているみなさんであれば、必ず一度は使ったことがあるはずです。

SiriやGoogleアシスタントなどの対話型AIは、あまりにも自然に会話が

もっとみる
俺も好き!
12

マルコフ連鎖を使ってガクチカっぽい文章を自動生成する

ちょっとした出来心でTwitter上の「今朝見た夢」を集めている。
7万Tweet分くらい集まったので、眺めてフフッってなるだけじゃなくテキスト分析なり文章生成なんなりしたいと思っている中で練習がしたかった。
今回はそれだけ。

とはいえいきなり夢についての文章を自動生成するには気が引けた。
なぜなら

・まゆげが3倍くらいの太さになる夢をみた
・架空の彼氏と海からのお泊り修学旅行デートの夢をみた

もっとみる

Pythonでプログラミング!-形態素解析

GiNZA NLPライブラリおよびGiNZA日本語Universal Dependenciesモデルが公開されています。

Google Colabで実行してみます。

!pip install "https://github.com/megagonlabs/ginza/releases/download/v1.0.2/ja_ginza_nopn-1.0.2.tgz"

とするとインストールが始ま

もっとみる
ありがとうございます!
5

エンジニア女子が触れているプログラミング言語の傾向をPythonを使って分析する - (エピソード5)

Python製の形態素解析器 Janome を使って再び形態素解析で名詞のみを抜き出す

前回の自身のミスにより、もう一度形態素解析から行っていきます。
一度実施していることなので、駆け足で進んでいこうと思います。

Janomeで形態素解析を行って、名詞のみを抜き出します

from janome.tokenizer import Tokenizerfrom janome.analyzer im

もっとみる
ありがとうございます!励みになります!
3

エンジニア女子が触れているプログラミング言語の傾向をPythonを使って分析する - (エピソード3)

Janomeを使って形態素解析を行う

今日も前回から引き続き、エンジニア女子が触れているプログラミング言語の傾向をPythonを使って分析していこうと思います。

前回、各記事のテキストを1.txt, 2.txtという形でテキスト形式に保存しました。
今回、それらのテキストファイルを一つ一つ読み取りながら、形態素解析を行い、記事内で使用されている名詞をも抜き出していこうと思います。

テキストか

もっとみる
ありがとうございます!励みになります!
3

ディレクトリ構造を持つjsonファイルたちを形態素解析をしてcsvに一括変換

複雑なディレクトリ構造を持つjsonファイルをcsvに一括変換したい

日付毎に記録されたjsonデータをcsvに変換したいとする。

ここでまず以下の方法が考えられる1. json⇒csvに変換してくれるサイトを利用2. pythonの変換ライブラリ(pd.read_json()など)を使用する

しかしながら、このどちらも以下の問題を抱えていた
1...一度に変換できる容量に制限アリ&同様のデ

もっとみる

Mr.Children・Spitz・THE ELEPHANT KASHIMASHIの皆さまに「恋」「夢」「風」とは?って聞いてみた!

ワールドカップが開幕しましたね!アルゼンチン対アイスランド戦、観戦してました。。。何があってもメッシ応援してるぞーーー!がんばれ!!!

今回は、Mr.Children・Spitz・THE ELEPHANT KASHIMASHIの皆さまに「恋」「夢」「風」とは?って聞いてみた!という話です。

ふへ???って感じですよね。えっ、知り合い???笑 違います笑

実は、Aidemyで以下の記事を見つけ

もっとみる
ありがとうございます!今後ともどうぞよろしくお願いいたします!
9

Mr.Childrenのベストアルバムを形態素解析してみた

いやーワールドカップ楽しみですねー

優勝はベルギーかブラジルかなって予想してます!

そんで、話は変わりますが、、、

今回は先日に引き続きMr.Childrenのアルバムを形態素解析してみました!

しかも、ベストアルバム!

『Mr.Children 1992-1995』 

『Mr.Children 1996-2000』

『Mr.Children 2001-2005 <micro>』 

もっとみる
ありがとうございます!今後ともどうぞよろしくお願いいたします!
4

小説家になろうのランキング上位作品を可視化してみた【形態素解析】

初めましてケンコーホーシと申します。

noteで記事書くの初めてなので緊張しています。

さて。

まあタイトルと画像見ていただくと分かるかと思いますが、「小説家になろう」と呼ばれる人気web小説投稿サイトの上位作品、こちらでよく使われている単語を可視化することに成功しました。

■具体的な仕様について

小説家になろうにおける指定の上位作品をピックアップして、そこで使用されているタイトル名の一

もっとみる