ディレクトリ構造を持つjsonファイルたちを形態素解析をしてcsvに一括変換
複雑なディレクトリ構造を持つjsonファイルをcsvに一括変換したい
日付毎に記録されたjsonデータをcsvに変換したいとする。
ここでまず以下の方法が考えられる1. json⇒csvに変換してくれるサイトを利用2. pythonの変換ライブラリ(pd.read_json()など)を使用する
しかしながら、このどちらも以下の問題を抱えていた
1...一度に変換できる容量に制限アリ&同様のディレクトリを手作業で作り直すのが面倒
2...pd.json_read()でエンコーディングエラー多発
そのため、今回はjson⇒numpy⇒csvとワンクッション置いて必要な情報のみを取り出した
1. 重for文をさけて2018-01-02.jsonのようなファイルパスを表現する
まずこのように内包表記を定義します
#内包表記で重複for分を避ける
years = range(2018,2019)
months = range(1, 13)
days = range(1,32)
combinations = [(year, month, day)
for year in years
for month in months
for day in days]
この内包表記を利用することで、for文は一度で表現することができます`
for year, month, day in combinations:
#ファイル名に合うようにゼロ埋めを実行. ex)2018-09-01
date = str(year) + '-' + str(month).zfill(2) + '-' + str(day).zfill(2)
#pathの生成を自動化(ディレクトリ名もそのうち自動で)
path = "C:/Users/名前/Desktop/json/目的のディレクトリ/" + str(date) + ".json"
2.ファイルパスの判定とjson⇒numpy
1でjsonファイルのpathを自動生成することが出来ました。しかしながら、生成した日付のjsonファイルがない場合エラーを吐いてしまいます。
そこで、os.path.isfile(path)という関数を使用することでpathの存在を判定し、同時にjson⇒numpyへ変換してしまいましょう
if(os.path.isfile(path)):
#日付代わりにカウンターを更新。これが行の値になる
count += 1
#以下、encodingを指定しないとエラーを吐く
f = None
f = open(path, 'r', encoding="utf-8")
#ファイルのデータを取得
json_data = json.load(f)
#numpyにぶち込む
data_ = []
data_ = np.array(json_data)
elseは今回特に指定しませんでした。
3.データのクリーニング(今回は自然言語処理用)と単語抽出
今回使用するjsonファイルの特徴を見てクリーニング方法を検討します
テキストを含むjsonファイルはすべて
{'type': 'message'
から始まっていたので、こちらを判定に利用しました
#data_をクリーニングしてから全体の配列に格納
for i in range(len(data_)):
data_text = str(data_[i])
text_ = data_text.split(',')
#メッセージだけを取り出す
if(text_[0]=="{'type': 'message'"):
rm = "'text': "
pure_text = clean_text(text_[2].replace(rm,''))
print(pure_text)
tokens = t.tokenize(pure_text)
for token in tokens:
partOfSpeech = token.part_of_speech.split(',')[0]
# 今回抽出するのは名詞だけ。（もちろん他の品詞を追加、変更、除外可能。）
if partOfSpeech == u'名詞':
each_data.append(token.surface) # token.surfaceは表層形(語彙)。詳しくはこちら...http://ailaby.com/janome/
#抽出した名詞たちをdata_allに追加していく。
data_all.append(each_data)
each_data = []
4. 形態要素解析後のデータをexcelファイルに出力
## 文章を形態素毎に分割したデータをいれるエクセルファイル作成（今回は名詞のみ）
# 例）C:\Users\〜\Documents\〜
# パスの前のrは省略しない
data_book = xlsxwriter.Workbook("例）C:\Users\〜\Documents\ファイル名1.xlsx")
# シート作成・変数定義
data_sheet = data_book.add_worksheet('data')
for row in range(len(data_all)):
for i in range(len(data_all[row])):
data_sheet.write(row, i, data_all[row][i])
# エクセルを保存
data_book.close()
5. 名詞の頻度ランキングをexcelファイルに出力
#すべての語彙を同じ配列に格納
chain_data = list(chain.from_iterable(data_all))
c = Counter(chain_data)
result_ranking = c.most_common(1000) # 出現頻度100位までを変数に格納
# 語彙出現ランキングを記述するエクセルを作成（パスはファイルを作成したいところに）
result_book = xlsxwriter.Workbook("例）C:\Users\〜\Documents\ファイル名2.xlsx")
# resultという名前のシートを作成
result_sheet = result_book.add_worksheet('result')
for row in range(len(result_ranking)):
for i in range(len(result_ranking[row])):
result_sheet.write(row, i, result_ranking[row][i])
# エクセルを保存
result_book.close()
6.おつかれさまでした
これで大体のjsonファイルをcsvで取り扱えそうですね
コード全文
#python:analysis.py
import pandas as pd
import json
import os
import os.path
import numpy as np
from janome.tokenizer import Tokenizer
import xlrd
import xlsxwriter
from collections import Counter
from itertools import chain
#テキストデータをクリーニングする関数
def clean_text(replaced_text):
"""
\S+ matches all non-whitespace characters (the end of the url)
:param html_text:
:return:
"""
replaced_text = re.sub(r'http\S+', '', replaced_text)
replaced_text = re.sub(r'[@＠]\w+', '', replaced_text) # メンションの除去
replaced_text = re.sub(r' ', ' ', replaced_text) # 全角空白の除去
replaced_text = re.sub(r'<', ' ', replaced_text) # 全角空白の除去
replaced_text = re.sub(r'>', ' ', replaced_text) # 全角空白の除去
return replaced_text
########################################################
#メイン処理
if __name__ == "__main__":
#内包表記で重複for分を避ける
years = range(2018,2019)
months = range(1, 13)
days = range(1,32)
combinations = [(year, month, day)
for year in years
for month in months
for day in days]
#内包表記で繰り返し処理
#縦軸の日付をうまく行列に反映できないので、とりあえずカウンターを設置する
count = 0
data_all = [] #テキストファイルのまとめ先
each_data = [] #語彙の格納先
t = Tokenizer() #形態素解析用のモジュール
#1.形態素解析
for year, month, day in combinations:
#ファイル名に合うようにゼロ埋めを実行. ex)2018-09-01
date = str(year) + '-' + str(month).zfill(2) + '-' + str(day).zfill(2)
#pathの生成も自動化(channelもそのうち自動で)適宜読み替えてpathを設定してください
path = "C:/Users/ユーザー名/Desktop/json/目標のディレクトリ/" + str(date) + ".json"
if(os.path.isfile(path)):
#日付代わりにカウンターを更新。これが行の値になる
count += 1
#encodingを指定しないとエラーを吐く
f = None
f = open(path, 'r', encoding="utf-8")
#print(f)
#ファイルのデータを取得
json_data = json.load(f)
#numpyにぶち込む
data_ = []
data_ = np.array(json_data)
#count行目に入る値
print(count)
#data_をクリーニングしてから全体の配列に格納
for i in range(len(data_)):
#print(data_[i])
data_text = str(data_[i])
#print(data_text)
text_ = data_text.split(',')
#メッセージだけを取り出す
if(text_[0]=="{'type': 'message'"):
rm = "'text': "
pure_text = clean_text(text_[2].replace(rm,''))
print(pure_text)
tokens = t.tokenize(pure_text)
for token in tokens:
partOfSpeech = token.part_of_speech.split(',')[0]
# 今回抽出するのは名詞だけ。（もちろん他の品詞を追加、変更、除外可能。）
if partOfSpeech == u'名詞':
each_data.append(token.surface) # token.surfaceは表層形(語彙)。詳しくはこちら...http://ailaby.com/janome/
#抽出した名詞たちをdata_allに追加していく。
data_all.append(each_data)
each_data = []
###########################################################
## 文章を形態素毎に分割したデータをいれるエクセルファイル作成（今回は名詞のみ）
# 例）C:\Users\〜\Documents\〜
# パスの前のrは省略しない
data_book = xlsxwriter.Workbook("例）C:\Users\〜\Documents\ファイル名1.xlsx")
# シート作成・変数定義
data_sheet = data_book.add_worksheet('data')
for row in range(len(data_all)):
for i in range(len(data_all[row])):
data_sheet.write(row, i, data_all[row][i])
# エクセルを保存
data_book.close()
############################################################
#すべての語彙を同じ配列に格納
chain_data = list(chain.from_iterable(data_all))
c = Counter(chain_data)
result_ranking = c.most_common(1000) # 出現頻度100位までを変数に格納
# 語彙出現ランキングを記述するエクセルを作成（パスはファイルを作成したいところに）
result_book = xlsxwriter.Workbook("例）C:\Users\〜\Documents\ファイル名2.xlsx")
# resultという名前のシートを作成
result_sheet = result_book.add_worksheet('result')
for row in range(len(result_ranking)):
for i in range(len(result_ranking[row])):
result_sheet.write(row, i, result_ranking[row][i])
# エクセルを保存
result_book.close()
この記事が気に入ったらサポートをしてみませんか？