mimu

しがないSESのSE 新たな知識を求めて探索中…Loading ※メモ用投稿なので、…

mimu

しがないSESのSE 新たな知識を求めて探索中…Loading ※メモ用投稿なので、コミュニケーションは期待しないでください

pandas🐼で文字コードを調べるぞ！

import chardetfiles = ['12-7-1.csv', '12-7-2.csv','12-7-3.csv']df = pd.DataFrame()for file in files: with open(file, 'rb') as f: contents = f.read() enc = chardet.detect(contents)['encoding'] print(enc) df = pd.concat([df,pd.re

mimu

    • pandas正規化

      farmer = log[['仕入先','仕入先TEL']]farmer = farmer.fillna(method='ffill')farmer = farmer.drop_duplicates()f_index = []idx = 0for item in farmer.仕入先: idx += 1 f_index.append('F' + str(idx))farmer.insert(0, 'FID', f_index)farmerorder = pd.merge(

      mimu

      • .locを使えというアラート

        またアラートだよ( ´∀｀ ) #元コードsurvey['comment'] = survey['comment'].str.replace('AA', '') またまたお世話になります(*- -)(*_ _)ペコリ しかし、うんともすんともー comment = survey['comment'].str.replace('AA', '')survey = survey.merge(comment, how='inner') 舌打ちしながら、↑に変えたらでなくなりや

        mimu

        • 機械学習　ベースライン検証

          #ベースライン検証データ作成x_tr, x_va2, y_tr, y_va2 = train_test_split(x_train, y_train, test_size=0.2, shuffle=True, stratify=y_train, random_state=123)x_tr1, x_va1, y_tr1, y_va1 = train_test_split(x_tr, y_tr, test_size=0.2, shuffle=True, stratify=y_tr

          mimu

        pandas🐼で文字コードを調べるぞ！

        mimu

          LGBでクロスバリデーション

          params = {'boosting_type':'gbdt', 'objective':'binary', 'metric':'auc', 'learning_rate':0.1, 'num_leaves':16, 'n_estimators':100000, 'random_state':123, 'importance_type':'gain'

          mimu

          LGBでクロスバリデーション

          mimu

          シリーズを横にして、データフレームとつなぐ

          困った。 正月早々、なんかアラート出た。 え！　DataFrameにappendできなくなるだって！！！！ パンダスのコンキャットにせえいうてはる 元コード tmp_sec = pd.Series([num/fps, len(human)], index=list_df.columns)list_df.append(tmp_sec, ignore_index=True) ちょっと前に発行されたテキストはさあ、こういうの起きがちよね。 とほほ( ；∀；) 販売元を見に行け

          mimu

          シリーズを横にして、データフレームとつなぐ

          mimu

          LGB インポートセット

          import numpy as np # linear algebraimport pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)import pickleimport gcimport pandas_profiling as pdpimport matplotlib.pyplot as pltfrom sklearn.preprocessing import StandardScaler, Mi

          mimu

          LGB インポートセット

          mimu

          機械学習　拡散シミュレーション　確率計算

          NUM = len(df_mem_info.index)T_NUM = len(df_mem_info.columns) - 1count_active = 0count_active_to_inactive = 0#消滅確率for t in range(T_NUM): for i in range(NUM): if (df_mem_info.iloc[i][t] == 1): count_active_to_inactive += 1 if (d

          mimu

          機械学習　拡散シミュレーション　確率計算

          mimu

          ルート可視化　機械学習

          import networkx as nximport matplotlib.pyplot as pltdf_tra = df_sol.copy()df_pos = pd.read_csv('trans_route_pos.csv')G = nx.Graph()for i in range(len(df_pos.columns)): G.add_node(df_pos.columns[i])num_pre = 0edge_weights = []size = 0.1for

          mimu

          ルート可視化　機械学習

          mimu

          C＋＋で連立方程式

          Ax　+　Bｙ　=　Ｃ　を複数連立させて、(ｘ,ｙ)座標を求める。 for (int i = 0; i < N; i++) { for (int j = 0; j < N; j++) { if (A[i] * B[j] == A[j] * B[i]) continue; double x = (C[i] * B[j] - C[j] * B[i]) / (A[i] * B[j] - A[j] * B

          mimu

          C＋＋で連立方程式

          mimu

          WINDOW関数（LEAD）１レコード後の項目取得

          -- テーブル作成 create table Test(id integer, day integer, among integer, limited integer); -- データ登録 -- Date型　→　文字列　DATE_FORMAT(current_date,'%Y%m%d') -- 文字列　→　数値型　CAST(対象 as signed) insert into Test(id, day, among, limited) values(1, CAST(DATE_

          mimu

          WINDOW関数（LEAD）１レコード後の項目取得

          mimu