今回も前処理大全のコードを記載します。6~8章までの内容をまとめてますので参考にして頂けたらと思います。
＊Pythonのみでの記載になります。

第6章：生成

6-1：アンダーサンプリングによる不均衡データの調整

本書では上記についてコードが紹介されてません。データの削減（重複データの削減等）ということで、生成とは少し違うのに加え、アンダーサンプリングを行うことは稀だそうです。

6-2：オーバーサンプリングにおける不均衡データの調整

Q：オーバーサンプリング

障害が起きてない（fault_flgがFalse）レコードが927件、障害が起きている（fault_flgがTrue）レコードが73件あります。障害が起きているレコードをSMOTEを用いてオーバーサンプリングを行い、障害が起きてないレコードの件数に近づける。なお、SMOTEのパラメータは5とする。

# SMOTE関数をライブラリから読み込み

from imblearn.over_sampling import SMOTE

# SMOTE関数の設定
# ratioは不均衡データに居置ける薄く名入れのデータを多い方のデータの何割まで増やすか設定
# (autoの場合は同じ数まで増やす、0.5と設定すると5割までデータを増やす)
# k_neighoborsはsmoteのkパラメータ
# randommM_stateは乱数のseed（乱数の生産パターンの元）
sm = SMOTE(sampling_strategy='auto', k_neighbors=5, random_state=71)

# オーバーサンプリングの実行
blance_date, balance_target = sm.fit_resample(production_tb[['length', 'thickness']], production_tb['fault_flg'])

第7章：展開

7-1：横持ちへの変換

Q：横持ち変換

予約テーブルから「顧客・宿泊人数」ごとに予約数をカウントし、行を顧客ID、列を宿泊人数、値を予約数の行列に変換。

# pivot_table関数で横持ち変換と集約処理を同時実行
# aggfuncに予約数をカウントする関数を指定
pd.pivot_table(reserve_tb, index='customer_id', columns='people_num', values='reserve_id', aggfunc=lambda x : len(x), fill_value=0)

7-2：スパースマトリックスへの変換

縦持ちから横持ちに変換するとデータサイズが膨れ上がってしまう場合があります。それは変換するとスパースマトリックスになってしまう場合です。 スパーづマトリックスとは、ほとんどの要素の値が0でごくわずかしか値が存在しない巨大な行列（表）のことです。 簡単にいうと「横持ちかつ見やすくしよう」という感じですね。

Q：スパースマトリックス

前節の例題（横持ち変換で作成した行列）をスパースマトリックスとして生成。

# スパースマトリックスのライブラリを読み込み
from scipy.sparse import csc_matrix

# 顧客ID/宿泊人数別の予約数の表を生成
cnt_tb = reserve_tb.groupby(['customer_id', 'people_num'])['reserve_id'].size().reset_index()
cnt_tb.columns = ['customer_id', 'people_num', 'rsv_cnt']

# sparseMatrixの行/列に該当する列の値をカテゴリ型に変換
customer_id = pd.Categorical(cnt_tb['customer_id'])
people_num = pd.Categorical(cnt_tb['people_num'])

# スパースマトリックスに生成
# 1の引数は、指定した行列に対応した値、行番号、列番号の配列をまとめたタプルを指定
# shapeには、スパースマトリックスのサイズを指定（行数/列数のタプルを指定）
# (customer_id.codesはインデックス番号の取得)
# (len(customer_id.categories)は、customer_idのユニークな数を取得)
csc_matrix((cnt_tb['rsv_cnt'], (customer_id.codes, people_num.codes)),
          shape=(len(customer_id.categories), len(people_num.categories)))

第8章：数値型

8-1：数値型への変換

Q：数値型への変換

40000/3をさまざまな数値のデータ型に変換

# データ型の確認
type(40000 / 3)

# 整数型へ変換
int(40000 / 3)

# 浮動小数点型へ変換
# float(40000 / 3)

df = pd.DataFrame({'value' : [40000 / 3]})

# データ型の確認

# 整数型へ変換
df['value'].astype('int8')
df['value'].astype('int16')
df['value'].astype('int32')
df['value'].astype('int64')

# 浮動小数点型へ変換
df['value'].astype('float16')
df['value'].astype('float32')
df['value'].astype('float64')
df['value'].astype('float128')

# 下記のようにPythonのデータ型を指定できる
df['value'].astype(int)
df['value'].astype(float)

8-2：対数化による非線形な変化

Q：対数化

予約テーブルのtotal_priceを1,000で割ってから、底10で割って対数化しましょう。

reserve_tb['total_price_log'] = reserve_tb['total_price'].apply(lambda x : np.log10(x / 1000 + 1))
reserve_tb.head()

8-3：カテゴリ化による非線形な変化

Q：数値型のカテゴリ化

顧客テーブルの年齢を10きざみのカテゴリ型として追加しましょう。

customer_tb['age_rang'] = (np.floor(customer_tb['age'] / 10) * 10).astype('category')
customer_tb.head()

8-4：正規化

Q：正規化

予約テーブルの予約人数（people_num）と合計金額（total_price）を平均0、分散1の分布に変換して正規化をしましょう。

from sklearn.preprocessing import StandardScaler

# 小数点以下を扱えるようにするためfloat型に変換
reserve_tb['people_num']  = reserve_tb['people_num'].astype(float)

# 正規化を行うオブジェクトを生成
ss = StandardScaler()

# fit_transform関数は、fit関数（正規化するための前準備の計算）と
# transform関数（準備された情報から正規化の変換処理を行う）の両方を行う
result = ss.fit_transform(reserve_tb[['people_num', 'total_price']])

reserve_tb['people_num_normalized'] = [x[0] for x in result]
reserve_tb['total_price_normalized'] = [x[1] for x in result]

reserve_tb.head()

8-5：外れ値の除去

Q：標準偏差基準の外れ値の除去

予約テーブルの予約合計金額（total_price）において、平均値から標準偏差値の3倍以内の値に収まる予約テーブルのみに絞りましょう

reserve_tb = reserve_tb[(abs(reserve_tb['total_price'] - np.mean(reserve_tb['total_price'])) / np.std(reserve_tb['total_price'], ddof=0) <= 3)
].reset_index(drop=True)

reserve_tb

8-6：主成分分析による次元圧縮

Q：主成分分析による次元圧縮

製造レコードのlengthとthicknessを1次元に圧縮しましょう

# PCA読み込み
from sklearn.decomposition import PCA

# n_componentsに、主成分分析で変換後の次元数を設定
pca = PCA(n_components=2)

# 主成分分析を実行
# pcaに主成分分析の変換パラメータが保存され、返り値に主成分分析後の値が返される
pca_values = pca.fit_transform(production_tb[['length', 'thickness']])

# 累積寄与率と寄与率の確認
print('累積寄与率 : {0}'.format(sum(pca.explained_variance_ratio_)))
print('各次元の寄与率 : {0}'.format(pca.explained_variance_ratio_))

# predict関数を利用し、同じ次元圧縮処理を実行
pca_newvalues = pca.transform(production_tb[['length', 'thickness']])

8-7：数値型の補完

Q：欠損レコードの削除

thicknessが欠損しているレコードを削除しましょう

production_missing_num_tb = pd.read_csv('production_missing_num.csv', encoding='UTF-8')

# replace関数によってNoneをnanに変換
# (Noneを指定する際には文字列として指定する必要がある)
production_missing_num_tb.replace('None', np.nan, inplace=True)

# dropna関数によって、thickenessにnanを含むレコードを削除
production_missing_num_tb.dropna(subset=['thickness'], inplace=True)

Q：定数補完

欠損しているthicknessを１の値で補完しましょう

production_missing_num_tb = pd.read_csv('production_missing_num.csv', encoding='UTF-8')

# replace関数によってNoneをnanに変換
# (Noneを指定する際には文字列として指定する必要がある)
production_missing_num_tb.replace('None', np.nan, inplace=True)

# fillna関数によって、thicknessの欠損値を1で補完
production_missing_num_tb['thickness'].fillna(1, inplace=True)

Q：平均値補完

欠損しているthicknessを欠損していないthicknessの平均値で補完しましょう

production_missing_num_tb = pd.read_csv('production_missing_num.csv', encoding='UTF-8')

# replace関数によってNoneをnanに変換
# (Noneを指定する際には文字列として指定する必要がある)
production_missing_num_tb.replace('None', np.nan, inplace=True)

# thicknessを数値型に変換（Noneが混ざっているため数値型になっていない）
production_missing_num_tb['thickness'] = production_missing_num_tb['thickness'].astype('float64')

# thicknessの平均値を計算
thickness_mean = production_missing_num_tb['thickness'].mean()

# thicknessの欠損値をthicknessの平均値で補完
production_missing_num_tb['thickness'].fillna(thickness_mean, inplace=True)

Q：PMMによる多重代入

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

# replase関数によって、Noneをnanに変換
production_missing_num_tb.replace('None', np.nan, inplace=True)

# データ型を変換
production_missing_num_tb['thickness'] = production_missing_num_tb['thickness'].astype('float64')
production_missing_num_tb['type'] = production_missing_num_tb['type'].astype('category')
production_missing_num_tb['fault_flg'] = production_missing_num_tb['fault_flg'].astype('category')

# ダミー変数化
production_dummy_flg = pd.get_dummies(
    production_missing_num_tb[['type', 'fault_flg']], drop_first=True
)

# IterativeImputerのインスタンスを作成
imputer = IterativeImputer()

imputed_data = imputer.fit_transform(
    pd.concat([production_missing_num_tb[['length', 'thickness']], production_dummy_flg], axis=1)
)