機械学習のメモや学習内容のアウトプット

平易な言葉を使って、なるべくハンズオンで機械学習を学べるようなアウトプットを。 Qii…

【苦行】0からLinuC レベル1を取得するまで

最近LinuC レベル1の試験を101, 102と無事合格しました。レベル1だからとわりとサクッと取れると勘違いをしてましたて、蓋を開けると取得するまで相当苦労しました。。今回は - 受験の経緯 - 勉強期間と方法 - かけた総費用 - 受験の感想を書きます。では、今回もよろしくお願いいたします。・受験の経緯Linuxは直接的に必要のない分野だったんですが、デプロイとかする時にsystemctl startとか systemctl enable~とか、jou

CentOS終了するんだって。

いままでCentOSは名前こそ知っていたものの使う機会は全くありませんでした。しかし、今現在LinuC試験の学習をしているときにCentOSについても多少なりとも勉強する必要があり勉強していたところにこれ。。。おそらくまたLinuCの試験も改定されそうですね。。ちなみに知らなかったんですが、記事によると日本のOSマーケットシェアではCentOSが一番強く、個人的にはWindowsが圧倒的と感じていたのですが、、、詳しい意図は不明ですが、OSSであるためその商用

機械学習のメモや学習内…

2年前

2
統計検定2級までのロードマップはこんな感じでした。

統計検定2級を受験しまして、当日はテストが想定の2倍くらい難しいことに激焦りしつつも無事合格しました。実際に受験をすると決めてからの期間は2週間で、どのように準備したのか、自分がかけた費用とか書いていこうと思います。全く機械学習と関係ない回となりますが、今回もよろしくお願いいたします。 1・受験前の状況全くの0から2週間で合格したわけではないです（もちろん） 2ヶ月前に統計の学習をUdemyでしてました。（正直この2つの講座のおかげで推定とか検定、残差とかR2

機械学習のメモや学習内…

2年前

8
悔しいくらい簡単に文書要約できるsumyを少し解説。

投稿がまちまちになりつつあるこの頃。あれこれやらないとな〜って思っていたり、ちょっと注意力が散漫だったりとちょっと計画の修正が必要かな〜なんて思っていますが、ま、本題にいきましょう。では、今回もよろしくお願いいたします。 1. 何するのか？Dockerでの環境構築を使ってなんかしたいなっていうのが根底にありまして、考えたところ自然言語処理を扱ってきたし、楽天トラベルのレビューページをスクレイピングして、評価のロジスティック回帰・各評価ごとの分類をしてみましょう

機械学習のメモや学習内…

2年前

1

【苦行】0からLinuC レベル1を取得するまで

機械学習のメモや学習内容のアウトプット

2年前

CentOS終了するんだって。

2

機械学習のメモや学習内容のアウトプット

2年前
統計検定2級までのロードマップはこんな感じでした。

8

機械学習のメモや学習内容のアウトプット

2年前
悔しいくらい簡単に文書要約できるsumyを少し解説。

1

機械学習のメモや学習内容のアウトプット

2年前

ローカル依存を変えるべくDockerでコンテナ上で自然言語処理を行う

更新が空きましたね。。 transformerやら画像認識やら、その他自分のタスクなどかなりペンディングや積んでいるものがありふれているのですが、徐々に消化してここでも書いて行けたらと思います。ちょっとGoogle Colab上で自然言語処理をしてきましたし、今後のtransformerやその他の重い処理では引き続きColabを使う予定ですが、どうしてもローカルで作業したい時もあったりします。（少なくとも私はw）ですが、ローカル依存で作業することに慣れるとPCの容量

機械学習のメモや学習内…

2年前

1
ローカル依存を変えるべくDockerでコンテナ上で自然言語処理を行う

1

機械学習のメモや学習内容のアウトプット

2年前
自然言語処理⑪~Transformer・BERTのためのAttention理解と実装に挑戦その１~

Transformer とかBERT とか聞くと、自然言語処理の本丸に近づきつつありますね。 TransformerはもちろんBERTやらGPT-nでも使われてますが、画像処理のViTなどでも使われている優れものです BERTの実装くらいまでは自然言語処理を扱おうと思っているので、もう少々自然言語処理が続くかなと思います。今回は、TransformerやBERTの背景にあるAttentionという理論（や数式）を理解して、実装を始めていく回となります。この辺をがっ

機械学習のメモや学習内…

2年前

4
自然言語処理⑪~Transformer・BERTのためのAttention理解と実装に挑戦その１~

4

機械学習のメモや学習内容のアウトプット

2年前
画像処理のための準備①

今までしばらく自然言語処理を扱ってきましたが、今回から定期的に画像処理の範囲にいこうと思います。＝＝＝＝実はtransformerの下書きを準備していますが、膨大すぎる量とか自分の理解度的にもう少しかかりそう、っていうのとどう実装するのかがいまいち不明（pytorch使うのも手段ですが、せっかくtensorflowを集中的に扱ってきたので、tensorflowでBERTまでは行きたいな〜なんてほざいています）＝＝＝＝なので、（一時的に）話題を変えて画像処理の方

機械学習のメモや学習内…

2年前

2
画像処理のための準備①

2

機械学習のメモや学習内容のアウトプット

2年前
機械学習の関数たち〜sigmoid, tanh, softmaxとか〜

tensorflowもなかなかに本格的になってきました。次回以降seq2seqを扱い、次にtransformer, attention, BERTに行けたらと思います（ここから自分の理解も正しくしておかないとなので、時間かかりそぅ。。）本格的始める前に、いままで扱わなかった機械学習の関数たちをちょっとだけみておくことにします。 noteで関数の表記をすることが非常に面倒で、かえってわかりにくくなる可能性もあるな〜と思っているので、そのへんはご了承ください。（あ

機械学習のメモや学習内…

2年前

3
機械学習の関数たち〜sigmoid, tanh, softmaxとか〜

3

機械学習のメモや学習内容のアウトプット

2年前
自然言語処理⑩~Simple RNN・LSTM入門~

いよいよ自然言語処理に戻って行きます。とはいえ、RNNは掘れば掘るほどいかついので、ここでは踏み込みすぎない程度の説明になってしまうかなと思います（現時点では。）では、今回は以前も書いたのですが、SimpleRNNの実装とそれが何を意味しているのかをおさらいしつつ、LSTMとかその他もろもろ進めて行きます（ちょっとどうやって進めていくかが’まとまってないので、書きながら構成します。）では、今回もよろしくお願いいたします。・SimpleRNNの実装いきなり実装し

機械学習のメモや学習内…

2年前

2
自然言語処理⑩~Simple RNN・LSTM入門~

2

機械学習のメモや学習内容のアウトプット

2年前
tensorflow keras基礎（自然言語処理番外編Ⅲ）

tensorflow基礎の続きです。（前回の投稿を書き始めた時点ではバチバチにkerasやりまっせ！っていうスタンスだったんですが、蓋を開ければ導入も導入で終わり散らかすという恥さらしの回でしたw 今回はちゃんとkerasから始まります。）では、今回もよろしくお願いいたします。・compileとfit前回は最後にtrain関数を自作し、手動に近い形で学習を行なってきましたが、実際はそんなことはあまりしません。実際にはfitメソッドで学習しますが、その前にcom

機械学習のメモや学習内…

2年前

1
tensorflow keras基礎（自然言語処理番外編Ⅲ）

1

機械学習のメモや学習内容のアウトプット

2年前
tensorflowを基礎の基礎から（自然言語処理番外編Ⅱ）

前回の続きです。 tensorflowのデータセットの扱い方から、今回はkerasの最初くらいまで行くと思います。では、今回もよろしくお願いいたします。・tensorflow基礎~データセットの扱い方・結合~DataFrameみたく、Tensorの結合をする時を学びます。今回は特徴量データとそれぞれに対応するラベルを簡易的に用意して扱ってみます。 tf.random.set_seed(1)t_x = tf.random.uniform([4, 3], dtyp

機械学習のメモや学習内…

2年前

3
tensorflowを基礎の基礎から（自然言語処理番外編Ⅱ）

3

機械学習のメモや学習内容のアウトプット

2年前
tensorflowを基礎の基礎から（自然言語処理番外編Ⅰ）

今回からtensorflow基礎をスタートし、準備ができたところでRNNのLSTMや実装を再開しようと思います。前回のRNNでもSimpleRNNには触れたのですが、やはりtensorflowの理解なしでは限界があると（私が）感じたので、tensorflowをこの機に学んじゃえ！って感じで書いて行きます tensorflowの良質な動画・記事なんてありふれてますので、いつもながらそれぞれが好きな方法で学んでいただければと思います。では、今回もよろしくお願いいたします

機械学習のメモや学習内…

2年前

6
tensorflowを基礎の基礎から（自然言語処理番外編Ⅰ）

6

機械学習のメモや学習内容のアウトプット

2年前
自然言語処理⑨~100本ノック6, 7章~

今回は100本ノック6, 7章について取り上げます。 6章は機械学習、7章は単語ベクトルと、今までの自然言語処理と機械学習の範囲を使って挑戦していくことができます。 100本ノックなので、ここで一問ずつ解説するのもあまり意味がないので、いつも通りピックアップして解説していこうと思います。では、今回もよろしくお願いします（ちなみに、次回以降はtensorflow基礎をカバーして行き、またRNNに戻る予定にしました。）・第6章51. 特徴量抽出学習データ，検証

機械学習のメモや学習内…

2年前

1
自然言語処理⑨~100本ノック6, 7章~

1

機械学習のメモや学習内容のアウトプット

2年前
自然言語処理⑧ ~RNN（入門）~

100本ノックの6, 7章が今までの投稿の内容を総まとめしているものだったので、次回以降の近いうちに100本ノックの6, 7章の回を設ける予定です。ちなみに5章はクセが個人的に強く、ちょっと後回しにしています。今回はRNNを扱います。自分も存在自体は知っていましたが、 NLとかディープラーニングの（個人的偏見にまみれた）イメージは「どうせtensorflowのテンプレートつかうだけしょ！」っていう印象がめちゃ強くて、どうやって勉強していこうかしら？なんて思ってい

機械学習のメモや学習内…

2年前

9
自然言語処理⑧ ~RNN（入門）~

9

機械学習のメモや学習内容のアウトプット

2年前
自然言語処理⑦~Doc2Vec~

前回までは比較的単語に形態素解析から単語のベクトル化などをして文書の中に着目してきましたが、今回のDoc2Vecでは文書をベクトルで扱っていくため以前よりもすこし視野が広くなって行きます。こちらもほんとにたくさんのことができるのですが、自分のできる範囲でアウトプットや使えそうな実践データを用いながら探索していけたらと思います。では、今回もよろしくお願いいたします。・Doc2Vecとは基本的にはword2vecの派生です。後ほど行う文書分類を行うにはこのDoc2

機械学習のメモや学習内…

2年前

4
自然言語処理⑦~Doc2Vec~

4

機械学習のメモや学習内容のアウトプット

2年前
自然言語処理⑥~LDA~

前回で書き切ろうと思っていましたが、長ぁくなりそうだったため今回LDAと100本ノック5章を扱う回にします。 (追記：100本ノック5章は自分の理解が少しまだ甘いため、後日再度復習時にします〜) LDAは自分が以前勉強した際には出てこなく、本当に最近知りました。簡単に言えば、その文書がどういうジャンル（スポーツか経済かエンタメなのか？）ということを教師なしで分類していくことです。では今回もよろしくお願いします。１・LDAの外観を理解するいつもながらまずはイメー

機械学習のメモや学習内…

2年前

4
自然言語処理⑥~LDA~

4

機械学習のメモや学習内容のアウトプット

2年前

最近の記事

【苦行】0からLinuC レベル1を取得するまで

CentOS終了するんだって。

統計検定2級までのロードマップはこんな感じでした。

悔しいくらい簡単に文書要約できるsumyを少し解説。

【苦行】0からLinuC レベル1を取得するまで

CentOS終了するんだって。

統計検定2級までのロードマップはこんな感じでした。

悔しいくらい簡単に文書要約できるsumyを少し解説。

ローカル依存を変えるべくDockerでコンテナ上で自然言語処理を行う

ローカル依存を変えるべくDockerでコンテナ上で自然言語処理を行う

自然言語処理⑪~Transformer・BERTのためのAttention理解と実装に挑戦その１~

自然言語処理⑪~Transformer・BERTのためのAttention理解と実装に挑戦その１~

画像処理のための準備①

画像処理のための準備①

機械学習の関数たち〜sigmoid, tanh, softmaxとか〜

機械学習の関数たち〜sigmoid, tanh, softmaxとか〜

自然言語処理⑩~Simple RNN・LSTM入門~

自然言語処理⑩~Simple RNN・LSTM入門~

tensorflow keras基礎（自然言語処理 番外編Ⅲ）

tensorflow keras基礎（自然言語処理 番外編Ⅲ）

tensorflowを基礎の基礎から （自然言語処理 番外編Ⅱ）

tensorflowを基礎の基礎から （自然言語処理 番外編Ⅱ）

tensorflowを基礎の基礎から （自然言語処理 番外編Ⅰ）

tensorflowを基礎の基礎から （自然言語処理 番外編Ⅰ）

自然言語処理⑨~100本ノック6, 7章~

自然言語処理⑨~100本ノック6, 7章~

自然言語処理⑧ ~RNN（入門）~

自然言語処理⑧ ~RNN（入門）~

自然言語処理⑦~Doc2Vec~

自然言語処理⑦~Doc2Vec~

自然言語処理⑥~LDA~

自然言語処理⑥~LDA~

tensorflow keras基礎（自然言語処理番外編Ⅲ）

tensorflow keras基礎（自然言語処理番外編Ⅲ）

tensorflowを基礎の基礎から（自然言語処理番外編Ⅱ）

tensorflowを基礎の基礎から（自然言語処理番外編Ⅱ）

tensorflowを基礎の基礎から（自然言語処理番外編Ⅰ）

tensorflowを基礎の基礎から（自然言語処理番外編Ⅰ）