kouseinen

IT プロダクトマネージャー PdM / プロンプトエンジニア Prompt Engi…

kouseinen

IT プロダクトマネージャー PdM / プロンプトエンジニア Prompt Engineer

  • 自然言語処理応用

    「自然言語処理入門」を読んだ方向けです。「自然言語処理」の専門知識を持つことで、具体的にどんな専門的なプロンプトを書けるようになるのかを解説いたします。僕自身、毎日プロンプトの開発と精度比較の実験をしているので、その実験結果も根拠に含めて説明しています。

  • 自然言語処理入門

    プロンプトを書く上で、自然言語処理の理解は必須です。自然言語処理の基本知識を体系的に解説し、演習問題、プロンプトエンジニアにとってなぜ必要なのかもセットで、まとめました。僕自身も自分の学習にも使っています。

  • 固定された記事

ChatGPTでAI VTuber作ってみた

日頃から音声配信をしていたある日、「めんどくさいから自動化したい」という気持ちになってしまいました。ファンリスナーよ、ごめぬ。 そこで、話題にものっかり、ChatGPTの言語モデル「GPT3.5」を搭載した自動化VTuberを作ろうと思いました。 AI VTuber v1 早速、↓こちらがアウトプットです YouTubeライブでAIが視聴者コメントを拾って、自分で考えて返信してくれる状態です。ライブ開始したら後は全自動です。コメントはOBSで管理。 手順は下記（詳細は

kouseinen

    • プロンプトエンジニアがプロとして成立する事例: 自然言語処理応用

      前回、専門知識を利用したプロンプトの事例を2つだけ紹介しました。 今回は、特に専門知識が必要で、さらにプロンプトの開発そのものが専門的であることを証明する事例を紹介いたします。 応用編: エラーの特定と修正まず初めに、余力があれば下記の課題にぜひチャレンジしてみてください。 「断片」のテキストファイルは ↓こちらです。 相当工夫をしないと、「100%精度」の条件を達成できず、エラー（ハルシネーション）になってしまいます。この課題自体、半分GPT-4に作らせたのですが、

      kouseinen

      • 専門的なプロンプトを書いてみる: 自然言語処理応用

        前回、「自然言語処理応用: 専門知識でプロンプトを書く」という記事を書きました。↓こちら 要約すると、専門知識を有すると、具体的にどういった専門的なプロンプトを書けるのか？を解説した内容です。 今回の記事では、上記で紹介した「一般的なプロンプト」と「専門的なプロンプト」の効果検証を説明していきます。 1: メカニズムへの深い理解比較するプロンプトは下記です。 一般的なプロンプト: 「下記の文章に対して、できる限り品質の高い要約をしてください」 専門的なプロンプト:

        kouseinen

        • 自然言語処理応用: 専門知識でプロンプトを書く

          この記事は、↓こちらの自然言語処理入門（全7回）の次に読むことを推奨します。 入門編で学んだ専門知識を身につけると、専門性を持ったプロンプトを設計できるようになります。 当然、専門知識を持たない人が書く一般的なプロンプトよりも、目的に対してより高品質な出力を望むことが可能です。 つまり、下記のような疑問点を解消できます。 Q. プロンプトエンジニアの専門性はどこにあるのか？ Q. 自然言語処理の知識を学ぶと、一般的な応答プロンプトからどんな工夫ができるようになるのか？

          kouseinen
        • 固定された記事

        ChatGPTでAI VTuber作ってみた

        kouseinen

        マガジン

        • 自然言語処理応用
          3本
        • 自然言語処理入門
          7本

        記事

          【最終回】評価と最適化：自然言語処理の教科書

          1. 概要 (Overview)自然言語処理 (NLP) のモデルを訓練するとき、そのモデルがどれだけ性能が良いのか、または問題点が何かを正確に把握するために、評価は不可欠です。評価メトリクスは、モデルの予測の質や精度を数値で示す手段となります。一方、ハイパーパラメータは、学習プロセスの前に設定されると、モデルの性能や学習の速度に大きな影響を与えることが知られています。これらのハイパーパラメータを最適に調整することで、モデルの性能を向上させることができます。 7.1 NLP

          kouseinen

          【最終回】評価と最適化：自然言語処理の教科書

          kouseinen

          【第6回】対話システム: インテント認識と応答生成の理解と実習：自然言語処理の教科書

          1. 概要 (Overview)対話システムは、人とコンピュータが言語を用いて対話を行うシステムを指します。近年のAI技術の進展により、対話システムは日常の生活やビジネスの現場での利用が増えてきました。このトピックでは、対話システムの中心的な技術である「インテント認識」と「応答生成」の基本的な理解と、それを実際に実習する方法を学びます。 インテント認識 インテント認識は、ユーザーの発話からその意図や目的を特定する技術です。例えば、ユーザーが「今日の天気は？」と質問した場合

          kouseinen

          【第6回】対話システム: インテント認識と応答生成の理解と実習：自然言語処理の教科書

          kouseinen

          【第5回】情報抽出: ネームドエンティティ認識 (NER)：自然言語処理の教科書

          1. 概要ネームドエンティティ認識 (NER)とは? ネームドエンティティ認識 (Named Entity Recognition, NER) は、テキストから特定の情報（名前、場所、日付、組織など）を識別・分類する技術の一つです。これは、情報検索、質問応答、機械翻訳、知識グラフの構築などの多くのNLPアプリケーションで中心的な役割を果たしています。 NERの重要性 情報の海の中で、特定の情報を迅速に見つけ出すことは非常に価値があります。例えば、ニュース記事から主要な人

          kouseinen

          【第5回】情報抽出: ネームドエンティティ認識 (NER)：自然言語処理の教科書

          kouseinen

          【第4回】テキスト分類とクラスタリング：自然言語処理の教科書

          1. 概要 (Overview)テキスト分類とクラスタリングは、大量の文書やテキストデータを分析し、関連性やカテゴリーに基づいて整理するための重要な手法です。これらの技術は、ウェブページの分類、ニュース記事のトピック分析、顧客のフィードバックの感情分析など、多岐にわたるアプリケーションで使用されます。 TF-IDFの理解と実習 TF-IDF (Term Frequency-Inverse Document Frequency) は、文書中の単語の重要度を評価するための統計

          kouseinen

          【第4回】テキスト分類とクラスタリング：自然言語処理の教科書

          kouseinen

          【第3回】単語埋め込みとベクトル表現: Word2Vec, FastTextの理解と実習：自然言語処理の教科書

          1. 概要1.1 単語埋め込み (Word Embeddings) 単語埋め込みとは、テキスト内の単語やフレーズを固定長のベクトルとして表現する技術のことを指します。これにより、テキストデータを数値的に扱いやすくなり、計算機上での処理が効率的に行えます。また、単語埋め込みは単語間の意味的な関係性も捉えることができ、例えば「王」と「男」の関係が「女王」と「女」の関係と類似しているといった意味的な関係をベクトルの形で捉えることができます。 1.2 Word2Vec Word

          kouseinen

          【第3回】単語埋め込みとベクトル表現: Word2Vec, FastTextの理解と実習：自然言語処理の教科書

          kouseinen

          【第2回】ディープラーニングの基本: Transformer、BERT、GPT-3/4：自然言語処理の教科書

          1. 概要ディープラーニングとは? ディープラーニングは、ニューラルネットワークの深い層を使用してデータを学習する機械学習の一分野です。ディープラーニングのモデルは、大量のデータを用いて訓練され、非常に高い表現力を持っています。特に、自然言語処理(NLP)の分野では、ディープラーニングの技術が多くのブレイクスルーをもたらしています。 Transformer アーキテクチャ Transformer アーキテクチャは、2017年に"Attention Is All You

          kouseinen

          【第2回】ディープラーニングの基本: Transformer、BERT、GPT-3/4：自然言語処理の教科書

          kouseinen

          【第1回】基本的な概念の実習と理解：自然言語処理の教科書

          ※この記事のコードはすべてPythonです 概要自然言語処理（NLP）は、人間の言語をコンピュータに理解させるための技術のことを指します。NLPは、情報検索、機械翻訳、感情分析、質問応答システムなど、さまざまなアプリケーションに使用されています。この章では、NLPの基本的な概念と実習に焦点を当て、プロンプトエンジニアとしての能力を高めるための知識を提供します。 今回のトピック: トークン化、ステミング、レンマタイゼーション POSタギング 1. トークン化、ステミン

          kouseinen

          【第1回】基本的な概念の実習と理解：自然言語処理の教科書

          kouseinen

          ChatGPTとだけ話せばプログラミングをマスターできるプロンプトを用意しました

          成果物 会話するだけで、Pythonを体系的に学べます 東京大学さんの資料「Pythonプログラミング入門」を拝借して、こちらの学習範囲と順序を組み込ませていただきました。 プロンプトなしで学習できます AI側から、学ぶべきことと、それを身につける演習問題を提案してきます なので、読んでちょっと考えて答えるだけです ローカルファイル保存を利用して、あなた専用でカリキュラムの進捗と成績を管理します あなたの得意 / 苦手の把握や、n日経過したからそろそろ復習しよう

          kouseinen

          ChatGPTとだけ話せばプログラミングをマスターできるプロンプトを用意しました

          kouseinen

          AIの海外論文を解説編：Translating Embeddings for Modeling Multi-relational Data

          ※この記事では、↑こちらのYouTube動画の脚本内容をそのまま文字起こししたものとなります。 今回のエピソードでは、多関連データのエンティティと関係を低次元ベクトル空間に埋め込むという興味深いトピックに焦点を当てています。Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, Oksana Yakhnenkoという著者たちが手掛けた、"Translating Embeddings for M

          kouseinen

          AIの海外論文を解説編：Translating Embeddings for Modeling Multi-relational Data

          kouseinen

          AIの海外論文を解説編：Attention Is All You Need

          ※この記事では、↑こちらのYouTube動画の脚本内容をそのまま文字起こししたものとなります。 今回は、AI技術の中でも注目の領域として急速に進化している「注意メカニズム」に焦点を当てた興味深い論文を取り上げます。タイトルは「Attention Is All You Need」。この論文は、複雑な再帰的や畳み込みニューラルネットワークを一切使用せず、注目メカニズムだけに基づいた新しいモデル、Transformerの導入を提案しています。さて、この革命的なアプローチは、AIの

          kouseinen

          AIの海外論文を解説編：Attention Is All You Need

          kouseinen

          AIの海外論文を解説編：Mastering Multi-Domain Learning with S-Prompts

          ※この記事では、↑こちらのYouTube動画の脚本内容をそのまま文字起こししたものとなります。 AI技術は日々進化していますが、それに伴い新しい課題も生まれています。例えば、最近の研究では、プリトレーニングされたトランスフォーマーを使用して学習する際のドメイン増加学習の問題に焦点を当てています。これは、新しいドメインのデータが追加されるたびに、モデルが以前の知識を忘れることなく新しい知識を効果的に学習する能力を指します。 今回の論文は、Yabin Wang氏、Zhiwu

          kouseinen

          AIの海外論文を解説編：Mastering Multi-Domain Learning with S-Prompts

          kouseinen

          会話してたらプロンプトエンジニアになれる自動学習装置を作りました

          今、日本国内で正式なプロンプトエンジニアとして活動されている方は少ないと思います。なので、身の回りの知人に相談するのも、日本語で検索して学習するのにも、どこから手をつけていいのかがわからない方が多いと思います。 そういった方達に向けて、今回の自動学習装置がお役に立てると嬉しいなと思い、開発しました。 成果物 AI側から、学習内容をあなたに合わせてどんどんレコメンドしてくる自動学習装置を作りました。ポイントは、 プロンプトエンジニアとして、何を専門とすべきかわからない部

          kouseinen

          会話してたらプロンプトエンジニアになれる自動学習装置を作りました

          kouseinen