Roku

エンジニア歴6年のタイ在住フリーランスエンジニア海外ノマド。データサイエンティスト・A…

Roku

エンジニア歴6年のタイ在住フリーランスエンジニア海外ノマド。データサイエンティスト・AWS構築・DJangoバックエンド開発などやってます。最近はLLMや生成AI勉強中。趣味は旅行・ポーカー・野球観戦。

Amazon Bedrockでできること分かりやすくまとめてみた

先週のことですが、2月22日開催のAmazon Innovateに参加してきました! 色々とAWSの生成AIに関して学べたので、備忘録的にAWSのフルマネージドの生成AIプラットフォームであるAWS Bedrockについて分かりやすくまとめていこうと思います。 AmazonBedrockとはなんぞ？大手 AI 企業が提供する高性能な基盤モデル (FM) を単一の API で選択できるフルマネージド型サービス! AIスタートアップやAmazonが開発した幅広いFM(Fou

Roku

    • RAG DAY4 Hyde

      HydeとはHyDE（Hypothetical Document Embeddings：仮の文書の埋め込み）は、入力されたクエリに対して仮の文書を生成し、その文書を埋め込み、検索に使用する手法でQuery Translationの一つです。 典型的な文書検索では、ユーザーが入力したクエリと文書の類似度を計算することが多いですが、クエリと文書が必ずしも類似しているとは限りません。 そこで、Hydeでは、生成モデルを使って仮の回答の文書（Hypothetical Docume

      Roku

      • RAG DAY3 Query Translation

        Query Translation今日はRAGの手法の種類の一つであるQuery Translationを学んでいきます。 Query Translationとは一言でまとめると、入力された質問をそのまま使わずにベクトル検索で使いやすい文章に変換してからベクトル検索するという手法です。 Query Translationにはいろんな方法が考えだされており、例えばRewrite-Retrieve-Readという手法だと、入力をウェブ検索に適した文章に変換します。 例：社長

        Roku

        • RAG Day2 LCEL

          RAG Day2 はLCELでのRAG実装についてです。 LCELとはLangchainのLLMアプリケーション開発を簡素化するためのLangChainフレームワークの一部で、チェーンを簡単に組むことができます。 LCELには以下のような特徴があります。 チェーンのシンプルな表現 ストリーミングのサポート 非同期のサポート バッチのサポート RetrievalQAをそのまま使うとチェーンが組みにくくて使いにくいので今後は基本的にLCELを使っていくことになります

          Roku

        Amazon Bedrockでできること分かりやすくまとめてみた

        Roku

          RAG DAY1 Tutorial

          「 LLMに専門的な知識を持たせてぇ」 ChatGPTを代表としたLLMがビジネスで使われるようになり、様々なチャットボットが開発されてきました。 しかし、そういったChatbotをビジネスで使用するには「社内独自のマニュアルやルール」、「医学・薬学などの専門知識」、「LLMが知らない最新のニュース」などLLMが知らない知識を答えてほしいというニーズが生まれてきます。 しかし、fineTuningは知識を覚えさせるのが難しく、LLM全体の事前学習は並の会社には手に負える

          Roku

          RAG DAY1 Tutorial

          Roku

          POKE´LLMONをできる限り誰にでもわかるように訳してみた。

          ノート初投稿です! ついに出ました。ポケモン ランクバトルのAI botです😱 このAi botの論文[POKE´LLMON: A Human-Parity Agent for Pokemon Battles ´ with Large Language Models](https://arxiv.org/abs/2402.01118)を元ポケモンガチ勢の血が騒いだのと、ちょうどLLMの勉強してるのもあって、訳して箇条書きでまとめてみました! 直訳ではなく、できる限りポケ

          Roku

          POKE´LLMONをできる限り誰にでもわかるように訳してみた。

          Roku