AIとLLMを使ったウェブクローラー開発

情報はいろいろな所に集積されている。Twitter / Xはとても良い場所だが、フェイクニュースがとても問題になっている。これから、AIでフェイクニュースを認識し、それだけではなく誰がその背後に居るかまでを分析できるようなAIができたらすごいと思う。推論で、推定する訳だ。
この頃考えているアルゴリズムのアイデアとして、
1. ニュースウェブサイトを定期的にスクレイピングして、ホットキーワードを抽出

今日はアルゴリズムをChatGPTで考えた。AI + 人間の脳は最強ですね。そういえば、Llama 3も小さいモデルの性能がとても良いのにはびっくりしました。

2024年4月現在注目している技術、会社

こんばんは。
株式会社インスパイアサーチの加藤翼です。
すっかり暖かくなってきまして、桜も満開です。

この頃、僕が注目している技術と会社を紹介します。
まず、割安で、僕も投資しているのが、D-Wave SystemsとRigetti Computing。両方ともマネックス証券で買えます。
今現在(4/7/2024)、D-Wave Systemsは$1.88で、Rigettiは$1.34と、割安で

LLMを使ったウェブクローラーの開発 - Part 2

こんばんは。今は深夜です。
noteのダッシュボードでアクセス解析をしていた所、以前書いたLLMを使ったウェブクローラーの開発の記事が一番人気なので、続きを書きます。

この頃開発している物で、H100などで動かしたアルゴリズムですが、変数としてLLMに「おもしろい」「有益」など少し抽象的な事を抽出させて、それから分ちをさせた後に検索エンジンやURLのデータベースに送り、ウェブクローラーを開始させ

インスパイアサーチの2027年（未来）のシナリオをAIツールで予測してみた。

AI Toolbox for Innovatorsと言うツールセットのFuture Scenario Writerというツールを試してみた。下にこのツールに株式会社インスパイアサーチ（僕の運営している会社)の製品、Grow My Searchの2027年時点のシナリオを予測してもらった。結構良い結果が出たので嬉しい。

シナリオ1：バーチャルリアリティ革命

バーチャルリアリティ（VR）が世界を席

今日は仕事が結構進んだ。この頃はデータ分析と探索ソフト・AI / LLMの研究が忙しい。Zennで役に立つ記事があったので、購入。今日はもう少し自分の検索SaaSのアルゴリズムを改良するために考察する。

今日のおすすめ動画: The Future is Now #GTC24: SuperMicro's 72-GPU Edge Powerhouse & NVIDIA's Blackwell Revolution

GTC24の前にBlackwellをSupermicroで見学した方の動画です。とても情報に富んでいます。後日Supermicro本社内のビデオも出るそうです。

今日の面白いリンク：Illustrated LLM OS: An Implementational Perspective
LLMのOSと言う話題に関しての記事を見つけました。RLSFと言う用語が気になりました。リンクはこちら：https://huggingface.co/blog/shivance/illustrated-llm-os

13種類のベストなAIプロセッサーのリストを見つけたのでシェアします。
https://phoenixnap.com/blog/ai-processor

ChatGPTに複雑ネットワークを利用して興味深いウェブサイトを幾何学的に発見する方法を聞いてみた。

僕の質問：複雑ネットワークにより、興味深いサイトを幾何学的に見つけるアルゴリズムはありますか？リンク分析のような

ChatGPT (GPT-4)の答え:
複雑ネットワークを利用して興味深いウェブサイトを幾何学的に発見するためのアプローチは、ウェブの構造的な特徴とリンクのトポロジーを分析することに基づいています。この分野での研究は、情報の構造化されていない海から関連性の高い情報を引き出すために、数

今日arXivで見つけた面白そうな論文。
The Duck’s Brain
Training and Inference of Neural Networks in Modern Database Engines
https://arxiv.org/pdf/2312.17355.pdf

勉強メモ - 1/17/2024

こんにちは。
昨日は横浜の中央図書館まで行ってきました。
NTT技術ジャーナルと言うジャーナルを見つけたので、昨日メモした事柄を書きます。
Waymark Cloud - PQRS (ピクルス)
Reduce, Reuse, Recyle (ソフトウェアの3R)
株式会社NTTデータユニバーシティ
Open APN Architecture → VRAN
Open APN トランシーバ: APN-

自分メモ： 今度試してみようと思っているウェブクローラーをGrow My Searchで発見した。https://github.com/adbar/trafilatura

今日は色々仕事が捗った。今はChatGPT (GPT-4)でDALLE 3に絵を描いてもらっている。

Llama 2でストリーミング出力を試してみた。

Llama 2でストリーミング出力を試してみた。
コードはこちらの方（Plat氏）のを、argvでプロンプトを入力できるように改造。
https://zenn.dev/platina/articles/e6aa6e96373c09

今日は良い日だった。久しぶりにゆっくりできて、MPI系のプログラミングもChatGPT使いながらやった。もうすぐMac miniとRaspberry Piのラックにはめるアダプタが届くから楽しみ。