数日前GPT-4に迫るスペックのオープンソースAIをMeta社が出しましたが、そのLlama３の前のヴァージョンであるLlama２をベースに日経新聞が約40年分の日経グループの新聞や雑誌の記事を学習させた大規模言語モデルを開発したと発表しました。

AI基盤技術の導入とその概要

日本経済新聞社は、経済情報に特化した生成AI（人工知能）の基盤技術を開発したことを24日に発表しました。この技術は、「大規模言語モデル」として知られており、日経グループが保有する約40年分の新聞や雑誌の記事を学習データとして使用しています。開発されたAIは、記事の要約機能をはじめ、さまざまな形での活用が見込まれています。

「NIKKEI Language Model」の特徴

開発された大規模言語モデルは「NIKKEI Language Model」と名付けられ、パラメーター数には130億と700億の2種類があります。このモデルは、日経イノベーション・ラボによって開発されました。特に130億のパラメーターを持つモデルは、既存のモデルを基にせず、日経が独自に構築したものです。こちらは、日経グループが持つ著作権や使用権のあるデータのみを学習材料としています。

学習データの範囲と内容

このモデルには、日本経済新聞やその電子版、日経MJや日経BPが発行する専門紙など、約4500万本の記事が学習用データとして用いられています。現在、開発されたモデルの性能検証が進行中です。

追加学習とその応用

パラメーター数が700億のモデルは、米国メタ社が2023年7月に公開した「Llama（ラマ）2」を基にしており、追加学習（ファインチューニング）という手法を使って開発されました。このモデルは、最新ニュースに関する知識を備え、記事の要約などで優れた性能を発揮することが確認されています。

日経イノベーション・ラボの取り組みと課題

日経イノベーション・ラボでは、2019年から言語モデルの研究を開始し、AIによる誤情報（ハルシネーション）や著作権上の問題への対処方法を探求しています。また、日経は「責任ある報道は人が担う」との方針を掲げ、AIを新聞記事の作成には用いず、編集作業においても人の手が介入する形を取っています。

オープンソースAIを利用する利点

コードが公開されているためカスタマイズが可能

オープンソースのAIモデルをベースにすることには、複数の利点があります。まず、オープンソースのモデルはそのコードが公開されているため、どのように機能しているかを理解しやすく、必要に応じてカスタマイズすることができます。これにより、日本の企業が独自のニーズに合わせてモデルを調整し、最適化することが可能になります。

自国内での完全な開発と運用が可能

また、オープンソースモデルを活用することで、外国製の製品に依存することなく、自国内での完全な開発と運用が可能です。これは、データのプライバシー保護やセキュリティの強化、法的な規制への適応といった面で大きなメリットをもたらします。

自社のデータベースを活用して特化したAIを開発するメリット

出版社や新聞社のようなコンテンツ豊富な企業は、自社のデータベースを活用して特化したAIを開発することができ、そのプロセスにおいてオープンソースのAIモデルを使うことには大きなメリットがあります。オープンソースモデルは、基本的な枠組みを提供し、企業が自社の特定のニーズに合わせてカスタマイズを行うことができます。これにより、過去の出版物や記事から学習して、企画立案時に有益なデータを迅速に提供するAIの開発が可能になります。

クローズドAIとの差異

オープンソースAIとクローズドAI（例えばOpenAIの提供するもの）の違いは、主にサポートとサービスの範囲、特定の機能やパフォーマンスの最適化、セキュリティ対策などの提供にあります。オープンソースAIは柔軟性とコスト効率が魅力ですが、クローズドAIはより包括的なサポートとセキュリティ基準の高さで差別化されています。

それぞれのAIの使い所

Llama等オープンソース、クOpenAIなどの商用クローズドモデル、そしてMicrosoft、Google、AWSなどクラウド縛りのベンダーロックオンのモデルの業種別使い所を表にしてみましたので合わせてご覧ください。

Llama3については下記のNoteに詳しくまとめていますので、合わせてご覧ください。

オープンソースAIのMistral-7B-v0.1をベースにした医療用AI

また、Internistai 7bと言う「 医学言語モデル 」が本日リリースされました。性能はGPT-3.5 を上回り、USMLE で最初の合格スコアを達成した最高の 7b 医学モデルです。こちらは、Mistral-7B-v0.1というオープンソースモデルを利用し、Hugging Faceで実装した物です。