プログラミングタスクを解決するためによく使われるGitHub CopilotやChatGPTなどのプロプライエタリなシステムには、いくつかの欠点があります。そこで、SalesForceのCodeGen Mono 16B for PythonやReplitの3Bパラメータモデルなど、高品質なオープンソースの代替品が登場しました。そして、最新のオープンソースモデルであるBigCodeのStarCoderは、現在、コードベースアプリケーションにとって最適な選択肢です。

概要

StarCoderは、80以上のプログラミング言語、GitHubの問題、Gitのコミット、Jupyterノートブックから収集された1兆トークンをトレーニングした16Bパラメータモデルです。
このオープンソースのモデルには、エンタープライズフレンドリーなライセンス、8,192トークンコンテキスト長、およびマルチクエリアテンションを介した高速な大規模バッチ推論が含まれています。

使い方

• StarCoderを使用して、チャットに対応したパーソナライズされたコーディングアシスタントを作成することができます。このアシスタントは、OpenAIのChat Markup Language（ChatML）を使用して、人工知能アシスタントと人間のユーザー間の対話メッセージを構造化します。

• 大型言語モデル（LLMs）をコーディングアシスタントとして使用する場合に発生するいくつかの技術上の詳細について探ります。また、 TransformersとDeepSpeed ZeRO-3を使用して、多様な対話体のコーパスで大規模モデルをファインチューニングする方法も説明します。

• StarChatという名前のパーソナライズされたアシスタントを作成する方法を詳しく説明し、StarChat Playgroundを使用して、いくつかのプログラミングの質問をして、モデルがどのように応答するかを確認できます。

StarCoderの関連情報

• StarCoderのコード、データセット、モデルは、それぞれ以下のリンクで入手できます。

  • コード: https://github.com/bigcode-project/starcoder

  • データセット: https://huggingface.co/datasets/HuggingFaceH4/oasst1_en

  • モデル: https://huggingface.co/HuggingFaceH4/starchat-alpha

最後に

オープンソースのStarCoderを使用して、パーソナライズされたコーディングアシスタントを作成することができるため、開発者はより効率的にタスクを解決できます。オープンソースのモデルの使用が増えることで、より透明性が高まり、より効果的なソリューションが提供されることが期待されます。StarCoderのようなオープンソースのモデルの登場により、プログラミングタスクを解決するための選択肢が増え、開発者はより柔軟に作業できるようになりました。