Gemmaとは

Gemmaは，Gemini モデルの作成に使用されたのと同じ研究とテクノロジーを基に構築された，軽量で最先端のオープンモデルのファミリーです．軽量であることがアピールされており，逸般の誤家庭やGoogle Coraboratryで使うことができます．

手順

プログラミング初心者の私ですが，ニュースを見て自分でも試してみたくなり，初めてGoogle Colaboratryを使ってGemmaを試すことになりました．とりあえずColabは無料プランでやってみました．Gemmaを試すにあたって以下のブログがとても参考になりました．丁寧に解説されていて分かりやすく，ひたすら感謝です．

つまずいたところ

手順通りにやりましたが初心者すぎていくつかつまずいたところがありました…

ランタイム

最初にランタイムのタイプをGPUに変更しておかないと，メモリが足りなくなりコンパイルが途中で止まってしまうようです．右上の逆三角形のマークから変更できます．

トークン呼び出し

Gemmaを使う上で，Hugging Faceというサイトからトークンを呼び出します．Hgging Faceのページに行ってアカウントを作り，ライセンス認証をして，マイページのAcces Tokensからトークンを作成します．New Tokenから，Nameに適当な名前を入れ，RoleはReadのままで作成します．トークンをコピーしてColabに戻り，秘密鍵を設定したのですが，トークナイザーとモデルの準備のところでエラーが出ました．最初トークンの名前は適当でいいと思い"1"にしていたのですが，しっかりと"HF_TOKEN"にしなければいけないようです．なんという初心者ぶり…

実際に試してみる

何度もエラーを出しましたが，なんとか推論をすることができました．モデルの準備の時点で，かなりのシステムRAMとGPU RAMを使っており，無料プランではダメなのかとヒヤヒヤしましたが無事終わりました．

では，Gemmaに質問してみたいと思います．「林檎の色は？」と聞いてみました．

ちょっと不自然ですが答えられてますね．お次は，「艦これで最も有名なキャラクターは？」と聞いてみます．

変な回答が出てきました．あまり一般的ではないことを聞いてしまったのかもしれません…
　日本の有名な観光地を聞いてみました．回答が長く画面に収まりきらなかったので画像はありませんが，
「もちろん、日本で最も有名な観光スポットをいくつかの例に挙げてみます。
**主な観光 spots:** *
**東京**: 東部最大の都市でテーマパークや現代建築など多くの見どころがあります。(立ち入り料金が必要な場所も含めて) そのほかにも銀座の古い町並行したりするハイエンドエリアも有名です. また夜の明るい街でも人気のある場所で夜間活動が多いですね！
* ***神戸***: 西部の美しい自然と歴史的な市街が広がる広域を持つ港 city です。。兵庫県内の他の多くの人にとってこの周辺が散歩を提供しますか，地元住民」
となりました．所々怪しいところもありますね．

Gemma-2b-itも試してみる

Gemma-7b-itを試したので，パラメータ数の少ない2b-itも試してみます．モデルの準備のところで7bから2bに変更して実行し直すだけです．先ほどの順番に実行結果を並べていきます．

林檎はいいとして，艦これの質問は相変わらずですね…観光地は英語が混ざってしまいます．推論の実行はGemma-2b-itの方が圧倒的に早かったです．7b-itはランタイムエラーになってしまうこともありました．つい有料プランを使いたくなってしまいます…

最後に

今回は初めてGoogle Colabを使ってGemmaを試してみました．ローカルで使えるものとしてはかなり軽量でした（今回はColabでやりましたが…）．質問の回答がおかしくなることもありましたが軽量なので仕方ないのかもしれないですね．有料プランにしてより高性能な実行環境になったらどうなるのか気になりました．A100とか使ってみたいものです．せっかくGoogle Colabを使えるようになったので，今度は画像生成などもしてみたいと思いました．