llama3をllama.cppでconvert出来たのでgithubにコメントしておいた。ただし、いつもの推論サーバを使って試したらllama-cpp-pythonの設定か、llama.cppサーバと反応が随分違ったので要検証
https://github.com/ggerganov/llama.cpp/pull/6745