早速、SAKANA AIのEvoLLM-JP-A-v1-7Bをllama.cppでggufに変換してローカルPCで実行した。何となくではあるが、blogに書いてあることは出来ている気がする
（q4に変換したことが影響したかは謎だけど）
https://sakana.ai/evolutionary-model-merge-jp/