778a0a's microblog

logs about gamedev

面白い。

image.png

モデルをファインチューニングして自分のトーンを再現することは、実際にはファインチューニングの比較的良いユースケースですが、ここでの誤りは、彼らがモデルに提供していたデータが、そのモデルから望んでいた最終的な振る舞いを本当に再現していたかどうかを十分に考えなかったことです。

...

最後に、ファインチューニングに関しては、小規模から始めてください。14万件のSlackメッセージをダウンロードして一度に行うようなことはしないでください。

...

小規模で高品質なデータセットを開発し、ファインチューニングを実行し、そしてモデルを評価して正しい方向に進んでいるかどうかを確認してください。

拡大画像