メインコンテンツへスキップ

​
ローカルモデル

多くの開発者は、LLama-3、Mixtral、Gemma、Phi などのオープンソースのモデルをダウンロードしてローカルで実行しています。これらのモデルをローカルで動かす方法はいくつもあり、OpenAI SDK との互換性があれば、Weave はそのうちいくつかを標準でサポートしています。

​
ローカルモデル関数を @weave.op() でラップする

weave.init('<your-project-name>') で Weave を初期化し、そのうえで LLM への呼び出しを weave.op() でラップするだけで、任意の LLM を簡単に Weave に統合できます。詳細については、tracing に関するガイドを参照してください。

​
ローカルモデルを使用するように OpenAI SDK コードを更新する

OpenAI SDK 互換性をサポートするすべてのフレームワークやサービスでは、いくつかの小さな変更が必要です。 まず何よりも重要なのは、openai.OpenAI() を初期化するときの base_url の設定です。 
client = openai.OpenAI(
    base_url="http://localhost:1234",
)
ローカルモデルの場合、api_key には任意の文字列を設定できますが、必ず上書きしてください。そうしないと、OpenAI が環境変数から api_key を取得しようとしてエラーを表示します。

​
OpenAI SDK 対応ローカルモデルランナー

以下は、Hugging Face からモデルをダウンロードしてローカル環境で実行でき、OpenAI SDK 互換インターフェースをサポートしているアプリの一覧です。
  1. Nomic GPT4All - 設定内の Local Server 経由でサポート（FAQ）
  2. LMStudio - Local Server の OpenAI SDK サポートに関するドキュメント
  3. Ollama - OpenAI SDK 向けOpenAI 互換性
  4. llama-cpp-python Python パッケージ経由の llama.cpp
  5. llamafile - http://localhost:8080/v1 は、llamafile 実行時に自動的に OpenAI SDK をサポートします