Azure基盤のOpenAIサービス

改善してほしいポイント

エンドポイントごとにデプロイできるモデルが限られている。
使用するモデルによって接続先が変わるため、扱いにくい。
全エンドポイントで利用できるようにしてほしい。
新しいモデルの展開が遅いことがある。

どのような課題解決に貢献しましたか？どのようなメリットが得られましたか？

LiteLLM Proxyを介して社内全域でOpenAIのサービスが利用可能になった。
Azureをメインにし、本家をフォールバックに設定している。
これにより、ほぼサービスダウンを回避できている。

検討者へお勧めするポイント

本家より安定しているので、Azure OpenAIをメインにして本家のOpenAIをフォールバックにすると、ダウンタイムを減らして運用できます。