Helicone

Helicone とは

Helicone は、モデルを使うアプリケーション向けのゲートウェイ兼可観測性レイヤーである。リクエストはそこを通り、どのモデルが動いたか・時間・費用・エラーの発生箇所が記録される。実際に通信量のあるアプリケーションに必要な情報である。

できること

• モデルの呼び出しを記録し分析する
• 費用・レイテンシ・エラー率を追跡する
• リクエストをモデルや提供元の間で振り分ける
• エージェントやチャット製品をデバッグする
• プロンプトと応答の履歴を残す

向いている人

• 実際に通信量のある開発チーム
• モデルの支出を管理するチーム
• エージェントの挙動を調べるエンジニア

注意点

• ゲートウェイはすべてのプロンプトと応答を見るため、機微なデータの保管場所になる。伏せ字化と保存期間が重要である
• ログに顧客の個人情報が含まれる可能性があり、プライバシー上の義務が生じる
• プロキシを足すと障害点が増える。利用できない場合の対応を決めておくこと
• 費用の可視化は、誰かがそれに基づいて動いてこそ意味がある