Artificial Analysis

Artificial Analysis とは

Artificial Analysis は何かを検出するのではなく、モデルをベンチマークする。同じ試験で言語モデルと推論プロバイダーを評価し、品質、価格、出力速度、レイテンシ、コンテキストウィンドウを網羅する比較を公開している。これにより、チームは API 利用の支出前に絞り込みができる。

できること

• 一貫した試験でモデルを比較する
• 品質に対する価格のトレードオフを見る
• モデルのリリース間の変化を追う
• 推論プロバイダーを比較する
• 調達前に絞り込みリストを作る

向いている人

• モデルを選ぶ開発者
• 推論ベンダーを比較するチーム
• 購入前の調査を行うバイヤー

注意点

• ベンチマークは特定のタスクとプロンプトを測る。自らのワークロードではモデルの順位が変わることがある。
• 評価の選択がランキングを左右するため、公開された手法を読むこと。
• プロバイダーの価格と提供状況はリーダーボードより早く変化する。
• ランキングは自分に合うモデルの判定ではなく、試験に関する証拠として扱うこと。