ツールの結果を返すとエラーになる
OpenAI向けに書いたループをClaudeに差し替えたところ、ツールの結果を返した時点で400エラーになる。これはよくある症状です。
原因は形式の違いです。OpenAIは assistant メッセージの tool_calls に呼び出しが入り、引数 arguments はJSON文字列です。結果は role が tool のメッセージで返します。Claudeは content 内の tool_use ブロックに呼び出しが入り、input は最初からオブジェクトです。結果は user ロールの tool_result ブロックで返します。
直し方は、会話履歴を自前の中間形式で持ち、送信の直前に各社の形式へ変換する層を一つ置くことです。防ぐには、ダミーのツールで呼び出しから結果返却までの往復テストを、両方のAPIに対して回します。
ストリーミング中にJSONの解析が失敗する
途中で JSON.parse が落ちる症状です。原因は、引数が断片で届くことにあります。OpenAIは delta.tool_calls の文字列断片、Claudeは input_json_delta の partial_json です。完成前の断片は、どちらも不正なJSONです。
直し方は、呼び出しごとにバッファへ連結し、終了を示すイベントで一度だけ解析することです。Claudeなら content_block_stop、OpenAIなら finish_reason が目印になります。
防ぐには、完成したJSONを1文字ずつ分割して流すテストを用意します。単純ですが、効きます。
請求額が見積もりとずれる
同じ文章でも、モデルごとにトークナイザが違うため、トークン数は一致しません。入力より出力の単価が高いこと、ツール定義と履歴が毎回入力に含まれることも、ずれの原因になります。
たとえば履歴が20往復に膨らんだ会話では、最後の1回の入力だけで、最初の数倍のトークンを消費します。
直し方は、レスポンスの usage を毎回記録し、実測で単価を計算することです。防ぐには、履歴の上限と max_tokens を決め、プロンプトキャッシュが使える部分は先頭に固定します。
私の意見では、切り替えや併用の可能性があるなら、最初から変換層を作るほうが安上がりです。1社に固定すると決めているなら、その会社のSDKに素直に従うほうが速く書けます。