AI API費用を最小化する実装テクニック｜キャッシュ・バッチ処理・モデル選択の戦略

こんにちは。西岡章です。

生成AIの導入が加速する中で、多くの事業責任者やエンジニアが直面する課題がAPI費用の最適化です。僕自身も何社かのプロジェクトを見てきましたが、実装段階での工夫次第で費用は大きく変わります。本記事では、キャッシング、バッチ処理、モデル選択という3つの実装テクニックを、実際のコード例を交えながら紹介していきます。

1. プロンプトキャッシングで重複呼び出しを削減

キャッシングの原理

同じプロンプトに対して繰り返しAPI呼び出しを行うことは、実は結構な無駄になります。システムが処理を繰り返すたびに課金されるわけですから。プロンプトキャッシングという考え方は、入力プロンプトやコンテキストを一度保存しておいて、同じリクエストが来たときに即座に結果を返すというシンプルなアプローチです。

Python実装例

import hashlib
import json
from functools import lru_cache

class APICache:
    def __init__(self, cache_size=128):
        self.cache = {}
        self.cache_size = cache_size
    
    def _get_cache_key(self, prompt: str, model: str) -> str:
        """プロンプトとモデルからキャッシュキーを生成"""
        key_data = f"{prompt}:{model}"
        return hashlib.sha256(key_data.encode()).hexdigest()
    
    def get(self, prompt: str, model: str):
        """キャッシュからの取得"""
        key = self._get_cache_key(prompt, model)
        return self.cache.get(key)
    
    def set(self, prompt: str, model: str, result: dict):
        """キャッシュへの保存"""
        key = self._get_cache_key(prompt, model)
        if len(self.cache) >= self.cache_size:
            # LRUポリシーで最古のエントリを削除
            self.cache.pop(next(iter(self.cache)))
        self.cache[key] = result


![AI API費用を最小化する実装テクニック｜キャッシュ・バッチ処理・モデル選択の戦略](https://images.unsplash.com/photo-1677442135703-1787eea5ce01?w=800&h=400&fit=crop&auto=format&q=80)

# 使用例
cache = APICache(cache_size=256)

def call_ai_api(prompt: str, model: str = "gpt-4") -> dict:
    """キャッシュを確認してからAPI呼び出し"""
    cached = cache.get(prompt, model)
    if cached:
        print(f"キャッシュからの結果を返却")
        return cached
    
    # 実際のAPI呼び出し（省略）
    result = {"status": "success", "data": "..."}
    cache.set(prompt, model, result)
    return result

正直なところ、このテクニック一つで同じクエリに対する複数回のAPI課金をまるごと削除できます。結論から言うと、これはどの企業でも導入すべき手法だと思っています。

2. バッチ処理で複数リクエストを一度に処理

バッチ処理の利点

複数のテキストを個別にAPI呼び出しするのではなく、バッチ処理で一度に送信するという発想があります。API提供者によってはボリュームディスカウントが適用される場合もあるし、何より通信回数そのものが減るので効率的です。

実装例（複数テキストの一括処理）

import asyncio
from typing import List
import openai