Misst Time to First Token (TTFT), Tokens/Sekunde
und Caching-Auswirkungen direkt ΓΌber die Proxy-API.
Live-Messungen und die CLI-Historie (uniinfer --speedtest) teilen
sich dieselbe History-Datei (_speed_results.json).
Sendet denselben Prompt zweimal. Run 1 = cold (uncached), Run 2 = warm (gleicher Prompt β Provider-Cache mΓΆglich). TTFT-Differenz = Caching-Gewinn. Output-Speed sollte konstant bleiben.
Nutzt dasselbe Modell und denselben API-Key wie die Live-Messung oben.