Performance Dashboard

Misst Time to First Token (TTFT), Tokens/Sekunde und Caching-Auswirkungen direkt ΓΌber die Proxy-API. Live-Messungen und die CLI-Historie (uniinfer --speedtest) teilen sich dieselbe History-Datei (_speed_results.json).

⚑ Live-Messung bereit
πŸ—„οΈ Caching-Vergleich (cold vs. warm) bereit

Sendet denselben Prompt zweimal. Run 1 = cold (uncached), Run 2 = warm (gleicher Prompt β†’ Provider-Cache mΓΆglich). TTFT-Differenz = Caching-Gewinn. Output-Speed sollte konstant bleiben.

Nutzt dasselbe Modell und denselben API-Key wie die Live-Messung oben.

πŸ“Š Historie (CLI + Live) 0 Modelle
LΓ€dt…