Eval Lab

Problém

Týmy změní prompt nebo model a o poklesu kvality se dozvědí od svých uživatelů.

Vyzkoušejte naživo

Vyberte prompt některého systému, třeba navrhovač odpovědí z LB-01. Upravte ho a spusťte na deseti případech jeho zlaté sady, u Groq, Workers AI nebo obou. Porovnejte skóre, latenci, tokeny a volání s produkcí a pak si otevřete každý případ, který se změnil.

Co dokazuje

Metodiku evaluace LLM, rozhodování o směrování mezi poskytovateli a disciplínu v CI.

Signálový řetězec

1. zlatá sada
2. běh variant
3. hodnocení pravidly
4. LLM jako soudce
5. intervaly spolehlivosti
6. brána v CI

Technologie

asynchronní Flask · paralelní volání přes asyncio · httpx · Postgres · GitHub Actions

Technické přednosti

• Flask s vlastní pipeline v asyncio: běh má nejvýš 40 volání modelu, která většinou čekají na síť, takže je jedna smyčka událostí posílá po čtyřech a výsledky produkce z mezipaměti nestojí žádné.
• Běhy návštěvníků hodnotí pravidla. LLM soudce běží každou noc a jeho skóre se počítá až po kalibraci na lidském hodnocení.
• V CI brána zastaví změnu, jejíž skóre klesne pod odevzdanou základní hodnotu, a každou noc poradce řekne, které záložní modely na které trase obstojí.