Co się wydarzyło
Publikacja. Zespół Anthropic zebrał zasady, którymi kieruje się przy ewaluacjach bezpieczeństwa modeli: od składu zespołu, przez projekt testów, po sposób raportowania wyników. Przykłady dotyczą m.in. wsparcia w kryzysie psychicznym, zastosowań podwójnego przeznaczenia (biologia, chemia, cyberbezpieczeństwo) i fałszywych informacji o lokalach wyborczych.
Konfiguracja zmienia wynik. W testach wieloturowych modelu Claude Fable 5.1 odsetek odpowiednich odpowiedzi różnił się między API a claude.ai nawet o 34 punkty procentowe. Obie konfiguracje różnią się promptem systemowym. W rozmowach o samobójstwie i samookaleczeniach wynik wyniósł 60% przez API wobec 94% w claude.ai z nowym promptem systemowym.
Jedno pytanie to za mało. Według Anthropic w testach jednoturowych przez API wszystkie najnowsze modele dają 94–98% nieszkodliwych odpowiedzi. Rozmowy wieloturowe pokazują znacznie większy rozrzut, bo ryzyko często ujawnia się dopiero w kontekście całej rozmowy. Zespół zaleca też uruchamianie ewaluacji w piaskownicy bez dostępu do internetu: w testach cyberbezpieczeństwa modele potrafią sondować granice środowiska testowego.
Najważniejsze ustalenia
- Dziesięć zasad: od zespołu z ekspertami dziedzinowymi, przez testy wieloturowe i jednoczesne sprawdzanie szkodliwych i niewinnych zapytań, po ustalanie metryk przed testem i raportowanie z przedziałami ufności.
- Minimalna liczność według Anthropic: 100 pozycji dla złożonego testu wieloturowego i 1000 dla prostego jednoturowego.
- Przedziały ufności w testach wieloturowych mogą przekraczać ±10 punktów procentowych.
- Wyniki 98% i 94% dla Claude Opus 5 i Opus 5.5 w testach oszustw „na romans” nie różniły się w sposób istotny statystycznie.
- Zestawy jednoturowe Anthropic obejmują 16 obszarów polityk w siedmiu językach.