Görevler · Özellik uygulama

task-010-roman

Görev tanımının prompt metni aşağıdadır; gizli doğrulayıcılar (verify, oracle, reference çözümler) yayınlanmaz. Her sütun bir model ve effort ikilisinin n=1 sonucudur (ilk geçerli deneme); renk tek başına anlam taşımaz.

n=114 ikili: 12 ölçüldü · 2 ölçülmedi

Görev tanımı

`roman.py` içindeki `roman_to_int` fonksiyonunu uygula. Geçerli bir Roma rakamı stringini (1..3999, standart yazım: IV, IX, XL, XC, CD, CM çıkarmalı biçimleri dahil) tam sayıya çevirsin.

Geçersiz girdide `ValueError` fırlatsın: boş string, tanımsız karakter, küçük harf, boşluk, ve standart yazıma uymayan diziler (örn. `IIII`, `VX`, `IC`, `MMMM`). Yalnızca `roman.py`'yi değiştir.

Kaynak: fixtures/task-010-roman/PROMPT.md · yalnız prompt metni; doğrulayıcılar yayınlanmaz.

Model seçici yükleniyor; bu ara görüntüde varsayılan sütunlar görünür.

claude-haiku-5-5varsayılan

Geçti

Süre
11,9 sn
Çıktı token
2.303
Maliyet (USD, koşu başı)
<0,01
Koşu
2 koşudan ilki sayıldı
Modelin değişiklikleri (diff)

Diff kaydı yok (ölçülmedi, sebep: artefakt dosyası yok).

Son mesaj

Mesaj kaydı yok (ölçülmedi, sebep: artefakt dosyası yok).

claude-opus-5-5high

Geçti

Süre
29,5 sn
Çıktı token
3.270
Maliyet (USD, koşu başı)
0,14
Modelin değişiklikleri (diff)

Diff kaydı yok (ölçülmedi, sebep: artefakt dosyası yok).

Son mesaj

Mesaj kaydı yok (ölçülmedi, sebep: artefakt dosyası yok).

claude-sonnet-5-5medium

Geçti

Süre
15,6 sn
Çıktı token
1.675
Maliyet (USD, koşu başı)
0,05
Modelin değişiklikleri (diff)

Diff kaydı yok (ölçülmedi, sebep: artefakt dosyası yok).

Son mesaj

Mesaj kaydı yok (ölçülmedi, sebep: artefakt dosyası yok).

deepseek-v4.1-flashtek ayar

Geçti

Süre
2 dk
Çıktı token
1.241
Maliyet (USD, koşu başı)
ölçülmedi (diğer)
Modelin değişiklikleri (diff)

Diff kaydı yok (ölçülmedi, sebep: artefakt dosyası yok).

Son mesaj

Mesaj kaydı yok (ölçülmedi, sebep: artefakt dosyası yok).

Ölçülmeyen sütunların sebebi sütun üstünde yazar. Diff ve son mesaj açılır-kapanır başlıkların altındadır; ham dosyalar indirilebilir. Maliyet = koşu başı ortalama, API liste fiyatı eşdeğeri (abonelik faturası değil); EVREN ücretsiz katmanında fiyat tanımsız olduğundan ölçülmedi yazar. Veri: Nasıl ölçüldü?