Coding Bench · Deneysel seri
Ajan Atölyesi · Model pilotu
Aynı üç sentetik kodlama görevi, aynı görev metni, farklı model ve efor ayarları. Burada yalnız dönen yanıtı puanlıyoruz; ajanın repoyu kendi başına düzenlemesini değil.
- görev
- 3
- varyant
- 8
- puanlanan görev × varyant
- 24/24
Son güncelleme: 22 Kasım 2026 · TSİ · Küçük pilot, genel model sıralaması değil.
Varyant özeti
Üç görev de puanlanmadan genel puan hesaplanmaz. Eksik sonucuyla sıfır puan aynı şey değildir.
| Model ve efor | Araç · sağlayıcı | Puanlanan görev | n | Ortalama / 100 |
|---|---|---|---|---|
| MiniMax M3.1 Flash minimaxai/minimax-m3.1-flash · low | Pi 1.6.0 · NVIDIA NIM | 3/3 | 3 | 100 |
| DeepSeek V4.1 Flash deepseek-v4.1-flash · kapalı (Atölye ayarı) | DSH SDK 0.2.2-rc.5 · EVREN | 3/3 | 3 | 100 |
| Sonnet 5.5 · Low claude-sonnet-5-5 · low | Messages API · Anthropic | 3/3 | 3 | 100 |
| Sonnet 5.5 · Medium claude-sonnet-5-5 · medium | Messages API · Anthropic | 3/3 | 3 | 100 |
| GPT-6.2 Sol · Low gpt-6.2-sol · low | Responses API · OpenAI | 3/3 | 3 | 100 |
| GPT-6.2 Sol · Medium gpt-6.2-sol · medium | Responses API · OpenAI | 3/3 | 3 | 100 |
| GPT-6.1 Terra · Low gpt-6.1-terra · low | Responses API · OpenAI | 3/3 | 3 | 100 |
| GPT-6 Luna · Low gpt-6-luna · low | Responses API · OpenAI | 3/3 | 3 | 100 |
Görev başına sonuçlar
Önbelleksiz girdi, çıktı ve önbellek sayaçları aracın ya da sağlayıcının bildirdiği alanlardır. Eksik sayaç sıfır değildir; gerçek maliyet ölçülmedi.
interval-union · Aralık birleştirme hatası
Hata düzeltme: sırasız, kesişen veya temas eden aralıkları doğru birleştir; sınır davranışını koru.
Modele verilen görev metni
Fix this Python function, keeping the signature merge_intervals(intervals).
Input is a list of two-integer lists [start, end], each with start <= end. Negative numbers, duplicate intervals, and zero-length intervals are valid. Treat intervals as closed: touching endpoints merge, but [1, 2] and [3, 4] do not. Return the union as a new list of [start, end] lists ordered by start. Do not mutate the input or reuse its inner lists. Empty input returns []. Assume valid input. Python standard library only. Return only complete replacement Python in one fenced python code block, no prose.
Starter code:
```python
def merge_intervals(intervals):
out = []
for start, end in sorted(intervals):
if out and start < out[-1][1]:
out[-1][1] = end
else:
out.append([start, end])
return out
```
Yanıt biçimi: yalnız tek bir ```python kod bloğunda dosyanın tamamını ver. Araç kullanma. Açıklama, dosya işlemi veya test koşumu istemiyorum.| Varyant | n | Puan / 100 | Süre | Önbelleksiz girdi | Çıktı | Cache okuma | Cache yazma | Durum |
|---|---|---|---|---|---|---|---|---|
| MiniMax M3.1 Flash | 1 | 100 5/5 grup | 53,23 sn | 663 | 329 | 128 | 0 | Ölçüldü |
| DeepSeek V4.1 Flash | 1 | 100 5/5 grup | 14,5 sn | 6 | 424 | 0 | 320 | Ölçüldü |
| Sonnet 5.5 · Low | 1 | 100 5/5 grup | 2,62 sn | 370 | 97 | 0 | 0 | Ölçüldü |
| Sonnet 5.5 · Medium | 1 | 100 5/5 grup | 2,32 sn | 370 | 117 | 0 | 0 | Ölçüldü |
| GPT-6.2 Sol · Low | 1 | 100 5/5 grup | 4,48 sn | 243 | 73 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6.2 Sol · Medium | 1 | 100 5/5 grup | 4,01 sn | 243 | 73 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6.1 Terra · Low | 1 | 100 5/5 grup | 1,83 sn | 243 | 73 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6 Luna · Low | 1 | 100 5/5 grup | 1,91 sn | 243 | 133 | 0 | Ölçülmedi | Ölçüldü |
bounded-queue · Sınırlı ve tekilleştiren kuyruk
Özellik ekleme: kapasite ile tekilleştirmeyi aynı FIFO kuyruğunda uygula; çıkarılan kimlik tekrar eklenebilir.
Modele verilen görev metni
Extend process_queue(events, capacity) with a capacity limit and duplicate tracking. capacity is a nonnegative integer. events is a list of ["put", id] or ["take", null], where ids are nonempty strings. Return a list of exactly one outcome per event:
• put: return "duplicate" without changing the queue if id is already pending. Otherwise return "full" without changing the queue if it has capacity items. Otherwise append id and return "queued". Duplicate takes precedence at capacity.
• take: remove and return the oldest pending id, or None if empty. A taken id may be queued again. A rejected put never reserves an id; there are no automatic retries.
Preserve input, keep FIFO ordering, and use only the Python standard library. Assume valid events. Return only complete replacement Python in one fenced python code block, no prose.
Starter code:
```python
from collections import deque
def process_queue(events, capacity):
pending = deque()
outcomes = []
for op, value in events:
if op == "put":
pending.append(value)
outcomes.append("queued")
else:
outcomes.append(pending.popleft() if pending else None)
return outcomes
```
Yanıt biçimi: yalnız tek bir ```python kod bloğunda dosyanın tamamını ver. Araç kullanma. Açıklama, dosya işlemi veya test koşumu istemiyorum.| Varyant | n | Puan / 100 | Süre | Önbelleksiz girdi | Çıktı | Cache okuma | Cache yazma | Durum |
|---|---|---|---|---|---|---|---|---|
| MiniMax M3.1 Flash | 1 | 100 5/5 grup | 55,97 sn | 319 | 376 | 523 | 0 | Ölçüldü |
| DeepSeek V4.1 Flash | 1 | 100 5/5 grup | 20,83 sn | 3 | 253 | 0 | 384 | Ölçüldü |
| Sonnet 5.5 · Low | 1 | 100 5/5 grup | 3,02 sn | 474 | 224 | 0 | 0 | Ölçüldü |
| Sonnet 5.5 · Medium | 1 | 100 5/5 grup | 2,81 sn | 474 | 227 | 0 | 0 | Ölçüldü |
| GPT-6.2 Sol · Low | 1 | 100 5/5 grup | 3,01 sn | 296 | 134 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6.2 Sol · Medium | 1 | 100 5/5 grup | 2,77 sn | 296 | 134 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6.1 Terra · Low | 1 | 100 5/5 grup | 2,63 sn | 296 | 132 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6 Luna · Low | 1 | 100 5/5 grup | 2,23 sn | 296 | 173 | 0 | Ölçülmedi | Ölçüldü |
config-refactor · Ayar ayrıştırıcıyı sadeleştirme
Refaktör: ayar ayrıştırıcısındaki dönüşümü bir yardımcıya taşı; mevcut davranışı koru. Fonksiyon testleri, yapısal kaliteyi puanlamaz.
Modele verilen görev metni
Refactor the starter's parse_config(text) without changing behavior for any string. Keep the public signature. Separate value conversion into a top-level parse_value(value) helper and call it from parse_config for each valid pair. Use Python's existing int(value) behavior, not a regex. Skip blank lines, full-line # comments, lines without "=", and empty trimmed keys. Split only on the first "=" and trim both sides; no inline comments or quote handling. Keys are case-sensitive, and the last valid occurrence wins. Fold true/false case-insensitively, then attempt int(value), otherwise keep the trimmed string. Standard library only. Return only complete replacement Python in one fenced python code block, no prose.
Starter code:
```python
def parse_config(text):
config = {}
for line in text.splitlines():
stripped = line.strip()
if not stripped or stripped.startswith("#"):
continue
if "=" not in stripped:
continue
key, value = stripped.split("=", 1)
key, value = key.strip(), value.strip()
if not key:
continue
folded = value.lower()
if folded == "true":
config[key] = True
continue
if folded == "false":
config[key] = False
continue
try:
config[key] = int(value)
continue
except ValueError:
config[key] = value
return config
```
Yanıt biçimi: yalnız tek bir ```python kod bloğunda dosyanın tamamını ver. Araç kullanma. Açıklama, dosya işlemi veya test koşumu istemiyorum.| Varyant | n | Puan / 100 | Süre | Önbelleksiz girdi | Çıktı | Cache okuma | Cache yazma | Durum |
|---|---|---|---|---|---|---|---|---|
| MiniMax M3.1 Flash | 1 | 100 5/5 grup | 60,51 sn | 372 | 626 | 523 | 0 | Ölçüldü |
| DeepSeek V4.1 Flash | 1 | 100 5/5 grup | 12,07 sn | 44 | 493 | 0 | 384 | Ölçüldü |
| Sonnet 5.5 · Low | 1 | 100 5/5 grup | 2,62 sn | 540 | 213 | 0 | 0 | Ölçüldü |
| Sonnet 5.5 · Medium | 1 | 100 5/5 grup | 3,01 sn | 540 | 213 | 0 | 0 | Ölçüldü |
| GPT-6.2 Sol · Low | 1 | 100 5/5 grup | 2,65 sn | 346 | 139 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6.2 Sol · Medium | 1 | 100 5/5 grup | 2,77 sn | 346 | 147 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6.1 Terra · Low | 1 | 100 5/5 grup | 2,48 sn | 346 | 147 | 0 | Ölçülmedi | Ölçüldü |
| GPT-6 Luna · Low | 1 | 100 5/5 grup | 2,42 sn | 346 | 209 | 0 | Ölçülmedi | Ölçüldü |
Yöntem ve sınırlar
- Hata düzeltme, özellik ekleme ve refaktör görevlerinde her varyant aynı görev metnini alır. Yanıttan okunan kod sabit kontrollerle 0 ile 100 arasında puanlanır. Bir varyantın özeti görev puanlarının eşit ağırlıklı ortalamasıdır.
- Refaktörde yalnız davranışın korunması puanlanır. Kodun yapısal kalitesi ve refaktörün bağımsız değeri ölçülmedi.
- Canlı depo erişimi, araç kullanımı, ajanın dosya düzenlemesi ve kendi test komutunu çalıştırması ölçülmedi. Sonuç model, efor, istemci, sağlayıcı ve koşu ortamının birlikte gözlemidir.
- Geçerli cevabın puanı 0 olabilir. Koşulmamış, engellenmiş ya da zaman aşımına uğramış denemelerin puanı yoktur. Gözlenen toplam süre araçlar arasında aynı altyapıyı temsil etmez.
Ortam ve ürün notları
- MiniMax M3.1 Flash. OMEN · Ubuntu Pi araçları kapalı, geçici model ayarı, üç ayrı oturum.
- DeepSeek V4.1 Flash. OMEN · Ubuntu Atölye’nin gerçek metin köprüsü ve aynı SDK profili.
- Sonnet 5.5 · Low. OMEN · Ubuntu Claude Code aboneliği değil. Adaptive thinking ve aynı girdi metni ile doğrudan API.
- Sonnet 5.5 · Medium. OMEN · Ubuntu Claude Code aboneliği değil. Adaptive thinking ve aynı girdi metni ile doğrudan API.
- GPT-6.2 Sol · Low. OMEN · Ubuntu Codex aboneliği değil. Aynı girdi metniyle doğrudan API; Astra yok.
- GPT-6.2 Sol · Medium. OMEN · Ubuntu Codex aboneliği değil. Aynı girdi metniyle doğrudan API; Astra yok.
- GPT-6.1 Terra · Low. OMEN · Ubuntu Codex aboneliği değil. Aynı girdi metniyle doğrudan API; Astra yok.
- GPT-6 Luna · Low. OMEN · Ubuntu Codex aboneliği değil. Aynı girdi metniyle doğrudan API; Astra yok.
- İlk tur. Ölçülen modellerde görev başına n=1. Üç görev de aynı ağırlıkta. Her görevde beş kontrol grubu ve on giriş örneği var; grup 20 puan. Referans çözümler üç görevde 100, kasıtlı eksik çözümler 40, 20 ve 40 aldı.
- Süre. İstemcinin başlatılmasından tamamlanmış yanıta kadar geçen süre (sağlayıcı ve ağ dahil). Python kontrollerinin çalışma süresi dahil değil.
- Tokenlar. Girdi sütunu önbelleğe alınmamış girdi. Cache okuma/yazma, sayacın sunduğu ayrı alanlardır. Sağlayıcı farklı token ayrıştırıcıları ve sistem metinleri kullanır; bu sayılar ortak maliyet ölçüsü değildir.
- Sıradaki ölçüm. Bu örnekler eşit sonuç verirse önce daha ayırt edici bir görev ve daha fazla tekrar gerekir. Birden çok dosyayı değiştiren ajan testi ayrı tutulmalı. EVREN’in Atölye profili kodu metin olarak önerir; kendiliğinden dosya değiştirmez.