Coding Bench · Deneysel seri

Ajan Atölyesi · Model pilotu

Aynı üç sentetik kodlama görevi, aynı görev metni, farklı model ve efor ayarları. Burada yalnız dönen yanıtı puanlıyoruz; ajanın repoyu kendi başına düzenlemesini değil.

görev
3
varyant
8
puanlanan görev × varyant
24/24

Son güncelleme: 22 Kasım 2026 · TSİ · Küçük pilot, genel model sıralaması değil.

Varyant özeti

Üç görev de puanlanmadan genel puan hesaplanmaz. Eksik sonucuyla sıfır puan aynı şey değildir.

Model ve eforAraç · sağlayıcıPuanlanan görevnOrtalama / 100
MiniMax M3.1 Flash
minimaxai/minimax-m3.1-flash · low
Pi 1.6.0 · NVIDIA NIM3/33100
DeepSeek V4.1 Flash
deepseek-v4.1-flash · kapalı (Atölye ayarı)
DSH SDK 0.2.2-rc.5 · EVREN3/33100
Sonnet 5.5 · Low
claude-sonnet-5-5 · low
Messages API · Anthropic3/33100
Sonnet 5.5 · Medium
claude-sonnet-5-5 · medium
Messages API · Anthropic3/33100
GPT-6.2 Sol · Low
gpt-6.2-sol · low
Responses API · OpenAI3/33100
GPT-6.2 Sol · Medium
gpt-6.2-sol · medium
Responses API · OpenAI3/33100
GPT-6.1 Terra · Low
gpt-6.1-terra · low
Responses API · OpenAI3/33100
GPT-6 Luna · Low
gpt-6-luna · low
Responses API · OpenAI3/33100

Görev başına sonuçlar

Önbelleksiz girdi, çıktı ve önbellek sayaçları aracın ya da sağlayıcının bildirdiği alanlardır. Eksik sayaç sıfır değildir; gerçek maliyet ölçülmedi.

interval-union · Aralık birleştirme hatası

Hata düzeltme: sırasız, kesişen veya temas eden aralıkları doğru birleştir; sınır davranışını koru.

Modele verilen görev metni
Fix this Python function, keeping the signature merge_intervals(intervals).
Input is a list of two-integer lists [start, end], each with start <= end. Negative numbers, duplicate intervals, and zero-length intervals are valid. Treat intervals as closed: touching endpoints merge, but [1, 2] and [3, 4] do not. Return the union as a new list of [start, end] lists ordered by start. Do not mutate the input or reuse its inner lists. Empty input returns []. Assume valid input. Python standard library only. Return only complete replacement Python in one fenced python code block, no prose.

Starter code:

```python
def merge_intervals(intervals):
    out = []
    for start, end in sorted(intervals):
        if out and start < out[-1][1]:
            out[-1][1] = end
        else:
            out.append([start, end])
    return out
```

Yanıt biçimi: yalnız tek bir ```python kod bloğunda dosyanın tamamını ver. Araç kullanma. Açıklama, dosya işlemi veya test koşumu istemiyorum.
VaryantnPuan / 100SüreÖnbelleksiz girdiÇıktıCache okumaCache yazmaDurum
MiniMax M3.1 Flash1100
5/5 grup
53,23 sn6633291280Ölçüldü
DeepSeek V4.1 Flash1100
5/5 grup
14,5 sn64240320Ölçüldü
Sonnet 5.5 · Low1100
5/5 grup
2,62 sn3709700Ölçüldü
Sonnet 5.5 · Medium1100
5/5 grup
2,32 sn37011700Ölçüldü
GPT-6.2 Sol · Low1100
5/5 grup
4,48 sn243730ÖlçülmediÖlçüldü
GPT-6.2 Sol · Medium1100
5/5 grup
4,01 sn243730ÖlçülmediÖlçüldü
GPT-6.1 Terra · Low1100
5/5 grup
1,83 sn243730ÖlçülmediÖlçüldü
GPT-6 Luna · Low1100
5/5 grup
1,91 sn2431330ÖlçülmediÖlçüldü
bounded-queue · Sınırlı ve tekilleştiren kuyruk

Özellik ekleme: kapasite ile tekilleştirmeyi aynı FIFO kuyruğunda uygula; çıkarılan kimlik tekrar eklenebilir.

Modele verilen görev metni
Extend process_queue(events, capacity) with a capacity limit and duplicate tracking. capacity is a nonnegative integer. events is a list of ["put", id] or ["take", null], where ids are nonempty strings. Return a list of exactly one outcome per event:
• put: return "duplicate" without changing the queue if id is already pending. Otherwise return "full" without changing the queue if it has capacity items. Otherwise append id and return "queued". Duplicate takes precedence at capacity.
• take: remove and return the oldest pending id, or None if empty. A taken id may be queued again. A rejected put never reserves an id; there are no automatic retries.
Preserve input, keep FIFO ordering, and use only the Python standard library. Assume valid events. Return only complete replacement Python in one fenced python code block, no prose.

Starter code:

```python
from collections import deque

def process_queue(events, capacity):
    pending = deque()
    outcomes = []
    for op, value in events:
        if op == "put":
            pending.append(value)
            outcomes.append("queued")
        else:
            outcomes.append(pending.popleft() if pending else None)
    return outcomes
```

Yanıt biçimi: yalnız tek bir ```python kod bloğunda dosyanın tamamını ver. Araç kullanma. Açıklama, dosya işlemi veya test koşumu istemiyorum.
VaryantnPuan / 100SüreÖnbelleksiz girdiÇıktıCache okumaCache yazmaDurum
MiniMax M3.1 Flash1100
5/5 grup
55,97 sn3193765230Ölçüldü
DeepSeek V4.1 Flash1100
5/5 grup
20,83 sn32530384Ölçüldü
Sonnet 5.5 · Low1100
5/5 grup
3,02 sn47422400Ölçüldü
Sonnet 5.5 · Medium1100
5/5 grup
2,81 sn47422700Ölçüldü
GPT-6.2 Sol · Low1100
5/5 grup
3,01 sn2961340ÖlçülmediÖlçüldü
GPT-6.2 Sol · Medium1100
5/5 grup
2,77 sn2961340ÖlçülmediÖlçüldü
GPT-6.1 Terra · Low1100
5/5 grup
2,63 sn2961320ÖlçülmediÖlçüldü
GPT-6 Luna · Low1100
5/5 grup
2,23 sn2961730ÖlçülmediÖlçüldü
config-refactor · Ayar ayrıştırıcıyı sadeleştirme

Refaktör: ayar ayrıştırıcısındaki dönüşümü bir yardımcıya taşı; mevcut davranışı koru. Fonksiyon testleri, yapısal kaliteyi puanlamaz.

Modele verilen görev metni
Refactor the starter's parse_config(text) without changing behavior for any string. Keep the public signature. Separate value conversion into a top-level parse_value(value) helper and call it from parse_config for each valid pair. Use Python's existing int(value) behavior, not a regex. Skip blank lines, full-line # comments, lines without "=", and empty trimmed keys. Split only on the first "=" and trim both sides; no inline comments or quote handling. Keys are case-sensitive, and the last valid occurrence wins. Fold true/false case-insensitively, then attempt int(value), otherwise keep the trimmed string. Standard library only. Return only complete replacement Python in one fenced python code block, no prose.

Starter code:

```python
def parse_config(text):
    config = {}
    for line in text.splitlines():
        stripped = line.strip()
        if not stripped or stripped.startswith("#"):
            continue
        if "=" not in stripped:
            continue
        key, value = stripped.split("=", 1)
        key, value = key.strip(), value.strip()
        if not key:
            continue
        folded = value.lower()
        if folded == "true":
            config[key] = True
            continue
        if folded == "false":
            config[key] = False
            continue
        try:
            config[key] = int(value)
            continue
        except ValueError:
            config[key] = value
    return config
```

Yanıt biçimi: yalnız tek bir ```python kod bloğunda dosyanın tamamını ver. Araç kullanma. Açıklama, dosya işlemi veya test koşumu istemiyorum.
VaryantnPuan / 100SüreÖnbelleksiz girdiÇıktıCache okumaCache yazmaDurum
MiniMax M3.1 Flash1100
5/5 grup
60,51 sn3726265230Ölçüldü
DeepSeek V4.1 Flash1100
5/5 grup
12,07 sn444930384Ölçüldü
Sonnet 5.5 · Low1100
5/5 grup
2,62 sn54021300Ölçüldü
Sonnet 5.5 · Medium1100
5/5 grup
3,01 sn54021300Ölçüldü
GPT-6.2 Sol · Low1100
5/5 grup
2,65 sn3461390ÖlçülmediÖlçüldü
GPT-6.2 Sol · Medium1100
5/5 grup
2,77 sn3461470ÖlçülmediÖlçüldü
GPT-6.1 Terra · Low1100
5/5 grup
2,48 sn3461470ÖlçülmediÖlçüldü
GPT-6 Luna · Low1100
5/5 grup
2,42 sn3462090ÖlçülmediÖlçüldü

Yöntem ve sınırlar

  • Hata düzeltme, özellik ekleme ve refaktör görevlerinde her varyant aynı görev metnini alır. Yanıttan okunan kod sabit kontrollerle 0 ile 100 arasında puanlanır. Bir varyantın özeti görev puanlarının eşit ağırlıklı ortalamasıdır.
  • Refaktörde yalnız davranışın korunması puanlanır. Kodun yapısal kalitesi ve refaktörün bağımsız değeri ölçülmedi.
  • Canlı depo erişimi, araç kullanımı, ajanın dosya düzenlemesi ve kendi test komutunu çalıştırması ölçülmedi. Sonuç model, efor, istemci, sağlayıcı ve koşu ortamının birlikte gözlemidir.
  • Geçerli cevabın puanı 0 olabilir. Koşulmamış, engellenmiş ya da zaman aşımına uğramış denemelerin puanı yoktur. Gözlenen toplam süre araçlar arasında aynı altyapıyı temsil etmez.

Ortam ve ürün notları

  • MiniMax M3.1 Flash. OMEN · Ubuntu Pi araçları kapalı, geçici model ayarı, üç ayrı oturum.
  • DeepSeek V4.1 Flash. OMEN · Ubuntu Atölye’nin gerçek metin köprüsü ve aynı SDK profili.
  • Sonnet 5.5 · Low. OMEN · Ubuntu Claude Code aboneliği değil. Adaptive thinking ve aynı girdi metni ile doğrudan API.
  • Sonnet 5.5 · Medium. OMEN · Ubuntu Claude Code aboneliği değil. Adaptive thinking ve aynı girdi metni ile doğrudan API.
  • GPT-6.2 Sol · Low. OMEN · Ubuntu Codex aboneliği değil. Aynı girdi metniyle doğrudan API; Astra yok.
  • GPT-6.2 Sol · Medium. OMEN · Ubuntu Codex aboneliği değil. Aynı girdi metniyle doğrudan API; Astra yok.
  • GPT-6.1 Terra · Low. OMEN · Ubuntu Codex aboneliği değil. Aynı girdi metniyle doğrudan API; Astra yok.
  • GPT-6 Luna · Low. OMEN · Ubuntu Codex aboneliği değil. Aynı girdi metniyle doğrudan API; Astra yok.
  • İlk tur. Ölçülen modellerde görev başına n=1. Üç görev de aynı ağırlıkta. Her görevde beş kontrol grubu ve on giriş örneği var; grup 20 puan. Referans çözümler üç görevde 100, kasıtlı eksik çözümler 40, 20 ve 40 aldı.
  • Süre. İstemcinin başlatılmasından tamamlanmış yanıta kadar geçen süre (sağlayıcı ve ağ dahil). Python kontrollerinin çalışma süresi dahil değil.
  • Tokenlar. Girdi sütunu önbelleğe alınmamış girdi. Cache okuma/yazma, sayacın sunduğu ayrı alanlardır. Sağlayıcı farklı token ayrıştırıcıları ve sistem metinleri kullanır; bu sayılar ortak maliyet ölçüsü değildir.
  • Sıradaki ölçüm. Bu örnekler eşit sonuç verirse önce daha ayırt edici bir görev ve daha fazla tekrar gerekir. Birden çok dosyayı değiştiren ajan testi ayrı tutulmalı. EVREN’in Atölye profili kodu metin olarak önerir; kendiliğinden dosya değiştirmez.