ARC Prize’dan Bağımsız Kıyaslama Şoku: GPT-6 Astra %99,9’dan %62,7’ye Geriledi ve ‘Harness Gap’ Mimarisi

ARC-AGI-3 Kıyaslamasında 37,2 Puanlık Deprem: Model Ağırlıkları mı, Yürütme Koşum Takımı mı?

Sınır yapay zeka modellerinin genel akışkan zeka (fluid intelligence) ve soyut akıl yürütme kapasitesini ölçen en prestijli otorite olan ARC Prize Vakfı (François Chollet ve Greg Kamradt liderliğinde), Ekim 2026 sonunda yayımladığı ARC-AGI-3 değerlendirme sonuçlarıyla yapay zeka mühendisliğinde yeni bir paradigma tartışması başlatmıştır. OpenAI'ın amiral gemisi akıl yürütme modeli GPT-6 Astra, sağlayıcıya özel uyarlanmış yürütme koşum takımı (Provider Adapter Harness) ile çalıştırıldığında yarı-özel (Semi-Private) ARC-AGI-3 ortamlarında %99,9 gibi kusursuza yakın bir başarı oranına ulaşırken; birebir aynı model ağırlıkları (model weights) ARC Prize Vakfı'nın sağlayıcıdan bağımsız Standart Değerlendirme Koşum Takımı (Standard Evaluation Harness) üzerinden test edildiğinde skor 37,2 puanlık sert bir düşüşle %62,7 seviyesine gerilemiştir.

Bu %99,9 ile %62,7 arasındaki 37,2 puanlık fark, modelin ağırlıklarında herhangi bir değişiklik olmaksızın yalnızca modeli çevreleyen yazılım iskelesinin (execution harness), durum kalıcılığının (state persistence) ve bağlam sıkıştırma (context compaction) mekanizmalarının değiştirilmesiyle ortaya çıkmıştır. Literatüre "The Harness Gap" (Koşum Takımı Uçurumu) olarak geçen bu bulgu, modern ajan sistemlerinde zekanın artık tek başına ağırlık matrislerinde değil, Model + Koşum Takımı bileşik sisteminde (Compound AI System) ikamet ettiğini kanıtlamaktadır.

1. Statik Izgaralardan Dinamik Dünyalara: ARC-AGI-3 Nasıl Çalışır?

Klasik ARC-AGI-1 ve ARC-AGI-2 kıyaslamaları, modele birkaç giriş-çıkış ızgara (grid) örneği verip tek seferde doğru dönüşüm kuralını tahmin etmesini bekleyen statik örüntü tanıma (static pattern recognition) testleriydi. Buna karşılık 2026 yılında toplam 850.000 dolarlık Kaggle ödül havuzuyla (%100 başarıya ulaşan ilk açık ajana 700.000 dolar büyük ödül) devreye alınan ARC-AGI-3, ajanları dinamik ve çok adımlı (turn-based) simülasyon ortamlarında test etmektedir:

1. Talimatsız Keşif (Instruction-Free Exploration):
   Ajana ortamın kuralları, hangi tuşun veya eylemin ne işe yaradığı ya da kazanma koşulu hakkında hiçbir doğal dil talimatı verilmez. Ajan, daha önce hiç karşılaşmadığı 2 boyutlu etkileşimli bir oyun/simülasyon dünyasına bırakılır.
2. Sembolik Dünya Modeli İnşası (Symbolic World-Model Induction):
   Ajan her adımda bir eylem seçer, ortamın durum değişimini (state transition) gözlemler, hipotez kurar ve yanlış hipotezleri eleyerek ortamın gizli fizik/mantık kurallarını sembolik kurallara dönüştürür.
3. İnsan Eylem Verimliliği (Human Action-Efficiency Baseline):
   Sadece bölümü geçmek yeterli değildir; ajanın deneme-yanılma bütçesini tüketmeden, bir insanın problemi kavrayıp çözdüğü adım sayısıyla yarışacak verimlilikte hedefe ulaşması gerekir. Nitekim GPT-6 Astra, uygun koşum takımı altında test seviyelerinin %96'sında insan eylem verimliliği referansını geride bırakmayı başarmıştır.

flowchart TD
    subgraph Env["ARC-AGI-3 Etkileşimli ve Talimatsız Simülasyon Ortamı"]
        A["Adım t: 2B Izgara Durumu Gözlemi (Talimat Yok)"] --> B{"Koşum Takımı (Execution Harness) Seçimi"}
    end

    subgraph Standard["Standart Koşum Takımı (Standard Harness) -> %62,7 Skor"]
        B -->|Sağlayıcıdan Bağımsız Nötr Boru Hattı| C["Durumsuz (Stateless) API Çağrısı"]
        C --> D["Yalnızca Ajanın Açıkça Yazdığı Metin Notları (Explicit Scratchpad) Taşınır"]
        D --> E["Uzun Turlarda Bağlam Çürümesi (Context Rot) & Örtük Hipotez Kaybı"]
    end

    subgraph Provider["Sağlayıcı Adaptör Koşum Takımı (Provider Adapter) -> %99,9 Skor"]
        B -->|OpenAI Özel Yürütme İskelesi| F["Örtük Akıl Yürütme Durumu (Opaque Reasoning State) Kalıcılığı"]
        F --> G["Otomatik Bağlam Sıkıştırma (Context Compaction) & Ölü Dal Budama"]
        G --> H["Sembolik Kural Kısaltmaları & %96 İnsan Eylem Verimliliği Üstünlüğü"]
    end

    E & H --> I["Adım t+1: Ortama Eylem Gönderimi ve Durum Güncellemesi"]

    style Env fill:#0f172a,stroke:#38bdf8,stroke-width:2px,color:#f8fafc
    style Standard fill:#450a0a,stroke:#ef4444,stroke-width:2px,color:#f8fafc
    style Provider fill:#064e3b,stroke:#10b981,stroke-width:2px,color:#f8fafc

2. %99,9 vs. %62,7: ‘Harness Gap’ Neden Oluştu?

Greg Kamradt ve ARC Prize teknik ekibinin yayımladığı analiz, aynı GPT-6 Astra modelinin iki farklı koşum takımında neden 37,2 puanlık devasa bir performans farkı sergilediğini üç temel mimari mekanizmayla açıklamaktadır:

• 1. Örtük Akıl Yürütme Durumu Kalıcılığı (Opaque Reasoning State Persistence):
  Çok adımlı bir ARC-AGI-3 seviyesinde ajan 50 ila 200 adım boyunca ortamla etkileşime girer. Standart Koşum Takımında (%62,7) her adım bağımsız bir istem (prompt) olarak gönderilir; modelin bir önceki adımda ürettiği içsel düşünce zinciri (Chain-of-Thought / latent reasoning state) silinir ve yalnızca modelin kendi iradesiyle dışsal not defterine (scratchpad) yazdığı metin notları sonraki adıma aktarılır. Buna karşılık Provider Adapter Harness (%99,9), OpenAI'ın Responses/Decisions API katmanındaki şifreli akıl yürütme durumu belirteçlerini (opaque reasoning state tokens) adımlar arasında kesintisiz koruyarak modelin içsel dünya modelini sıfırlanmadan sürdürmesini sağlar.
• 2. Otomatik Bağlam Sıkıştırma (Context Compaction) ve Bağlam Çürümesi:
  Keşif adımları ilerledikçe ham ızgara matrisleri ve başarısız deneme kayıtları bağlam penceresini doldurur. Standart koşum takımında bu ham geçmiş doğrudan biriktiğinde, modelin dikkat mekanizması gürültüye boğularak bağlam çürümesi (context rot) yaşar ve 20 adım önce çürüttüğü yanlış bir hipotezi tekrar denemeye başlar. Sağlayıcı adaptörü ise belirli eşiklerde devreye giren otomatik bağlam sıkıştırma (context compaction) algoritmasıyla ölü keşif dallarını budar, doğrulanmış oyun mekaniklerini kompakt sembolik kurallara indirger ve dikkat bütçesini temiz tutar.
• 3. Durum Farkı (State-Diff) Temsili ve Sembolik Kısaltma:
  Özel koşum takımı, ardışık iki adım arasındaki ızgara değişimlerini (delta/state-diff) yapılandırılmış biçimde vurgulayarak modelin yabancı oyun mekaniklerini hızla alana özgü kısaltmalara (domain-specific shorthand) dönüştürmesini kolaylaştırmaktadır.

3. Kurumsal Ajan Mühendisliği İçin Dersler: Durumlu Koşum Takımı (Stateful Harness) Tasarımı

ARC Prize'ın ortaya koyduğu %99,9 vs. %62,7 tablosu, üretim ortamında otonom yazılım mühendisliği, finansal analiz veya siber güvenlik ajanı geliştiren ekipler için hayati bir gerçeği gözler önüne sermektedir: En güçlü sınır modeli API üzerinden düz bir messages.append() döngüsüyle çağırmak, modelin gerçek kapasitesinin üçte birinden fazlasını masada bırakmak demektir.

Üretim sınıfı bir ajan koşum takımında (Production Agent Harness) şu üç bileşenin mimari olarak uygulanması zorunludur:

1. Yapılandırılmış Durum Farkı (State-Diff) Çıkarımı: Ajanın her eyleminden sonra tam ortam dökümü yerine, bir önceki duruma göre değişen varlıkların (delta) deterministik olarak hesaplanıp modele sunulması.
2. Epizodik Bağlam Sıkıştırma (Episodic Context Compaction): Adım sayısı veya token bütçesi belirli bir eşiği aştığında, ham eylem-gözlem geçmişinin doğrulanmış kurallar (verified invariants) ve elenmiş hipotezler (falsified hypotheses) listesine sıkıştırılması.
3. Örtük Durum Kimliği (Encrypted State Handle) Taşıma: Sağlayıcı API'sinin sunduğu previous_response_id veya şifreli düşünce durumu belirteçlerinin her turda korunarak içsel çalışma belleğinin devam ettirilmesi.

Aşağıdaki Python modülü, çok adımlı bir ajan döngüsünde %62,7'lik standart durumsuz yaklaşım yerine %99,9'luk sağlayıcı adaptör mimarisini (Durum Farkı + Bağlam Sıkıştırma + Örtük Durum Kalıcılığı) uygulayan örnek bir StatefulAgentHarness motorunu göstermektedir:

from dataclasses import dataclass, field
from typing import List, Dict, Any

@dataclass
class TurnRecord:
    step_index: int
    action: str
    state_diff: Dict[str, Any]
    hypothesis_outcome: str

@dataclass
class CompactedWorldModel:
    verified_rules: List[str] = field(default_factory=list)
    pruned_dead_ends: List[str] = field(default_factory=list)
    opaque_state_handle: str | None = None

class StatefulAgentHarness:
    """ARC-AGI-3 sınıfı çok turlu ajanlar için bağlam sıkıştırmalı koşum takımı."""

    def __init__(self, compaction_interval: int = 8, max_raw_turns: int = 4) -> None:
        self.compaction_interval = compaction_interval
        self.max_raw_turns = max_raw_turns
        self.turn_history: List[TurnRecord] = []
        self.world_model = CompactedWorldModel()

    @staticmethod
    def compute_state_diff(prev_grid: Dict[str, int], curr_grid: Dict[str, int]) -> Dict[str, Any]:
        changed_cells = {
            coord: {"from": prev_grid.get(coord), "to": val}
            for coord, val in curr_grid.items()
            if prev_grid.get(coord) != val
        }
        return {"delta_count": len(changed_cells), "changes": changed_cells}

    def record_step(
        self,
        step_index: int,
        action: str,
        prev_grid: Dict[str, int],
        curr_grid: Dict[str, int],
        new_opaque_handle: str,
        induced_rule: str | None = None,
        failed_branch: str | None = None,
    ) -> Dict[str, Any]:
        diff = self.compute_state_diff(prev_grid, curr_grid)
        outcome = "NO_OP" if diff["delta_count"] == 0 else "STATE_TRANSITION"
        self.turn_history.append(TurnRecord(step_index, action, diff, outcome))

        # Örtük akıl yürütme durumu (Opaque Reasoning State) adımlar arasında korunur
        self.world_model.opaque_state_handle = new_opaque_handle

        if induced_rule and induced_rule not in self.world_model.verified_rules:
            self.world_model.verified_rules.append(induced_rule)
        if failed_branch and failed_branch not in self.world_model.pruned_dead_ends:
            self.world_model.pruned_dead_ends.append(failed_branch)

        # Belirli aralıklarla otomatik bağlam sıkıştırma (Context Compaction) uygulanır
        if len(self.turn_history) >= self.compaction_interval:
            self._compact_context()

        return self.build_active_context_payload()

    def _compact_context(self) -> None:
        for record in self.turn_history[: -self.max_raw_turns]:
            if record.hypothesis_outcome == "NO_OP":
                dead_end = f"Eylem '{record.action}' durum değişimi üretmedi (Adım {record.step_index})"
                if dead_end not in self.world_model.pruned_dead_ends:
                    self.world_model.pruned_dead_ends.append(dead_end)
        self.turn_history = self.turn_history[-self.max_raw_turns :]

    def build_active_context_payload(self) -> Dict[str, Any]:
        return {
            "opaque_reasoning_handle": self.world_model.opaque_state_handle,
            "symbolic_verified_rules": self.world_model.verified_rules,
            "pruned_dead_ends": self.world_model.pruned_dead_ends,
            "recent_sliding_window": [
                {"step": r.step_index, "action": r.action, "diff": r.state_diff}
                for r in self.turn_history
            ],
        }

if __name__ == "__main__":
    harness = StatefulAgentHarness(compaction_interval=3, max_raw_turns=2)
    g0 = {"0,0": 1, "0,1": 0}
    g1 = {"0,0": 0, "0,1": 1}
    payload = harness.record_step(
        step_index=1,
        action="MOVE_EAST",
        prev_grid=g0,
        curr_grid=g1,
        new_opaque_handle="resp_state_astra_991a",
        induced_rule="MOVE_EAST mavi parçacığı +X yönünde 1 birim kaydırır",
    )
    print(f"Aktif Durum: {payload['opaque_reasoning_handle']} | Kural Sayısı: {len(payload['symbolic_verified_rules'])}")

Sonuç ve Değerlendirme

ARC Prize Vakfı'nın GPT-6 Astra üzerinde ortaya koyduğu %99,9 (Provider Adapter Harness) ile %62,7 (Standard Harness) arasındaki 37,2 puanlık fark, yapay zeka endüstrisinde kıyaslama şeffaflığı ve ajan mühendisliği açısından tarihi bir dönüm noktasıdır. Modelin insan eylem verimliliğini seviyelerin %96'sında aşabilmesi temel ağırlıkların soyut kural çıkarım gücünü kanıtlarken; koşum takımı çıkarıldığında yaşanan sert düşüş, uzun ufuklu otonom görevlerde örtük durum kalıcılığı (opaque state persistence) ve bağlam sıkıştırma (context compaction) katmanlarının en az modelin kendisi kadar belirleyici olduğunu göstermektedir.