Görsel-Dil Ayrımının Sonu ve Hibrit Ajan Mimarisi: Nvidia Nemotron 3.5 Super VL (120B-A12B), Mamba-2 + LatentMoE Omurgası ve NVFP4 Kuantizasyon Devrimi

Kurumsal bir yapay zeka ajanının (enterprise agent) karmaşık bir kredi sözleşmesini veya tıbbi sigorta hasar dosyasını incelediği gerçek dünya senaryosunu düşünün. Bu ajanın PDF içindeki taranmış tablolardan finansal verileri çıkarması, sayfadaki bir gelir-gider grafiğini yorumlaması, ilgili web portalındaki canlı ekran görüntüsünü (GUI) kontrol etmesi ve şirketin iç denetim kurallarını uygulamak için Python kodu yazıp harici API'leri (tool calling) tetiklemesi gerekir.

Bugüne kadar sistem mimarları bu iş akışını kurgularken "parçalı boru hattı" (fragmented pipeline) tuzağına mahkumdu: Görsel ayrıştırma için ayrı bir Vision-Language Model (VLM) veya OCR kümesi, mantıksal muhakeme ve araç çağrımı içinse ayrı bir sınır LLM kullanılıyordu. İki sistem arasında JSON serileştirmeleriyle taşınan veri; görsel bağlamın kaybolmasına (lossy modality translation), kümülatif gecikme (latency) patlamasına ve devasa token faturalarına yol açıyordu.

Nvidia’nın geliştiricilere açtığı Nemotron 3.5 Super VL (120B-A12B), bu mimari şizofreniyi tek bir açık ağırlıklı (open-weight) çekirdekte sonlandırıyor. Toplam 120 milyar parametreye sahip olmasına rağmen token başına yalnızca 12 milyar parametreyi aktive eden bu hibrit model; Mamba-2 durum uzayı modelleri (SSM), Latent Mixture-of-Experts (MoE) ve C-RADIO görsel kodlayıcısını birleştirerek uzun soluklu (long-horizon) otonom ajanlar için yeni bir endüstri standardı belirliyor. Yanında duyurulan yerel ajan odaklı Nemotron 3.5 Bolt (74B-A9B, 24GB) ve uç cihazlara yönelik Bolt E4B (4GB) ile birlikte Nvidia, veri merkezinden masaüstüne uzanan eksiksiz bir ajanik altyapı manifestosu sunuyor.

"Mimari Not: Modern ajan mühendisliğinde dar boğaz artık modelin ham zeka skoru değil, çoklu modaliteler (metin, belge, GUI, video) arasında bağlamı kaybetmeden saniyede üretebildiği aksiyon (token/tool call) verimliliğidir."

1. Mimari Anatomi: Mamba-2, LatentMoE ve C-RADIO Sentezi

Geleneksel saf Transformer tabanlı görsel-dil modelleri, yüksek çözünürlüklü PDF sayfaları veya iki dakikalık bir video akışı bağlama eklendiğinde karesel ($O(N^2)$) dikkat (attention) maliyeti ve devasa KV-Cache (Key-Value önbellek) şişmesi nedeniyle çöker. Nemotron 3.5 Super VL, 1 milyon tokenlık bağlam penceresini yüksek verimlilikle işleyebilmek için saf Transformer mimarisini terk ederek 88 katmanlı hibrit bir omurga kullanıyor.

Modelin sinirsel topolojisini incelediğimizde üç temel bileşenin senkronize çalıştığını görüyoruz:

1. Serpiştirilmiş Mamba-2 ve GQA Dikkat Katmanları: 88 katmanlı omurga, doğrusal zaman karmaşıklığına ($O(N)$) sahip Mamba-2 durum uzayı katmanları ile yalnızca kritik noktalarda konumlandırılmış standart dikkat (attention) katmanlarını harmanlıyor. Modelde gizli boyut (hidden size) 4,096 olarak tutulurken, dikkat katmanlarında 32 sorgu başlığına (attention heads) karşılık yalnızca 2 adet KV başlığı (Grouped-Query Attention) kullanılıyor. Mamba-2 katmanları sabit boyutlu bir durum (state) vektörü taşıdığı için 1 milyon tokenlık belge ve video geçmişinde KV-Cache belleği doğrusal altı bir eğriyle son derece kompakt kalıyor.
2. LatentMoE ve 512 Uzmanlı Yönlendirme: Her bir MoE katmanında tam 512 adet yönlendirilmiş uzman (routed experts) ağ bulunuyor. Yönlendirici (router), her bir token için bu 512 uzmandan en uygun 22 tanesini ve ek olarak 1 adet paylaşımlı uzmanı (shared expert) aktive ediyor. Bu ince taneli (fine-grained) LatentMoE tasarımı, 120B parametrelik devasa bilgi kapasitesini korurken hesaplama maliyetini 12B parametrelik yoğun (dense) bir model seviyesine indiriyor.
3. C-RADIO Görsel Kodlayıcı ve Çoklu Modalite Köprüsü: Görsel tarafta Nvidia'nın çoklu öğretmen distilasyonuyla geliştirdiği C-RADIO görsel kodlayıcısı (vision encoder) ve özel bir görsel-dil bağlayıcısı (connector) yer alıyor. Bu katman; yüksek çözünürlüklü tabloları, karmaşık finansal grafikleri, web/masaüstü GUI ekran görüntülerini ve 2 dakikaya kadar olan MP4 videoları ayrıştırarak doğrudan Mamba-2/MoE omurgasının uzayına projekte ediyor.

[Görsel Girdiler: PDF, Grafik, GUI, MP4 Video (<=2 dk)] 
       │
       ▼
┌──────────────────────────────┐
│   C-RADIO Vision Encoder     │
│ + Vision-Language Connector  │
└──────────────┬───────────────┘
               │ (Görsel + Metin Token Dizisi - Maks 1M Bağlam)
               ▼
┌──────────────────────────────────────────────────────────┐
│        88 Katmanlı Hibrit Nemotron 3.5 Omurgası          │
│  ┌────────────────────────────────────────────────────┐  │
│  │ • Mamba-2 Durum Uzayı Katmanları (Sabit State)     │  │
│  │ • GQA Attention (32 Query Head / 2 KV Head)        │  │
│  │ • LatentMoE (512 Uzmandan 22 Aktif + 1 Paylaşımlı) │  │
│  └────────────────────────────────────────────────────┘  │
└──────────────┬───────────────────────────────────────────┘
               │ (Aktif Parametre: 12B / Toplam: 120B)
               ▼
┌──────────────────────────────────────────────────────────┐
│  Özyinelemeli Multi-Token Prediction (MTP) + LiLiCorr    │
│  (Hidden-State Mixing ile Tek Geçişte 5 Token Taslağı)   │
└──────────────────────────────────────────────────────────┘

2. Çıkarım Hızlandırma: Özyinelemeli MTP, LiLiCorr ve NVFP4

Günlerce veya haftalarca çalışan otonom ajan döngülerinde (SWE-bench Pro kodlama oturumları veya derin siber güvenlik taramaları) en büyük sorun üretim gecikmesidir (decode latency). Ajanın bir düşünce zinciri (enable_thinking=True) üretip ardından JSON formatında araç çağırması binlerce token sürer. Nvidia, Nemotron 3.5 Super VL'yi sınıfındaki diğer açık modellerden 5 kata kadar daha hızlı (4x Blackwell B200 üzerinde saniyede ~625 çıktı tokenı) kılan dört temel mühendislik optimizasyonu uygulamış durumda:

Özyinelemeli Multi-Token Prediction (MTP) ve Hidden-State Mixing

Önceki nesil modellerde spekülatif kod çözme (speculative decoding) için birden fazla bağımsız MTP başlığı kullanılıyordu. Nemotron 3.5 Super teknik raporuna göre mühendisler, paylaşılmayan iki ayrı MTP başlığını tek bir özyinelemeli paylaşımlı (recursively shared) MTP başlığında birleştirdi. Ana omurga dondurularak (frozen backbone) 100 milyar tokenlık özel bir MTP ısınma (warm-up) eğitiminden geçirilen bu başlık, özyinelemeli taslak çıkarma sırasında oluşan eğitim-çıkarım koşullanma uyumsuzluğunu (train–inference conditioning mismatch) gidermek için "hidden-state mixing" (gizli durum karıştırma) tekniğini kullanıyor. SWE-bench Pro ajan iş yüklerinde 5 taslak uzunluğunda (draft length) ortalama 4.06 token kabul oranına (acceptance length) ulaşılıyor.

LiLiCorr Taslaklayıcı ve Bağlam Yeniden Kullanımı (Prefix Caching)

Özellikle masaüstü süper bilgisayarı DGX Spark üzerinde çalışan yerel dağıtımlar için Nvidia, LiLiCorr adını verdiği harici bir spekülatif taslaklayıcı (drafter) yayımladı. LiLiCorr, token üretim hızını 2.3 kata kadar artırıyor. Buna ek olarak, çok adımlı ajan turlarında hem dikkat (attention) KV önbelleklerini hem de Mamba-2 durum (state) önbelleklerini koruyan hibrit önek önbellekleme (prefix caching) sayesinde ilk tokena kadar geçen süre (TTFT) dramatik biçimde düşürülüyor.

Kayıpsız NVFP4 Kuantizasyonu ve Distilasyon

120 milyar parametrelik bir modeli tam hassasiyette (BF16) çalıştırmak 231.84 GB bellek gerektirir ve en az 2x B200 veya 4x H100 GPU'ya ihtiyaç duyar. Nvidia, BF16 referans modelinden Kuantizasyon Farkındalıklı Distilasyon (Quantization-Aware Distillation - QAD) uygulayarak ağırlıkları ve aktivasyonları 4-bit kayan nokta formatına indiren NVFP4 sürümünü yayımladı.

• Dosya Boyutu: 231.84 GB'tan 69.91 GB'a düşüyor.
• Donanım Gereksinimi: Tek bir H200, tek bir Blackwell B200/GB200 veya tek bir masaüstü DGX Spark üzerinde çalışabiliyor.
• Doğruluk Korunumu: GPQA-Diamond gibi en zorlu bilimsel muhakeme testlerinde NVFP4 sürümü 89.90 gibi olağanüstü bir skor alarak BF16 ile neredeyse sıfır kayıplı (near-lossless) bir parite sergiliyor.

"Mimari Not: Nemotron 3.5 Super VL'nin eğitim reçetesi; 26 trilyon tokenlık ön eğitim, bir üst sınıf olan Nemotron 3 Ultra Base modelinden 1 trilyon tokenlık doğrudan bilgi distilasyonu, 3.8 milyon post-training örneği ve NeMo Gym üzerindeki ~100 açık RL (Pekiştirmeli Öğrenme) ortamında gerçekleştirilen ajanik hizalamadan oluşuyor."

3. Performans Kıyaslaması ve "Post-Training" Gerçeği

Bir Principal Mimar olarak pazarlama başlıkları ile üretim ortamı gerçeklerini birbirinden ayırmak zorundayız. Nemotron 3.5 Super VL hakkında çıkan "Claude Opus 5 ve GPT-6.1 Sol'u geride bıraktı" haberlerinin altındaki mühendislik nüansını doğru okumak gerekiyor.

Genel Zeka vs. Uzmanlaşmış Ajan Ekonomisi

Model kutudan çıktığı haliyle (out-of-the-box) Artificial Analysis Intelligence Index üzerinde 26 puan alarak ABD merkezli en güçlü açık ağırlıklı model konumuna yerleşiyor (medyan skorun 8 olduğu bu ölçekte Claude Opus 5.5 gibi kapalı devler 58 puanda bulunuyor). Genel amaçlı "her şeyi bilen sohbet botu" yarışında kapalı sınır modeller hala önde.

Ancak iş yüksek hacimli kurumsal analist ve ajan görevlerine geldiğinde tablo tamamen tersine dönüyor:

• Maliyet ve Çıkarım Verimliliği: Eon.io tarafından gerçekleştirilen gerçek dünya veri analisti benchmarklarında, 8x H100 üzerinde kendi kendine barındırılan (self-hosted) Nemotron 3.5 Super VL, soruların %88.9'unu doğru yanıtlayarak kapalı sınır modeli GPT-6 Astra (%88.9) ile birebir aynı doğruluğu yakaladı. Üstelik 1.000 doğru yanıt başına maliyeti GPT-6 Astra'da $1,796 iken, Nemotron 3.5 Super VL'de yalnızca $67 (27 kat daha ucuz) olarak ölçüldü.
• Plotly Veri Analitiği: PlotlyDataAnalyticsBench üzerinde 30/43 skor alarak, kendisinden 5 kat büyük olan Nemotron 3 Ultra'nın performansına 15'te 1 maliyetle (çalıştırma başına $0.46) ulaştı ve liderlik tablosunun en hızlı modeli oldu.

Alana Özgü Post-Training (Son Eğitim) Gücü

Tabloda görüldüğü üzere, modelin asıl süper gücü NeMo Gym ve açık RL ortamlarıyla kurumun kendi verisi üzerinde ince ayar (post-training) yapılabilmesidir. Belge zekası, finansal makbuz çıkarımı, bilimsel deney analizi, siber güvenlik ve tıbbi sigorta talepleri gibi 5 dikey alanda yapılan post-training sonrasında modelin doğruluğu %9 ila %44 arasında sıçrama yapıyor. Tıbbi sigorta taleplerinde %28'den %72'ye çıkarak Claude Opus 5'i (%38); siber güvenlik analizinde ise %35'ten %76'ya çıkarak GPT-6.1 Sol'u (%66) geride bırakıyor. Ramp (finansal belgeler), Mercor (APEX-SWE kodlama ajanları) ve Trajectory Labs (hukuk ajanları) gibi şirketlerin modeli hızla üretime almasının nedeni tam olarak bu özelleştirilebilirliktir.

4. Üretim Ortamı Entegrasyonu ve Kod Örneği

Nemotron 3.5 Super VL; NVIDIA NIM, vLLM, SGLang, Ollama, LM Studio ve Unsloth tarafından ilk günden destekleniyor. Modelin dikkat çekici bir diğer mühendislik detayı ise muhakeme modunun (enable_thinking) ve örnekleme (sampling) sıcaklığının modaliteye göre dinamik ayarlanmasıdır: Nvidia, saf metin görevlerinde temperature=1.0, görsel ve video içeren ajan görevlerinde ise halüsinasyonu önlemek adına temperature=0.6 ve top_p=0.95 kullanılmasını öneriyor.

Aşağıdaki Python kodu, bir finansal denetim ajanının hem bir mimari/finansal grafik görselini inceleyip hem de muhakeme (thinking) izi üreterek yapılandırılmış bir araç çağrısı (tool calling) gerçekleştirmesini göstermektedir:

import os
import json
import base64
from openai import OpenAI

# NVIDIA NIM veya yerel vLLM (NVFP4) uç noktası bağlantısı
client = OpenAI(
    base_url=os.environ.get("NIM_BASE_URL", "https://integrate.api.nvidia.com/v1"),
    api_key=os.environ.get("NVIDIA_API_KEY", "nvapi-local-dev-key")
)

def encode_image(image_path: str) -> str:
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

# Ajanın çağırabileceği kurumsal denetim aracı (Tool Definition)
audit_tools = [
    {
        "type": "function",
        "function": {
            "name": "trigger_cost_anomaly_alert",
            "description": "Grafik veya tablodaki AI altyapı maliyet sapmalarını ERP sistemine raporlar.",
            "parameters": {
                "type": "object",
                "properties": {
                    "quarter": {"type": "string", "description": "Anomalinin tespit edildiği çeyrek (örn. 2026-Q3)"},
                    "variance_percentage": {"type": "number", "description": "Bütçe sapma yüzdesi"},
                    "root_cause_component": {"type": "string", "description": "Sapmaya neden olan altyapı bileşeni"},
                    "recommended_action": {"type": "string", "description": "Mimari optimizasyon önerisi"}
                },
                "required": ["quarter", "variance_percentage", "root_cause_component", "recommended_action"]
            }
        }
    }
]

def run_visual_investigation_agent(chart_path: str):
    b64_chart = encode_image(chart_path)
    
    # Görsel görevler için önerilen sıcaklık: 0.6, top_p: 0.95
    response = client.chat.completions.create(
        model="nvidia/nemotron-3.5-super-vl-120b-a12b",
        messages=[
            {
                "role": "system",
                "content": "Sen kıdemli bir FinOps ve Sistem Mimarisi denetim ajanısın. Belgeleri ve grafikleri analiz ederek anomalileri araçlarla raporla."
            },
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {"url": f"data:image/png;base64,{b64_chart}"}
                    },
                    {
                        "type": "text",
                        "text": "Bu bulut maliyet dağılım grafiğini ve altındaki tabloyu incele. Bütçeyi %20'den fazla aşan kalemi bul ve anomali aracını tetikle."
                    }
                ]
            }
        ],
        tools=audit_tools,
        tool_choice="auto",
        temperature=0.6,
        top_p=0.95,
        max_tokens=4096,
        extra_body={
            "chat_template_kwargs": {
                "enable_thinking": True  # Ajanik muhakeme (Thinking trace) aktif
            }
        }
    )

    message = response.choices[0].message
    
    # Modelin ürettiği içsel muhakeme zinciri (varsa)
    if hasattr(message, "reasoning_content") and message.reasoning_content:
        print(f"🧠 [Ajan Muhakeme İzi]:\n{message.reasoning_content}\n")

    # Araç çağrımlarını (Tool Calls) işle
    if message.tool_calls:
        for tool_call in message.tool_calls:
            args = json.loads(tool_call.function.arguments)
            print(f"⚡ [Tetiklenen Araç]: {tool_call.function.name}")
            print(json.dumps(args, indent=2, ensure_ascii=False))
    else:
        print(f"📄 [Yanıt]: {message.content}")

if __name__ == "__main__":
    # Örnek çalıştırma
    run_visual_investigation_agent("q3_cloud_gpu_spend_report.png")

Yukarıdaki mimaride kritik olan nokta, görsel verinin başka bir OCR servisinden geçmeden doğrudan nvidia/nemotron-3.5-super-vl-120b-a12b modeline beslenmesi ve modelin aynı ileri besleme (forward pass) bağlamında hem görsel pikseller üzerinde muhakeme yürütmesi (enable_thinking: True) hem de sıkı şemaya bağlı JSON araç çağrısını (trigger_cost_anomaly_alert) tek seferde üretmesidir.

5. Sektör ve Yazılımcılar İçin Mimari Çıkarımlar

Nvidia’nın Nemotron 3.5 ailesiyle (Super VL 120B, Bolt 74B ve Bolt E4B) yaptığı bu hamle, özellikle yakın zamanda duyurulan Hugging Face satın alma anlaşmasıyla birlikte değerlendirildiğinde yazılım dünyası için çok net mesajlar içeriyor:

1. Ayrıştırılmış (Disaggregated) Çıkarım Topolojisi Standartlaşıyor: Nvidia'nın teknik raporunda 11 adet VR200 GPU üzerinde NVIDIA Dynamo ve vLLM ile yaptığı testlerde, 7 GPU'yu Prefill (görsel ve uzun bağlam okuma) ve 4 GPU'yu Decode (MTP ile hızlı token üretimi) olarak ayırdığı görülüyor. Görsel-dil ajanlarını üretimde koştururken artık monolitik GPU havuzları yerine, Prefill ve Decode aşamalarını birbirinden ayıran mikro-orkestrasyon mimarilerine geçmeliyiz.
2. "Genel Zeka" Vergisi Ödemeyi Bırakın: Bir kredi sözleşmesini okumak veya GUI otomasyonu yapmak için görev başına $5.98 talep eden devasa kapalı modellere (Opus 5.5 vb.) API bağımlılığı yaratmak mühendislik israfıdır. OpenMDW-1.1 lisansı ticari kullanıma, ince ayara ve yeniden dağıtıma tamamen izin veriyor. Kurum içi verinizle NeMo Gym veya Unsloth üzerinden post-training yapılmış bir Nemotron 3.5 Super VL, görev başına maliyeti $0.25'in altına çekerek kapalı modelleri kendi uzmanlık alanında yenebiliyor.
3. Hibrit Bulut-Uç (Cloud-to-Edge) Ajan Filoları: Veri merkezinde tek bir H200/B200 üzerinde 70 GB'lık NVFP4 Super VL modeli ana orkestratör olarak çalışırken; geliştiricilerin kendi iş istasyonlarında 24 GB VRAM'e (2-bit doğal sıkıştırma ile) sığan Nemotron 3.5 Bolt 74B-A9B modeli yerel kodlama ve araştırma alt-ajanı olarak görev yapabilir.

Özetle; metin ve görüntüyü ayrı dünyalar olarak ele alan eski nesil LLM mimarileri artık geride kaldı. Mamba-2'nin doğrusal bellek verimliliğini, 512 uzmanlı MoE'nin seyrek hesaplama gücüyle ve C-RADIO'nun görsel keskinliğiyle birleştiren Nemotron 3.5 Super VL, kurumsal otonom ajanların gerçek anlamda "gözlerini açtığı" mimari kırılma noktasıdır.