Tek Sözlük, Sekiz Kod Kitabı ve 4D Difüzyon: Şanghay YZ Laboratuvarı’nın "Intern Lumina U2" Mimarisi Çoklu Üretim Paradigmasını Nasıl Yeniden Yazıyor?

Çok modlu (multimodal) temel modellerin mimari evrimini takip eden her sistem mimarının son iki yıldır uykularını kaçıran temel bir fizik problemi vardır: Ayrık (Discrete) Semantik Uzay ile Sürekli (Continuous) Piksel Uzayı Arasındaki Kuantizasyon Uçurumu.

Bir yanda Chameleon, Emu3 veya Lumina-mGPT 2.0 gibi her şeyi —görüntüleri, videoları ve metni— tek bir kelime dağarcığında (vocabulary) ayrık tokenlara dönüştüren modeller durur. Bu yaklaşım mimari açıdan son derece zariftir; çünkü görüntü ve metin aynı çapraz entropi (cross-entropy) kaybıyla, aynı Transformer omurgasında eğitilir. Ancak görsel bir yamayı (patch) tek bir kod kitabından (single-codebook VQ-VAE) gelen tek bir tam sayıya sıkıştırdığınızda, yüksek frekanslı dokular, küçük OCR metinleri, karmaşık grafik çizgileri ve 3D geometrik süreklilik kuantizasyon darboğazında ezilir.

Diğer yanda ise Transfusion, Show-o veya hibrit AR+Difüzyon mimarileri yer alır. Bu modeller metni ayrık tokenlarla üretirken, görselleri sürekli (continuous) gizli uzayda (latent space) akış eşleştirme (flow matching) veya difüzyon kaybıyla modeller. Görsel kalite kurtulur, fakat bu kez de Optimizasyon Çatışması (Optimization Conflict) patlak verir: Aynı omurga ağırlıkları, bir yandan ayrık kategorik dağılımları tahmin etmeye çalışırken diğer yandan sürekli Gauss gürültüsünü temizlemeye zorlanır. Sonuç; görsel üretim yeteneği arttıkça dil ve muhakeme (reasoning) kapasitesi körelen, birbirine yamalanmış kırılgan boru hatlarıdır (pipelines).

Şanghay Yapay Zeka Laboratuvarı (Shanghai AI Laboratory) bünyesindeki InternLM ekibi, Ekim 2026'da yayımladıkları Intern Lumina U2 (arXiv:2610.20818 — A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation) ile bu iki uç arasındaki mimari savaşı tamamen farklı bir boyuta taşıdı. İlk sinyalleri Eylül 2026 başında GitHub üzerinde sessizce açılan InternLM/InternLumina-U2 deposuyla verilen ve Ekim 2026 itibarıyla hem teknik makalesi hem de çift donanım yığınlı (NVIDIA & Huawei Ascend) ağırlıkları Apache 2.0 lisansıyla açılan bu model; tamamen ayrık bir uzayda çoklu kod kitabı (multi-codebook) kullanan ilk Difüzyon Büyük Dil Modeli (dLLM) olma özelliğini taşıyor.

Bu derinlemesine teknik analizde; Intern Lumina U2'nin LLaDA 2.0 MoE omurgasını, 8 kod kitaplı 4D AToken temsilini, sekans uzunluğunu patlatmadan çalışan Uzamsal-Paralel / Derinlik-Otoregresif çıkarım mekanizmasını ve görüntü üretimini 4.45 kat hızlandıran kararlılık-duyarlı örnekleme algoritmalarını masaya yatırıyoruz.

1. Mimari Paradigma Değişimi: Neden Otoregresif Değil de Multi-Codebook Diffusion LLM (dLLM)?

Geleneksel otoregresif (AR) dil modelleri, veriyi soldan sağa (veya raster-scan sırasıyla yukarıdan aşağıya) tek yönlü bir nedensellik maskesiyle (causal mask) üretir. Metin gibi doğası gereği tek boyutlu ve sıralı bir sinyal için bu yöntem kusursuza yakındır. Ancak 2 boyutlu bir görüntü, 3 boyutlu bir nokta bulutu (point cloud) veya 4 boyutlu uzay-zaman (video) matrisi söz konusu olduğunda, "sağ alt köşedeki pikselin sol üst köşedeki piksele tek yönlü bağımlı olduğu" varsayımı fiziksel gerçeklikle çelişir. İki yönlü (bidirectional) bağlamı göremeyen otoregresif modeller, özellikle talimat tabanlı görüntü düzenleme (instruction-based image editing) ve inpainting görevlerinde yapısal tutarsızlıklar yaşar.

Intern Lumina U2, temel omurga olarak standart bir otoregresif Transformer yerine LLaDA 2.0 (Large Language Diffusion with mAsking) tabanlı bir Maskeli Difüzyon Dil Modeli (Masked Diffusion LLM - dLLM) kullanır.

• Toplam ve Aktif Parametre Bütçesi: Model toplamda 16 milyar (16B) parametreye sahip bir Seyrek Uzmanlar Karışımı (Sparse Mixture-of-Experts - MoE) mimarisindedir; ancak her bir token için yalnızca 1.0B ila 1.4B arası (16B-A1B) parametre aktifleşir.
• Blok Difüzyon (Block Diffusion) ve Çift Yönlü Dikkat: LLaDA 2.0 MoE omurgası, hem ayrık metin tokenlarını hem de ayrık görsel tokenları maskelenmiş durumdan ([MASK]) iteratif olarak kurtararak (unmasking) üretir. Bu sayede model, görsel üretirken veya düzenlerken tüm uzamsal düzleme iki yönlü (bidirectional attention) bakabilir; metin yanıtı üretirken ise blok-difüzyon mekanizmasıyla paralel token çözümlemesi yapabilir.

"Mimari Not: Sürekli (continuous) difüzyon modelleri pikseller veya sürekli VAE latent'leri üzerindeki Gauss gürültüsünü temizlerken, Intern Lumina U2 gibi ayrık difüzyon modelleri (dLLM) doğrudan kategorik token ID'leri üzerindeki [MASK] geçiş olasılıklarını (transition probabilities) modeller. Böylece metin ve görüntü arasındaki kayıp fonksiyonu (loss function) farkı tamamen ortadan kalkar: Her şey saf bir kategorik çapraz entropi problemine indirgenir."

2. 8 Kod Kitaplı 4D AToken: Sekans Uzunluğunu Patlatmadan Kapasiteyi Katlamak

Tek kod kitaplı ayrık görsel tokenlaştırıcıların (örneğin 8192 veya 16384 sözlük boyutlu standart VQGAN) en büyük sorunu bilgi darboğazıdır. Bir görüntüyü $32 \times 32 = 1024$ tokena böldüğünüzde, her uzamsal yama yalnızca $\log_2(8192) = 13$ bitlik bilgi taşıyabilir. Bu kapasite; hem küresel semantiği, hem yerel dokuyu, hem aydınlatmayı, hem de görüntü içindeki küçük bir tabelada yazan metni (OCR) aynı anda kodlamak için fazlasıyla yetersizdir.

Intern Lumina U2 bu sorunu, görüntü, video ve 3D varlıkları birleşik bir 4D uzayda kodlayan AToken görsel tokenlaştırıcısını 8 tamamlayıcı kod kitabı (8-codebook) ile ölçeklendirerek çözer:

1. Üstel Temsil Uzayı: Her bir uzamsal görsel pozisyon, tek bir tam sayı yerine, her biri 4.096 girdiye sahip 8 ayrı kod kitabından ($K=8, |V_c|=4096$) seçilen bir kod grubu $(c_{i,1}, c_{i,2}, \dots, c_{i,8})$ ile temsil edilir. Bu tasarım, tek bir uzamsal konumun teorik temsil kapasitesini $4096^1$'den $4096^8$ ($2^{96}$) seviyesine çıkararak sürekli (continuous) VAE'lerle yarışan bir görsel sadakat sağlar.
2. Boyutsal Patlama (Sequence Explosion) Tehlikesi: Eğer $1024$ uzamsal pozisyonun her birindeki 8 kodu omurgaya düzleştirilmiş (flattened) bir dizi olarak verirseniz, tek bir görüntünün sekans uzunluğu $1024 \times 8 = 8192$ tokena fırlar. Self-attention karmaşıklığı $O(N^2)$ olduğu için bu durum hesaplama maliyetini 64 kat artırır.

Şanghay YZ Laboratuvarı mühendisleri bu darboğazı aşmak için Girdi-Çıktı Asimetrik Çoklu Kod Kitabı Mimarisi geliştirmiştir:

Bu yapı, sistem mimarisinde "Uzamsal Paralel, Derinlik Otoregresif" (Spatially Parallel, Depth-wise Autoregressive) hibrit tasarımın en temiz örneklerinden biridir. Kod kitapları birbirinden bağımsız olmadığı için (örneğin 1. kod kitabı kaba geometrik yapıyı belirlerken, 7. ve 8. kod kitapları bu yapıya bağlı ince dokuyu belirler) bunları aynı anda bağımsızca tahmin etmek bulanık görüntülere yol açar. Küçük AR Head, her uzamsal konumun kendi içindeki 8 adımlık mikro-zinciri çözerken, devasa 16B MoE omurgası tüm uzamsal konumları paralel olarak koordine eder.

import torch
import torch.nn as nn
import torch.nn.functional as F

class MultiCodebookInputProjection(nn.Module):
    """
    Intern Lumina U2 Girdi Tasarımı:
    K=8 bağımsız kod kitabından gelen gömmeleri (embeddings) birleştirip
    sekans uzunluğunu artırmadan tek bir dLLM omurga tokenına izdüşürür.
    """
    def __init__(self, num_codebooks: int = 8, codebook_size: int = 4096, 
                 code_dim: int = 256, d_model: int = 2048):
        super().__init__()
        self.num_codebooks = num_codebooks
        # Her kod kitabı kendi bağımsız kimliğini ve rolünü korur
        self.codebooks = nn.ModuleList([
            nn.Embedding(codebook_size, code_dim) for _ in range(num_codebooks)
        ])
        # Birleştirilmiş (K * code_dim) vektörü omurga boyutuna (d_model) indirgeyen katman
        self.proj = nn.Linear(num_codebooks * code_dim, d_model)
        self.norm = nn.RMSNorm(d_model)

    def forward(self, visual_codes: torch.Tensor) -> torch.Tensor:
        """
        visual_codes: [Batch, Seq_Len (Spatial), K=8]
        return: [Batch, Seq_Len (Spatial), d_model]
        """
        embeds = [
            self.codebooks[k](visual_codes[:, :, k]) 
            for k in range(self.num_codebooks)
        ]
        # Kanal boyutunda birleştir: [B, N, K * code_dim]
        concat_embeds = torch.cat(embeds, dim=-1)
        return self.norm(self.proj(concat_embeds))


class DepthAutoregressiveHead(nn.Module):
    """
    Intern Lumina U2 Çıktı Tasarımı:
    dLLM omurgası uzamsal pozisyonları paralel işledikten sonra,
    her pozisyonun K=8 kodunu derinlik boyunca sırayla (autoregressive) çözer.
    """
    def __init__(self, num_codebooks: int = 8, codebook_size: int = 4096, 
                 d_model: int = 2048, head_dim: int = 512):
        super().__init__()
        self.num_codebooks = num_codebooks
        self.state_proj = nn.Linear(d_model, head_dim)
        self.code_embeddings = nn.ModuleList([
            nn.Embedding(codebook_size, head_dim) for _ in range(num_codebooks)
        ])
        # Derinlik boyunca sıralı bağımlılığı modelleyen hafif Causal Transformer/GRU bloğu
        self.depth_rnn = nn.GRU(head_dim, head_dim, num_layers=2, batch_first=True)
        self.classifiers = nn.ModuleList([
            nn.Linear(head_dim, codebook_size) for _ in range(num_codebooks)
        ])

    @torch.no_grad()
    def sample_spatial_parallel(self, backbone_hidden: torch.Tensor, temperature: float = 1.0):
        """
        backbone_hidden: [Batch, Num_Unmasked_Positions, d_model]
        Tüm uzamsal pozisyonlar tek bir batch boyutunda paralel işlenir.
        """
        B, N, _ = backbone_hidden.shape
        flat_hidden = self.state_proj(backbone_hidden.view(B * N, 1, -1)) # [B*N, 1, head_dim]
        
        predicted_codes = []
        curr_input = flat_hidden
        h_state = None
        
        for k in range(self.num_codebooks):
            out, h_state = self.depth_rnn(curr_input, h_state)
            logits = self.classifiers[k](out.squeeze(1)) / max(temperature, 1e-5)
            probs = F.softmax(logits, dim=-1)
            sampled_code = torch.multinomial(probs, num_samples=1) # [B*N, 1]
            predicted_codes.append(sampled_code)
            
            if k < self.num_codebooks - 1:
                curr_input = self.code_embeddings[k](sampled_code)
                
        # [Batch, Num_Unmasked_Positions, K=8]
        return torch.stack(predicted_codes, dim=-1).view(B, N, self.num_codebooks)

3. Kararlılık-Duyarlı Örnekleme (Stability-Aware Sampling): 4.45x Çıkarım Hızlandırma

Maskeli difüzyon dil modellerinin (dLLM) üretim aşamasındaki en büyük zaafı, otoregresif modellerdeki standart KV-Cache (Anahtar-Değer Önbelleği) mekanizmasını doğrudan kullanamamalarıdır. Çünkü çift yönlü dikkat (bidirectional attention) kullanılan bir difüzyon adımında, birkaç [MASK] tokenının açılması bile dizideki diğer tüm tokenların gizli temsillerini (hidden states) değiştirir. Her difüzyon adımında tüm sekansı baştan sona yeniden hesaplamak ise yüksek çözünürlüklü görüntü üretiminde ciddi bir gecikme (latency) darboğazı yaratır.

Intern Lumina U2 makalesinin en parlak mühendislik katkılarından biri, görüntü üretimini kalite kaybı olmadan (hatta kaliteyi artırarak) 4.45 kat hızlandıran Kararlılık-Duyarlı Örnekleme (Stability-Aware Sampling) stratejisidir. Bu strateji iki temel mekanizmanın birleşiminden oluşur:

A. Güven Platosu Güdümlü Maske Açma (Confidence-Plateau-Guided Unmasking)

Standart maskeli difüzyon modellerinde her adımda kaç tokenın maskesinin açılacağı (unmasking schedule) önceden sabitlenmiş kosinüs veya doğrusal bir eğriye göre belirlenir. Ancak pratikte model bazı adımlarda görselin arka planını hızla netleştirirken (yüksek güven), karmaşık nesne sınırlarında kararsız kalır (düşük güven).
Intern Lumina U2, maskelenmiş pozisyonların tahmin olasılık dağılımındaki güven platosunu (confidence plateau) dinamik olarak izler. Güven skorları belirli bir kararlılık eşiğine (plateau) ulaştığında agresif biçimde toplu maske açma (batch unmasking) yapar; entropinin yüksek olduğu kritik yapısal adımlarda ise adımları daraltarak görsel artefaktları önler.

B. Sapma Tetiklemeli Önbellek Yenileme (Drift-Triggered Cache Refreshing)

Difüzyon adımları ilerledikçe, zaten maskesi açılmış (unmasked) veya metin isteminde (prompt) yer alan tokenların içsel temsilleri her adımda çok küçük değişimler gösterir. Model, her adımda tüm katmanların KV durumlarını sıfırdan hesaplamak yerine, ara katman aktivasyonlarındaki temsil sapmasını (representation drift) $L_2$ normu üzerinden takip eder:

$$\text{Drift}^{(t)} = \frac{| \mathbf{H}^{(t)} - \mathbf{H}^{(\text{cached})} |_2}{| \mathbf{H}^{(\text{cached})} |_2}$$

Eğer sapma değeri kritik eşik $\tau_{\text{drift}}$ altında kalırsa, dLLM omurgası önbellekteki (cached) KV projeksiyonlarını doğrudan yeniden kullanır ve yalnızca yeni açılan maske bölgelerinin yerel etkileşimlerini günceller. Sapma eşiği aşıldığında ise Tam Önbellek Yenileme (Full Cache Refresh) tetiklenir.

import torch

class StabilityAwareDiffusionSampler:
    """
    Intern Lumina U2 Kararlılık-Duyarlı Örnekleme Mekanizması:
    1. Confidence-Plateau-Guided Unmasking (Güven Platosu Güdümlü Maske Açma)
    2. Drift-Triggered Cache Refreshing (Sapma Tetiklemeli Önbellek Yenileme)
    ile 4.45x çıkarım hızlandırması sağlar.
    """
    def __init__(self, drift_threshold: float = 0.08, plateau_delta: float = 0.015):
        self.drift_threshold = drift_threshold
        self.plateau_delta = plateau_delta
        self.cached_kv = None
        self.cached_reference_state = None

    def should_refresh_cache(self, current_hidden_probe: torch.Tensor) -> bool:
        if self.cached_reference_state is None:
            return True
        # Göreli temsil sapmasını (relative representation drift) hesapla
        diff_norm = torch.norm(current_hidden_probe - self.cached_reference_state, p=2)
        ref_norm = torch.norm(self.cached_reference_state, p=2) + 1e-6
        relative_drift = (diff_norm / ref_norm).item()
        return relative_drift > self.drift_threshold

    def compute_dynamic_unmask_quota(self, confidence_scores: torch.Tensor, 
                                     base_quota: int) -> int:
        """
        Sıralı güven skorlarındaki eğimi (gradient) analiz ederek 
        güven platosundaki tüm kararlı tokenları tek adımda açar.
        """
        sorted_conf, _ = torch.sort(confidence_scores, descending=True)
        if sorted_conf.numel() <= base_quota:
            return sorted_conf.numel()
            
        # Base quota noktasından sonraki güven düşüş hızını kontrol et
        anchor_conf = sorted_conf[base_quota - 1]
        plateau_mask = (anchor_conf - sorted_conf[base_quota:]) <= self.plateau_delta
        extra_tokens = int(plateau_mask.sum().item())
        
        return min(base_quota + extra_tokens, sorted_conf.numel())

"Mimari Not: Genellikle hızlandırma algoritmaları (örneğin adım sayısını düşürmek veya agresif kuantizasyon yapmak) modelin üretim kalitesinden ödün verir. Ancak Intern Lumina U2'nin Kararlılık-Duyarlı Örnekleme mekanizması, görüntü üretimini 4.45 kat hızlandırırken aynı zamanda GenEval kıyaslamasında skoru 86.6'dan 89.3'e yükseltmiştir. Bunun nedeni, güven platosu yaklaşımının erken adımlardaki gürültülü tahminlerin sabitlenmesini (premature commitment) engellemesidir."

4. "Tek Model, Altı Görev" ve Kıyaslamalı Performans Analizi

Intern Lumina U2; AToken'ın 4D birleşik temsili sayesinde Metin Soru-Cevap (Text QA), Metinden Görüntü Üretimi (T2I), Talimat Tabanlı Görüntü Düzenleme (Image Editing), Görüntü Anlama (VQA, OCR, Grafik Analizi, Matematik), Video Anlama ve 3D Sahne/Nesne Anlama görevlerini tek bir model ağırlığı içinde birleştirir. (Not: Mevcut U2 sürümünde video ve 3D modları anlama/muhakeme odaklıdır; üretim tarafı metin ve görüntü/düzenleme üzerine yoğunlaşmıştır.)

Aşağıdaki tablo, Intern Lumina U2'nin mevcut çok modlu mimari paradigmalarla olan yapısal ve performans farklarını özetlemektedir:

Makalede paylaşılan kıyaslama sonuçlarına göre Intern Lumina U2:

• Birleşik (unified) çok modlu modeller arasında 10 temel görüntü anlama (image understanding) kıyaslamasının 6'sında 1. sırada yer almaktadır.
• Test edilen tüm video anlama kıyaslamalarında rakiplerini geride bırakarak liderliği göğüslemiştir.
• GenEval üzerinde elde ettiği 89.3 skor ile yalnızca birleşik modelleri değil, yalnızca görüntü üretimi için eğitilmiş pek çok özel (specialized) difüzyon modelini de geride bırakmaktadır.

5. Tam Yığın (Full-Stack) Mühendislik: 1.024 Ascend 910B NPU ve Çift Donanım Stratejisi

Intern Lumina U2'yi yalnızca akademik bir makale olmaktan çıkarıp jeopolitik ve endüstriyel bir mühendislik manifestosuna dönüştüren unsur, arka plandaki eğitim ve dağıtım altyapısıdır.

Model, toplam 1.05 trilyon (1.05T) token üzerinde 5 aşamalı ilerlemeli (progressive) bir müfredatla eğitilmiştir. Bu eğitimin ana yükü, 1.024 adet Huawei Ascend 910B NPU kümesi üzerinde koşturulmuştur. Seyrek MoE modellerinin çoklu kod kitaplı difüzyon eğitimi sırasında yarattığı All-to-All iletişim darboğazlarını ve dengesiz uzman yüklerini (expert load imbalance) aşmak için Ascend yazılım yığını üzerinde yapılan operatör füzyonu ve iletişim örtüştürme optimizasyonları sayesinde, bin kartlık kümede 1.85 kat eğitim verimliliği artışı elde edilmiştir.

Daha da önemlisi, Şanghay YZ Laboratuvarı Hugging Face (internlm/InternLumina-U2) ve GitHub depolarında modeli iki ayrı donanım klasörüyle yayınlamıştır:

• ascend/: Huawei Ascend NPU kümeleri üzerinde eğitilmiş ve CANN / MindSpore / Torch-NPU çalışma zamanları için optimize edilmiş ağırlıklar.
• nvidia/: NVIDIA GPU mimarisi üzerinde eğitilmiş ve standart CUDA / Triton / FlashAttention yığınlarıyla doğrudan çalışan ağırlıklar.

6. Sektör ve Sistem Mimarları İçin Kritik Çıkarımlar

1. Ayrık Çoklu-Kod Kitabı (Multi-Codebook Discrete) Standartlaşıyor: Tek kod kitaplı VQ-VAE'lerin görsel kalite sınırı aşılmıştır. Girdide gömme birleştirme (Concat + Projection), çıktıda ise derinlik-boyunca mikro-AR başlık (Depth-AR Head) kullanmak, Transformer omurgasının sekans uzunluğunu şişirmeden sürekli (continuous) modellere eşdeğer görsel çözünürlük sunmaktadır.
2. Difüzyon LLM'ler (dLLM) Otoregresif Tekeli Kırıyor: LLaDA 2.0 gibi maskeli difüzyon omurgaları, özellikle çok modlu görevlerde ve görüntü düzenlemede otoregresif modellerin tek yönlü nedensellik kısıtlamasını ortadan kaldırıyor. Sapma tetiklemeli önbellek yenileme (drift-triggered cache refreshing) sayesinde dLLM'lerin "KV-Cache kullanamama" bahanesi de tarihe karışmış durumda.
3. 1B Aktif Parametre ile Sınırda (Edge/On-Prem) Çoklu Üretim: Toplamda 16B olmasına rağmen token başına yalnızca ~1B–1.4B parametre aktive eden (16B-A1B) MoE yapısı ve 4.45x örnekleme hızlandırması; tek bir kurumsal GPU üzerinde hem OCR/doküman analizi, hem video/3D idraki, hem de yüksek kaliteli görüntü üretimi/düzenlemesi yapabilen konsolide mikroservislerin önünü açıyor.
4. Çift Yığınlı (Dual-Stack) Açık Kaynak Dönemi: Yapay zeka altyapı mimarları artık modellerini yalnızca CUDA'ya bağımlı olarak tasarlamıyor. Aynı model mimarisinin hem NVIDIA hem de Ascend NPU ağırlıklarıyla Apache 2.0 lisansı altında eşzamanlı dağıtılması, küresel bulut ve on-premise donanım tedarik stratejilerinde yeni bir esneklik standardı belirliyor.

Intern Lumina U2, çok modlu yapay zekada "anlama için ayrı bir VLM, çizim için ayrı bir Difüzyon modeli, 3D için ayrı bir nokta bulutu kodlayıcısı" kurduğumuz parçalı mimari çağın sonuna geldiğimizin en somut kanıtıdır. Tek bir sözlük, sekiz kod kitabı ve paralel difüzyon; görsel ve dilsel zekayı nihayet aynı matematiksel düzlemde buluşturuyor.