5 Saniyelik Kliplerden Uzun Metraja: Otonom Video Üretiminde Çoklu-Ajan Orkestrasyonu, ViMax ve Görsel Durum Grafları

Üretken yapay zeka ekosisteminde metinden videoya (Text-to-Video) dönüşüm modelleri, tekil klip kalitesinde fiziksel simülasyon sınırlarına dayanmış durumdadır. OpenAI Sora, Google DeepMind Veo 3, Seedance 2.0, HunyuanVideo ve Wan gibi temel difüzyon ve akış eşleştirme (flow-matching) modelleri, 5 ila 10 saniyelik izole sekanslarda yüksek çözünürlüklü, fotogerçekçi çıktılar üretebilmektedir. Ancak mühendislik problemi, bu 5 saniyelik izole parçacıklardan 10 dakikalık, çok sahneli, karakter gelişimi barındıran ve anlatı bütünlüğüne sahip bir kısa film veya dizi bölümü üretmeye çalışıldığında tamamen değişmektedir.

Mevcut difüzyon modelleri uzun zaman ufuklarına (long-horizon) zorlandığında "katastrofik anlamsal unutma" (catastrophic semantic forgetting) olarak adlandırılan yapısal bir darboğazla karşılaşır. Birinci sahnede mavi ceket giyen ve sol yanağında yara izi bulunan bir karakter, üçüncü sahnede farklı bir yüz yapısına bürünmekte; mekanın 3 boyutlu mimari geometrisi kamera açısı değiştiğinde fizik kurallarını ihlal edecek şekilde yeniden şekillenmektedir.

2026 yılı itibarıyla Hong Kong Üniversitesi Veri Bilimi Laboratuvarı (HKUDS) liderliğinde geliştirilen açık kaynaklı ViMax (arXiv:2606.07649) çerçevesi ve Google Research tarafından COLM 2026 ile EMNLP 2026 konferanslarında sunulan AI Video Co-Director (Co-Director, CANVAS, A²RD ve VQQA) mimarisi, bu darboğazın daha büyük difüzyon ağırlıklarıyla değil, çoklu-ajan orkestrasyonu (multi-agent orchestration) ve Görsel Durum Grafları (Visual State Graphs) ile çözülebileceğini kanıtlamıştır.

"Mimari Not: Uzun metrajlı tutarlı video üretimi, piksel uzayında tek seferlik (one-shot) bir otoregresif tahmin problemi değil; hiyerarşik bellek, yönlü bağımlılık grafları ve kapalı döngü kalite kontrol ajanlarının yönettiği dağıtık bir durum makinesi (State Machine) problemidir."

1. Doğrusal Boru Hatlarının Çöküşü: Kimlik Kayması ve Kredi Atama Problemi

Erken dönem çoklu-çekim (multi-shot) video üretim yaklaşımları iki temel kategoriye ayrılmaktaydı: Akış tabanlı (Streaming) uzatma modelleri ve Dikkat paylaşımı (Shared-Attention) tabanlı anahtar kare (keyframe) yaklaşımları (StoryDiffusion, ConsiStory, STAGE vb.).

Akış tabanlı modeller bir önceki klibin son karelerini bir sonraki klibin başlangıç koşulu (conditioning) olarak kullanır. Ancak bu otoregresif zincirleme, her adımda yüksek frekanslı görsel gürültünün ve kodlayıcı-kod çözücü (VAE) kayıplarının birikmesine, dolayısıyla birkaç çekim sonra görüntünün aşırı doygunluğa ulaşarak bozulmasına (visual decay) neden olur. StoryDiffusion veya ConsiStory gibi paylaşımlı öz-dikkat (self-attention) mekanizmaları ise tekil bir öznenin kimliğini koruyabilse de, görsel tutarlılığı anlatı planlamasından bağımsız, sonradan eklenen (post-hoc) bir kısıt olarak ele alır. Çoklu karakterlerin etkileşime girdiği, mekanların değiştiği ve zamansal sıçramaların yaşandığı onlarca çekimlik senaryolarda bu yöntemler ölçeklenemez.

FilmAgent ve Kubrick gibi ilk nesil çoklu-ajan sistemleri, prodüksiyon sürecini senarist, yönetmen ve görüntü yönetmeni gibi rollere bölerek film endüstrisini taklit etmeye çalışmıştır. Ancak Google Research ve HKUDS araştırmacılarının ortaya koyduğu üzere, geleneksel doğrusal ajan boru hatları (linear agentic pipelines) iki ölümcül mimari hataya yenik düşmektedir:

1. Anlamsal ve Kimliksel Kayma (Semantic & Identity Drift): Her çekim için bağımsız olarak üretilen istemler (prompts) ve izole çalışan görüntü sentezleyiciler, sahneler arasında kıyafetlerin, ışıklandırmanın, nesne durumlarının (örneğin masadaki dolu bir bardağın bir sonraki açıda boşalması) ve karakter yüzlerinin rastgele değişmesine yol açar.
2. Kümülatif Hata Yayılımı (Cascading Failures) ve Kredi Atama (Credit Assignment) Darboğazı: Doğrusal bir boru hattında üst akıştaki (upstream) bir ajanın ürettiği hatalı bir storyboard karesi veya bozuk bir referans görsel, alt akıştaki tüm video sentezleme adımlarını zehirler. Üretimin sonunda ortaya çıkan 5 dakikalık kusurlu bir videoda, hatanın senaryo ayrıştırma adımından mı, kamera açısı isteminden mi yoksa difüzyon tohumundan (seed) mı kaynaklandığını geriye dönük tespit etmek (credit assignment) imkansıza yakındır.

2. ViMax Mimarisi: Hiyerarşik RAG ve Görsel Bağımlılık Grafları

Hong Kong Üniversitesi (HKU), Güney Çin Teknoloji Üniversitesi ve Harbin Teknoloji Üniversitesi araştırmacıları tarafından geliştirilen ViMax, video üretimini monolitik bir model çağrısı olmaktan çıkarıp dört ana iş akışını (Idea2Video, Script2Video, Novel2Video ve AutoCameo) destekleyen uçtan uca bir ajan işletim sistemine dönüştürmüştür. Kısa sürede GitHub üzerinde 12.700'den fazla yıldız alan bu açık kaynaklı mimari, problemi üç ana mühendislik katmanında çözer.

A. Hiyerarşik Anlatı Motoru ve Anlamsal Sıkıştırma (RAG)

Uzun metrajlı bir hikayeyi veya yüzlerce sayfalık bir romanı (Novel2Video) doğrudan bir LLM bağlam penceresine (context window) besleyip çekim listesi istemek, modelin ortadaki detayları unutmasına (lost-in-the-middle) ve yüzeysel sahneler üretmesine yol açar. ViMax, Erişim Destekli Üretim (RAG - Retrieval-Augmented Generation) tabanlı hiyerarşik bir anlatı motoru kullanır:

• Makro-Düzey Ayrıştırma: Ham metin önce ana olay örgüsü düğümlerine (plot points), dramatik yaylara ve bölüm özetlerine ayrılır.
• Anlamsal Sıkıştırma (Semantic Compression): RAG mekanizması, orijinal metindeki kritik karakter diyaloglarını, duygusal geçişleri ve çevresel betimlemeleri vektör uzayından çekerek yapılandırılmış senaryo bloklarına dönüştürür.
• Sinematografik Çekim Tasarımı: Senarist ajanından çıkan metin, Yönetmen ve Storyboard ajanları tarafından çekim ölçeği (shot size: close-up, wide shot), kamera hareketi (pan, dolly, tilt), kompozisyon ve ritim (pacing) parametrelerini içeren deterministik veri yapılarına derlenir.

B. Görsel Durum Grafları (Visual State Graphs) ve Kamera-İçi Paralel Çıkarım

ViMax mimarisinin en kritik mühendislik yeniliği, sahneler arası görsel sürekliliği rastgele istem mühendisliğine bırakmak yerine Graf Tabanlı Görsel Bağımlılık (Graph-based Visual Dependency) mekanizmasıyla yönetmesidir.

Sistem, hikayenin zaman çizelgesi boyunca var olan her karakteri, önemli nesneyi ve çevresel durumu yönlü bir durum grafında ($G = (V, E)$) düğümler ve kenarlar olarak modeller:

• Varlık ve Durum İzleme: Bir karakterin kıyafeti 3. sahnede yağmurdan ıslandıysa veya bir aksiyon sahnesinde ceketini çıkardıysa, graf üzerindeki karakter durum düğümü güncellenir. 4. sahnenin ilk karesi (first-frame) üretilirken, ajan doğrusal olarak bir önceki kareye değil, graf üzerindeki aktif bağımlılık düğümüne başvurarak doğru referans görüntüyü seçer.
• Çok Kameralı Çekim Simülasyonu (Camera Graph): Profesyonel film setlerinde aynı sahne içindeki diyaloglar farklı kamera açılarından (A kamerası, B kamerası, genel plan) çekilir. ViMax, aynı sahne içindeki çekimleri bir Kamera Grafı altında gruplar. Aynı kamera düğümüne (aynı arka plan ve ışıklandırma açısına) bağlı olan ardışık olmayan çekimler tespit edilerek, bu çekimlerin ilk kareleri ve video segmentleri yüksek verimli paralel çıkarım (high-efficiency parallel shot generation) ile aynı anda hesaplanır. Bu yaklaşım, dakikalar süren videoların üretim süresini doğrusal ($O(N)$) olmaktan çıkarıp graf derinliğine indirger.
• Geçiş Videolarıyla Uzamsal Uyum (Spatial Coherence via Transition Videos): Kamera açısı keskin bir şekilde değiştiğinde 3B mekan geometrisinin bozulmasını önlemek için ViMax, iki farklı kamera düğümü arasında ara geçiş videoları (transition videos) sentezleyerek uzamsal sürekliliği garanti altına alır.

C. VLM-Güdümlü "Best-of-K" Kalite Kontrol Kapısı

En gelişmiş görüntü üreticiler bile doğru referans görsel ve istem verildiğinde zaman zaman anatomik olarak bozuk veya referanstan sapmış kareler üretebilir. ViMax, her çekimin açılış karesi için paralel olarak $K$ adet aday görüntü üretir. Ardından Çok Modlu Büyük Dil Modeli (MLLM / VLM) tabanlı bir Kalite Kontrol Ajanı (Quality Gate) devreye girer. Bu ajan, üretilen $K$ adayı iki boyutta puanlar:

1. Referans Uyumu ($\text{Score}_{\text{ref}}$): Karakter yüzü, kıyafeti ve mekan geometrisi bağımlılık grafındaki referans düğümle eşleşiyor mu?
2. İstem Uyumu ($\text{Score}_{\text{prompt}}$): Sahnedeki eylem ve kamera açısı senaryo direktifini karşılıyor mu?

En yüksek bileşik skoru alan kare, video difüzyon modelinin başlangıç karesi olarak kilitlenir; hiçbir aday eşik değeri (threshold) geçemezse ajan istemi revize ederek döngüyü yeniden tetikler.

from dataclasses import dataclass, field
from typing import List, Dict, Optional
import asyncio

@dataclass
class VisualStateNode:
    entity_id: str
    entity_type: str  # "character", "environment", "prop"
    attributes: Dict[str, str]
    reference_image_uri: str
    last_updated_shot: int

@dataclass
class ShotSpec:
    shot_id: int
    scene_id: str
    camera_node_id: str
    prompt: str
    required_entities: List[str]
    selected_first_frame: Optional[str] = None

class VisualDependencyGraph:
    """
    ViMax tarzı bağımlılık duyarlı görsel durum grafı.
    Karakter ve çevre durumlarını zamansal sınırlar boyunca takip eder.
    """
    def __init__(self):
        self.nodes: Dict[str, VisualStateNode] = {}
        self.camera_clusters: Dict[str, List[ShotSpec]] = {}

    def update_entity_state(self, node: VisualStateNode) -> None:
        self.nodes[node.entity_id] = node

    def resolve_references_for_shot(self, shot: ShotSpec) -> List[str]:
        return [
            self.nodes[ent_id].reference_image_uri
            for ent_id in shot.required_entities
            if ent_id in self.nodes
        ]

    def register_shot_to_camera_graph(self, shot: ShotSpec) -> None:
        if shot.camera_node_id not in self.camera_clusters:
            self.camera_clusters[shot.camera_node_id] = []
        self.camera_clusters[shot.camera_node_id].append(shot)

class VLMQualityGateAgent:
    """
    Üretilen K aday ilk kareyi (first-frame) referans ve istem uyumuna göre filtreler.
    """
    def __init__(self, threshold: float = 0.85):
        self.threshold = threshold

    async def evaluate_candidates(
        self, candidates: List[str], ref_uris: List[str], prompt: str
    ) -> Optional[str]:
        best_candidate = None
        best_score = -1.0

        for candidate_uri in candidates:
            # Simüle edilmiş VLM çapraz dikkat puanlaması (Reference & Prompt Alignment)
            ref_alignment = await self._score_reference_fidelity(candidate_uri, ref_uris)
            prompt_alignment = await self._score_prompt_adherence(candidate_uri,psc=prompt)
            composite_score = (0.6 * ref_alignment) + (0.4 * prompt_alignment)

            if composite_score > best_score:
                best_score = composite_score
                best_candidate = candidate_uri

        return best_candidate if best_score >= self.threshold else None

    async def _score_reference_fidelity(self, candidate: str, refs: List[str]) -> float:
        await asyncio.sleep(0.01)
        return 0.91  # Örnek VLM kimlik tutarlılığı skoru

    async def _score_prompt_adherence(self, candidate: str, psc: str) -> float:
        await asyncio.sleep(0.01)
        return 0.88  # Örnek VLM sinematografik uyum skoru

3. Google Research "AI Video Co-Director" ile Mimari Kıyaslama

ViMax açık kaynak dünyasında ajan tabanlı video üretimini standartlaştırırken, Google Research de doğrusal boru hatlarındaki kimlik kaymasını ve kümülatif hataları çözmek adına dört tamamlayıcı ajan çerçevesinden oluşan AI Video Co-Director mimarisini yayınlamıştır. İki sistemin problemi ele alış biçimi, modern ajan mühendisliğinin ulaştığı noktayı göstermektedir:

Google Yaklaşımındaki Kritik Farklar: Bandit Arama ve CANVAS

Google Research, uzun metrajlı video üretimini doğrusal bir iş akışı yerine bir global optimizasyon problemi olarak formüle etmiştir:

• Co-Director ve Multi-Armed Bandit (MAB): Üst düzey Orkestratör Ajan; Yaratıcı Strateji (Creative Strategy), Anlatı Modu (Narrative Mode) ve Estetik Arketip (Aesthetic Archetype) eksenlerinde farklı konfigürasyonları test etmek için Çok Kollu Haydut algoritması kullanır. Alt ajanlar (Pre-Production, Keyframe, Video, Audio) çıktıyı ürettikten sonra bir MLLM Hakemi (Judge) son kurguyu puanlar ve haydut algoritmasına çarpanlarına ayrılmış bir ödül sinyali (factored reward) gönderir. Bu sayede sistem, kümülatif hataya yol açan dalı erkenden budayarak (pruning) en tutarlı anlatı yoluna yakınsar.
• CANVAS ile Durum Kurtarma: Google'ın gerçekleştirdiği "müze soygunu" (museum heist) kıyaslama testinde, standart ajan çerçeveleri (ör. AutoStudio) sahneler ilerledikçe hırsızın şapkasını kaybetmiş, tekil Gemini-3.1-Pro tabanlı boru hatları ise çalınan değerli taşın rengini ve şeklini değiştirmiştir. CANVAS, nesne durumlarını kalıcı bir görsel bellekte tutarak bir sahneye dakikalar sonra geri dönüldüğünde dahi orijinal görsel çapaları (visual anchors) geri çağırmış ve 81.4 genel kalite skoruyla kimlik kaymasını sıfıra indirgemiştir.
• A²RD (Agentic Autoregressive Diffusion): Her video segmentini üretirken çok modlu bir video belleğine karşı dört adımlı bir döngü (Eriş → Sentezle → İyileştir → Güncelle) çalıştırır. Herhangi bir model ince ayarı (fine-tuning) gerektirmeden, 1 dakikadan 10 dakikaya kadar uzanan kesintisiz anlatı videoları üretebilmektedir.

"Mimari Not: Ekim 2026'da yayımlanan VIS-Ground araştırmasının da doğruladığı üzere, görsel üretimde bir nesne transferi unutulduğunda veya kalıcı bir öznitelik değiştiğinde, hatayı piksel uzayında düzeltmeye çalışmak yerine görsel kanıtı çıktı-seviyesi geri bildirime (output-level feedback) dönüştürüp planlayıcı ajanın senaryo bağımlılıklarını onarmasını sağlamak en yüksek determinizmi sunmaktadır."

4. Tek Seferlik Komutlardan Durum Makinelerine: Oturum Yönetimi ve Mühendislik Çıkarımları

ViMax projesinin v1.2.0 sürümüyle birlikte geçirdiği evrim, yapay zeka mühendisliği açısından önemli bir mimari dersi barındırmaktadır. İlk sürümlerde "senaryoyu yaz ve bitene kadar çalıştır" (run-to-completion) şeklinde tasarlanan tek seferlik (one-shot) boru hattı, gerçek dünya prodüksiyonlarında yüksek API maliyetleri ve tek bir hatalı sahne yüzünden tüm sürecin baştan başlatılması sorunuyla karşılaşmıştır.

Bunun üzerine sisteme entegre edilen Agents Loop + TUI / Web UI mimarisi, video üretimini aşamalı, kesilebilir (interruptible) ve kontrol noktalarından devam ettirilebilir (resumable) bir Sonlu Durum Makinesi (FSM - Finite State Machine) modeline dönüştürmüştür:

// Otonom Video Üretim Hattında Durum Makinesi (FSM) ve Kontrol Noktası (Checkpoint) Şeması
type ProductionStage = 
  | "NARRATIVE_DECOMPOSITION"
  | "CHARACTER_ANCHORING"
  | "DEPENDENCY_GRAPH_BUILD"
  | "KEYFRAME_VLM_GATE"
  | "PARALLEL_VIDEO_RENDER"
  | "TRANSITION_SYNTHESIS";

interface RenderCheckpoint {
  sessionId: string;
  stage: ProductionStage;
  completedShots: number[];
  visualStateGraphSnapshot: Record<string, { refUri: string; stateHash: string }>;
  contextCompactionSummary: string;
}

class AgenticVideoOrchestrator {
  private checkpoint: RenderCheckpoint;

  constructor(initialCheckpoint: RenderCheckpoint) {
    this.checkpoint = initialCheckpoint;
  }

  public async resumeFromCheckpoint(): Promise<void> {
    console.log(`[Session: ${this.checkpoint.sessionId}] Durum geri yükleniyor: ${this.checkpoint.stage}`);
    
    // Bağlam sıkıştırma (Context Compaction) ile uzun ajan geçmişini özetle
    const activeContext = this.compactAgentHistory(this.checkpoint.contextCompactionSummary);
    
    if (this.checkpoint.stage === "KEYFRAME_VLM_GATE") {
      await this.executeVlmGatedRendering(activeContext);
    }
  }

  private compactAgentHistory(summary: string): string {
    // Uzun süreli ajan müzakerelerinde token şişmesini önleyen anlamsal özetleme
    return `[COMPACTED_STATE]: ${summary} | GraphNodes: ${Object.keys(this.checkpoint.visualStateGraphSnapshot).length}`;
  }

  private async executeVlmGatedRendering(context: string): Promise<void> {
    // Sadece tamamlanmamış veya VLM kapısından dönmüş çekimleri yeniden çalıştır
    console.log(`Bağlam aktif: ${context}. Paralel kamera düğümü çıkarımı başlatılıyor...`);
  }
}

Yazılım Mimarları ve AI Mühendisleri İçin 4 Stratejik Çıkarım

1. Olasılıksal Modelleri Deterministik Graflarla Sarmalayın: Difüzyon ve LLM modelleri doğaları gereği stokastiktir (olasılıksal). Uzun ufuklu (long-horizon) görevlerde tutarlılık sağlamak için modelin kendi içsel dikkat (attention) belleğine güvenmek yerine, varlık durumlarını modelin dışında açık bir Görsel Durum Grafı (Visual State Graph) veya CANVAS benzeri yapılandırılmış bir vektör/ilişkisel bellekte tutmak zorunludur.
2. Üretim ve Doğrulama Katmanlarını Ayrıştırın (Generator-Verifier Decoupling): ViMax'in Best-of-K VLM kalite kapısı ve Google'ın VQQA / MLLM Hakemi yaklaşımı, hiçbir üretken ajan çıktısının doğrulanmadan bir sonraki aşamaya geçmemesi gerektiğini gösterir. Üretim maliyeti yüksek olan video difüzyon aşamasına geçmeden önce, çok daha ucuz olan ilk kare (keyframe) aşamasında VLM filtrelemesi yapmak, hesaplama bütçesini (compute budget) %70'e varan oranda korumaktadır.
3. Bağlam Sıkıştırma (Context Compaction) ve Durum Kontrol Noktaları (Checkpointing): Onlarca çekim süren bir çoklu-ajan müzakeresinde ajanların birbirleriyle olan iletişim geçmişi hızla bağlam penceresini doldurur ve maliyeti katlar. ViMax'in Haziran-Temmuz 2026 güncellemelerinde devreye aldığı bağlam sıkıştırma (context compaction) ve kalıcı render kontrol noktaları (persistent render checkpoints), uzun süreli çalışan tüm otonom ajan sistemleri için zorunlu bir tasarım desenidir.
4. Sorumluluğun Yukarı Taşınması: Geleneksel AI araçlarında sahneler arası karakter tutarlılığını sağlamak, LoRA eğitmek veya referans kareleri elle hizalamak kullanıcının (insanın) sorumluluğundaydı. Çoklu-ajan orkestrasyonu, bu mühendislik yükünü tamamen soyutlayarak "kullanıcı ince ayarı" katmanından "ajan garantisi" katmanına taşımıştır.

Sonuç olarak; 5 saniyelik kopuk kliplerden 10 dakikalık sinematik anlatılara geçiş, tek bir devasa modelin zaferi değil; senaryoyu ayrıştıran RAG motorlarının, uzamsal sürekliliği koruyan görsel bağımlılık graflarının ve hataları erkenden budayan değerlendirici ajanların ortak zaferidir. Otonom medya üretimi, artık istem mühendisliğinin (prompt engineering) ötesine geçerek tam teşekküllü bir dağıtık sistem mimarisi disiplinine dönüşmüştür.