NVIDIA’dan Cerrahi Dünya Modeli Cosmos3-H-Dreams (160 FPS FlashDreams) ve $4.999’lık DGX Spark (GB10) Mimarisi

Fiziksel Yapay Zeka (Physical AI) Ekosisteminde Çift Yönlü Kırılma: Cerrahi Dünya Modelleri ve Masaüstü Süper Bilgisayarlar

Yapay zeka mimarisi, salt metin veya statik görüntü üreten modellerden 3 boyutlu uzayı, akışkan/yumuşak doku fiziğini ve robotik aktüatör komutlarını nedensel (causal) olarak simüle edebilen Dünya Vakıf Modellerine (World Foundation Models — WFM) doğru hızla evrilmektedir. Ancak otonom cerrahi robotik veya endüstriyel manipülasyon gibi yüksek hassasiyet gerektiren alanlarda iki büyük mühendislik engeli bulunmaktadır:

1. Gerçek Zamanlı Yumuşak Doku Simülasyonu Darboğazı: Geleneksel sonlu elemanlar yöntemi (Finite Element Method — FEM) tabanlı fizik motorları, kanama, doku kesisi ve elastik organ deformasyonunu fotogerçekçi düzeyde simüle etmekte yetersiz kalırken; çevrimdışı video difüzyon modelleri ise tek bir saniyelik videoyu üretmek için onlarca saniye harcadığından kapalı döngü (closed-loop) gerçek zamanlı kontrol sunamamaktadır.
2. Yerel Hesaplama ve Bellek Erişilebilirliği: Çok modlu dünya modellerini ve yerel otonom ajanları veri mahremiyetini koruyarak kurum içinde çalıştırmak, bugüne kadar yalnızca yüz binlerce dolarlık veri merkezi sunucularıyla mümkündü.

NVIDIA, bu iki engeli eşzamanlı olarak hedefleyen iki stratejik mimariyi devreye almıştır: Eylem koşullu (action-conditioned) gerçek zamanlı cerrahi dünya modeli Cosmos3-H-Dreams (Cosmos-H-Dreams) ve GB10 Grace Blackwell Superchip tabanlı, $4.999 başlangıç fiyatlı (64 GB birleşik bellekli) NVIDIA DGX Spark masaüstü süper bilgisayarı.

1. NVIDIA Cosmos3-H-Dreams: Self-Forcing Damıtımı ve FlashDreams ile 160 FPS Cerrahi Dünya Modeli

Cosmos3-H-Dreams (literatürde ve açık ağırlık depolarında Cosmos-H-Dreams ve temel modeli Cosmos-H-Surgical-Simulator olarak da anılır), NVIDIA’nın Cosmos dünya modeli çerçevesi (Cosmos-Predict2.5 / Cosmos 3 omurgası) üzerine inşa edilmiş, cerrahi robotik için özel olarak eğitilmiş üretken bir fizik ve görsel simülasyon motorudur.

A. Open-H-Embodiment Veri Kümesi ve Eylem Koşullu (Action-Conditioned) Üretim

Modelin temel ağırlıkları, çok kurumlu ve çok robotlu açık tıp girişimi olan Open-H-Embodiment veri kümesiyle (yüzlerce saatlik senkronize endoskopik/laparoskopik cerrahi video ve robot kinematiği) ısıtılarak (warm-started) eğitilmiştir. Veri kümesi; da Vinci Research Kit (dVRK) ve CMR Surgical Versius gibi cerrahi robotik platformlardan alınan kolesistektomi (safra kesesi ameliyatı) ve doku manipülasyonu kayıtlarını kapsar.

Sistem, pasif metinden-videoya (text-to-video) üretimin ötesine geçerek eylem koşullu (action-conditioned) çalışır:

• Girdi: Cerrahi sahnenin başlangıç bağlam karesi ($I_0$) ve her zaman adımında ($t$) robot kollarının uç efektör (end-effector) 3B konum/yönelim değişimleri ($\Delta x, \Delta y, \Delta z, \Delta roll, \Delta pitch, \Delta yaw$) ile kıskaç açıklık durumunu ($g_t$) içeren sürekli eylem vektörü $a_t$.
• Çıktı: Cerrahi aletlerin dokuya temas ettiğinde oluşturduğu gerilimi, deformasyonu, speküler yansımaları ve kamera hareketini fiziksel tutarlılıkla yansıtan bir sonraki video karesi ($\hat{I}_{t+1}$).

B. Çift Yönlü Öğretmenden Nedensel Öğrenciye: Self Forcing Damıtımı

Standart video difüzyon modelleri gelecekteki karelere de bakan çift yönlü (bidirectional) dikkat mekanizmaları kullanır ve her kare için 30–50 gürültü giderme (denoising) adımı gerektirir. Canlı bir simülatörde ise gelecek henüz gerçekleşmemiştir; model yalnızca geçmiş karelere ve anlık kullanıcı komutuna bakarak (nedensel / causal otoregresif) milisaniyeler içinde yanıt vermelidir.

Ancak otoregresif video modellerinde en kritik sorun, her yeni karenin bir önceki üretilen kareye dayanması nedeniyle oluşan hata birikimi (error accumulation / autoregressive drift) problemidir: Birkaç saniye sonra doku dokuları bulanıklaşır veya cerrahi aletler deforme olur. NVIDIA araştırmacıları bu sorunu Self Forcing damıtım tekniğiyle çözmüştür:

1. Öğretmen Model (Cosmos-H-Surgical-Simulator): Çift yönlü, yüksek kapasiteli çevrimdışı difüzyon modeli fiziksel olarak en doğru referans dağılımını temsil eder.
2. Self-Forcing Öğrenci Eğitimi (Cosmos3-H-Dreams): Nedensel (causal) öğrenci model, eğitim sırasında gerçek (ground-truth) geçmiş kareler yerine bizzat kendi ürettiği kusurlu geçmiş kareler (self-conditioned rollouts) üzerinden ileri sarılır. Böylece öğrenci model, uzun süreli simülasyonlarda kendi küçük dağılım sapmalarını anında telafi etmeyi öğrenir ve dakikalar süren kesintisiz doku etkileşimlerinde bile görsel kararlılığı korur.

C. FlashDreams Çıkarım Motoru (~160 FPS) ve Kontrolcü Bağımsız Mimari

Damıtılmış nedensel modelin gerçek zamanlı sınırını aşmak için NVIDIA, FlashDreams adlı yüksek performanslı akış çıkarım (streaming inference) kütüphanesini geliştirmiştir. FlashDreams:

• Akışkan KV-Cache (Streaming KV Caching): Geçmiş karelerin anahtar-değer (KV) tensörlerini yeniden hesaplamak yerine kayan bir halka tamponda (ring buffer) günceller.
• CUDA Graphs & Model Derleme: Python/CPU başlatma ek yükünü (kernel launch overhead) sıfırlayarak tüm gürültü giderme adımlarını tek bir derlenmiş CUDA grafiği olarak yürütür.
• Performans: Tek bir iş istasyonu GPU'su (ör. NVIDIA RTX PRO 6000 Blackwell) üzerinde ~160 çıkarım FPS (inference FPS) hızına ulaşarak insan algısının gerektirdiği gerçek zamanlılık eşiğini fazlasıyla aşar.

import numpy as np
from dataclasses import dataclass

@dataclass
class SurgicalActionVector:
    """6-DoF çift kol uç efektör kinematiği ve kıskaç (gripper) durum vektörü."""
    left_arm_delta_pose: tuple[float, float, float, float, float, float]   # dx, dy, dz, droll, dpitch, dyaw
    right_arm_delta_pose: tuple[float, float, float, float, float, float]
    left_gripper_aperture: float   # 0.0 (kapalı) -> 1.0 (tam açık)
    right_gripper_aperture: float

class FlashDreamsSurgicalSession:
    """Cosmos3-H-Dreams kapalı döngü (closed-loop) akışkan KV-Cache simülasyon sarmalayıcısı."""

    def __init__(self, checkpoint_path: str, max_kv_frames: int = 16):
        self.checkpoint_path = checkpoint_path
        self.max_kv_frames = max_kv_frames
        self.streaming_kv_cache = []
        self.step_count = 0

    def initialize_scene(self, initial_endoscope_frame: np.ndarray) -> None:
        """Başlangıç endoskopik cerrahi karesini kodlar ve akışkan KV önbelleğini başlatır."""
        self.streaming_kv_cache = [{"frame_idx": 0, "latent_shape": initial_endoscope_frame.shape}]
        self.step_count = 0

    def step_realtime(self, action: SurgicalActionVector) -> dict:
        """Self-Forcing nedensel öğrenci modeliyle tek adımda (~6.25 ms / 160 FPS) yeni kare üretir."""
        self.step_count += 1
        action_tensor = np.array(
            list(action.left_arm_delta_pose)
            + [action.left_gripper_aperture]
            + list(action.right_arm_delta_pose)
            + [action.right_gripper_aperture],
            dtype=np.float32,
        )

        # Kayan pencere KV-Cache yönetimi (Streaming KV Ring Buffer)
        if len(self.streaming_kv_cache) >= self.max_kv_frames:
            self.streaming_kv_cache.pop(0)
        self.streaming_kv_cache.append({"frame_idx": self.step_count, "action_norm": float(np.linalg.norm(action_tensor))})

        return {
            "step": self.step_count,
            "kv_window_size": len(self.streaming_kv_cache),
            "target_latency_ms": 6.25,  # ~160 FPS FlashDreams hedefi
            "status": "CAUSAL_ROLLOUT_STABLE",
        }

Model kontrolcüden bağımsız (controller-agnostic) tasarlandığı için; WebRTC üzerinden standart tarayıcı klavyesiyle, WebXR üzerinden Meta Quest karma gerçeklik başlıklarıyla, CMR Surgical Versius gibi ticari cerrahi robot konsollarıyla veya otonom Pekiştirmeli Öğrenme (RL) / Görsel-Dil-Eylem (VLA) politikalarıyla kapalı döngüde sürülebilmektedir. (Not: NVIDIA, Cosmos3-H-Dreams'in sentetik veri üretimi, cerrahi eğitim ve robotik politika değerlendirmesi amaçlı bir araştırma simülatörü olduğunu; klinik tanı veya canlı hasta operasyonları için tıbbi cihaz onayı taşımadığını açıkça belirtmektedir.)

2. $4.999’lık NVIDIA DGX Spark (64 GB) ve GB10 Grace Blackwell Süperçip Mimarisi

Cosmos gibi dünya modellerini yerel olarak ince ayarlamak (fine-tune), robotik simülasyon politikalarını test etmek veya 30B–70B parametreli otonom ajanları masaüstünde koşturmak yüksek bellek bant genişliği ve birleşik VRAM gerektirir. NVIDIA’nın GB10 Grace Blackwell Superchip mimarisi üzerine kurduğu DGX Spark masaüstü süper bilgisayarı, 64 GB LPDDR5x birleşik sistem belleğine sahip $4.999’lık giriş konfigürasyonuyla (128 GB seçeneğinin yanında Acer, ASUS, Dell, Gigabyte, HP ve MSI gibi OEM iş ortaklarıyla birlikte) yerel yapay zeka geliştirme maliyetini radikal biçimde aşağı çekmektedir.

GB10 Grace Blackwell Süperçipinin Mühendislik Anatomisi

1. Heterojen CPU + GPU Birleşimi (NVLink-C2C): GB10 yongası; 20 çekirdekli Arm mimarili Grace CPU (10 adet yüksek performanslı Cortex-X925 + 10 adet verimlilik odaklı Cortex-A725 çekirdeği) ile 5. Nesil Tensor Çekirdekleri ve 4. Nesil RT Çekirdekleri barındıran Blackwell GPU’yu aynı paket içinde NVIDIA NVLink-C2C (Chip-to-Chip) tutarlı ara bağlantısıyla birleştirir. PCIe darboğazı ortadan kalktığı için CPU ve GPU aynı fiziksel bellek havuzuna doğrudan erişir.
2. 1 PetaFLOP (1.000 AI TOPS) FP4 Performansı: Blackwell mimarisinin donanım destekli ikinci nesil Transformer Motoru ve FP4 (4-bit kayan nokta) seyrek (sparse) tensör hızlandırması sayesinde DGX Spark, yalnızca 140W SoC TDP (toplam 240W güç adaptörü) zarfı içinde 1 PetaFLOP yapay zeka işlem gücüne ulaşır.
3. 64 GB ve 128 GB Birleşik LPDDR5x Bellek: Standart masaüstü ekran kartlarındaki 16 GB – 24 GB VRAM tavanı, 64 GB ($4.999) ve 128 GB tutarlı birleşik sistem belleğiyle aşılır. Bu sayede Cosmos3-H-Dreams gibi video dünya modelleri veya Muse Glimmer 30B / Llama 70B sınıfı çok modlu ajanlar bellek taşması olmadan tek bir kutuda çalıştırılabilir.
4. Yerleşik ConnectX-7 SmartNIC ile Çok Düğümlü Kümeleme: Yalnızca 150 x 150 x 50,5 mm boyutlarında ve 1,2 kg ağırlığında olan DGX Spark, üzerinde kurumsal sınıf NVIDIA ConnectX-7 SmartNIC (yüksek hızlı RDMA ağ arayüzü) barındırır. İki DGX Spark ünitesi doğrudan birbirine bağlanarak 128 GB veya 256 GB birleşik bellekli tek bir yerel çıkarım/ince ayar kümesi olarak ölçeklenebilir.

3. Mimari Karşılaştırma Matrisi: Fiziksel Yapay Zeka Yazılım ve Donanım Katmanları

Mimari Değerlendirme

NVIDIA’nın Cosmos3-H-Dreams ve $4.999’lık 64 GB DGX Spark hamleleri bir arada okunduğunda net bir mühendislik stratejisi ortaya çıkmaktadır: Self Forcing damıtımı ve FlashDreams akış motoru, karmaşık cerrahi doku fiziğini 160 FPS hızında gerçek zamanlı bir yazılım simülatörüne dönüştürürken; GB10 Grace Blackwell süperçipi ise 1 PetaFLOP FP4 gücünü ve 64/128 GB birleşik belleği her araştırma laboratuvarının ve yazılım ekibinin masasına indirmektedir. Bu sinerji, otonom robotik politikaların ve yerel yapay zeka ajanlarının eğitim döngüsünü aylardan saatlere indiren yeni bir fiziksel yapay zeka standardı oluşturmaktadır.