Google AI Studio ‘gemini-3.1-flash-live-preview’ Mimarisi: Doğal Ses-Ses (Audio-to-Audio) İşleme, BidiGenerateContent WebSocket Protokolü ve Çok Modlu Gerçek Zamanlı Ajanlar

Ses tabanlı yapay zeka asistanlarının inşasında yıllardır süregelen en büyük mühendislik darboğazı, sistemlerin "konuşmayı" değil, "metne dönüştürülmüş ses dökümlerini" işlemesiydi. Geleneksel mimarilerde kullanıcının sesi önce bir Konuşmadan Metne (STT - Speech-to-Text) modelinden geçer, ardından Büyük Dil Modeli (LLM) üzerinde metin olarak işlenir ve son aşamada Metinden Konuşmaya (TTS - Text-to-Speech) motoruyla tekrar sese dönüştürülür. Bu üç aşamalı ardışık boru hattı (pipeline), yalnızca milisaniyelerin kritik olduğu diyaloglarda kümülatif gecikmelere (latency) yol açmakla kalmaz; aynı zamanda sesin içerdiği tonlama, vurgu, konuşma hızı (pace), tereddüt ve duygusal nüans gibi akustik verilerin metinleştirme aşamasında tamamen kaybolmasına neden olur.

Google DeepMind ve Google AI Studio ekiplerinin Gemini Live API üzerinden kullanıma sunduğu gemini-3.1-flash-live-preview modeli, bu ardışık zinciri tekil bir uçtan uca Ses-Ses (Audio-to-Audio / A2A) mimarisinde birleştiriyor. 131.072 token giriş bağlamı, 65.536 token çıkış kapasitesi, 90'dan fazla dilde doğal konuşma desteği ve gerçek zamanlı video/ekran paylaşımı çerçevelerini (frame) eşzamanlı işleyebilen çok modlu (multimodal) yapısıyla bu model, ses öncelikli (voice-first) ajan sistemlerinde yeni bir mimari standart belirliyor.

1. Geleneksel Boru Hatlarından Doğal Ses-Ses (Native Audio-to-Audio) Mimarisine Geçiş

Klasik kaskad (cascaded) sesli asistan mimarilerinde her bir alt sistem kendi hata payını ve gecikme yükünü bir sonraki katmana devreder. Örneğin, gürültülü bir ortamda STT katmanının yanlış transkripsiyon üretmesi, LLM katmanının tamamen hatalı bir bağlamda akıl yürütmesine yol açar. Ayrıca kullanıcı konuşurken araya girdiğinde (barge-in / interruption), TTS akışını kesmek ve STT tamponunu (buffer) temizlemek için karmaşık durum makineleri (state machines) kurgulamak gerekir.

gemini-3.1-flash-live-preview, ses dalgalarını ara bir metin temsiline indirgemeden doğrudan modelin gizli uzayında (latent space) akustik tokenlar olarak işler. Bu yaklaşımın sağladığı üç temel mühendislik avantajı şunlardır:

1. Akustik Nüansların ve Prozodinin Korunumu: Model; ses perdesi (pitch), tempo (pace) ve vurgu değişimlerini doğrudan algılar. Kullanıcının sesindeki aciliyet, alaycılık veya kararsızlık gibi alt metinler doğrudan çıkarım sürecine dahil edilir ve üretilen sesli yanıtın prozodisi (konuşma melodisi) bu bağlama göre dinamik olarak sentezlenir.
2. Çevresel Gürültü İzolasyonu ve Akustik Ayırt Etme: Önceki nesil gemini-2.5-flash-native-audio-preview-12-2025 modeliyle kıyaslandığında, 3.1 Flash Live mimarisi trafik sesi, televizyon uğultusu veya ofis gürültüsü gibi arka plan seslerini birincil konuşmacıdan ayırt etme konusunda derinleştirilmiş bir dikkat (attention) mekanizmasına sahiptir. Bu sayede gerçek dünya koşullarında yanlış tetiklemeler (false positives) minimize edilir.
3. Doğal Söz Kesme (Barge-in) ve VAD Entegrasyonu: Sunucu tarafında yerleşik çalışan Ses Aktivitesi Algılama (VAD - Voice Activity Detection) mekanizması, diyaloğun sırasını (turn-taking) otomatik yönetir. Kullanıcı model konuşurken araya girdiğinde, model anında ses üretimini keser, tampon belleği günceller ve yeni girdiye odaklanır. İstenildiği takdirde bas-konuş (push-to-talk) senaryoları için activityStart ve activityEnd sinyalleriyle manuel kontrol de sağlanabilir.

Mimari Not: gemini-3.1-flash-live-preview tarafından üretilen tüm ses çıktıları, yapay zeka kaynaklı dezenformasyonun önüne geçmek ve içerik doğrulamasını standartlaştırmak amacıyla Google DeepMind'ın SynthID teknolojisiyle duyulamaz bir kriptografik filigranla (watermark) işaretlenmektedir.

2. Protokol Anatomisi: Durum Bilgili (Stateful) WebSocket ve BidiGenerateContent

Standart REST tabanlı LLM çağrıları (HTTP POST / SSE) durumsuzdur (stateless) ve her istekte tüm geçmiş bağlamın yeniden gönderilmesini gerektirir. Gerçek zamanlı ses ve görüntü akışında bu yöntem bant genişliği ve serileştirme maliyeti açısından sürdürülemezdir. Google AI Studio, gemini-3.1-flash-live-preview modelini BidiGenerateContent protokolü üzerinden çalışan kalıcı ve durum bilgili (stateful) bir WebSocket (WSS) oturumu olarak sunar.

Medya Kodlama ve Akış Spesifikasyonları

Veri hattının en düşük gecikmeyle çalışabilmesi için giriş ve çıkış akışları ham (raw) PCM formatları üzerinden optimize edilmiştir:

• Ses Girişi (Audio Input): 16-bit PCM, Little-Endian, mono kanal, 16 kHz örnekleme hızı (Sample Rate). Tarayıcı tarafında AudioContext ile yakalanan 32-bit kayan noktalı (Float32) ses dizilerinin WebSocket'e yazılmadan önce Int16 PCM formatına dönüştürülmesi gerekir.
• Ses Çıkışı (Audio Output): Modelden dönen ses paketleri 24 kHz PCM formatında akıtılır (streamed) ve eşzamanlı olarak metin dökümleriyle (transcripts) desteklenebilir.
• Görüntü ve Ekran Paylaşımı (Vision / Screen Share): WebSocket hattı üzerinden sesle eşzamanlı olarak saniyede maksimum 1 kare (≤ 1 FPS) hızında JPEG veya PNG çerçeveleri gönderilebilir. Bu özellik, modelin kullanıcının kamerasını veya paylaştığı uygulama ekranını "görerek" canlı teknik destek, kod incelemesi veya sunum analizi yapmasına olanak tanır.

Oturum Sınırları ve Token Ekonomisi

Kalıcı WebSocket bağlantılarında kaynak yönetimi kritik bir tasarım parametresidir. Yalnızca ses içeren oturumlar tek seferde 15 dakika, ses ve videonun birlikte aktığı oturumlar ise 2 dakika boyunca kesintisiz açık kalabilir. Daha uzun süreli diyaloglar için protokol düzeyinde Oturum Sürdürme (Session Resumption) ve Bağlam Sıkıştırma (Context Compression) mekanizmaları kullanılarak durum bilgisi (state) yeni bağlantıya aktarılır.

Görüntü akışı sırasında varsayılan TURN_INCLUDES_AUDIO_ACTIVITY_AND_ALL_VIDEO yapılandırması, bir diyalog sırası (turn) içindeki tüm video karelerini faturalandırır. Maliyet optimizasyonu açısından mühendislik ekiplerinin video karelerini yalnızca kullanıcı aktif olarak konuşurken gönderecek şekilde istemci mantığını kurgulaması önerilir.

3. Gemini 2.5'ten 3.1'e Mimari Evrim: thinkingLevel ve Senkron Araç Çağrımı

gemini-2.5-flash-native-audio-preview-12-2025 sürümünden gemini-3.1-flash-live-preview modeline geçiş, API kontratında ve içsel akıl yürütme (reasoning) mimarisinde önemli değişiklikler barındırır.

thinkingBudget Yerine thinkingLevel Kontrolü

Önceki nesilde modelin yanıt üretmeden önce harcayacağı içsel düşünme kapasitesi sayısal bir token bütçesiyle (thinkingBudget) belirlenirken, Gemini 3.1 mimarisinde bu yapı soyutlanmış bir thinkingLevel parametresine dönüştürülmüştür. Gerçek zamanlı sesli diyaloglarda her milisaniye kritik olduğundan, model varsayılan olarak en düşük gecikmeyi sağlayan minimal düşünme seviyesinde çalışır. Ancak karmaşık bir matematiksel hesaplama veya çok adımlı bir kurumsal iş akışı gerektiğinde bu seviye high noktasına kadar ölçeklenebilir.

Senkron Fonksiyon Çağrımı (Function Calling) ve Arama Temellendirme

Sesli ajanların yalnızca sohbet etmesi değil, arka uç sistemlerde aksiyon alması (takvim güncelleme, CRM sorgulama, veritabanı işlemi) gerekir. gemini-3.1-flash-live-preview, canlı ses akışı sırasında Senkron Fonksiyon Çağrımı (Synchronous Function Calling) ve Google Arama ile Temellendirme (Search Grounding) yeteneklerini doğrudan destekler.

Kritik Geçiş Kuralı: Gemini 2.5 Live API'de bulunan NON_BLOCKING (asenkron) araç çağrımı davranışı gemini-3.1-flash-live-preview sürümünde desteklenmemektedir. Tüm araç çağrıları senkron olarak yürütülür; model bir fonksiyon çağrısı (ToolCall) ürettiğinde, diyaloğu sağlıklı sürdürebilmek için istemcinin fonksiyon sonucunu (ToolResponse) hızla döndürmesi beklenir.

Python SDK ile Çift Yönlü Canlı Oturum Uygulaması

Aşağıdaki örnek, Google GenAI Python SDK (google-genai) kullanarak gemini-3.1-flash-live-preview modeliyle WebSocket üzerinden çift yönlü ses ve senkron araç çağrımı oturumunun nasıl başlatılacağını göstermektedir:

import asyncio
from google import genai
from google.genai import types

# İstemci başlatma (Üretim ortamında istemci tarafında Ephemeral Token kullanılmalıdır)
client = genai.Client()
MODEL_ID = "gemini-3.1-flash-live-preview"

# Senkron çalışacak örnek bir kurumsal araç (Tool) tanımı
 check_server_metrics = types.FunctionDeclaration(
    name="check_server_metrics",
    description="Belirtilen üretim kümesinin (cluster) anlık CPU ve bellek yükünü döndürür.",
    parameters=types.Schema(
        type="OBJECT",
        properties={
            "cluster_id": types.Schema(type="STRING", description="Küme tanımlayıcısı, örn: prod-eu-west-1")
        },
        required=["cluster_id"]
    )
)

async def run_live_voice_agent():
    # Live API ve Gemini 3.1'e özgü yapılandırma
    config = types.LiveConnectConfig(
        response_modalities=["AUDIO"],
        thinking_config=types.ThinkingConfig(
            thinking_level="minimal"  # En düşük ses gecikmesi için 'minimal' seviye
        ),
        speech_config=types.SpeechConfig(
            voice_config=types.VoiceConfig(
                prebuilt_voice_config=types.PrebuiltVoiceConfig(
                    voice_name="Umbriel"  # Doğal prozodiye sahip ses profili
                )
            )
        ),
        tools=[
            types.Tool(function_declarations=[check_server_metrics]),
            types.Tool(google_search=types.GoogleSearch())  # Canlı web temellendirmesi
        ],
        system_instruction=types.Content(
            parts=[types.Part.from_text(
                text="Sen kıdemli bir SRE sesli asistanısın. Kısa, net ve teknik olarak kesin yanıtlar ver."
            )]
        )
    )

    # Durum bilgili (Stateful) BidiGenerateContent WebSocket bağlantısı
    async with client.aio.live.connect(model=MODEL_ID, config=config) as session:
        print(f"[{MODEL_ID}] WebSocket oturumu açıldı. Ses akışı dinleniyor...")

        # Örnek: 16kHz, 16-bit, mono PCM ses çerçevesinin (chunk) gönderimi
        # Gerçek senaryoda bu blok mikrofon akışından gelen döngüye bağlanır
        dummy_pcm16_chunk = b"\x00\x00" * 1600  # 100ms sessizlik çerçevesi
        await session.send(
            input={"data": dummy_pcm16_chunk, "mime_type": "audio/pcm;rate=16000"}
        )

        # Modelden gelen çok modlu yanıtların ve araç çağrılarının okunması
        async for response in session.receive():
            server_content = response.server_content
            if server_content and server_content.model_turn:
                for part in server_content.model_turn.parts:
                    # 24kHz PCM ses çıktısını hoparlör tamponuna yönlendir
                    if part.inline_data and part.inline_data.mime_type.startswith("audio/pcm"):
                        audio_bytes = part.inline_data.data
                        # play_audio_buffer(audio_bytes, sample_rate=24000)

            # Senkron fonksiyon çağrısı (Tool Call) yakalama
            if response.tool_call:
                for fc in response.tool_call.function_calls:
                    if fc.name == "check_server_metrics":
                        cluster = fc.args.get("cluster_id")
                        print(f"[Tool Triggered] Küme sorgulanıyor: {cluster}")
                        
                        # Senkron yanıtın oturuma geri gönderilmesi
                        await session.send(
                            input=types.LiveClientToolResponse(
                                function_responses=[
                                    types.FunctionResponse(
                                        name=fc.name,
                                        id=fc.id,
                                        response={"cpu_load": "42%", "memory_usage": "68%", "status": "HEALTHY"}
                                    )
                                ]
                            )
                        )

if __name__ == "__main__":
    asyncio.run(run_live_voice_agent())

4. Performans Kıyaslaması, Teknik Sınırlar ve Maliyet Analizi

Sesli ajanların kurumsal ölçekte benimsenmesinde en belirleyici metrik, modelin karmaşık konuşmalar sırasında dış araçları (APIs) ne kadar hatasız tetikleyebildiğidir. Çeşitli kısıtlamalar altında çok adımlı fonksiyon çağrımlarını ölçen endüstri standardı ComplexFuncBench Audio testinde gemini-3.1-flash-live-preview, %90,8 başarı skoru elde ederek önceki nesil modellere kıyasla görev tamamlama güvenilirliğinde büyük bir sıçrama gerçekleştirmiştir.

Aşağıdaki tablo, modelin teknik kapasitesini, desteklenen/desteklenmeyen özelliklerini ve birim maliyet yapısını özetlemektedir:

Tabloda dikkat çeken en önemli kısıtlama, modelin Yapılandırılmış Çıktıları (Structured Outputs) ve Bağlam Önbelleklemeyi (Context Caching) desteklememesidir. Dolayısıyla arka uç sistemlerin belirli bir JSON şemasında veri beklemesi durumunda, yanıt formatını zorlamak yerine bu şemayı bir FunctionDeclaration (Araç Çağrımı) olarak tanımlamak ve modelin veriyi fonksiyon argümanları üzerinden yapılandırılmış şekilde üretmesini sağlamak en doğru mimari desendir.

5. Üretim Ortamı (Production) Dağıtım Desenleri ve Sektörel Çıkarımlar

gemini-3.1-flash-live-preview modelini laboratuvar ortamından çıkarıp gerçek kullanıcılara sunarken ağ topolojisi ve güvenlik mimarisi dikkatle kurgulanmalıdır:

• İstemci-Sunucu (Client-to-Server) ve Geçici Jetonlar (Ephemeral Tokens): Ses gecikmesini minimuma indirmek için medya akışının (WebSocket) arka uç sunucusu üzerinden dolandırılmadan doğrudan kullanıcının tarayıcısından veya mobil uygulamasından Google Live API uç noktasına bağlanması önerilir. Ancak ana API anahtarlarını istemci koduna gömmek büyük bir güvenlik açığıdır. Bunun yerine arka uç servisinizde kısa ömürlü Ephemeral Token (Geçici Jeton) üretilmeli ve istemci WebSocket bağlantısını bu kısıtlı yetkili jetonla başlatmalıdır.
• WebRTC Köprüleme ve Ortak Ekosistemi: WebSocket protokolü güvenilir (TCP tabanlı) bir taşıma katmanı sunsa da, paket kaybının yüksek olduğu mobil ağlarda ses/video senkronizasyonu için UDP tabanlı WebRTC altyapısı daha dayanıklıdır. Üretim ölçeğinde sesli ajanlar kurgularken LiveKit, Daily, Pipecat, Fishjam, Stream Vision Agents veya Voximplant gibi ortak çerçeveleri (partner frameworks) kullanarak istemci ile kenar sunucu (edge) arasında WebRTC kullanmak, kenar sunucu ile Gemini Live API arasında ise yüksek hızlı omurga üzerinden WebSocket konuşmak endüstri standardı haline gelmiştir.
• Model Yaşam Döngüsü ve İleriye Dönük Uyumluluk: Google'ın model ekosistemi hızla evrilmektedir. gemini-2.5-flash-live modellerinin kullanımdan kaldırılmasıyla (deprecation) birlikte gemini-3.1-flash-live-preview ses-ses mimarisinin temel taşı olmuş; hemen ardından Google AI Studio belgelerinde en güncel düşük gecikmeli varsayılan seçenek olarak gemini-3.8-live gibi daha yeni nesil modellere geçiş (migration) rehberleri de yayınlanmaya başlamıştır. Bu nedenle yazılım mimarilerinde model kimliğinin (model_string) kod içine sabitlenmemesi (hardcoded), bir yönlendirme katmanı (model router) veya yapılandırma yönetimi üzerinden dinamik olarak değiştirilebilir tutulması kritik önem taşır.

Mühendislik Özeti

gemini-3.1-flash-live-preview, yapay zeka ile insan arasındaki etkileşimi "sırayla mesaj gönderilen bir sohbet penceresi" olmaktan çıkarıp, karşı tarafın ekranınızı görebildiği, ses tonunuzdaki stresi anlayabildiği ve konuşurken gerçek zamanlı sistem araçlarını tetikleyebildiği "canlı bir telefon ve ekran paylaşımı oturumuna" dönüştürmüştür. Geliştiriciler için asıl odak noktası artık STT ve TTS modellerini birbirine bağlamak değil; durum bilgili WebSocket oturumlarını, senkron araç çağrılarını ve çok modlu bağlam pencerelerini düşük gecikmeyle orkestre edebilen dayanıklı gerçek zamanlı sistemler inşa etmektir.

Instagram Carousel Slayt Özeti (JSON)

{
  "carousel_topic": "Google AI Studio: gemini-3.1-flash-live-preview Mimarisi",
  "slides": [
    {
      "slide_number": "01",
      "category": "Problem & Bağlam",
      "title": "STT-LLM-TTS Zincirinin Sonu ve Doğal Ses-Ses (A2A) Devrimi",
      "content": "Geleneksel sesli asistanlar sesi önce metne çevirir (STT), LLM ile işler ve tekrar sese dönüştürür (TTS). Bu zincir yüksek gecikmeye (latency) ve ses tonu, vurgu, konuşma hızı gibi akustik nüansların kaybolmasına yol açar. Google AI Studio'da yayınlanan 'gemini-3.1-flash-live-preview', ara metin katmanını kaldırarak doğrudan Audio-to-Audio (Ses-Ses) işleme yapar; 90+ dilde tonlamayı anlar ve gürültülü ortamlarda arka plan seslerini filtreler.",
      "technical_highlight": "Mimari Dönüşüm: Kaskad (STT -> LLM -> TTS) Boru Hattından Doğrudan Akustik Token İşlemeye Geçiş"
    },
    {
      "slide_number": "02",
      "category": "Mimari & Çalışma Prensibi",
      "title": "BidiGenerateContent WebSocket Protokolü ve Çok Modlu Akış",
      "content": "Model, durumsuz REST çağrıları yerine durum bilgili (stateful) kalıcı WebSocket oturumu üzerinden çalışır. Girişte 16kHz PCM16 ses, ≤1 FPS kamera/ekran paylaşımı kareleri ve metin kabul ederken; çıkışta 24kHz PCM ses ve senkron araç çağrıları üretir. Yerleşik VAD (Ses Aktivitesi Algılama) ile doğal söz kesme (barge-in) desteklenir ve 'thinkingLevel' (minimal -> high) parametresiyle gecikme-akıl yürütme dengesi kurulur.",
      "technical_highlight": "Protokol: Stateful WSS | Giriş: PCM16 @ 16kHz + Video ≤1 FPS | Çıkış: PCM @ 24kHz + SynthID Filigran"
    },
    {
      "slide_number": "03",
      "category": "Performans & Kıyaslama",
      "title": "ComplexFuncBench Audio'da %90,8 Başarı ve Token Ekonomisi",
      "content": "Çok adımlı ve kısıtlı sesli fonksiyon çağrımlarını ölçen ComplexFuncBench Audio testinde %90,8 skorla liderdir. 131.072 giriş ve 65.536 çıkış token sınırına sahiptir. Senkron fonksiyon çağrımı ve Google Search Grounding desteklenirken; Yapılandırılmış Çıktılar (Structured Outputs), Context Caching ve Gemini 2.5'teki asenkron (NON_BLOCKING) araçlar bu modelde desteklenmemektedir.",
      "technical_highlight": "Benchmark: %90,8 ComplexFuncBench Audio | Bağlam: 131K / 65K | Maliyet: $0.75/1M Giriş, $4.50/1M Çıkış"
    },
    {
      "slide_number": "04",
      "category": "Mühendislik Çıkarımları",
      "title": "Üretim Ortamı Güvenliği, WebRTC ve Model Yönlendirme",
      "content": "Düşük gecikme için medya akışı istemciden doğrudan Live API'ye yapılmalı, ancak API anahtarları yerine arka uçta üretilen kısa ömürlü 'Ephemeral Token'lar kullanılmalıdır. Mobil ağlarda paket kaybını önlemek için LiveKit veya Pipecat gibi WebRTC köprüleri tercih edilmelidir. Ayrıca 15 dakikalık (sadece ses) ve 2 dakikalık (ses+video) oturum sınırlarını aşmak için Session Resumption uygulanmalı ve yeni nesil modellere (örn. Gemini 3.8 Live) esnek geçiş için model kimliği soyutlanmalıdır.",
      "technical_highlight": "Production Best Practice: Ephemeral Token Güvenliği + WebRTC/WSS Köprüleme + Oturum Sürdürme (Session Resumption)"
    }
  ]
}