OpenAI, Google, Microsoft ve Anthropic’ten Ortak ‘__usage_ai-training’ Standardı: IETF AIPREF ile Tek Satırda AI Eğitimi Engelleme

Parçalı Bot Listelerinin Sonu: __usage_ai-training Ortak Standardı Nedir?

Üretken yapay zeka ekosisteminin büyümesiyle birlikte web yayıncıları, içerik üreticileri ve kurumsal sistem yöneticileri ciddi bir operasyonel karmaşayla karşı karşıya kaldı: bir web sitesinin verilerini temel model (foundation model) eğitimine kapatmak için robots.txt dosyasında her yapay zeka laboratuvarına ait ayrı bir tarayıcı kimliğini (GPTBot, Google-Extended, ClaudeBot, CCBot, Bytespider vb.) tek tek takip edip engellemek gerekiyordu.

30 Ekim 2026 itibarıyla OpenAI, Google, Microsoft ve Anthropic, bu parçalı yapıyı sona erdirmek üzere tarihi bir ortak adım attı. Dört teknoloji devi, Internet Engineering Task Force (IETF) bünyesindeki AI Preferences (AIPREF) çalışma grubunda geliştirilen ve Anthropic'ten Kevin Kelley tarafından kaleme alınan "Machine-Readable Training Preference Signal" taslağını temel alarak ortak __usage_ai-training politikası belirtecini destekleyeceklerini açıkladı.

Yeni standartla birlikte sistem yöneticileri, onlarca farklı bot adını listelemek yerine robots.txt dosyasına yalnızca tek bir kural bloğu ekleyerek tüm katılımcı sağlayıcıların temel model eğitimini durdurabiliyor:

User-agent: __usage_ai-training
Disallow: /

[!IMPORTANT]
__usage_ai-training gerçek bir HTTP tarayıcı başlığı (User-Agent string) değil, robots.txt ayrıştırıcıları (parsers) tarafından okunan kullanım amacı tabanlı bir politika belirtecidir (policy token). Sağlayıcıların kendi tarayıcıları dosyayı okuduğunda, verinin model eğitiminde kullanılıp kullanılamayacağını bu ortak belirteç üzerinden karara bağlar.

Arama İndeksleme (Search/Grounding) ile Model Eğitiminin Ayrıştırılması

Web yayıncıları açısından önceki dönemin en büyük ikilemi, veri kazımayı engellemeye çalışırken arama motoru trafiğini veya yapay zeka destekli arama özetlerindeki (AI Search / Grounding) görünürlüğü kaybetme riskiydi. Örneğin klasik Bingbot veya Googlebot tarayıcısını tamamen engellemek, sitenin arama sonuçlarından silinmesine yol açıyordu.

Yeni __usage_ai-training standardı, temel model eğitimi (foundational model training) ile canlı arama indeksleme ve gerçek zamanlı kaynak gösterme (live grounding / RAG) süreçlerini mimari olarak birbirinden ayırıyor:

flowchart TD
    A["Web Sunucusu / Yayıncı robots.txt<br/>User-agent: __usage_ai-training"] --> B{"Yol (Path) Kuralı Denetimi"}
    B -->|"Disallow: /"| C["Temel Model Eğitimi (Pre-Training & Fine-Tuning)<br/>OpenAI, Google, Microsoft, Anthropic Tarafından ENGELLENİR"]
    B -->|"Allow: /public-docs/"| D["Yalnızca İzin Verilen Dizinler<br/>Model Eğitim Havuzuna Dahil Edilir"]
    A --> E["Arama İndeksleme ve Canlı Grounding (RAG)"]
    E --> F["Arama Motoru Görünürlüğü ve Anlık Atıflı Yanıtlar<br/>Eğitim Engellense Dahi KESİNTİSİZ DEVAM EDER"]

• Eğitimden Çıkış, Aramada Kalış: Bir yayıncı User-agent: __usage_ai-training altında Disallow: / tanımladığında içerikleri gelecekteki LLM ağırlıklarının eğitiminde kullanılamaz; ancak aynı içerikler Google Arama, Bing ve sohbet botlarının anlık web araması (live grounding) sonuçlarında kaynak gösterilmeye devam eder.
• Dizin Bazlı İnce Ayar (Allow / Disallow): Yayıncılar tüm siteyi kapatmak yerine Disallow: /abonelik-icerikleri/ ve Allow: /basin-bultenleri/ gibi standart robots.txt yol kurallarıyla hangi alt dizinlerin eğitime açık olacağını seçebilir.
• Sağlayıcıya Özgü Öncelik (Override) Kuralları: Ortak belirteç genel bir varsayılan politika oluştururken, site sahibi belirli bir sağlayıcıya farklı izin vermek isterse sağlayıcıya özgü belirteci (Google-Extended, GPTBot, ClaudeBot) açıkça tanımlayarak genel kuralı o sağlayıcı için ezebilir.

Sağlayıcı Bazlı Geçiş Takvimi ve Uygulama Detayları

Dört büyük yapay zeka sağlayıcısı, mevcut tarayıcı altyapılarını __usage_ai-training belirtecine uyarlamak için kademeli bir geçiş takvimi yayımladı:

1. Anthropic: Duyuruyla eşzamanlı olarak (Ekim 2026 itibarıyla) ClaudeBot ve eğitim veri boru hatlarında __usage_ai-training desteğini devreye almaya başladı.
2. OpenAI: Önümüzdeki aylarda (GPTBot eğitim tarayıcısı katmanında) ortak belirteci tam kapasiteyle uygulayacağını taahhüt etti.
3. Microsoft: Kesin geçiş tarihini 1 Şubat 2027 olarak açıkladı; ayrıca yayıncıların temel model eğitimi ile canlı sohbet yanıtlarında kaynak gösterme (grounding) tercihlerini ayrı ayrı yönetebileceği ek kontroller sunacağını duyurdu.
4. Google: 2027 başlarında desteği devreye alacak. Google'ın teknik şartnamesine göre, bir sitede Google-Extended için özel bir kural tanımlanmamışsa __usage_ai-training altındaki kısıtlamalar doğrudan Google-Extended için tam kapsamlı çıkış (blanket opt-out) olarak işlenecek.

Mühendislik Uygulaması: IETF AIPREF Uyumlu robots.txt Öncelik Çözümleyicisi

Kurumsal içerik yönetim sistemleri (CMS), API ağ geçitleri ve veri toplama (ingestion) boru hatları için robots.txt içindeki sağlayıcıya özgü kural ile ortak __usage_ai-training kuralı arasındaki öncelik sırasını (specificity precedence) doğru hesaplamak kritik önem taşır. IETF AIPREF taslağına göre sağlayıcıya özgü açık bir kural varsa o kural, yoksa __usage_ai-training ortak kuralı uygulanır.

Aşağıdaki Python referans uygulaması, hem yayıncılar için standart uyumlu robots.txt politikası üreten hem de tarayıcı tarafında öncelik çözümlemesi yapan deterministik bir modül sunmaktadır:

from dataclasses import dataclass, field
from typing import Dict, List
from urllib.robotparser import RobotFileParser

SHARED_AI_TRAINING_TOKEN = "__usage_ai-training"

@dataclass(frozen=True)
class PublisherAIPolicyConfig:
    disallow_training_paths: List[str] = field(default_factory=lambda: ["/"])
    allow_training_paths: List[str] = field(default_factory=list)
    provider_overrides: Dict[str, Dict[str, List[str]]] = field(default_factory=dict)

def generate_aipref_robots_txt(config: PublisherAIPolicyConfig) -> str:
    """IETF AIPREF __usage_ai-training uyumlu robots.txt içeriği üretir."""
    lines: List[str] = [
        "# IETF AIPREF Ortak Yapay Zeka Eğitim Tercihi Sinyali",
        f"User-agent: {SHARED_AI_TRAINING_TOKEN}",
    ]
    for path in config.allow_training_paths:
        lines.append(f"Allow: {path}")
    for path in config.disallow_training_paths:
        lines.append(f"Disallow: {path}")

    for bot_agent, rules in config.provider_overrides.items():
        lines.append("")
        lines.append(f"# Sağlayıcıya Özgü Açık Kural: {bot_agent}")
        lines.append(f"User-agent: {bot_agent}")
        for allow_p in rules.get("allow", []):
            lines.append(f"Allow: {allow_p}")
        for disallow_p in rules.get("disallow", []):
            lines.append(f"Disallow: {disallow_p}")

    return "\n".join(lines) + "\n"

def is_url_allowed_for_ai_training(
    robots_txt_content: str,
    provider_training_bot: str,
    target_url: str,
) -> bool:
    """
    Sağlayıcıya özgü bot kuralı açıkça tanımlanmışsa onu uygular;
    tanımlanmamışsa ortak __usage_ai-training politikasına geri döner.
    """
    parser = RobotFileParser()
    parser.parse(robots_txt_content.splitlines())

    lower_content = robots_txt_content.lower()
    has_explicit_provider_rule = f"user-agent: {provider_training_bot.lower()}" in lower_content

    if has_explicit_provider_rule:
        return parser.can_fetch(provider_training_bot, target_url)

    has_shared_training_rule = f"user-agent: {SHARED_AI_TRAINING_TOKEN}" in lower_content
    if has_shared_training_rule:
        return parser.can_fetch(SHARED_AI_TRAINING_TOKEN, target_url)

    return parser.can_fetch("*", target_url)

[!TIP]
Altyapı ve CDN Önerisi: Yayıncıların __usage_ai-training direktifini hemen bugün itibarıyla robots.txt dosyalarına eklemesi, mevcut GPTBot, Google-Extended ve ClaudeBot kurallarıyla hiçbir çakışma yaratmaz. Şubat 2027'ye kadar sürecek geçiş döneminde hem ortak __usage_ai-training bloğunun hem de mevcut sağlayıcıya özgü kuralların birlikte tutulması geriye dönük tam uyumluluk sağlar.