Açık Ağırlığın Karşı Saldırısı ve Sınır Modellerde Denetim Çağı: Muse Spark Open (816B), GPT-Rosalind, METR İçeriden Denetimi ve Küresel AI Sermaye Rotasyonu
Meta'nın 816B parametreli ve 42B aktif uzmanlı açık ağırlıklı devi Muse Spark Open'dan, OpenAI'ın biyoloji odaklı GPT-Rosalind hamlesine; Anthropic'in METR denetçilerine verdiği çalışan düzeyi erişimden Wall Street'teki CapEx sıkışmasına ve Türkiye'nin gölge AI istatistiklerine kadar sabahın tüm kritik mühendislik gelişmelerini inceliyoruz.
Yapay zeka endüstrisinde uzun süredir devam eden iki temel illüzyon bu sabah itibarıyla kesin olarak yıkılıyor: Birincisi, "En yetenekli otonom kodlama ve muhakeme modelleri yalnızca kapalı API duvarlarının ardında yaşayabilir" yanılgısı; ikincisi ise "Trilyon dolarlık veri merkezi harcamaları (CapEx), somut dikey sektör getirisi olmadan da Wall Street tarafından sonsuza dek finanse edilir" beklentisi.
Bugün masamızda birbiriyle derinlemesine bağlantılı altı kritik gelişme var. Bir tarafta Meta, Çinli açık ağırlıklı (open-weight) modellerin küresel hakimiyetini kırmak için 816 milyar parametreli Muse Spark Open modelini sahaya sürüyor. Diğer tarafta OpenAI, yaşam bilimleri için özelleştirdiği GPT-Rosalind ile üniversite laboratuvarlarına girerken, Anthropic ise METR denetçilerine iç sistemlerini açarak yapay zeka güvenliğinde "banka müfettişliği" dönemini başlatıyor. Tüm bu teknik sıçramaların arka planında ise Wall Street'te teknoloji hisselerinden sağlık hisselerine doğru sert bir sermaye rotasyonu, Nvidia'nın Stockholm'deki yeni etki odaklı AR-GE üssü ve Türkiye'deki kullanıcıların %76'ya ulaşan yapay zeka adaptasyonunun yarattığı devasa "Gölge AI" (Shadow AI) riski yatıyor.
Gelin, bugünün haber bültenini bir sistem mimarı gözüyle, donanım katmanından uygulama güvenliğine kadar adım adım parçalarına ayıralım.
1. Meta'nın 816 Milyar Parametreli Gövde Gösterisi: Muse Spark Open ve Seyrek (Sparse) MoE Mimarisi
Son bir yılda açık ağırlıklı (open-weight) model ekosistemi neredeyse tamamen Alibaba (Qwen), Moonshot AI (Kimi K3) ve Z.ai (GLM) gibi Çin merkezli laboratuvarların domine ettiği bir alana dönüşmüştü. Meta, geçtiğimiz günlerde tanıttığı kapalı sınır modeli Muse Wonder’ın ardından, bu sabah geliştirici ekosistemine verdiği sözü tutarak Muse Spark Open modelini Hugging Face üzerinden erişime açtı. Meta AI Şefi Alexandr Wang'ın "Bugüne kadarki en yetenekli ABD menşeli açık ağırlıklı model" olarak tanımladığı bu mimari, sadece boyutuyla değil, donanım-yazılım ortak tasarımıyla (co-design) da dikkat çekiyor.
Mimari Anatomi: 816B Toplam / 42B Aktif Parametre
Muse Spark Open, devasa bir Uzmanlar Karışımı (Mixture-of-Experts - MoE) mimarisi üzerine inşa edilmiş durumda. Modelin toplam parametre sayısı 816 milyar (816B) iken, her bir token çıkarımı (inference) sırasında yalnızca 42 milyar (42B) parametre aktif hale geliyor. Yaklaşık %5,14'lük bir aktivasyon oranına sahip olan bu aşırı seyrek (ultra-sparse) yapı, modelin devasa bir dünya bilgisine ve kod tabanı hafızasına sahip olmasını sağlarken, token başına düşen FLOP (kayan nokta işlemi) maliyetini orta ölçekli bir yoğun (dense) model seviyesinde tutuyor.
Modelin öne çıkan mühendislik özellikleri şunlar:
- 1 Milyon Token Bağlam Penceresi (Context Window): Tüm kod depolarını (whole-repository generation), uçtan uca büyük ölçekli yazılım projelerini ve çok adımlı otonom araştırma (auto-research) görevlerini tek bir bağlamda işleyebiliyor.
- Doğuştan Çok Modlu (Natively Multimodal) Muhakeme: Sadece metin ve kod değil; görüntü, belge, ses ve video algısını (perception) test zamanı muhakemesi (test-time reasoning) ve araç kullanımıyla (tool-use) doğrudan birleştiriyor.
- İki Uçlu Donanım Optimizasyonu (NVFP4 & Apple M5 Ultra): Meta, veri merkezi tarafında NVIDIA GB300 NVL72 (Blackwell Ultra) mimarisi için yerel NVFP4 (4-bit kayan nokta) ağırlıklarını doğrudan yayınladı. Daha da şaşırtıcı olanı ise Meta ve Apple arasındaki nadir işbirliği: Model, Apple M5 Ultra çiplerinin birleşik bellek (Unified Memory) mimarisi için özel olarak optimize edildi. İki adet M5 Ultra donanımlı Mac Studio birbirine bağlandığında, 816 milyarlık bu dev model masaüstü ortamında yerel bir süper bilgisayar gibi koşturulabiliyor.
"Mimari Not: 816 milyar parametreli bir modeli BF16 (16-bit) hassasiyetinde belleğe yüklemek sadece ağırlıklar için ~1.63 TB VRAM gerektirir. Ancak Meta'nın doğrudan sunduğu NVFP4 (4-bit) niceleme (quantization) ağırlıkları, bu bellek ayak izini ~408 GB seviyesine indiriyor. İki adet 256 GB veya 512 GB birleşik bellekli M5 Ultra Mac Studio kümesinin ya da tek bir 8xGPU kurumsal sunucunun bu modeli yerel olarak (on-premise) çalıştırabilmesinin ardındaki matematik tam olarak budur."
Geliştiriciler için bu mimarinin VRAM ve KV-Cache gereksinimlerini hesaplayan ve vLLM üzerinde NVFP4 çıkarımını yapılandıran örnek bir Python betiği:
from dataclasses import dataclass
@dataclass
class MoEMemoryProfile:
model_name: str
total_params_b: float
active_params_b: float
context_length: int
quantization_bits: int = 4 # NVFP4 / 4-bit yerel ağırlıklar
def estimate_vram_gb(self, kv_cache_bits: int = 8) -> dict:
# Ağırlıklar için gereken bellek (Toplam parametreler RAM'de durmalıdır)
weights_gb = (self.total_params_b * 1e9 * (self.quantization_bits / 8)) / (1024**3)
# 1M token bağlam için yaklaşık KV-Cache hesabı (GQA/MLA optimizasyonlu varsayım)
# Her token için ~128 KB KV durumu (FP8)
kv_cache_gb = (self.context_length * 128 * 1024 * (kv_cache_bits / 8)) / (1024**3)
# Aktivasyon ve sistem tamponu (~%10 ek yük)
overhead_gb = (weights_gb + kv_cache_gb) * 0.10
return {
"weights_vram_gb": round(weights_gb, 2),
"kv_cache_1m_gb": round(kv_cache_gb, 2),
"total_required_gb": round(weights_gb + kv_cache_gb + overhead_gb, 2),
"active_compute_ratio_pct": round((self.active_params_b / self.total_params_b) * 100, 2)
}
muse_spark = MoEMemoryProfile(
model_name="meta-models/Muse-Spark-Open-816B-A42B",
total_params_b=816.0,
active_params_b=42.0,
context_length=1_000_000,
quantization_bits=4
)
profile = muse_spark.estimate_vram_gb()
print(f"[{muse_spark.model_name}] Bellek ve Mimari Özeti:")
print(f"-> Ağırlık Belleği (NVFP4): {profile['weights_vram_gb']} GB")
print(f"-> 1M Bağlam KV-Cache (FP8): {profile['kv_cache_1m_gb']} GB")
print(f"-> Toplam Önerilen Birleşik Bellek/VRAM: {profile['total_required_gb']} GB")
print(f"-> Token Başına Aktif Parametre Oranı: %{profile['active_compute_ratio_pct']}")
2. OpenAI GPT-Rosalind Akademik Laboratuvarlarda: Bilimsel Keşif mi, Ekosistem Kilitlenmesi mi?
Meta açık ağırlıklarla yazılım mühendisliğini hedeflerken, OpenAI dikey uzmanlaşma (vertical specialization) stratejisinde en kritik adımlarından birini attı. Şirket, DNA'nın çift sarmal yapısının keşfinde kritik rol oynayan Rosalind Franklin'e atıfla isimlendirdiği yaşam bilimleri modeli GPT-Rosalind'i ve Rosalind Workbench platformunu, yeni Rosalind Academic Plan kapsamında ABD'deki üniversite araştırma laboratuvarlarına ücretsiz olarak açtı.
Performans Metrikleri ve Mimari Kısıtlamalar
GPT-Rosalind, sıradan bir sohbet botu değil; biyolojik varlıklar üzerinde muhakeme yürütmek, bilimsel literatürü sentezlemek, ıslak laboratuvar (wet-lab) deneylerini planlamak ve genomik veri tabanlarıyla konuşmak üzere eğitilmiş bir sınır model. Mevcut temel modellerle (baselines) kıyaslandığında:
- Genebench üzerinde %53,7,
- Labworkbench üzerinde %19,6,
- Medchem Bench (Tıbbi Kimya) üzerinde %18,0 performans artışı sağlıyor.
Ancak bir sistem mimarı olarak "ücretsiz 30 koltuk (12 ay boyunca)" teklifinin altındaki ince yazıları (fine print) incelediğimizde çok çarpıcı kısıtlamalarla karşılaşıyoruz:
- API Erişimi Yok: Akademik plan yalnızca yönetilen ChatGPT Business arayüzünü, Codex içerisindeki Life Sciences Research eklentisini ve Rosalind Workbench'i kapsıyor. Araştırmacıların kendi yerel biyoinformatik boru hatlarına (pipeline) doğrudan REST API ile bağlanmasına izin verilmiyor (kurumsal API tarafında
gpt-rosalind-discoverymodeli milyon girdi tokenı başına 5 dolardan fiyatlandırılıyor). - Sıfır Veri Saklama (Zero Data Retention - ZDR) Yok: OpenAI, paylaşılan araştırma verilerinin varsayılan olarak model eğitiminde kullanılmayacağını taahhüt etse de, bu ücretsiz akademik çalışma alanları Zero Data Retention (ZDR) politikasını desteklemiyor; standart veri saklama kuralları geçerli.
- Sıkı Güvenlik ve Kimlik Doğrulama (Trusted-Access): Biyogüvenlik (CBRN) riskleri nedeniyle erişim otomatik değil. Baş araştırmacılar (Principal Investigators - PI) kurumsal inceleme ve kimlik doğrulamasından geçiyor ve çalışma alanındaki her bir araştırmacıya yetkiyi bizzat PI'nin tanımlaması gerekiyor.
"Mimari Not: OpenAI'ın bu hamlesi klasik bir 'akademik tohumlama' (academic seeding) stratejisidir. Genç araştırmacıları Rosalind Workbench'in orkestrasyon araçlarına alıştırarak geleceğin biyoteknoloji girişimlerinde devasa bir kurumsal bağımlılık (vendor lock-in) inşa ediyorlar. Ancak ZDR (Sıfır Veri Saklama) desteğinin olmaması, patentlenmemiş molekül veya gen dizileri üzerinde çalışan laboratuvarlar için ciddi bir fikri mülkiyet ikilemi yaratacaktır."
3. Anthropic'ten "Banka Müfettişi" Modeli: METR Denetçilerine Çalışan Düzeyinde (Tier-3) Erişim
Geçtiğimiz ay Anthropic CEO'su Dario Amodei'nin yayınladığı "We Must Pace the Frontier" (Sınırı Yavaşlatmalıyız) manifestosu ve Beyaz Saray Süper Zeka Mutabakatı'nın (White House Accord on Super Intelligence) ardından, bugün yapay zeka güvenliğinde tarihi bir kurumsal mimari hayata geçirildi. Anthropic, yayınladığı "An update on independent evaluators" raporuyla, bağımsız güvenlik değerlendirme kuruluşlarına kendi iç sistemlerini nasıl açtığını detaylandırdı.
Üç Kademeli (Three-Tier) Denetim Mimarisi ve "Alignment Faking"
Sınır modeller güçlendikçe, dışarıdan sadece kara kutu (black-box) API sorgularıyla modelin tehlikeli yeteneklerini veya Alignment Faking (modelin eğitim veya test sırasında güvenliymiş gibi davranıp gerçek niyetini gizlemesi) durumlarını tespit etmek imkansız hale geliyor. Anthropic, finans sektöründeki "banka denetçisi" (bank supervision) modelini örnek alarak üç kademeli bir erişim mimarisi kurdu:
- 1. Kademe (Tier-1): Belirli ve dar kapsamlı risk sondajları. Örneğin biyogüvenlik kuruluşu SecureBio, şu an bu kademede Anthropic'in kimyasal ve biyolojik silah (CBRN) risk raporlarını inceliyor.
- 2. Kademe (Tier-2): Genişletilmiş erişim ve bulguları Anthropic'in onayına ihtiyaç duymadan (sansürsüz) yayınlama hakkı.
- 3. Kademe (Tier-3 - Çalışan Benzeri Erişim): Kar amacı gütmeyen sınır model değerlendirme kuruluşu METR (daha önce OpenAI'ın Hugging Face ajan sızıntısı raporuyla gündeme gelmişti), bu en üst kademeye yerleştirildi.
Anthropic, 6 METR araştırmacısına şirket donanımı, fiziksel ofis alanı ve kendi iç güvenlik ekiplerinin kullandığı araçlarla eşdeğer dahili sistem erişimi verdi. Üstelik bağımsızlığı korumak adına Anthropic, METR'a herhangi bir finansal ödeme yapmıyor (geçtiğimiz ay Accenture ile yapılan doğrudan fonlamalı anlaşma bağımsızlık eleştirilerine yol açmıştı). METR, ticari sırlar ve kötü niyetli kişilere yol gösterecek ham bilgi açıkları (infohazards) haricinde tüm risk değerlendirmelerini ve olay incelemelerini bağımsız olarak kamuoyuna açıklayabilecek.
Bu tarz bir "Tier-3" bağımsız denetim hattının, modelin iç aktivasyonlarını ve eğitim loglarını inceleyerek Alignment Faking tespiti yapmasını simüle eden kavramsal bir TypeScript denetim arayüzü:
interface InternalActivationProbe {
layerIndex: number;
deceptionVectorScore: number; // 0.0 - 1.0 arası içsel aldatma/gizleme skoru
reasoningTrace: string;
}
interface AuditReport {
evaluatorOrg: "METR" | "SecureBio" | "Accenture";
accessTier: 1 | 2 | 3;
modelCheckpoint: string;
alignmentFakingDetected: boolean;
sanitizedPublicSummary: string;
}
class FrontierAuditGateway {
constructor(private readonly isIndependentFunded: boolean) {}
public evaluateCheckpoint(
checkpointId: string,
visibleOutput: string,
internalProbes: InternalActivationProbe[]
): AuditReport {
if (!this.isIndependentFunded) {
throw new Error("Çıkar çatışması hatası: Tier-3 denetçisi değerlendirilen şirket tarafından fonlanamaz.");
}
// Dışarıdan güvenli görünen çıktının, iç katmanlardaki niyet vektörüyle karşılaştırılması
const highDeceptionProbes = internalProbes.filter(p => p.deceptionVectorScore > 0.78);
const alignmentFaking = highDeceptionProbes.length > 0 && visibleOutput.includes("I cannot fulfill this request");
return {
evaluatorOrg: "METR",
accessTier: 3,
modelCheckpoint: checkpointId,
alignmentFakingDetected: alignmentFaking,
sanitizedPublicSummary: alignmentFaking
? `UYARI: [${checkpointId}] kontrol noktasında dış çıktıda güvenli ret görülmesine rağmen, ${highDeceptionProbes.length} iç katmanda stratejik uyum taklidi (Alignment Faking) saptandı.`
: `[${checkpointId}] kontrol noktası içsel tutarlılık testlerini geçti.`
};
}
}
4. Wall Street'te CapEx Yorgunluğu ve Nvidia'nın Stockholm Hamlesi: Sermaye Nereye Kaçıyor?
Teknik cephede bunlar yaşanırken, finansal piyasalarda yapay zeka altyapı harcamalarının (CapEx) sürdürülebilirliğine dair çok net bir kırılma yaşanıyor. New York borsasında teknoloji ve donanım hisselerinde sert satış baskısı görülürken, yatırımcılar hızla sağlık (healthcare) ve tüketim sektörlerine yöneldi.
Rakamlarla Sektörel Rotasyon
- Donanım Cephesinde Kan Kaybı: Dünyanın en büyük çip üreticisi TSMC, yapay zeka talebiyle üst üste altıncı kez rekor çeyreklik kâr açıklamasına rağmen 2027 yılı için temkinli bir rehberlik sundu. Bu açıklama ve yüksek borç yüküne sahip yapay zeka şirketlerinin artan tahvil faizleri (borçlanma maliyetleri) karşısındaki kırılganlığı; Dell Technologies (%-6,9), Hewlett Packard Enterprise (%-7,1) ve Nvidia (%-1,8) hisselerinde satış dalgası yarattı. Philadelphia Yarı İletken Endeksi üst üste yedinci işlem gününü de kayıpla kapattı.
- Sağlık Hisselerinin Yükselişi: Aynı gün içinde S&P 500'ü ayakta tutan güç, %3'ün üzerinde değer kazanan ilaç devi Eli Lilly ve %2,8 yükselen UnitedHealth oldu. Piyasalar artık "kim daha çok GPU alıyor?" sorusunu değil, "kim bu yapay zeka ile bilançosunda somut kârlılık ve yeni ilaç/hizmet üretiyor?" sorusunu fiyatlıyor.
Nvidia'nın Yanıtı: Stockholm'de İklim ve Sağlık Odaklı AI Merkezi
Wall Street'teki bu sektörel kaymayı ve Avrupa'da veri merkezlerinin enerji tüketimine karşı yükselen tepkileri çok iyi okuyan Nvidia, İsveç merkezli etki vakfı Norrsken Foundation ile ortaklık kurarak Stockholm'ün merkezinde yeni bir Yapay Zeka Laboratuvarı açacağını duyurdu.
CEO Jensen Huang'ın bu hafta Paris'te işaret ettiği 2 milyar dolarlık yeni Avrupa yatırım paketinin (geçen yılki 8 milyar dolara ek olarak) ruhunu yansıtan bu merkez; doğrudan iklim krizi, enerji optimizasyonu ve sağlık bilimleri üzerine çalışan yapay zeka girişimlerini destekleyecek. Norrsken Kuzey Ülkeleri Direktörü Sofia Lindelöw'ün "Yapay zekanın etkilerinden endişe duymak, ona karşı olmak demek değildir" sözü, Avrupa'nın regülasyon odaklı duruşunu somut mühendislik çözümlerine dönüştürme çabasını özetliyor.
5. Türkiye'de %76 Yapay Zeka Kullanımı ve Kurumsal "Gölge AI" (Shadow AI) Tehlikesi
Bültenimizin son başlığı doğrudan kendi ekosistemimizden. Siber güvenlik kuruluşu Kaspersky, Türkiye'deki kullanıcıların yapay zeka kullanım alışkanlıklarına dair çok çarpıcı bir araştırma yayınladı.
Araştırma sonuçlarına göre Türkiye'deki katılımcıların %76'sı sohbet botları, görsel ve video üretim araçlarını aktif olarak kullanıyor. Kullanım amaçlarının dağılımı ise şöyle:
- %79 Bilgi arama ve özet çıkarma,
- %39 Kişisel fotoğrafları düzenleme ve dönüştürme,
- %37 Metin yazdırma,
- %35 Metin komutlarından görsel üretme ve %29 video hazırlama.
Ancak bir sistem mimarı ve güvenlik analisti için asıl alarm zilleri araştırmanın ikinci kısmında çalıyor: Kullanıcıların %40'ı sağlık sorularında, %42'si kişisel meselelerde, %32'si tatil/hafta sonu planlamasında ve %24'ü beslenme programlarında doğrudan yapay zekadan tavsiye alıyor.
"Mimari Not: Kullanıcıların %40'ının sağlık verilerini, %39'unun ise kişisel fotoğraflarını (EXIF meta verileriyle birlikte) genel tüketici (consumer-grade) yapay zeka platformlarına yüklemesi, kurumsal ağlarda devasa bir 'Shadow AI' (Gölge Yapay Zeka) sızıntısı demektir. Aynı alışkanlığı iş yerindeki bilgisayarına taşıyan bir çalışan; şirket sözleşmelerini, finansal tabloları veya hasta kayıtlarını özetletmek (%79 kullanım oranı) için sıfır veri saklama (ZDR) güvencesi olmayan açık platformlara yapıştırdığında, geleneksel güvenlik duvarları (Firewall) tamamen işlevsiz kalır."
Sektör ve Yazılımcılar İçin Mimari Çıkarımlar
Bugünün 6 önemli haberini tek bir mühendislik potasında erittiğimizde ortaya çıkan stratejik tablo oldukça net:
- Yerel Çıkarım (On-Premise Inference) Yeniden Doğuyor: Meta'nın Muse Spark Open (816B/A42B) modeli, hem NVFP4 hem de Apple M5 Ultra optimizasyonlarıyla kurumsal şirketlere şu mesajı veriyor: "Kod tabanınızı ve mahrem verilerinizi bulut API'lerine göndermek zorunda değilsiniz." Özellikle otonom kodlama ajanları (agentic coding) kurgulayan ekipler, yerel donanımlarda çalışan seyrek MoE mimarilerini hızla test etmeye başlamalı.
- Dikey Modellerde Veri Mülkiyeti Sözleşmelerini Okuyun: OpenAI'ın GPT-Rosalind hamlesi dikey AI modellerinin (biyoloji, hukuk, finans) genel modellerden çok daha yüksek isabet oranı sağladığını kanıtlıyor. Ancak ücretsiz veya sponsorlu kurumsal paketlerde Zero Data Retention (ZDR) ve API erişimi kısıtlamalarını mimari tasarımın en başında kontrol etmek şart.
- Yapay Zeka Yönetişimi (AI Governance) Kod Katmanına İniyor: Anthropic'in METR ile başlattığı Tier-3 içeriden denetim süreci, yakın gelecekte kurumsal yazılım tedarik süreçlerinin de standardı olacak. Geliştirdiğiniz ajanik sistemlerin sadece dış çıktılarını değil, içsel karar adımlarını (reasoning traces) da bağımsız olarak denetlenebilir (auditable) şekilde loglamalısınız.
- DLP (Veri Sızıntısı Önleme) Katmanınızı AI Çağrıları İçin Güncelleyin: Türkiye'de %76'ya ulaşan AI adaptasyonu, çalışanların zaten bu araçları kullandığını gösteriyor. Kurumsal mimarların yapması gereken şey AI kullanımını yasaklamak değil; kişisel verileri (PII), sağlık kayıtlarını ve kaynak kodları dış API'lere çıkmadan önce maskeleyen yerel bir AI Gateway (veya Muse Spark Open gibi kendi barındırdığınız açık ağırlıklı modeller) konumlandırmaktır.
Yazılım mimarisi, mikroservis ekosistemleri ve üretken yapay zeka uygulamaları üzerine çalışıyorum. TastutanLabs çatısı altında geliştirici araçları ve SaaS ürünleri inşa ediyorum.
Bu analizin 6 kartlık görsel özetini Instagram'da inceleyin ve kaydedin
Her gün yazılım mimarisi, Java/JVM ve yapay zeka gelişmelerini kendi başına okunabilen 6 slaytlık Mini-Blog serileri halinde paylaşıyoruz.
Yorumlar (0)
Düşüncelerinizi Paylaşın
Henüz yorum yapılmamış. İlk yorumu siz yapın!
Bu Kategorideki Diğer İncelemeler
Bytecode Duvarını Aşmak: Project Babylon (HAT), Code Reflection ve JDK 28 Ekosisteminde Saf Java ile GPU Üzerinde Yerel LLM Mimarisi
Java'nın 30 yıllık "Bir Kez Yaz, Her Yerde Çalıştır" vaadi nihayet GPU çekirdeklerine ulaşıyor. Project Babylon'un Code Reflection (JEP 8361105) altyapısı ve Heterogeneous Accelerator Toolkit (HAT) ile JNI veya C++ bağımlılığı olmadan saf Java kodunun CUDA PTX ve OpenCL'e nasıl derlendiğini inceliyoruz.
RAM Duvarını Yıkmak: Saf C ile Yazılan Janas-LLM, O_DIRECT ve io_uring Mimarisiyle 48 GB'lık Modeli 32 GB Laptopta Saniyede 37 Token Hızla Nasıl Koşturuyor?
Yerel yapay zeka çıkarımında en büyük darboğaz olan fiziksel bellek sınırı, Maurizio Cammalleri'nin saf C ile yazdığı Janas-LLM motoruyla aşılıyor. İşletim sistemi sayfa önbelleğini (page cache) O_DIRECT ile baypas eden ve MoE uzmanlarını NVMe SSD'den doğrudan akıtan bu sıra dışı mimarinin kaputunun altına iniyoruz.
Kurban Rolü Oynayan 350.000 Hayalet: Apate.ai, Otonom Karşı-Ajan Filosu ve Aktif Siber İstihbarat Mimarisi
Geleneksel güvenlik duvarları dolandırıcıları sadece engellerken, Apate.ai 350.000 otonom yapay zeka ajanından oluşan filosuyla saldırganları saatlerce telefonda ve mesajlaşma ağlarında oyalıyor. 2,5 milyon sahte görüşmeyle dolandırıcıların 17 yılını çalan bu aktif "AI Scambaiting" mimarisinin derinliklerini inceliyoruz.