MUVERA Algoritması: Hız ve Doğruluğun Yeni Formülü

Arama motorları, öneri sistemleri, chatbot’lar… Hepsi bize doğru bilgiye ulaşmak için yardım ediyor. Peki bu sistemler milyarlarca içerik arasından doğru olanı nasıl seçiyor? Ve bunu nasıl hızlı yapıyorlar? Google’ın yeni nesil bilgi arama teknolojisi MUVERA, hem hızı hem de doğruluğu bir araya getiriyor. İşte MUVERA, bu sorunun cevabını yeniden yazıyor.

Bilgi Arama Nedir ve Neden Zordur?

Bugün internet üzerinde milyarlarca belge, görsel, video bulunuyor. Bunlar arasında bir bilgi aradığımızda – örneğin:

• “Everest Dağı’nın yüksekliği kaç metredir?”
• “D vitamini hangi yiyeceklerde bulunur?”
• “Satrançta en hızlı mat nasıl yapılır?”

… sistemin görevi bu soruya en doğru cevabı veren içerikleri bulmaktır. Bu, kulağa kolay gibi gelse de teknik olarak oldukça zordur çünkü:

• Her sorgu farklı şekilde sorulabilir (“D vitamini içeren gıdalar” / “D vitamini hangi besinlerde var?”)
• İlgili belgeler farklı formatlardadır (metin, video açıklaması, ürün yorumu vb.)
• Milyarlarca veri arasından milisaniyeler içinde sonuç vermek gerekir.

İşte bu noktada “embedding” adı verilen özel matematiksel temsiller devreye girer.

Embedding: Bilgiyi Sayıya Dönüştürmek

Yapay zekâ sistemleri, metinleri ya da görselleri anlayabilmek için onları sayılarla temsil eder. Örneğin:

• “D vitamini içeren yiyecekler” → [0.34, -0.21, 0.58, …]
• “Balık, yumurta ve süt ürünleri D vitamini açısından zengindir.” → [0.32, -0.19, 0.60, …]

Bu sayı dizilerine vektör denir. Bu vektörler arasındaki benzerlik, cümlelerin anlamca birbirine ne kadar yakın olduğunu gösterir.

Tek vektörlü modeller: Her belge ya da sorgu tek bir vektörle özetlenir. Hızlı çalışır ama anlamı yakalamakta sınırlı kalabilir.

Çok vektörlü modeller: Belgeyi oluşturan her kelime için ayrı bir vektör üretilir. Yani bir makale 1 değil, belki 100 farklı vektörle temsil edilir. Bu sayede çok daha doğru sonuçlar alınır, ama işlem süresi artar.

Çok Vektörlü Aramanın Sorunu: Doğru ama Yavaş

Diyelim ki elinizde bir yemek tarifi sitesi var ve kullanıcı “vegan protein kaynağı tarif” diye arama yaptı. Çok vektörlü bir sistem, bu aramayı oluşturan her kelimeyi inceler ve:

• “Vegan” için ayrı bir vektör,
• “Protein” için ayrı bir vektör,
• “Tarif” için ayrı bir vektör oluşturur.

Sonra bu vektörleri sitenizdeki binlerce tarifle tek tek karşılaştırır. Her bir karşılaştırma matematiksel olarak karmaşıktır ve çok zaman alır. Özellikle büyük veri setlerinde bu işlem pratikte yavaşlamaya neden olur.

MUVERA ile Tanışın: Hız ve Doğruluğun Yeni Formülü

Google Research tarafından geliştirilen MUVERA teknolojisi, çok vektörlü bu karmaşık sistemi tek vektörlük bir yapıya indirger. Yani “doğruluğu yüksek olan çok vektörlü sistemi, tek vektörlü sistemin hızında çalıştırma” hedefini başarır. Nasıl mı? MUVERA, her belge ya da sorgu için özel bir “sabit boyutlu özet vektör” (Fixed Dimensional Encoding – FDE) üretir. Bu vektör:

• Belge ya da sorgunun anlamını özetler.
• Tıpkı tek vektörlü sistemler gibi çok hızlı taranabilir.
• Ama sonuçlar, neredeyse çok vektörlü sistemler kadar doğru olur.

Gerçek Hayattan Örnekler

MUVERA’nın 3 Adımlı Çalışma Prensibi

MUVERA, karmaşık veri arama sürecini üç ana adımda ele alır:

1. Özetleme (FDE Üretimi)

Bu adımda, çok sayıda vektör tek bir anlamlı ve sabit boyutlu vektöre sıkıştırılır. Bir sorgu veya belge, temsil edildiği birçok vektörün rastgele bölünmüş bir uzayda toplanmasıyla özetlenir. Sorgular için bu vektörler toplanırken, belgeler için ortalaması alınır. Bu ayrım, Chamfer benzerliği gibi asimetrik karşılaştırma yöntemlerinin daha etkili kullanılmasını sağlar; zira sorgunun belgedeki bilgiyi kapsayıp kapsamadığı daha kritik olabilir.

2. Hızlı Arama

Üretilen bu özet vektörler (FDE’ler) kullanılarak, gelişmiş ve hızlı arama teknikleri devreye girer. Bu sayede, potansiyel olarak en alakalı belgeler veya bilgiler milisaniyeler içinde tespit edilir. Bu aşama, büyük veri setlerinde bile hızlı bir ön filtreleme sağlar.

3. Detaylı Kontrol (Re-ranking)

İlk hızlı arama sonucunda bulunan adaylar (genellikle 50-100 adet), daha sonra çok vektörlü yöntemlerle daha hassas bir şekilde yeniden sıralanır. Bu ikinci aşama, en doğru sonuçların listenin en üstünde yer almasını garantiler. Böylece hem hız kazanılır hem de doğruluktan ödün verilmez.

MUVERA’nın Avantajları

• 🚀 %90’a varan hız artışı: Mevcut çok vektörlü sistemlere göre önemli ölçüde daha hızlı çalışır.
• 🎯 %10’a kadar daha yüksek doğruluk: Daha az sayıda belgeyle bile daha isabetli sonuçlar üretir.
• 💾 Daha az bellek kullanımı: Vektörlerin sıkıştırılması sayesinde hafıza kullanımında tasarruf sağlar.
• 🔁 Gerçek zamanlı sistemlere uygunluk: E-ticaret, haber akışları ve anlık yanıt gerektiren chatbot’lar gibi dinamik platformlarda etkin bir şekilde kullanılabilir.

Google, MUVERA’nın kaynak kodlarını GitHub üzerinden açık kaynak olarak paylaşmıştır. Bu durum, geliştiricilerin ve araştırmacıların bu yenilikçi teknolojiyi kendi projelerinde kolayca kullanabilmelerinin önünü açmaktadır.

Teknik Temel: Rastgele Bölme ve Ağaç Kodlama

MUVERA’nın temelini oluşturan Sabit Boyutlu Özet Vektör (FDE) üretimi, “rastgele uzay bölme” ve “ağaç temelli kodlama” gibi ileri düzey matematiksel ve algoritmik kavramlara dayanır. Bu teknikler, daha önce özellikle coğrafi bilgi sistemleri, büyük veri graf analizleri ve olasılıksal veri işleme gibi alanlarda kullanılmıştı. MUVERA, bu mevcut teknikleri arama sistemlerine ilk kez bu denli etkili bir şekilde entegre ederek, çok vektörlü aramayı tek vektörlü sistemlerin hızına yaklaştırmayı başarmıştır. Bu entegrasyon, arama algoritmalarında önemli bir ilerleme olarak kabul edilmektedir.