İçeriğe geç
Akış

Embedding Nedir? Vektörler ve Anlamsal Arama

Embedding nedir, nasıl çalışır? Kelime ve cümle vektörlerini, benzerlik ölçümünü, vektör veritabanını ve anlamsal aramayı örneklerle öğrenin.

Embedding nedir yazısının kapağı: birbirine bağlı kürelerden oluşan moleküler model grafiği

Embedding (Türkçede “gömme” ya da “vektör temsili”), bir kelimeyi, cümleyi, görseli veya başka bir veriyi, anlamını yansıtan bir sayı listesine (vektöre) dönüştürme yöntemidir. Anlamca birbirine yakın içerikler bu sayı uzayında da birbirine yakın konumlanır. Böylece bilgisayar, “araba” ile “otomobil” kelimelerinin farklı yazıldığı halde benzer anlama geldiğini hesaplayabilir.

İçindekiler (9 başlık)
  1. Embedding nedir?
  2. Embedding nasıl çalışır?
  3. Embedding türleri
  4. Vektör veritabanı ve anlamsal arama
  5. Embedding nerelerde kullanılır?
  6. Embedding ile token arasındaki fark
  7. Basit bir örnek: benzer soruları bulmak
  8. Embedding kullanırken nelere dikkat edilmeli?
  9. Sık sorulan sorular

Aşağıda embedding nedir, nasıl çalışır, vektör veritabanı ve anlamsal arama ile ilişkisi nedir, nerelerde kullanılır sorularını örneklerle anlatıyoruz.

Embedding nedir?

Bilgisayarlar kelimeleri değil sayıları işler. Bir metni yapay zekâ modeline verebilmek için önce sayılara çevirmek gerekir. En basit yöntem, her kelimeye bir sıra numarası vermek ya da her kelime için yalnızca bir hanesi 1 olan uzun bir liste (one-hot kodlama) oluşturmaktır. Ancak bu yöntemlerde “kedi” ile “köpek” arasındaki benzerlik, “kedi” ile “buzdolabı” arasındaki benzerlikten farksızdır; sayılar anlam taşımaz.

Embedding bu sorunu çözer. Her veri parçası, genellikle yüzlerce boyutlu, yoğun (çoğu değeri sıfır olmayan) bir vektörle temsil edilir. Bu vektörlerdeki sayılar bir model tarafından öğrenilir ve anlam ilişkilerini yansıtır.

Google’ın makine öğrenimi kursundaki embedding modülü bunu bir yemek önerisi örneğiyle anlatır: One-hot kodlamada sosisli sandviç ile döner (shawarma) arasındaki benzerlik görünmez; embedding ise bu iki yemeğin, salataya göre birbirine daha benzer olduğunu yakalayabilen daha düşük boyutlu bir temsil sunar.

Embedding nasıl çalışır?

Embedding’i bir harita gibi düşünebilirsiniz. Her kelime ya da cümle bu haritada bir noktadır. Gerçek haritalarda iki boyut (enlem ve boylam) varken embedding haritalarında yüzlerce boyut bulunur; ama mantık aynıdır: Yakın noktalar benzer anlamları temsil eder.

Basitleştirilmiş, temsili bir örnek:

KelimeBoyut 1Boyut 2Boyut 3
kedi0,820,100,45
köpek0,790,140,51
buzdolabı0,050,910,12

Bu tablodaki sayılar gerçek bir modelden alınmamıştır, yalnızca fikri göstermek içindir. “Kedi” ve “köpek” vektörleri birbirine yakın, “buzdolabı” ise uzaktır. Gerçek modellerde tek tek boyutların ne anlama geldiği genellikle insan tarafından doğrudan yorumlanamaz.

Embedding nasıl öğrenilir?

Embedding’ler, bir yapay sinir ağı eğitilirken ortaya çıkar. Örneğin kelime embedding’lerinde temel fikir şudur: Benzer bağlamlarda geçen kelimeler benzer anlamlara sahiptir. “Kahvaltıda ___ içtim” cümlesinde boşluğa “çay” da “kahve” de gelebildiği için model bu iki kelimeyi birbirine yakın konumlandırmayı öğrenir.

Benzerlik nasıl ölçülür?

İki vektörün ne kadar benzer olduğu matematiksel olarak hesaplanır. En yaygın yöntemlerden biri kosinüs benzerliğidir: İki vektörün arasındaki açıya bakar. Açı küçükse vektörler aynı yöne bakıyor, yani anlamca yakın demektir. Bir diğer yöntem, iki nokta arasındaki düz mesafeyi (Öklid uzaklığı) ölçmektir.

Embedding türleri

TürNeyi temsil eder?Örnek kullanım
Word embedding (kelime)Tek kelimelerEş anlamlı kelime bulma
Bağlamsal embeddingCümle içindeki kelime anlamı“Yüz” kelimesinin sayı mı organ mı olduğunu ayırt etme
Cümle / belge embeddingBütün bir metinAnlamsal arama, benzer yazı önerme
Görsel embeddingGörüntülerBenzer ürün fotoğrafı bulma
Çok kipli (multimodal) embeddingMetin ve görseli aynı uzaydaMetinle görsel arama

Eski kelime embedding yöntemlerinde her kelimenin tek bir vektörü vardı; bu yüzden “yüz” kelimesinin farklı anlamları ayırt edilemiyordu. Transformer tabanlı modeller ise kelimenin vektörünü çevresindeki kelimelere göre hesaplayan bağlamsal embedding’ler üretir.

Vektör veritabanı ve anlamsal arama

Embedding’lerin en yaygın pratik kullanımı anlamsal aramadır. Klasik arama, sorgudaki kelimeleri belgelerde birebir arar. Anlamsal arama ise anlamı karşılaştırır.

Anlamsal arama genellikle şu adımlarla çalışır:

  1. Belgeler küçük parçalara bölünür ve her parçanın embedding’i hesaplanır.
  2. Bu vektörler bir vektör veritabanına kaydedilir.
  3. Kullanıcı bir soru sorduğunda sorunun da embedding’i hesaplanır.
  4. Veritabanı, soru vektörüne en yakın belge vektörlerini bulur.
  5. En yakın sonuçlar kullanıcıya ya da bir dil modeline iletilir.

Bu sayede “telefonumun şarjı çabuk bitiyor” diye arayan biri, içinde “pil ömrü” geçen ama “şarj” kelimesi hiç geçmeyen bir yardım makalesine ulaşabilir. IBM’in vektör veritabanı açıklaması, bu tür veritabanlarının yüksek boyutlu vektörleri saklayıp indekslediğini ve benzerliğe göre düşük gecikmeli sorgular yapabildiğini anlatır; ilişkisel veritabanları ise büyük veri kümelerinde bu tür benzerlik aramaları için tasarlanmamıştır.

Bu yapı, büyük dil modellerinin şirket belgeleri gibi kendi bilmediği kaynaklardan yanıt vermesini sağlayan RAG (Retrieval-Augmented Generation) sistemlerinin de temelidir.

Embedding nerelerde kullanılır?

  • Anlamsal arama: Kelime eşleşmesi yerine anlam eşleşmesiyle arama.
  • Öneri sistemleri: Beğendiğiniz ürüne, filme ya da şarkıya vektörce yakın olanları önerme.
  • Kümeleme: Binlerce müşteri yorumunu konularına göre otomatik gruplama.
  • Sınıflandırma: E-postaları spam ya da normal olarak ayırma, metnin duygusunu belirleme.
  • Tekrar tespiti: Aynı sorunun farklı kelimelerle sorulmuş versiyonlarını bulma.
  • Çeviri ve dil işleri: Doğal dil işleme görevlerinin çoğunda metin önce vektörlere çevrilir.

Embedding ile token arasındaki fark

Bu iki kavram sık karıştırılır. Token, metnin model için bölündüğü parçadır (kelime ya da kelime parçası). Embedding ise bu parçaların ya da bütün bir metnin anlamını taşıyan sayı vektörüdür. Kısaca model önce metni token’lara ayırır, sonra her token’ı bir embedding vektörüne çevirerek işlemeye başlar.

Basit bir örnek: benzer soruları bulmak

Bir destek ekibinin binlerce eski müşteri sorusu olduğunu düşünün. Yeni gelen “kargom hâlâ gelmedi” mesajının embedding’i hesaplanır ve eski soruların embedding’leriyle karşılaştırılır. En yakın sonuçlar arasında “siparişim nerede”, “teslimat gecikti” gibi kelimeleri tamamen farklı ama anlamı aynı sorular çıkar. Ekip bu sayede daha önce yazılmış doğru yanıtı hızla bulur.

Embedding kullanırken nelere dikkat edilmeli?

  • Aynı modeli kullanın: Belgeleri bir modelle, soruları başka bir modelle vektöre çevirirseniz vektörler karşılaştırılamaz. Model değiştirirseniz tüm belgelerin embedding’ini yeniden hesaplamanız gerekir.
  • Parça boyutunu iyi seçin: Çok uzun parçalar anlamı bulanıklaştırır, çok kısa parçalar bağlamı kaybeder.
  • Dil desteğini kontrol edin: Türkçe içerik için kullandığınız embedding modelinin Türkçeyi iyi desteklediğinden emin olun.
  • Önyargıya dikkat edin: Embedding’ler eğitim verisindeki toplumsal önyargıları da öğrenebilir.

Sık sorulan sorular

Embedding nedir, kısaca?

Embedding, kelime, cümle veya görsel gibi verileri anlamlarını koruyacak şekilde sayı vektörlerine dönüştürme yöntemidir. Anlamca benzer içerikler birbirine yakın vektörlerle temsil edilir.

Vector embedding nedir?

“Vector embedding” ve “embedding” genellikle aynı anlamda kullanılır. Vurgulanan nokta, temsilin bir sayı vektörü olmasıdır.

Word embedding nedir?

Word embedding, tek tek kelimelerin vektörlerle temsil edilmesidir. Benzer bağlamlarda kullanılan kelimeler birbirine yakın vektörler alır. Word2vec bu alandaki bilinen erken yöntemlerden biridir.

Embedding vektörleri kaç boyutludur?

Bu, kullanılan modele bağlıdır. Boyut sayısı modelden modele değişir; genellikle yüzlerce ile birkaç bin arasındadır. Kesin değer için kullandığınız modelin dokümantasyonuna bakmak gerekir.

Bu yazı faydalı oldu mu?

Yazar

InFreza

536 yazı

InFreza; teknoloji, bilim, sağlık, otomobil, felsefe, sanat ve dizi-film konularında Türkçe açıklayıcı yazılar ve rehberler yayımlayan bir içerik sitesidir. Yazılar yayımlanmadan önce kaynak, bağlantı ve biçim kontrollerinden geçer; yararlanılan kaynaklar yazıların sonundaki…