İçeriğe geç
Akış

LSTM Nasıl Hatırlar? Unutma, Giriş ve Çıkış Kapıları Tek Bir Hesapla

LSTM nedir, nasıl çalışır? RNN'lerin neden unuttuğu, unutma, giriş ve çıkış kapıları, hücre durumu güncellemesinin sayısal örneği ve GRU farkı.

İki eliyle akıllı telefonun ekran klavyesinde mesaj yazan bir kişi
Kısa cevap: LSTM (Long Short-Term Memory, uzun kısa süreli bellek), sıralı verilerdeki uzun vadeli bağlantıları hatırlayabilen özel bir tekrarlayan sinir ağı (RNN) türüdür. Unutma, giriş ve çıkış adı verilen üç kapı, hücre durumunda hangi bilginin silinip hangisinin saklanacağına karar verir. Metin, konuşma ve zaman serisi tahmininde kullanılır.

“Ali sabah markete gitti, ekmek ve süt aldı, sonra eve dönüp kahvaltısını …” cümlesini tamamlamak için baştaki öznenin kim olduğunu hatırlamak gerekir. Telefon klavyesindeki kelime önerisi, sesli asistanların konuşmayı yazıya dökmesi ya da yarınki elektrik tüketiminin tahmini de aynı ihtiyaca dayanır: Geçmişte görülen bilgiyi uygun anda kullanmak. LSTM bu iş için tasarlanmış bir ağ yapısıdır. Aşağıda önce sıradan RNN’lerin neden unuttuğunu, sonra LSTM kapılarının küçük bir sayısal örnekle nasıl çalıştığını görebilirsiniz.

İçindekiler (6 başlık)
  1. RNN nedir, neden unutur?
  2. LSTM nedir?
  3. LSTM kapıları nasıl çalışır?
  4. Örnek: Bir adımda hücre durumunun güncellenmesi
  5. LSTM nerelerde kullanılır?
  6. Sık sorulan sorular

RNN nedir, neden unutur?

Klasik bir yapay sinir ağı her girişi birbirinden bağımsız işler. Tekrarlayan sinir ağı (RNN) ise sıradaki her adımda hem yeni girişi hem de bir önceki adımdan gelen gizli durumu (hidden state) alır. Bu gizli durum, ağın o ana kadar gördüklerinin kısa bir özetidir; böylece cümledeki kelimeler ya da günlük satış rakamları sırayla işlenebilir.

Sorun eğitim sırasında ortaya çıkar. Ağ gradyan inişi ile öğrenirken hata sinyali zamanda geriye doğru adım adım taşınır ve her adımda tekrar tekrar çarpılır. Çarpılan değerler 1’den küçükse sinyal hızla küçülür: 0,5 ile 10 kez çarpılan bir değer yaklaşık binde bire (0,5¹⁰ ≈ 0,001) düşer. Buna kaybolan gradyan (vanishing gradient) problemi denir. Sonuçta sıradan bir RNN, birkaç adımdan daha eski bilgiyle bağlantı kurmayı pek öğrenemez.

LSTM nedir?

LSTM, 1997’de Sepp Hochreiter ve Jürgen Schmidhuber tarafından bu sorunu çözmek için önerildi. Temel yenilik, gizli durumun yanına eklenen hücre durumudur (cell state). Hücre durumunu, adımlar boyunca akan bir taşıma bandı gibi düşünebilirsiniz: Bilgi bu bant üzerinde çoğunlukla toplama işlemleriyle güncellendiği için uzun mesafelerde kaybolmadan taşınabilir.

Bant üzerinde neyin değişeceğine kapılar karar verir. Her kapı, sigmoid fonksiyonu sayesinde 0 ile 1 arasında değerler üreten küçük bir sinir ağı katmanıdır: 0 “hiç geçirme”, 1 “tamamen geçir” anlamına gelir.

LSTM kapıları nasıl çalışır?

Spiral çizgili deftere kalemle not yazan bir elin yakın çekimi
Deftere not alan bir el. LSTM’in hücre durumu da hangi bilginin yazılıp hangisinin silineceğine kapılarla karar veren bir not defteri gibidir. Fotoğraf: RDNE Stock project / Pexels
KapıSorduğu soruÇıktısı neyi etkiler?Cümle örneği
Unutma kapısı (forget gate)Eski bilginin ne kadarı silinsin?Önceki hücre durumunu çarparYeni bir özne gelince eski öznenin cinsiyet/sayı bilgisini unutmak
Giriş kapısı (input gate)Yeni bilginin ne kadarı yazılsın?Aday değeri hücre durumuna ekler“Ayşe” kelimesi gelince yeni özneyi kaydetmek
Çıkış kapısı (output gate)Hücredeki bilginin ne kadarı dışarı verilsin?Gizli durumu (o adımın çıktısını) belirlerSıradaki fiilin çekimi için özne bilgisini kullanmak

Kapıların sigmoid, aday değerin ise tanh ile hesaplanması tesadüf değildir. Bu iki aktivasyon fonksiyonu, sırasıyla 0–1 arası bir “oran” ve −1 ile 1 arası bir “içerik” üretir.

Örnek: Bir adımda hücre durumunun güncellenmesi

Tek sayılık bir hücre durumu düşünelim. Önceki hücre durumu c = 0,8 olsun. Yeni giriş geldiğinde kapılar şu değerleri üretsin: unutma kapısı f = 0,9, giriş kapısı i = 0,6, aday değer g = 0,5 ve çıkış kapısı o = 0,7. LSTM’in güncelleme kuralı, yeni hücre durumu = f × eski hücre durumu + i × aday değer şeklindedir:

AdımFormülHesapSonuç
Eski bilgiden kalanf × c0,9 × 0,80,72
Eklenen yeni bilgii × g0,6 × 0,50,30
Yeni hücre durumuf × c + i × g0,72 + 0,301,02
Gizli durum (çıktı)o × tanh(yeni c)0,7 × tanh(1,02) ≈ 0,7 × 0,77≈ 0,54

Unutma kapısı 0,9 olduğu için eski bilginin yüzde 90’ı korundu ve üstüne yeni bilgi eklendi. Unutma kapısı 0,1 olsaydı eski bilgiden yalnızca 0,08 kalır, hücre durumu 0,38’e düşerdi. Ağın asıl öğrendiği şey, hangi durumda bu kapıları açıp kapatacağıdır.

LSTM nerelerde kullanılır?

Alt kısmında mavi ışık halkası yanan küre biçimli akıllı hoparlör
Işık halkası yanan bir akıllı hoparlör. Konuşmayı sırayla işleyip yazıya dökmek, LSTM’lerin bilinen kullanım alanlarından biridir. Fotoğraf: Jonathan Borba / Pexels
  • Zaman serisi tahmini: Elektrik tüketimi, satış ya da sensör verilerinde geçmiş haftalara bakarak sonraki değeri tahmin etmek.
  • Konuşma tanıma: Ses parçalarını sırayla işleyip yazıya dökmek.
  • Metin üretimi ve klavye önerisi: Önceki kelimelere bakarak sıradakini tahmin etmek.
  • Makine çevirisi: Transformer’dan önce çeviri sistemlerinde kodlayıcı-çözücü yapılarında yaygın biçimde kullanıldı.
  • Anomali tespiti: Normal davranış dizisinden sapan makine ya da ağ trafiği kayıtlarını bulmak.

Doğal dil işleme alanında bugün öne çıkan modeller çoğunlukla Transformer mimarisine dayanıyor. Transformer tüm diziyi aynı anda işleyebildiği için büyük veride daha hızlı eğitilir. Yine de LSTM, daha küçük veri setlerinde, cihaz üzerinde çalışan uygulamalarda ve zaman serisi problemlerinde hâlâ kullanılan bir seçenektir.

Sık sorulan sorular

LSTM ile RNN arasındaki fark nedir?

LSTM bir RNN türüdür. Sıradan RNN’de yalnızca gizli durum vardır ve uzun dizilerde eski bilgi kaybolur. LSTM, kapılarla yönetilen ayrı bir hücre durumu ekleyerek uzun vadeli bağlantıları öğrenebilir.

GRU nedir, LSTM’den farkı ne?

GRU (Gated Recurrent Unit), LSTM’in sadeleştirilmiş bir çeşididir. Unutma ve giriş kapılarını tek bir güncelleme kapısında birleştirir ve ayrı hücre durumu tutmaz. Daha az parametresi olduğu için genellikle daha hızlı eğitilir.

Bi-LSTM ne demek?

Çift yönlü (bidirectional) LSTM, diziyi hem baştan sona hem sondan başa işleyen iki LSTM’in çıktısını birleştirir. Bir kelimenin anlamı sonraki kelimelere de bağlı olduğunda faydalıdır.

LSTM eskidi mi?

Büyük dil modellerinde yerini büyük ölçüde Transformer’a bıraktı. Ancak zaman serisi tahmini, küçük veri ve düşük donanımlı cihazlar gibi alanlarda hâlâ yaygın olarak kullanılıyor.

Kaynaklar

Bu yazı faydalı oldu mu?

Yazar

InFreza

622 yazı

InFreza; teknoloji, bilim, sağlık, otomobil, felsefe, sanat ve dizi-film konularında Türkçe açıklayıcı yazılar ve rehberler yayımlayan bir içerik sitesidir. Yazılar yayımlanmadan önce kaynak, bağlantı ve biçim kontrollerinden geçer; yararlanılan kaynaklar yazıların sonundaki…