İçeriğe geç
Akış

Karar Ağacı Nedir? Algoritma Nasıl Çalışır, Örnek Gini Hesabı

Karar ağacı nedir, algoritma bir sonraki soruyu nasıl seçer? Kök, dal ve yaprak düğümler, elle çözülmüş Gini örneği, avantajlar ve budama.

Açık bir çayırda dallarını genişçe yaymış tek başına duran yaprakız bir ağaç
Kısa cevap: Karar ağacı, veriyi evet-hayır sorularıyla adım adım bölerek sınıflandırma ya da tahmin yapan bir makine öğrenmesi algoritmasıdır. Kök düğümden başlar, dallar boyunca koşulları kontrol eder ve yapraklarda sonuca ulaşır. Anlaşılması kolaydır ama derinliği sınırlanmazsa eğitim verisini ezberleyebilir.

Bir bankanın kredi başvurusunu “gelir 20 binin üstünde mi, mevcut borç var mı” gibi sorularla değerlendirmesi, karar ağacının mantığını gündelik dille anlatır. Aşağıda ağacın parçalarını, bir sonraki soruyu nasıl seçtiğini ve 10 günlük piknik verisiyle elle çözülmüş bir Gini hesabını bulacaksınız.

İçindekiler (8 başlık)
  1. Karar ağacı ne demek?
  2. Karar ağacının parçaları nelerdir?
  3. Karar ağacı algoritması nasıl çalışır?
  4. Örnek problem: pikniğe gidilir mi?
  5. Avantajları ve dezavantajları neler?
  6. Aşırı büyüyen ağaç nasıl budanır?
  7. Karar ağacı nerelerde kullanılır?
  8. Sık sorulan sorular

Karar ağacı ne demek?

IBM’in tanımına göre karar ağacı, hem sınıflandırma hem de regresyon görevlerinde kullanılan, parametrik olmayan bir denetimli öğrenme algoritmasıdır. Yani model, doğru cevapları bilinen örneklerden öğrenir; bu açıdan denetimli makine öğrenmesi ailesine girer.

Sınıflandırmada sonuç bir etikettir: “e-posta spam mi, değil mi?” Regresyonda ise bir sayıdır: “bu evin metrekaresine ve konumuna göre kira kaç lira olur?” Her iki durumda da ağaç, sorduğu sorularla veriyi giderek daha benzer gruplara ayırır.

Karar ağacının parçaları nelerdir?

Toprağa yayılmış kalın kökleri ve yukarıda dalları görünen yaşlı bir ağaç gövdesi
Gerçek bir ağaçta kökler aşağıda, dallar yukarıdadır. Karar ağacı diyagramları ise genellikle ters çizilir, kök en üstte durur. Fotoğraf: Emma Henderson / Unsplash

Ağaç, adını gerçek bir ağaca benzeyen yapısından alır, ancak genellikle ters çizilir: kök yukarıda, yapraklar aşağıdadır. Kredi örneğinde parçalar şöyle eşleşir:

ParçaNe işe yarar?Kredi örneğinde
Kök düğümİlk ve en ayırt edici soruAylık gelir 20.000 TL’nin üstünde mi?
İç (karar) düğümAra sorularBaşka bir kredi borcu var mı?
DalSorunun bir cevabı (evet/hayır)“Evet” ya da “Hayır” yolu
Yaprak düğümSon karar, artık soru sorulmazOnayla / Reddet

Örnekteki 20.000 TL eşiği yalnızca açıklama amaçlıdır. Gerçek bir modelde bu eşiği algoritma, eğitim verisine bakarak kendisi bulur.

Karar ağacı algoritması nasıl çalışır?

IBM’in açıklamasına göre karar ağacı öğrenmesi “böl ve yönet” stratejisi izler ve her adımda en iyi bölme noktasını açgözlü (greedy) bir aramayla seçer. Süreç kabaca şu sırayla ilerler:

  1. Tüm eğitim verisi kök düğüme konur.
  2. Her özellik ve olası eşik için “bu soruyla bölersem gruplar ne kadar saflaşır?” diye bakılır.
  3. Grupları en çok saflaştıran soru seçilir ve veri ikiye ayrılır.
  4. Aynı işlem her alt grupta tekrar edilir.
  5. Grup tamamen tek sınıftan oluşunca ya da belirlenen derinlik sınırına gelince yaprak oluşturulur.

“Saflık” ölçmek için en yaygın iki ölçüt Gini safsızlığı ve entropidir. IBM’in özetine göre Ross Quinlan’ın geliştirdiği ID3 entropi ve bilgi kazancını, onun devamı olan C4.5 bilgi kazancı ya da kazanç oranını, Leo Breiman’ın tanıttığı CART ise genellikle Gini safsızlığını kullanır. Her iki ölçütte de değer ne kadar düşükse grup o kadar saftır.

Örnek problem: pikniğe gidilir mi?

Güneşli bir parkta çimlere serilmiş örtü üzerinde piknik yapan bir aile
Parkta piknik yapan bir aile. Örnekteki model, geçmiş günlere bakarak pikniğe gidilip gidilmeyeceğini tahmin ediyor. Fotoğraf: Kampus Production / Pexels

Bir aile, geçmiş 10 hafta sonunda pikniğe gidip gitmediğini not etmiş olsun: 6 gün gitmiş, 4 gün gitmemiş. Bu örnek veri setinde ağacın ilk sorusunu “yağmur var mı?” ile “rüzgâr var mı?” arasından seçmesi gerekiyor.

Gini safsızlığı, bir gruptaki sınıf oranlarının kareleri toplamının 1’den çıkarılmasıyla bulunur. Başlangıçtaki grup için: 1 − (0,6² + 0,4²) = 1 − 0,52 = 0,48.

SoruGrupGitti / GitmediGini
Yağmur var mı?Evet (4 gün)1 / 30,375
Hayır (6 gün)5 / 10,278
Rüzgâr var mı?Evet (5 gün)2 / 30,48
Hayır (5 gün)4 / 10,32

Her sorunun toplam puanı, grup Gini değerlerinin gün sayısına göre ağırlıklı ortalamasıdır. Yağmur için: 0,4 × 0,375 + 0,6 × 0,278 ≈ 0,317. Rüzgâr için: 0,5 × 0,48 + 0,5 × 0,32 = 0,40. Yağmur sorusu safsızlığı 0,48’den 0,317’ye, rüzgâr sorusu ise yalnızca 0,40’a indirdiği için ağaç ilk soru olarak yağmuru seçer. Ardından “yağmur yok” grubundaki tek hatalı günü ayırmak için rüzgâr ya da sıcaklık gibi bir sonraki soruya bakar.

Avantajları ve dezavantajları neler?

scikit-learn belgeleri karar ağaçlarının güçlü ve zayıf yönlerini açıkça sıralar. Bunların başlıcaları:

  • Yorumlanabilir: Ağaç çizilebilir ve her kararın nedeni basit “eğer… ise” kurallarıyla açıklanabilir. Bu yüzden “beyaz kutu” model sayılır; yapay sinir ağları gibi kara kutu modellerden farklıdır.
  • Az veri hazırlığı ister: Birçok yöntemin aksine verinin ölçeklenmesi (normalizasyon) gerekmez; sayısal ve kategorik verilerle çalışabilir.
  • Aşırı öğrenmeye yatkındır: Sınırlanmayan bir ağaç, her örnek için ayrı bir yaprak açarak veriyi ezberleyebilir. Bu sorun overfitting olarak bilinir.
  • Kararsızdır: Verideki küçük bir değişiklik bambaşka bir ağaç üretebilir.
  • Kesin en iyi ağacı bulamaz: En iyi ağacı bulmak hesaplama açısından çok zor bir problem olduğundan algoritmalar her düğümde yerel olarak en iyi görünen bölmeyi seçer.

Aşırı büyüyen ağaç nasıl budanır?

scikit-learn, aşırı öğrenmeye karşı budama, yapraktaki en az örnek sayısını belirleme ve ağacın en büyük derinliğini sınırlama gibi önlemler önerir. Piknik örneğinde derinliği 2 ile sınırlamak, ağacın “o gün kuzenler gelmişti” gibi tek seferlik ayrıntıları kural sanmasını engeller.

Kararsızlık sorununun çözümü ise çok sayıda ağacı birlikte kullanmaktır. Google’ın karar ormanları kursunda anlatıldığı gibi rastgele orman (random forest) ve gradyan artırmalı ağaçlar (gradient boosted trees), tek tek karar ağaçlarının üzerine kurulur ve tek bir ağaçtan genellikle daha kararlı sonuç verir.

Karar ağacı nerelerde kullanılır?

Kararın gerekçesinin açıklanması gereken her alanda tercih edilir. Kredi ve sigorta başvurularının ön değerlendirmesi, müşterinin aboneliği bırakma ihtimalinin tahmini, üretim hattında kusurlu parçanın hangi ölçümle ayrıldığının bulunması ve e-postaların sınıflandırılması tipik örneklerdir. Tablo biçimindeki verilerde, derin öğrenme modellerine göre daha az veri ve işlem gücüyle çalışabilmesi de avantajıdır.

Sık sorulan sorular

Karar ağacı yapay zeka mıdır?

Evet, veriden kendi kurallarını çıkaran bir makine öğrenmesi algoritmasıdır ve makine öğrenmesi yapay zekânın bir alt alanıdır. Ancak elle çizilen karar ağacı diyagramları (örneğin işletme derslerindeki karar analizi) öğrenme içermez.

Gini ile entropi arasında hangisi daha iyi?

İkisi de grubun ne kadar karışık olduğunu ölçer ve çoğu zaman benzer ağaçlar üretir. Gini’nin hesabı logaritma içermediği için biraz daha basittir.

Karar ağacı oluşturmak için kod bilmek gerekir mi?

Küçük bir veride, yukarıdaki piknik örneğinde olduğu gibi kâğıt kalemle hesaplanabilir. Gerçek verilerde Python’daki scikit-learn kütüphanesinin DecisionTreeClassifier sınıfı birkaç satır kodla ağaç kurar.

Random forest ile karar ağacı aynı şey mi?

Hayır. Random forest, farklı veri ve özellik alt kümeleriyle eğitilmiş çok sayıda karar ağacının oylamasıyla karar veren bir topluluk modelidir.

Kaynaklar

Bu yazı faydalı oldu mu?

Yazar

InFreza

622 yazı

InFreza; teknoloji, bilim, sağlık, otomobil, felsefe, sanat ve dizi-film konularında Türkçe açıklayıcı yazılar ve rehberler yayımlayan bir içerik sitesidir. Yazılar yayımlanmadan önce kaynak, bağlantı ve biçim kontrollerinden geçer; yararlanılan kaynaklar yazıların sonundaki…