Sürekli Perceptron

Kararla Birlikte Güven

Hafta 4'ün perceptronu yalnız “evet / hayır” diyordu. Basamağın yerine σ koyunca nöron ne kadar emin olduğunu da söyler; doğru hata ölçüsüyle (çapraz entropi) kural yine yalın kalır. Kapsam: hâlâ tek nöron / tek katman.

🗺️ H3–H5 tek katman → H6 çok katmanlı ağ → H7 geri yayılım. Bugünkü nöron tek katmanın en çok kullanılan hâli: istatistikte ve tıpta her gün karşımıza çıkan lojistik nöron.

İki Yarım, Bir Bütün

H4'ün sonunda söz vermiştik: “ikisinin iyi yanlarını birleştiren sürekli perceptron”. Köprü, hata ölçüsünü değiştirmek: MSE → çapraz entropi. Neden işe yaradığını türeteceğiz (Slayt 12).

Sürekli Perceptron

🔈 okunuş: σ “sigma”·λ “lambda”: diklik·e “e sayısı” ≈ 2.718

Zurada, J. M. (1992). Introduction to Artificial Neural Systems. West Publishing (“continuous perceptron”).

λ'yı Çevir, Basamağa Dönüşsün

AND nöronu: w = [2, 2], b = −3. Dene: λ'yı 10'a çıkar → bant incelir, çıktılar 0/1'e yapışır: ayrık perceptron. λ = 0.2 → her yer ≈ 0.5: karar aynı, güven yok. Sarı doğru hiç kıpırdamaz.

Aynı Sınır, Farklı Güven

AND, aynı doğru: 2x₁ + 2x₂ − 3 = 0. İkinci nöronda w ve b'nin hepsi 3 ile çarpıldı: 6x₁ + 6x₂ − 9 = 0.

y Bir Olasılık Gibi: Odds ve Logit

🔈 okunuş: odds “ods”: bahis oranı, “kaça kaç”·ln “doğal logaritma” (e tabanı)·logit “lojit”: odds'un ln'i

H2'de nöronumuzun çıktısını (0.366) “%37 ihtimalle evet” diye okumuştuk; işte hesabı. Net'e 1 eklemek odds'u e ≈ 2.72 ile çarpar; y ≥ 0.9 için net ≥ ln 9 ≈ 2.20 gerekir.

S Eğrisinin Yolculuğu

Aynı eğri üç alanda iş başında: nüfus bilimi, tıp / istatistik, yapay sinir ağları. Ortak ihtiyaç: 0 ile 1 arasında kalan, yumuşak bir eşik.

Verhulst, P.-F. (1845). Recherches mathématiques sur la loi d'accroissement de la population. · Berkson, J. (1944). Application of the logistic function to bio-assay. JASA, 39, 357–365. · Cox, D. R. (1958). The regression analysis of binary sequences. JRSS B, 20(2), 215–242.

Hangi Hata? MSE mi, Çapraz Entropi mi?

🔈 okunuş: CE “çapraz entropi” (cross-entropy, log-loss)·d = 1 ise E_CE = −ln y, d = 0 ise −ln(1 − y)

Çapraz Entropi Nereden Geliyor?

🔈 okunuş: P(d | x) “x verildiğinde d'nin olasılığı”·∏ “çarpım” (Σ'nın çarpma hâli)·L “olabilirlik” (likelihood)

AND nöronu (Slayt 6) doğru etiketlere 0.953, 0.731, 0.731, 0.731 olasılık veriyor → L = 0.372 → −ln L / 4 = 0.247: tablodaki ortalama CE.

Emin Ama Yanlış: Kim Daha Çok İter?

Adımın boyu gradyanın boyuyla orantılı. MSE'de y(1 − y) çarpanı (σ′) en çok yanıldığı yerde gradyanı söndürür: doyma (H3). CE'de gradyan d − y: ne kadar yanlışsa o kadar iter.

Türevde f′ Sadeleşir

Tek Adım: MSE mi, CE mi?

x = (1, 1), d = 1, w = [−1, −1], b = 0.5, η = 1 → net = −1.5, y = σ(−1.5) = 0.1824: %82 emin “0” diyor, ama cevap 1.

Çukur mu, Plato mu?

Tek girdili veri: x = −3, −2, −1, 1, 2, 3 → d = 0, 0, 1, 0, 1, 1 (ayrılamaz, en iyisi 4/6). Toplu gradyan inişi, η = 2. (−4, 3)'ten MSE düz bir platoda takılır (500 epoch sonra E = 0.333, 2/6 doğru); CE 10 epoch'ta dibe yaklaşır. CE yüzeyi dışbükey: tek çukur.

Neden Çapraz Entropi?

Aynı AND, aynı başlangıç (Hafta 2'nin nöronu), örnek örnek güncelleme. Güven = en zayıf örnekte doğru sınıfa verilen olasılık.

Sürekli Perceptron Eğitimi: Ne Zaman Durur?

w = küçük_rastgele()                # ya da Hafta 2'nin nöronu
for epoch in range(max_epoch):
    for x, d in veri:               # x'in sonunda 1 → bias dahil
        y = sigmoid(w @ x)          # 0 ile 1 arası: "güven"
        w = w + eta * (d - y) * x   # her örnekte, yanıldığı kadar
    E = ortalama_CE(veri)
    if E < eps: break               # ya da: doğrulama hatası artınca (H8)

Sürekli Perceptron Adım Adım

Varsayılan: AND, CE, η = 2, başlangıç Hafta 2'nin nöronu (H3'teki Delta demosuyla aynı). 50. epoch'ta w = [6.32, 6.21, −9.39]: kod slaytıyla aynı (Slayt 24). MSE'ye geç: aynı 50 epoch'ta [2.90, 2.83, −4.28], H3'teki sayı.

Ayrılabilir Veride ‖w‖ Hiç Durmaz

AND ayrılabilir: w büyüdükçe CE hep biraz daha düşer → ‖w‖ hiç durmaz (her 10 kat epoch'ta ≈ +5…6). L2 freni (ağırlık sönümü): w ← w + η(d − y)x − ηα·w (bias hariç). α = 0.01 ile ‖w‖ = 5.64'te durur; α = 0.1 fazla: model yanlışa razı olur. Ayrıntısı H8

XOR'da: “Bilmiyorum” Demeyi Öğrenir

Toplu (batch) CE gradyan inişi, η = 0.5, başlangıç Hafta 2'nin nöronu. Unipolar XOR: d = 0, 1, 1, 0.

Iris: Ayrık mı, Sürekli mi?

H4'teki ayar: versicolor / virginica, petal ölçüleri, dönüşümlü sıra, standart ölçek, η = 0.1, w₀ = 0. Perceptron epoch sonunda 5 ile 6 hata arasında gidip gelir; sürekli perceptron 6 hatada durulur, w yerine oturur. En iyi doğru 3 hata yapıyor: sürekli onu neden bulmuyor? →

Hata Sayısı mı, Olasılık mı?

İkiden Fazla Sınıf: Softmax

🔈 okunuş: softmax “soft-maks”: yumuşak argmax·t_k: doğru sınıfta 1, diğerlerinde 0·p_d: doğru sınıfın olasılığı

Bridle, J. S. (1990). Probabilistic interpretation of feedforward classification network outputs… Neurocomputing, NATO ASI F68, 227–236.

Softmax: Üç Iris Türü

150 çiçek, petal uzunluğu ve genişliği (standart), 3 × (w₁, w₂, b), W₀ = 0, η = 0.1, örnek örnek. 1 epoch'ta 142/150; 20 epoch'ta 144/150 (%96), CE 0.095. Tuvale tıkla: o ölçüdeki bir çiçek için üç olasılık.

Sürekli Perceptron, Sıfırdan

import torch
import torch.nn.functional as F
X = torch.tensor([[0., 0.], [0., 1.], [1., 0.], [1., 1.]])
d = torch.tensor([0., 0., 0., 1.])                              # AND
w, b, eta = torch.tensor([0.5, -0.25]), torch.tensor(0.2), 2.0  # Hafta 2'nin nöronu
for epoch in range(1, 51):
    for x, t in zip(X, d):                    # örnek örnek (online)
        y = torch.sigmoid(w @ x + b)
        w = w + eta * (t - y) * x             # Δw = η(d − y)x : f′ yok!
        b = b + eta * (t - y)
    if epoch in (1, 10, 50):
        E = F.binary_cross_entropy(torch.sigmoid(X @ w + b), d)  # ortalama CE
        print(epoch, round(E.item(), 4))
# 1 0.988
# 10 0.1233
# 50 0.0322
print(w, b)                 # tensor([6.3183, 6.2145]) tensor(-9.3882)
torch.sigmoid(X @ w + b)    # tensor([8.3698e-05, 4.0167e-02, 4.4365e-02, 9.5869e-01])

H3'teki Delta kodundan farkı güncellemede (9–10. satırlar): δ = (t − y)·y(1 − y) yerine yalnız (t − y). Canlı demonun (Slayt 17) varsayılanıyla aynı sayılar. İlk epoch'ta E 0.77'den 0.99'a çıktı (η = 2 büyük), sonra hızla düştü.

Hazır Kayıplar: Logit Ver

import torch
import torch.nn.functional as F
z, t = torch.tensor([-120.]), torch.tensor([1.])     # çok emin ve yanlış: net = −120, d = 1
torch.sigmoid(z)                                      # tensor([0.])  → ln 0 = −∞ !
F.binary_cross_entropy(torch.sigmoid(z), t)           # tensor(100.)  ← ln, −100'de kırpılır
F.binary_cross_entropy_with_logits(z, t)              # tensor(120.)  ← doğru: −ln σ(−120) ≈ 120
net = torch.tensor([2.0, 1.0, 0.1])                   # 3 sınıfın net'leri (logit)
torch.softmax(net, dim=0)                             # tensor([0.6590, 0.2424, 0.0986])
F.cross_entropy(net.unsqueeze(0), torch.tensor([0]))  # tensor(0.4170) = −ln 0.659

Dört Kural, Tek Tablo

H4'teki söz tutuldu: perceptronun yalın kuralı (d − y) + Delta'nın türevli, ayrılamaz veride de anlamlı hedefi. Bedeli: kendiliğinden durmaz, ayrılabilir veride ‖w‖ büyür (Slayt 18).

Sürekli Perceptron = Lojistik Regresyon

Bu Hafta Ne Öğrendik?

🗺️ Tek katmanın son durağı. XOR hâlâ çözülmedi: H6'da gizli katman ekliyoruz.

Sürekli Perceptronu Kendin Kodla

İpucu (toplu güncelleme): w = w + eta * (d - torch.sigmoid(Xb @ w)) @ Xb / len(d), burada Xb = [X | 1].