Ayrık Perceptron

Türevsiz Öğrenme

Hafta 3'te basamaklı nöron Delta ile öğrenemedi (f′ = 0). Rosenblatt'ın perceptronu türev kullanmadan öğrenir; ama garantisi yalnız doğrusal ayrılabilir problemlerde. Kapsam: hâlâ tek nöron / tek katman.

🗺️ H3–H5 tek katman → H6 çok katmanlı ağ → H7 geri yayılım. Bugün tek katmanın sınırını çiziyoruz: neyi garanti öğrenir, neyi asla öğrenemez?

İki Sorun, Bir Kural

Bedeli: garanti yalnız doğrusal ayrılabilir problemlerde. Bu haftanın hikâyesi bu →

Öğrenen İlk Makine

McCulloch–Pitts nöronunun (1943) ağırlıklarını biz seçiyorduk (H2). Rosenblatt, ağırlıklarını örneklerden kendisi ayarlayan bir makine önerdi.

Beklenti çok yüksekti; sınırları 11 yıl sonra kanıtlanacaktı (Slayt 22) →

Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386–408.

Mark I: Kablolarla Öğrenme

Ayrık Perceptron

net Aslında Bir Uzaklık

Hafta 2: bir nöron = bir karar doğrusu (w doğruya dik, b kaydırır). Bugün bir adım öte: net sayısı neyi ölçüyor?

🔈 okunuş: ‖w‖ “w'nin normu”: uzunluğu, √(w₁² + w₂²); H3'te |w| yazdık·⟂ “diktir”

Son gözlem, perceptron'da η'nın neden önemsiz olabildiğini açıklayacak (Slayt 14). Önce elle deneyelim →

w'yi Döndür, Sınırı İzle

Dene: ölçeği değiştir → sınır yerinde kalır, net büyür ya da küçülür, uzaklık aynı. Kaymayı değiştir → b değişir, sınır kendine paralel kayar.

Perceptron Kuralı: Yalnız Yanılınca

H3'teki kalıp: Δw = η·r·x. Perceptron'da r = d − y: Widrow–Hoff'un d − net'i yerine basamaklı çıktı. Türetilmedi, Rosenblatt'ın sezgisi; ama yakınsaması kanıtlı (Slayt 19).

Güncelleme w'yi Döndürür

Sadelik için bias yok (sınır orijinden geçer), η = 0.5 → yanlışta w ← w + d·x. Her düzeltme o örneğin net'ini doğru yöne ‖x‖² kadar iter; ama başka bir örneği bozabilir → bu yüzden epoch'larca döneriz.

Perceptron'u Elle Çalıştır

Bipolar AND, w₀ = [0, 0, 0], η = 0.5 → yanlışta Δw = η(d − y)x = ±x. sgn(0) = +1.

Sonuç: w = [1, 1, −1] → x₁ + x₂ − 1 = 0: yalnız (1, 1) pozitif tarafta. 3 güncelleme; 5. adımdan sonra w'ye hiç dokunulmadı.

Perceptron Adım Adım

Önceki slaytın canlı hâli: bipolar AND, η = 0.5, w₀ = 0. Doğru örnekte d − y = 0 → dokunmaz; bir epoch boyunca hiç yanılmazsa durur.

Perceptron Eğitimi: Ne Zaman Durur?

w = sıfır_vektör()               # ya da küçük rastgele
for epoch in range(max_epoch):    # güvenlik sınırı
    hata = 0
    for x, d in veri:             # x'in sonunda 1 → bias dahil
        y = sgn(w @ x)
        if y != d:                # yalnız yanılınca
            w = w + eta * (d - y) * x
            hata += 1
    if hata == 0: break           # bir tur hatasız → DUR

w₀ = 0 iken η Önemsiz

Aynı AND, Üç Kural

Üçü de Δw = η·r·x kalıbında (H3); fark yalnız r'de. Bipolar AND, w₀ = 0, 400 adım:

Perceptron'un bedeli: “en iyi” sınırı değil, ilk bulduğu ayırıcı sınırı verir; sınır bir örneğe çok yakın geçebilir (marj: Slayt 21).

Doğrusal Ayrılabilirlik

🔈 okunuş: ∃ “vardır” (en az bir tane)·∀ “her … için”·dᵢ “d i”: i. örneğin hedefi

Hafta 2'de XOR'u kaba kuvvetle denemiştik: 15.625 kombinasyonun en iyisi 3/4. Şimdi bunun şans değil, zorunluluk olduğunu kanıtlayalım →

XOR Neden İmkânsız?

0/1 girdiler, y = 1 ⇔ net ≥ 0. XOR'u veren w₁, w₂, b olsaydı dört koşul aynı anda sağlanmalıydı:

Hiçbir w₁, w₂, b XOR'u veremez. ∎ Hafta 2'deki 3/4 tavanı şanssızlık değil, matematik.

🔈 okunuş: ∎ “ispat bitti”·⇔ “ancak ve ancak”: iki yönlü “ise”

XOR'da Perceptron: Sonsuz Döngü

Bipolar XOR, aynı ayarlar (η = 0.5, w₀ = 0). 4 adım sonra w yine [0, 0, 0]: aynı dört adım sonsuza kadar tekrar eder. Ayrılamayan veride perceptron hiç durmaz → max_epoch şart.

Perceptron Yakınsama Teoremi

🔈 okunuş: γ “gama”: marj·w* “w yıldız”: ideal ayırıcı·R: en uzun girdi

Sınır kötümser ama sonlu: durma garantisi (Novikoff, 1962). γ küçüldükçe sınır büyür (Slayt 21).

İki Eşitsizlik, Bir Sınır

η = 1 alalım (w₀ = 0 iken η yalnız ölçek). k. hatada w ← w + d·x; hata anında d·wᵀx ≤ 0 (yanlış taraf).

Sezgi: w, w*'a doğrusal hızla yaklaşırken boyu yalnız karekök hızla uzuyor. İkisinin oranı (aradaki açının kosinüsü) 1'i aşamayacağı için hata sayısı sınırlı.

Sınıflar Yaklaşınca Ne Olur?

Her kaydırmada perceptron w₀ = 0'dan baştan eğitilir (30 nokta). Boşluk küçüldükçe sınır (R/γ)² hızla büyür; 0'ın altına inince sınıflar iç içe geçer: ayrılamaz → durmaz.

Perceptrons ve YZ Kışı

Bugün çizdiğimiz sınır tam bu: tek katman neyi garanti öğrenir, neyi asla öğrenemez? Sınırı aşmanın bir yolu: boyut eklemek →

Minsky, M. & Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press.

Katman Eklemeden: Boyut Ekle

Doğru öznitelik eklenince XOR ayrılabilir olur. RBF ağları bu fikri sistematik kullanır H10; gizli katman ise öznitelikleri kendisi öğrenir H6–H7

İkiden Fazla Sınıf: Sınıf Başına Bir w

3 sınıf × (w₁, w₂, b). Yanlışta doğru sınıfın w'si x'e yaklaşır, yanlış kazananınki uzaklaşır. Bölgelerin sınırları yine doğrusal; 2 sınıfta bu, bildiğimiz perceptron kuralına iner.

Iris Çiçekleri: Perceptron Canlı

Fisher'ın (1936) ünlü verisi: 150 çiçek, 3 tür, 4 ölçüm (cm). Burada 2 tür × 50 çiçek, 2 ölçüm; η = 0.1, w₀ = 0. Varsayılan ayar, sonraki slayttaki kodla aynı.

Perceptron, Sıfırdan

import torch
from sklearn.datasets import load_iris
iris = load_iris()
X = torch.tensor(iris.data[:100, [0, 2]], dtype=torch.float32)  # sepal ve petal uzunluğu (cm)
d = torch.tensor([-1.] * 50 + [1.] * 50)                         # setosa −1, versicolor +1
w, b, eta = torch.zeros(2), torch.tensor(0.), 0.1

for epoch in range(1, 21):                       # max_epoch = 20
    hata = 0
    for x, t in zip(X, d):
        y = 1. if w @ x + b >= 0 else -1.        # sgn(0) = +1
        if y != t:                               # yalnız yanılınca
            w = w + eta * (t - y) * x
            b = b + eta * (t - y)
            hata += 1
    print(epoch, hata)
    if hata == 0: break                          # bir tur hatasız → DUR
# 1 2 | 2 2 | 3 3 | 4 2 | 5 1 | 6 0
print(w, b)       # tensor([-0.6800,  1.8200]) tensor(-0.4000)

Önceki slayttaki canlı demonun varsayılan ayarıyla birebir aynı sayılar: 2, 2, 3, 2, 1, 0. Hazır sürümü de var: sklearn.linear_model.Perceptron.

Ayrılamayan Veri: Cep Algoritması

Gallant, S. I. (1990). Perceptron-based learning algorithms. IEEE Transactions on Neural Networks, 1(2), 179–191.

Perceptron · Widrow–Hoff · Delta

Perceptron sınıflandırma odaklı, Widrow–Hoff ve Delta hata odaklı. H5'te ikisinin iyi yanlarını birleştiren sürekli perceptronu göreceğiz.

Bu Hafta Ne Öğrendik?

🗺️ Hâlâ tek katman. H5: basamağın yerine σ, yani türevli ve “ne kadar emin” diyen perceptron.

Perceptron'u Kendin Kodla

İpucu: XOR için X = [[1, 1], [1, −1], [−1, 1], [−1, −1]], d = [−1, 1, 1, −1].