Yapay Nöron

Dilin İlk Cümlesi

Hafta 1'de dili öğrendik: tensör, nokta çarpım, matris. Bu hafta o dille ilk cümleyi kuruyoruz: tek bir nöron.

Bu hafta ağırlıkları biz vereceğiz. Hafta 3'te nöron onları veriden kendisi öğrenecek.

Biyolojik Nöron

İnsan beyninde yaklaşık 86 milyar nöron; her biri binlerce sinapsla bağlı. Öğrenme = sinaps güçlerinin değişmesi.

Biyolojikten Yapaya

Esin, kopya değil: gerçek nöron zamanda "atım" (spike) üretir, kimyası karmaşıktır. Yapay nöron yalnızca ağırlıklı topla + eşikle fikrini alır.

McCulloch & Pitts: Beyin Bir Mantık Makinesi mi?

McCulloch–Pitts Nöronunun Özellikleri

5. varsayım modelin sınırı: ağırlıkları ve θ'yı biz seçiyoruz. Öğrenmeyi Hebb (1949) ve Rosenblatt (1958) getirecek → H3 H4

AND ve OR: Bir Doğru, İki Bölge

Karar sınırı \( x_1 + x_2 = \theta \) doğrusu; sağ üst taraf ateşler (y = 1).

Girdiler 0/1 olduğundan x₁+x₂ ∈ {0, 1, 2}. AND için 1 < θ ≤ 2, OR için 0 < θ ≤ 1 olan her θ aynı kapıyı verir; doğruları aralığın ortasına (1.5 ve 0.5) çizdik. ● ateşler · ○ ateşlemez

Yapay Nöron

Ağırlıklı toplam = Hafta 1'in nokta çarpımı. Nöronun tüm "zekâsı" w, b ve f'nin seçiminde.

Bias = Eşiğin Öbür Yüzü

Kaynaklarda ikisini de göreceksiniz: erken modeller (McCulloch–Pitts, Rosenblatt) eşik θ ile, PyTorch gibi kütüphaneler ve birçok ders kitabı bias b ile yazar. İkisi aynı şeydir: b = −θ.

Bir Nöronu Elle Çalıştır

McCulloch–Pitts gibi basamak kullandık. Başka bir f seçseydik aynı net bambaşka bir cevap verirdi — aktivasyon bölümünde göreceğiz.

Aynı Hesap, Tensörlerle

import torch
x = torch.tensor([1., 2., -1.])          # girdi       shape: (3,)
w = torch.tensor([0.5, -0.25, 0.75])     # ağırlıklar  shape: (3,)
b = torch.tensor(0.2)                    # bias        shape: () → skaler

w * x                   # tensor([ 0.5000, -0.5000, -0.7500])  ← üç çarpım
(w * x).sum() + b       # tensor(-0.5500)  ← topla, b'yi ekle
net = w @ x + b         # tensor(-0.5500)  ← tek adımda: nokta çarpım
y = (net >= 0).float()  # tensor(0.)       ← basamak: ateşlemez

xt = torch.cat([torch.ones(1), x])       # [1, 1, 2, -1]   bias hilesi
wt = torch.cat([b.view(1), w])           # [0.2, 0.5, -0.25, 0.75]
wt @ xt                                  # tensor(-0.5500) → aynı net!

Elle ↔ kod: çarp → w * x · topla → .sum() · ikisi birden → @ (Hafta 1'in nokta çarpımı). Sonuç elle bulduğumuzla birebir aynı: −0.55 ve 0.

Nöron Oyun Alanı

Çizgi kalınlığı = |w|, mavi = uyarıcı (+), kırmızı = baskılayıcı (−). Başlangıç = slayt 10'daki nöron. Dene: nöronu ateşletmek için hangi kaydırıcıyı oynatırsın?

Bir Nöron = Bir Karar Doğrusu

Bir nöronun çözebildiği problemler = tek bir doğruyla ayrılabilenler. Hadi deneyelim →

Doğruyu Sen Yerleştir

● hedef 1 · ○ hedef 0 · kırmızı halka = yanlış sınıflanan. XOR'da 4/4'ü bulabilir misin?

XOR: Tek Nöronun Duvarı

1969'da Minsky ve Papert bunu gösterince YSA araştırmaları yıllarca yavaşladı. Peki çıkış yolu ne? Bir doğru yetmiyorsa… iki doğru çizelim →

Bir Doğru Yetmiyorsa İki Doğru Çiz

Her gizli nöron bir doğru çizer; çıkış nöronu bu doğruların kararlarını birleştirir. Daha çok gizli nöron = daha çok doğru = daha karmaşık bölge. Parçalar tanıdık: slayt 7'deki AND/OR nöronları! Peki çıkış nöronu bu işi nasıl görüyor? →

Çıkış Nöronu Ne Görüyor?

● hedef 1 · ○ hedef 0 · mavi kenar +1, kırmızı −1. Ağırlıkları burada biz seçtik; makine kendisi bulacak H5–H6. Sıradaki soru: f neden bu kadar önemli? →

Aktivasyon Neden Gerekli?

Gizli katman XOR'u çözdü, ama f'yi kaldırınca çözüm çöktü. Demek ki anahtar f'nin seçimi. Üç gerekçe:

Sırayla açalım: önce doğrusal olmama →

f'yi Çıkar, Yerine Koy

Slayt 16'daki XOR ağı, ama bu kez f yok:

Aktivasyon Olmazsa Katmanlar Çöker

X  = torch.tensor([[0., 0.], [0., 1.], [1., 0.], [1., 1.]])
W1 = torch.tensor([[1., 1.], [-1., -1.]]); b1 = torch.tensor([-0.5, 1.5])  # OR, NAND
W2 = torch.tensor([[1., 1.]]);             b2 = torch.tensor([-1.5])       # AND
step = lambda z: (z >= 0).float()

(X @ W1.T + b1) @ W2.T + b2              # f yok → [-0.5, -0.5, -0.5, -0.5]
W2 @ W1, W2 @ b1 + b2                    # tek katmana katlandı: W = [[0., 0.]], b = [-0.5]
step(step(X @ W1.T + b1) @ W2.T + b2)    # f var → [0, 1, 1, 0]  XOR ✓

Hafta 1'deki matris çarpımı iki doğrusal katmanı tek matrise katlar; 100 katman = 1 katman. Doğrusal olmayan f bu katlamayı bozar, derinliğin anlamı budur H6. Peki sigmoid gibi yumuşak bir f de büker mi? → (Çıktılar PyTorch ile alındı.)

Tek S Yetmez, İki S Tümsek Yapar

Aktivasyon Fonksiyonları

Her biri çıktıyı farklı bir aralığa taşır (gerekçe 2). Aynı net'e uygulayıp görelim →

Aynı Net, Dört Farklı Cevap

Slayt 10'daki nöron: net = −0.55. Aynı girdi, aynı ağırlıklar — yalnızca f değişiyor:

Aktivasyon, nöronun "karakterini" belirler. Peki neden bu kadar çok aktivasyon var — hangisi nerede işe yarar? →

Aynı Fonksiyon, İki Farklı İş

"En iyi aktivasyon" diye bir şey yok. Doğru soru: hangi katmanda, hangi iş için?

Çıktı Katmanında Kim?

Basamak? En net cevabı verir ama düz basamaklar öğrenmeye izin vermez H3. Kararı eğitimden sonra eşikle veririz: σ ≥ 0.5 → "spam".

Peki gizli katmanda hangisi? Kısa cevap: bugün çoğunlukla ReLU. Nedenini öğrenmenin matematiğiyle göreceğiz H3. Şimdi sıra sizde →

Hangi Aktivasyon?

Önce tahmin et, sonra karta tıkla. Soru hep aynı: hangi katman, hangi iş?

Nöronu Bir Sınıfa Koy

import torch

class Noron:
    def __init__(self, w, b, f):
        self.w = torch.tensor(w, dtype=torch.float32)   # ağırlıklar
        self.b = b                                       # bias
        self.f = f                                       # aktivasyon
    def __call__(self, x):
        net = self.w @ torch.tensor(x, dtype=torch.float32) + self.b
        return self.f(net)

ve = Noron([1., 1.], -1.5, lambda z: (z >= 0).float())   # AND kapısı
[ve(x).item() for x in [(0, 0), (0, 1), (1, 0), (1, 1)]]  # [0.0, 0.0, 0.0, 1.0]

n = Noron([0.5, -0.25, 0.75], 0.2, torch.sigmoid)       # slayt 10'daki nöron
n([1, 2, -1])                                            # tensor(0.3659)

dtype=torch.float32 şart: (0, 1) gibi tamsayı girdiler yoksa int64 olur ve @ hata verir.

Bir Katman = Yan Yana Nöronlar

katman = torch.nn.Linear(2, 3)     # 2 girdi → 3 nöron
katman.weight.shape                # torch.Size([3, 2])  çıkış × giriş
X = torch.randn(5, 2)              # 5 örnek (batch)
Y = torch.sigmoid(katman(X))       # (5, 3): her örnek için 3 nöron
                                   # aynı anda, tek matris çarpımıyla
torch.allclose(katman(X), X @ katman.weight.T + katman.bias)  # True

Bu katmanları üst üste dizince (aralarına aktivasyon koyarak) çok katmanlı algılayıcı elde ederiz H6.

Bu Hafta Ne Öğrendik?

Nöronu Kendin Kur

İpucu: NAND = AND'in tersi. AND'in w ve b'sinin işaretlerini çevirmek yeter mi? Dene.