>> ต่อจาก บทที่ ๗



ในบทนี้จะสร้างเพอร์เซปตรอนสองชั้นเพื่อแก้ปัญหาการจำแนกประเภท



การคำนวณ

พิจารณาปัญหาการจำแนกประเภทหลายกลุ่มโดยใช้เพอร์เซปตรอนสองชั้นโดยมีฟังก์ชันกระตุ้นระหว่างชั้นเป็นฟังก์ชันซิกมอยด์ (ที่จริง ReLU นิยมใช้มากกว่า แต่เพื่อความง่ายในที่นี้จะใช้ซิกมอยด์ ถ้าเข้าใจหลักการแล้วจะเปลี่ยนมาใช้ ReLU แทนก็ทำได้ทันที)

หลักการคิดก็จะใช้การแพร่ย้อนกลับเพื่อคำนวณหาอนุพันธ์ แล้วสุดท้ายก็ใช้การเคลื่อนลงตามความชันเพื่อปรับพารามิเตอร์ เช่นเดียวกับในบทก่อนๆ

เริ่มจากเขียนกราฟคำนวณ



โดย
$\begin{align} \pmb{a}_1 = \mathbf{x} \cdot \mathbf{w}_1 + \vec{b}_1^T \\ \mathbf{h}_1 = \frac{1}{1+\exp(-\pmb{a}_1)} \\ \pmb{a}_2 = \pmb{h}_1 \cdot \mathbf{w}_2 + \vec{b}_2^T \\ \mathbf{h}_2 = \frac{1}{1+\exp(-\pmb{a}_2)} \\ J = \frac{1}{n}\mathbf{sum}(\mathbf{z}\ln\mathbf{h}) \end{align}$ ..(8.1)

หาอนุพันธ์ได้
$\begin{align} \mathbf{g}_{h_2} &=& \frac{\partial J}{\partial \mathbf{h}_2} &=& \frac{\mathbf{z}}{n\mathbf{h}_2} \\ \mathbf{g}_{a_2} &=& \frac{\partial J}{\partial \pmb{a}_2} &=& \frac{1}{n}(\mathbf{h}_2-\mathbf{z}) \\ \mathbf{g}_{w_2} &=& \frac{\partial J}{\partial \mathbf{w}_2} &=& \mathbf{h}_1^T \cdot \mathbf{g}_{a_2} \\ \vec{g}_{b_2} &=& \frac{\partial J}{\partial \vec{b}_2} &=& \mathbf{g}_{a_2} \cdot \vec{1}_n \\ \mathbf{g}_{h_1} &=& \frac{\partial J}{\partial \mathbf{h}_1} &=& \mathbf{g}_{a_2} \cdot \mathbf{w}_2^T \\ \mathbf{g}_{a_1} &=& \frac{\partial J}{\partial \pmb{a}_1} &=& \mathbf{g}_{h_1} \mathbf{h}_1(1-\mathbf{h}_1) \\ \mathbf{g}_{w_1} &=& \frac{\partial J}{\partial \mathbf{w}_1} &=& \mathbf{x}^T \cdot \mathbf{g}_{a_1} \\ \vec{g}_{b_1} &=& \frac{\partial J}{\partial \vec{b}_1} &=& \mathbf{g}_{a_2} \cdot \vec{1}_n \end{align}$ ..(8.2)

แทนลงกราฟคำนวณได้แบบนี้



พารามิเตอร์ที่ต้องปรับมีทั้งหมด ๔ ตัว
$\begin{align} \Delta \mathbf{w}_2 &= -\eta \mathbf{g}_{w_2} \\ \Delta \vec{b}_2 &= -\eta \vec{g}_{b_2} \\ \Delta \mathbf{w}_1 &= -\eta \mathbf{g}_{w_1} \\ \Delta \vec{b}_1 &= -\eta \vec{g}_{b_1} \end{align}$ ..(8.3)

ส่วนค่าน้ำหนักตั้งต้นในที่นี้จะกำหนดแบบสุ่ม เพราะในเพอร์เซปตรอนสองชั้นขึ้นไปปกติแล้วค่าน้ำหนักตั้งต้นจะกำหนดเป็น 0 หมดไม่ได้ เหตุผลจะกล่าวถึงโดยละเอียดอีกทีในบทที่ ๑๓ ส่วนค่าไบแอสยังคงกำหนดเป็น 0



โปรแกรม

คราวนี้ลองยกตัวอย่างเป็นข้อมูล ๔ กลุ่มที่ไม่อาจจำแนกโดยเชิงเส้นได้แบบนี้

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(4)
r = np.hstack([np.random.normal(0.8,0.25,100),
               np.random.normal(2,0.3,100),
               np.random.normal(3.6,0.4,100),
               np.random.uniform(0.2,4.5,100)])
t = np.hstack([np.random.uniform(0,np.pi,300),
               np.random.uniform(-np.pi,0,100)])
X = np.array([r*np.cos(t),r*np.sin(t)]).T
z = np.arange(4).repeat(100)
plt.scatter(X[:,0],X[:,1],50,c=z,alpha=0.7,edgecolor='g',cmap='plasma')
plt.show()

สร้างคลาสขึ้นมาแล้วใช้จำแนกกลุ่ม

def sigmoid(x):
    return 1/(1+np.exp(-x))

def softmax(x):
    exp_x = np.exp(x.T-x.max(1))
    return (exp_x/exp_x.sum(0)).T

def ha_1h(z,n):
    return (z[:,None]==range(n)).astype(int)

def ha_entropy(z,h):
    return -(np.log(h[z==1]+1e-10)).mean()

class Prasat2chan:
    def __init__(self,m,eta):
        self.m = m
        self.eta = eta
    
    def rianru(self,X,z,n_thamsam):
        self.kiklum = int(z.max()+1)
        Z = ha_1h(z,self.kiklum)
        self.w1 = np.random.normal(0,1,[X.shape[1],self.m])
        self.b1 = np.zeros(self.m)
        self.w2 = np.random.normal(0,1,[self.m,self.kiklum])
        self.b2 = np.zeros(self.kiklum)
        self.entropy = []
        self.khanaen = []
        for o in range(n_thamsam):
            a1 = self.ha_a1(X)
            h1 = sigmoid(a1)
            a2 = self.ha_a2(h1)
            h2 = softmax(a2)
            J = ha_entropy(Z,h2)
            ga2 = (h2-Z)/len(Z)
            gh1 = np.dot(ga2,self.w2.T)
            ga1 = gh1*h1*(1-h1)
            self.w2 -= self.eta*np.dot(h1.T,ga2)
            self.b2 -= self.eta*ga2.sum(0)
            self.w1 -= self.eta*np.dot(X.T,ga1)
            self.b1 -= self.eta*ga1.sum(0)
            self.entropy.append(J)
            khanaen = ((a2).argmax(1)==z).mean()
            self.khanaen.append(khanaen)
            if(o%100==99):
                print(u'ผ่านไป %d รอบ คะแนน %.3f'%(o+1,khanaen))
    
    def thamnai(self,X):
        a1 = self.ha_a1(X)
        h1 = sigmoid(a1)
        a2 = self.ha_a2(h1)
        h2 = softmax(a2)
        return h2.argmax(1)
        
    def ha_a1(self,X):
        return np.dot(X,self.w1) + self.b1
    
    def ha_a2(self,X):
        return np.dot(X,self.w2) + self.b2

prasat = Prasat2chan(m=10,eta=0.5)
prasat.rianru(X,z,n_thamsam=2000)

mm = X.max()*1.05
mx,my = np.meshgrid(np.linspace(-mm,mm,200),np.linspace(-mm,mm,200))
mX = np.array([mx.ravel(),my.ravel()]).T
mz = prasat.thamnai(mX).reshape(200,-1)
plt.axes(aspect=1,xlim=(-mm,mm),ylim=(-mm,mm))
plt.contourf(mx,my,mz,cmap='plasma',alpha=0.1)
plt.scatter(X[:,0],X[:,1],50,c=z,alpha=0.7,edgecolor='g',cmap='plasma')
plt.show()

สามารถแบ่งออกมาได้อย่างสวยงาม

จำนวนเซลล์ประสาทในชั้นตรงกลางตั้งไว้ให้สามารถปรับได้ตามที่ต้องการ อาจลองปรับดูแล้วเทียบผลลัพธ์ได้

โดยทั่วไปแล้วจำนวนเซลล์ในชั้นซ่อนเป็นอะไรที่ไม่ตายตัว ยากจะอธิบาย หากให้เยอะๆไว้ก็คิดอะไรได้ซับซ้อนขึ้น แต่ก็มีแนวโน้มที่จะเกิดการเรียนรู้เกินจากการที่มิติเยอะเกินไป จึงไม่ใช่ว่ายิ่งเพิ่มก็ยิ่งดี



ต่อมาลองใช้กับข้อมูลรูปร่างแบบเดียวกับที่ใช้ในบทที่ ๖ (โหลด >> https://phyblas.hinaboshi.com/triamhai/ruprang-raisi-25x25x1000x5.rar)

from glob import glob
n = 1000
X = np.array([plt.imread(x) for x in sorted(glob('ruprang-raisi-25x25x1000x5/*/*.png'))])
X = X.reshape(-1,25*25)
z = np.arange(5).repeat(n)

prasat = Prasat2chan(m=50,eta=0.25)
prasat.rianru(X,z,n_thamsam=12000)

plt.subplot(211,xticks=[])
plt.plot(prasat.entropy,'#77aa77')
plt.ylabel(u'เอนโทรปี',family='Tahoma')
plt.subplot(212)
plt.plot(prasat.khanaen,'#77aa77')
plt.ylabel(u'คะแนน',family='Tahoma')
plt.xlabel(u'จำนวนรอบ',family='Tahoma')
print(prasat.khanaen[-1])
plt.show()

โค้ดจะใช้เวลาค่อนข้างนานเพราะข้อมูลเยอะ ที่จริงแล้วสามารถทำให้เร็วขึ้นได้โดยใช้การเคลื่อนลงตามความชันแบบปรับปรุงใหม่ (บทที่ ๑๒) และมินิแบตช์ (บทที่ ๑๕) แต่ตอนนี้ยังไม่ได้กล่าวถึงจึงทำแบบนี้ไปก่อน





จะเห็นว่าถ้าเข้าใจหลักการแล้วจะโครงจ่ายสองชั้นหรือหลายชั้นขึ้นไปอีกก็ไม่ยาก รูปแบบการคำนวณก็ซ้ำเดิม ต่อไปเรื่อยๆ

แต่ว่าเขียนอะไรคล้ายเดิมซ้ำๆแบบนี้ไปเรื่อยๆก็ดูยืดยาว ในเมื่อเรารู้ว่าโครงสร้างของโครงข่ายแบ่งเป็นชั้นๆแน่นอน แล้วแต่ละชั้นก็มีการคำนวณที่แน่นอนแบบนี้ ถ้างั้นก็สร้างเป็นชั้นๆแล้วค่อยเอามาประกอบน่าจะเป็นวิธีที่มีประสิทธิภาพมากกว่า

ในเฟรมเวิร์กโครงข่ายประสาทเทียมเช่น pytorch หรือ keras ล้วนใช้วิธีการนิยามคลาสของชั้นต่างๆไว้แล้วเวลาใช้ก็นำมาประกอบ

ดังนั้นในบทต่อไปจะแนะนำวิธีการสร้างโครงสร้างเป็นชั้นๆ



>> อ่านต่อ บทที่ ๙

~ 自我介绍 ~

目录

从日本来的名言

python 模块 -- numpy -- matplotlib -- pandas -- manim -- opencv -- pyqt -- pytorch 机器学习 -- 神经网络

javascript

蒙古语

语言学

maya

概率论

与日本相关的日记

与中国相关的日记 -- 与北京相关的日记 -- 与香港相关的日记 -- 与澳门相关的日记

与台湾相关的日记

与北欧相关的日记

与其他国家相关的日记

qiita

其他日志

按类别分日志

==เลือกหมวด== ดาราศาสตร์ คณิตศาสตร์ -ความน่าจะเป็น คอมพิวเตอร์ -เขียนโปรแกรม --python ---numpy ---scipy ---matplotlib ---pandas ---manim ---pyqt ---sklearn ---pytorch ---mayapython --ruby --javascript --dart --MATLAB --SQL --regex --opencv -shell -3D --maya --MMD -microsoft_office -pdf -ปัญญาประดิษฐ์ --โครงข่ายประสาทเทียม --สเตเบิลดิฟฟิวชัน ---comfyui -การสุ่ม ภาษาศาสตร์ -ตัวอักษร -เรียนภาษา -หลักเกณฑ์การทับศัพท์ -ภาษาจีน --ภาษาจีนกลาง -ภาษาญี่ปุ่น -ภาษามองโกล -ภาษาลาว -ภาษาเขมร ประวัติศาสตร์ -ประวัติศาสตร์จีน -ประวัติศาสตร์ญี่ปุ่น ปรัชญา ประเทศจีน -จีนแผ่นดินใหญ่ --ปักกิ่ง --เทียนจิน --เหลียวหนิง --เหอเป่ย์ --เหอหนาน --ซานตง --ซานซี --อานฮุย --เจ้อเจียง --หูเป่ย์ --หูหนาน --ฝูเจี้ยน --กวางตุ้ง ---แต้จิ๋ว --ยูนนาน --ซินเจียง -ฮ่องกง -มาเก๊า -ไต้หวัน --ไทเป --จีหลง --เถาหยวน --ซินจู๋ --เหมียวลี่ --ไถจง --จางฮว่า --หยวินหลิน --เจียอี้ --ไถหนาน --เกาสยง --ผิงตง --อี๋หลาน ประเทศญี่ปุ่น -ฮกไกโด -อาโอโมริ -อิวาเตะ -มิยางิ -อากิตะ -ยามางาตะ -ฟุกุชิมะ -อิบารากิ -โทจิงิ -กุมมะ -ไซตามะ -จิบะ -โตเกียว -คานางาวะ -นีงาตะ -โทยามะ -อิชิกาวะ -ฟุกุอิ -ยามานาชิ -นางาโนะ -กิฟุ -ชิซึโอกะ -ไอจิ -มิเอะ -ชิงะ -เกียวโต -โอซากะ -เฮียวโงะ -นาระ -วากายามะ -โอกายามะ -ฮิโรชิมะ -ยามางุจิ -ฟุกุโอกะ -ซางะ -นางาซากิ -คุมาโมโตะ -โออิตะ ต่างแดน -อุษาคเนย์ --กัมพูชา --พม่า --สิงคโปร์ -ยุโรป --สวีเดน --เดนมาร์ก --ฟินแลนด์ -ออสเตรเลีย ท่องเที่ยว -มหาวิทยาลัย -พิพิธภัณฑ์ --พิพิธภัณฑ์วิทยาศาสตร์ --หอศิลป์ -สวนสัตว์ --พิพิธภัณฑ์สัตว์น้ำ -ท้องฟ้าจำลอง -ตึกระฟ้า -ปราสาท☑ --ปราสาทญี่ปุ่น --ปราสาทขอม --ปราสาทยุโรป -ศาสนสถาน --วัด --ศาลเจ้า --โบสถ์ --มัสยิด -สุสาน -มรดกโลก -ทะเล -ทะเลสาบ -ภูเขา -ภูเขาไฟ -หิมะ -ดอกซากุระ -แมว -รถไฟ -เรือ -ตลาดกลางคืน -งานเทศกาล -ที่ระลึกภัยพิบัติ -ตามรอย -ราเมง บันเทิง -เกม --อาเตอลีเย --โปเกมอน --caligula --vn -อนิเมะ -มังงะ -นิยาย -เพลง --เพลงอนิเมะ --เพลงเกม เรื่องแต่ง บันทึก

　 查看日志

　 最近

　 推荐日志

各月日志

找更早以前的日志

ไทย

日本語

中文