>> ต่อจาก บทที่ ๗



การกำหนดค่าพารามิเตอร์ตั้งต้นให้เหมาะสมถือเป็นส่วนสำคัญอย่างหนึ่งในการสร้างโครงข่ายประสาทเทียม

ในเนื้อหาโครงข่ายประสาทเทียมเบื้องต้นบทที่ ๑๓ เรื่องการกำหนดค่าพารามิเตอร์ตั้งต้น ได้กล่าวถึงไปแล้วว่าโดยทั่วไปถ้าใช้ฟังก์ชันซิกมอยด์เป็นฟังก์ชันกระตุ้นควรใช้ค่าตั้งต้นแบบซาวีเย (Xavier) แต่ถ้าใช้ ReLU ให้ใช้ค่าตั้งต้นแบบเหอ ไข่หมิง (何恺明, Hé Kǎimíng)

แต่ค่าตั้งต้นของพารามิเตอร์ใน pytorch ได้ถูกกำหนดให้แจกแจงสม่ำเสมอในช่วง -1/√m,1/√m โดยที่ m คือจำนวนตัวแปรขาเข้า

หากต้องการค่าตั้งต้นแบบอื่นก็ต้องกำหนดใหม่เอง

แต่ใน pytorch เองก็ได้เตรียมคำสั่งสำหรับตั้งพารามิเตอร์ตั้งต้นในรูปแบบนั้นให้ อยู่ในมอดูลย่อย torch.nn.init

ค่าตั้งต้นแบ่งเป็น ๒​ แบบคืโครงข่ายประสาทเทียมเบื้องต้นบทที่ ๑๓ เรื่องการกำหนดค่าพารามิเตอร์ตั้งต้นอแบบสม่ำเสมอกับแบบปกติ

แบบสม่ำเสมอแบบซาวีเยคือ torch.nn.init.xavier_uniform_()

ค่าจะกระจายสม่ำเสมอในช่วง
$\begin{align} w \in \left[ -\sqrt{\frac{6}{m_0+m_1}},\sqrt{\frac{6}{m_0+m_1}} \right] \end{align}$ ..(8.1)

โดย m₀ คือจำนวนตัวแปรขาเข้า m₁ คือจำนวนตัวแปรขาออก

ส่วนแบบเหอ ไข่หมิงคือ torch.nn.init.kaiming_uniform_()

ค่ากระจายในช่วง
$\begin{align} w \in \left[ -\sqrt{\frac{6}{(1+a^2)m_0}},\sqrt{\frac{6}{(1+a^2)m_0}} \right] \end{align}$ ..(8.2)

โดยที่ a เป็นค่าที่เราต้องกำหนดใส่ลงไปเอง จะเป็น 0 ถ้าใช้ ReLU แต่ถ้าใช้ LReLU ค่านี้จะใส่ตามความชันฝั่งลบ

ตัวอย่าง

import torch
lin = torch.nn.Linear(800,1600)
torch.nn.init.xavier_uniform_(lin.weight)
print(lin.weight.min()) # ได้ tensor(-0.0500, grad_fn<=MinBackward1>)
lin = torch.nn.Linear(577,100)
torch.nn.init.kaiming_uniform_(lin.weight,a=0.2)
print(lin.weight.max()) # ได้ tensor(0.1000, grad_fn<=MaxBackward1>)

ส่วนกระจายแบบปกติ แบบซาวีเยคือ torch.nn.init.xavier_normal_()
ส่วนเบี่ยงเบนมาตรฐานคือ
$\begin{align} \sigma = \sqrt{\frac{2}{m_0+m_1}} \end{align}$ ..(8.3)

แบบเหอ ไข่หมิง torch.nn.init.kaiming_normal_()
$\begin{align} \sigma = \sqrt{\frac{2}{(1+a^2)m_0}} \end{align}$ ..(8.4)



ตัวอย่างการสร้างโครงข่ายประสาทแบบใช้ ReLU หรือ LReLU เป็นฟังก์ชันกระตุ้นระหว่างชั้น (กำหนดโดยค่า a) และให้ใช้ค่าตั้งต้นกระจายแบบปกติแบบเหอ ไข่หมิง

ha_entropy = torch.nn.CrossEntropyLoss()

class Prasat(torch.nn.Sequential):
    def __init__(self,m,eta=0.01,a=0):
        super(Prasat,self).__init__()
        nm = len(m)
        for i in range(1,nm):
            lin = torch.nn.Linear(m[i-1],m[i])
            torch.nn.init.kaiming_normal_(lin.weight,a) # ค่าตั้งต้นน้ำหนัแจกแจงปกติแบบเหอ ไข่หมิง
            lin.bias.data.fill_(0) # ไบแอสให้ตั้งต้นเป็น 0
            self.add_module('lin%d'%i,lin)
            if(i<nm-1): # ใส่ฟังก์ชันกระตุ้นยกเว้นชั้นสุดท้าย
                if(a): # ถ้า a>0 ใช้ LReLU
                    self.add_module('lrelu%d'%i,torch.nn.LeakyReLU(a))
                else: # ถ้า a เป็น 0 ใช้ ReLU ธรรมดา
                    self.add_module('relu%d'%i,torch.nn.ReLU())
        self.opt = torch.optim.Adam(self.parameters(),lr=eta)
        
    def rianru(self,X,z,n_thamsam):
        X = torch.Tensor(X)
        z = torch.LongTensor(z)
        for o in range(n_thamsam):
            a = self(X)
            J = ha_entropy(a,z)
            J.backward()
            self.opt.step()
            self.opt.zero_grad()
            
    def thamnai(self,X):
        X = torch.Tensor(X)
        return self(X).argmax(1).numpy()

คลาสนี้เวลาใช้ต้องป้อนขนาดขาเข้าและขาออกของแต่ชะชั้นแล้วก็จะสร้างชั้นตามลำดับนั้นให้

เวลาจะทำการฝึกแบบจำลองก็ใช้เมธอด .rianru() ค่าที่ป้อนเข้าใช้เป็นอาเรย์ธรรมดาได้ จะถูกเปลี่ยนเป็นเทนเซอร์เอง

ส่วนเวลานำมาทำนายผลใช้เมธอด .thamnai() ค่าที่ป้อนเข้ามาจะถูกเปลี่ยนเป็นเทนเซอร์เพื่อทำการคำนวณแล้วก็แปลงกลับเป็นอาเรย์

ลองนำมาใช้สร้างโครงข่ายเพื่อจำแนกข้อมูล ๕ กลุ่ม

import numpy as np
import matplotlib.pyplot as plt

z = np.arange(5).repeat(50)
r = np.random.normal(z+1,0.28)
t = np.random.uniform(-np.pi,0,250)
x = r*np.cos(t)
y = r*np.sin(t)
X = np.array([x,y]).T

prasat = Prasat([2,32,32,32,5],eta=0.1,a=0.2) # โครงข่าย 4 ชั้น โดยใช้ LReLU ที่มีความชันส่วนลบเป็น 0.2
prasat.rianru(X,z,100)

mx,my = np.meshgrid(np.linspace(x.min(),x.max(),200),np.linspace(y.min(),y.max(),200))
mX = np.array([mx.ravel(),my.ravel()]).T
mz = prasat.thamnai(mX)
mz = mz.reshape(200,200)

plt.xlim(x.min(),x.max())
plt.ylim(y.min(),y.max())
plt.scatter(x,y,100,c=z,marker='*',edgecolor='k',cmap='Spectral')
plt.contourf(mx,my,mz,alpha=0.2,cmap='Spectral')
plt.show()

>> อ่านต่อ บทที่ ๙

~ 自我介绍 ~

目录

从日本来的名言

python 模块 -- numpy -- matplotlib -- pandas -- manim -- opencv -- pyqt -- pytorch 机器学习 -- 神经网络

javascript

蒙古语

语言学

maya

概率论

与日本相关的日记

与中国相关的日记 -- 与北京相关的日记 -- 与香港相关的日记 -- 与澳门相关的日记

与台湾相关的日记

与北欧相关的日记

与其他国家相关的日记

qiita

其他日志

按类别分日志

==เลือกหมวด== ดาราศาสตร์ คณิตศาสตร์ -ความน่าจะเป็น คอมพิวเตอร์ -เขียนโปรแกรม --python ---numpy ---scipy ---matplotlib ---pandas ---manim ---pyqt ---sklearn ---pytorch ---mayapython --ruby --javascript --dart --MATLAB --SQL --regex --opencv -shell -3D --maya --MMD -microsoft_office -pdf -ปัญญาประดิษฐ์ --โครงข่ายประสาทเทียม --สเตเบิลดิฟฟิวชัน ---comfyui -การสุ่ม ภาษาศาสตร์ -ตัวอักษร -เรียนภาษา -หลักเกณฑ์การทับศัพท์ -ภาษาจีน --ภาษาจีนกลาง -ภาษาญี่ปุ่น -ภาษามองโกล -ภาษาลาว -ภาษาเขมร ประวัติศาสตร์ -ประวัติศาสตร์จีน -ประวัติศาสตร์ญี่ปุ่น ปรัชญา การเมือง ประเทศจีน -จีนแผ่นดินใหญ่ --ปักกิ่ง --เทียนจิน --เหลียวหนิง --เหอเป่ย์ --เหอหนาน --ซานตง --ซานซี --อานฮุย --เจ้อเจียง --หูเป่ย์ --หูหนาน --ฝูเจี้ยน --กวางตุ้ง ---แต้จิ๋ว --ยูนนาน --ซินเจียง -ฮ่องกง -มาเก๊า -ไต้หวัน --ไทเป --จีหลง --เถาหยวน --ซินจู๋ --เหมียวลี่ --ไถจง --จางฮว่า --หยวินหลิน --เจียอี้ --ไถหนาน --เกาสยง --ผิงตง --อี๋หลาน ประเทศญี่ปุ่น -ฮกไกโด -อาโอโมริ -อิวาเตะ -มิยางิ -อากิตะ -ยามางาตะ -ฟุกุชิมะ -อิบารากิ -โทจิงิ -กุมมะ -ไซตามะ -จิบะ -โตเกียว -คานางาวะ -นีงาตะ -โทยามะ -อิชิกาวะ -ฟุกุอิ -ยามานาชิ -นางาโนะ -กิฟุ -ชิซึโอกะ -ไอจิ -มิเอะ -ชิงะ -เกียวโต -โอซากะ -เฮียวโงะ -นาระ -วากายามะ -โอกายามะ -ฮิโรชิมะ -ยามางุจิ -ฟุกุโอกะ -ซางะ -นางาซากิ -คุมาโมโตะ -โออิตะ -โอกินาวะ ต่างแดน -อุษาคเนย์ --กัมพูชา --พม่า --สิงคโปร์ -ยุโรป --สวีเดน --เดนมาร์ก --ฟินแลนด์ -ออสเตรเลีย ท่องเที่ยว -มหาวิทยาลัย -พิพิธภัณฑ์ --พิพิธภัณฑ์วิทยาศาสตร์ --หอศิลป์ -สวนสัตว์ --พิพิธภัณฑ์สัตว์น้ำ -ท้องฟ้าจำลอง -ตึกระฟ้า -ปราสาท☑ --ปราสาทญี่ปุ่น --ปราสาทขอม --ปราสาทยุโรป -ศาสนสถาน --วัด --ศาลเจ้า --โบสถ์ --มัสยิด -สุสาน -มรดกโลก -ทะเล -ทะเลสาบ -ภูเขา -ภูเขาไฟ -อนเซง -หิมะ -ดอกซากุระ -แมว -รถไฟ -รถราง -เรือ -ตลาดกลางคืน -งานเทศกาล -ที่ระลึกภัยพิบัติ -ตามรอย -อาหารญี่ปุ่น --ราเมง --จัมปง --อุดง --โซบะ --ยากิโซบะ --มาเซโซบะ --ทสึเกเมง --ซูชิ --เกี๊ยวซ่า บันเทิง -เกม --อาเตอลีเย --โปเกมอน --caligula --vn -อนิเมะ -มังงะ -นิยาย -เพลง --เพลงอนิเมะ --เพลงเกม เรื่องแต่ง บันทึก

　 查看日志

　 最近

　 推荐日志

各月日志

找更早以前的日志

ไทย

日本語

中文