ทำไมเครือข่ายประสาทเทียมกำเริบมักจะฝึกยาก?

Q:

ทำไมเครือข่ายประสาทเทียมกำเริบมักจะฝึกยาก?

A:

ความยากลำบากในการฝึกอบรมเครือข่ายประสาทเทียมกำเริบเกี่ยวข้องกับความซับซ้อนของพวกเขา

หนึ่งในวิธีที่ง่ายที่สุดในการอธิบายว่าทำไมเครือข่ายประสาทที่เกิดขึ้นอีกนั้นยากต่อการฝึกอบรมนั่นคือพวกมันไม่ใช่เครือข่ายประสาทที่ป้อนเข้าไป

ในเครือข่ายนิวรัลไปข้างหน้าสัญญาณจะเคลื่อนไปทางเดียวเท่านั้น สัญญาณจะย้ายจากเลเยอร์อินพุทไปยังเลเยอร์ที่ซ่อนอยู่และส่งต่อไปยังเลเยอร์เอาท์พุทของระบบ

ในทางตรงกันข้ามเครือข่ายประสาทที่เกิดขึ้นอีกและเครือข่ายประสาทประเภทอื่นมีการเคลื่อนไหวของสัญญาณที่ซับซ้อนมากขึ้น จัดเป็นเครือข่าย "ความคิดเห็น" เครือข่ายประสาทกำเริบสามารถมีสัญญาณเดินทางไปข้างหน้าและข้างหลังและอาจมี "ลูป" ต่าง ๆ ในเครือข่ายที่ตัวเลขหรือค่าจะถูกป้อนกลับเข้าไปในเครือข่าย ผู้เชี่ยวชาญเชื่อมโยงสิ่งนี้กับลักษณะของเครือข่ายประสาทที่เกิดขึ้นอีกซึ่งเชื่อมโยงกับหน่วยความจำ

นอกจากนี้ยังมีความซับซ้อนอีกประเภทหนึ่งที่ส่งผลต่อเครือข่ายประสาทที่เกิดขึ้นอีก ตัวอย่างที่ดีอย่างหนึ่งของเรื่องนี้คือในด้านการประมวลผลภาษาธรรมชาติ

ในการประมวลผลภาษาธรรมชาติที่ซับซ้อนเครือข่ายประสาทจำเป็นต้องจำสิ่งต่าง ๆ ได้ มันจำเป็นต้องใช้อินพุตในบริบทด้วย สมมติว่ามีโปรแกรมที่ต้องการวิเคราะห์หรือทำนายคำภายในประโยคของคำอื่น ๆ เช่นอาจมีความยาวคงที่ห้าคำเพื่อให้ระบบประเมิน นั่นหมายความว่าโครงข่ายประสาทเทียมจะต้องมีอินพุตสำหรับแต่ละคำเหล่านี้พร้อมกับความสามารถในการ "จดจำ" หรือฝึกฝนในบริบทของคำเหล่านี้ สำหรับเหตุผลเหล่านั้นและเหตุผลอื่นที่คล้ายคลึงกันเครือข่ายประสาทที่เกิดขึ้นอีกมักจะมีลูปและการตอบกลับที่ซ่อนอยู่ในระบบเล็กน้อย

ผู้เชี่ยวชาญคร่ำครวญว่าภาวะแทรกซ้อนเหล่านี้ทำให้การฝึกอบรมเครือข่ายเป็นเรื่องยาก หนึ่งในวิธีที่พบได้บ่อยที่สุดในการอธิบายสิ่งนี้คือการอ้างถึงปัญหาการระเบิดและการหายไปของการไล่ระดับสี โดยพื้นฐานแล้วน้ำหนักของเครือข่ายจะนำไปสู่การระเบิดหรือการหายตัวไปของค่าที่มีจำนวนมากผ่าน

เจฟฟ์ฮินตันผู้บุกเบิกโครงข่ายประสาทเทียมอธิบายปรากฏการณ์นี้ทางเว็บด้วยการบอกว่าการส่งผ่านแบบย้อนกลับเป็นเส้นตรงจะทำให้น้ำหนักเล็กลงเพื่อลดการชี้แจงแบบเอ็กซ์โปเนนเชียล

ปัญหานี้เขาดำเนินต่อไปแย่ลงด้วยลำดับที่ยาวนานและขั้นตอนเวลาจำนวนมากซึ่งสัญญาณเติบโตหรือสลายตัว การกำหนดน้ำหนักอาจช่วยได้ แต่ความท้าทายเหล่านั้นถูกสร้างขึ้นในรูปแบบโครงข่ายประสาทเทียมที่เกิดขึ้นอีก มักจะมีปัญหาที่เกี่ยวข้องกับการออกแบบและการสร้างเฉพาะของพวกเขาอยู่เสมอ โดยพื้นฐานแล้วเครือข่ายประสาทบางประเภทที่ซับซ้อนกว่านี้ท้าทายความสามารถของเราในการจัดการเครือข่ายเหล่านั้นได้อย่างง่ายดาย เราสามารถสร้างความซับซ้อนได้ไม่ จำกัด ในทางปฏิบัติ แต่เรามักจะเห็นความท้าทายในการคาดการณ์และการขยายขีดความสามารถที่เพิ่มขึ้น