Q:
วิศวกรสามารถประเมินชุดการฝึกอบรมและชุดการทดสอบเพื่อให้เห็นถึงการ overfitting ที่เป็นไปได้ในการเรียนรู้ของเครื่อง?
A:เพื่อทำความเข้าใจวิธีการทำสิ่งนี้จำเป็นต้องมีความเข้าใจพื้นฐานเกี่ยวกับบทบาทของชุดข้อมูลที่แตกต่างกันในโครงการเรียนรู้เครื่องทั่วไป ชุดฝึกอบรมถูกสร้างขึ้นเพื่อให้เทคโนโลยีเป็นกรอบอ้างอิง - ฐานข้อมูลที่โปรแกรมใช้ในการตัดสินใจเชิงทำนายและความน่าจะเป็น ชุดทดสอบเป็นที่ที่คุณทดสอบเครื่องกับข้อมูล
Overfitting เป็นอาการที่เกิดจากการเรียนรู้ของเครื่องจักรซึ่งแบบจำลองนั้นไม่สอดคล้องกับข้อมูลหรือจุดประสงค์
| ดาวน์โหลดฟรี: การเรียนรู้ของเครื่องและเหตุผลที่สำคัญ |
หนึ่งในคำสั่งที่ครอบคลุมของการเรียนรู้ของเครื่องคือข้อมูลการฝึกอบรมและข้อมูลการทดสอบควรเป็นชุดข้อมูลแยกต่างหาก อย่างน้อยในหลาย ๆ แอปพลิเคชั่นเนื่องจากมีปัญหาเฉพาะบางประการเกี่ยวกับการใช้ชุดเดียวกันกับที่คุณใช้ในการฝึกอบรมเพื่อทดสอบโปรแกรมการเรียนรู้ของเครื่อง
เมื่อโปรแกรมการเรียนรู้ของเครื่องใช้ชุดการฝึกอบรมซึ่งอาจเรียกได้ว่าเป็นชุดของปัจจัยการผลิตมันเป็นการทำงานนอกชุดการฝึกอบรมนั้นเพื่อตัดสินใจเกี่ยวกับผลการทำนาย วิธีคิดขั้นพื้นฐานอย่างหนึ่งที่คิดคือชุดฝึกอบรมเป็น "อาหาร" สำหรับกระบวนการคำนวณทางปัญญา
ตอนนี้เมื่อใช้ชุดเดียวกันสำหรับการทดสอบเครื่องมักจะให้ผลลัพธ์ที่ยอดเยี่ยม นั่นเป็นเพราะเคยเห็นข้อมูลมาก่อนแล้ว แต่เป้าหมายทั้งหมดของการเรียนรู้ของเครื่องในหลาย ๆ กรณีคือการสร้างผลลัพธ์เกี่ยวกับข้อมูลที่ไม่เคยเห็นมาก่อน โปรแกรมการเรียนรู้ของเครื่องเอนกประสงค์มีไว้เพื่อใช้งานกับชุดข้อมูลที่หลากหลาย กล่าวอีกนัยหนึ่งหลักการของการเรียนรู้ของเครื่องคือการค้นพบและโดยปกติคุณจะไม่ได้รับสิ่งนั้นมากนักโดยใช้ชุดฝึกอบรมเบื้องต้นเพื่อการทดสอบ
ในการประเมินชุดการฝึกอบรมและชุดการทดสอบสำหรับ overfitting ที่เป็นไปได้วิศวกรอาจประเมินผลลัพธ์และหาสาเหตุที่โปรแกรมอาจทำแตกต่างกันในผลลัพธ์เปรียบเทียบของทั้งสองชุดหรือในบางกรณีวิธีที่เครื่องอาจทำงานได้ดีกับข้อมูลการฝึกอบรมเอง .
ในการอธิบายปัญหาเหล่านี้บางอย่างในการเรียนรู้ของเครื่องในชิ้นส่วน 2014 เจสันบราวน์ลีที่การเรียนรู้ของการเรียนรู้ด้วยเครื่องได้อธิบายวิธีการเอาชนะอย่างนี้
"แบบจำลองที่ถูกเลือกเพื่อความถูกต้องบนชุดข้อมูลการฝึกอบรมแทนที่จะเป็นความถูกต้องของชุดข้อมูลทดสอบที่มองไม่เห็นมีแนวโน้มที่จะมีความแม่นยำต่ำกว่าในชุดข้อมูลทดสอบที่มองไม่เห็น" Brownlee เขียน "เหตุผลก็คือโมเดลไม่ได้เป็นแบบทั่วไปมัน มีโครงสร้างในชุดข้อมูลการฝึกอบรม (เพิ่มตัวเอียง) ซึ่งเรียกว่าการ overfitting และมันร้ายกาจกว่าที่คุณคิด"
ในแง่ของการวางคุณสามารถพูดได้ว่าในความเชี่ยวชาญของตัวเองกับชุดข้อมูลการฝึกอบรมโปรแกรมจะกลายเป็นเข้มงวดเกินไป นี่เป็นอีกวิธีหนึ่งในการเปรียบเทียบว่าทำไมโปรแกรมการเรียนรู้ของเครื่องจึงไม่ได้รับการบริการอย่างเหมาะสมโดยใช้ชุดฝึกอบรมสำหรับชุดทดสอบ นอกจากนี้ยังเป็นวิธีที่ดีในการประเมินชุดที่แตกต่างกันสองชุดเนื่องจากผลลัพธ์จะแสดงให้วิศวกรเห็นว่าโปรแกรมทำงานอย่างไร คุณต้องการช่องว่างเล็ก ๆ ระหว่างความแม่นยำสำหรับทั้งสองรุ่น คุณต้องการตรวจสอบให้แน่ใจว่าระบบไม่ได้ให้ข้อมูลมากไปหรือ "ผสมความแม่นยำ" กับชุดข้อมูลเฉพาะ แต่นั่นเป็นเรื่องทั่วไปมากกว่าและสามารถเติบโตและพัฒนาตามคำสั่งได้
