สารบัญ:
คำจำกัดความ - การวิเคราะห์คำศัพท์หมายถึงอะไร
การวิเคราะห์คำศัพท์เป็นแนวคิดที่ใช้กับวิทยาศาสตร์คอมพิวเตอร์ในลักษณะที่คล้ายคลึงกับภาษาศาสตร์ โดยพื้นฐานแล้วการวิเคราะห์คำศัพท์หมายถึงการจัดกลุ่มตัวอักษรหรือเสียงเป็นชุดของหน่วยที่เป็นตัวแทนของไวยากรณ์ที่มีความหมาย ในภาษาศาสตร์เรียกว่าการแยกวิเคราะห์และในวิทยาการคอมพิวเตอร์สามารถเรียกได้ว่าการแยกวิเคราะห์หรือโทเค็น
Techopedia อธิบายการวิเคราะห์คำศัพท์
แนวคิดของการวิเคราะห์คำศัพท์ในวิทยาการคอมพิวเตอร์ก็คือการวิเคราะห์ศัพท์แบ่งกระแสลงไปใน "lexemes" ซึ่งเป็นสัญลักษณ์ที่แสดงถึงหน่วยพื้นฐานของความหมาย โทเค็นถูกรวมเข้าด้วยกันในลักษณะที่คอมไพเลอร์ภาษาต้องย้อนกลับไปและแยกพวกมันเพื่อใช้คำสั่งการคำนวณที่ถูกต้อง โดยพื้นฐานแล้วทั้งมนุษย์และคอมพิวเตอร์ทำการวิเคราะห์คำศัพท์ แต่คอมพิวเตอร์ทำแตกต่างกันและในทางเทคนิคมากขึ้น วิธีที่คอมพิวเตอร์ทำการวิเคราะห์คำศัพท์ไม่จำเป็นต้องมีความโปร่งใสต่อมนุษย์ - เพียงแค่มีการตั้งโปรแกรมเข้าสู่ระบบคอมพิวเตอร์ โปรแกรมที่ทำการวิเคราะห์คำศัพท์ทางวิทยาศาสตร์คอมพิวเตอร์มักเรียกว่า lexers tokenizers หรือสแกนเนอร์
