สารบัญ:
คำจำกัดความ - โปรแกรมรวบรวมข้อมูลเว็บหมายถึงอะไร
โปรแกรมรวบรวมข้อมูลเว็บเป็นบอตอินเทอร์เน็ตที่ช่วยในการจัดทำดัชนีเว็บ พวกเขารวบรวมข้อมูลทีละหน้าผ่านเว็บไซต์จนกว่าหน้าทั้งหมดจะได้รับการจัดทำดัชนี โปรแกรมรวบรวมข้อมูลเว็บช่วยในการรวบรวมข้อมูลเกี่ยวกับเว็บไซต์และลิงค์ที่เกี่ยวข้องและช่วยในการตรวจสอบรหัส HTML และการเชื่อมโยงหลายมิติ
โปรแกรมรวบรวมข้อมูลเว็บหรือที่เรียกว่าเว็บสไปเดอร์, ตัวสร้างดัชนีอัตโนมัติหรือเพียงตัวรวบรวมข้อมูล
Techopedia อธิบายโปรแกรมรวบรวมข้อมูลเว็บ
โปรแกรมรวบรวมข้อมูลเว็บรวบรวมข้อมูลเช่น URL ของเว็บไซต์ข้อมูลเมตาแท็กเนื้อหาหน้าเว็บลิงก์ในหน้าเว็บและปลายทางที่นำจากลิงก์เหล่านั้นชื่อหน้าเว็บและข้อมูลอื่น ๆ ที่เกี่ยวข้อง พวกเขาติดตาม URL ที่ถูกดาวน์โหลดไปแล้วเพื่อหลีกเลี่ยงการดาวน์โหลดหน้าเดียวกันอีกครั้ง การรวมกันของนโยบายเช่นนโยบายการเยี่ยมชมอีกครั้งนโยบายการเลือกนโยบายการขนานและนโยบายความสุภาพเป็นตัวกำหนดพฤติกรรมของโปรแกรมรวบรวมข้อมูลเว็บ มีความท้าทายหลายประการสำหรับโปรแกรมรวบรวมข้อมูลเว็บเช่น World Wide Web ที่มีขนาดใหญ่และพัฒนาอย่างต่อเนื่องการแลกเปลี่ยนการเลือกเนื้อหาภาระผูกพันทางสังคมและการจัดการกับฝ่ายตรงข้าม
โปรแกรมรวบรวมข้อมูลเว็บเป็นองค์ประกอบสำคัญของเครื่องมือค้นหาและระบบที่ค้นหาในเว็บเพจ พวกเขาช่วยในการจัดทำดัชนีรายการเว็บและอนุญาตให้ผู้ใช้ส่งแบบสอบถามกับดัชนีและยังมีหน้าเว็บที่ตรงกับแบบสอบถาม การใช้โปรแกรมรวบรวมข้อมูลเว็บอื่นคือการเก็บถาวรบนเว็บซึ่งเกี่ยวข้องกับชุดของหน้าเว็บขนาดใหญ่ที่จะรวบรวมและจัดเก็บเป็นระยะ ซอฟต์แวร์รวบรวมข้อมูลเว็บยังใช้ในการขุดข้อมูลด้วยเหตุนี้หน้าต่างๆจะถูกวิเคราะห์สำหรับคุณสมบัติที่แตกต่างกันเช่นสถิติและการวิเคราะห์ข้อมูลจะดำเนินการกับพวกเขา
