สารบัญ:
คำจำกัดความ - Spider หมายถึงอะไร
ในบริบทของอินเทอร์เน็ตสไปเดอร์เป็นซอฟต์แวร์พิเศษที่ออกแบบมาเพื่อรวบรวมข้อมูลอย่างเป็นระบบและเรียกดูเวิลด์ไวด์เว็บโดยทั่วไปเพื่อจุดประสงค์ในการจัดทำดัชนีเว็บเพจเพื่อจัดทำผลการค้นหาสำหรับการค้นหาของผู้ใช้ สไปเดอร์ที่โด่งดังที่สุดคือ Googlebot ซึ่งเป็นโปรแกรมรวบรวมข้อมูลหลักของ Google ซึ่งช่วยให้มั่นใจได้ว่าผลลัพธ์ที่เกี่ยวข้องจะถูกส่งคืนสำหรับคำค้นหา
สไปเดอร์เป็นที่รู้จักกันในชื่อ Web crawler, ค้นหาบอทหรือเพียงบอท
Techopedia อธิบาย Spider
แมงมุมนั้นเป็นโปรแกรมที่ใช้รวบรวมข้อมูลจากเวิลด์ไวด์เว็บ มันรวบรวมข้อมูลผ่านหน้าต่างๆของเว็บไซต์ที่ดึงข้อมูลและจัดทำดัชนีเพื่อใช้ในภายหลังโดยปกติจะเป็นผลลัพธ์ของเครื่องมือค้นหา สไปเดอร์เข้าชมเว็บไซต์และหน้าเว็บผ่านลิงก์ต่าง ๆ ไปยังและจากหน้าเว็บดังนั้นหน้าเว็บที่ไม่มีลิงค์เดียวที่จะเข้าสู่ดัชนีจะทำได้ยากและอาจอยู่ในอันดับที่ต่ำมากในหน้าผลการค้นหา และหากมีลิงค์จำนวนมากที่ชี้ไปยังหน้าเว็บนั่นหมายความว่าหน้าดังกล่าวได้รับความนิยมและจะปรากฏขึ้นสูงกว่าในผลการค้นหา
ขั้นตอนที่เกี่ยวข้องกับการรวบรวมข้อมูลบนเว็บ:
- แมงมุมพบไซต์และเริ่มรวบรวมข้อมูลหน้าเว็บ
- สไปเดอร์จะจัดทำดัชนีคำและเนื้อหาของเว็บไซต์
- แมงมุมไปเยี่ยมลิงค์ที่พบในเว็บไซต์
สไปเดอร์หรือ webcrawlers เป็นเพียงโปรแกรมและเช่นนั้นพวกเขาปฏิบัติตามกฎระเบียบที่กำหนดโดยโปรแกรมเมอร์ เจ้าของเว็บไซต์ยังสามารถเข้ามามีส่วนร่วมได้โดยบอกแมงมุมว่าส่วนใดของเว็บไซต์ที่ทำดัชนีและไม่ควรทำ สิ่งนี้ทำได้โดยการสร้างไฟล์ "robots.txt" ที่มีคำแนะนำสำหรับสไปเดอร์เกี่ยวกับส่วนที่จะจัดทำดัชนีและลิงค์ที่จะติดตามและควรจะละเว้นไฟล์ไหน สไปเดอร์ที่สำคัญที่สุดคือผู้ที่เป็นเจ้าของโดยเสิร์ชเอนจิ้นสำคัญ ๆ เช่น Google, Bing และ Yahoo และสไปเดอร์สำหรับการขุดและการวิจัยข้อมูล แต่ก็มีสไปเดอร์ที่ประสงค์ร้ายบางตัว หรือเพื่อค้นหาช่องโหว่ในความปลอดภัยของเว็บ
