Q:
สถานการณ์ใดนำไปสู่การเพิ่มขึ้นของระบบนิเวศของข้อมูลขนาดใหญ่?
A:มีหลายปัจจัยที่ส่งผลให้เกิดการเกิดขึ้นของระบบนิเวศของข้อมูลขนาดใหญ่ในปัจจุบัน แต่มีมติทั่วไปที่ข้อมูลขนาดใหญ่เกิดขึ้นเนื่องจากช่วงของการออกแบบฮาร์ดแวร์และซอฟต์แวร์ที่อนุญาตให้ข้อมูลขนาดใหญ่มีอยู่จริง
| การสัมมนาผ่านเว็บ: บิ๊กเหล็กพบกับบิ๊กดาต้า: ปลดปล่อยข้อมูลเมนเฟรมด้วย Hadoop & Spark ลงทะเบียนที่นี่ |
คำจำกัดความทั่วไปของข้อมูลขนาดใหญ่มีดังนี้: ชุดข้อมูลที่มีขนาดใหญ่และซับซ้อนเพียงพอที่จะท้าทายการจัดการแบบวนซ้ำได้ง่ายหรือการจัดการด้วยมือ ชุดข้อมูลขนาดใหญ่มักจะถูกระบุว่าเป็นชุดข้อมูลที่ไม่เหมาะสมกับเครือข่ายฐานข้อมูลอย่างง่ายเนื่องจากการวิเคราะห์ต้องใช้งานมากเกินไปในส่วนของเซิร์ฟเวอร์ที่จัดการข้อมูล
โดยที่ในใจส่วนสำคัญของสิ่งที่สร้างข้อมูลขนาดใหญ่คือความคิดที่เรารู้ว่าเป็นกฎของมัวร์หรือทรานซิสเตอร์สองเท่าในวงจรทุกสองปีสร้างฮาร์ดแวร์และอุปกรณ์เก็บข้อมูลขนาดเล็กกว่าเดิม (รวมถึงไมโครโปรเซสเซอร์ที่ทรงพลังกว่า) . ร่วมกับกฎของมัวร์และอาจเป็นเพราะความสามารถในการคำนวณของระบบซอฟต์แวร์ที่สามารถเข้าถึงได้เพิ่มขึ้นเรื่อย ๆ จนถึงจุดที่แม้แต่คอมพิวเตอร์ส่วนบุคคลก็สามารถจัดการกับข้อมูลจำนวนมากขึ้นและระบบธุรกิจและแนวหน้าก็เริ่มสามารถจัดการขนาดข้อมูลได้ นึกไม่ถึงเมื่อหลายปีก่อน ระบบส่วนบุคคลย้ายจากกิโลไบต์เป็นเมกะไบต์และจากนั้นเป็นกิกะไบต์ในกระบวนการที่โปร่งใสแก่ผู้บริโภค ระบบแนวหน้าเคลื่อนย้ายจากกิกะไบต์ไปยังเทราไบต์และเพตาไบต์และเข้าสู่ลำดับความสำคัญเช่น zetabytes ด้วยวิธีที่โปร่งใสน้อยกว่าสำหรับคนทั่วไป
อีกรองรับล่วงหน้าข้อมูลขนาดใหญ่คือการเปลี่ยนแปลงในวิธีการจัดการชุดข้อมูลที่ประมวลผล แทนที่จะประมวลผลเชิงเส้นผ่านการออกแบบฐานข้อมูลเชิงสัมพันธ์ธรรมดาตัวจัดการเริ่มใช้เครื่องมือเช่น Apache Hadoop และชิ้นส่วนการจัดการฮาร์ดแวร์ที่เกี่ยวข้องเพื่อกำจัดปัญหาคอขวดในกระบวนการข้อมูล
ผลลัพธ์คือโลกข้อมูลขนาดใหญ่ที่เราอาศัยอยู่ที่ซึ่งชุดข้อมูลขนาดใหญ่ถูกเก็บและดูแลในศูนย์ข้อมูลและเข้าถึงได้มากขึ้นด้วยเทคโนโลยีที่หลากหลายสำหรับการใช้งานที่หลากหลาย จากการค้าสู่ระบบนิเวศตั้งแต่การวางแผนสาธารณะไปจนถึงยารักษาโรคข้อมูลขนาดใหญ่กำลังเข้าถึงได้มากขึ้นเรื่อย ๆ ในขณะที่หน่วยงานของรัฐและองค์กรขนาดใหญ่อื่น ๆ ยังคงผลักดันขอบเขตของขนาดข้อมูลขนาดใหญ่และการใช้โซลูชั่นขั้นสูงมากขึ้น
