ด้วยความฉาวโฉ่เกี่ยวกับศูนย์ข้อมูล NSA ขนาดใหญ่ที่มี gazillions ของ data bit เกี่ยวกับชีวิตส่วนตัวของเรามีสิ่งหนึ่งที่ยังไม่ได้พูดถึงมากนักอย่างน้อย CNN มันเกี่ยวข้องกับปัญหาทางวิศวกรรมที่เกิดขึ้นพร้อมกับเทคโนโลยีคลาวด์ข้อมูลขนาดใหญ่และศูนย์จัดเก็บข้อมูลทางกายภาพที่น่าประทับใจซึ่งตอนนี้ถูกสร้างขึ้นทั่วโลก แล้วมันคืออะไร ไม่ว่าใครจะบริหารระบบไอทีมหึมาที่ใช้สิ่งอำนวยความสะดวกเหล่านี้มีความต้องการระบบซอฟต์แวร์ที่ช่วยให้ข้อมูลทั้งหมดนั้นเข้าและออกจากท่อได้อย่างรวดเร็ว ความต้องการดังกล่าวเป็นหนึ่งในคำถามหรือปริศนาด้านไอทีที่น่าสนใจที่สุดที่มืออาชีพกำลังเผชิญอยู่ในปัจจุบัน
ดังที่ผู้เชี่ยวชาญหลายคนชี้ให้เห็นว่าความต้องการในการประมวลผลข้อมูลในปัจจุบันมีมากเกินกว่าแนวทางแบบดั้งเดิม กล่าวง่ายๆก็คือการใช้โครงสร้างฐานข้อมูลและเครื่องมืออย่างง่ายเช่นอินเตอร์เฟสการสืบค้น SQL จะไม่ให้กำลังการประมวลผลหรือฟังก์ชั่นการทำงานที่เพียงพอสำหรับระบบที่เป็นกรรมสิทธิ์ที่พัฒนาขึ้นในช่วงไม่กี่ปีที่ผ่านมา จดหมายเหตุของ บริษัท เทคโนโลยีขนาดใหญ่ในปัจจุบันต้องการเทคโนโลยีที่ปรับขนาดได้อย่างมาก พวกเขาต้องการเครื่องมือการประมวลผลข้อมูลที่สามารถนำเข้าและส่งออกผลลัพธ์ในปริมาณที่สูงกว่าสิ่งที่เซิร์ฟเวอร์เดียวสามารถอำนวยความสะดวก พวกเขาต้องการโซลูชั่นที่สามารถเพิ่มการเติบโตอย่างรวดเร็วโซลูชั่นที่มีปัญญาประดิษฐ์ในระดับที่ซับซ้อนโซลูชั่นที่ออกแบบมาเพื่อการจัดการที่ง่ายโดยแผนกไอที
คำถามคือ บริษัท และหน่วยงานของรัฐสามารถพิชิตข้อ จำกัด ของเส้นทางการจัดการข้อมูลแบบดั้งเดิมได้อย่างไร ที่นี่เราจะมาดูทางเลือกที่มีแนวโน้มมากตัวหนึ่ง: ซอฟต์แวร์ที่จัดการข้อมูลขนาดใหญ่และการบริหารศูนย์ข้อมูลหลายแห่ง
