วิวัฒนาการของข้อมูลขนาดใหญ่

ในช่วงต้นยุค 2000 เป็นที่ชัดเจนว่ามีความต้องการอย่างมากสำหรับนวัตกรรมเกี่ยวกับข้อมูล ข้อ จำกัด เกี่ยวกับสิ่งที่ บริษัท สามารถทำกับผู้บริหารของพวกเขาผิดหวังข้อมูลและประสิทธิภาพลดลงอย่างมาก บริษัท หลายแห่งจัดเก็บข้อมูลจำนวนมหาศาล แต่ไม่สามารถจัดการวิเคราะห์หรือจัดการเพื่อประโยชน์ของพวกเขา มันเป็นแรงกดดันที่เพิ่มขึ้นซึ่งทำให้เกิดช่องว่างขนาดใหญ่ของข้อมูล

ในปี 2003 Google ได้สร้าง MapReduce ซึ่งเป็นแอพพลิเคชั่นข้อมูลที่ช่วยให้ บริษัท สามารถประมวลผลและวิเคราะห์ข้อมูลเกี่ยวกับคำค้นหาในเซิร์ฟเวอร์หลายพันแห่งในระยะเวลาอันสั้น ทั้งปรับขนาดได้และปรับได้โปรแกรมอนุญาตให้ Google ทำงานข้อมูลนับพันในเวลาไม่กี่นาทีซึ่งปรับปรุงประสิทธิภาพการผลิตและกำหนดขอบเขตการรับรู้ใหม่เกี่ยวกับสิ่งที่สามารถทำได้กับข้อมูล เกือบ 10 ปีต่อมาข้อมูลขนาดใหญ่ได้กลายเป็นหลักสำคัญของเทคโนโลยีสารสนเทศ ขอบเขตและความสามารถที่กว้างขวางของ บริษัท ได้เปลี่ยนแปลงการจัดการข้อมูลพื้นฐานในสถานที่ทำงาน แต่สิ่งใดกระตุ้นให้เกิดวิวัฒนาการนี้และข้อมูลขนาดใหญ่จะมีผลกระทบอย่างไรต่ออนาคต? เราคิดว่าคุณจะไม่ถาม (สำหรับการอ่านพื้นหลังเกี่ยวกับข้อมูลขนาดใหญ่ให้ตรวจสอบข้อมูลขนาดใหญ่: วิธีการที่มันถูกจับ crunched และใช้ในการตัดสินใจทางธุรกิจ)

การหาคำตอบสำหรับคำถามข้อมูลขนาดใหญ่

ความงามของ MapReduce เป็นวิธีที่ทำให้งานที่ซับซ้อนสูงง่ายขึ้น สามารถจัดการการสื่อสารข้ามเครื่องความล้มเหลวของระบบสามารถแก้ไขได้และข้อมูลการป้อนข้อมูลสามารถจัดระเบียบได้โดยอัตโนมัติซึ่งเป็นกระบวนการที่สามารถควบคุมได้โดยบุคคลที่ไม่ต้องการทักษะด้านเทคนิคขั้นสูงอีกต่อไป ด้วยการทำให้การประมวลผลข้อมูลไม่เพียงเป็นไปได้ แต่เข้าถึงได้ Google จึงเป็นแรงบันดาลใจให้เกิดการเปลี่ยนแปลงทางวัฒนธรรมในการจัดการข้อมูล ไม่นานก่อนที่ บริษัท ยักษ์ใหญ่หลายพันรายใช้ MapReduce สำหรับข้อมูลของพวกเขา

แต่มีปัญหาหนึ่งคือ MapReduce เป็นเพียงรูปแบบการเขียนโปรแกรม ในขณะที่อำนวยความสะดวกขั้นพื้นฐานของการประมวลผลข้อมูล แต่ก็ไม่ได้เป็นคำตอบสำหรับข้อบกพร่องของข้อมูลที่มีอยู่ มันเป็นเพียงขั้นตอนที่จำเป็นในทิศทางที่ถูกต้อง บริษัท ต่างๆยังต้องการระบบที่สามารถตอบสนองความต้องการข้อมูลที่เป็นเอกลักษณ์และเหนือกว่าสิ่งจำเป็นพื้นฐานของการจัดการข้อมูล ในระยะสั้นเทคโนโลยีที่จำเป็นในการพัฒนา

เข้าสู่ Hadoop

เข้าสู่ Hadoop ซอฟต์แวร์เฟรมเวิร์กโอเพนซอร์ซที่สร้างโดยโปรแกรมเมอร์หลายคนรวมถึง Doug Cutting ซึ่ง MapReduce นั้นเรียบง่ายและกว้างขวาง Hadoop ให้ความรู้สึกสดชื่น บริษัท ต่างๆสามารถออกแบบแอพพลิเคชั่นที่สร้างขึ้นเองเพื่อตอบสนองความต้องการด้านข้อมูลในรูปแบบที่ซอฟต์แวร์อื่นไม่สามารถทำได้และโดยทั่วไปก็เข้ากันได้กับระบบไฟล์อื่น ๆ บริษัท ที่มีโปรแกรมเมอร์ผู้มีความสามารถสามารถออกแบบระบบไฟล์ที่จะทำงานที่ไม่ซ้ำกับข้อมูลที่ดูไม่สามารถเข้าถึงได้มาก่อน อาจเป็นส่วนที่ดีที่สุดเกี่ยวกับเรื่องนี้ก็คือนักพัฒนาจะแบ่งปันแอปพลิเคชันและโปรแกรมซึ่งกันและกันซึ่งสามารถอธิบายและทำให้สมบูรณ์ได้

ด้วยการทำให้ทรัพยากรที่มีความสำคัญกลายเป็นกระแสนิยม Hadoop ก็กลายเป็นเทรนด์ ท้ายที่สุด บริษัท ขนาดใหญ่หลายแห่งโดยเฉพาะ บริษัท เครื่องมือค้นหารู้สึกว่าพวกเขาต้องการมันมาหลายสิบปี! ไม่นานก่อนที่ยักษ์ใหญ่เครื่องมือค้นหาเช่น Yahoo จะประกาศการใช้งานแอพพลิเคชั่น Hadoop ขนาดใหญ่ที่สร้างข้อมูลที่ใช้ในการสืบค้นบนเว็บ ในสิ่งที่ดูเหมือนเป็นคลื่น บริษัท ที่มีชื่อเสียงหลายแห่งประกาศใช้เทคโนโลยีนี้สำหรับฐานข้อมูลขนาดใหญ่ของพวกเขารวมถึง Facebook, Amazon, Fox, Apple, eBay และ FourSquare Hadoop กำหนดมาตรฐานใหม่สำหรับการประมวลผลข้อมูล

ข้อมูลขนาดใหญ่ปัญหาใหญ่

ในขณะที่ความก้าวหน้าของเทคโนโลยีข้อมูลได้เปลี่ยนโฉมหน้าวิธีการที่ บริษัท จัดการกับข้อมูลผู้บริหารหลายคนยังพบว่าพวกเขาไม่ได้รับการจัดเตรียมสำหรับงานที่ต้องการอย่างเต็มรูปแบบ ในเดือนกรกฎาคม 2555 ออราเคิลเปิดตัวการสำรวจผู้บริหารระดับ C มากกว่า 300 คนซึ่งเปิดเผยว่าในขณะที่ 36% ของ บริษัท พึ่งพาไอทีในการจัดการและวิเคราะห์ข้อมูล 29 เปอร์เซ็นต์ของพวกเขารู้สึกว่าระบบของพวกเขาไม่มีความสามารถเพียงพอที่จะตอบสนอง บริษัท ของพวกเขา จำเป็น อาจเป็นไปได้ว่าการค้นพบที่โดดเด่นที่สุดของการสำรวจคือ 93% ของผู้ตอบแบบสอบถามเชื่อว่า บริษัท ของพวกเขาสูญเสียรายได้ถึง 14% โดยไม่สามารถใช้ข้อมูลที่รวบรวมได้ นั่นคือรายได้ที่สามารถใช้ในการสร้างผลิตภัณฑ์ที่ดีขึ้นและจ้างแรงงานเพิ่มขึ้น ในช่วงเวลาที่ บริษัท ต่างๆต้องดิ้นรนเพื่อทำกำไรการปรับปรุงข้อมูลเพื่อให้ บริษัท สามารถทำกำไรได้มากขึ้นเป็นสิ่งจำเป็น การสำรวจชี้ให้เห็นว่าแม้ว่าผู้ที่เชื่อว่าอิทธิพลของข้อมูลขนาดใหญ่ต่อการค้าได้ผ่านไปแล้ว แต่โอกาสในการเติบโตและความก้าวหน้าที่จัดขึ้นยังไม่ได้รับการตระหนักอย่างเต็มที่

อนาคตจะเป็นเช่นไรสำหรับดาต้าบิ๊ก

ข่าวดีก็คือ Hadoop และ MapReduce เป็นแรงบันดาลใจให้กับเครื่องมือการจัดการข้อมูลอื่น ๆ บริษัท ใหม่หลายแห่งกำลังสร้างแพลตฟอร์มข้อมูลที่กว้างขวางซึ่งทำงานบน Hadoop แต่มีฟังก์ชั่นการวิเคราะห์ที่หลากหลายและการรวมระบบที่ง่ายขึ้น ดูเหมือนว่า บริษัท ต่างๆได้ลงทุนทรัพยากรจำนวนมากเพื่อจัดการกับข้อกังวลด้านข้อมูลและความสำเร็จทางการเงินของ บริษัท ข้อมูลได้รับการพิสูจน์เรื่องนี้ ในปี 2010 บริษัท ข้อมูลสร้างยอดค้าปลีกประมาณ 3.2 พันล้านดอลลาร์ ผู้เชี่ยวชาญหลายคนคาดการณ์ว่าจำนวนนี้จะเพิ่มขึ้นเป็น 17 พันล้านเหรียญสหรัฐในปี 2558 เพียงอย่างเดียว นี่คือความจริงที่ไม่ได้หายไปในบางส่วนของ บริษัท เทคโนโลยีที่ใหญ่ที่สุด ทั้ง IBM และ Oracle ใช้เงินหลายพันล้านรายการในช่วงหลายเดือนที่ผ่านมาเพื่อซื้อ บริษัท ข้อมูล บริษัท อื่น ๆ หลายแห่งจะเคลื่อนไหวคล้าย ๆ กันในอีกไม่กี่ปีข้างหน้าเนื่องจากพวกเขายังคงแย่งส่วนแบ่งการตลาดที่แข่งขันได้

เขตข้อมูลขนาดใหญ่

จำนวนข้อมูลที่เก็บรวบรวมยังคงเพิ่มขึ้นอย่างทวีคูณซึ่งมีความกังวลและความตื่นเต้นอื่น ๆ ข้อเสียคือมนุษย์จะยังคงมีประสิทธิผลและปรับตัวได้มากขึ้นในขณะที่เราเรียนรู้สิ่งใหม่เกี่ยวกับโลกของเราผ่านการวิเคราะห์ข้อมูล ข้อเสียคือมีข้อมูลจำนวนมากที่หลายคนกลัวว่าเราไม่สามารถจัดเก็บได้อย่างถูกต้องมากน้อยจัดการอย่างถูกต้องเพื่อให้ทุกคนที่ต้องการมันสามารถใช้

ความก้าวหน้าในข้อมูลขนาดใหญ่สามารถให้โอกาสที่ไม่เคยมีมาก่อนสำหรับการแก้ปัญหาเร่งด่วนที่เกี่ยวข้องกับข้อมูล ตัวอย่างเช่นผู้เชี่ยวชาญได้แนะนำว่าหากมีการใช้ข้อมูลขนาดใหญ่อย่างเหมาะสมโดยเน้นประสิทธิภาพและคุณภาพก็จะมีศักยภาพที่จะประหยัดค่าใช้จ่ายด้านการดูแลสุขภาพได้ประมาณ 300, 000 ล้านเหรียญสหรัฐต่อปี ผู้ค้าปลีกจะสามารถปรับปรุงอัตรากำไรจากการดำเนินงานของพวกเขาภาครัฐสามารถให้บริการที่ดีขึ้นและองค์กรขนาดใหญ่จะประหยัดพันล้าน และดูเหมือนว่าการแก้ปัญหาข้อมูลของเราไม่ได้ต้องการเพียงแค่ในห้องประชุมคณะกรรมการ บริษัท แต่ทุกที่ ซึ่งบอกว่าสิ่งที่ดีเกี่ยวกับอนาคตของข้อมูลขนาดใหญ่ - และอาจเป็นของเราเช่นกัน