Hadoop คืออะไรกันแน่? ทฤษฎีของถากถาง

อะไรก็ตามที่ดูดีเกินกว่าจะเป็นจริงก็คือ อาจเป็นเช่นนั้นกับ Apache Hadoop ซึ่งเป็นโครงการโอเพนซอร์ซที่ทุกคนต่างพูดถึง แล้วอะไรคือสิ่งนี้ คำถามที่ดี!

ผู้เชี่ยวชาญสงสัย

นักวิเคราะห์ Mark Madsen แห่ง Third Nature จับมันไว้บนกำแพงในขณะที่กลับมาเป็นชิ้นเล็กชิ้นน้อยใน InsideAnalysis.com: "What Hadoop คืออะไร Hadoop ไม่ได้เป็นอย่างนั้น" ในฐานะที่เป็นคนที่รู้วิธีการออกแบบโซลูชั่นในโลกแห่งความเป็นจริงแล้วนำไปใช้จริงพวกเขาไม่ควรเพิกเฉยต่อคำแนะนำของเขา

แต่มีกระแสไหลลึกที่นี่และเวลาใกล้จะถึงรากของพืชที่น่าสนใจนี้เพื่อดูว่าเราไม่สามารถรับมุมมองบางอย่างเกี่ยวกับสิ่งที่เกิดขึ้นในระดับมหภาค ท้ายที่สุดผู้ขายบอกว่ามันเป็นเรื่องใหญ่และมีผู้เข้าร่วมจำนวนมาก

จ้างผู้ว่าจ้าง! (?)

ปัจจุบัน บริษัท สามแห่งเป็นเจ้าของตลาดที่พึ่งของ Hadoop ส่วนใหญ่ ได้แก่ Cloudera, Hortonworks และ MapR เมื่อเร็ว ๆ นี้มีการบรรยายสรุปอย่างเป็นธรรมผ่าน Boulder BI Brain Trust (#BBBT) จิมวอล์คเกอร์แห่งฮอร์ตันเวิร์คแสดงความคิดเห็นนี้:

"คุณไม่สามารถพัฒนาเทคโนโลยีได้หากคุณไม่ได้ว่าจ้างผู้ว่าจ้าง!"

มาอีกครั้ง?

เสียงนี้ไม่เหมือนสิ่งที่วุฒิสมาชิกพัลพาทีนพูดในภาพยนตร์ Star Wars หรือไม่?

Sen. Palpatine: "จ้างผู้กระทำ!"

Minion ใกล้เคียง: "แต่ แต่! Sir! คิดถึงเด็ก ๆ !"

สำหรับคนธรรมดาที่นั่นแค่พยายามทำสิ่งต่าง ๆ ให้สำเร็จผู้กระทำคือคนที่ทุ่มเทให้กับโครงการโอเพนซอร์ซโดยเฉพาะ มูลนิธิ Apache มีโปรโตคอลที่เข้มงวดซึ่งโครงการของพวกเขาก้าวไปข้างหน้าซึ่งมักจะเป็นสิ่งที่ดี

ที่กล่าวว่าความคิดเห็นวอล์คเกอร์รับประกันการตรวจสอบ หนึ่งคำถามที่ชี้ (ที่มีความเสี่ยงที่จะเสกสรรวันที่เล่นในสนามเด็กเล่น) คือ: นั่นเป็นสัญญาหรือภัยคุกคามหรือไม่? เขากำลังพูดว่า Hortonworks อาจจะพาบอลกลับบ้านหรือ

ความร่วมมือหรือการแข่งขัน?

สิ่งที่น่าสนใจหากมุมที่ขัดแย้งกันอยู่ที่นี่ก็คือตามรายงานข่าวผู้ตัดสินส่วนใหญ่ในทีม Hadoop (ประมาณ 30 คนหรือมากกว่านั้น) มาจาก Hortonworks และ Cloudera ซึ่งเป็นคู่แข่ง นี่เป็นกรณีที่สงสัยมากของการแข่งขัน

ดังนั้นการจัดการคืออะไร? นี่คือการเดาที่ได้รับการศึกษา: Hadoop ส่วนใหญ่เป็นหนี้ชื่อเสียงของแผนการฉลาดโดยกลุ่มนักลงทุนและวิศวกรของ Silicon Valley ซึ่งกำลังพยายามป้องกันความเสี่ยงจากการเดิมพันกับ Oracle

แนวคิดทั่วไปคือการสร้างตลาดด้วยรากฐานของรหัสที่สามารถปรับปรุงและหนุนโดยกองแท็กของนักพัฒนาที่จะนึกคิดเมื่อเวลาผ่านไปสร้างเครื่องมือจัดการข้อมูลทุกประเภทรวมถึงผลิตภัณฑ์ฐานข้อมูล VCs สามารถลงทุนและจ่ายเงินบางวัน แต่มีความท้าทายอย่างมากในการเล่น

เช่นเดียวกับองค์กรขนาดใหญ่อื่น ๆ Oracle มักพบว่าตัวเองอยู่ในกากบาทของผู้เล่นที่เล็กกว่า และใครที่ไม่ต้องการเพียงแค่รายรับที่ทำให้ไม่มึนงง ในไตรมาสสุดท้ายที่ผ่านมาออราเคิลมียอดจอง ~ 9 พันล้านดอลลาร์ แต่การท้าทายบิ๊กเรดและการตีพวกเขานั้นเป็นความจริงที่แตกต่างกันสองอย่าง

ออกอากาศทางเว็บฟรี: Hadoop คืออะไรและกำลังจะไปที่ไหน? เข้าร่วมกับ Eric Kavanagh, Robin Bloor และ Techopedia สำหรับการอภิปรายว่า Hadoop นั้นแตกต่างจาก Linux หรือ SOA อย่างไรและทำไมอนาคตของมันจึงไม่ได้ถูกเขียนขึ้นอย่างมากมาย

ปัญหาการบรรจุ

สิ่งที่เกี่ยวกับ Hadoop ก็คือมันไม่ได้เป็นโซลูชั่นที่บรรจุด้วยวิธีการใด ๆ ค่อนข้างเป็นคอลเลกชันที่ซับซ้อนของโมดูลที่ช่วยให้โปรแกรมเมอร์ที่มีคุณภาพสูงสามารถใช้อัลกอริทึมการประมวลผลแบบขนานขนาดใหญ่เพื่อทำสิ่งที่เฉพาะเจาะจงมาก แต่ไม่มีส่วนต่อประสานผู้ใช้ที่หรูหราและคู่มือนั้นโหดร้าย

เพิ่มความท้าทายนั้นสิ่งกีดขวางที่สำคัญนี้: คุณต้องมีนักธุรกิจที่มีความเข้าใจโดยทั่วไปเกี่ยวกับสิ่งที่สามารถทำได้ คนเหล่านั้นจะต้องสามารถคิดในใจเกี่ยวกับวิธีการใช้งานจากนั้นสื่อสารกับนักพัฒนาซึ่งจะต้องผลิตทดสอบใช้งานและสนับสนุนแอปพลิเคชันในภายหลัง

การจัดการเต้นรำนี้เป็นวิธีที่ Cloudera และ Hortonworks ทำเงินได้มาก ปัญหาคือโซลูชันส่วนใหญ่ที่สร้างขึ้นด้วยวิธีนี้มีลักษณะเฉพาะและมักมุ่งเน้นไปที่ระบบปฏิบัติการซึ่งต่างจากวิธีการวิเคราะห์ แปล? สิ่งที่ไม่ได้ให้ยืมกับผลิตภัณฑ์ซอฟต์แวร์ที่บรรจุอยู่

การทำกำไรของบรรจุภัณฑ์!

ซึ่งนำเรากลับสู่ Oracle ลาร์รีเอลลิสันและพวกเด็ก ๆ กำลังขายเทคโนโลยี่ฮาร์ดแวร์ฐานข้อมูลบริการและซอฟต์แวร์บรรจุภัณฑ์ เห็นได้ชัดว่า Cloudera คิดเรื่องนี้ดังนั้นพวกเขาจึงให้ความสนใจกับอิมพาลา แต่ Hortonworks

แบบจำลองของพวกเขาดูเหมือนเลียนแบบของ RedHat อย่างใกล้ชิดผู้ที่สร้างธุรกิจมูลค่าหลายพันล้านดอลลาร์บนระบบปฏิบัติการ Linux Nary เป็นผู้จำหน่ายรายใหญ่ในอุตสาหกรรมซอฟต์แวร์ระดับองค์กรไม่ได้เขียนสำหรับ Linux ซึ่งเป็นระบบปฏิบัติการที่ IBM มุ่งหน้าไปยัง Microsoft เมื่อผ่านมา แต่ Hadoop ไม่ใช่ลินุกซ์ไม่ใช่แค่ลองดู

ดร. เจฟฟรีย์มัลฟสกีอดีตนักนาโนเทคโนโลยีแห่งกองทัพเรือสหรัฐฯปัจจุบันเป็นนักวิทยาศาสตร์ด้านข้อมูลกับ Phasic Systems และสถาบัน PSIKORS ได้กลั่นกรองคุณค่าของ Hadoop ดังนี้

"Hadoop นั้นยอดเยี่ยมสำหรับการค้นหาการวิเคราะห์แนวโน้มที่มีขนาดใหญ่มากสำหรับผลลัพธ์แบบสุ่มและน่าจะมีการประมวลผลแบบขนานที่ฉลาดมากในสิ่งต่าง ๆ เช่นภรรยาเก่าของฉันที่เคยทำ: การคำนวณฟังก์ชั่นคลื่นกลควอนตัมของสถานะของแข็งและปฏิกิริยาทางเคมี แต่มันเป็นการเปลี่ยนแปลงวิธีการเขียนโปรแกรมอย่างหนักนักศึกษาระดับปริญญาโทที่ฉลาดและมีพลังจะเป็นคนที่ทำให้สิ่งนี้เกิดขึ้นได้ฉันสงสัยว่างานวิจัยจะเริ่มต้นในทิศทางนี้สำหรับการคำนวณที่ทรงพลัง การใช้งาน."

คุณจะสังเกตได้ว่าจะไม่ส่งเสียงอะไรเลยเช่นคลังข้อมูลระบบธุรกิจอัจฉริยะการรวมข้อมูลหรือแม้แต่ข้อมูลขนาดใหญ่ ดูเหมือนว่าการคอมพิวติ้ง และด้วยเหตุผลที่น่าสนใจบางอย่างโลกแห่งการคำนวณประสิทธิภาพสูงและระบบธุรกิจอัจฉริยะไม่เคยชนหรือรวมตัวกันในลักษณะที่มีความหมายใด ๆ

ถนนยาวไปข้างหน้าสำหรับ Hortonworks และ Cloudera

และนี่คือข่าวร้ายสำหรับ Hortonworks และ Cloudera ผู้ค้ารายใหญ่อย่าง IBM และ SAP และ Oracle และ Teradata เพื่อนำเสนอสิ่งนี้อย่างอ่อนโยนและเพื่ออ้างถึง Dire Straits: "พวกเขาไม่ได้โง่!" สามปีที่ผ่านมาพวกเขาทั้งหมดออกกลยุทธ์ Hadoop อย่างจริงจัง

ศูนย์กลางของแผนเหล่านี้คือสิ่งที่ผู้ใช้ทางธุรกิจคาดหวัง: ส่วนต่อประสานผู้ใช้แบบกราฟิก, ฟังก์ชั่นการลากและวาง, เครื่องมือสร้างแบบจำลองและการค้นพบ, กระบวนการทำงาน, การกำกับดูแล, ความปลอดภัย; กล่าวโดยสรุปคือบิตและชิ้นส่วนทั้งหมดที่ทำให้ซอฟต์แวร์องค์กรสามารถใช้งานได้ และแน่นอนผู้ค้ารายใหญ่เหล่านี้มีฐานการติดตั้งจำนวนมาก

เพื่อให้แน่ใจว่าทั้ง Cloudera และ Hortonworks มีธุรกิจที่ดี แต่มีเพียงส่วนเล็ก ๆ ของสิ่งที่ผู้เล่นสำคัญเหล่านั้นได้รับในแต่ละปี ทำคณิตศาสตร์ตามจำนวนผู้ท้าทายที่เรียกเก็บเงินจากลูกค้าของพวกเขาเปรียบเทียบกับค่าใช้จ่ายที่เป็นไปได้มากน้อยเพียงใดและภาพไม่เป็นสีดอกกุหลาบ จริงอยู่ที่ว่ามันเป็นหลักสูตรที่มีความกังวลเกี่ยวกับซอฟต์แวร์ในระยะแรก แต่ก็ยัง …

อนาคตของ Hadoop

ดังนั้นเราจะเห็นการเข้าซื้อกิจการของคลื่นคลาสสิกเช่นที่เราได้กลับมาในสิ่งที่เมื่อ IBM ซื้อ Cognos, Oracle ได้รับ Hyperion และ SAP คว้า BusinessObjects SAP? บางที แต่เด็กใหม่ในบล็อกนี้ไม่ได้เป็นเจ้าของ Hadoop พวกเขาแค่ยืมมัน และอย่างที่สัญญาไว้ว่า YARN และ Tez อาจเป็นไปได้รอบการเปิดตัวนั้นดูเหมือนจะล้าหลังในสิ่งที่ผู้ตีหนักทำ

เมื่อวันก่อนคนในวงการให้ความเห็นว่าการเมืองที่ Apache อาจเป็นปัญหาคอขวดอย่างร้ายแรง สิ่งนี้ไม่น่าประหลาดใจอย่างยิ่งโดยเฉพาะเมื่อคุณพิจารณาเงินที่เกี่ยวข้อง - มีแรงจูงใจที่ดีสำหรับนักประดิษฐ์ที่จะสร้างความร่ำรวย มีใครบ้างไหมที่รู้ว่า Chrome มีคุณสมบัติเหนือกว่า Firefox ในด้านการใช้งานและการใช้งานได้เร็วแค่ไหน? ปิดแหล่งที่มาใคร?

สิ่งหนึ่งที่แน่นอน: เกมนี้จะเล่นด้วยวิธีที่น่าสนใจ ใช่สัตว์เลี้ยงลูกด้วยนม (อ่าน: ผู้ค้ารายย่อย) มักจะวิ่งเร็วกว่าไดโนเสาร์ แต่ยังมีจระเข้และจระเข้อยู่ทั่วโลก และถ้าคุณสะดุดเมื่อไม่รู้ตัวคุณอาจค้นพบว่าฟันเหล่านั้นมีความคมเพียงใด ไม่กี่ crocs ด้วยกันอาจจะเอาช้างหนึ่งหรือสอง