โดย Techopedia Staff วันที่ 24 กุมภาพันธ์ 2016
Takeaway: Host Rebecca Jozwiak กล่าวถึงการวิเคราะห์การสตรีมกับผู้เชี่ยวชาญในอุตสาหกรรม
คุณยังไม่ได้เข้าสู่ระบบโปรดเข้าสู่ระบบหรือลงทะเบียนเพื่อดูวิดีโอ
Rebecca Jozwiak: ท่านสุภาพบุรุษและสุภาพสตรีสวัสดีทุกท่านและยินดีต้อนรับสู่ Hot Technologies ประจำปี 2559! ชื่อของวันนี้คือ“ การควบคุม Firehose: การรับคุณค่าทางธุรกิจจากการวิเคราะห์สตรีมมิ่ง” นี่คือ Rebecca Jozwiak ฉันเป็นผู้บังคับบัญชาคนที่สองสำหรับการออกอากาศทางเว็บทุกครั้งที่ Eric Kavanagh ที่รักของเราไม่สามารถอยู่ที่นี่ได้ดังนั้นจึงเป็นเรื่องดีที่ได้เห็นพวกคุณหลายคนในวันนี้
ตอนนี้แตกต่างจากคนอื่นเล็กน้อย เราคุยกันถึงเรื่องที่ร้อนแรงและแน่นอนว่าปีนี้ร้อนแรง หลายปีที่ผ่านมาร้อนแรง มีสิ่งใหม่ ๆ ออกมาเสมอ วันนี้เรากำลังพูดถึงการวิเคราะห์สตรีมมิ่ง การวิเคราะห์สตรีมมิ่งเป็นสิ่งใหม่ แน่นอนว่าการสตรีมข้อมูลศูนย์ข้อมูลอาร์เอฟไอดีนั้นไม่ใช่เรื่องใหม่ แต่ในบริบทของสถาปัตยกรรมข้อมูลเราได้มุ่งเน้นไปที่ข้อมูลที่เหลือมานานหลายทศวรรษ ฐานข้อมูลระบบไฟล์ที่เก็บข้อมูล - ทั้งหมดเพื่อจุดประสงค์ส่วนใหญ่ของการประมวลผลแบทช์ แต่ตอนนี้มีการเปลี่ยนเพื่อสร้างมูลค่าจากการสตรีมข้อมูลอารมณ์ข้อมูลบางคนเรียกมันว่าลำธารที่มีชีวิตพวกเขาต้องการสถาปัตยกรรมแบบสตรีมไม่ใช่ข้อมูลที่สถาปัตยกรรมที่เหลือที่เราคุ้นเคยและจำเป็นต้องมีความสามารถ การจัดการการบริโภคที่รวดเร็ว, เรียลไทม์หรือใกล้การประมวลผลเรียลไทม์ มันจะต้องสามารถตอบสนองไม่เพียง แต่สำหรับอินเทอร์เน็ตของสิ่งต่าง ๆ แต่อินเทอร์เน็ตของทุกสิ่ง
แน่นอนว่าเป็นการดีที่จะมีสองสถาปัตยกรรมที่อยู่เคียงข้างกันซักมืออีกข้างหนึ่งเพื่อพูด ในขณะที่ข้อมูลอายุวันข้อมูลสัปดาห์ข้อมูลปียังคงมีค่าการวิเคราะห์ประวัติศาสตร์การวิเคราะห์แนวโน้มมันเป็นข้อมูลสดที่ขับเคลื่อนข่าวกรองสดวันนี้และนั่นคือเหตุผลที่การวิเคราะห์สตรีมมิ่งมีความสำคัญมาก
วันนี้ฉันกำลังพูดถึงมากขึ้น เรามีนักวิทยาศาสตร์ด้านข้อมูลของเรา Dez Blanchfield โทรมาจากออสเตรเลีย เช้าตรู่สำหรับเขาในตอนนี้ เรามีหัวหน้านักวิเคราะห์ของเราคือ Dr. Robin Bloor เราเข้าร่วมโดย Anand Venugopal หัวหน้าผลิตภัณฑ์ของ StreamAnalytix ที่ Impetus Technologies พวกเขาเน้นเรื่องการวิเคราะห์สตรีมมิ่งของพื้นที่นี้จริงๆ
ด้วยสิ่งนี้ฉันจะไปข้างหน้าและส่งต่อไปยัง Dez
Dez Blanchfield: ขอบคุณ ฉันต้องการที่จะคว้าการควบคุมของหน้าจอที่นี่และป๊อปไปข้างหน้า
Rebecca Jozwiak: ไปเลย
Dez Blanchfield: ในขณะที่เรากำลังหยิบสไลด์ขึ้นมาขอผมครอบคลุมหัวข้อหลัก
ฉันจะเก็บไว้ในระดับที่ค่อนข้างสูงและฉันจะเก็บไว้ประมาณ 10 นาที นี่เป็นหัวข้อที่ใหญ่มาก ฉันเข้าร่วมในเหตุการณ์ที่เราใช้เวลาสองถึงสามวันในการดำน้ำในรายละเอียดว่าการประมวลผลแบบสตรีมคืออะไรและเฟรมเวิร์กปัจจุบันที่เรากำลังพัฒนาและการทำการวิเคราะห์ในสตรีมปริมาณสูงนั้นควรหมายความว่าอย่างไร
เรากำลังจะอธิบายให้ชัดเจนว่าเราหมายถึงอะไรโดยการสตรีมการวิเคราะห์แล้วเจาะลึกว่ามูลค่าทางธุรกิจนั้นสามารถได้มาเพราะนั่นคือสิ่งที่ธุรกิจต้องการ พวกเขากำลังต้องการให้คนอธิบายให้พวกเขาอย่างรวดเร็วและรัดกุมฉันสามารถหาค่าได้โดยใช้การวิเคราะห์รูปแบบบางอย่างกับข้อมูลสตรีมของเรา
การวิเคราะห์สตรีมมิ่งคืออะไร?
การวิเคราะห์สตรีมมิ่งช่วยให้องค์กรมีวิธีดึงคุณค่าจากข้อมูลปริมาณมากและข้อมูลความเร็วสูงที่พวกเขาได้เข้ามาในธุรกิจในรูปแบบต่างๆที่เคลื่อนไหว ความแตกต่างที่สำคัญที่นี่คือเรามีประวัติอันยาวนานในการพัฒนาการวิเคราะห์และเลนส์และมุมมองของข้อมูลที่เราได้ทำการประมวลผลที่เหลือเป็นเวลาหลายสิบปีนับตั้งแต่ที่เมนเฟรมถูกคิดค้น การปรับเปลี่ยนกระบวนทัศน์ครั้งใหญ่ที่เราเคยเห็นในช่วงสามถึงห้าปีที่ผ่านมาในสิ่งที่เราเรียกว่า "เว็บสเกล" กำลังแตะเข้าไปในกระแสข้อมูลที่เข้ามาในเวลาจริงหรือใกล้เวลาจริงไม่ใช่แค่ประมวลผลและมองหาความสัมพันธ์ของเหตุการณ์ ทริกเกอร์เหตุการณ์ แต่ดำเนินการวิเคราะห์อย่างละเอียดและมีรายละเอียดอย่างแท้จริงบนสตรีมเหล่านั้น มันเป็นการเปลี่ยนแปลงที่สำคัญสำหรับสิ่งที่เราเคยทำมาก่อนซึ่งเป็นการรวบรวมข้อมูลวางลงในพื้นที่เก็บข้อมูลบางส่วนฐานข้อมูลขนาดใหญ่แบบดั้งเดิมตอนนี้กรอบข้อมูลขนาดใหญ่ขนาดใหญ่เช่นแพลตฟอร์ม Hadoop และดำเนินการประมวลผลแบบแบทช์ ความเข้าใจบางอย่าง
เราทำได้ดีมากในการทำสิ่งนั้นอย่างรวดเร็วและทดลองใช้เหล็กจำนวนมาก แต่เรายังคงเก็บข้อมูลจริงๆแล้วจัดเก็บแล้วมองดูแล้วรับข้อมูลเชิงลึกหรือการวิเคราะห์บางอย่าง การเปลี่ยนไปใช้การวิเคราะห์เหล่านั้นในขณะที่มีการสตรีมข้อมูลเป็นพื้นที่การเจริญเติบโตที่ใหม่และน่าตื่นเต้นสำหรับประเภทของสิ่งที่เกิดขึ้นรอบ ๆ ข้อมูลขนาดใหญ่ มันต้องการวิธีการที่แตกต่างอย่างสิ้นเชิงเพียงแค่เก็บจัดเก็บและประมวลผลและทำการวิเคราะห์
หนึ่งในตัวขับเคลื่อนหลักสำหรับการเปลี่ยนแปลงและมุ่งเน้นไปที่การวิเคราะห์ในสตรีมคือคุณสามารถได้รับมูลค่าทางธุรกิจที่สำคัญจากการรับข้อมูลเชิงลึกเหล่านั้นได้เร็วขึ้นและพร้อมมากขึ้นเมื่อข้อมูลมาถึงคุณเนื่องจากมีการเปิดเผยข้อมูลให้กับธุรกิจ แนวคิดของการดำเนินการสิ้นสุดวันนี้ไม่เกี่ยวข้องในอุตสาหกรรมบางประเภทอีกต่อไป เราต้องการที่จะสามารถทำการวิเคราะห์ได้ทันที ในตอนท้ายของวันเรารู้อยู่แล้วว่าเกิดอะไรขึ้นเมื่อมันเกิดขึ้นแทนที่จะไปให้ถึงจุดสิ้นสุดของวันและทำงานแบ็ตช์ตลอด 24 ชั่วโมงและรับข้อมูลเชิงลึกเหล่านั้น
การวิเคราะห์สตรีมมิ่งนั้นเกี่ยวกับการแตะลงในสตรีมนั้นในขณะที่สตรีมข้อมูลมักจะเป็นสตรีมข้อมูลที่มีปริมาณมากและข้อมูลที่มาถึงเราในลักษณะที่เคลื่อนไหวอย่างรวดเร็วและรับข้อมูลเชิงลึกหรือการวิเคราะห์ในสตรีมเหล่านั้น เพื่อให้สิ่งที่เหลืออยู่และทำการวิเคราะห์กับพวกเขา
ดังที่ฉันได้กล่าวมาเรามีเวลาหลายทศวรรษและหลายทศวรรษในการปฏิบัติสิ่งที่ฉันเรียกว่าการวิเคราะห์แบบกลุ่ม ฉันใส่รูปที่เจ๋งจริงๆที่นี่ นี่เป็นรูปภาพของสุภาพบุรุษยืนอยู่หน้าคอมพิวเตอร์ที่เยาะเย้ยขึ้นมาซึ่งถูกสร้างขึ้นโดย RAND Corporation เมื่อหนึ่งปีก่อนและนี่คือสิ่งที่พวกเขาดูคอมพิวเตอร์ในบ้านที่ดูเหมือน สิ่งที่น่าสนใจคือเมื่อถึงตอนนั้นพวกเขามีแนวคิดเกี่ยวกับการหมุนเล็ก ๆ เหล่านี้และการหมุนเหล่านี้แสดงข้อมูลที่มาจากบ้านและถูกประมวลผลแบบเรียลไทม์และบอกคุณว่าเกิดอะไรขึ้น ตัวอย่างง่ายๆคือชุดของความดันบรรยากาศและอุณหภูมิที่เราสามารถดูว่าเราเห็นสิ่งที่เกิดขึ้นในเวลาจริง แต่ฉันคิดว่าแม้จะย้อนกลับไปเมื่อ RAND Corporation รวมตัวจำลองเล็ก ๆ น้อย ๆ เข้าด้วยกันพวกเขากำลังคิดเกี่ยวกับการประมวลผลข้อมูลและดำเนินการวิเคราะห์ในขณะที่กำลังเข้ามาในรูปแบบสตรีม ฉันไม่ค่อยแน่ใจว่าทำไมพวกเขาถึงวางพวงมาลัยบนคอมพิวเตอร์ แต่มันก็ค่อนข้างเท่ห์
ตั้งแต่การประดิษฐ์เครื่องพิมพ์เรามีมุมมองในการรวบรวมข้อมูลและดำเนินการวิเคราะห์แบทช์ในนั้น อย่างที่ฉันได้พูดไปกับการเปลี่ยนแปลงครั้งใหญ่ในตอนนี้และเราได้เห็นสิ่งนี้จากผู้เล่นระดับเว็บที่เราทุกคนรู้พวกเขาล้วนเป็นแบรนด์ครัวเรือนเช่น Twitter, Facebook และ LinkedIn ซึ่งเป็นพฤติกรรมแบบโต้ตอบที่เรามีกับสังคมเหล่านั้น แพลตฟอร์มไม่เพียงต้องการการจับจัดเก็บและประมวลผลในโหมดแบทช์ แต่พวกเขากำลังจับภาพและขับเคลื่อนการวิเคราะห์ได้ทันทีจากกระแสข้อมูลที่ไหลผ่าน เมื่อฉันทวีตสิ่งที่พวกเขาไม่เพียง แต่จะต้องจับภาพและจัดเก็บและทำอะไรบางอย่างในภายหลัง แต่พวกเขายังต้องสามารถที่จะนำมันกลับมาในกระแสของฉันทันทีและแบ่งปันกับคนอื่น ๆ ที่ติดตามฉัน นั่นคือรูปแบบการประมวลผลแบบแบทช์
ทำไมเราต้องลงเส้นทางนี้ เหตุใดองค์กรต่างๆจึงต้องลงทุนเวลาความพยายามและเงินในการพิจารณาความท้าทายในการพยายามวิเคราะห์เส้นทางการสตรีม องค์กรมีความปรารถนาอย่างแรงกล้าที่จะได้รับผลการดำเนินงานที่เหนือกว่าคู่แข่งในอุตสาหกรรมที่พวกเขาอยู่และการเพิ่มประสิทธิภาพนั้นสามารถดำเนินการได้อย่างรวดเร็วผ่านการวิเคราะห์กระแสอย่างง่ายและสามารถเริ่มต้นได้ง่าย ๆ เพียงแค่ติดตามข้อมูลเรียลไทม์ คุ้นเคยกับ. ฉันได้ภาพหน้าจอเล็ก ๆ ของ Google Analytics นี่อาจเป็นครั้งแรกที่เราได้รับการวิเคราะห์ระดับผู้บริโภคโดยตรง ดังนั้นเมื่อมีผู้เยี่ยมชมเว็บไซต์ของคุณและคุณได้รับจำนวนผู้เข้าชมด้วย JavaScript ชิ้นเล็ก ๆ ที่ด้านล่างของหน้าเว็บของคุณใน HTML ที่ฝังอยู่ในเว็บไซต์ของคุณรหัสเล็ก ๆ เหล่านี้ถูกสร้างขึ้นในเวลาจริงกลับไปยัง Google ดำเนินการวิเคราะห์กระแสข้อมูลที่มาจากทุกหน้าในเว็บไซต์ของคุณทุกวัตถุในเว็บไซต์ของคุณแบบเรียลไทม์และพวกมันจะส่งกลับมาให้คุณในหน้าเว็บเล็ก ๆ ที่น่ารักจริงๆนี้ในแผงควบคุมของกราฟเรียลไทม์ กราฟเส้นแสดงจำนวนคน X ที่เข้าชมหน้าเว็บของคุณในอดีต แต่นี่คือจำนวนที่มีอยู่ตอนนี้
อย่างที่คุณเห็นบนสกรีนช็อตนั้นมันบอกว่า 25 ตอนนี้ ตอนนี้มีคน 25 คนในขณะที่ภาพหน้าจอนั้นอยู่ในหน้านั้น นี่เป็นโอกาสที่แท้จริงครั้งแรกที่เราเล่นในเครื่องมือวิเคราะห์ระดับผู้บริโภค ฉันคิดว่าผู้คนมากมายได้รับมันจริงๆ พวกเขาเพิ่งเข้าใจพลังของการรู้ว่าเกิดอะไรขึ้นและจะตอบสนองอย่างไร เมื่อเราคิดถึงขนาดของ avionics เครื่องบินที่บินไปรอบ ๆ มีเที่ยวบินภายในประเทศเพียง 18, 700 เที่ยวต่อวันในสหรัฐอเมริกาเพียงลำพัง เมื่อไม่นานมานี้ฉันอ่านกระดาษ - ประมาณหกหรือเจ็ดปีที่แล้ว - ปริมาณของข้อมูลที่ผลิตโดยเครื่องบินเหล่านั้นประมาณ 200 ถึง 300 เมกะไบต์ในรูปแบบวิศวกรรมเก่า ในการออกแบบเครื่องบินในปัจจุบันเครื่องบินเหล่านี้ผลิตข้อมูลประมาณ 500 กิกะไบต์หรือประมาณครึ่งเทราไบต์ของข้อมูลต่อเที่ยวบิน
เมื่อคุณทำการคำนวณทางคณิตศาสตร์อย่างรวดเร็วจากยอดของหัวของคุณนั่นคือ 18, 700 เที่ยวบินภายในประเทศทุก ๆ 24 ชั่วโมงในน่านฟ้าสหรัฐเพียงลำพังถ้าเครื่องบินสมัยใหม่ทั้งหมดผลิตประมาณครึ่งเทราไบต์นั่นคือ 43 ถึง 44 เพตาไบต์ของข้อมูลที่ผ่านมาและ มันเกิดขึ้นขณะที่เครื่องบินอยู่ในอากาศ มันเกิดขึ้นเมื่อพวกเขาลงจอดและพวกมันทิ้งข้อมูล นั่นคือเมื่อพวกเขาเข้าไปในร้านและมีการถ่ายโอนข้อมูลเต็มรูปแบบจากทีมวิศวกรรมเพื่อดูว่าเกิดอะไรขึ้นในตลับลูกปืนล้อและภายในเครื่องยนต์ ข้อมูลบางส่วนนั้นจะต้องถูกประมวลผลแบบเรียลไทม์เพื่อให้พวกเขาสามารถตัดสินใจได้ว่าหากมีปัญหาจริงในขณะที่เครื่องบินอยู่ในอากาศหรือในขณะที่อยู่บนพื้นดิน คุณไม่สามารถทำได้ในโหมดแบทช์ ในอุตสาหกรรมอื่น ๆ ที่เราเห็นรอบด้านการเงินสุขภาพการผลิตและวิศวกรรมพวกเขายังดูว่าพวกเขาจะได้รับข้อมูลเชิงลึกใหม่ ๆ เกี่ยวกับสิ่งที่เกิดขึ้นแบบเรียลไทม์ซึ่งต่างจากสิ่งที่ถูกเก็บไว้ในฐานข้อมูลบน วาระ
นอกจากนี้ยังมีแนวคิดในการจัดการกับข้อมูลเช่นเดียวกับที่ฉันเรียกว่าสินค้าที่เน่าเสียง่ายหรือสินค้าที่เน่าเสียง่าย - ซึ่งข้อมูลจำนวนมากสูญเสียมูลค่าไปตามกาลเวลา นี่เป็นกรณีที่มีแอพพลิเคชั่นเคลื่อนที่และเครื่องมือโซเชียลมีเดียเพิ่มมากขึ้นเพราะสิ่งที่ผู้คนพูดและสิ่งที่กำลังได้รับความนิยมคือสิ่งที่คุณต้องการตอบสนอง เมื่อคุณคิดถึงส่วนอื่น ๆ ของชีวิตของเราด้วยการขนส่งและการขนส่งอาหารเราเข้าใจถึงแนวคิดของสินค้าที่เน่าเสียง่ายในแง่นั้น แต่คิดเกี่ยวกับข้อมูลที่ผ่านองค์กรของคุณและคุณค่าที่มี หากใครบางคนกำลังทำธุรกิจกับคุณในขณะนี้และคุณสามารถโต้ตอบกับพวกเขาได้แบบเรียลไทม์คุณไม่ต้องการที่จะรอเป็นเวลาหนึ่งชั่วโมงเพื่อที่จะสามารถเก็บข้อมูลและนำเข้าสู่ระบบอย่าง Hadoop แล้วกดปุ่มนี้ จะไม่สามารถจัดการกับมันได้ในตอนนี้และคุณต้องการที่จะทำตามความต้องการของลูกค้าทันที มีคำศัพท์หนึ่งที่คุณจะเห็นปรากฏขึ้นมากในขณะนี้ที่ผู้คนพูดถึงการมีสตรีมข้อมูลแบบเรียลไทม์ที่สามารถให้การตั้งค่าส่วนบุคคลแก่คุณและการปรับตั้งค่าส่วนบุคคลนั้นในระบบที่คุณใช้กับประสบการณ์ส่วนตัว ดังนั้นเมื่อคุณกดเครื่องมือเช่นเครื่องมือค้นหาของ Google เช่นถ้าฉันทำแบบสอบถามและคุณทำแบบสอบถามเดียวกันอย่างสม่ำเสมอเราจะไม่ได้รับข้อมูลเดียวกัน เราได้สิ่งที่ฉันเรียกว่าเป็นประสบการณ์ของคนดัง ฉันได้รับการรักษาด้วยการออกครั้งเดียว ฉันได้รับเวอร์ชันส่วนบุคคลของตัวเองว่าเกิดอะไรขึ้นในระบบเหล่านี้ตามโปรไฟล์และข้อมูลที่พวกเขารวบรวมกับฉันและฉันสามารถทำการวิเคราะห์แบบเรียลไทม์ในสตรีมได้
แนวคิดของข้อมูลที่เป็นสินค้าที่เน่าเสียง่ายเป็นเรื่องจริงสำหรับตอนนี้และคุณค่าของข้อมูลที่ถูกลดทอนลงเมื่อเวลาผ่านไปเป็นสิ่งที่เราต้องจัดการกับวันนี้ มันไม่ใช่เรื่องเมื่อวาน ฉันรักรูปหมีตัวนี้คว้าปลาแซลมอนกระโดดออกจากแม่น้ำเพราะมันวาดภาพที่ฉันเห็นจริงๆ มันเป็นแม่น้ำขนาดมหึมาของข้อมูลที่มาหาพวกเราไฟหากคุณต้องการและหมีกำลังนั่งอยู่กลางลำธาร มันจะทำการวิเคราะห์แบบเรียลไทม์กับสิ่งที่เกิดขึ้นรอบตัวซึ่งมันสามารถสร้างความสามารถในการจับปลาในอากาศ มันไม่เหมือนเพียงจุ่มในกระแสและคว้าหนึ่ง สิ่งนี้กำลังกระโดดขึ้นไปในอากาศและต้องอยู่ในสถานที่ที่ถูกต้องในเวลาที่เหมาะสมในการจับปลา มิฉะนั้นเขาจะไม่ได้รับอาหารเช้าหรืออาหารกลางวัน
องค์กรต้องการทำสิ่งเดียวกันกับข้อมูลของพวกเขา พวกเขาต้องการที่จะดึงค่าจากสิ่งที่ตอนนี้ปริมาณมากของข้อมูลในการเคลื่อนไหว พวกเขาต้องการทำการวิเคราะห์ข้อมูลและข้อมูลความเร็วสูงดังนั้นมันจึงไม่ใช่แค่ปริมาณข้อมูลที่มาที่เราเท่านั้น แต่เป็นความเร็วที่มาจากนี้ เพื่อความปลอดภัยตัวอย่างเช่นเราเตอร์สวิตช์เซิร์ฟเวอร์ไฟร์วอลล์และกิจกรรมทั้งหมดที่มาจากอุปกรณ์เหล่านั้นและหลายหมื่นหากไม่ใช่อุปกรณ์นับแสนในบางกรณีที่เป็นข้อมูลที่เน่าเสียง่าย เมื่อเราคิดในอินเทอร์เน็ตของสิ่งต่าง ๆ และอินเทอร์เน็ตอุตสาหกรรมเรากำลังพูดถึงล้านในที่สุดถ้าไม่ใช่พันล้านของเซ็นเซอร์ในที่สุดและเป็นข้อมูลที่ผ่านมาซึ่งกำลังทำการวิเคราะห์เรากำลังมองหาการประมวลผลเหตุการณ์ที่ซับซ้อน ตามคำสั่งของขนาดและความเร็วที่เราไม่เคยเห็นมาก่อนและเราต้องจัดการกับเรื่องนี้ในวันนี้ เราต้องสร้างเครื่องมือและระบบที่เกี่ยวข้อง มันเป็นความท้าทายที่แท้จริงสำหรับองค์กรเพราะในมือข้างหนึ่งเรามีแบรนด์ใหญ่ ๆ ที่ทำ DIY ทำเองเมื่อพวกเขามีความสามารถในการทำสิ่งนั้นและทักษะและวิศวกรรม แต่สำหรับองค์กรโดยเฉลี่ยนั่นไม่ใช่กรณี พวกเขาไม่มีชุดทักษะ พวกเขาไม่มีความสามารถหรือเวลาหรือแม้แต่เงินที่จะลงทุนในการหามัน พวกเขาทุกคนมุ่งไปที่แนวคิดของการตัดสินใจแบบเรียลไทม์
ใช้กรณีที่ฉันเจอและพวกมันครอบคลุมทุกสเปกตรัมของทุกภาคส่วนที่คุณสามารถจินตนาการได้ผู้คนกำลังนั่งฟังและให้ความสนใจและพูดว่าเราจะใช้การวิเคราะห์บางอย่างกับข้อมูลสตรีมของเราได้อย่างไร เราพูดคุยเกี่ยวกับบริการออนไลน์ระดับเว็บ มีแพลตฟอร์มโซเชียลมีเดียดั้งเดิมและ e-tailing และ retailing ออนไลน์ - ตัวอย่างเช่นแอพ พวกเขากำลังพยายามให้ประสบการณ์ดาราในแบบเรียลไทม์กับเรา แต่เมื่อเราเข้าสู่บริการสแต็คเทคโนโลยีบริการโทรศัพท์เสียงและวิดีโอมากขึ้นฉันเห็นผู้คนกำลังเดินไปทำ FaceTime บนโทรศัพท์ มันกำลังระเบิด มันรบกวนจิตใจของฉันว่าผู้คนถือโทรศัพท์ไว้ข้างหน้าพวกเขาและพูดคุยกับสตรีมวิดีโอของเพื่อนแทนที่จะถือไว้ในหูของพวกเขาอีกต่อไป แต่พวกเขารู้ว่าพวกเขาสามารถทำได้และปรับตัวและพวกเขาชอบประสบการณ์นั้น การพัฒนาแอปพลิเคชันเหล่านี้และแพลตฟอร์มที่ส่งมอบสิ่งเหล่านี้จะต้องทำการวิเคราะห์แบบเรียลไทม์กับทราฟฟิกนั้นและบนโปรไฟล์ของทราฟฟิกเพื่อให้พวกเขาสามารถทำสิ่งต่าง ๆ อย่างง่าย ๆ เช่นการกำหนดเส้นทางวิดีโอนั้นอย่างสมบูรณ์แบบ วิดีโอที่คุณได้รับนั้นเพียงพอที่จะได้รับประสบการณ์ที่ดี คุณไม่สามารถประมวลผลเป็นชุดข้อมูลได้ มันจะไม่ทำให้การสตรีมวิดีโอแบบเรียลไทม์เป็นบริการที่ใช้งานได้
มีความท้าทายด้านการกำกับดูแลในการทำธุรกรรมทางการเงิน มันไม่เป็นไรที่จะไปถึงจุดสิ้นสุดของวันและพบว่าคุณทำผิดกฎหมายในการเคลื่อนย้ายข้อมูลส่วนตัวรอบ ๆ สถานที่ ในออสเตรเลียเรามีความท้าทายที่น่าสนใจอย่างมากที่การย้ายข้อมูลที่เกี่ยวข้องกับความเป็นส่วนตัวนอกชายฝั่งนั้นไม่น่าสนใจ คุณไม่สามารถใช้ PID ของฉันข้อมูลส่วนบุคคลส่วนตัวนอกชายฝั่ง มีกฎหมายในประเทศออสเตรเลียที่จะหยุดยั้งเรื่องดังกล่าว ผู้ให้บริการทางการเงินโดยเฉพาะอย่างยิ่งแน่นอนบริการภาครัฐและหน่วยงานพวกเขาจะต้องทำการวิเคราะห์แบบเรียลไทม์บนกระแสข้อมูลและคำแนะนำกับฉันเพื่อให้แน่ใจว่าสิ่งที่พวกเขาให้ฉันไม่ทิ้งชายฝั่ง ทุกสิ่งต้องอยู่ในพื้นที่ พวกเขาต้องทำตามเวลาจริง พวกเขาไม่สามารถผิดกฎหมายและขออภัยโทษได้ในภายหลัง การตรวจจับการฉ้อโกง - เป็นสิ่งที่ชัดเจนมากที่เราได้ยินเกี่ยวกับธุรกรรมบัตรเครดิต แต่เนื่องจากประเภทของธุรกรรมที่เราทำในบริการทางการเงินกำลังเปลี่ยนแปลงอย่างรวดเร็วมากมีหลายประเภทที่ PayPal ทำก่อนในการตรวจสอบการฉ้อโกงแบบเรียลไทม์ที่เงินไม่ได้ย้ายจากสิ่งหนึ่งไปอีกสิ่งหนึ่ง ธุรกรรมทางการเงินระหว่างระบบ แพลตฟอร์มการเสนอราคาแบบ Ebay การตรวจจับการฉ้อโกงจะต้องทำแบบเรียลไทม์ในสำนักงานแบบสตรีม
ตอนนี้มีแนวโน้มที่จะทำการแยกและเปลี่ยนกิจกรรมการโหลดในสตรีมดังนั้นเราจึงไม่ต้องการจับภาพสิ่งใดก็ตามที่จะเข้าสู่กระแส เราทำเช่นนั้นไม่ได้จริงๆ ผู้คนเรียนรู้ว่าข้อมูลชอบที่จะถูกทำลายอย่างรวดเร็วถ้าเราจับทุกอย่าง เคล็ดลับในขณะนี้คือการทำการวิเคราะห์บนสตรีมเหล่านั้นและทำ ETL บนมันและเพียงแค่จับสิ่งที่คุณต้องการเมตาดาต้าที่อาจเกิดขึ้นแล้วขับเคลื่อนการวิเคราะห์เชิงพยากรณ์ที่เราสามารถบอกได้ว่าอะไรจะเกิดขึ้นต่อไป เพิ่งเห็นสตรีมตามการวิเคราะห์ที่เราดำเนินการ
ผู้ให้บริการด้านพลังงานและสาธารณูปโภคกำลังประสบกับความต้องการอย่างมากจากผู้บริโภคในการกำหนดราคาความต้องการ ฉันอาจตัดสินใจว่าฉันต้องการซื้อพลังงานสีเขียวในช่วงเวลาหนึ่งของวันเพราะฉันอยู่บ้านคนเดียวและฉันไม่ได้ใช้อุปกรณ์จำนวนมาก แต่ถ้าฉันมีงานเลี้ยงอาหารค่ำฉันอาจต้องการเปิดใช้งานอุปกรณ์ทั้งหมดของฉันและฉันไม่ต้องการซื้อพลังงานราคาถูกและรอให้จัดส่ง แต่ยินดีจ่ายค่าใช้จ่ายเพิ่มเติมเพื่อให้ได้พลังงานนั้น การกำหนดราคาความต้องการนี้โดยเฉพาะในด้านสาธารณูปโภคและพื้นที่พลังงานได้เกิดขึ้นแล้ว ตัวอย่างเช่น Uber เป็นตัวอย่างคลาสสิกของสิ่งที่คุณสามารถทำได้ทุกวันและทั้งหมดนี้ขับเคลื่อนด้วยการกำหนดราคาตามความต้องการ มีตัวอย่างคลาสสิกของผู้คนในออสเตรเลียที่ได้รับค่าโดยสาร $ 10, 000 เนื่องจากมีความต้องการอย่างมากในวันส่งท้ายปีเก่า ฉันแน่ใจว่าพวกเขาได้จัดการกับปัญหานั้นแล้ว แต่การวิเคราะห์สตรีมกำลังดำเนินการตามเวลาจริงขณะอยู่ในรถบอกให้คุณทราบว่าฉันควรจ่ายเท่าไร
Internet of Things และเซ็นเซอร์ลำธาร - เราเพิ่งขีดข่วนพื้นผิวในเรื่องนี้และเราเพิ่งจะมีการสนทนาขั้นพื้นฐานเกิดขึ้นกับสิ่งนี้ แต่เราจะเห็นการเปลี่ยนแปลงที่น่าสนใจในวิธีที่เทคโนโลยีจัดการกับสิ่งนั้นเพราะเมื่อคุณไม่ได้พูด เพียงประมาณพันหรือหมื่น แต่หลายแสนและอุปกรณ์ที่อาจพันล้านสตรีมมิ่งกับคุณเกือบจะไม่มีเทคโนโลยีใดที่เรามีอยู่ตอนนี้ได้รับการออกแบบมาเพื่อรับมือกับสิ่งนั้น
มีหัวข้อที่น่าสนใจที่เราจะพบเห็นในสถานที่เช่นความปลอดภัยและความเสี่ยงทางไซเบอร์ พวกเขาเป็นความท้าทายที่แท้จริงสำหรับเรา มีเครื่องมือที่ประณีตมาก ๆ ที่เรียกว่านอร์ ธ บนเว็บซึ่งคุณสามารถนั่งดูในเว็บเพจต่างๆในโลกไซเบอร์ที่เกิดขึ้นแบบเรียลไทม์ เมื่อคุณดูคุณคิดว่า“ โอ้มันเป็นหน้าเว็บเล็ก ๆ ที่น่ารักดี” แต่หลังจากนั้นประมาณห้านาทีคุณก็จะเห็นปริมาณของข้อมูลที่ระบบกำลังทำการวิเคราะห์บนกระแสข้อมูลที่แตกต่างกันของอุปกรณ์ต่าง ๆ ทั่วโลก ที่ถูกป้อนเข้าพวกเขา มันเริ่มที่จะทำให้ใจของคุณแสดงว่าพวกเขากำลังแสดงอยู่ที่ขอบของเรคคอร์ดนั้นและให้หน้าจอเล็ก ๆ ที่เรียบง่ายที่จะบอกคุณว่าอะไรหรืออะไรก็ตามที่โจมตีมันแบบเรียลไทม์และการโจมตีแบบไหน แต่มันเป็นวิธีที่เรียบง่ายมาก ๆ ที่จะได้รับรสชาติที่ดีของการวิเคราะห์สตรีมที่สามารถทำเพื่อคุณแบบเรียลไทม์โดยเพียงแค่ดูหน้านี้และรับความรู้สึกของปริมาณและความท้าทายในการรับสตรีม พวกเขาและเป็นตัวแทนของในเวลาจริง
ฉันคิดว่าบทสนทนาที่ฉันมีในช่วงที่เหลือกำลังจะพูดถึงสิ่งต่าง ๆ เหล่านั้นด้วยมุมมองที่น่าสนใจจากมุมมองของฉันและนั่นคือความท้าทายของ DIY อบด้วยตัวคุณเอง ยูนิคอร์นคลาสสิกที่สามารถสร้างสิ่งเหล่านั้นได้ พวกเขามีพันล้านดอลลาร์ในการสร้างทีมวิศวกรรมและสร้างศูนย์ข้อมูล แต่สำหรับ 99.9% ขององค์กรออกไปที่นั่นซึ่งต้องการเพิ่มมูลค่าในธุรกิจของพวกเขาในการวิเคราะห์สตรีมพวกเขาจำเป็นต้องได้รับบริการนอกชั้นวาง พวกเขาจำเป็นต้องซื้อผลิตภัณฑ์นอกกรอบและพวกเขาต้องการบริการให้คำปรึกษาและบริการระดับมืออาชีพเพื่อช่วยให้พวกเขาใช้มันและพวกเขาได้รับคุณค่านั้นกลับมาในธุรกิจและขายมันกลับไปให้ธุรกิจเป็นวิธีการทำงาน
ด้วยสิ่งนั้นฉันจะส่งคืนให้คุณรีเบคก้าเพราะฉันเชื่อว่านั่นคือสิ่งที่เรากำลังจะกล่าวถึงในรายละเอียดตอนนี้
Rebecca Jozwiak: ยอดเยี่ยม ขอบคุณมาก Dez นั่นเป็นการนำเสนอที่ยอดเยี่ยม
ตอนนี้ฉันจะส่งบอลให้โรบิน เอามันออกไป.
Robin Bloor: โอเค เนื่องจาก Dez เข้าสู่กระบวนการของการประมวลผลสตรีมมันจึงไม่สมเหตุสมผลสำหรับฉันที่จะครอบคลุมอีกครั้ง ดังนั้นฉันแค่จะใช้มุมมองเชิงกลยุทธ์อย่างสมบูรณ์ มองจากระดับที่สูงมาก ๆ ลงไปในสิ่งที่เกิดขึ้นและวางมันลงเพราะฉันคิดว่ามันอาจช่วยให้ผู้คนโดยเฉพาะอย่างยิ่งพวกเราคนที่ไม่ได้ตั้งค่ายในลำธารในการประมวลผลที่ลึกมากก่อน
การประมวลผลสตรีมได้รับรอบเป็นเวลานาน เราเคยเรียกมันว่า CEP มีระบบเรียลไทม์ก่อนหน้านั้น ระบบควบคุมกระบวนการเดิมนั้นจริง ๆ แล้วประมวลผลกระแสข้อมูล - แน่นอนว่าไม่มีสิ่งใดเกิดขึ้นจนถึงทุกวันนี้ กราฟิกนี้ที่คุณเห็นบนสไลด์ที่นี่ มันชี้ให้เห็นหลายสิ่งหลายอย่างจริง ๆ แต่มันชี้ให้เห็นเหนือสิ่งอื่นใด - ความจริงที่ว่ามีสเปกตรัมเวลาแฝงที่ปรากฏในสีที่ต่างกันที่นี่ สิ่งที่เกิดขึ้นจริงตั้งแต่การคิดค้นการคำนวณหรือการคำนวณเชิงพาณิชย์ที่มาถึงราว ๆ ปี 1960 ก็คือทุกสิ่งได้เร็วขึ้นและเร็วขึ้น เราเคยสามารถพึ่งพาวิธีการที่ว่านี้ออกมาจริง ๆ ถ้าคุณชอบในคลื่นเพราะนั่นคือสิ่งที่ดูเหมือน สิ่งนี้ขึ้นอยู่กับมัน เพราะมันถูกขับเคลื่อนโดยกฎของมัวร์และกฎของมัวร์จะทำให้เรามีความเร็วประมาณสิบเท่าในช่วงเวลาประมาณหกปี จากนั้นเมื่อเรามาถึงปี 2013 ทุกอย่างพังทลายและเราก็เริ่มเร่งในอัตราที่เราไม่เคยมีมาก่อนซึ่งเป็นสิ่งที่ไม่เคยเกิดขึ้นมาก่อน เราได้รับปัจจัยประมาณสิบในแง่ของการเพิ่มความเร็วและลดเวลาแฝงลงในทุกๆหกปี ในช่วงหกปีที่ผ่านมาตั้งแต่ปี 2010 เรามีหลายพันอย่างน้อย สามลำดับความสำคัญมากกว่าหนึ่งคำสั่ง
นั่นคือสิ่งที่เกิดขึ้นและนั่นเป็นสาเหตุที่อุตสาหกรรมไม่ทางใดก็ทางหนึ่งดูเหมือนว่าจะเคลื่อนไหวด้วยความเร็วที่น่าอัศจรรย์เพราะเป็นเช่นนั้น เพียงแค่ผ่านความหมายของภาพกราฟิกนี้เวลาตอบสนองนั้นแท้จริงแล้วจะอยู่ในระดับอัลกอริทึมตามแนวแกน เวลาจริงคือความเร็วคอมพิวเตอร์เร็วกว่ามนุษย์ เวลาโต้ตอบเป็นสีส้ม มันคือเมื่อคุณโต้ตอบกับคอมพิวเตอร์นั่นคือสิ่งที่คุณต้องการให้เวลาประมาณหนึ่งในสิบของเวลาแฝง ด้านบนมีธุรกรรมที่เราคิดเกี่ยวกับสิ่งที่คุณทำในคอมพิวเตอร์ แต่ถ้าออกไปในเวลาประมาณสิบห้าวินาทีมันจะทนไม่ได้ คนจริง ๆ แล้วจะไม่รอคอมพิวเตอร์ ทุกอย่างทำในชุด มีหลายสิ่งที่ทำในแบทช์ตอนนี้ลงมาสู่พื้นที่การทำธุรกรรมลงในพื้นที่การโต้ตอบหรือแม้กระทั่งในพื้นที่เรียลไทม์ ในขณะที่ก่อนหน้านี้คลื่นที่มีข้อมูลจำนวนน้อยมากที่เราสามารถทำสิ่งนี้ได้ตอนนี้เราสามารถทำกับข้อมูลจำนวนมากโดยใช้สภาพแวดล้อมที่ปรับขนาดอย่างมหาศาล
ดังนั้นโดยพื้นฐานแล้วสิ่งเหล่านี้กำลังบอกว่าเป็นธุรกรรมและเวลาโต้ตอบของมนุษย์ สิ่งที่น่าทำมากมายกับลำธารในตอนนี้คือการแจ้งให้มนุษย์รู้ถึงสิ่งต่าง ๆ บางส่วนกำลังจะเร็วกว่านั้นและแจ้งให้ทราบถึงสิ่งที่ดีดังนั้นจึงเป็นเวลาจริง จากนั้นเราใช้ใบอนุญาตเพียงวางเหมือนหินทำให้การวิเคราะห์ทันทีเป็นไปได้และราคาไม่แพงโดยบังเอิญ มันไม่ใช่แค่ความเร็วลดลงและด้านบนก็ทรุดตัวลงเช่นกัน อาจเป็นผลกระทบที่ยิ่งใหญ่ที่สุดในบรรดาสิ่งเหล่านี้ในแอพพลิเคชั่นต่าง ๆ ทั้งหมดคุณสามารถทำการวิเคราะห์เชิงทำนายเหล่านี้ได้ทั้งหมด ฉันจะบอกคุณว่าทำไมในไม่กี่นาที
นี่เป็นเพียงที่เก็บฮาร์ดแวร์ คุณมีซอฟต์แวร์แบบขนาน เรากำลังพูดถึงในปี 2004 สถาปัตยกรรมที่ขยายขนาดชิปแบบมัลติคอร์การเพิ่มหน่วยความจำ CPU ที่กำหนดค่าได้ SSD ตอนนี้ไปเร็วกว่าการหมุนดิสก์ คุณสามารถลาดิสก์หมุนคลื่นสวยได้ SSD นั้นมีหลายคอร์เช่นกันดังนั้นจึงเร็วขึ้นและเร็วขึ้น ในไม่ช้าที่จะปรากฏเรามี memristor จาก HP เรามี 3D XPoint จาก Intel และ Micron คำมั่นสัญญาของสิ่งเหล่านั้นคือมันจะทำให้ทุกอย่างเร็วขึ้นและเร็วขึ้นอยู่ดี เมื่อคุณนึกถึงเทคโนโลยีหน่วยความจำใหม่สองเทคโนโลยีซึ่งทั้งสองอย่างนี้จะทำให้ชิ้นส่วนพื้นฐานทั้งหมดเป็นไปได้เร็วขึ้นเราไม่ได้เห็นจุดจบของมัน
เทคโนโลยีสตรีมซึ่งเป็นข้อความต่อไปจริงๆอยู่ที่นี่เพื่ออยู่ จะต้องมีสถาปัตยกรรมใหม่ ฉันหมายถึง Dez ได้กล่าวถึงเรื่องนี้ในหลาย ๆ จุดในการนำเสนอของเขา เป็นเวลาหลายทศวรรษที่เรามองว่าสถาปัตยกรรมเป็นการรวมกันของฮีปข้อมูลและไพพ์ข้อมูล เรามีแนวโน้มที่จะประมวลผลฮีปและเรามักจะไพพ์ข้อมูลระหว่างฮีป ตอนนี้เรากำลังย้ายพื้นฐานไปสู่สิ่งที่เราเรียกว่าสถาปัตยกรรมข้อมูลแลมบ์ดาที่รวมการประมวลผลของการไหลของข้อมูลเข้ากับกองข้อมูล เมื่อคุณกำลังประมวลผลสตรีมของเหตุการณ์ที่เข้ามาเทียบกับข้อมูลในอดีตเช่นการไหลของข้อมูลหรือกองข้อมูลนั่นคือสิ่งที่ฉันหมายถึงโดยสถาปัตยกรรมแลมบ์ดา นี่คือในวัยเด็ก มันเป็นเพียงส่วนหนึ่งของภาพ หากคุณพิจารณาบางสิ่งที่ซับซ้อนเช่นเดียวกับ Internet of Everything ซึ่ง Dez ได้กล่าวไว้คุณจะตระหนักได้ว่ามีปัญหาเกี่ยวกับตำแหน่งข้อมูลทุกประเภท - การตัดสินใจเกี่ยวกับสิ่งที่คุณควรดำเนินการในสตรีม
สิ่งที่ฉันพูดจริง ๆ คือเมื่อเราประมวลผลเป็นกลุ่มเรากำลังประมวลผลสตรีม เราไม่สามารถทำได้ทีละครั้ง เรารอจนกว่าจะมีสิ่งของจำนวนมากแล้วเราดำเนินการทั้งหมดในครั้งเดียว เรากำลังเคลื่อนไปสู่สถานการณ์ที่เราสามารถประมวลผลข้อมูลในสตรีมได้ หากเราสามารถประมวลผลข้อมูลในสตรีมได้ข้อมูลฮีปที่เราเก็บไว้จะเป็นข้อมูลสแตติกที่เราต้องอ้างอิงเพื่อประมวลผลข้อมูลในสตรีม
สิ่งนี้นำเราไปสู่สิ่งนี้ ฉันเคยพูดถึงเรื่องนี้มาก่อนในการนำเสนอด้วยการเปรียบเทียบทางชีววิทยา วิธีที่ฉันอยากให้คุณนึกถึงก็คือตอนนี้เราเป็นมนุษย์ เรามีเครือข่ายที่แตกต่างกันสามเครือข่ายสำหรับการประมวลผลล่วงหน้าตามเวลาจริง พวกเขาเรียกว่าโซมาติกระบบอัตโนมัติและลำไส้ ลำไส้คือกระเพาะอาหารของคุณ ระบบประสาทอัตโนมัติดูแลการต่อสู้และเที่ยวบิน จริงๆแล้วมันจะดูแลปฏิกิริยาต่อสิ่งแวดล้อมอย่างรวดเร็ว โซมาติกซึ่งดูแลการเคลื่อนไหวของร่างกาย เหล่านี้เป็นระบบเรียลไทม์ สิ่งที่น่าสนใจเกี่ยวกับเรื่องนี้ - หรือฉันคิดว่ามันน่าสนใจ - เป็นเรื่องที่ทำนายได้มากกว่าที่คุณคิด ราวกับว่าคุณกำลังดูหน้าจอประมาณ 18 นิ้วจากใบหน้าของคุณ สิ่งที่คุณสามารถมองเห็นได้อย่างชัดเจนทั้งหมดที่ร่างกายของคุณสามารถมองเห็นได้อย่างชัดเจนคือความจริงเกี่ยวกับสี่เหลี่ยม 8 × 10 ทุกอย่างภายนอกนั้นเบลอจริง ๆ เท่าที่ร่างกายของคุณเป็นห่วง แต่ใจของคุณกำลังเติมช่องว่างและทำให้มันไม่พร่ามัว คุณไม่เห็นความพร่ามัวเลย คุณเห็นมันชัดเจน ใจของคุณกำลังทำวิธีทำนายกระแสข้อมูลเพื่อให้คุณเห็นความชัดเจนนั้น นั่นเป็นสิ่งที่อยากรู้อยากเห็น แต่คุณสามารถดูวิธีการทำงานของระบบประสาทและวิธีที่เราจัดการเพื่อรับและทำตัวอย่างมีเหตุผล - อย่างน้อยพวกเราบางคน - อย่างมีเหตุผลและไม่ชนกับสิ่งต่าง ๆ ตลอดเวลา
มันทำโดยชุดการวิเคราะห์เชิงเส้นประสาทที่อยู่ข้างใน สิ่งที่จะเกิดขึ้นคือองค์กรจะมีสิ่งเดียวกันและกำลังจะสร้างสิ่งเดียวกันและมันจะเป็นการประมวลผลของกระแสรวมถึงกระแสภายในขององค์กร - สิ่งที่เกิดขึ้นภายใน สิ่งที่เกิดขึ้นข้างนอกการตอบสนองทันทีที่ต้องทำจริง ๆ แน่นอนว่าเป็นการให้อาหารแก่มนุษย์ในการตัดสินใจเพื่อทำให้สิ่งเหล่านี้เกิดขึ้น นั่นคือสิ่งที่เรากำลังจะไปเท่าที่ฉันเห็น
หนึ่งในสิ่งที่เป็นผลมาจากการที่ระดับของแอพพลิเคชั่นสตรีมมิ่งนั้นทำได้ดี จะมีมากยิ่งกว่าที่เราเห็นในตอนนี้ ตอนนี้เรากำลังเลือกผลไม้แขวนลอยต่ำในการทำสิ่งที่ชัดเจน
อย่างไรก็ตามนั่นคือข้อสรุปที่นี่ การวิเคราะห์สตรีมมิ่งเป็นเพียงช่องทางหนึ่ง แต่กำลังกลายเป็นกระแสหลักและจะนำมาใช้โดยทั่วไปในไม่ช้า
จากนั้นฉันจะส่งมันกลับไปที่รีเบคก้า
Rebecca Jozwiak: ขอบคุณมากโรบิน การนำเสนอที่ยอดเยี่ยมตามปกติ
อนันคุณจะขึ้นต่อไป พื้นเป็นของคุณ
Anand Venugopal: เยี่ยมมาก ขอขอบคุณ.
ชื่อของฉันคือ Anand Venugopal และฉันเป็นหัวหน้าผลิตภัณฑ์สำหรับ StreamAnalytix เป็นผลิตภัณฑ์ที่นำเสนอโดย Impetus Technologies จาก Los Gatos, California
Impetus มีประวัติอันยาวนานในการเป็นผู้ให้บริการโซลูชั่นข้อมูลขนาดใหญ่สำหรับองค์กรขนาดใหญ่ ดังนั้นเราจึงได้ทำการปรับใช้การวิเคราะห์แบบสตรีมมิ่งเป็น บริษัท ให้บริการและเราได้เรียนรู้บทเรียนมากมาย นอกจากนี้เรายังเปลี่ยนไปสู่การเป็น บริษัท ผลิตภัณฑ์และ บริษัท ที่ขับเคลื่อนด้วยโซลูชั่นในช่วงสองสามปีที่ผ่านมาและการวิเคราะห์กระแสกำลังมุ่งหน้าไปสู่การเปลี่ยน Impetus เป็น บริษัท ที่ขับเคลื่อนด้วยผลิตภัณฑ์เป็นส่วนใหญ่ มีสินทรัพย์ที่สำคัญและสำคัญมากซึ่ง Impetus ถูกล้างออกจากการสัมผัสกับองค์กรของเราและ StreamAnalytix เป็นหนึ่งในนั้น
เราอยู่ในธุรกิจมา 20 ปีและมีการผสมผสานที่ยอดเยี่ยมของผลิตภัณฑ์และบริการที่ทำให้เราได้เปรียบอย่างมาก และ StreamAnalytix เกิดจากบทเรียนทั้งหมดที่ได้เรียนรู้จากการใช้งานสตรีมแบบห้าหรือหกครั้งแรกของเรา
ฉันจะสัมผัสบางสิ่ง แต่นักวิเคราะห์ Dez และ Robin ได้ทำงานที่ยอดเยี่ยมที่ครอบคลุมพื้นที่โดยรวมดังนั้นฉันจะข้ามเนื้อหาจำนวนมากที่ทับซ้อนกัน ฉันอาจจะไปเร็ว เราเห็นนอกเหนือจากกรณีสตรีมมิงแท้โดยใช้การเร่งความเร็วแบบกลุ่มจำนวนมากซึ่งมีกระบวนการแบตช์ที่สำคัญมากในองค์กร อย่างที่คุณเห็นวงจรทั้งหมดของการรับรู้เหตุการณ์และการวิเคราะห์และการดำเนินการอาจต้องใช้เวลาหลายสัปดาห์ในองค์กรขนาดใหญ่และพวกเขาทั้งหมดพยายามลดขนาดให้เหลือไม่กี่นาทีและบางวินาทีและเสี้ยววินาที ดังนั้นอะไรก็ตามที่เร็วกว่ากระบวนการแบทช์เหล่านี้คือตัวเลือกสำหรับการซื้อธุรกิจและนั่นเป็นสิ่งที่ดีมากที่ค่าของข้อมูลลดลงอย่างมากตามอายุของมันดังนั้นมูลค่าที่เพิ่มขึ้นจึงมีอยู่ในส่วนเริ่มต้นในไม่กี่วินาที เป็นการดีถ้าคุณสามารถคาดการณ์สิ่งที่จะเกิดขึ้นนั่นคือค่าสูงสุดนั่นขึ้นอยู่กับความถูกต้องแม้ว่า ค่าสูงสุดต่อไปคือเมื่อมีอยู่เมื่อเกิดขึ้นคุณสามารถวิเคราะห์และตอบสนอง แน่นอนว่าค่าจะลดลงอย่างมากหลังจากนั้น BI ที่มีข้อ จำกัด หลักที่เราใช้อยู่
มันน่าสนใจ คุณอาจคาดหวังคำตอบทางวิทยาศาสตร์อย่างมากว่าทำไมสตรีมมิ่งการวิเคราะห์ มีหลายกรณีสิ่งที่เราเห็นคือเป็นเพราะตอนนี้เป็นไปได้และเนื่องจากทุกคนรู้ว่าชุดเก่าแล้วชุดน่าเบื่อและชุดไม่เย็น มีการศึกษามากพอที่ทุกคนมีในขณะนี้เนื่องจากมีสตรีมมิ่งที่เป็นไปได้และตอนนี้ทุกคนมี Hadoop ตอนนี้การกระจายของ Hadoop มีเทคโนโลยีการสตรีมที่ฝังอยู่ในนั้นไม่ว่าจะเป็นสตอร์มมิ่งหรือสตอร์มประกายและแน่นอนคิวข้อความเช่น Kafka เป็นต้น
องค์กรที่เราเห็นกำลังกระโดดเข้ามาและเริ่มทดลองกับกรณีเหล่านี้และเราเห็นหมวดหมู่กว้าง ๆ สองประเภท มีสิ่งหนึ่งที่จะทำอย่างไรกับการวิเคราะห์ลูกค้าและประสบการณ์ของลูกค้าและการปฏิบัติงานที่สอง ฉันจะเข้าไปดูรายละเอียดบางอย่างในภายหลัง มุมมองการบริการลูกค้าและประสบการณ์ของลูกค้าทั้งหมดและที่ Impetus StreamAnalytix ได้ทำสิ่งนี้ในหลาย ๆ รูปแบบคือทั้งหมดที่เกี่ยวกับการจับภาพการมีส่วนร่วมแบบหลายช่องทางของผู้บริโภคในแบบเรียลไทม์และให้ประสบการณ์ที่ไวต่อบริบทมาก ซึ่งไม่ธรรมดาวันนี้ หากคุณกำลังท่องเว็บบนเว็บไซต์ของ Bank of America และคุณกำลังค้นคว้าผลิตภัณฑ์บางอย่างและคุณเพียงโทรไปที่ศูนย์บริการ พวกเขาจะพูดว่า“ เฮ้โจฉันรู้ว่าคุณกำลังค้นคว้าผลิตภัณฑ์ธนาคารบางอย่างคุณต้องการให้ฉันเติมคุณหรือไม่” คุณไม่ได้คาดหวังในวันนี้ แต่นั่นเป็นประสบการณ์ที่เป็นไปได้ด้วยการวิเคราะห์สตรีมมิ่งอย่างแท้จริง ในหลายกรณีมันสร้างความแตกต่างอย่างมากโดยเฉพาะอย่างยิ่งหากลูกค้าเริ่มค้นคว้าหาวิธีที่จะเลิกสัญญากับคุณโดยดูที่คำสั่งเลิกจ้างก่อนกำหนดหรือข้อกำหนดและเงื่อนไขการยกเลิกก่อนกำหนดในเว็บไซต์ของคุณแล้วโทรเข้าและคุณจะไม่ เผชิญหน้ากับพวกเขาโดยตรง แต่เพียงทำข้อเสนอทางอ้อมเกี่ยวกับโปรโมชันแรก ๆ เพราะระบบรู้ว่าบุคคลนี้กำลังมองหาการยุติก่อนกำหนดและคุณทำข้อเสนอนั้น ณ จุดนั้นคุณสามารถปกป้องลูกค้าที่ปั่นป่วนและปกป้องทรัพย์สินนั้นได้เป็นอย่างดี .
นั่นจะเป็นตัวอย่างหนึ่งบวกบริการลูกค้าจำนวนมากล้วนเป็นตัวอย่างที่ดีมาก เรากำลังดำเนินการในวันนี้เพื่อลดค่าใช้จ่ายในศูนย์บริการรวมทั้งมอบประสบการณ์ที่น่าประทับใจแก่ลูกค้า Dez ทำได้ดีมากในการสรุปกรณีการใช้งานบางอย่าง คุณสามารถจ้องที่แผนภูมินี้ได้สองสามนาที ฉันจัดว่าเป็นแนวตั้งแนวนอนและพื้นที่คอมโบ, IoT, แอพมือถือและคอลเซ็นเตอร์ พวกเขาเป็นแนวดิ่งและแนวนอนทั้งหมด ขึ้นอยู่กับว่าคุณจะมองอย่างไร บรรทัดล่างเราเห็นการใช้แนวนอนที่ค่อนข้างพบได้ทั่วไปในอุตสาหกรรมและมีกรณีการใช้งานในแนวดิ่งเช่นบริการทางการเงินการดูแลสุขภาพโทรคมนาคมการผลิต ฯลฯ หากคุณถามคำถามหรือบอกตัวเอง นั่น“ โอ้ฉันไม่รู้ว่ามีกรณีใช้อะไรบ้าง ฉันไม่แน่ใจว่ามีคุณค่าทางธุรกิจใด ๆ ในการวิเคราะห์สตรีมมิ่งสำหรับ บริษัท ของฉันหรือเพื่อองค์กรของเรา” คิดอย่างหนักคิดสองครั้ง พูดคุยกับผู้คนมากขึ้นเนื่องจากมีกรณีการใช้งานที่เกี่ยวข้องกับ บริษัท ของคุณในวันนี้ ฉันจะได้มูลค่าทางธุรกิจเกี่ยวกับมูลค่าทางธุรกิจที่ได้มาอย่างแน่นอน
ที่ด้านล่างของปิรามิดที่นี่คุณมีการบำรุงรักษาแบบคาดการณ์ล่วงหน้าความปลอดภัยการป้องกันแบบปั่นป่วน ฯลฯ กรณีการใช้งานเหล่านั้นเป็นการป้องกันรายได้และสินทรัพย์ หาก Target ป้องกันการละเมิดความปลอดภัยที่เกิดขึ้นในช่วงหลายชั่วโมงและหลายสัปดาห์ CIO จะสามารถช่วยงานของเขาไว้ได้ มันสามารถประหยัดได้หลายสิบหรือหลายร้อยล้านดอลลาร์เป็นต้นการวิเคราะห์การสตรีมแบบเรียลไทม์ช่วยในการปกป้องสินทรัพย์เหล่านั้นและปกป้องการสูญเสีย นั่นคือการเพิ่มมูลค่าธุรกิจโดยตรงที่นั่น
หมวดถัดไปกำลังทำกำไรได้มากขึ้นลดค่าใช้จ่ายของคุณและรับรายได้มากขึ้นจากการดำเนินงานปัจจุบัน นั่นคือประสิทธิภาพขององค์กรปัจจุบัน นี่คือกรณีการใช้งานทุกประเภทที่เราเรียกว่าหน่วยสืบราชการลับแบบเรียลไทม์ซึ่งคุณจะได้รับข้อมูลเชิงลึกเกี่ยวกับวิธีการทำงานของเครือข่ายวิธีการปฏิบัติงานของลูกค้าของคุณพฤติกรรมของกระบวนการทางธุรกิจของคุณและคุณสามารถปรับแต่ง ทั้งหมดนี้ในแบบเรียลไทม์เพราะคุณได้รับข้อเสนอแนะคุณจะได้รับการแจ้งเตือน คุณได้รับความเบี่ยงเบนความแปรปรวนแบบเรียลไทม์และคุณสามารถดำเนินการและแยกกระบวนการที่กำลังออกนอกขอบเขตได้อย่างรวดเร็ว
คุณสามารถประหยัดเงินเป็นจำนวนมากในการอัพเกรดทุนที่มีราคาแพงและสิ่งที่คุณคิดว่าจำเป็นซึ่งอาจไม่จำเป็นถ้าคุณปรับบริการเครือข่ายให้เหมาะสม เราได้ยินกรณีที่ผู้ให้บริการโทรศัพท์รายใหญ่เลื่อนการอัพเกรดโครงสร้างพื้นฐานเครือข่ายมูลค่า $ 40 ล้านเนื่องจากพวกเขาพบว่าพวกเขามีความสามารถเพียงพอในการจัดการทราฟฟิกในปัจจุบันซึ่งโดยการปรับให้เหมาะสมและดีกว่า สิ่งเหล่านี้เป็นไปได้เฉพาะกับการวิเคราะห์แบบเรียลไทม์และกลไกการดำเนินการบางอย่างที่ทำหน้าที่ข้อมูลเชิงลึกเหล่านั้นแบบเรียลไทม์
การเพิ่มมูลค่าในระดับต่อไปคือการขายเพิ่มข้ามขายซึ่งมีโอกาสที่จะสร้างรายได้และผลกำไรมากขึ้นจากข้อเสนอปัจจุบัน นี่คือตัวอย่างคลาสสิกที่พวกเราหลายคนรู้เกี่ยวกับประสบการณ์ที่คุณคิดในชีวิตที่คุณยินดีที่จะซื้อผลิตภัณฑ์จริง ๆ วันนี้ที่ไม่ได้เสนอให้คุณ ในหลายกรณีหลายอย่างที่เกิดขึ้นจริง คุณมีสิ่งต่าง ๆ ในใจที่คุณต้องการซื้อที่คุณรู้ว่าคุณต้องการซื้อว่าคุณมีรายการสิ่งที่ต้องทำหรือสิ่งที่ภรรยาของคุณบอกคุณหรือถ้าคุณไม่มีภรรยา แต่คุณต้องการซื้อจริงๆ และคุณจะไปช็อปปิ้งบนเว็บไซต์หรือคุณมีปฏิสัมพันธ์ในร้านค้าปลีกหน้าร้านก็ไม่มีบริบทไม่มีปัญญาในการคำนวณสิ่งที่คุณต้องการ ดังนั้นพวกเขาไม่ได้รับธุรกิจที่ปลอดภัย หากการวิเคราะห์การสตรีมสามารถนำไปใช้เพื่อการคาดการณ์ที่แม่นยำและเป็นไปได้ในสิ่งที่เหมาะสมที่สุดกับบริบทนี้ลูกค้าในเวลานี้ ณ สถานที่นี้มีการขายและขายข้ามมากและมาจากอีกครั้ง การวิเคราะห์สตรีมมิ่ง - ความสามารถในการตัดสินใจในสิ่งที่ลูกค้ารายนี้มีแนวโน้มที่จะซื้อหรือตอบสนองในช่วงเวลาของความจริงเมื่อมีโอกาส นั่นเป็นเหตุผลที่ฉันรักภาพที่ Dez แสดงกับหมีที่กำลังจะกินปลานั่น นั่นมันสวยมาก
นอกจากนี้เรายังคิดว่ามีประเภทใหญ่ที่มีการเปลี่ยนแปลงอย่างมากในการเปลี่ยนแปลงขององค์กรที่นำเสนอผลิตภัณฑ์และบริการใหม่ที่สมบูรณ์แบบเพียงแค่การสังเกตพฤติกรรมของลูกค้าทั้งหมดขึ้นอยู่กับการสังเกตพฤติกรรมขององค์กรอื่น ถ้าสมมุติว่า telco หรือ บริษัท เคเบิลสังเกตรูปแบบการใช้งานของลูกค้าในส่วนของตลาดที่เขากำลังดูรายการใดเวลาใดพวกเขาจริง ๆ แล้วจบลงด้วยการสร้างผลิตภัณฑ์และบริการที่เกือบจะถูกขอร้อง ในบางวิธี ดังนั้นแนวคิดทั้งหมดเกี่ยวกับพฤติกรรมหลายหน้าจอในตอนนี้ที่ซึ่งเราเกือบจะเข้าใจแล้วว่าเราสามารถเห็นเนื้อหาของทีวีหรือเคเบิลในแอพมือถือของเรา ตัวอย่างเหล่านี้มาจากผลิตภัณฑ์และบริการใหม่ ๆ ที่เสนอให้กับเรา
ฉันจะเข้าไปที่“ การพิจารณาการวิเคราะห์สตรีมมิ่งสถาปัตยกรรมคืออะไร?” ในที่สุดสิ่งที่เรากำลังพยายามทำอยู่ นี่คือสถาปัตยกรรมแลมบ์ดาที่คุณผสมผสานข้อมูลในอดีตและข้อมูลเชิงลึกแบบเรียลไทม์แล้วดูในเวลาเดียวกัน นั่นคือสิ่งที่ซิกมาเปิดใช้งาน เราทุกคนมีสถาปัตยกรรมชุดและรูปภาพองค์กรวันนี้ เรากำลังรวบรวม BI สแต็คและการใช้ประโยชน์บางประเภทและเพิ่มสถาปัตยกรรมของแลมบ์ดา ในฐานะที่เป็นเลเยอร์ความเร็วหรือความต้องการและแลมบ์ดาเป็นเรื่องเกี่ยวกับการรวมข้อมูลเชิงลึกทั้งสองนั้นเข้าด้วยกันและเห็นว่าในลักษณะที่รวมกันในรูปแบบที่สมบูรณ์ซึ่งรวมข้อมูลเชิงลึกทั้งสอง
มีอีกกระบวนทัศน์หนึ่งที่เรียกว่าสถาปัตยกรรมคัปปาที่กำลังถูกเสนอโดยการคาดเดาว่าเลเยอร์ความเร็วเป็นกลไกการป้อนข้อมูลเพียงอย่างเดียวที่จะคงอยู่ในระยะยาว ทุกอย่างจะผ่านชั้นความเร็วนี้ ไม่มีแม้แต่จะเป็นกลไก ETL ออฟไลน์ ETL ทั้งหมดจะเกิดขึ้น ทำความสะอาด, การล้างข้อมูล, ETL ที่มีคุณภาพ - ทั้งหมดนี้จะเกิดขึ้นในสายเพราะจำไว้ว่าข้อมูลทั้งหมดเกิดขึ้นตามเวลาจริง ในบางจุดมันเป็นเวลาจริง เราเคยชินกับการวางสิ่งนี้ในทะเลสาบแม่น้ำและมหาสมุทรจากนั้นทำการวิเคราะห์แบบคงที่ซึ่งเราลืมว่าข้อมูลเกิดในบางจุดในเวลาจริง ข้อมูลทั้งหมดเกิดขึ้นจริงเป็นเหตุการณ์แบบเรียลไทม์ที่เกิดขึ้นในช่วงเวลาและข้อมูลส่วนใหญ่ในวันนี้บนทะเลสาบเพิ่งวางบนฐานข้อมูลสำหรับการวิเคราะห์ในภายหลังและตอนนี้เรามีข้อได้เปรียบในสถาปัตยกรรมแลมบ์ดาและคัปปา เห็นมันวิเคราะห์มันประมวลผลล่วงหน้าและทำปฏิกิริยากับมันเมื่อมันมาถึง นั่นคือสิ่งที่เปิดใช้งานโดยเทคโนโลยีเหล่านี้ เมื่อคุณดูเป็นภาพรวมดูเหมือนว่านี่มี Hadoop อยู่ข้างในมี MPP และคลังข้อมูลที่คุณมีอยู่แล้ว
เรานำสิ่งนี้มาใช้เพราะมันไม่สำคัญที่จะพูดถึงเทคโนโลยีใหม่ในเกาะ พวกเขาต้องรวม พวกเขาจะต้องเข้าใจในบริบทองค์กรปัจจุบันและในฐานะผู้ให้บริการโซลูชันที่ให้บริการองค์กรเรามีความอ่อนไหวต่อสิ่งนี้มาก เราช่วยให้องค์กรต่างๆรวมการทำงานทั้งหมดเข้าด้วยกัน มีแหล่งข้อมูลทางด้านซ้ายที่ป้อนเข้าสู่ทั้งชั้น Hadoop และคลังข้อมูลรวมถึงชั้นแบบเรียลไทม์ที่ด้านบนและแต่ละหน่วยงานเหล่านั้นเป็นคอมพิวเตอร์ที่เก็บสต็อกตามที่คุณเห็นและชั้นการใช้ข้อมูลอยู่ทางขวา ด้าน มีความพยายามอย่างต่อเนื่องที่จะย้ายส่วนใหญ่ของการปฏิบัติตามการกำกับดูแลความปลอดภัยการจัดการวงจรชีวิตและอื่น ๆ ที่มีอยู่ในวันนี้ทั้งหมดได้ถูกรวบรวมไว้ในเทคโนโลยีใหม่นี้
หนึ่งในสิ่งที่กระแสการวิเคราะห์พยายามที่จะทำถ้าคุณดูภูมิทัศน์วันนี้มีหลายสิ่งที่เกิดขึ้นในแนวนอนเทคโนโลยีการสตรีมและจากมุมมองของลูกค้าองค์กรมีมากมายที่จะเข้าใจ มีอะไรมากมายให้ติดตาม มีกลไกการรวบรวมข้อมูลทางด้านซ้าย - NiFi, Logstash, Flume, Sqoop เห็นได้ชัดว่าฉันมีข้อจำกัดความรับผิดชอบกล่าวว่ามันไม่ครบถ้วนสมบูรณ์ เข้ามาในคิวข้อความแล้วเข้ามาในเอนจิ้นสตรีมมิ่งโอเพ่นซอร์ส - สตอร์ม, สตีมสตรีม, Samza, Flink, Apex, Heron นกกระสาอาจยังไม่ได้เป็นโอเพ่นซอร์ส ฉันไม่แน่ใจว่ามันมาจาก Twitter จากนั้นเอ็นจิ้นสตรีมมิ่งเหล่านั้นจะนำไปสู่หรือสนับสนุนส่วนประกอบแอปพลิเคชันการวิเคราะห์การตั้งค่าเช่นการประมวลผลเหตุการณ์ที่ซับซ้อนการเรียนรู้ของเครื่องการวิเคราะห์เชิงทำนายโมดูลการแจ้งเตือนสตรีมมิ่ง ETL ตัวกรองการดำเนินการทางสถิติ นั่นคือทั้งหมดที่เราเรียกตอนนี้ว่าโอเปอเรเตอร์ ชุดของตัวดำเนินการเหล่านั้นเมื่อรวมเข้าด้วยกันอาจเป็นไปได้ที่จะกำหนดเองได้ส่วนใหญ่หากจำเป็นกลายเป็นแอพพลิเคชั่นสตรีมมิ่งที่รันบนเอนจิ้นสตรีม
ในฐานะที่เป็นส่วนหนึ่งขององค์ประกอบโซ่นั้นคุณต้องจัดเก็บและจัดทำดัชนีข้อมูลลงในฐานข้อมูลที่คุณชื่นชอบซึ่งเป็นดัชนีที่คุณชื่นชอบ คุณอาจต้องกระจายแคชและอีกครั้งที่นำไปสู่เลเยอร์การสร้างภาพข้อมูลทางด้านขวาบนส่วนบนของผลิตภัณฑ์เชิงพาณิชย์หรือผลิตภัณฑ์โอเพ่นซอร์ส แต่ท้ายที่สุดคุณต้องมีผลิตภัณฑ์บางอย่างเพื่อแสดงข้อมูลในเวลาจริง นอกจากนี้บางครั้งคุณต้องคิดแอปพลิเคชันอื่น เราทุกคนเห็นแล้วว่าคุณค่าที่ได้มาจากการกระทำที่คุณเข้าใจอย่างลึกซึ้งการกระทำนั้นจะเป็นตัวกระตุ้นจากสแต็กการวิเคราะห์ไปสู่แอปพลิเคชั่นสแต็กอื่นที่อาจเปลี่ยนไป โทรออกหรืออะไรทำนองนั้น เราจำเป็นต้องรวมระบบเหล่านั้นเข้าด้วยกันและกลไกบางอย่างสำหรับคลัสเตอร์การสตรีมของคุณเพื่อทริกเกอร์แอปพลิเคชันอื่นของการส่งข้อมูลแบบดาวน์สตรีม
นั่นคือสแต็คโดยรวมตั้งแต่จากซ้ายไปขวา จากนั้นคุณมีชั้นบริการการตรวจสอบระดับกลางชั้นบริการทั่วไปด้านความปลอดภัย ฯลฯ มาหาผลิตภัณฑ์ที่มีอยู่ในพื้นที่องค์กรที่ลูกค้ามองเห็นเหมือนการแจกแจงของ Hadoop ที่ทุกคนมีการสตรีมมิ่งอย่างที่ฉันพูดและมีโฆษณาหรือเดี่ยว - ผู้ให้บริการโซลูชั่นที่เห็นได้ชัดในคู่แข่งของเรา มีอีกมากมายเช่นกันในภูมิประเทศที่เราอาจไม่ได้กล่าวถึงที่นี่
สิ่งที่คุณเห็นมีอยู่ในวงกว้างที่ผู้ใช้ระดับองค์กรมองเห็น ภูมิทัศน์เทคโนโลยีที่ซับซ้อนและพัฒนาอย่างรวดเร็วสำหรับการประมวลผลสตรีมอย่างที่คุณเห็น เราต้องทำให้การเลือกและประสบการณ์ผู้ใช้ของพวกเขาง่ายขึ้น สิ่งที่เราคิดว่าองค์กรต้องการจริงๆคือการทำงานที่เป็นนามธรรมของอินเทอร์เฟซแบบครบวงจรที่ใช้งานง่ายที่รวบรวมเทคโนโลยีทั้งหมดที่ทำให้ง่ายต่อการใช้งานและไม่เปิดเผยชิ้นส่วนที่เคลื่อนไหวทั้งหมด และปัญหาความเสื่อมโทรมและปัญหาด้านประสิทธิภาพและปัญหาการบำรุงรักษาตลอดอายุการใช้งานขององค์กร
ฟังก์ชั่นนามธรรมเป็นหนึ่ง ส่วนที่สองคือสิ่งที่เป็นนามธรรมของโปรแกรมสตรีมมิ่ง เอ็นจิ้นการสตรีมและโดเมนโอเพนซอร์สกำลังจะเกิดขึ้นทุกๆสามสี่หรือหกเดือนในขณะนี้ มันเป็นพายุมานาน Samza ขึ้นมาและตอนนี้มันเป็น Spark Streaming Flink กำลังยกหัวของมันเริ่มที่จะได้รับความสนใจ แม้แต่โรดแมพ Spark สตรีมพวกเขากำลังหาวิธีที่จะใช้เอ็นจิ้นที่แตกต่างกันสำหรับการประมวลผลเหตุการณ์ที่บริสุทธิ์เพราะพวกเขาตระหนักว่า Spark ได้รับการออกแบบมาสำหรับแบทช์และพวกเขากำลังสร้างวิสัยทัศน์ทางสถาปัตยกรรมและแผนงานของพวกเขา เอ็นจิ้นสำหรับการประมวลผลสตรีมนอกเหนือจากรูปแบบ microbatch ปัจจุบันใน Spark Streaming
มันเป็นความจริงที่คุณต้องต่อสู้กับมันจะมีวิวัฒนาการมากมาย คุณต้องป้องกันตัวเองจากฟลักซ์เทคโนโลยีดังกล่าว เพราะโดยค่าเริ่มต้นคุณจะต้องเลือกอย่างใดอย่างหนึ่งแล้วใช้ชีวิตกับมันซึ่งไม่เหมาะสม หากคุณกำลังมองหาอีกวิธีหนึ่งคุณกำลังต่อสู้ระหว่าง“ โอเคฉันต้องซื้อแพลตฟอร์มกรรมสิทธิ์ที่ไม่มีการล็อคอินไม่มีการใช้ประโยชน์จากโอเพนซอร์สอาจมีต้นทุนสูงและ จำกัด ความยืดหยุ่นเมื่อเทียบกับโอเพ่นซอร์สสแต็คเหล่านี้ทั้งหมดที่คุณต้องทำด้วยตัวเอง” อีกครั้งอย่างที่ฉันพูดมันมีค่าใช้จ่ายและความล่าช้าในการออกสู่ตลาดจำนวนมาก สิ่งที่เรากำลังพูดคือ StreamAnalytix เป็นหนึ่งในตัวอย่างของแพลตฟอร์มที่ยอดเยี่ยมที่ดึงระดับองค์กรที่เชื่อถือได้ผู้ขายรายเดียวการบริการอย่างมืออาชีพ - ทั้งหมดที่คุณต้องการในฐานะองค์กรและพลังของความยืดหยุ่นของระบบนิเวศโอเพนซอร์ส ที่ซึ่งแพลตฟอร์มเดียวรวมเข้าด้วยกัน - Ingest, CEP, การวิเคราะห์, การสร้างภาพและสิ่งเหล่านั้นทั้งหมด
มันยังทำสิ่งที่แปลกใหม่มากซึ่งนำเอาเทคโนโลยีเครื่องมือต่าง ๆ มารวมกันภายใต้ประสบการณ์ของผู้ใช้คนเดียว เราคิดว่าในอนาคตเกี่ยวกับความสามารถในการใช้หลายสตรีมมิ่งเอ็นจิ้นเพราะกรณีการใช้งานที่แตกต่างกันนั้นต้องการสถาปัตยกรรมสตรีมมิ่งที่แตกต่างกัน อย่างที่โรบินบอก หากคุณกำลังพูดถึงระดับมิลลิวินาทีวินาทีหรือหลายร้อยมิลลิวินาทีคุณต้อง Storm ในเวลานี้จนกว่าจะมีผลิตภัณฑ์ที่เป็นผู้ใหญ่อีกรุ่นหนึ่งสำหรับการผ่อนปรนน้อยกว่าหรือผ่อนปรนกรอบเวลาและเวลาแฝงในสองสามวินาที สี่ห้าห้าวินาทีในช่วงนั้นจากนั้นคุณสามารถใช้ Spark Streaming อาจมีเครื่องยนต์อื่น ๆ ที่สามารถทำได้ทั้งสองอย่าง บรรทัดล่างในองค์กรขนาดใหญ่จะมีการใช้เคสทุกชนิด คุณต้องการการเข้าถึงและความมีชีวิตชีวาโดยทั่วไปเพื่อให้มีเอ็นจิ้นหลายตัวพร้อมกับประสบการณ์ของผู้ใช้และนั่นคือสิ่งที่เรากำลังพยายามสร้างใน StreamAnalytix
เพียงแค่ดูอย่างรวดเร็วเกี่ยวกับสถาปัตยกรรม เรากำลังจะทำใหม่นี้เล็กน้อย แต่โดยหลักแล้วมีแหล่งข้อมูลหลายแหล่งที่มาทางด้านซ้าย - Kafka, RabbitMQ, Kinesis, ActiveMQ, แหล่งข้อมูลและคิวข้อความทั้งหมดที่เข้าสู่แพลตฟอร์มการประมวลผลสตรีม คุณจะรวมแอพที่คุณจะได้รับการลากและวางจากผู้ประกอบการเช่น ETL ทุกสิ่งที่เราพูดถึง ใต้เครื่องยนต์มีหลายเครื่อง ตอนนี้เรามีสตอร์มมิ่งสตอร์มและสปาร์คเป็นแพลตฟอร์มสตรีมมิ่งระดับองค์กรเพียงแห่งแรกและอุตสาหกรรมที่มีการสนับสนุนเอ็นจิ้นหลายอย่าง นั่นคือความยืดหยุ่นที่โดดเด่นและเป็นเอกลักษณ์ที่เรานำเสนอนอกเหนือจากความยืดหยุ่นอื่น ๆ ของการมีแดชบอร์ดตามเวลาจริง โปรแกรม CET ฝังตัว เรามีการรวมอย่างลงตัวกับดัชนี Hadoop และ NoSQL, Solr และดัชนี Apache คุณสามารถไปยังฐานข้อมูลที่คุณชื่นชอบได้ไม่ว่ามันจะเป็นอะไรและสร้างแอปพลิเคชั่นอย่างรวดเร็วและออกสู่ตลาดได้อย่างรวดเร็วและพิสูจน์ได้ในอนาคต นั่นคือมนต์ทั้งหมดของเราใน StreamAnalytix
ด้วยสิ่งนี้ฉันคิดว่าฉันจะสรุปความคิดเห็นของฉัน อย่าลังเลที่จะมาหาเราสำหรับคำถามเพิ่มเติม ฉันต้องการเปิดชั้นสำหรับคำถามและคำตอบและการอภิปราย
รีเบคก้าไปหาคุณ
Rebecca Jozwiak: เยี่ยมมากโอเค ขอบคุณมาก. Dez และ Robin คุณมีคำถามบางอย่างก่อนที่เราจะตอบคำถามนี้ต่อผู้ชมหรือไม่?
Robin Bloor: ฉันมีคำถาม ฉันจะวางหูฟังของฉันอีกครั้งเพื่อให้คุณได้ยินฉัน หนึ่งในสิ่งที่น่าสนใจถ้าคุณสามารถบอกฉันนี้สิ่งที่ฉันได้เห็นในพื้นที่โอเพนซอร์ซมากมายดูเหมือนสิ่งที่ฉันจะบอกว่ายังไม่บรรลุนิติภาวะกับฉัน เรียกได้ว่าใช่คุณสามารถทำสิ่งต่าง ๆ ได้ แต่ดูเหมือนว่าเรากำลังดูซอฟต์แวร์ในรุ่นแรกหรือรุ่นที่สองในความเป็นจริงและฉันแค่สงสัยว่าประสบการณ์ของคุณในฐานะองค์กรคุณเห็นความไม่บรรลุนิติภาวะของสภาพแวดล้อม Hadoop มากแค่ไหนหรือเป็นสิ่งที่ไม่ได้เกิดขึ้น ' ไม่สร้างปัญหามากเกินไป
อานันท์ Venugopal: มันคือความจริงโรบิน คุณพูดถูก การที่ยังไม่บรรลุนิติภาวะไม่จำเป็นต้องอยู่ในขอบเขตของความมั่นคงในการทำงานและสิ่งของ แต่อาจมีบางกรณีเช่นกัน แต่ยังไม่บรรลุนิติภาวะมีความพร้อมในการใช้งานมากกว่า ผลิตภัณฑ์โอเพ่นซอร์สเมื่อพวกเขาออกมาและแม้จะมีการเสนอโดยการกระจาย Hadoop พวกเขาทั้งหมดเป็นผลิตภัณฑ์ที่มีความสามารถที่แตกต่างกันจำนวนมากส่วนประกอบเพียงตบเข้าด้วยกัน พวกเขาไม่ได้ทำงานร่วมกันอย่างราบรื่นและไม่ได้รับการออกแบบมาเพื่อประสบการณ์การใช้งานที่ราบรื่นที่เราจะได้รับเช่น Bank of America หรือ Verizon หรือ AT&T เพื่อปรับใช้แอปพลิเคชั่นการวิเคราะห์สตรีมมิ่งภายในไม่กี่สัปดาห์ พวกเขาไม่ได้ออกแบบมาเพื่อสิ่งนั้นอย่างแน่นอน นั่นคือเหตุผลที่เราเข้ามาเรานำมันมารวมกันและทำให้เข้าใจง่ายปรับใช้ ฯลฯ
ฟังก์ชั่นครบกำหนดของมันฉันคิดว่าในระดับใหญ่อยู่ที่นั่น องค์กรขนาดใหญ่หลายแห่งใช้ตัวอย่างเช่นสตอร์มวันนี้ องค์กรขนาดใหญ่หลายแห่งกำลังเล่นกับ Spark Streaming ในวันนี้ แต่ละเครื่องมือเหล่านี้มีข้อ จำกัด ในสิ่งที่พวกเขาสามารถทำได้นั่นคือเหตุผลว่าทำไมมันเป็นเรื่องสำคัญที่จะต้องรู้ว่าคุณสามารถทำอะไรได้บ้างและคุณไม่สามารถทำอะไรกับแต่ละเครื่องยนต์ได้ เลือก Spark Streaming และมันไม่ได้ผลสำหรับฉันในอุตสาหกรรมนี้” มันจะไม่ทำงาน จะมีกรณีการใช้งานที่ Spark Streaming จะเป็นตัวเลือกที่ดีที่สุดและจะมีการใช้เคสที่ Spark Streaming อาจไม่ทำงานสำหรับคุณ นั่นเป็นเหตุผลที่คุณต้องการหลายตัวเลือก
Robin Bloor: คุณต้องมีทีมผู้เชี่ยวชาญมาร่วมงานด้วยส่วนใหญ่ ฉันหมายความว่าฉันไม่รู้ด้วยซ้ำว่าจะเริ่มจากตรงไหน การร่วมกระทำที่สมเหตุสมผลของบุคคลที่มีทักษะ ฉันสนใจว่าคุณมีส่วนร่วมและมีส่วนร่วมอย่างไร เป็นเพราะ บริษัท ใด บริษัท หนึ่งอยู่หลังแอปพลิเคชันเฉพาะหรือคุณเห็นสิ่งที่ฉันเรียกว่าการยอมรับในเชิงกลยุทธ์ที่พวกเขาต้องการให้ทั้งแพลตฟอร์มทำสิ่งต่างๆมากมาย
อานันท์ Venugopal: เราเห็นตัวอย่างของทั้งสองโรบิน แบรนด์อันดับหนึ่งในสิบที่ทุกคนรู้ว่ากำลังดำเนินไปในเชิงกลยุทธ์ พวกเขารู้ว่าพวกเขากำลังจะมีกรณีการใช้งานที่หลากหลายดังนั้นพวกเขาจึงกำลังประเมินแพลตฟอร์มที่เหมาะสมกับความต้องการซึ่งเป็นกรณีการใช้ที่แตกต่างหลากหลายในลักษณะที่มีผู้เช่าหลายรายเพื่อนำไปใช้ในองค์กร มีเรื่องราวเคสแบบใช้ครั้งเดียวที่เริ่มต้นเช่นกัน มีกรณีการใช้งานการตรวจสอบประเภทกิจกรรมทางธุรกิจเฉพาะใน บริษัท จำนองที่เรากำลังดำเนินการซึ่งคุณจะไม่นึกว่าเป็นกรณีการใช้งานครั้งแรก แต่นั่นคือโซลูชันทางธุรกิจหรือกรณีการใช้งานที่เกิดขึ้นแล้วเราเชื่อมต่อจุดต่างๆกับการสตรีม . เราพูดว่า“ คุณรู้อะไรไหม นี่เป็นกรณีที่ยอดเยี่ยมสำหรับการวิเคราะห์การสตรีมและนี่คือวิธีที่เราสามารถใช้งานได้” นั่นเป็นวิธีที่มันเริ่มต้นขึ้น จากนั้นในกระบวนการนั้นพวกเขาจะได้รับการศึกษาและพูดว่า“ โอ้ว้าวถ้าเราสามารถทำสิ่งนี้ได้และถ้านี่เป็นแพลตฟอร์มทั่วไปเราสามารถแยกแอปพลิเคชันออกเป็นชั้น ๆ เป็นแพลตฟอร์มและสร้างแอปพลิเคชันต่างๆ แพลตฟอร์ม.”
Robin Bloor: Dez คุณมีคำถามไหม?
อานันท์ Venugopal: Dez อาจปิดเสียง
Dez Blanchfield: ขอโทษปิดเสียง ฉันเพิ่งมีการสนทนาที่ดีด้วยตัวเอง เพียงแค่ติดตามการสังเกตดั้งเดิมของ Robin คุณจะถูกต้องอย่างแน่นอน ฉันคิดว่าความท้าทายในตอนนี้คือองค์กรต่าง ๆ มีระบบนิเวศและสภาพแวดล้อมทางวัฒนธรรมและพฤติกรรมซึ่งซอฟต์แวร์ฟรีและโอเพ่นซอร์สนั้นเป็นสิ่งที่พวกเขารู้จักและพวกเขาสามารถใช้เครื่องมือเช่น Firefox เป็นเบราว์เซอร์ได้ อายุการใช้งานจนกว่าจะมั่นคงและปลอดภัย แต่บางแพลตฟอร์มที่มีขนาดใหญ่มากที่ใช้เป็นแพลตฟอร์มที่เป็นกรรมสิทธิ์ขององค์กร ดังนั้นการยอมรับสิ่งที่ฉันพิจารณาว่าแพลตฟอร์มโอเพ่นซอร์สนั้นไม่ใช่สิ่งที่ง่ายสำหรับพวกเขาที่จะข้ามผ่านวัฒนธรรมหรืออารมณ์ ฉันเห็นสิ่งนี้ทั่วทั้งการยอมรับของโปรแกรมขนาดเล็กที่เป็นโครงการในท้องถิ่นเพื่อเล่นกับข้อมูลขนาดใหญ่และการวิเคราะห์เป็นแนวคิดพื้นฐาน ฉันคิดว่าหนึ่งในความท้าทายที่สำคัญฉันแน่ใจว่าคุณเคยเห็นพวกเขาทั่วทั้งองค์กรเป็นความปรารถนาของพวกเขาเพื่อให้ได้ผลลัพธ์ แต่ในขณะเดียวกันก็มีเท้าข้างหนึ่งติดอยู่ในกระป๋องเก่าที่พวกเขาสามารถซื้อได้จาก “ ใส่แบรนด์ใหญ่” Oracle, IBM และ Microsoft แบรนด์ใหม่และเป็นที่รู้จักเหล่านี้มาพร้อมกับแพลตฟอร์ม Hadoop และอีกมากมาย แบรนด์ที่น่าตื่นเต้นกำลังมาถึงซึ่งมีเทคโนโลยีระดับแนวหน้าเช่นสตรีม
การสนทนาประเภทใดที่คุณได้รับหรือตัดผ่านแบบนั้น? ฉันรู้ว่าเรามีการเข้าร่วมจำนวนมากในเช้าวันนี้และสิ่งหนึ่งที่ฉันแน่ใจว่าอยู่ในใจของทุกคนคือ“ ฉันจะตัดเลเยอร์ที่ท้าทายทั้งจากกระดานจนถึงระดับการจัดการได้อย่างไรโอ้มันเป็นโอเพนซอร์สเกินไป "การสนทนาที่คุณมีกับลูกค้าดำเนินไปอย่างไรและคุณตัดตอนมาจนถึงจุดที่คุณกลัวความกลัวแบบนั้นเพื่อพิจารณานำไลค์ของ StreamAnalytix มาใช้อย่างไร
Anand Venugopal: จริง ๆ แล้วเราพบว่ามันค่อนข้างง่ายที่จะขายข้อเสนอที่มีคุณค่าของเราเพราะลูกค้ากำลังเคลื่อนที่ไปสู่โอเพ่นซอร์สเป็นตัวเลือกที่ต้องการ พวกเขาไม่เพียงแค่ยอมแพ้และพูดว่า“ โอเคฉันกำลังจะไปเปิดแหล่งที่มา” พวกเขาต้องผ่านการประเมินผลิตภัณฑ์ที่สำคัญมาก ๆ อย่างจริงจังสมมติว่าเป็น IBM หรือผลิตภัณฑ์ทั่วไปเพราะพวกเขามี ความสัมพันธ์ของผู้ขายเหล่านี้ พวกเขาจะไม่ปฏิบัติต่อเราหรือเครื่องมือโอเพนซอร์ซกับผลิตภัณฑ์นั้น พวกเขาจะผ่านการประเมินหกถึงแปดถึงสิบสองสัปดาห์ พวกเขาจะโน้มน้าวตัวเองว่ามีการแสดงและความมั่นคงในระดับที่ฉันต้องการจากนั้นพวกเขาก็ตัดสินใจว่า“ ว้าวคุณรู้ไหมฉันสามารถทำสิ่งนี้ได้จริง”
ตัวอย่างเช่นวันนี้เรามี telco ชั้นหนึ่งที่สำคัญที่มีการวิเคราะห์สตรีมที่กำลังทำงานอยู่ในการผลิตด้านบนของสแต็คจำนวนมากและพวกเขากำลังประเมินว่าเมื่อเทียบกับผู้ขายที่รู้จักกันดีมากขนาดใหญ่มากและพวกเขาเชื่อมั่น ประสิทธิภาพความมั่นคงและทุกสิ่งเหล่านั้น พวกเขาไม่ได้รับอนุญาต พวกเขาพบว่าโอเพ่นซอร์สนั้นมีความสามารถผ่านการประเมินของพวกเขาและพวกเขารู้ว่ากรณีที่เลวร้ายที่สุด“ บางทีอาจมีสองกรณีการใช้งานที่ฉันอาจทำไม่ได้ แต่ธุรกิจของฉันส่วนใหญ่ใช้กรณีเร่งความเร็วในวันนี้ กองซ้อน” และเราเปิดใช้งานการใช้งาน นั่นคือจุดหวานที่ยิ่งใหญ่ตรงนั้น พวกเขาต้องการโอเพ่นซอร์ส พวกเขาต้องการออกจากสถานการณ์ล็อคผู้ขายที่พวกเขาคุ้นเคยมานานหลายปี จากนั้นเรามาที่นี่และพูดว่า“ คุณรู้อะไรเราจะทำโอเพนซอร์สมากง่ายและเป็นมิตรสำหรับคุณ”
Dez Blanchfield: ฉันคิดว่าความท้าทายอื่น ๆ ที่ผู้ประกอบการพบคือเมื่อพวกเขาเข้ามามีส่วนร่วมในแบบดั้งเดิมพวกเขามักจะเป็นรุ่นที่อยู่เบื้องหลังบางส่วนของสิ่งที่น่าตื่นเต้นที่เรากำลังพูดถึงที่นี่และฉันไม่ได้หมายความว่า ลบเล็กน้อย เป็นเพียงความจริงที่ว่าพวกเขามีรุ่นและการเดินทางเพื่อเผยแพร่สิ่งที่พวกเขาพิจารณาว่าเป็นแพลตฟอร์มที่มีเสถียรภาพในการผ่านการพัฒนาโรงเรียนเก่าและวงจรรวมของ UATN และการทดสอบและเอกสารประกอบและการตลาดและการขาย ในขณะที่ประเภทที่คุณกำลังทำฉันคิดว่าสิ่งที่ฉันสนใจที่จะคิดคือการดูรุ่นล่าสุดของคุณเมื่อคืนที่ผ่านมาทำงานวิจัยบางชนิดคุณได้รับมิกซ์นี้ตอนที่คุณได้รับ ความสามารถจากมุมมองของผู้ให้คำปรึกษาล่วงหน้าและการนำไปใช้ แต่คุณก็มีสแต็คที่คุณสามารถม้วนเข้ามาได้ฉันคิดว่านี่เป็นจุดที่ผู้ครอบครองตลาดกำลังดิ้นรนอยู่พักหนึ่ง เราเคยเห็นพวกเขาหลายคนอย่างที่ฉันเคยทำในตลาด พวกเขามักจะอยู่ในสิ่งที่ฉันเรียกว่าโหนดการติดตามส่วนจากสิ่งที่คุณบอกเราเมื่อคุณออกไปข้างนอกทำให้การสนทนาเหล่านั้นและคุณกำลังดำเนินการอยู่ที่นั่น
คุณช่วยยกตัวอย่างสองสามตัวอย่างของแนวดิ่งบางแนวที่คุณเคยเห็นได้หรือไม่ ตัวอย่างเช่นมีสภาพแวดล้อมนิชนี่อย่างเช่นวิทยาศาสตร์จรวดและวางดาวเทียมในอวกาศและรวบรวมข้อมูลจากดาวอังคาร มีเพียงไม่กี่คนที่ทำสิ่งนั้นบนโลกใบนี้ แต่มีแนวดิ่งขนาดใหญ่เช่นสุขภาพเช่นวิชาการการขนส่งและโลจิสติกส์ในการผลิตและวิศวกรรมสิ่งที่เป็นตัวอย่างของภาคอุตสาหกรรมที่ใหญ่และกว้างกว่าที่คุณเคยเห็นมาจริง ๆ ยอมรับใน
Anand Venugopal: Telco เป็นตัวอย่างที่ยิ่งใหญ่
ฉันจะแก้ไขสไลด์ที่นี่อย่างรวดเร็ว คุณสามารถดูสไลด์ที่นี่กรณีศึกษา 4 หรือไม่?
นี่เป็นกรณีของข้อมูล set-top box ที่ส่งผ่าน telco และทำหลายอย่างด้วย พวกเขากำลังดูสิ่งที่ลูกค้ากำลังทำในเวลาจริง พวกเขากำลังดูว่ามีข้อผิดพลาดเกิดขึ้นแบบเรียลไทม์ในกล่องรับสัญญาณหรือไม่ พวกเขากำลังพยายามแจ้งให้ศูนย์บริการทราบหากลูกค้ารายนี้โทรหาตอนนี้ข้อมูลลิงค์รหัสจากกล่องรับสัญญาณของลูกค้ารายนี้ข้อมูลตั๋วการบำรุงรักษาสัมพันธ์กันอย่างรวดเร็วว่ากล่องรับสัญญาณลูกค้ารายนี้มีปัญหาหรือไม่มาก่อน ลูกค้าพูดอะไรสักคำ บริษัท เคเบิลทุกแห่ง telco รายใหญ่ทุกคนพยายามทำสิ่งนี้ พวกเขานำข้อมูลกล่องรับสัญญาณเข้าทำการวิเคราะห์ตามเวลาจริงทำการวิเคราะห์แคมเปญเพื่อให้สามารถวางโฆษณาของตนได้ มีกรณีการใช้งานมาก
อย่างที่ฉันพูดมี บริษัท จำนองนี้ซึ่งเป็นรูปแบบทั่วไปอีกครั้งที่ระบบขนาดใหญ่มีส่วนร่วมในการประมวลผลข้อมูลจาก ข้อมูลที่ไหลผ่านระบบ A ไปยังระบบ B ไปยังระบบ C และธุรกิจเหล่านี้ได้รับการควบคุมซึ่งทุกอย่างจำเป็นต้องสอดคล้องกัน บ่อยครั้งที่ระบบไม่สอดคล้องกันระบบหนึ่งกำลังพูดว่า“ ฉันกำลังประมวลผลสินเชื่อหนึ่งร้อยมูลค่ารวม $ 10 ล้าน” ระบบกำลังพูดว่า“ ไม่ฉันกำลังประมวลผลสินเชื่อ 110 รายการจากที่อื่น จำนวนที่แตกต่างกัน” พวกเขาต้องแก้ไขอย่างรวดเร็วเพราะพวกเขากำลังประมวลผลข้อมูลเดียวกันและทำการตีความที่แตกต่างกัน
ไม่ว่าจะเป็นบัตรเครดิตการประมวลผลสินเชื่อกระบวนการทางธุรกิจหรือไม่ว่าจะเป็นกระบวนการทางธุรกิจจำนองหรืออย่างอื่นเราช่วยให้พวกเขามีความสัมพันธ์และการสมานฉันท์ในแบบเรียลไทม์เพื่อให้แน่ใจว่ากระบวนการทางธุรกิจเหล่านั้นยังคงตรงกัน นั่นเป็นอีกกรณีการใช้งานที่น่าสนใจ มีผู้รับเหมารัฐบาลรายใหญ่ของสหรัฐอเมริกาที่กำลังมองหาการรับส่งข้อมูล DNS เพื่อทำการตรวจจับความผิดปกติ มีรูปแบบการฝึกอบรมแบบออฟไลน์ที่พวกเขาสร้างขึ้นและพวกเขากำลังทำคะแนนตามแบบจำลองนั้นกับการรับส่งข้อมูลแบบเรียลไทม์ กรณีการใช้งานที่น่าสนใจบางกรณี มีสายการบินรายใหญ่กำลังตรวจสอบคิวเพื่อความปลอดภัยและพวกเขากำลังพยายามให้ข้อมูลแก่คุณว่า“ เฮ้นั่นเป็นประตูสู่เครื่องบินของคุณสำหรับเที่ยวบินของคุณ คิว TSA วันนี้ใช้เวลาประมาณ 45 นาทีต่อสองชั่วโมงเมื่อเทียบกับอย่างอื่น” คุณจะได้รับการอัปเดตล่วงหน้า พวกเขายังคงทำงานกับมัน IoT ที่น่าสนใจใช้กรณี แต่กรณีที่ยอดเยี่ยมของการวิเคราะห์สตรีมมิ่งมุ่งหน้าไปยังประสบการณ์ของลูกค้า
รีเบคก้า Jozwiak: นี่คือรีเบคก้า ในขณะที่คุณอยู่ในเรื่องของการใช้งานกรณีมีคำถามที่ดีจากสมาชิกผู้ชมที่สงสัยว่า "เป็นกรณีศึกษาเหล่านี้เป็นความคิดริเริ่มเหล่านี้ถูกขับเคลื่อนจากด้านการวิเคราะห์ระบบสารสนเทศของบ้านหรือพวกเขาถูกผลักดันจาก ธุรกิจที่มีคำถามหรือความต้องการเฉพาะในใจคืออะไร”
Anand Venugopal: ฉันคิดว่าเราเห็นประมาณ 60 เปอร์เซ็นต์หรือประมาณ 50% ถึง 55 เปอร์เซ็นต์ซึ่งส่วนใหญ่เป็นโครงการเชิงรุกและกระตือรือร้นที่เกิดขึ้นจริงที่รู้ว่าเป็นคนที่เข้าใจและเข้าใจความต้องการทางธุรกิจและพวกเขาอาจมีสปอนเซอร์หนึ่งคน ระบุ แต่เหล่านี้คือทีมเทคโนโลยีที่เตรียมพร้อมสำหรับการโจมตีกรณีการใช้งานทางธุรกิจที่ผ่านมาแล้วเมื่อพวกเขาสร้างความสามารถพวกเขารู้ว่าพวกเขาสามารถทำสิ่งนี้ได้จากนั้นพวกเขาก็ไปทำธุรกิจและขายมันอย่างจริงจัง ใน 30 เปอร์เซ็นต์ถึง 40 เปอร์เซ็นต์ของกรณีเราเห็นว่าธุรกิจมีกรณีการใช้งานเฉพาะอยู่แล้วซึ่งกำลังร้องขอความสามารถในการวิเคราะห์สตรีมมิ่ง
Rebecca Jozwiak: นั่นสมเหตุสมผลแล้ว ฉันได้รับคำถามทางเทคนิคเพิ่มเติมอีกเล็กน้อยจากสมาชิกผู้ชม เขาสงสัยว่าระบบเหล่านี้รองรับสตรีมข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างเช่นตะกอนของ Twitter สตรีมหรือโพสต์ Facebook แบบเรียลไทม์หรือไม่หรือต้องมีการกรองในตอนแรก
Anand Venugopal: ผลิตภัณฑ์และเทคโนโลยีที่เรากำลังพูดถึงสนับสนุนข้อมูลที่มีโครงสร้างและไม่มีโครงสร้าง สามารถกำหนดค่าได้ ข้อมูลทั้งหมดมีโครงสร้างบางอย่างไม่ว่าจะเป็นข้อความหรือ XML หรืออะไรก็ได้ มีโครงสร้างบางส่วนในแง่ของการมีการประทับเวลา อาจมีอีกหยดที่ต้องแยกวิเคราะห์เพื่อให้คุณสามารถฉีดแยกวิเคราะห์ลงในกระแสข้อมูลเพื่อแยกวิเคราะห์โครงสร้างข้อมูล ถ้ามันมีโครงสร้างเราก็แค่บอกระบบว่า "โอเคถ้ามีค่าที่คั่นด้วยเครื่องหมายจุลภาคและอันแรกคือสตริงที่สองคือวันที่" ดังนั้นเราสามารถฉีดปัญญาที่แยกวิเคราะห์ลงในเลเยอร์หน้าจอและ ดำเนินการได้อย่างง่ายดายทั้งข้อมูลที่มีโครงสร้างและไม่มีโครงสร้าง
Rebecca Jozwiak: ฉันมีคำถามอีกอย่างจากผู้ชม ฉันรู้ว่าเราวิ่งผ่านไปมาเล็กน้อยแล้ว ผู้เข้าร่วมประชุมนี้ต้องการทราบว่าดูเหมือนว่าแอปพลิเคชั่นการสตรีมแบบเรียลไทม์อาจกำลังพัฒนาทั้งความต้องการและโอกาสในการผสานรวมกลับเข้ากับระบบธุรกรรมระบบการป้องกันการฉ้อโกงที่พวกเขานำมาใช้ ในกรณีดังกล่าวระบบการทำธุรกรรมจะต้องมีการปรับให้เหมาะสมกับสิ่งนั้นหรือไม่?
อานันท์ Venugopal: มันเป็นการรวมใช่มั้ย มันเป็นการรวมกันของระบบธุรกรรม บางครั้งพวกเขากลายเป็นแหล่งข้อมูลที่เราวิเคราะห์ธุรกรรมแบบเรียลไทม์และในหลายกรณีที่มีกระแสแอปพลิเคชันและที่นี่ฉันพยายามแสดงไซต์ค้นหาข้อมูลแบบคงที่และในกรณีของเราที่สตรีมมิ่งบางประเภท ในและคุณกำลังค้นหาฐานข้อมูลแบบคงที่เช่น HBase หรือ RDBMS เพื่อเพิ่มประสิทธิภาพการสตรีมข้อมูลและข้อมูลแบบสแตติกเข้าด้วยกันเพื่อทำการตัดสินใจหรือการวิเคราะห์เชิงลึก
มีแนวโน้มอุตสาหกรรมขนาดใหญ่อีกอย่างที่เราเห็นเช่นกันคือการรวมกันของ OLAP และ OLTP และนั่นเป็นสาเหตุที่คุณมีฐานข้อมูลเช่น Kudu และฐานข้อมูลในหน่วยความจำที่รองรับทั้งธุรกรรมและการประมวลผลการวิเคราะห์ในเวลาเดียวกัน เลเยอร์การประมวลผลสตรีมจะอยู่ในหน่วยความจำทั้งหมดและเราจะดูหรือเชื่อมต่อกับฐานข้อมูลธุรกรรมบางส่วนเหล่านี้
Rebecca Jozwiak: ฉันคิดว่าปริมาณงานที่หลากหลายเป็นหนึ่งในอุปสรรคสุดท้ายที่ฉันจะกระโดด Dez, Robin คุณสองคนมีคำถามอีกหรือไม่?
Dez Blanchfield: ฉันจะข้ามไปยังคำถามสุดท้ายหนึ่งคำถามและสรุปว่าหากคุณไม่สนใจ ความท้าทายแรกที่องค์กรต่างๆที่ฉันได้รับในช่วงสิบปีที่ผ่านมานำไปสู่ความท้าทายที่น่าตื่นเต้นของการวิเคราะห์กระแสสิ่งแรกที่พวกเขามักจะนำกลับมาวางบนโต๊ะเมื่อเราเริ่มการสนทนารอบ ๆ ความท้าทายทั้งหมดนี้คือที่ไหน เราได้รับชุดทักษะหรือไม่ เราจะฝึกทักษะใหม่อีกครั้งและเราจะได้รับความสามารถนั้นได้อย่างไรภายใน การมี Impetus เข้ามาและจับมือเราไว้ตลอดการเดินทางจากนั้นนำไปใช้เป็นขั้นตอนแรกที่ยอดเยี่ยมและมันก็สมเหตุสมผลอย่างมาก
แต่สำหรับองค์กรขนาดกลางถึงใหญ่สิ่งที่คุณเห็นในขณะนี้เพื่อเตรียมความพร้อมในการสร้างความสามารถนั้นภายในเพื่อรับอะไรจากคำศัพท์พื้นฐานที่อยู่รอบตัวและข้อความประเภทใดที่พวกเขาสามารถทำได้ องค์กรรอบ ๆ การเปลี่ยนไปใช้กรอบการทำงานนี้และปรับแต่งเจ้าหน้าที่ด้านเทคนิคที่มีอยู่จาก IT จาก CEO เพื่อให้พวกเขาสามารถทำงานได้ด้วยตัวเองเมื่อคุณสร้างและใช้งานหรือไม่ เพียงแค่สั้น ๆ สิ่งที่ท้าทายและวิธีแก้พวกเขาลูกค้าที่คุณจัดการกับประเภทของความท้าทายที่พวกเขาพบและวิธีที่พวกเขาผ่านการแก้ปัญหาที่อบรมขึ้นใหม่และฟื้นประสบการณ์และความรู้เพื่อเตรียมพร้อมสำหรับสิ่งนี้และเพื่อ สามารถไปรอบ ๆ การดำเนินการ?
Anand Venugopal: บ่อยครั้งที่คนกลุ่มเล็ก ๆ ที่พยายามจะออกไปซื้อแพลตฟอร์มการวิเคราะห์แบบสตรีมมิ่งนั้นฉลาดพอสมควรที่พวกเขารู้ว่า Hadoop พวกเขาได้รับทักษะ Hadoop MapReduce แล้วและเพราะพวกเขาทำงานอย่างใกล้ชิดกับ Hadoop พวกเขาคุ้นเคยกันดี ยกตัวอย่างเช่นทุกอย่างกำลังได้รับคาฟคา พวกเขากำลังทำอะไรกับมันและสตอร์มมิ่ง Storm หรือ Spark อยู่ในโดเมนโอเพนซอร์ส ผู้คนคุ้นเคยกับมันหรือสร้างทักษะรอบตัวแน่นอน แต่มันเริ่มต้นด้วยคนกลุ่มเล็ก ๆ ที่มีทักษะเพียงพอและฉลาดพอ พวกเขากำลังเข้าร่วมการประชุม พวกเขากำลังเรียนรู้และพวกเขาถามคำถามที่ชาญฉลาดกับผู้ขายและในบางกรณีพวกเขาเรียนรู้กับผู้ขาย เมื่อผู้ขายมาและนำเสนอในการประชุมครั้งแรกพวกเขาอาจไม่รู้อะไรเลย แต่พวกเขาจะอ่านร่วมกันแล้วพวกเขาก็เริ่มเล่นกับมัน
คนกลุ่มเล็ก ๆ นั้นคือนิวเคลียสและจากนั้นก็เริ่มเติบโตขึ้นและทุกคนก็ตระหนักว่ากรณีใช้งานครั้งแรกทางธุรกิจได้รับการปฏิบัติ มีคลื่นเริ่มขึ้นและเราเห็นในการประชุมสุดยอด Spark เมื่อสัปดาห์ที่แล้วซึ่งมีองค์กรขนาดใหญ่อย่าง Capital One อยู่ที่นั่นและแข็งแกร่งอย่างเต็มที่ พวกเขากำลังทำการเลือก Spark พวกเขาพูดเกี่ยวกับเรื่องนี้ พวกเขากำลังให้ความรู้กับผู้คนจำนวนมากใน Spark เพราะพวกเขามีส่วนร่วมในหลาย ๆ กรณีในฐานะผู้ใช้ เราเห็นเหมือนกันกับหลาย ๆ องค์กรขนาดใหญ่หลายแห่ง มันเริ่มต้นด้วยชุดเล็ก ๆ ของคนที่ฉลาดมากและจากนั้นก็เริ่มเป็นคลื่นของการศึกษาโดยรวมและผู้คนรู้ว่าเมื่อรองประธานอาวุโสหรือผู้อำนวยการอาวุโสอยู่ในแนวเดียวกันและพวกเขาต้องการที่จะวางเดิมพันในสิ่งนี้ พวกเขาเริ่มยกทักษะเหล่านี้
Dez Blanchfield: ฉันแน่ใจว่าคุณมีช่วงเวลาที่ยอดเยี่ยมในการสร้างแชมป์เปี้ยนเหล่านั้นด้วย
อานันท์ Venugopal: ใช่ เราทำการศึกษามากมายขณะที่เราทำงานร่วมกับแชมเปี้ยนเริ่มต้นและเราจัดหลักสูตรการฝึกอบรมและอีกมากมายสำหรับลูกค้ารายใหญ่ของเราที่เราได้ย้อนกลับไปและมีคลื่นและคลื่นของการฝึกอบรมเพื่อนำผู้ใช้จำนวนมากเข้าสู่ช่วงการใช้งานหลักโดยเฉพาะ ในเว็บไซต์ Hadoop MapReduce เราพบว่าใน บริษัท บัตรเครดิตขนาดใหญ่ที่เป็นลูกค้าของเราเราได้จัดส่งโปรแกรมการฝึกอบรมอย่างน้อยห้าถึงแปดโปรแกรม นอกจากนี้เรายังมีรุ่นชุมชนฟรีของผลิตภัณฑ์เหล่านี้รวมถึงของเรากล่องทรายที่ผู้คนสามารถดาวน์โหลดรับใช้และให้ความรู้ด้วยตัวเองเช่นนั้น
Dez Blanchfield: นั่นคือทั้งหมดที่ฉันมีเมื่อเช้านี้สำหรับคุณ ขอบคุณมาก. ฉันพบว่ามันน่าสนใจอย่างไม่น่าเชื่อที่จะดูประเภทของโมเดลและใช้เคสที่คุณมีให้เราวันนี้ ขอขอบคุณ.
Anand Venugopal: เยี่ยมมาก ขอบคุณมาก ๆ
Rebecca Jozwiak: ขอบคุณทุกคนที่เข้าร่วมกับเราในเว็บคาสต์ Hot Technologies เหล่านี้ เป็นที่น่าสนใจที่ได้ยินจาก Dez Blanchfield, Dr. Robin Bloor และจาก Impetus Technologies, Anand Venugopal ขอบคุณผู้นำเสนอ ขอบคุณผู้พูดและขอบคุณผู้ชม เรามีเทคโนโลยีสุดฮอตอีกเดือนหน้า คุณสามารถค้นหาเนื้อหาของเราที่เก็บถาวรได้ที่ Insideanalysis.com เรายังใส่เนื้อหาจำนวนมากบน SlideShare และบิตที่น่าสนใจบางส่วนบน YouTube เช่นกัน
นั่นคือคนทั้งหมด ขอบคุณอีกครั้งและมีวันที่ดี ลาก่อน.
