ในยุคที่ข้อมูลถูกสร้างขึ้นด้วยอัตราเร่งที่ไม่เคยหยุดนิ่ง องค์กรต่างเผชิญกับความท้าทายในการดึงมูลค่าสูงสุดจากแหล่งข้อมูลขนาดใหญ่ การประมวลผลแบบเก่ามักแบ่งแยกกระบวนการทางธุรกรรม (OLTP) ออกจากการวิเคราะห์เชิงลึก (OLAP) ทำให้เกิดช่องว่างด้านเวลาและประสิทธิภาพ ข้อมูลจึงต้องเดินทางผ่านระบบ ETL ที่ซับซ้อน กินเวลานาน และทำให้ insights ล่าช้านำมาซึ่งโอกาสทางธุรกิจ ระบบสถาปัตยกรรม Lake Transactional/Analytical Processing หรือที่เราเรียกว่า LTAP คือคำตอบสำหรับข้อจำกัดเหล่านี้ โดยเป็นการผนวกขีดความสามารถทั้งสองส่วนเข้าไว้ในพื้นที่เดียวอย่างเป็นธรรมชาติ ซึ่งถือเป็นก้าวสำคัญของ Data Architecture ยุคใหม่.
ทำไม LTAP จึงมีความจำเป็น?
หัวใจหลักของการออกแบบระบบสมัยใหม่อย่าง LTAP ไม่ใช่เพียงแค่รวมเครื่องมือ แต่คือการแก้ไขปัญหา ‘Data Silos’ อย่างแท้จริง ในอดีต เมื่อมีการบันทึกรายการซื้อขาย (Transactional Process) ต้องใช้ฐานข้อมูลที่ถูกปรับให้เหมาะกับการเขียนและการอ่านที่มีโครงสร้างตายตัว ขณะเดียวกัน หากต้องการนำยอดสินค้ารวมทั้งหมดไปดูแนวโน้มตลาดเพื่อวางแผนกลยุทธ์ ก็จะต้องส่งข้อมูลเหล่านั้นไปยัง Data Warehouse แยกต่างหาก กระบวนการนี้ไม่เพียงแต่เพิ่มต้นทุนและความเสี่ยงในการถ่ายโอนข้อมูลเท่านั้น แต่มันยังลดรอบเวลาตั้งแต่เกิดเหตุการณ์จนถึงได้ผลลัพธ์เชิงวิเคราะห์ด้วย
<span class="highlight>—</span> จุดเด่นทางสถาปัตยกรรม:</span> แทนที่จะมองว่า OLTP และ OLAP เป็นคนละโลก LTAP มองมันเป็นการไหลเวียนอย่างต่อเนื่อง โดยอนุญาตให้แอปพลิเคชันสามารถดำเนินการเปลี่ยนแปลงข้อมูลระดับธุรกรรมในขณะที่กระแสของเธรดอื่นกำลังทำการ Query หรือประเมินค่ารูปแบบขนาดใหญ่จากชุดข้อมูลนั้น ๆ ได้พร้อมกัน นี่เป็นสิ่งที่เรียกว่า Single Source of Truth ที่มีชีวิตชีวาและตอบสนองแบบ Real-time.
หลักการทำงานเบื้องหลัง LTAP Architecture
เพื่อให้ระบบรองรับทั้งสองภารกิจขนานได้อย่างสมบูรณ์ LTAP มักอาศัยเทคโนโลยี Streaming เข้ามาช่วยจัดการ การนำเข้า (Ingestion) ข้อมูลจึงไม่ได้รอ Batch Process อีกต่อไป แต่จะถูกบันทึกผ่าน Message Queue เช่น Apache Kafka ก่อน จากจุดนี้เอง ระบบจะมีการแยกชั้นของการจัดเก็บและการแปรรูป:
- Transactional Layer (OLTP Focus): เน้นความเร็วในการเขียน, ความถูกต้องตาม ACID Properties สำหรับงาน Operation รายวัน
- Analytical/Lake Storage Layer (OLAP Focus): จัดเก็บบริมาณมหาศาลของ Raw Data ในรูป Schema แบบยืดหยุ่น เพื่อให้นำไปวิเคราะห์ด้วยเครื่องมือ Big Data ต่างๆ ต่อได้โดยไม่สูญเสียบริบทต้นฉบับ
Tags: ซอฟต์แวร์, ระบบ, สาระความรู้