PlusMagi's Blog By Pitt Phunsanit Database TOON (Token-Oriented Object Notation )

TOON (Token-Oriented Object Notation )

ในโลกของการพัฒนาแอปพลิเคชันที่ขับเคลื่อนด้วยปัญญาประดิษฐ์ (AI) การจัดการข้อมูลให้มีประสิทธิภาพเป็นสิ่งสำคัญอย่างยิ่ง หากคุณกำลังทำงานกับฐานข้อมูล PostgreSQL และต้องส่งข้อมูลที่ดึงมาใช้ (Retrieval) ไปยัง Large Language Model (LLM) อย่าง ChatGPT หรือ Gemini คุณอาจเคยเจอปัญหาเรื่องค่าใช้จ่าย Token ที่สูงเกินไป

นี่คือจุดที่ TOON (Token-Oriented Object Notation) เข้ามามีบทบาท TOON ไม่ใช่ API หรือระบบฐานข้อมูล แต่เป็น Data Format ชนิดใหม่ที่ถูกออกแบบมาโดยเฉพาะเพื่อแก้ปัญหาการส่งข้อมูลโครงสร้าง (Structured Data) ให้กับ AI โดยเฉพาะ ทำให้ข้อมูลกระชับ แม่นยำ และประหยัดค่าใช้จ่ายได้อย่างมหาศาล

TOON คืออะไร และทำไมต้องใช้กับ PostgreSQL?

โดยพื้นฐานแล้ว TOON คือการปรับปรุงรูปแบบการจัดเรียงข้อมูลที่เหนือกว่า JSON หรือ YAML ทั่วไป โดยเน้นการตัดองค์ประกอบที่ไม่จำเป็นทางไวยากรณ์ (Syntax) ออกไปให้มากที่สุด เช่น การตัดเครื่องหมายวงเล็บปีกกา ({}):, “” ออกไป ทำให้ข้อมูลที่ได้มีความหนาแน่นของข้อมูลสูง (Data Density) มากขึ้น

เมื่อเราใช้ PostgreSQL ดึงข้อมูลมาเพื่อทำ RAG (Retrieval Augmented Generation) ข้อมูลที่ได้มักอยู่ในรูปแบบที่ต้องส่งต่อให้ AI หากส่งข้อมูลดิบจาก SQL Query ไปยัง Prompt โดยตรง อาจทำให้เกิด Token Waste ได้ง่าย TOON จึงเข้ามาช่วยจัดรูปแบบข้อมูลเหล่านั้นให้เป็นภาษาที่ AI อ่านง่ายที่สุด

เปรียบเทียบความแตกต่างของ Data Format

  • JSON: ออกแบบมาให้คอมพิวเตอร์ (Machine-to-Machine) อ่านง่าย มีความสมบูรณ์ทางไวยากรณ์สูง แต่มี Overhead ของเครื่องหมายมาก
  • TOON: ออกแบบมาให้ AI (Human-like reading) อ่านง่ายที่สุด โดยเน้นการใช้การย่อหน้าและการจัดเรียงข้อมูลแบบตาราง ทำให้ประหยัดพื้นที่และ Token ได้อย่างเห็นได้ชัด

การประยุกต์ใช้ TOON ในระบบ PostgreSQL

สมมติว่าคุณมีตาราง `products` ใน PostgreSQL และต้องการดึงข้อมูล 3 รายการล่าสุดเพื่อส่งให้ AI สรุปให้ลูกค้า TOON จะช่วยให้คุณจัดโครงสร้างข้อมูลเหล่านั้นได้อย่างมีประสิทธิภาพสูงสุด

นี่คือตัวอย่างการดึงข้อมูลจาก PostgreSQL:

SQL

SELECT product_name, category, price FROM products WHERE product_id IN (101, 102, 103);

แทนที่จะส่งผลลัพธ์ในรูปแบบ JSON ที่มีเครื่องหมายซ้ำซ้อนจำนวนมาก (เช่น {"product_name": "apple", "category": "fruit"}) ระบบที่ใช้ TOON จะทำการจัดโครงสร้างข้อมูลนี้ให้เป็นรูปแบบที่กระชับกว่ามาก ทำให้ Prompt ของ AI ดูสะอาดตาและประหยัด Token ได้มากถึง 30-60% ซึ่งส่งผลโดยตรงต่อการลดค่าใช้จ่าย API ของคุณ

สรุป: ประโยชน์หลักของการใช้ TOON

  1. ลดค่าใช้จ่าย (Cost Reduction): การลดจำนวน Token โดยตรงหมายถึงการลดค่าใช้จ่ายในการเรียกใช้ API ของ LLM
  2. เพิ่มความแม่นยำ (Accuracy Boost): โครงสร้างข้อมูลที่ชัดเจนของ TOON ช่วยให้ AI เข้าใจความสัมพันธ์ของข้อมูลได้แม่นยำกว่าการอ่านข้อมูลที่เต็มไปด้วยเครื่องหมายไวยากรณ์ที่ซ้ำซ้อน
  3. เพิ่มความเร็ว (Performance): ข้อมูลที่สั้นลงและกระชับขึ้น ทำให้ AI ประมวลผลและตอบกลับได้รวดเร็วยิ่งขึ้น

ดังนั้น สำหรับสถาปนิกระบบที่ใช้ PostgreSQL และกำลังสร้างแอปพลิเคชัน AI ที่ต้องมีการส่งข้อมูลโครงสร้างจำนวนมาก การทำความเข้าใจและนำ TOON มาใช้ในการจัดรูปแบบข้อมูลก่อนส่งเข้า Prompt จึงเป็น Best Practice ที่ไม่ควรมองข้าม

Exit mobile version