การจะดูว่าเครื่องรันโมเดลขนาดกี่ B ได้นั้น ปัจจัยที่สำคัญที่สุดไม่ใช่ความเร็ว แต่คือ “ขนาดของหน่วยความจำ” ครับ โดยเฉพาะ VRAM บนการ์ดจอ
นี่คือหลักการคำนวณและวิธีตรวจสอบแบบเข้าใจง่ายครับ
1. สูตรคำนวณเบื้องต้น
โดยปกติแล้ว พารามิเตอร์ 1 ตัว ในรูปแบบมาตรฐานจะใช้พื้นที่ประมาณ 2 Bytes แต่ในวงการ Local AI เรามักใช้การบีบอัดที่เรียกว่า Quantization ซึ่งเป็นระดับที่นิยมที่สุดเพราะยังคงความฉลาดไว้ได้แต่กินสเปกน้อยลง
สูตรคำนวณคร่าวๆ สำหรับ 4-bit Quantization
จำนวน B x 0.7 = จำนวน GB ที่ต้องใช้
2. วิธีตรวจสอบ Hardware
การ์ดจอ – สำคัญที่สุด
AI รันบน GPU ได้เร็วกว่า CPU หลายเท่า สิ่งที่คุณต้องดูคือ VRAM
- วิธีดู: กด
Ctrl + Shift + Esc> ไปที่แถบ Performance > คลิก GPU > ดูค่า Dedicated GPU Memory - เกณฑ์การรัน
- VRAM 4GB: รันได้สูงสุดประมาณ 3b
- VRAM 8GB: รันได้สูงสุดประมาณ 8b (แบบบีบอัด 4-bit หรือ 5-bit)
- VRAM 12GB: รัน 8b ได้ลื่นไหลมาก หรือขยับไปลอง 12b – 14b แบบบีบอัดสูงได้
- VRAM 16GB – 24GB: รัน 14b – 20b ได้สบาย หรือรัน 30b แบบบีบอัดได้
RAM – แผนสำรอง
หาก VRAM ไม่พอ โปรแกรมอย่าง Ollama หรือ LM Studio จะโยนข้อมูลส่วนที่เหลือไปลงที่ RAM เครื่องแทน
- ข้อดี: ทำให้รันโมเดลใหญ่กว่า VRAM ได้
- ข้อเสีย: ช้ามาก จนอาจจะใช้งานจริงไม่ได้
CPU – ตัวประมวลผลเสริม
CPU ไม่ได้เป็นตัวกำหนดว่า “รันกี่ B ได้” แต่เป็นตัวกำหนดว่า “จะตอบเร็วแค่ไหน” หากคุณไม่ได้ใช้การ์ดจอเลย คุณควรมี RAM อย่างน้อย 16GB-32GB เพื่อรันโมเดลขนาด 7b-8b
3. สรุปตารางประเมินผล
การเลือกโมเดลตามประเภทงานดังนี้ครับ
- เน้นความไว : ใช้โมเดล 8b จะตอบโต้ทันทีเหมือนคุยกับคนจริง ๆ
- เน้นงานยาก/เขียนโค้ด: หากเครื่องคุณมี RAM 24GB ขึ้นไป ให้ลอง 14b หรือ 27b จะเริ่มเห็นความฉลาดที่ต่างออกไปมาก
- เน้นความรู้รอบตัว: หากมี RAM 64GB+ คุณสามารถรัน 70b ซึ่งฉลาดใกล้เคียง ChatGPT-4 ได้ในเครื่องตัวเองเลย
วิธีเช็คแบบชัวร์ที่สุด
ผมแนะนำให้ใช้เครื่องมือเหล่านี้ตรวจสอบ
- Can I Run It?: ในโปรแกรมอย่าง LM Studio เมื่อคุณค้นหาโมเดล มันจะมีแถบสีบอกเลยว่า “Should fit in memory” หรือ “Likely to fit” โดยมันจะคำนวณจากสเปกเครื่องคุณตอนนั้นทันที
- Ollama: หากรันแล้วเครื่องค้างหรือตอบช้าเกินไป แสดงว่าโมเดลนั้นใหญ่เกินไปสำหรับเครื่องคุณครับ
อ่านเพิ่มเติม