Tune NVFP4 ให้แรงขึ้น 20% — เรื่องของการขยับ 3 ค่า
ย้ายจาก gpu_memory_utilization=0.5 → 0.7 บน Qwen3.6-35B-A3B-NVFP4 ผ่าน concurrency 6 ได้ throughput เพิ่ม 20% แต่ single user กลับช้าลง — เล่าเบื้องหลังการ tune จริง ๆ บน DGX Spark
Latest Posts
เลือกฮาร์ดแวร์ AI On-Premise — มุมมองจากประสบการณ์ DGX Spark
เมื่ออยากรู้จัก AI Server เองในองค์กร ต้องพิจารณาหลายปัจจัยพร้อมกัน — ไม่ใช่แค่ดูสเปก แต่ดู workflow, งบประมาณ, จำนวนผู้ใช้, และการติดตั้ง
Qwen3.6-35B บน DGX Spark — จาก FP8 สู่ NVFP4 + บทเรียนจาก Atlas
เมื่อ FP8 เริ่มไม่พอสำหรับ concurrent workloads ผมลอง NVFP4 weights + Atlas engine จาก Avarok — ได้บทเรียนเรื่อง scheduler design ที่ไม่มีใน documentation
DGX Spark: 5 Red Flags + 3 Checklist ก่อนจ่าย 165,000 บาท
ก่อนตัดสินใจจ่ายเงินกว่าแสนหกหมื่นบาท มี 5 red flags และ 3 checklist ที่คุณต้องตอบได้ก่อน — ผมเองก็ใช้วิธีนี้ก่อนตัดสินใจซื้อ DGX Spark
Agentic AI Era Developer: เมื่อเราต้องเก่งเกินกว่าแค่เขียนโค้ด
Developer ในยุค AI + Agentic ต้องเข้าใจอะไรบ้าง - MCP, model serving, routing, security, และการหา sweet spot ระหว่าง local กับ cloud
DiffusionGemma บน DGX Spark - NVFP4 Quantization และโลกที่ Model 26B ลงใน 18GB ได้
ทดลองรัน DiffusionGemma 26B ด้วย NVFP4 quantization บน DGX Spark - บททดสอบจริงว่า 4-bit floating point ทำให้ AI บนเครื่องเราดีขึ้นจริงหรือไม่
Qwen3.6-35B-A3B บน DGX Spark: เรื่อง sampling ที่ผมตั้งผิดมาตลอด
เปิด Hugging Face model card ของ Qwen3.6-35B-A3B แล้วพบว่า Qwen team แนะนำ sampling ตาม mode/task ไม่ใช่ตาม use case แบบที่เข้าใจ — โดยเฉพาะ thinking mode สำหรับ general tasks ใช้ temp=1.0 สูงกว่า coding ที่ใช้ temp=0.6
MiniMax-M3 - Model ใหม่ 1M Context ควบคู่กับ LiteLLM Gateway
แนะนำ MiniMax-M3 โมเดล 1M Context พร้อมตั้งค่า LiteLLM Gateway สำหรับงานแต่ละประเภท
Virtual Models บน LiteLLM Proxy: 1 โมเดล 10 profiles ใช้ให้เหมาะกับงาน
โมเดลเดียวกัน แต่ sampling ต่างกัน = พฤติกรรมต่างกัน — 10 profiles บน Qwen3.6-35B-A3B-NVFP4 ผ่าน LiteLLM alias สำหรับ Hermes Agent + LiteLLM Gateway
Qwen3.6-35B-A3B: เลือก parameters ตาม use case
สรุปจาก HF model card ว่า Qwen team ใช้ parameters ต่างกันอย่างไรในแต่ละ benchmark category และแผนที่เอามาใช้ใน DGX Spark