วัฒนธรรมทีม AI สำคัญกว่าโมเดล: ทีม full-stack ส่งงานจริงอย่างไร
มีนาคม 2025 ฉันจัดทีมสองชุดรัน RAG boilerplate เดียวกันให้ลูกค้ารายเดียว ทีม A งบโมเดลใหญ่กว่า ทีม B มีสามนิสัยคือบันทึกความพลาดกลาง เดโมวันศุกร์บนบทสนทนาจริง สิทธิใครก็เบรกงานปล่อยได้ด้วยตัวอย่างพลาดหนึ่งอัน ฉันให้ชุดเอกสารเดียวกัน ชุดประเมิน 200 ข้อตายตัว งบเวลาตอบสี่วินาทีเท่ากัน
ทีม A เปลี่ยนโมเดลสองครั้งในห้าสัปดาห์ แต่ละครั้งกินเวลาจูนใหม่เก้าวัน คุณภาพคำตอบขยับจาก 71% เป็น 73% บนชุดประเมิน ทีม B เก็บโมเดลถูกกว่า ประชุมสิบห้านาทีรอบบันทึกพลาดทุกวัน ส่งถึงมือดีสแพตช์สิบคนในสัปดาห์ที่หกด้วย 78% และเวลาตอบมัธยฐาน 3.1 วินาที ฉันเห็นความต่างบนจอแชร์สด โมเดลเพิ่มสองจุด วัฒนธรรมเพิ่มเจ็ดจุด
ภาพหน้าจอ: Grafana 2025-03-28 ทีม B มัธยฐาน 3.1 วินาที เทียบกับทีม A 5.8 วินาที โมเดลเดียวกัน คลังเดียวกัน ตาราง failure_log_2025_03.csv 214 แถว
ทำไมฉันดูวัฒนธรรมก่อน
ฉันสัมภาษณ์ทีมด้วยคำถามเดียวคือขอดูบันทึกพลาดสัปดาห์ก่อน ทีมที่เปิดตารางพร้อมชื่อเจ้าของ ลิงก์บทสนทนา หน้าต้นทาง รับมือการเปลี่ยนโมเดลในวันเดียว ทีมที่เปิดสมุดส่วนตัวใช้หนึ่งสัปดาห์ บันทึกทำนายความเร็วส่งงานได้ดีกว่าการ์ดโมเดล
สามเก้าอี้ที่อุ้มนิสัย
ฉันจ้างตามความรับผิดชอบ ไม่ใช่ตำแหน่ง สามเก้าอี้อุ้มทีมเมื่อถือบันทึกเดียวกัน
- วิศวกร AI ดูแลการค้นคืนและงานปล่อย เธอเชื่อมโมเดลกับคลังเอกสารผ่าน RAG คุมงบต้นทุนกับเวลา รักษาชุดประเมิน 200 ข้อให้เขียว เซ็นงานปล่อยที่แตะลูกค้า
- วิศวกรพรอมต์ดูแลความเชื่อถือได้ของคำสั่ง เขาเขียน system prompt กับตัวอย่าง few-shot คุมรุ่นใน git รันไฟล์ย้อนกลับของเคสพลาดก่อนทุกงานปล่อย เขาอ่านบทสนทนาดิบ ไม่ใช่สรุป
- หัวหน้าฝ่าย AI ที่รับผิดชอบดูแลราวกันตก เธออนุมัติข้อความออก ปาดเบอร์โทรกับ ID ก่อนลงบันทึก ตั้งอายุเก็บ 30 วัน ผูกทุกช่องกับฐานกฎหมาย เธอเบรกงานปล่อยก่อนเปิดหนึ่งวันหากต้นทางหนึ่งชิ้นเก่า
นิสัยเดียวผูกสามคนคือใครก็เบรกงานปล่อยได้ ต้องการแค่ตัวอย่างพลาดหนึ่งอัน ทีมขอบคุณคนเบรก กฎนี้สอนว่าผลิตภัณฑ์เป็นของทั้งสามคน
เราเก็บโมเดลถูกไว้อย่างไร
ทีม B ส่งงานอ่านง่ายให้โมเดลเล็กต้นทุน 0.02 ดอลลาร์ต่อร้อยครั้ง เก็บโมเดลใหญ่ไว้จดหมายเคลมที่ข้อผิดข้อเดียวเสียเงินจริง วิศวกรแคชคำถามภาษีซ้ำ ตัดชุดเอกสารจาก 1,400 เหลือ 620 หน้า เข้างบสี่วินาทีโดยไม่เปลี่ยนโมเดล วิศวกรพรอมต์เขียนคำยืนยันใหม่ให้ระบุถนน ท่า ช่วงเวลา หลังอ่านบทสนทนาสี่สิบอันที่คนขับยังโทรหาดีสแพตช์ทั้งที่บอตยืนยันแล้ว สายโทรกลับลด 49% ในสองสัปดาห์ หัวหน้าฝ่ายรับผิดชอบจับ PDF ภาษีเก่าตั้งแต่มีนาคมก่อนเปิดตัว เบรกหนึ่งวันช่วยไม่ให้โควตราคาผิดสี่สิบรายหลุดออกไป
สัปดาห์หน้าของคุณ
เปิดตารางเดียววันจันทร์ ทุกคำตอบพลาดลงบทสนทนา หน้าต้นทาง ชื่อเจ้าของ วันศุกร์แต่ละคนโชว์หนึ่งพลาดกับหนึ่งแก้ในสิบห้านาที เก็บโมเดลที่มี วัดบันทึกหนึ่งเดือน คุณจะเห็นจุดที่วัฒนธรรมชนะโมเดลถัดไป