Культура ШІ-команди важливіша за моделі: як full-stack команди доводять до релізу
У березні 2025 я зібрав той самий RAG-бойлерплейт двома командами для одного клієнта. У команди А був більший бюджет на моделі. У команди Б було три звички: спільний журнал збоїв, п'ятничні демо на живих листуваннях і право кожного зупинити реліз одним падаючим прикладом. Я дав обом однаковий набір документів, один набір оцінки з 200 фіксованих питань і один бюджет відповіді в чотири секунди.
Команда А змінила моделі двічі за п'ять тижнів. Кожна заміна коштувала дев'яти днів переналаштування. Якість відповідей зросла з 71% до 73% на наборі оцінки. Команда Б лишила дешеву модель, збиралась на п'ятнадцять хвилин довкола журналу збоїв і вийшла до десяти диспетчерів на шостому тижні з 78% і медіаною відповіді 3,1 секунди. Я бачив різницю на спільному екрані. Вибір моделі дав два пункти. Культура дала сім.
Скріншот: панель Grafana 2025-03-28 — медіана команди Б 3,1с проти 5,8с у команди А, одна модель, одне сховище. Таблиця: failure_log_2025_03.csv (214 рядків).
Чому я дивлюся на культуру першою
Я інтерв'юю команди одним питанням: покажіть журнал збоїв за минулий тиждень. Команди, що відкривають таблицю з іменами власників, посиланнями на листування та джерелами, переживають зміну моделі за день. Команди з особистими блокнотами витрачають тиждень. Журнал передбачає швидкість поставки краще, ніж карта моделі.
Три крісла, що несуть звичку
Я наймаю за відповідальність, а не за титули. Три крісла тримають команду, коли ведуть спільний журнал.
- ШІ-інженер володіє пошуком і релізом. Вона підключає модель до сховища через RAG, тримає бюджети ціни та затримки, тримає зеленим набір із 200 питань і підписує реліз до клієнтів.
- Промпт-інженер володіє надійністю інструкцій. Він пише системні промпти і few-shot приклади, версіонує їх у git і проганяє регресійний файл минулих збоїв перед кожним релізом. Він читає сирі листування, а не зведення.
- Відповідальний за ШІ володіє огородженнями. Вона схвалює вихідні повідомлення, вирізає телефони та ID до логів, ставить зберігання 30 днів і прив'язує кожне поле до правової підстави. Вона стопає реліз за день до запуску, якщо одне джерело застаріло.
Одна звичка їх зв'язує: кожен стопає реліз. Досить одного падаючого прикладу. Команда дякує тому, хто зупинив. Правило вчить, що продукт належить усім трьом.
Як ми втримали дешеву модель
Команда Б відправила прості читання на малу модель по $0,02 за сто викликів і берегла велику для листів за претензіями, де невірний пункт коштує грошей. Інженер закешувала повтори по тарифах, урізала набір із 1400 до 620 сторінок і вклалась у чотири секунди без зміни моделі. Промпт-інженер переписав підтвердження з вулицею, доком і вікном після 40 листувань, де водії дзвонили диспетчерам попри підтвердження бота. Зворотні дзвінки впали на 49% за два тижні. Відповідальна зловила застарілий PDF із тарифами від березня до запуску й затримала реліз на день, що врятувало сорок невірних котирувань.
Твій наступний тиждень
Відкрий одну таблицю в понеділок. Кожна невірна відповідь — листування, джерела, власник. У п'ятницю кожен власник показує один збій і одну правку за п'ятнадцять хвилин. Лиши модель, що є. Міряй журнал місяць. Побачиш, де культура б'є наступну модель.