Культура ИИ-команды важнее моделей: как full-stack команды доводят до релиза
В марте 2025 я собрал один и тот же RAG-бойлерплейт двумя командами для одного клиента. У команды А был больший бюджет на модели. У команды Б было три привычки: общий журнал сбоев, пятничные демо на живых переписках и право любого остановить релиз одним падающим примером. Я дал обеим одинаковый набор документов, один набор оценки из 200 фиксированных вопросов и один бюджет ответа в четыре секунды.
Команда А сменила модели дважды за пять недель. Каждая замена стоила девяти дней перенастройки. Качество ответов выросло с 71% до 73% на наборе оценки. Команда Б оставила дешёвую модель, собиралась на пятнадцать минут вокруг журнала сбоев и вышла к десяти диспетчерам на шестой неделе с 78% и медианой ответа 3,1 секунды. Я видел разницу на общем экране. Выбор модели дал два пункта. Культура дала семь.
Скриншот: панель Grafana 2025-03-28 — медиана команды Б 3,1с против 5,8с у команды А, одна модель, одно хранилище. Таблица: failure_log_2025_03.csv (214 строк).
Почему я смотрю на культуру первым
Я интервьюирую команды одним вопросом: покажите журнал сбоев за прошлую неделю. Команды, что открывают таблицу с именами владельцев, ссылками на переписки и исходниками, переживают смену модели за день. Команды с личными блокнотами тратят неделю. Журнал предсказывает скорость поставки лучше, чем карта модели.
Три кресла, что несут привычку
Я нанимаю за ответственность, а не за титулы. Три кресла держат команду, когда ведут общий журнал.
- ИИ-инженер владеет поиском и релизом. Она подключает модель к хранилищу через RAG, держит бюджеты цены и задержки, держит зелёным набор из 200 вопросов и подписывает релиз к клиентам.
- Промпт-инженер владеет надёжностью инструкций. Он пишет системные промпты и few-shot примеры, версионирует их в git и прогоняет регрессионный файл прошлых сбоев перед каждым релизом. Он читает сырые переписки, а не сводки.
- Ответственный за ИИ владеет ограждениями. Она одобряет исходящие сообщения, вырезает телефоны и ID до логов, ставит хранение 30 дней и привязывает каждое поле к правовому основанию. Она стопает релиз за день до запуска, если один источник устарел.
Одна привычка их связывает: любой стопает релиз. Хватит одного падающего примера. Команда благодарит того, кто остановил. Правило учит, что продукт принадлежит всем троим.
Как мы удержали дешёвую модель
Команда Б отправила простые чтения на малую модель по $0,02 за сто вызовов и берегла большую для писем по претензиям, где неверный пункт стоит денег. Инженер закэшировала повторы по тарифам, урезала набор с 1400 до 620 страниц и уложилась в четыре секунды без смены модели. Промпт-инженер переписал подтверждения с улицей, доком и окном после 40 переписок, где водители звонили диспетчерам несмотря на подтверждение бота. Обратные звонки упали на 49% за две недели. Ответственная поймала устаревший PDF с тарифами от марта до запуска и задержала релиз на день, что спасло сорок неверных котировок.
Твоя следующая неделя
Открой одну таблицу в понедельник. Каждый неверный ответ — переписка, исходники, владелец. В пятницу каждый владелец показывает один сбой и одну правку за пятнадцать минут. Оставь модель, что есть. Меряй журнал месяц. Увидишь, где культура бьёт следующую модель.