Как экономить на затратах на ИИ в клиентском сервисе
Главная проблема большинства ИИ-проектов — компании сначала вдохновляются возможностями «ChatGPT», запускают внедрение, а уже потом пытаются понять, окупается ли это вообще. Как считать экономику до старта, рассказал Александр Крушинский, директор департамента голосовых цифровых технологий компании BSS (разработчик решений по цифровизации клиентского обслуживания).
Команда — первая крупная статья затрат. Можно собрать большую внутреннюю техническую команду, купить оборудование и делать все своими силами. Тогда затраты на покупку софта будут ниже, но резко вырастут расходы на людей и GPU. А можно максимально использовать SaaS или подрядчиков. Тогда основными расходами становятся лицензии и сервисы, зато снижается потребность в собственной технической команде и инфраструктуре.
Команда делится на два блока: техническая и бизнес-экспертиза.
Техническую часть, а это разработчики, датасайнтисты и прочие товарищи, которые умеют технически имплементировать ИИ в прикладной процесс, часто дешевле покупать на рынке.
А вот бизнес-экспертизу, наоборот, почти всегда выгоднее развивать внутри компании. Именно эти люди определяют, как должен вести себя робот и какие факторы обслуживания надо контролировать.
LLM. При внедрении ИИ затраты на софт распадаются на две категории — прикладной софт и ИИ-модели. LLMки почти всегда считаются по токенам. И эти расходы могут составлять очень существенную часть всей экономики проекта. Например, в RAG-сценариях на один запрос может уходить 5–10 тысяч токенов. На больших объемах обслуживания это быстро превращается в значимую статью расходов.
Существует гипотеза, что цена на токены сейчас искусственно занижается и может быть увеличена в разы в будущем. Этот риск надо как минимум предусматривать как возможный.
Но и здесь почти всегда есть варианты оптимизации. Можно использовать менее производительные, но более дешевые модели. Да, качество в отдельных сценариях будет ниже, зато стоимость внедрения и эксплуатации уменьшается в разы.
Еще один способ — не пытаться решать все задачи через LLM.
Для поиска инсайтов по массиву диалогов использование больших языковых моделей оправдано. Но для оценки диалогов по простым критериям вроде «конфликтогенов оператора» выгоднее использовать маленькие специализированные модели.
Железо. Тут затраты могут выходить на астрономические суммы, т.к. например сервер с парой GPU уровня H100 стоит порядка 5 млн рублей и выдавать производительность всего 10 запросов в секунду.
Если компания строит локальную инфраструктуру, она получает больше контроля над системой, но берет на себя огромные капитальные затраты. Если же использует облачные модели, то капитальные расходы снижаются, зато появляется постоянная зависимость от стоимости токенов и внешнего провайдера.
Джокер. ИИ-модели по своей природе не работают со 100% надежностью. Если требуется 100% надежность, надо сразу закладывать стоимость компенсационных мер: проверку человеком, ограничения сценариев, дополнительные валидации. Это увеличивает стоимость процесса, зато снижает риски возникновения ошибок.
Именно поэтому в клиентском сервисе лучше всего окупаются сценарии, где результат ИИ контролируется человеком.
В итоге эффективность ИИ считается не через «заменит ли он человека полностью», а через баланс затрат и экономии на каждом конкретном процессе.
🔍 ИЗЧ в VK | MAX
