Хочу подробно ответить на один классный вопрос про AI Coding
Как считаешь в ближайшем будущем прорыв будет получатся из-за улучшения базовых моделей, или же инженерных трюков как например рассказываешь ты у себя в канале? Многие вещи как про голд спт, евалы, бдд, контрол центр я нигде не слышал. Повсеместно почти люди вещают кому какой скилл поставить.
Мне кажется, что все дело в целях и в аудитории, для которой ведется рассказ.
Скилы хороши тем, что это что-то наглядное и удобно упакованное. Скилл можно легко поставить и сразу увидеть результат, что что-то поменялось. Такой материал хорошо работает для привлечения аудитории.
У нас же уже сложилось классное коммьюнити - подписчики, участники чата и тематических групп. Тут есть директора, лиды и инженеры компаний США и Евразии, как корпораций, так и передовых стартапов. Про многие компании вы уже слышали или даже пользовались их продуктами и услугами.
Поэтому тут нет смысла упрощать картину ради аудитории. Наоборот, можно пропускать костыли, концентрироваться на системном подходе и конкретных результатах: ценность для пользователей, соответствие кода конкретным требованиям, а систем с LLM под капотом - измеримым ожиданиям.
И если говорить про точные пайплайны c LLM под капотом - их никак не построить без evals и разнообразных датасетов. OpenAI и Anthropic без этого не смогли бы двигаться вперед.
А если говорить про разработку продуктов для пользователей с AI Coding - аналогичная история. Можно написать хоть тысячу текстовых спеков в маркдауне с superpowers и OpenSpec, подключив это к ponytail. Но с качеством кода это не обязательно будет кореллировать (скорее наоборот, забъется контекст и поползут глюки). А вот тесты работали всегда, как работали превосходно все эти десятилетия, так и продолжают работать. А в случае сложной продуктовой разработки с хитрыми интерфейсами эти тесты уже давно делают в формате BDD.
// а вот control center - это просто мой термин для старой DevOps модели, когда для удобства управления кучей систем в одну репу собирали пачки из Ansible/Terraform/Chef, bash скриптов и YAML каши от Kubernetes. Просто сейчас этот бардак можно свалить на агентов.
И я считаю, что дальнейшие прорывы в разработке будут происходить не столько из-за улучшения моделей, сколько из-за развития харнесов кодовых агентов. А еще за счет того, что индустрия будет переоткрывать, как эффективно сочетать принципы, которые работали всегда - с этими новыми агентами. Агенты и LLM при этом будут продолжать дешеветь.
Вот например большой аплифт по каким либо показателям дает тебе такой инженерный подход? Компенсирует ли этот прирост ту ответственность которую как я понимаю нужно проявлять к тому чтобы следовать всем этим ai native конвенциям
У меня в итоге проекты не следуют специальным AI Native конвенциям, чтобы быть актуальными. Наоборот, это обычные читаемые проекты без каких-то скилов. Просто впервые в жизни у меня есть время, чтобы их оформить аккуратно и правильно, так, чтобы команда могла открыть проект, быстро разобраться и иметь возможность начать продуктивно работать, не ломая код.
Ну а то, что проект аккуратно часами причесывал Codex (время которого, в отличие от своего, я не считаю), а команды теперь состоят преимущественно из кодовых агентов - это уже детали современной реализации))
Если кратко - аплифт есть. Скажем, проекты уровня BitGN я бы раньше не смог реализовать без большой команды.
При этом сами конвенции в проектах не столько AI Native, сколько ориентированные на людей и основанные на уже работающих принципах. Но поскольку AI Agents тоже обучены хорошо работать с человеческими процессами - это все идеально стыкуется вместе в AI Native системы.
Ну а то, что скилам у меня в ней места не нашлось - это уже вкусовщина)
Ваш, @llm_under_hood 🤗
