Я умею отдыхать и у меня есть доказательства =)
Давно хотел заняться чем то интересным помимо ковыряния neuraldeep.ru и других проектов где есть GPU и API
Повод нашёлся сам пока я в отпуске
У меня умер пульт от радиоуправляемой машинки(на фото)
Машинка полный привод подвеска + до 55км/ч скорость!
Обычный человек купил бы новый за 1500 рублей, или выкинул машинку, но у меня появилась идея
Я решил что это знак и надо собрать управление на "не готовых решениях" с нуля через LTE c камерой
И в этом мне помогут кодинг агенты во всю мощь что я умею!
План такой.
На борт едет Pi Zero 2W, ESP, Huawei MiFi под LTE и Mikrotik mAP lite.
На машинке остаётся только камера, PWM и failsafe, всё тяжёлое живёт где то по сети
Машинка сама подключается наружу к релею, так что CGNAT оператора не проблема
Потом сверху встанет RealSense D455 и я хочу что бы она уезжала по полю на 500 метров и возвращалась обратно
Хочу понять как вообще люди заставляют железо двигаться по карте и что происходит когда мозги отстают от колёс на сотню миллисекунд
Корпус под всё это добро уже распечатал, благо я давно купил себе 3д принтер и теперь к нему есть применение
Питание отдельная история
Клод посчитал бюджет по ваттам, выяснил что малина с камерой и Wi-Fi ест 3.5 Вт, MiFi ещё 5, микротик 2, и сам сказал что повербанк на 10 Вт встанет ровно в потолок и Pi начнёт ребутиться на пиках.
Взяли корпус на 22.5 Вт под сменные 18650
Самое смешное что железа у меня ещё нет, а весь контур уже ездит(приедет все примерно 13 числа)
Пока корзина едет ко мне, эта штука второй час на Fable 5.1 учится кататься по виртуальной карте моего дома (отдельно про это расскажу и скниу пример в коментарии)
Конвейер такой: снимаю видео на телефон, COLMAP восстанавливает позы камеры, из них строится карта, на карте катается симулятор, с него пишется датасет, на датасете учится behavioral cloning и получается автопилот(На синтетической комнате 5 на 4 метра зарегистрировалось 147 из 150 кадров с ошибкой 11 мм, автопилот проехал 36 метров за минуту без единого столкновения, инференс 6 мс, круг по сети 40 мс
С конусами уже честнее.
В среде едет 11.9 метра, а вживую за минуту 10 ударов.
Объезд препятствий выучен частично потому что сам эксперт на некоторых раскладках врезается.
Тут ещё копать саму модель и подход и архитектуру
Дальше реальная карта, RL на GPU, гауссовы сплаты вместо колмапа и Qwen-VL как медленный слой который ставит цели (пока возьму его по сети на 4090 24гб в диком квате для скорости)
Всё в открытом репо, там же грабли
https://github.com/vakovalskii/rc-pr-1
Что мне нравится во всём этом.
Я в целом знаю куда хочу направить и Клод неплохо справляется со сборкой желаемого.
Софт пишем вместе с клодом а железо собираем руками, учусь на своих ошибках ипробах, а не на чужих туториалах но их я знатно много посмотрел =)
