Catspirits: teleoperáció és játék

Tavaly teszteltem és írtam róla, hogy milyen érdekes lehetőség van abban, hogy a nagy nyelvi modellek (pl. ChatGPT) írányítanak egy robot testet. Nem régen jelentettem meg egy cikket arról a RoboHorizon-on is, hogy a nyelvi modellek, mint a ChatGPT (ez esetben az OpenAI Astra 6) ebben még jobb is lehet, mint az eredetileg robot irányításra tervezett cél modellek. (Megjegyzem szerintem csak egy csatát nyert az LLM, hosszú távon a világmodellek esélyesebbek.)

Catspirits: Kicsit tovább vittem a projektet, de most a másik irányba: hogyan lehet egy egyszerű kamerával irányítani akár egy robotot testet? Egyelőre persze ne matyóhímzésre gondoljunk, de játéknak jó! 🙂

catspirits

Játék: https://catspirits.com/
Kód: https://github.com/matebenyovszky/catspirits

Ha kicsit dolgozunk még rajta (kardkövetés folyamatban) talán nem kell konzolt venni az aktív nappali játékhoz? 🙂