LightNav-0 面向指令跟随、目标搜索和动态跟随,研究的是视觉语言模型如何把看到的场景转成机器人能够执行的运动。
本镜像用于运行 LightNav-0 导航模型与 MicroDuck 小鸭子 MuJoCo 仿真,支持自然语言导航和手动控制。
小鸭子是一台双足机器人,在 MuJoCo 场景中模拟行走。你可以输入文字让它自主导航,也可以用键盘手动控制,无需连接实体机器人。
实例启动后会自动加载模型和仿真,首次加载需要几分钟。也可以在终端手动执行:
bash /start.d/40-lightnav.sh
在云平台开放 18088 端口,点击平台生成的访问链接,登录后即可看到小鸭子的仿真画面和控制面板。小鸭子与导航控制台在同一个页面,不需要另外打开端口。
登录账号密码可在实例终端查看:
cat /workspace/lightnav-deploy/private/web-credentials.json
如果页面显示 ws://127.0.0.1:8050,这是小鸭子仿真连接后台模型的内部地址,保持默认值即可。浏览器仍通过 18088 访问。
go to the lamp on the table(走到桌上的灯旁边)。运行时可以观察预测延迟、轨迹路点和小鸭子的实际移动。
点击 Take control 取得控制权,然后使用键盘:
点击 First person 查看小鸭子相机中的画面,点击 Third person 从外部观察小鸭子行走。
/usr/local/miniconda3/envs/lightnav/bin/python \
/workspace/lightnav-deploy/scripts/manage.py status
模型与仿真均显示 ready=True 表示就绪。日志位于:
/workspace/lightnav-deploy/logs/
当前为单场景导航演示,模型可能误认目标,请结合实际画面判断执行结果。