优云智算
控制台
立即注册

lightNav-0

LightNav-0 面向指令跟随、目标搜索和动态跟随,研究的是视觉语言模型如何把看到的场景转成机器人能够执行的运动。

镜像大小
64 GB
当前版本
v1.0
累计部署
1 次
累计运行
0 h
最近更新
2026-10-30

运行环境

框架版本
PyTorch-2.13.0
CUDA版本
13.2
应用
JupyterLab: 8888
自定义开放端口
18088
支持卡型
RTX40系48G RTX40系
+4

镜像介绍

本镜像用于运行 LightNav-0 导航模型与 MicroDuck 小鸭子 MuJoCo 仿真,支持自然语言导航和手动控制。

小鸭子是一台双足机器人,在 MuJoCo 场景中模拟行走。你可以输入文字让它自主导航,也可以用键盘手动控制,无需连接实体机器人。

1. 启动服务

实例启动后会自动加载模型和仿真,首次加载需要几分钟。也可以在终端手动执行:

bash /start.d/40-lightnav.sh

2. 通过 18088 打开小鸭子仿真

在云平台开放 18088 端口,点击平台生成的访问链接,登录后即可看到小鸭子的仿真画面和控制面板。小鸭子与导航控制台在同一个页面,不需要另外打开端口。

登录账号密码可在实例终端查看:

cat /workspace/lightnav-deploy/private/web-credentials.json

如果页面显示 ws://127.0.0.1:8050,这是小鸭子仿真连接后台模型的内部地址,保持默认值即可。浏览器仍通过 18088 访问。

3. 使用小鸭子仿真

自动导航

  1. 点击 RESET,恢复初始位置。
  2. 输入导航指令,例如 go to the lamp on the table(走到桌上的灯旁边)。
  3. 点击 Start VLN,模型根据小鸭子的相机画面规划路线,驱动它行走。
  4. 点击 STOP,随时停止。

运行时可以观察预测延迟、轨迹路点和小鸭子的实际移动。

手动控制和视角

点击 Take control 取得控制权,然后使用键盘:

  • W / S:前进 / 后退。
  • A / D:左转 / 右转。
  • 空格或 STOP:停止移动。
  • RESET:取消导航并恢复初始位置。

点击 First person 查看小鸭子相机中的画面,点击 Third person 从外部观察小鸭子行走。

4. 查看运行状态

/usr/local/miniconda3/envs/lightnav/bin/python \
  /workspace/lightnav-deploy/scripts/manage.py status

模型与仿真均显示 ready=True 表示就绪。日志位于:

/workspace/lightnav-deploy/logs/

当前为单场景导航演示,模型可能误认目标,请结合实际画面判断执行结果。

0 个镜像 · 被使用 1 次
版本日志
v1.0最新
2026-10-30
LightNav-0 面向指令跟随、目标搜索和动态跟随,研究的是视觉语言模型如何把看到的场景转成机器人能够执行的运动。
评分
0.0
暂无评分
我的评分
未评分
lightNav-0一键部署 | 优云智算