π0.5 独立控制:
跑通一局,未完成任务。
达到 700 步上限 · 原生判定失败在本地 CPU 上运行 RoboDojo 微调的 π0.5,使用 GPU 渲染仿真场景。模型独立完成了 14 次动作预测与 700 步控制,获得 40/100 部分得分,但没有满足全部成功条件。
01 / 回放与终态证据
原始三相机回放 · 701 帧 · 25 FPS · 约 28.04 秒。回放不包含模型思考、启动和传输等待;它不是 11 分 48 秒实际运行过程的等速录屏。
初始场景 · 第 0 步
相同任务和 seed,与先前 GPT-only 实验分开记录。
终止场景 · 第 700 步
终态主相机画面中,右侧桌面仍可见一个瓶子。任务没有全部完成,最终结果以环境判定为准。
02 / 成功条件与结果解释
完整成功要求:4 个瓶子全部满足入桶条件,并且双臂返回初始位置。本局的原生记录为 success=false、truncated=true、complete=true:运行正常结束,但由于达到控制步数上限,任务判定失败。
| 原生字段 | 记录值 |
|---|---|
| native_success | false |
| native_score | 0.4 → 40/100 |
| native_control_steps | 700 |
| native_step_limit | 700 |
| status | native_completed |
| valid_for_success_rate | true |
40 分意味着什么?
任务源码按 1、2、3、4 个瓶子的组合条件设定 10、25、40、100 分,同时要求夹爪张开。40 分对应“三瓶条件”的部分得分档位。
该分数使用 transition 评分模式,是环境记录的阶段性得分,不能直接解释为“最终状态所有条件均满足”,也不能解释为 40% 成功率。
03 / 推理耗时
横轴:第 1–14 次正式推理;柱顶数值:秒。原始索引为 0–13。
| 阶段 | 实测值与边界 |
|---|---|
| Python 与依赖导入 | 发生在模型加载之前,未纳入下列加载计时 |
| 模型权重加载 | 约 67.64 秒 |
| 预热推理,包含首次编译 | 98.23 秒;不执行机器人动作 |
| 首次正式推理 | 42.57 秒 |
| 后续 13 次平均 | 21.37 秒 |
| 14 次推理累计 | 320.43 秒(约 5 分 20 秒) |
| 14 次推理平均 / 中位数 | 22.89 / 20.63 秒 |
| 正式实验墙钟耗时 | 707.75 秒(从环境重置完成后开始计时) |
| 仿真动作时长 | 700 × 0.04 = 28.00 秒 |
policy.infer() 及动作数组转为 NumPy 的过程,不包含随后仿真执行、文件保存与等待。正式实验墙钟时间还包含动作执行、录制和传输等开销。每段动作对应 2 秒仿真时间,而平均推理需 22.89 秒,因此当前配置不属于实时闭环控制。展开全部 14 次推理记录
| 次数 | 控制步区间 | 推理秒数 | 设备 |
|---|---|---|---|
| 1 | 0 → 50 | 42.575 | CPU |
| 2 | 50 → 100 | 20.596 | CPU |
| 3 | 100 → 150 | 20.661 | CPU |
| 4 | 150 → 200 | 19.677 | CPU |
| 5 | 200 → 250 | 22.893 | CPU |
| 6 | 250 → 300 | 19.909 | CPU |
| 7 | 300 → 350 | 22.611 | CPU |
| 8 | 350 → 400 | 19.439 | CPU |
| 9 | 400 → 450 | 23.750 | CPU |
| 10 | 450 → 500 | 20.136 | CPU |
| 11 | 500 → 550 | 23.684 | CPU |
| 12 | 550 → 600 | 19.465 | CPU |
| 13 | 600 → 650 | 24.598 | CPU |
| 14 | 650 → 700 | 20.441 | CPU |
04 / 配置与复现方式
| 任务 / seed | put_bottles_into_dustbin / 0 |
| 机器人 | 双臂 ARX X5 |
| 策略 | π0.5 · RoboDojo 微调权重 |
| 模型后端 | OpenPI / JAX 0.5.3 · CPU |
| CPU / 系统内存 | Xeon E5-2696 v4 · 约 32 GiB |
| 仿真 GPU | RTX 3060 Ti · 8 GiB |
| 运行方式 | WSL Ubuntu 推理 + Windows Isaac Sim 5.1 / D3D12 |
| 相机 | 主相机 + 左右腕相机,各 640 × 480 |
| 动作 / 控制周期 | 50 × 14 关节动作段 / 0.04 秒 |
| 整卡显存采样峰值 | 5,718 MiB(包含桌面等其他进程) |
| GPT 调用 | 0 次 |
权重身份
RoboDojo-sim-arx_x5-joint-0/59999
Hugging Face 固定版本:91f76c28d93dd20c5fa46ce6a5a1d96a4f384acd
训练配置:pi05_base_aloha_full_sim_arx-x5_seed_0;归一化参数:arx_x5_sim。17 个参数及归一化资源文件在下载时通过校验,总计约 11.59 GiB。
闭环流程
读取三路 RGB 图像、机器人关节状态和原始任务指令 → π0.5 生成 50×14 动作段 → 按顺序执行 → 获取下一组观测。每个动作段分成不超过 15 步的 RPC 包传输,包间不重新推理,不改变 50 步动作预测长度。
保留模型的原始输入输出变换,夹爪开合指令按上游客户端约定限制在 [0,1]。预热使用历史观测,不控制机器人;正式开局前将策略随机数状态重置为 JAX seed 0。
本地适配包括 WSL 与 Windows 间的文件传输,以及将仅用于类型注解的训练数据加载器导入延迟到类型检查阶段。未量化权重,也未使用 GPT 挑选、纠正或替代动作。
05 / 验证范围与限制
这是一局 seed 0 的本地实验,使用原生任务预算与终止条件。正式运行前曾处理依赖缺失和输出目录创建问题;这些发生在仿真重置前,不属于正式任务的失败重试。报告只统计最终这局完整的 700 步运行,保留此前的基础设施失败日志。
此前同任务、同 seed 的 GPT-only 运行成功,本局 π0.5-only 未成功;但两者控制方式、动作段长度和运行设备不同。单个案例不足以给模型排名,CPU 实测耗时也不能用于推算尚未测试的 GPU 推理速度。
如果要进一步定位失败原因,应结合逐步动作与回放检查剩余瓶子的抓取和搬运过程,再通过多个 seed 的独立运行评估稳定性。本报告不把未经验证的视觉猜测归结为模型能力或数值精度问题。
06 / 原始记录与下载
图片、样式和图表内嵌,无外部 CDN。视频与数据采用相对路径,分享时请保留整个报告文件夹或使用 ZIP 包。