LOCAL POLICY VALIDATION · 2026.09.19

π0.5 独立控制:
跑通一局,未完成任务。

达到 700 步上限 · 原生判定失败

在本地 CPU 上运行 RoboDojo 微调的 π0.5,使用 GPU 渲染仿真场景。模型独立完成了 14 次动作预测与 700 步控制,获得 40/100 部分得分,但没有满足全部成功条件。

π0.5-only · 无 GPT 决策或纠正 · seed 0 · 本地单案例验证
任务结果
未成功
达到步数上限 · 非环境崩溃
原生部分得分
40 / 100
不等于 40% 成功率
控制步数
700 / 700
14 次推理 · 每段 50 步
实验墙钟时间
11m 48s
不含导入、模型加载与预热

01 / 回放与终态证据

原始三相机回放 · 701 帧 · 25 FPS · 约 28.04 秒。回放不包含模型思考、启动和传输等待;它不是 11 分 48 秒实际运行过程的等速录屏。

初始场景 · 第 0 步

初始瓶子入桶场景

相同任务和 seed,与先前 GPT-only 实验分开记录。

终止场景 · 第 700 步

最后一帧,右侧桌面仍可见瓶子

终态主相机画面中,右侧桌面仍可见一个瓶子。任务没有全部完成,最终结果以环境判定为准。

02 / 成功条件与结果解释

完整成功要求:4 个瓶子全部满足入桶条件,并且双臂返回初始位置。本局的原生记录为 success=false、truncated=true、complete=true:运行正常结束,但由于达到控制步数上限,任务判定失败。

原生字段记录值
native_successfalse
native_score0.4 → 40/100
native_control_steps700
native_step_limit700
statusnative_completed
valid_for_success_ratetrue

40 分意味着什么?

任务源码按 1、2、3、4 个瓶子的组合条件设定 10、25、40、100 分,同时要求夹爪张开。40 分对应“三瓶条件”的部分得分档位。

该分数使用 transition 评分模式,是环境记录的阶段性得分,不能直接解释为“最终状态所有条件均满足”,也不能解释为 40% 成功率。

本局验证了模型加载、CPU 推理、动作传输与仿真闭环可运行;它没有验证任务成功。不能根据一局结果推断 π0.5 的整体成功率或 CPU 精度是否导致失败。

03 / 推理耗时

平均每次推理
22.89 s
50 步动作段
后续 13 次平均
21.37 s
排除首次正式推理
累计正式推理
320.43 s
不含预热
GPU 模型推理对照
未测量
不能得出 CPU/GPU 倍数

横轴:第 1–14 次正式推理;柱顶数值:秒。原始索引为 0–13。

阶段实测值与边界
Python 与依赖导入发生在模型加载之前,未纳入下列加载计时
模型权重加载约 67.64 秒
预热推理,包含首次编译98.23 秒;不执行机器人动作
首次正式推理42.57 秒
后续 13 次平均21.37 秒
14 次推理累计320.43 秒(约 5 分 20 秒)
14 次推理平均 / 中位数22.89 / 20.63 秒
正式实验墙钟耗时707.75 秒(从环境重置完成后开始计时)
仿真动作时长700 × 0.04 = 28.00 秒
每次推理计时覆盖 policy.infer() 及动作数组转为 NumPy 的过程,不包含随后仿真执行、文件保存与等待。正式实验墙钟时间还包含动作执行、录制和传输等开销。每段动作对应 2 秒仿真时间,而平均推理需 22.89 秒,因此当前配置不属于实时闭环控制。
展开全部 14 次推理记录
次数控制步区间推理秒数设备
10 → 5042.575CPU
250 → 10020.596CPU
3100 → 15020.661CPU
4150 → 20019.677CPU
5200 → 25022.893CPU
6250 → 30019.909CPU
7300 → 35022.611CPU
8350 → 40019.439CPU
9400 → 45023.750CPU
10450 → 50020.136CPU
11500 → 55023.684CPU
12550 → 60019.465CPU
13600 → 65024.598CPU
14650 → 70020.441CPU

04 / 配置与复现方式

任务 / seedput_bottles_into_dustbin / 0
机器人双臂 ARX X5
策略π0.5 · RoboDojo 微调权重
模型后端OpenPI / JAX 0.5.3 · CPU
CPU / 系统内存Xeon E5-2696 v4 · 约 32 GiB
仿真 GPURTX 3060 Ti · 8 GiB
运行方式WSL Ubuntu 推理 + Windows Isaac Sim 5.1 / D3D12
相机主相机 + 左右腕相机,各 640 × 480
动作 / 控制周期50 × 14 关节动作段 / 0.04 秒
整卡显存采样峰值5,718 MiB(包含桌面等其他进程)
GPT 调用0 次

权重身份

RoboDojo-sim-arx_x5-joint-0/59999
Hugging Face 固定版本:91f76c28d93dd20c5fa46ce6a5a1d96a4f384acd
训练配置:pi05_base_aloha_full_sim_arx-x5_seed_0;归一化参数:arx_x5_sim。17 个参数及归一化资源文件在下载时通过校验,总计约 11.59 GiB。

闭环流程

读取三路 RGB 图像、机器人关节状态和原始任务指令 → π0.5 生成 50×14 动作段 → 按顺序执行 → 获取下一组观测。每个动作段分成不超过 15 步的 RPC 包传输,包间不重新推理,不改变 50 步动作预测长度。

保留模型的原始输入输出变换,夹爪开合指令按上游客户端约定限制在 [0,1]。预热使用历史观测,不控制机器人;正式开局前将策略随机数状态重置为 JAX seed 0。

本地适配包括 WSL 与 Windows 间的文件传输,以及将仅用于类型注解的训练数据加载器导入延迟到类型检查阶段。未量化权重,也未使用 GPT 挑选、纠正或替代动作。

本实验没有 Codex / GPT API 调用,因此没有对应 API token 消耗。π0.5 内部仍会对指令和状态进行编码,但本次没有统计其内部 token 数,不能把它表述为“模型不使用 token”。

05 / 验证范围与限制

这是一局 seed 0 的本地实验,使用原生任务预算与终止条件。正式运行前曾处理依赖缺失和输出目录创建问题;这些发生在仿真重置前,不属于正式任务的失败重试。报告只统计最终这局完整的 700 步运行,保留此前的基础设施失败日志。

此前同任务、同 seed 的 GPT-only 运行成功,本局 π0.5-only 未成功;但两者控制方式、动作段长度和运行设备不同。单个案例不足以给模型排名,CPU 实测耗时也不能用于推算尚未测试的 GPU 推理速度。

如果要进一步定位失败原因,应结合逐步动作与回放检查剩余瓶子的抓取和搬运过程,再通过多个 seed 的独立运行评估稳定性。本报告不把未经验证的视觉猜测归结为模型能力或数值精度问题。

06 / 原始记录与下载

图片、样式和图表内嵌,无外部 CDN。视频与数据采用相对路径,分享时请保留整个报告文件夹或使用 ZIP 包。