专为机器人与AI研究者打造的实用指南，帮您快速上手大型数据集…

# Open X-Embodiment + RT-1 数据验证环境搭建指南

一、环境搭建（PyTorch）

1. 建议使用 Conda 隔离环境

```bash

conda create -n oxe python=3.10 -y

conda activate oxe

```

2. 安装 PyTorch（按你的 CUDA 版本选择）

```bash

# CUDA 11.8 示例

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

```

3. 安装依赖

```bash

pip install tensorboard numpy pillow tqdm einops

```

二、获取数据（关键点）

• Open X-Embodiment 官方数据托管在 Google Cloud（来自 rt-x 项目，oxe 官网有链接），格式为 RLDS（TFRecord）。
• 建议直接下载 RT-1 数据集（来自机器人演示）的子集切片，50 条演示通常对应几个 tfrecord 分片，不必下载全量。
• 读取 RLDS 需要 TensorFlow：

```bash

pip install tensorflow tfds-nightly

```

> 说明：读取数据用 TF，训练用 PyTorch，两者可共存；也可用社区转换脚本把 RLDS 转 HDF5/npz 后脱离 TF。

三、验证流程（50 条演示跑通）

1. 数据加载：用 tfds.builder_from_directory() 加载，迭代 episode，确认每条含 steps（图像、状态、动作）字段。

2. 抽取 50 条：dataset.take(50) 后转换为 PyTorch Dataset/DataLoader。

3. 最小模型：搭一个简化版 RT-1（ResNet 编码图像 + FiLM 融合语言指令 + Transformer 策略头输出离散动作 token）。

4. 过拟合测试（最重要的验证手段）：只用这 50 条数据训练若干 epoch，观察训练 loss 持续下降、动作预测误差收敛，即说明管线正确。

四、常见坑

• RLDS 图像为编码字符串，需 decode 并 resize 到模型输入尺寸（RT-1 原文为 320×512，可自行降低以省显存）。
• 动作需按 RT-1 方式做分桶离散化，否则 token 分类头无法对齐。
• 显存不足时：减小 batch size、降分辨率、冻结视觉编码器。

建议：可参考开源实现 rt-x/rlds 数据转换脚本与 octo 基准仓库，避免从零解析 RLDS。