感知-决策-运动-具身学习全栈,科研与赛事方向
这门课不是「用一次人形机器人做演示」,而是把全尺寸人形平台当作研究对象,走完一次完整的具身智能工程流程。四个层次——运动控制、多模态感知、大模型决策、灵巧操作——会在课程中逐层展开并最终汇合。
运动控制层,我们讲全身控制(WBC)为什么必需:手在动的时候重心在变,走路时手臂摆动又影响姿态,如果分成独立模块控制必然互相打架。课程会让你在仿真中观察「模块化控制」与「全身控制」在同一任务上的差异。
感知与决策层,接入多目视觉与视觉语言模型:让机器人理解「把桌上的红色杯子递给我」这类指令,并把语言解析为「定位目标—走向目标—完成操作」的步骤。这里强调的是系统集成与鲁棒性,而不是模型训练。
操作层聚焦灵巧手与抓取:不同形状物体的稳定抓取、手内调整与旋拧动作。这部分对精度与力控要求最高,也是最容易暴露系统短板的地方。课程要求统计成功率并做失败归因,最终形成一份可延续的研究计划。
接近成年人身高与自由度分布的整机,动作空间贴近真实作业场景。
感知—决策—运动—操作四层协同,理解系统集成的真正难点。
VLM 理解开放式指令,完成任务分解与执行。
对比模块化控制与全身控制的差异,理解 WBC 的必要性。
抓取、手内调整与旋拧,统计成功率并分析滑落原因。
项目文档、实验数据与可延续的研究方向,适合课题申报与论文起步。
按章节递进,每章都有明确的知识点与实操产出;可随时回看、按自己的节奏学习。
| 章节 | 内容要点 | 课时 | 实操产出 |
|---|---|---|---|
| 第 1 章 · 平台与安全 | 整机结构、自由度分布与算力架构;ROS2 接口与仿真环境;急停与安全运行规程 | 6 课时 | 掌握平台开发与安全操作 |
| 第 2 章 · 多模态感知 | 多目视觉与深度信息;目标检测与三维定位;传感器时间同步 | 8 课时 | 实现稳定的目标定位与跟踪 |
| 第 3 章 · 决策与任务规划 | VLM 接入与语义理解;任务分解与动作序列生成;异常与澄清式交互 | 10 课时 | 实现语言指令驱动的任务规划 |
| 第 4 章 · 全身运动控制 | 平衡与步态;全身控制框架;复杂地形行走与姿态调整 | 10 课时 | 完成复杂地形的稳定行走 |
| 第 5 章 · 灵巧操作 | 抓取策略与力控;手内操作;旋拧类精细任务 | 10 课时 | 完成精细操作任务 |
| 第 6 章 · 系统集成与课题设计 | 多模块串联与兜底;成功率统计与失败归因;研究计划撰写 | 4 课时 | 提交完整项目材料与研究计划 |
每个项目都有明确目标、可执行步骤与交付产出,学完即可写进简历或课题报告。
任务目标:用一句话让机器人完成「把桌上的红色杯子递给我」这类任务。
交付产出:产出:可交互的语言驱动机器人演示 + 失败归因分析
任务目标:让机器人在斜坡与台阶环境中稳定行走。
交付产出:产出:复杂地形控制参数包 + 对比实验结论
任务目标:用灵巧手完成「拿起瓶盖并旋开」这类精细任务。
交付产出:产出:灵巧操作演示 + 抓取/操作成功率数据
把「为什么这样教」讲清楚——这些设计决定来自多年的教学与工程实践反馈。
人形机器人手在动时重心在变,走路时手臂摆动又影响姿态。若把「行走」与「抓取」分成两个独立模块,两者会互相干扰。全身控制把整个人体作为一个整体求解,这是人形机器人比四足更实用、也比轮式更复杂的关键原因。
绝大多数课题并不需要训练基础模型,而需要把模型正确接进系统:知道它的能力边界、出错时如何兜底、如何与传统感知配合。课程把重点放在集成与鲁棒性上,见效更快。
演示只需要成功一次,可用需要每次都成。中间的差距就是鲁棒性工程:光照、物体位置、地面摩擦、传感器噪声。课程强制统计成功率并归因,是为了让学员看清自己系统真正的短板在哪里。
高阶项目的价值不只在于「跑通」,而在于「能不能继续做下去」。课程要求写出可延续的研究计划(问题、方法、评估指标、下一步),这对课题申报与论文起步都至关重要。
| 版本 / 方案 | 适合对象 | 包含内容 | 价格 |
|---|---|---|---|
| 纯课程版 | 已有全尺寸人形平台 | 48 课时录播 + 代码与实验包 + 项目陪跑 | ¥2,999 |
| 课程 + 平台版 | 需要完整平台 | 纯课程版全部内容 + Transformer 全尺寸人形机器人 SMG-014 | 按配置报价 |
| 课题陪跑版 | 科研团队 / 实验室 | 课程内容 + 课题设计、基线搭建与结果整理陪跑 | 请联系顾问 |
* 在线课程付款后自动开通学习权限,课程永久有效。7 天无理由退款:购买 7 天内且观看进度低于 20% 可全额退款。支持对公结算与发票。
主讲全栈具身智能、VLM 集成与灵巧操作;有具身数据与策略部署经验。
主讲全部 48 课时,负责研究计划指导。
主讲多模态感知与定位部分。
参与第 2 章教学。
负责实机调试规范与安全操作。
参与第 1、4 章实验指导。
以下为公开资料对标的同类产品参数与参考价,用于选型参照。
| 对标产品 / 型号 | 厂商 / 生态 | 关键参数 | 参考价 |
|---|---|---|---|
| 宇树 G1 生态 | 宇树科技 | 全尺寸人形 · VLM 集成 · 灵巧操作 | 约 ¥8.5 万起 |
| 全身控制(WBC) | 机器人学 | 感知—决策—运动—操作全栈 | 理论方法 |
课程对标全尺寸人形(宇树 G1)的技术栈,聚焦系统集成、鲁棒性与性能评估。