BEIJING SHUIMU SILICON VALLEY TECHNOLOGY CO., LTD. · EMBODIED AI EDUCATION MON–SUN 09:00–21:00 · 13269915901
水木硅谷SHUIMU SILICON VALLEY
首页 / 在线课堂 / 大模型 × 具身智能应用开发
大模型 × 具身智能应用开发
高级36 课时大模型 + 具身
SMG-009 GenkiArm·桌面机械臂GenkiArm 桌面机械臂
SMG-012 OpenArm·双臂遥操作机器人双臂遥操作 + 力反馈
SMG-014 Transformer·全尺寸人形机器人Transformer 全尺寸人形机器人
OC-005 · 在线课程 · 高级

大模型 × 具身智能应用开发

VLM 视觉语言模型驱动机械臂与移动机器人

▸ 大模型▸ VLM▸ 具身智能
¥699¥999付款后自动开通学习权限，课程永久有效；支持对公结算
  • 适合人群有 Python 与机器人基础的进阶学习者
  • 配套套件GenkiArm SMG-009 / OpenArm SMG-012（选配）
  • 核心内容提示工程 / VLM 定位 / 操作大模型 / 具身数据闭环
  • 学完产出语言驱动的机器人任务系统 + 失败归因报告
  • 学习周期建议 6–8 周
  • 前置要求Python 熟练 + 了解 ROS2 或完成 oc-007 / oc-008
Overview

课程介绍

这门课要解决一个很实际的问题：怎么让机器人听懂人话。不是语音转文字那种「听懂」，而是理解「把左边那个红色的盒子拿给我」这样带空间关系与指代的指令，并真的完成动作。

答案是把视觉语言模型（VLM）接进机器人系统：VLM 负责理解语义与定位目标，传统感知与控制负责精确执行。课程不会让你训练大模型，而是教你「怎么正确地调用它、评估它、并在它出错时兜底」——这是当前工程落地最需要的技能。

课程沿着「感知—决策—执行」的链路展开：先用 VLM 做开放词汇的物体定位（不需要提前定义类别），再把语言指令解析成任务步骤，最后串联机械臂或移动机器人完成操作。每一步都有可运行的代码与量化评估。

课程最后要求你完成一份「失败归因报告」：把任务失败拆解到语言理解、目标定位、运动规划等环节，统计各环节的失败占比。这份报告体现的是真正的工程判断力——能说清「为什么失败」，才有资格谈「怎么改进」。

大模型VLM具身智能
Highlights

课程亮点

🧠

VLM 实战应用

用视觉语言模型做开放词汇定位，不用提前定义物体类别。

🗣️

语言到动作

把自然语言指令解析为「目标—动作—约束」，生成可执行任务序列。

🦾

真机闭环

串联机械臂/移动机器人，完成「听懂—看见—做到」的完整链路。

📊

可量化评估

统计任务成功率并做失败归因，用数据而不是感觉判断系统水平。

🧯

鲁棒性设计

目标歧义如何处理、定位失败如何重试、不确定时如何反问。

🔬

数据与复现

含具身数据采集与训练闭环入门，输出可复现的实验记录。

Curriculum

课程大纲

按章节递进，每章都有明确的知识点与实操产出；可随时回看、按自己的节奏学习。

章节内容要点课时实操产出
第 1 章 · 具身智能与大模型全景具身智能技术栈；大模型在机器人中的三类角色（理解/规划/生成）；能力边界与常见误区3 课时能画出完整的技术链路图
第 2 章 · 提示工程与结构化输出Prompt 设计要点；函数调用；把非结构化指令转为结构化任务描述5 课时实现指令 → 任务序列的解析
第 3 章 · VLM 视觉语言模型图文理解与开放词汇定位；VLM 与传统检测的差异与互补；定位结果的可信度评估7 课时用 VLM 完成开放词汇目标定位
第 4 章 · 机器人操作大模型任务分解与动作规划；视觉伺服与抓取位姿；遥操作与模仿学习简介8 课时实现一个语言驱动的抓取任务
第 5 章 · 具身数据工程数据采集与标注；训练闭环与策略部署；数据质量对结果的影响7 课时跑通一次数据采集到策略部署
第 6 章 · 系统集成与失败归因多模块串联与异常兜底；成功率统计方法；失败归因报告撰写6 课时完成综合项目与归因报告
Hands-on

实战项目

每个项目都有明确目标、可执行步骤与交付产出，学完即可写进简历或课题报告。

PROJECT 01

项目一 · 语言指令解析器

任务目标：把自然语言指令稳定转换成结构化任务描述。

  1. 收集 50 条真实指令（含空间关系、指代、多步任务）
  2. 设计 Prompt 模板并定义输出 JSON 结构（目标 / 动作 / 约束）
  3. 用函数调用保证输出格式可控，处理模型输出异常
  4. 测试边界情况：指令模糊、指代不明、目标不存在时如何响应
  5. 统计解析准确率，记录典型错误类型

交付产出：产出：指令解析模块 + 准确率与错误类型统计

PROJECT 02

项目二 · VLM 驱动的开放词汇抓取

任务目标：让系统理解「把左边那个红色的盒子拿给我」并完成抓取。

  1. 用 VLM 对场景做描述与目标定位，输出候选目标区域
  2. 处理空间关系（左右、前后、上下）与视觉歧义
  3. 把目标区域转换为抓取位姿，完成手眼标定
  4. 串联「定位 → 规划 → 抓取 → 递送」动作链
  5. 统计 30 次任务成功率，分析失败集中在哪个环节

交付产出：产出：语言驱动机器人系统 + 成功率统计

PROJECT 03

项目三 · 失败归因报告

任务目标：把失败样本拆解到具体环节并量化各环节的贡献。

  1. 对失败样本分类：语言理解错误 / 定位错误 / 抓取失败 / 运动超时
  2. 为每一类设计可区分的诊断实验（例如只换指令、只换物体位置）
  3. 统计各环节失败占比，找出最大的瓶颈
  4. 针对最大瓶颈提出改进方案并验证效果
  5. 写出结论：系统当前的适用边界在哪里

交付产出：产出：一份失败归因报告（论文或答辩级材料）

Teaching Approach

教学设计说明

把「为什么这样教」讲清楚——这些设计决定来自多年的教学与工程实践反馈。

为什么不教训练大模型

训练基础模型是算力与数据的重资产工作，绝大多数工程岗位并不需要。真正稀缺的是「会正确使用与集成模型」的人：知道模型能做什么、边界在哪、出错时怎么兜底。这正是本课的训练重点。

为什么必须量化成功率

「能跑通」和「能稳定运行」之间隔着数量级的工作量。课程要求统计成功率并做归因，是为了让学生尽早建立工程判断：一个 60% 成功率的演示，离可用还有多远，差距在哪一环。

为什么把 VLM 与传统感知结合讲

纯 VLM 方案在精度与速度上常常不够，纯传统方案又缺乏语义理解能力。工程上的主流做法是「VLM 定位粗目标 + 传统视觉精定位」的串联。课程用对比实验让学员自己看到这种组合的优势。

为什么要有具身数据工程章节

在大模型之外，模仿学习仍是让机器人学会精细操作的主力方法，而它的瓶颈是数据。让学员跑通一次「采集—训练—部署」，有助于他们理解整个具身智能领域当前的痛点在哪里。

Who Is It For

适合人群

✓ 适合这些人

  • 有 Python 与机器人基础，想进入具身智能方向的工程师与学生
  • 已掌握 ROS2 或机械臂控制，希望补齐大模型能力的开发者
  • 科研人员需要把 VLM 接入现有机器人平台
  • 准备从事机器人算法或具身智能岗位的求职者

— 可能不适合

  • 没有 Python 基础（建议先学 oc-001 / oc-002）
  • 期望本课教会从头训练大模型（属于另一个方向）
Plans & Pricing

版本与价格

版本 / 方案适合对象包含内容价格
纯课程版已有机器人平台36 课时录播 + 代码仓库 + 直播答疑 + 项目点评¥699
课程 + GenkiArm 版需要机械臂平台纯课程版全部内容 + GenkiArm 桌面机械臂 SMG-009¥4,899（立省 ¥99）
课程 + 双臂数据版面向具身数据研究纯课程版全部内容 + OpenArm 双臂遥操作 SMG-012¥10,599（立省 ¥99）

* 在线课程付款后自动开通学习权限，课程永久有效。7 天无理由退款：购买 7 天内且观看进度低于 20% 可全额退款。支持对公结算与发票。

Instructors

授课讲师

苏晚晴
具身智能方向讲师

主讲大模型与具身智能、机械臂操作；有具身数据采集与策略部署项目经验。

主讲全部 36 课时，负责项目陪跑与归因报告点评。

赵工
工程实践讲师

协助系统集成与实机调试部分的实验设计。

参与第 6 章实验指导。

Equipment

配套套件

Service

学习方式与服务保障

  • 永久回看：视频与资料永久有效，含后续模型与工具链更新说明
  • 代码仓库：指令解析、VLM 调用、抓取管线与评估脚本完整开放
  • 项目陪跑：归因报告可提交讲师，获得逐条反馈与改进建议
  • 直播答疑：每周一次，覆盖模型调用、集成与调试问题
  • 社群陪跑：学员社群 + 具身智能方向工程师答疑
  • 7 天无理由退款：购买 7 天内且观看进度低于 20% 可全额退款
FAQ

常见问题

需要自己训练大模型吗？
不需要。课程使用现成的视觉语言模型与 API，重点是调用、评估与集成；训练大模型属于另一个方向。
调用大模型要花钱吗？
常用服务商对新用户有免费额度，进阶实验可能需要少量费用（通常几十元量级）；课程会给出成本控制建议与本地轻量模型替代方案。
没有机械臂能学吗？
前 4 章的解析与 VLM 定位实验可在电脑上完成；涉及抓取闭环的章节建议配合机械臂，效果最好。
需要什么前置基础？
建议具备熟练的 Python 能力，并了解 ROS2 或完成过 oc-007 / oc-008 中的一门。
课程会讲模仿学习吗？
会讲基础与实操思路（含数据采集与部署流程），但不深入强化学习理论。
学完能投什么岗位？
机器人算法工程师、具身智能算法工程师、机器人应用开发等方向；课程产出的项目与归因报告可直接用于面试讲解。
有项目答疑吗？
有。项目阶段可以提交代码与实验记录，讲师会给出针对性反馈。
可以开发票吗？
支持对公结算与增值税发票；个人购买可开电子普票。
Related

相关课程

GenkiArm 机械臂智能抓取实战
OC-007

GenkiArm 机械臂智能抓取实战

运动学标定、轨迹规划到行为克隆，完整桌面抓取管线

查看详情 →
OpenArm 双臂遥操作与具身数据采集
OC-010

OpenArm 双臂遥操作与具身数据采集

主从映射、力反馈与模仿学习，构建具身数据管线

查看详情 →
全尺寸人形机器人全栈实训
OC-012

全尺寸人形机器人全栈实训

感知-决策-运动-具身学习全栈，科研与赛事方向

查看详情 →
Benchmark

对标参考

以下为公开资料对标的同类产品参数与参考价，用于选型参照。

对标产品 / 型号厂商 / 生态关键参数参考价
VLM（视觉语言模型）主流模型 API开放词汇定位 · 语义理解 · 函数调用按 API 计费
LeRobot / 模仿学习Hugging Face具身数据采集与策略训练开源框架开源免费

课程对标当前具身智能工程常用的 VLM 集成与 LeRobot 数据闭环，聚焦「调用—评估—兜底」的工程能力。

先试看，再决定

免费试看片段先体验讲解风格；想系统学习可看线下课程，或咨询顾问获取学习路径建议。

浏览全部在线课程→ 看线下系统班
📞 免费试听