BEIJING SHUIMU SILICON VALLEY TECHNOLOGY CO., LTD. · EMBODIED AI EDUCATION MON–SUN 09:00–21:00 · 13269915901
首页 / 在线课堂 / 机械臂视觉抓取全流程
机械臂视觉抓取全流程
高级40 课时工业级项目
SMG-003 灵臂·六轴机械臂套件桌面六轴机械臂
SMG-018 视觉引导分拣实训平台视觉引导分拣实训平台
OC-006 · 在线课程 · 高级

机械臂视觉抓取全流程

标定、检测、逆解、抓取,完整工业级项目

▸ 机械臂▸ 视觉抓取▸ ROS2
¥799¥1,099付款后自动开通学习权限,课程永久有效;支持对公结算
  • 适合人群有 Python 与机器人基础的进阶学习者
  • 配套套件灵臂六轴机械臂 SMG-003(选配)
  • 核心内容手眼标定 / 视觉检测 / 逆运动学 / 抓取闭环
  • 学完产出可分拣的工作台系统 + 成功率报告
  • 学习周期建议 7–9 周
  • 前置要求Python 熟练;了解坐标变换与矩阵基础
Overview

课程介绍

一次成功的视觉抓取,背后是四个坐标系的连续变换:像素坐标 → 相机坐标 → 机器人基座坐标 → 关节角度。这门课就把这条链路完整地走一遍,并且每一步都要求你亲手算、亲手验。

课程从「手眼标定」开始,因为它是整条链路的精度来源。相机看到的是二维像素,机械臂需要的是三维位姿,两者之间差了镜头内外参、安装位姿与坐标系原点。标定不准,后面所有环节都会带着误差运行——这也是工业现场把标定当成「工序」而非「步骤」的原因。

中间部分讲检测与逆运动学:如何从图像中稳定提取目标中心、如何把目标位姿转成关节角、如何处理逆解的多解与奇异位形。这是最「数学」的一段,但每一节都配有可视化工具,你能在屏幕上看到变换矩阵如何一步步作用于坐标。

最后是系统化的抓取闭环:设计抓取流程、加入失败重试、统计成功率并分析失败样本。课程结束时,你会得到一个能连续运行的分拣工作台,以及一份说清「成功率为什么是 87% 而不是 100%」的分析报告。

机械臂视觉抓取ROS2
Highlights

课程亮点

📐

手眼标定实操

完整走通标定流程并输出误差分布,理解精度来源与补偿方法。

👁️

视觉检测工程化

打光、阈值、形态学与轮廓提取,让检测在真实光照下稳定工作。

🧮

逆运动学落地

多解选择、奇异位形规避,把课本上的公式变成可运行代码。

🎯

抓取流程设计

接近—下降—夹取—抬升—放置的标准流程与失败重试机制。

📊

成功率量化

统计连续作业成功率并做失败归因,用数据衡量系统水平。

🐧

ROS2 / MoveIt2

标准工具链实操,仿真先行、实机验证的工业工作流。

Curriculum

课程大纲

按章节递进,每章都有明确的知识点与实操产出;可随时回看、按自己的节奏学习。

章节内容要点课时实操产出
第 1 章 · 视觉抓取系统全景系统构成;四大坐标系的转换关系;精度链路与误差来源分析4 课时能画出完整坐标变换链路图
第 2 章 · 相机模型与标定基础针孔模型与畸变;内参标定;标定板与采集流程6 课时完成相机内参标定并评估畸变
第 3 章 · 手眼标定常见标定布置(眼在手外/眼在手上);标定算法;误差评估与分区补偿8 课时完成手眼标定并输出误差报告
第 4 章 · 目标检测与位姿计算打光与成像;阈值/轮廓/颜色识别;从像素到相机坐标;深度估计方法8 课时稳定输出目标的三维位姿
第 5 章 · 逆运动学与轨迹规划正逆运动学;多解与奇异位形;关节空间与笛卡尔空间轨迹;避障规划8 课时完成平滑无障碍的搬运轨迹
第 6 章 · 抓取闭环与优化抓取流程设计;失败重试与位置补偿;成功率统计与失败归因;仿真与实机验证6 课时完成可分拣的工作台系统
Hands-on

实战项目

每个项目都有明确目标、可执行步骤与交付产出,学完即可写进简历或课题报告。

PROJECT 01

项目一 · 手眼标定与误差评估

任务目标:把视觉定位误差标定到可控范围,并量化验证。

  1. 固定相机与标定板,采集 12 组以上的对应点(覆盖画面不同区域)
  2. 求解标定矩阵,把像素坐标映射到机器人基座坐标系
  3. 在标定区随机放置 10 个测试点,让机械臂依次到位并记录偏差
  4. 分析误差分布:是否集中在画面边缘(畸变)或特定高度
  5. 尝试分区标定或畸变校正,复测并对比改进效果

交付产出:产出:标定工具脚本 + 误差分布图与改进结论

PROJECT 02

项目二 · 视觉识别与抓取闭环

任务目标:识别随机摆放的三种目标并分拣到对应料盒。

  1. 调试光源角度,让目标边缘与表面特征清晰可见
  2. 实现颜色/形状识别,输出类别与中心坐标
  3. 计算抓取位姿并执行抓取,投入对应料盒
  4. 加入失败重试:抓空后抬高换角度重试一次
  5. 统计 30 次分拣的成功率与误分类率

交付产出:产出:分拣程序 + 成功率统计(含失败样本说明)

PROJECT 03

项目三 · 成功率分析与系统优化

任务目标:把成功率从初始水平提升一个台阶,并说清提升来自哪里。

  1. 记录初始版本的成功率与失败样本分类
  2. 针对最大失败类别做单项改进(打光 / 抓取点 / 位置补偿)
  3. 每次只改一项,复测 30 次,确认该项改进的实际收益
  4. 组合有效的改进项,复测最终成功率
  5. 输出「改动—收益」对照表与结论

交付产出:产出:系统优化报告(可直接用于答辩或作品集)

Teaching Approach

教学设计说明

把「为什么这样教」讲清楚——这些设计决定来自多年的教学与工程实践反馈。

为什么标定要花 20% 的课时

在视觉抓取系统中,标定决定了精度的上限,任何后续算法的改进都无法突破它。把大量课时投入标定与误差分析,看似「慢」,实际是避免学员花更多时间在错误的精度基础上反复调参。

为什么强调「一次只改一项」

工程优化中最常见的错误是「一次改好几处,效果变好了但不知道是哪一处起作用」。课程强制「单变量改动 + 复测」,培养可解释的优化习惯——这也是科研与工业调试通用的方法。

为什么要求统计失败样本

失败样本的共性往往指向系统真正的短板(例如全部失败都发生在画面边缘,说明畸变补偿不足)。只看总成功率,永远不知道下一步该改哪里。

为什么仿真先行

在 RViz/Gazebo 里验证轨迹成本为零;在实机上撞坏一次可能损失几百到几万元并耽误工期。把「仿真 → 实机」做成固定流程,是工业界的通行做法,也是本课要养成的职业习惯。

Who Is It For

适合人群

✓ 适合这些人

  • 有 Python 基础、想进入机器视觉与机器人集成方向的工程师
  • 高校机器人 / 自动化专业需要完整项目经历的学生
  • 已在自动化行业、希望补齐视觉抓取能力的从业者
  • 准备投递机器人算法岗位的求职者

— 可能不适合

  • 完全没有编程与坐标变换基础(建议先学 oc-001 / oc-002,并补矩阵基础)
  • 只需要调用现成 SDK 完成简单抓取(本课偏原理与工程实现)
Plans & Pricing

版本与价格

版本 / 方案适合对象包含内容价格
纯课程版已有机械臂与相机40 课时录播 + 代码仓库 + 项目点评 + 直播答疑¥799
课程 + 灵臂版需要完整实验平台纯课程版全部内容 + 灵臂六轴机械臂 SMG-003¥3,899(立省 ¥99)
机构授权版院校 / 培训机构课程授权 + 实验指导书 + 教师实验包请联系顾问

* 在线课程付款后自动开通学习权限,课程永久有效。7 天无理由退款:购买 7 天内且观看进度低于 20% 可全额退款。支持对公结算与发票。

Instructors

授课讲师

苏晚晴
具身智能方向讲师

主讲机械臂视觉抓取与运动学;有工业视觉抓取项目实施经验。

主讲第 1–6 章与项目点评。

赵工
工程实践讲师

负责实机调试、安全规范与工程实现细节的讲解。

参与第 5–6 章实验指导。

Equipment

配套套件

Service

学习方式与服务保障

  • 永久回看:视频与资料永久有效,含后续更新
  • 代码仓库:标定、检测、运动学与抓取管线的完整代码
  • 项目点评:成功率分析报告可提交讲师获取逐条反馈
  • 直播答疑:每周一次,覆盖标定与抓取调试的典型问题
  • 社群陪跑:学员社群 + 工程师在线答疑
  • 7 天无理由退款:购买 7 天内且观看进度低于 20% 可全额退款
FAQ

常见问题

数学基础要求高吗?
需要理解坐标变换与矩阵乘法(课程有复习章节)。不要求熟练推导,但要求能看懂变换的含义;可视化工具会帮助你建立直觉。
必须买机械臂吗?
前 3 章(标定与相机)可在电脑上完成;第 4–6 章涉及抓取闭环,建议配合机械臂。灵臂与课程实验完全对齐,适配成本最低。
精度能达到多少?
在课程的标准工作台条件下,定位精度通常可达亚毫米级;实际取决于标定质量、相机分辨率与工作距离。
需要先学 ROS2 吗?
不必须。课程会讲 MoveIt2 的必要用法;如果有 ROS2 基础会更顺畅。
和 oc-007(GenkiArm 抓取)有什么区别?
本课侧重「工业级视觉抓取全流程与工程优化」;oc-007 侧重「数据驱动的智能抓取与行为克隆」,两者路径不同、可互补。
学完能做什么?
能独立搭建一套视觉引导抓取系统,并具备标定、检测、运动学与成功率优化的完整工程能力。
有实机指导吗?
课程含实机调试演示与安全规范;学员可在社群提交问题,讲师会协助定位。
可以开发票吗?
支持对公结算与增值税发票;个人购买可开电子普票。
Related

相关课程

Benchmark

对标参考

以下为公开资料对标的同类产品参数与参考价,用于选型参照。

对标产品 / 型号厂商 / 生态关键参数参考价
ROS2 + MoveIt2Open Robotics运动规划 · 碰撞检测 · 仿真开源免费
手眼标定(Eye-in-hand / Eye-to-hand)工业视觉标准像素坐标到机器人坐标的变换标准方法

课程覆盖手眼标定、检测、逆解与抓取闭环,对标工业视觉引导抓取的标准工作流。

先试看,再决定

免费试看片段先体验讲解风格;想系统学习可看线下课程,或咨询顾问获取学习路径建议。

📞 免费试听