视觉组培训计划

第一阶段: 电控视觉硬件C语言联培

推荐时间: 10.1~11.15 学习内容: 与电控，硬件联合进行C语言培训，每周布置一次作业并进行评分

第二阶段: C++考核

推荐时间: 11.15~12.27 学习内容: 自学并每周完成一次c++作业观看黑马程序员cpp https://www.bilibili.com/video/BV1et411b73Z/?spm_id_from=333.337.search-card.all.click image.png

P84~~P109(11.23~~11.30) P110~~P126(11.31~~12.7) P127~~P146 P185~~ 196(12.8~~12.15) P197-P235(12.16~~12.23)

推荐学习资料: 黑马程序员cpp 代码随想录leetcode算法题

考核方式: 12月末进行线下c++考核。

第三阶段：寒假学习

一.环境配置

推荐时间: 1.3~1.17（放假之前）要求在寒假放假之前配置好虚拟机，在虚拟机上配置好ubuntu20.04系统（群文件有），安装好vscode等相关工具，后续代码都在vscode上写虚拟机建议安装VMware 通过百度网盘分享的文件：VMware-w… 链接:https://pan.baidu.com/s/1ct3Yc1m1CYDk621sNLGKHw?pwd=wa97 提取码:wa97 复制这段内容打开「百度网盘APP 即可获取」虚拟机配置教程csdn和b站上都有教程，先安装好虚拟机和配置好系统，安装vscode和安装其他软件的教程在ros的教程上面有。

二.OpenCV学习

推荐时间: 1.17~2.9 学习内容: 寒假期间观看https://www.bilibili.com/video/BV1i54y1m7tw/?spm_id_from=333.337.search-card.all.click&vd_source=d24aeec4a49e8c3e1300fbc5c806ebc6 image.png

opencv必须掌握重点： Mat类，Scalar类，imshow，imread，imwrite，waitKey函数 cvtColor-色彩空间转换函数,二值化：inRange与threshold 形态学操作检测轮廓findContours，绘制轮廓drawContours 几何图形绘制，例如：直线line,圆circle,正矩形rect,旋转矩形框Rectangle，minAreaRect函数-最小旋转外接矩形-返回对象Rectangle，boundingRect函数-最小外接正矩形-返回对象rect 读取视频文件与摄像头使用滚动条操作鼠标操作-点击图片获取该点的HSV值 Opencv电子书重点第2，3，5，7章

推荐学习资料: 《OpenCV计算机视觉编程攻略》 OpenCV4快速入门30讲贾志刚https://www.bilibili.com/video/BV1i54y1m7tw/?spm_id_from=333.337.search-card.all.click&vd_source=d24aeec4a49e8c3e1300fbc5c806ebc6 考核方式: 检查飞书学习笔记和贾志刚网课演示源码

三.opencv具体考核要求:

推荐时间: 2.10~2.25 在虚拟机的vscode上跑opencv代码，实现识别装甲板视频，识别灯条的四个端点，视频在群文件，寒假结束会安排你们来基地，自己讲解自己代码的思路。代码自己写，不要问chatgpt，自己想办法解决装甲板灯条的配对问题，到时候具体讲解这一部分的思路。识别装甲板示范如下图，用框框住识别出的装甲板（框的颜色不做要求）。 image.png

考核方式: 完成识别装甲板任务，作业提交时间：回校之前发识别好的视频和源码给学长学姐推荐优先完成OpenCV识别考核再完成ros学习,OpenCV识别考核分值较大

要求: 1.代码能跑 2.能够稳定框住装甲板 3.代码规范(可以使用AI辅助,抄网上开源的代码,但是自己要看得懂)

四.ROS学习

推荐时间: 2.25~3.5

学习内容:

(看我下面发布的第一个视频) ROS1的发布话题服务的发布订阅: p36~~p75 坐标变换: p180~~p213

考核方式: 检查飞书学习笔记，检查网课演示源码

第四阶段：核心业务学习

第四阶段总推荐学习时间:

相机模型: （通识）

相机模型总推荐学习时间:

pnp算法:

考核方式:

在uabantu里面运行你们之前的识别代码,新加功能获取其深度信息,装甲板灯条尺寸可以在官网中找到

eg. IMG_20260305_203258.png

相机硬件知识:

推荐学习时间:

学习内容：

了解相机结构: 光圈焦距景深快门曝光帧率懂得使用mvs启动海康相机,懂得海康相机的机械结构

相机标定:

推荐学习时间:

学习内容: 理论知识: 单目标定手眼标定双目标定实践: 使用matlab标定相机使用opencv库标定相机

考核方式: 在学会使用mvs启动相机的基础上学会使用matlab标定相机学会编写opencv代码标定相机

核心算法: (MPC和PID仅自瞄学习)

核心算法总推荐学习时间:

卡尔曼滤波器:

推荐学习时间:

学习内容: 掌握卡尔曼滤波器的基本原理

考核方式: 飞书笔记

MPC控制算法:

推荐学习时间:

学习内容：掌握mpc的基本原理

考核方式: 飞书笔记

PID算法(仅了解)

推荐学习时间:

学习内容

简单了解PID算法

考核方式: 飞书笔记

非线性优化 - ceres开源库 :

推荐学习时间:

学习内容 ceres开源库的用法

推荐学习资料视觉slam十四讲第6讲非线性优化

考核方式: 飞书笔记

弹道解算:

推荐学习时间:

学习内容: 无空气阻力模型一次空气阻力模型二次空气阻力模型四阶龙格库塔(RK4)

西工大弹道解算(无空气阻力)

弹道解算.docx

考核方式:

坐标变换: （通识）

坐标变换推荐学习时间:

坐标变换理论:

推荐学习时间:

学习内容:

旋转矩阵旋转向量和欧拉角四元数相似,仿射,射影变换 rqt查看tf关系 rviz2查看坐标系变换使用tf2库(静态坐标发布和动态坐标发布): 前面第三阶段的学习有布置过(如有遗忘可以复习一下)

推荐学习资料: slam十四讲第3讲三维空间刚体运动依赖ros发布的坐标变换源码

考核方式: Rviz tf调试

Eigen矩阵库:

推荐学习时间:

学习内容: 学会Eigen矩阵库的用法 Eigen矩阵库编写的坐标变换器源码

推荐学习资料: slam十四讲第3讲三维空间刚体运动

考核方式: 编写Eigen矩阵库坐标变换器

串口通信: (通识)

神经网络(分流后神经网络学习)

Python:

推荐学习时间略学习内容 Python基础语法,容器推荐学习资料 Python速通https://www.bilibili.com/video/BV1Jgf6YvE8e/?spm_id_from=333.337.search-card.all.click

考核方式

略

深度学习

推荐学习时间略学习内容学习李沐的课程推荐学习资料学习李沐的课程 https://www.bilibili.com/video/BV1oX4y137bC/?spm_id_from=333.1387.favlist.content.click&vd_source=03813710e4c946c3a825d7ea14b1b993 考核方式略

Jupyter Notebook

推荐学习时间略

学习内容

考核方式略

labelme

推荐学习时间

学习内容

考核方式

YOLO

推荐学习时间

学习内容: 本地电脑和云服务器端分别搭建深度学习训练环境，熟练掌握 yolov5、yolov8、yolo11 的 detect（目标检测）和 pose（姿态估计）模型的训练

根据装甲板识别需求选择合适的模型并完成定制化训练

推荐学习资料 ultralytics/ultralytics: Ultralytics YOLO 🚀 人工智能新手环境搭建指南anaconda+pytorch+pycharm_哔哩哔哩_bilibili yolov8命令行运行参数详解_yolov8参数-CSDN博客【手把手带你实战YOLOv5-拓展篇】使用AutoDL服务器进行模型训练_哔哩哔哩_bilibili

考核方式

Netron可视化工具

推荐学习时间

学习内容 Netron模型可视化工具使用 Netron 工具可视化深度学习模型的底层结构，理解 yolov5、yolov8、yolo11 的网络架构

推荐学习资料 image.png

yolo系列目标检测模型训练结果分析_yolo训练结果分析-CSDN博客 Yolov8目标识别——模型训练结果可视化图分析与评估训练结果_yolov8结果解析-CSDN博客考核方式

主流框架

推荐学习时间

学习内容: 掌握 onnxruntime、OpenVINO、TensorRT 三大主流部署框架的使用方法

推荐学习资料最细致讲解yolov8模型推理完整代码–（前处理，后处理）_yolov8代码-CSDN博客 C++ windows下使用openvino部署yoloV8_openvino yolov8-CSDN博客

考核方式

第五阶段: 熟悉并上手自瞄(后续补充)

阅读君瞄陈君论文和陈君直播上交青工会自瞄架构学习阅读西工大自瞄常用工具链Todesk,git,cmake 常用linux命令行 C++进阶学习如何调参调车(调曝光,调识别阈值,调卡尔曼滤波器,调mpc,坐标系补偿,)

同济自瞄框架: image.png

视觉组培训计划#

第一阶段: 电控视觉硬件C语言联培#

推荐学习资料:#

第二阶段: C++考核#

第三阶段：寒假学习#

一.环境配置#

二.OpenCV学习#

三.opencv具体考核要求:#

四.ROS学习#

学习内容:#

第四阶段：核心业务学习#

相机模型: （通识）#

pnp算法:#

推荐学习时间:#

考核方式:#

相机硬件知识:#

学习内容：#

推荐学习资料#

相机标定:#

核心算法: (MPC和PID仅自瞄学习)#

卡尔曼滤波器:#

MPC控制算法:#

PID算法(仅了解)#

学习内容#

非线性优化 - ceres开源库 :#

弹道解算:#

坐标变换: （通识）#

坐标变换理论:#

Eigen矩阵库:#

串口通信: (通识)#

推荐学习时间#

神经网络(分流后神经网络学习)#

Python:#

考核方式#

深度学习#

Jupyter Notebook#

labelme#

YOLO#

Netron可视化工具#

主流框架#

第五阶段: 熟悉并上手自瞄(后续补充)#

相关文章

视觉组培训计划

第一阶段: 电控视觉硬件C语言联培

推荐学习资料:

第二阶段: C++考核

第三阶段：寒假学习

一.环境配置

二.OpenCV学习

三.opencv具体考核要求:

四.ROS学习

学习内容:

第四阶段：核心业务学习

相机模型: （通识）

pnp算法:

推荐学习时间:

考核方式:

相机硬件知识:

学习内容：

推荐学习资料

相机标定:

核心算法: (MPC和PID仅自瞄学习)

卡尔曼滤波器:

MPC控制算法:

PID算法(仅了解)

学习内容

非线性优化 - ceres开源库 :

弹道解算:

坐标变换: （通识）

坐标变换理论:

Eigen矩阵库:

串口通信: (通识)

推荐学习时间

神经网络(分流后神经网络学习)

Python:

考核方式

深度学习

Jupyter Notebook

labelme

YOLO

Netron可视化工具

主流框架

第五阶段: 熟悉并上手自瞄(后续补充)