课程介绍

自动驾驶与辅助驾驶车辆的诸多功能的实现，大都依赖以传感器硬件为基础的感知技术来收

集外界环境的信息。出于性能、成本与应用场景的考虑，多种感知技术通常会并存于同一自

动驾驶系统之中。各种感知技术的单独与相互间融合的探测效果，都直接影响了自动驾驶的

定位、轨迹规划与控制等各环节技术的实现。本课程旨在帮助自动驾驶行业的从业者，包括

研究员，工程师，产品经理等，从完整的自动驾驶系统的高度来理解掌握各种传感器，如视

觉、雷达、激光雷达等的基础和在工业界中实用的技术；以及传感器的融合技术，如视觉与

雷达的融合，雷达与激光雷达的融合等的基础知识及在具体产品开发中的应用。

课程将通过二天的学习涵盖以下三部分内容：

第一，自动驾驶系统与各感知技术的架构搭建；

第二，激光雷达的点云提取和目标追踪；

第三，激光雷达与毫米波、视觉算法的融合。

                                                 培训目标

•掌握自动驾驶系统架构，视觉\雷达\激光雷达等传感器的技术特点及与其他模块的关联。

•掌握激光雷达、毫米波雷达、视觉、IMU等传感器的离线和在线标定技术。

•通过实例掌握激光雷达的点云识别、目标跟踪以及与其他传感器融合技术。

•通过实例掌握激光雷达、毫米波雷达、视觉和IMU的融合算法

•通过实例掌握数据融合的性能评价体系及其KPI验证方法

                                                 讲师介绍

                                          环境感知算法技术专家 刘老师

数据专业学士，中国科学技术大学计算机专业硕士，十年技术开发经验，曾负责通用汽车研

发中心环境感知技术的量产开发项目，曾担任大型央企的毫米波雷达开发算法技术专家。熟

悉智能驾驶感知系统构建，独立完成激光雷达点云数据处理，目标跟踪算法，熟悉激光雷达

SLAM定位技术，熟悉ROS操作系统，能够基于TensorFlow框架实现单目视觉目标检测，比

较YOLO，faster RCNN和SSD等网络性能，熟悉Velodyne等品牌的激光雷达，及其与IMU，

毫米波雷达，视觉传感器融合算法技术。

由于刘老师在计算机视觉、激光雷达和毫米波雷达产品开发方面均有项目实践经验，使得其在

多传感器数据融合开发过程中能够驾驭各种传感器的特性，将激光雷达SLAM技术，视觉检测

技术和微波技术充分的与算法结合，达到最优的性能，并能进行车规级需求的量产性能评价。

第一天

一、 硬件和通信

  1. 传感器和特性

    1.1视觉传感器

    1.2立体视觉

    1.3激光雷达

    1.4毫米波雷达

    1.5超声波雷达

 2.传感器通信集成

    2.1 CAN总线

    2.2以太网

    2.3 FlexRay

二、 传感器组合标定

  1.摄像头标定（内参和外参）

  2.IMU和激光雷达/视觉标定

    2.1 离线和在线标定算法

  3.激光雷达和视觉标定

  4.毫米波雷达和激光雷达/视觉标定

三、 多传感器信息融合算法

  1.Bayes滤波器、EKF、UKF

  2.系统状态方程

  3.量测方程

  4.本车运动状态估计

  5.本车运动补偿

  6.数据关联

  7.状态更新

  8.航迹管理

四、 传感器融合的量产应用

  1.本车运动状态估计和运动补偿

  2.概率最近邻数据关联

  3.IPDA状态更新

  4.航迹管理

  5.检测模型

第二天

一、 激光雷达和视觉目标检测和跟踪

    1. 激光雷达地面过滤

    2. 目标点云提取

      2.1 点云聚类分割算法

      2.2 位姿算法

    3. 激光雷达点云目标跟踪

    4. 图像目标检测（SSD\Yolo）

    5. 图像目标跟踪

      5.1光流法、

      5.2 MeanShift算法

    6. 毫米波雷达目标跟踪

      6.1 点迹融合算法(IMM-PDA)

二、 道路环境感知

    1. 图像的道路提取方法

      1.1 图像处理算法（直线检测）

    2. 激光雷达点云可通行区域计算

      2.1结合高精度地图

三、 预测

    1. 目标轨迹预测方法

    2. 碰撞预测

四、 数据融合性能评估

    1. 评估系统客观性

    2. 融合评估指标体系

    3. 基于应用的KPI评估