崇真论坛第4讲：基于前背景建模的人像分割

地点：崇真楼A4030数计学院学术报告厅

时间：2020年11月5日（星期四）上午10:30

主讲人简介：张松海，现任清华大学计算机系副教授、博士生导师，研究方向为图像/视频处理、图形学、虚拟现实。在IEEE Transactions on Visualization and Computer Graphics, IEEE Transactions on Image Processing, IEEE Transactions on Multimedia, CVPR等期刊和会议上发表论文40余篇。作为负责人主持国家自然科学基金项目3项、科技部重点研发计划课题1项，参与多项科技部973计划项目、基金委重点项目。曾获国家科技进步二等奖一项（排名第3）。

主要内容：人像分割一直是可视媒体内容分析的重要问题，其关键难点在于如何在复杂动静态场景下高效高质量地分割出前景人像。我们利用前景建模和背景建模的思路，针对这一问题开展了一系列工作。针对图像中多人重度重叠情形下的人像分割难题，不同于已有的先检测包围盒再分割的思路，申请人利用姿态和骨架对前景人像进行建模，提出了一种新的基于姿势的人体实例分割框架Pose2Seg。为了将人像分割推广到更广泛的动态背景实时应用，申请人提出了一种能在移动设备上实时运行的人像分割网络PortraitNet。PortraitNet采用U-Net架构，在训练阶段利用了两个新的辅助损失函数，分别保持边界一致性和复杂光照变化下的一致性，从而在推理阶段不需要额外的计算成本，确保了算法的高效性。与目前最先进的方法相比，在精度和效率方面都取得了显著提升，能够生成更加清晰的边界，在恶劣光照条件下效果也更加鲁棒。