谷歌的的语义图像分割（Semantic Image Segmentation）模型DeepLab-v3+已开源，而这一技术在Google Pixel 2和2XL手机（包括后续型号）上也得到应用。这项技术可以实现对图像或视频的背景分割，给图像和视频处理APP带来极大便利。今天就让我们来聊聊什么是语义图像分割，以及它的实现原理。

视频抠像，了解谷歌DeepLab-v3+技术

说到抠图，很多朋友想到的是Photoshop，确实借助PS我们可以精确将人像从复杂的背景图中抠出来。但是如果要将人像从视频画面中“抠”出来，估计很多朋友就没听说过这项技术了。

PS抠图是对静态的照片进行前后景的分离，DeepLab-v3+技术则是对视频抠像，当然也可以对照片进行实时处理。比如之前某视频巨头网站测试的抠像技术(即时去背景)，以及Google Pixel 2和Pixel 2XL手机的肖像功能，拍摄照片后可以获得类似单反相机的景深效果。这些技术背后的工程就是DeepLab-v3+技术（图1）。

图1 配备DeepLab-v3+技术的Pixel 2 XL手机

抠像技术的背后，认识谷歌DeepLab-v3+技术原理

如上所述，DeepLab-v3+技术最大的特色就是可以抠像。那么这个抠像的功能是怎样实现的呢？

我们先来简单了解一下PS抠图技术，PS抠图是借助PS组件将照片前景和后景精确区分出来，然后通过提取前景的方法实现抠图（图2）。不过PS的精确抠图显然不是一般人都能胜任，它需要用户长时间学习和精细操作才能完成。DeepLab-v3+的抠像原理与之类似，不过这个学习的过程则是通过人工智能技术完成，作为终端用户则只要按部就班地使用即可。

图2 PS抠图需要长时间学习

那么DeepLab-v3+是在怎么实现这种效果？这主要得益于日渐发展的人工智能技术。首先谷歌会建立DeepLab 模型，通过机器来识别大量的照片和视频，借助改进的卷积神经网络特征萃取器、物体比例塑造模型以及同化前后内容的技术，再加上先进的模型训练过程。这样通过大量的样本学习和训练，同时借助人工智能的自我学习，DeepLab-v3技术可以对图像或者视频画面中的前后景物体进行精确的识别，从而生成一套独特的算法。现在DeepLab-v3+ 在 Tensorflow 上进行，使用部署于服务器端的卷积神经网络（CNN）骨干架构，可以让该技术有更高效处理速度和更精准的识别精度，能够快速对照片或者视频中的各种元素进行精确识别（图3）。

图3 DeepLab-v3技术原理图解

这里以Pixel 2XL人像模式中的合成浅层景深效果为例，在Pixel 2XL手机启用人像模式后，集成DeepLab-v3+处理后台会自动根据照片背后景色进行分析，比如路、天空、树木、人或是狗等物体进行识别，同时为每个像素指定语义标签。这样算法可以根据照片实际环境里显示效果，对指定的语义标签进行处理，比如对人物背后的景物进行模糊处理，从而可以获得类似单反相机的景深效果（图4）。

图4 Pixel 2XL手机启用人像模式后的拍摄效果

对于视频抠像处理类似，在视频画面中，DeepLab-v3+同样会对视频中前后景的元素进行分析，同样为每个像素指定语义标签。借助服务器端的卷积神经网络就可以实现对视频前景人物的精确识别，从而实现视频抠像功能，抠出的活动人物可以叠加到其他视频场景中，从而做出类似绿幕MR特效的影片（图5）。