如何提升未来智能手机的拍照功能

主页（http://www.kuwanit.com）：如何提升未来智能手机的拍照功能

谷歌图片功能发布大约一年之后，苹果发布了基于神经网络（类似谷歌）的搜索照片功能。但鉴于苹果用户隐私条例的承诺，苹果的分类功能实际上是在每个设备中单独进行的，设置后在后台进行，并不发送数据，用时长达一到两天时间。

所以，芯片对于对于机器学习的效率和性能至关重要。需要说明的是，谷歌的算法是在大型计算机上训练的，大型计算机拥有发达的GPU以及英伟达深度学习Tensor Core（张量计算核心），大部分工作可以“提前”完成。一旦将机器学习的计算能力搬运到移动端设备上，可以预见，在相当长的一段时间内，属于前沿性研究。

这项技能在2016年就出现了，所以，通过机器学习识别人并不是什么新生事物。照片软件组织（photo organization software）也早已经做到这一点，智能手机拍照的突破在于，实时性的处理速度。然而，谷歌才是这一领域的领导者，三代Pixel所展示出的结果令人信服。HDR+是一种默认的摄影模型，通过复杂的算法，融合几张曝光不足的帧合并为一帧。就像谷歌计算摄影的负责人Marc Levoy所言，“机器学习只会随着时间的推移变得更好，同谷歌照片软件一样，谷歌已经在一个巨大的、被标记的照片数据库上训练人工智能。进一步帮助相机的曝光，就像Pixel 2，产生了令人印象深刻的照片质量基准。”

即使目前处于计算摄影的早期阶段，神经引擎可以减少手机拍照的处理负担，随时间的积累，运行速度越来越快。拍照作为任何手机最基本的功能，面部ID、人脸识别解锁、AR视频、AI人像、景物美化、相册智能分类、智能场景识图......在过去两年时间，已经深入渗透到普通人的日常生活中。

《2018年中国人工智能手机行业研究报告》显示，语音助手、人脸解锁、智能光线拍摄、美颜和识图成为2018年中国AI智慧手机用户最经常使的TOP5功能。人脸解锁、语音助手、随行翻译、智能光线拍摄、AI双摄／三摄、背景虚化成为用户认为最有价值的TOP5功能。

人工智能手机＝AI芯片＋AI功能，即“满足AI算力需求移动端芯片，且加载了深度学习AI功能的智能手机。”。AI芯片指内置独立神经网络计算单元，通过CPU、GPU、DSP及其他通用计算单元联动赋能。AI功能囊括人脸解锁、AI拍照、智能相册、AI智能助手等等。

训练完以上的模型，需要大量的时间以及整理能力。一旦数据中心完成之后，它将可以以低功耗、便捷的方式在设备上运行。如今，前期这些繁重的工作已经完成，只要把照片上传到云端，谷歌就可以通过模型来分类、标记整个图片库。

前几个月，谷歌推出了Night Sight（夜景）功能，Pixel通过机器学习技术以长曝光来精准地预测白平衡和色彩。其中，Pixel 3效果最好，可能是算法随最新的硬件进行了迭代。这套算法适用于谷歌所有Pixel系列，甚至是缺少光学图像稳定性的工程机。这也从侧面说明了，于移动摄影而言，相机的软件比硬件更为重要。简而言之，在人工智能的“操持”下，硬件因此拥有了更大的提升空间。

2015年，谷歌上线的APP，清晰地展示了人工智能技术与摄影技术融合之后的照片。在此之前，谷歌一直试图通过机器学习技术对照片进行分类。谷歌的照片APP直接面向消费者提供人工智能服务，这对于大多数人而言，是难以想象的。“突然之间，用户可以从杂乱无章、数以千计的图片库，转换为可搜索的资料库”，“突然之间，谷歌就知道你的猫看起来像什么”。