芯片的算力到底有什么用？算力是怎么评估的？ 现在经常听到各种芯片的算力，从挖矿到车机，再到最近OPPO那个马里亚纳X和荣耀的AI-ISP啥的。那到底什么是芯片的算力呢？算力怎么评估？为什么手机厂商和智能电车甚至矿主们那么强调算力？能否科普一下例如手机或者汽车上的芯片算力到底有啥用啊？ 算力是芯片单位时间里处理数据的能力，算力越高，单位时间里处理的数据量越大，而对于现代高算力要求的场景，算力成为了芯片能力的核心评价指标之一。 传统GPU算力的衡量单位是GFLOPS，FLoating-point Operations Per Second，每秒浮点操作次数，一般是32位精度的浮点运算，也就是FP32，32位二进制数，1位正负标识位、8位指数位和23位尾数位，占用四个字节。
而对于AI计算来说，在数据精度要求上会更低一些，采用的是整数运算而不是浮点运算，一般是INT8，八位整型占用1个字节，虽然INT8比FP16精度低，但是数据量小、能耗低，计算速度相对更快，更符合端侧运算的特点。 所以我们看芯片算力，一个是看算力单位，另一个就是看数据精度类型了，FP32和FP16不同，FP和INT不同，INT8和INT4也不同。 在手机行业，我们熟悉的AI算力一般都是INT8算力，比如Google Tensor就是5.8TOPS的INT8算力；苹果A15是15.8 TOPSINT8算力；OPPO马里亚纳X是18TOPS的INT8算力。 采用INT4数据标准的算力数据很少，主要是INT4的数据精度太低，算正负标识只能表示-8到7的整数，在神经网络中使用有比较大的限制，而INT8则是-128到127，为256个整数，整体的精度表现完全不同。 虽然数据的量化指标这没有规定，厂商当然可以用INT4做量化指标，但这个需要明确标出来。 对于芯片来说，算力和功耗是成正比的，同一颗芯片，算力越高，功耗越高，对于移动设备这种功耗严格限制的设备来说，单位功耗下的算力更有意义，比如马里亚纳X是11.6TOPS/W，可以实现每秒40fps的OPPO自研AI降噪算法处理，功耗仅为0.8W，而骁龙888则只能实现2fps，功耗达到了1.7W。 对于手机来说，AI计算正扮演着越来越重要的角色，随着算法的深入，其对芯片的要求越来越高，更低的功耗，更强大的算力，成为关键。 以手机影像系统为例，我们来深入聊聊这个事儿。 手机影像系统的发展需求 手机空间的天然限制，导致其在相机硬件，尤其是CMOS画幅上的堆料是有天然限制的，以破坏手机基本形态而堆进去的更大画幅，在小众圈子或许会有其价值，但对于更大众的用户来说，无法成为主流方向。 这个事儿逐渐成为行业共识，CMOS画幅的军备竞赛逐渐进入到瓶颈期，目前更主流的选择以1/1.3英寸画幅和1/1.5英寸画幅为主，去年出现的1/1.12英寸画幅产品，量产机一共就3三台，并未成为大众化的选择。 计算摄影这个概念行业内提了好几年了，随着手机CMOS画幅竞赛进入到瓶颈期，未来手机影像系统的竞争一定会落在计算摄影的能力演进上，实际上，也的确如此，对于如今的手机来说，超级夜景、人像虚化、多摄融合带来的变焦能力提升、HDR算法、AI摄影等等，已经成为行业主流手机的标配。 而随着计算摄影的深入，算法越来越复杂，越来越依赖于AI训练，其对算力的要求倍增；以及，当摄影从静态转向后，对于计算摄影的速度和效率要求明显增加。 这些都需要移动端新品平台算力的大发展。 所以OPPO发布马里亚纳X，并带来18TOPS的INT8算力，以及11.6TOPS/W的能效比的时候，业界是非常兴奋的。
在Find X5 Pro的量产机上，我们看到了芯片能力提升后对整个摄影体验的升级。 下面两张图是Find X3 Pro和Find X5 Pro在拍摄超级夜景照片时候的对比，我们可以看到，Find X3 Pro在曝光结束之后，有一个明显的转圈圈的过程，也就是芯片能力限制下算法计算时间长带来的问题；而Find X5 Pro在曝光结束之后，算法快速执行完毕，图片直接给出。
对于照片来说，我们可以有等待时间，但对于视频拍摄，我们是没有这个等待时间的，所以在传统的芯片平台上，很多高阶算法只能适用于照片拍摄，而无法应对视频拍摄，比如4K超级夜景。 我们在OPPO Find X5 Pro上已经初步感知到了马里亚纳的能力，超级降噪算法、暗光视频等，在功能实现的同时，功耗控制不错，不会因为更强算法的加入，导致发热失控。 马里亚纳算力的提升，在静态影像上带来的速度提升非常明显，业界过去为人所诟病的计算摄影速度太慢导致的成片延时问题被彻底解决。 以及，手机影像的高像素已经推了很久了，但高像素本身的优势一直没真正发挥出来，随着平台算力的提升和能效比的提升，未来我们可能能够看到真正的优秀高像素模式。 而随着计算摄影的深入，芯片能力的限制愈发明显，如果芯片算力不能得到有效提升，要么就是高阶算法的执行时效性无法保障，导致拍摄后的照片生成等待时间延长，且无法应用于视频；要么算法本身进入瓶颈期，无法有效突破。 马里亚纳X带来的另一个典型场景是RAW域计算 在马里亚纳芯片加入后，OPPO做了另一件很重要的事儿，把计算摄影从UV域提前到了RAW域，对最初的原始数据进行AI处理，这个想象力是非常丰富的。
手机图片的处理，一般会经历三个过程：原始的RAW文件采集，转成RGB信号，再转成YuV信号编码，目前主流的手机HDR算法都是在YuV上进行的。 熟悉摄影的朋友应该知道，我们一般使用的图片是JEPG格式的，但如果是需要后期修图，则一般是用RAW文件，它能够记录更多的原始信息，图片后期处理本质就是算法，而算法输出结果和记录的原始信息是息息相关的，这就相当于极度保鲜的食材，越好的食材，越能够做出美味。 越是前端原始素材，它的细节保留越多，在处理的时候，能够用的信息就越多，OPPO在SoC的前端直接在RAW上做HDR，效果一定是最好的。 那么，之前大家为什么不这么做呢？ 因为通用平台的算力不足，越是原始的文件，信息越多，数据处理量越大，大家都知道信息量大的原始数据能处理出更好的结果，但算力支撑不下来，做不了，速度不够，功耗爆炸。 OPPO做了Marisilicon X，算力解决了，而且功耗在一个非常好的水平，然后这事儿就做成了。 当然，不只是HDR，比如超分辨率，在RAW上做超分辨，这事儿如果成了，那么2X、3X，乃至5X，就真的不需要专门的镜头，主摄就可以完成，或者说，用小尺寸CMOS做出媲美大尺寸CMOS的成像效果，就不再是说说了。现阶段OPPO还没做这个，但路径打开之后，这些事儿其实是水到渠成的。 手机影像的发展趋势里，一个是单个镜组越来越大，另一个是镜头数量越来越多，现阶段多镜头设计主要还是从变焦需求出发考虑的。 那么，如果RAW域的超分辨率算法走向成熟，真正发挥高像素的解析力优势，其在裁切变焦上必然也会有更大幅度的提升，未来我们也许真的就不再需要一堆镜头了。 以及，视频部分，安卓手机和苹果影像能力的差距，最核心点就在视频上，那么随着算力提升，这部分未来是有机会实现真正意义上的突破的。
2024最新激活全家桶教程，稳定运行到2099年，请移步至置顶文章：https://sigusoft.com/99576.html
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处：https://sigusoft.com/33273.html
