NPU比普通的CPU有什么优势？

主页（http://www.kuwanit.com）：NPU比普通的CPU有什么优势？

寒武纪正式在A股科创板上市，成为AI芯片第一股，引起了业内的热议和关注。

根据相关的资料显示，目前中国IC设计企业已超过1500家。但AI芯片的公司却比较少，创企仅超过20家。在这些AI芯片企业中，寒武纪是最突出的，尤其是最近的IPO，科创上市第一天股票便一路飙升。那么AI芯片到底是什么，与我们普通的CPU有何区别呢？

从原理逻辑来看，AI处理器是一种特殊的芯片，它结合了人工智能技术和机器学习，使芯片的移动设备足够智能，可以模仿人类的大脑，用于优化深度学习AI的工作，也是使用多个具有特定功能的处理器的系统。而普通的芯片（普通cpu）则被封装在一个更小的芯片包中，设计用于支持移动应用程序，提供支持移动设备应用程序所需的所有系统功能。

大多数时候，各个大公司营销团队发现AI（人工智能）这个词非常“前位且华丽”，所以他们几乎把它捆绑到任何可能的商业用途中。因此，你肯定听说过“人工智能芯片”，其实它是NPU（神经处理单元）的重命名版本，这些是特殊类型的ASIC（专用集成电路），旨在移动市场中将机器学习广泛应用。

这些ASIC有一种特殊的架构设计，使它们能够更快地执行机器学习模型，而不是将数据卸载到服务器，然后等待它的响应。这种执行可能没有那么强大，但由于数据和处理中心之间的障碍更小，所以速度会更快。

NPU比普通的CPU有什么优势？

通俗来说，我们可以理解为NPU就是AI芯片，普通芯片就是CPU。

CPU在一般的负载环境中工作会很好，因为它有一个较高的IPC，可以通过许多串行执行。且CPU遵循的是冯诺依曼架构，其核心是存储程序、顺序执行。CPU的架构中需要大量的空间去放置存储单元（Cache）和控制单元（Control），相比之下计算单元只占据了很小的一部分，所以它在大规模并行计算能力上极受限制，而更擅长于逻辑控制。

NPU和GPU的亮点在于它们能够运行多个并行线程。NPU通过一些特殊的硬件级优化，比如为一些真正不同的处理核提供一些容易访问的缓存系统，将其提升到另一个层次。这些高容量内核比通常的“常规”处理器更简单，因为它们不需要执行多种类型的任务。这一整套的“优化”使得NPU更加高效，这就是为什么这么多的研发会投入到ASIC中的原因。

机器学习模型处理要求CPU、DSP、GPU和NPU同时同步，这是很多芯片处理单元在共同工作。但这也解释了为什么这样执行对于移动设备来说是“沉重的”。

NPU的优势之一在于，大部分时间集中在低精度的算法，新的数据流架构或内存计算能力。与GPU不同，它们更关注吞吐量而不是延迟。

当然，AI算法是至关重要的，在图像识别等领域，常用的是CNN卷积网络，语音识别、自然语言处理等领域，主要是RNN，这是两类有区别的算法。但是，他们本质上，都是矩阵或vector的乘法、加法，然后配合一些除法、指数等算法。

另外，一个成熟的AI算法，针对卷积运算和加权求和的特定数学进行了优化。这个过程非常快。它就像一个没有图形硬件的GPU。对于AI芯片来说，如果确定了具体的目标尺寸，那么总的乘法加法计算次数是确定的。比如一万亿次， 就好比说，我用AI芯片跑程序，吃顿饭的功夫就就解决了，而CPU需要运行好几个礼拜，时间上的差距，没有任何一家商业公司会浪费时间。

全球AI芯片公司有哪些？

除了寒武纪，国内还有这些比较有名的AI芯片公司比特大陆，地平线，天数智芯，熠知电子，探境科技，燧原科技，海思，嘉楠科技等公司，都是经历了自2015年至现在的实际落地的检验期，才到现在境况。各个公司的产品也都是独特的，功耗、性能、应用场景都有自己的风格，可以在中国的广大的市场中占有一席之地。

中国AI芯片公司处于一个发展热潮中，那国外AI的芯片发展情况又如何呢？现在让我们来看看那些我们认为是人工智能芯片顶级开发者的公司，尽管没有任何特定的顺序——只是那些已经展示了他们的技术并且已经将其投入生产或者即将投入生产的公司。具体如下：

1. Alphabet（谷歌母公司）

谷歌的母公司督促着人工智能技术在多个领域的发展，包括云计算、数据中心、移动设备和台式电脑。可能最值得注意的是它的张量处理单元（Tensor Processing Unit），这是一款专门为谷歌的TensorFlow编程框架设计的ASIC，主要用于AI的两个分支机器学习和深度学习。

谷歌的Cloud TPU是应用于数据中心或云解决方案，其大小相当于一张信用卡， 但Edge TPU大小是小于一美分的硬币， 是专为某些特定的设备而设计的。尽管如此，更仔细观察这一市场的分析师说，谷歌的Edge TPU不太可能在短期内出现在该公司自己的智能手机和平板电脑上，而更有可能被用于更高端、企业和昂贵的机器和设备。

2. Apple

苹果多年来一直在开发自己arm芯片，最终可能会彻底停止使用英特尔（Intel）等供应商。苹果也基本上摆脱了与高通的纠缠，看起来确实决心要在未来的人工智能领域走自己的路。

该公司在最新款的iphone和ipad上使用了A13“仿生”芯片。该芯片使用了苹果的神经引擎，这是电路的一部分，第三方应用程序无法使用。A13仿生芯片比之前的版本更快，耗电更低。据报道，A14版本目前正在生产中，今年可能会出现在该公司更多的移动设备上。

3. ARM

Arm （ArmHoldings）生产的芯片设计被包括苹果在内的所有领先技术制造商采用。作为一个芯片设计师，它不制造自己的芯片，这给了它某种优势，就像微软不制造自己的电脑一样。换句话说，Arm在市场上有着巨大的影响力。该公司目前正沿着三个主要方向开发人工智能芯片设计： Project Trillium，一种“超高效”、可扩展的新型处理器，目标是机器学习应用;机器学习处理器，这是不言而喻的; Arm NN是神经网络的缩写，它是一种用于处理TensorFlow的处理器，Caffe是一种深度学习框架，还有其他一些结构。

4. Intel （英特尔）

早在2016年，据华尔街日报报道，芯片巨头英特尔宣布收购初创公司NervanaSystems，英特尔将获得该公司的软件、云计算服务和硬件，从而使产品更好地适应人工智能的发展。但它的人工智能芯片系列，被称为“神经网络处理器”：人工神经网络模仿人类大脑的工作方式，通过经验和实例进行学习，这就是为什么你经常听到机器和深度学习系统需要“训练”。随着之前发布的Nervana，英特尔似乎将优先解决与自然语言过程和深度学习相关的问题。

5. Nvidia （英伟达）