AI芯片初创企业探索落地路径 在发展中走向成熟

过去几年，AI芯片初创企业如雨后春笋般涌现。如今，一批早期参与的企业已经开始走向成熟，并通过增加模块及芯片卡等方案扩展其产品范围，同时凭借出色的芯片设计与全球分销渠道建立起自己的市场竞争优势。

Hailo模块

来自以色列的AI芯片初创企业Hailo已经推出两款基于其Hailo-8 AI加速器芯片的AI加速器模块，主要面向边缘应用场景。这些模块采用标准的M.2与mini-PCIe格式，适用于智慧城市、智能零售、智能家居以及工业4.0应用场景中的无风扇“边缘设备”。这些边缘设备主要用于执行多视频流分析等任务，旨在以边缘部署方式减少延迟并避免数据集中引发的隐私问题。

Hailo-8的“结构定义数据流”架构使其能够以3 TOPS/瓦的性能获得26 TOPS处理通性。其拥有车载级应用许可，适用于ASIL-B应用并获得了AEC-Q100 Grade 2认证。

Hailo公司最近还公布了新数据，表示其模块在各类性能基准(包括针对谷歌Edge TPU进行了优化的EfficientNet-EdgeTPU)测试中全面击败了英特尔Myriad-X与谷歌Edge TPU(Coral M.2)模块。考虑到Hailo-8拥有高达26 TOPS的性能，而另外两位对手的峰值性能仅为可怜的4 TOPS，这样的结果丝毫不令人意外。但让人惊讶的是，Hailo的内部测试发现，谷歌Edge TPU模块的平均性能可达参数看似相近的英特尔Myriad-X模块的2倍。

Hailo芯片与两大市场领导者正面对垒，图中柱状所示为各种模块的每秒处理帧数。

Hailo-8已经在富士康的边缘设备BOXiedge中使用，该边缘设备主要用于在边缘位置上处理视频。这款无风扇设备配备有Socionext提供的SynQuacer SCA11并行处理器外加Hailo-8，可用于加速深度学习推理过程。

这家位于特拉维夫的初创企业成立于2017年，目前拥有100多名员工。迄今为止，他们已经从NEC及ABB等战略投资机构手中筹集到超过8800万美元资金。

Groq卡

Groq目前正以服务器节点的形式出售其张量流处理器(TSP)芯片，该芯片将8张PCIe卡集成于一体，借此在数据中心内快速执行AI推理。Groq的TSP达到1 POPS(1000 TOPS)，这使其成为业界功能最强大的TSP之一。根据Groq公布的数据，其在ResNet-50 v2数据集上批次大小为1的测试中，可以达到18900 IPS(每秒推理次数)，这无疑是目前速度最快的商用AI加速器芯片。

Groq的处理器具有极为精简的硬件设计，且执行规划任务在软件层面进行。Groq的编译器负责协调所有数据流及时序，确保计算不会发生停顿，借此让延迟及性能具有更好的可预测性。

该公司最近宣布已获得新的资金注入，但拒绝透露具体资金筹措数额。此外，Groq还暗示正在扩大受众市场，包括汽车行业。

Groq节点是一台包含8块TPU芯片的5U设备，可提供高达6 POPS的AI推理性能。

新的Groq节点整合有8块Groq卡(8个TPU芯片)，可提供6 POPS性能，尺寸为5U且功率为3.3千瓦。Groq方面解释称，这种性能与功耗的完美结合，将使该产品在优化数据中心总体拥有成本(TCO)方面拥有显著优势。

Graphcore分销网络

来自英国的AI加速器初创企业Graphcore宣布已经正式建立起全球渠道合作伙伴网络。

该公司是2018年率先推出芯片产品的厂商之一，并于今年夏季公布了第二代芯片。Colossus Mark 2的推出，承载着Graphcore与市场领先者英伟达正面竞争的野心，其可在数据中心内带来高达约250 TFLOPS的AI训练性能。Graphcore的系统级解决方案IPU设备是一款1U服务器刀片，其中包含4块Colossus Mark 2芯片，可提供FP16精度的Petaflop级AI计算能力。其同时提供IPU-POD，可保证16台IPU设备串连或并行运作。

Graphcore的IPU-POD内装有16台面向HPC类应用的IPU设备(共64块IPU芯片)。

Graphcore方面表示，其IPU已经在金融服务、医疗保健、消费级互联网、学术研究等众多领域得到实际应用。

Graphcore的“精英合作伙伴计划”意在建立一套IPU设备分销商及转售商网络。合作方包括服务器制造商戴尔、浪潮、2CRSI以及科学超级计算机制造商Atos，欧洲分销商Boston Limited，系统集成商BSI，中国分销商Digital China，科学计算分销商Lambda，总部位于香港的Macnica Cytech，面向美国联邦政府客户的Meadowgate Technologies，韩国分销商Megazone，英国HPC技术分销商OCF，HPC服务器制造商Penguin Computing，分销商Tech Data Europe与US，外加关键任务/美国政府专业供应商Wildflower International等。