4月9日，英特尔在“Intel Vision 2024”大会上正式宣布推出最新的人工智能芯片Gaudi 3及全新的Xeon 6处理器，进一步拓展了英特尔的AI产品路线图。

英特尔声称，Gaudi 3芯片与英伟达H100芯片相比，推理能力平均提高50%，能效平均提高40%，运行人工智能模型的速度是H100的1.5倍，而成本仅为H100的一小部分。这款产品将与英伟达最新的H200大致相当，在某些领域甚至表现更好。

英特尔预计，Gaudi 3芯片将在今年的第三季度向客户大规模提供，戴尔、惠普、联想、超微电脑等企业将成为首批客户。受此消息影响，美股盘中，英特尔股价短线冲高逾2%。

英特尔CEO基辛格表示，到2030年，半导体市场规模将达1万亿美元，AI是主要推动力。英特尔预计将于2024年出货4000万台AI PC，以及超过230种的设计，覆盖轻薄PC和游戏掌机设备。基辛格介绍，将于2024年推出的下一代英特尔酷睿Ultra客户端处理器家族（代号Lunar Lake），将具备超过100 TOPS平台算力，以及在神经网络处理单元（NPU）上带来超过46 TOPS的算力，从而为下一代AI PC提供强大支持。

据了解，Gaudi 3采用的是台积电5nm工艺，在芯片设计上，Gaudi 3转向了具有两个计算集群的Chiplet的设计，而不是Gaudi 2所采用的单个集群的方案。

Gaudi 3拥有8个矩阵数学引擎、64个张量内核、96MB SRAM（每个Tile 48MB，可提供12.8 TB/s的总带宽）和128 GB HBM2e内存，16个PCIe 5.0通道和24个 200GbE链路。在计算核心的周围，则是八个HBM2e内存堆栈，总容量为128 GB，带宽为3.7 TBps。

与上一代相比，Gaudi 3在BF16工作负载方面的性能、FP8性能、网络性能都是Gaudi 2的两倍（Gaudi 2是24个内置的100 GbE RoCE Nic），HBM容量是Gaudi 2的1.5倍。

另外，Gaudi 3设备中的张量内核支持与Gaudi 2相同的FP32、TF32、BF16、FP16和FP8数据格式，并且不支持FP4精度。相比之下英伟达新的Blackwell GPU将支持FP2精度，而英伟达现有的Hopper GPU则不支持。

英特尔表示，Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型，以及1750亿参数GPT-3模型的训练时间。此外，在Llama 7B、70B和Falcon 180B大型语言模型（LLM）的推理吞吐量和能效方面也展现了出色性能。

无论是FP8还是FP16/BF16，一个大语言模型在多个AI加速器上运行并不罕见。例如，要在FP16上推理一个1750亿参数的大模型，至少需要五个80GB HBM内存的H100才能将模型放入其中。为此，英伟达和AMD分别使用称为NVLink和Infinity Fabric的专用互连器，它们提供大约900 GBps的带宽，将八个或更多AI加速器拼接在一起。相比之下，英特尔Gaudi 3使用的是常规的旧RDMA融合以太网（ROCe）。

但是，Gaudi 3具有24个200GbE接口，总带宽为1.2 TBps。24条链路中有3条专用于节点外通信，剩余1 TBps用于服务器内的芯片到芯片通信。英特尔认为，通过将以太网网卡集成到其Gaudi 3加速器中，使用传统的骨干叶架构扩展以支持512甚至1,024个节点集群也更容易。

随着Gaudi 3的正式发布，当前AI芯片市场呈现出英伟达B200、AMD MI300系列和英特尔Gaudi 3“三巨头”竞争的格局。英伟达在AI芯片领域“一家独大”的局面面临来自另外两家厂商的挑战。

英特尔Gaudi 3采用5nm工艺，带宽是前代Gaudi 2(7nm工艺)的1.5倍，BF16功率是其4倍。Gaudi 3配备最高128GB的HBM2e内存，峰值带宽为3.7TB/s。

不过，英伟达依旧暂时是AI市场的佼佼者，上月底正式发布了新一代人工智能计算芯片B200。英伟达CEO黄仁勋称，B200 GPU的AI运算性能在FP8及新的FP6上都可达20 petaflops，是前一代H100运算性能的2.5倍。

紧追英伟达，超威半导体（AMD）也在2023年12月初高调推出了MI300系列产品。据介绍，MI300X芯片拥有超过1500亿个晶体管，内存密度是目前英伟达H100的2.4倍，内存带宽是其1.6倍。AMD首席执行官苏姿丰称这款新芯片在训练人工智能软件的能力方面与英伟达的H100相当，并且在推理方面表现得更好，不过这一说法也未得到独立验证。