近日，英伟达在2023年全球超算大会（SC23）上推出了一款最新的AI芯片H200，用于AI大模型的训练，相比于其前一代产品H100，H200的性能提升了约60%到90%。这款新芯片是英伟达H100的升级版，与H100同样基于Hopper架构。
在H200的升级中，主要增加了141GB的HBM3e显存，显存带宽从H100的3.35TB/s增加到了4.8TB/s。这样的升级为大模型训练提供了更强大的性能支持。在大模型推理表现上，H200在700亿参数的Llama2大模型上的推理速度比H100快了一倍，而且在推理能耗上H200相比H100直接降低了一半。这意味着在保证计算精度的同时，能够大大提高计算效率，降低了计算成本。
对于显存密集型HPC（高性能计算）应用，H200更高的显存带宽能够确保高效地访问数据，与CPU相比，获得结果的时间最多可提升110倍。这意味着对于那些需要处理大量数据的应用程序，使用H200能够大大缩短计算时间，提高工作效率。
由于H200与H100的架构相同，因此它们在软件上相兼容。这意味着H200将具有H100的所有功能，包括对各种AI框架的支持。英伟达宣称，H200在大模型Llama 2、GPT-3.5的输出速度上分别是H100的1.9倍和1.6倍。这表明H200在处理大型AI模型时，性能提升显著。
英伟达加速计算总经理兼副总裁伊恩·巴克 （Ian Buck）表示：“想要通过生成式AI和HPC应用创造智能，就必须使用大型、快速的GPU显存来高速、高效地处理海量数据。借助H200，业界领先的端到端AI超级计算平台的速度将会变得更快，一些世界上最重要的挑战，都可以被解决。”这表明英伟达认为H200对于解决世界上的一些重大挑战具有重要作用。
在过去，英伟达数据中心AI芯片通常两年更新一次芯片架构。然而，由于市场对其AI芯片需求旺盛，英伟达决定从每两年发布一次新架构转向每一年发布一次新架构。英伟达还向投资人称，其将于2024年发布基于Blackwell架构的B100芯片。这表明英伟达在AI芯片领域的研发步伐正在加快。
据英伟达介绍，H200将于2024年第二季度出货。从明年开始，亚马逊云科技、谷歌云、微软Azure 和甲骨文云将成为首批部署基于H200实例的云服务提供商。这将使这些云服务提供商在大规模AI训练和推理方面具有更强大的性能和能力。
总的来说，英伟达推出的新款AI芯片H200在性能、效率和功能方面都有显著提升。这表明英伟达正在积极应对市场对其AI芯片的需求，加快研发步伐并推出更具竞争力的产品。随着AI技术的不断发展，我们可以期待英伟达未来将推出更多创新的AI芯片来满足市场需求并推动AI应用的进步。
