北京时间11月14日凌晨,英伟达在本年度的SC23展会上突然宣布,推出全新的顶级AI芯片HGX H200。预计首批芯片将于2024年第二季度正式面世。英伟达又一次自己超越自己,H200将取代H100成为新的世界最强AI芯片。
相较H100芯片,H200的GPU在内存带宽及容量两方面进行了显著提升。其中,内存带宽倍数提升至1.4倍,内存容量相应增加至原来的1.8倍。据悉,在处理Meta公司研发的大规模语言模型Llama2时,H200的推理速度较H100实现了2倍的提升。
存储技术方面,H200首次引入了HBM3e技术,通过HBM3e,无论是生成式AI,还是大语言模型相关的工作负载都能得到有效加速,从而使整体GPU的内存带宽达到惊人的每秒钟4.8TB,大大超过H100的3.35TB。
此外,其总内存容量提升至141GB,相较此前大幅翻番。内存带宽更是较上一代A100增加了2.4倍。据官方报告显示,与H100相比,H200在处理高性能计算应用程序时,效率提升幅度达到20%以上。
性能再度爆炸!英伟达H200取代H100成为新的最强AI芯片