高性能人工智能与视频处理芯片解决方案提供商瀚博半导体(上海)有限公司(下称“瀚博半导体”或“瀚博”)7月7日在2021世界人工智能大会期间发布其首款云端通用AI推理芯片SV100系列及VA1通用推理加速卡，这款通用推理加速卡可实现深度学习应用超高性能、超低延时的推理性能，可显著降低数据中心与边缘智能应用的部署成本。据悉，SV100系列及VA1通用推理加速卡预计会上发布的两款新产品将于2021年今年四季度量产上市。

　　人工智能行业随着持续的技术演进，算法模型的精度、性能等关键指标在众多领域不断取得突破性进展，已进入算法规模化应用落地阶段。全球范围内各行业数据中心对推理算力的需求在快速增长，下游客户多样化的算力应用场景，催生了多样化的AI计算加速芯片需求，然而市面上却鲜有主流GPU厂商外的其他更优解决方案。基于对行业产品技术需求的洞察及显而易见的巨大市场机遇，经过两年多的技术论证与软硬件一体化设计，瀚博半导体重磅推出了专为云端数据中心而生的SV100系列芯片与VA1通用推理加速卡。

　　瀚博本次发布的SV100系列芯片性能强大优异，单芯片INT8峰值算力超200 TOPS，深度学习推理性能指标数倍于现有主流数据中心GPU，具有超高吞吐率、超低延时的特性。瀚博自研的通用架构，为各种深度学习推理负载极致优化。 此次推出的SV100系列芯片支持FP16, BF16和INT8等数据格式，并可以实现众多主流神经网络的快速部署及计算机视觉、视频处理、自然语言处理和搜索推荐等多样化推理应用场景。同时集成高达64路以上H.264/H.265/AVS2的1080p视频解码，广泛适用于云端与边缘智能应用场景，在应用中能够提升客户的设备资产效益、降低运营成本。

　　瀚博半导体此次在这次发布会上同步推出的基于SV100系列芯片的VA1推理加速卡，为单宽半高半长75瓦PCIe x16卡，支持32GB内存和PCIe 4.0高速接口协议，无需额外供电，即可适用于所有厂商的人工智能服务器，实现数据中心高密度高算力部署。

　　瀚博半导体创始人兼CEO钱军表示：“SV100系列产品是所有瀚博人的心血结晶，我为我们的团队感到无比骄傲!我们深度了解行业客户对吞吐量、延迟、通用性和成本的需求。同时，向前兼容性非常重要，我们的软件栈具有极高灵活性与可扩展性，能够支持未来新兴算法模型和用户自定义算子扩展等。另一方面，占据过半中国AI应用市场的计算机视觉应用需要高密度的视频解码算力配合AI算力实现端到端的计算加速，在两者之间的算力配比平衡方面，我们也做了大量的工作。瀚博通过前期核心技术积累和前瞻性布局，正式发布我们性能优异的SV100系列云端通用AI推理芯片和VA1推理卡，可有效应对上述低延时、通用性和视频处理等方面的行业痛点，推进云端与边缘的智能应用落地。”

　　瀚博半导体创始人兼CTO张磊表示：“SV100系列芯片基于先进的DSA架构，相同功耗下实现数倍于数据中心GPU的最高深度学习推理性能。同时支持计算机视觉、自然语言处理、搜索推荐、智能视频处理领域的众多常用神经网络，软件栈支持灵活扩展，支持用户自定义算子。VA1推理卡采用75W单宽半高半长设计，可无缝适配各种人工智能服务器，最大化算力部署密度。我们的VastStream软件平台支持TensorFlow, PyTorch, Caffe2等常见的深度学习框架模型与ONNX格式的模型，通过高度定制的AI编译器充分优化模型在瀚博硬件上的执行效率。 我们的软件栈完备，同时提供了符合行业开发者使用习惯的工具，方便使用者以极低成本向瀚博硬件平台迁移、部署现有算法应用。”