GDDR6内存接口子系统的结构

日期: 2024-08-12 作者: 行业动态

  正是应用在于边缘AI推理。与AI训练需要大量的数据和算力不同,AI推理对算力的需求一下子就下降,但对成本和功耗更为敏感。

  在AI推理应用慢慢的变多的趋势下,Rambus率先研判与推出GDDR6 IP产品组合。Rambus IP核产品营销高级总监Frank Ferro先生表示,作为更加理想的方案,GDDR6有着高带宽以及低时延的特性,可以帮助边缘端更好地处理数据。

  Rambus GDDR6 PHY以及控制器的配套产品,已达到了业界领先的24Gb/s的数据传输速率,这也是全新的一个行业标杆,可以为AI推理等应用场景带来非常大性能优势和收益。

  除性能之外,另一大优势是对功耗的管理。因为当设备在高速和高带宽环境下运行时,良好的功耗管理非常重要。

  还有系统层面的设计。如果要确保系统在24Gb/s环境下运行,要良好的系统级信号完整性。Rambus信号完整性的工程师,也会与客户进行非常紧密的从设计初期开始的合作,能保证客户运行系统的时候达到最高的性能。

  另外,Rambus提供的产品已经实现了PHY以及控制器的完整集成。在客户收到产品之后,可以直接对这些子系统进行定制化应用。

  Frank Ferro解析,PHY的物理层与DRAM进行直接连接,这个接口是由两个16位的插槽所组成,加起来是32位。

  另外一侧是DFI接口与内存的控制器进行连接,控制器直接接入到总系统的逻辑控制。Rambus提供的是中间标蓝的两个很重要的环节,也就是完整的子系统,Rambus会按照每个客户具体应用场景和实际的诉求对子系统来来优化,并将其作为完整的子系统来交付给客户。

  GDDR的“G”代表的是graphic (图形),因此它能够适用于图形处理,同时也能够适用于人工智能以及中,以及网络应用等。

  在GDDR6拥有的诸多特点中,值得一提的是clamshell模式,具体指的是每个信道能支持两个GDDR6的设备。换句话说,在clamshell模式之下整个容量是直接翻倍乘以2的。

  另外,GDDR6现在已经支持比较先进的FinFET工艺节点,实际上从2019年开始Rambus就已经支持非常先进的制程工艺。

  同时,也会针对PCB以及封装提供相关的参考设计。在内部有专门的信号完整度和边缘完整性的专家,来帮助客户去完成整个的设计工作。

  Frank Ferro表示,Rambus的GDDR6接口子系统能轻松实现高达24Gb/s的卓越性能,可以为每个GDDR6内存设备提供最高达到96Gb/s的带宽。GDDR6是在AI应用场景下是合理的的产品和选择,因为能在成本和性能之间达成不错的平衡。

  实际上内存的形式有很多种,DDR、LPDDR、GDDR以及HBM等,那么边缘AI推理用哪种内存最合适,在Frank Ferro看来GDDR6将是脱颖而出的那一个。

  他说,GDDR6有着优秀的数据传输速率,可适用于很多AI推理场景。尤其在一些网络应用中,GDDR6能具备极其重大作用。“现在非常多的具体网络应用场景都慢慢的开始在边缘端实现了。尤其是有的应用要求所有传入的数据必须在本地进行实时处理,这种需求的增加对本身产品架构的要求会很高。因此传统的DDR方案已经远远不能够满足要求,因为需要有很多的DDR设备。而部署GDDR6在边缘设备,能够大幅度降低网络边缘设备对DDR数量的需求。”

  一般来说,AI推理对带宽的需求在200到500Gb/s的范围之间。而每一个GDDR6设备的带宽能够达到96Gb/s,通过将4-5个GDDR6设备组合,就可以轻松满足500Gb/s及以下的带宽需求。

  以DDR4为例,它的速度可能最高能达到3.2Gb/s。虽然它的成本相比来说较低,但是速度是一大劣势。GDDR技术在几年前就可以在一定程度上完成16Gb/s的带宽,已超越DDR技术的三到四倍之多。当然,DDR、GDDR和LPDDR这些不同的产品都是以标准的DRAM为基础,LPDDR更关注低功耗管理,DDR本身的数据存储密度会更高一点,而GDDR是更关注于速度。

  此外,如果用到一个HBM3设备就能达到接近800Gb的带宽,但它会使得成本增加3至4倍。因此,对于对带宽和低延迟有很高要求的AI训练场景,HBM可能是更好的选择。而对需要更大容量、更高带宽的AI推理场景,则GDDR6是更合适的选择。

  Rambus作为一家业界领先的半导体IP和芯片供应商,技术实力强劲,拥有3000多项技术专利,企业使命是让数据传输更快、更安全。经过三十多年的发展和创新,Rambus现在的主体业务包含基础专利授权、芯片IP授权和内存接口芯片。Rambus的技术和产品面向的市场是数据密集型市场,包括数据中心5G、汽车等细分市场。其产品组合,与AIGC应用对数据传输的需求十分契合。

  以ChatGPT为代表的AIGC应用热潮袭卷到中国,我们大家可以看到中国不少互联网大公司都发布了自己的AI大模型。那么Rambus如何支持中国客户的AI数据传输需求呢?

  Rambus大中华区总经理苏雷先生长期投身中国市场,他表示Rambus在和芯片厂商的沟通中发现更多厂商聚焦于AI训练,因此他们的方案更多需求在于HBM;在与云厂商的沟通中,他们更多是关注数据中心推出的一系列产品,即中国式ChatGPT产品,他们要更多的算力。在内存产品上,Rambus有非常好的接口芯片,向云厂商提供我们的服务和产品。

  还有一类客户是中国的OEM和ODM厂商,他们把目光转向了当前非常新的技术CXL。因为CXL能带来更多内存带宽和内存容量,所以我们正在紧密合作提供方案,以加大总系统内存的带宽,帮他们的产品推向市场。

  苏雷说,Rambus China立足于中国市场,愿意更多、更紧密地支持中国公司在ChatGPT产业的发展,以最好的技术、最快的响应和最好的技术上的支持来服务中国市场,给广大新老客户保驾护航。

  原文标题:【新闻媒体报道】为AI推理打造高达24Gb/s的GDDR6 PHY,Rambus全面支持中国市场的AI升级

  文章出处:【微信号:Rambus 蓝铂世科技,微信公众号:Rambus 蓝铂世科技】欢迎添加关注!文章转载请注明出处。

  DRAM 实施的设计讨论。与前几代 DDR 不同,这一代存在许多设计挑战,需要 SoC 和

  通道中的每个组件都应该被重视,以确保维持信号的完整性。您是某个OEM

  认证 计划2018年量产 /

  大厂美商美光(Micron)的动向格外让人关注。 面对两家竞争对手陆续推出号称最新规格的

  了?且频率还跑得那么高?是不是理不清它们之间的关系?下面就让我们重新回顾一下显存的发展历史,展望下一代

  目前NVIDIA在其GeForce RTX 20系列显卡中实现了最新的

  标准。根据报告引用来自电子元件全系列商DigiKey的清单价格,美光的14 Gbps

  PHY IP以业界最快的18 Gbps数据速率运行,提供比当前DDR4解决方案快四到

  价格的不断下降,时代早就变了,近几天入门级游戏显卡GTX 1650终于也投向了

  5区别在哪里 /

  给FPGA带来的大带宽存储优势以及性能测试(下) /

  PHY所实现的新一级性能,设计人能为带宽要求极为苛刻的工作负载提供所需的带宽。和我们领先的HBM3

  Rambus通过全新PMIC系列支持多代基于 DDR5 的高性能服务器

  支持140亿参数AI模型,229TOPS!英特尔重磅发布第一代车载独立显卡

  e2studio开发磁力计LIS2MDL(1)----轮询获取磁力计数据

  【龙芯2K0300蜂鸟板试用】2 系统编译(uboot/kernel/buildroot)和镜像替换

  STM32进行DMA数据转运,为什么只有A组最后一位数据被转运到B组去?