IT之家:https://www.ithome.com/ 9 月 2 日消息,据 DigiTimes 今天报道,美光正在研究高耐久性 NAND 闪存模块,该公司计划将其部署在距离 GPU 更近的位置,而不是像传统存储方案那样,通过多个协议连接到距 GPU 较远的存储池。

تستكشف Micron ذاكرة الفلاش NADd القريبة من وحدة معالجة الرسومات (GPU)، القادرة على دعم نماذج الذكاء الاصطناعي الأكبر حجما

据报道,美光正在探索如何将 NAND 闪存进一步靠近 GPU,希望在存储密度和耐久性之间提供一种折中方案。这种产品当前被称为“近 GPU NAND”(IT之家注:near-GPU NAND),可用于处理非低延迟 / 高带宽工作负载。

这种方案可以让 GPU 直接访问数百 GB 的 NAND 存储池, 它可以直接放置在 GPU 封装内部或 PCB ,工作方式类似 HBM、GDDR7 等方案。与传统 TLC 或 QLC NAND 相比, 这种 NAND 芯片的存储密度更低 ,重点在于提升 I/O 速度、带宽。

该存储层位于显存和普通存储之间,可充当高速缓冲层,因此特别适合运行更大规模的 AI 大语言模型。该方案落地后,LLM 推理将不再受到显存容量限制。