1.2TB/sを超えるメモリ帯域幅を実現
Micron Technology(本社:アメリカ アイダホ州)は2024年9月6日(現地時間)、AIワークロードに対応する容量36GBの12層広帯域メモリ
「HBM3E 12-high」を発表した。
700億パラメーターのLlama 2など、AIワークロードの中でも特に大規模なAIモデルをターゲットにした製品で、ピン速度9.2Gbps、1.2TB/sを超えるメモリ帯域幅により、大量のデータを高速に処理することができる。
また現行の8層モデル「HBM3E 8-high 24GB」に比べて容量は50%向上、CPUオフロードやGPU-GPU間で発生する通信遅延を抑えて処理速度を改善できる。さらに消費電力が大幅に低下していることから、データセンターのTCOを削減する効果も期待できる。
なおすでにパートナー企業にはサンプル出荷が開始され、次世代メモリとしてHBM4やHBM4Eの開発も進められている。