A HBM a „High Bandwidth Memory” angol kifejezés rövidítése, ami fordításban nagy sávszélességű memóriát jelent. Ez egy olyan RAM típusú operatív memória, amelyet úgy terveztek, hogy sokkal gyorsabban tudjon adatokat szolgáltatni a processzornak, leggyakrabban egy grafikus chipnek (GPU-nak) egy AI gyorsítóban, mint a standard memóriamodulok. Kulcsfontosságú az architektúrája, ahol több memóriachipet függőlegesen egymásra rétegeznek, és rendkívül széles kommunikációs busszal csatlakoznak a processzorhoz. Ez a konstrukció jelentősen növeli az adatátviteli sebességet (adatsávszélességet), azaz az egységnyi idő alatt átvihető adatok mennyiségét. A hatalmas adatmennyiségekkel és kiterjedt modellekkel dolgozó mesterséges intelligencia feladatoknál az adatok gyors elérése alapvető. A HBM-nek köszönhetően a nagy teljesítményű számítási chipnek nem kell várnia a lassabb memóriából érkező adatokra, ami lehetővé teszi teljes kihasználását és felgyorsítja az olyan folyamatokat, mint a neurális hálózatok képzése. Ahhoz, hogy megértsük, miben különbözik a hagyományos játékgrafikai memóriától, hasznos a GDDR (Graphics Double Data Rate) memóriával, például a GDDR6-tal vagy GDDR7-tel való összehasonlítás. A GDDR különálló chipekből áll, amelyek a grafikus mag körül helyezkednek el a lapkán, és nagyon magas órajelre támaszkodnak viszonylag keskeny busz mellett (chipenként jellemzően 32 bit). A HBM az ellenkező utat járja. Alacsonyabb órajelen működik, de a chipek vertikális rétegezésének és a rendkívül széles busznak (stackenként 1024 bit vagy több) köszönhetően egyszerre több adatot továbbít. Az eredmény a HBM esetében jelentősen nagyobb teljes adatátviteli sebesség és jobb teljesítmény-watt arány, ami kulcsfontosságú az adatközpontok és az AI betanítása szempontjából. A GDDR ezzel szemben olcsóbb, könnyebben gyártható és kapacitása egyszerűbben bővíthető, ezért a játék- és fogyasztói videokártyákon dominál.
