AMD parle de l'empilage du calcul et de la DRAM à l'ISSCC 2023

Lors de l'ISSC 2023, le Dr Lisa Su, PDG d'AMD, a discuté de l'empilement des composants et des raisons pour lesquelles un conditionnement avancé est nécessaire pour réaliser l'informatique Zettascale à l'avenir. Une partie de la discussion a porté sur la mémoire. Étant donné que nous venons de publier quelques articles sur la mémoire, nous voulions couvrir cela brièvement sur STH.

L'un des principaux obstacles à la construction de systèmes plus grands est devenu la puissance d'accès à la mémoire. Cela s'est présenté sous deux formes, principalement à partir d'interfaces plus rapides et simplement en ajoutant plus de canaux de mémoire aux serveurs. Voici le graphique d'AMD de 2007 environ à 2023.

Nous avons récemment discuté de l'augmentation de la bande passante mémoire par cœur et par socket pour Intel Xeon et AMD EPYC au cours de la dernière décennie et avons réalisé une pièce RDIMM de serveur DDR5 dans laquelle nous avons montré pourquoi le saut au-dessus de la DDR4 à 8 canaux à la DDR5 à 12 canaux était un si grand saut dans les performances.

L'un des plus grands défis se situe du côté des E/S où l'efficacité énergétique s'améliore, mais la perte de canal devient un plus grand défi.

L'impact net de cela est que le passage hors boîtier à la DRAM devient de plus en plus coûteux du point de vue énergétique. Nous avons déjà vu des cas où HBM a été intégré sur un package pour les CPU et les GPU, mais il existe d'autres technologies. Ceux-ci incluent l'utilisation d'optiques co-emballées et l'empilement de puces 3D.

Lors de l'ISSCC 2023, AMD a présenté le concept consistant à rapprocher la mémoire du calcul en utilisant un interposeur en silicium (similaire à la façon dont les GPU intègrent HBM aujourd'hui), à l'avenir de l'empilement de la mémoire sur le calcul. Le déplacement de données à travers une pile 3D utilise beaucoup moins d'énergie que d'essayer de conduire des signaux vers des emplacements DIMM DDR5.

Lors de la conférence, le prochain AMD Instinct MI300 a été discuté. L'un des éléments intéressants de cette présentation était l'empilement 3D des matrices Infinity Cache et Infinity Fabric sous les cœurs CPU et GPU du MI300.

Pour référence, l'empilement SRAM 3D que nous voyons dans le Milan-X actuel et bientôt la série Ryzen 7000X3D, place la SRAM au-dessus de la matrice du processeur. Le MI300 changerait cela et placerait le cache sous la matrice du processeur. Le refroidissement est un défi majeur, il est donc logique de rapprocher les tuiles de calcul chaudes d'un bloc de refroidissement liquide.

Un autre sujet rapide abordé pendant la conférence était le traitement en mémoire. Nous avons couvert le Samsung HBM2-PIM et Aquabolt-XL à Hot Chips 33 et AMD a déclaré qu'il travaillait à la recherche sur l'informatique en mémoire avec Samsung. L'idée ici est encore plus spectaculaire car il n'est pas nécessaire de déplacer des données hors de la mémoire pour effectuer des calculs dessus.

Cela semble encore un peu plus éloigné que certains des progrès de l'emballage pour la mémoire.

Le déplacement des données au sein d'un système et d'un rack devient un point d'attention crucial pour l'industrie. Cette énergie de déplacement des données et le coût des performances nuisent à l'efficacité globale d'un système. En conséquence, l'ensemble de l'industrie s'efforce d'évoluer au-delà du CPU typique avec un modèle de DRAM attaché et de passer à de nouvelles architectures. Étant donné que la discussion a eu lieu plus tôt cette semaine, nous voulions simplement la partager avec les lecteurs de STH ce week-end comme un sujet de réflexion.