NVIDIA spricht auf der Hot Chips 34 über Hopper-GPU- und Grace-CPU-Architektur

Nvidia wird es sein Entwickler neue Details zu seiner Hopper-GPU und Grace-CPU in der nächsten Iteration von Hot Chips (24) in der kommenden Woche. Erfahrene Ingenieure des Unternehmens erläutern Innovationen im beschleunigten Computing für moderne Rechenzentren und fortschrittliche Netzwerksysteme mit Themen, die sich auf den Grace-Prozessor, den GPU-Hopper, den NVLink-Switch und das Jetson-Orin-Modul konzentrieren.

NVIDIA enthüllt auf der Hot Chips 34 Einzelheiten zur Hopper-GPU und zur Grace-CPU der nächsten Generation

Hot Chips ist eine jährliche Veranstaltung, die System- und Prozessorarchitekten zusammenbringt und es Unternehmen ermöglicht, Details wie technische Details oder die aktuelle Leistung ihrer Produkte zu diskutieren. NVIDIA plant, über den ersten serverbasierten Prozessor des Unternehmens und die neue Hopper-Grafikkarte zu sprechen. Der NVSwitch verbindet den Jetson Orin-Chip und das System des Unternehmens auf einem Modul oder SoM.

Die vier Präsentationen während der zweitägigen Veranstaltung geben einen Einblick, wie die Plattform des Unternehmens eine höhere Leistung, Effizienz, Skalierbarkeit und Sicherheit erreichen wird.

NVIDIA hofft, „eine Designphilosophie der Innovation über den gesamten Stack von Chips, Systemen und Software zu demonstrieren, bei der GPUs, CPUs und DPUs als Peer-Prozessoren fungieren“. Bisher hat das Unternehmen bereits eine Plattform geschaffen, die KI-, Datenanalyse- und Hochleistungs-Computing-Aufgaben innerhalb von Cloud-Service-Providern, Supercomputing-Zentren, Unternehmensdaten und autonomen KI-Systemen nutzt.

Rechenzentren erfordern flexible Cluster von Prozessoren, Grafikkarten und anderen Beschleunigern, die riesige Speicherpools vorantreiben, um die energieeffiziente Leistung zu erzielen, die von den heutigen Workloads gefordert wird.

Jonathon Evans, Distinguished Engineer und 15-jähriger NVIDIA-Veteran, wird den NVIDIA NVLink-C2C beschreiben. Es verbindet Prozessoren und Grafikkarten mit 900 Gb/s mit der fünffachen Energieeffizienz des bestehenden PCIe-Gen-5-Standards, dank Datenübertragungen, die 1,3 Picojoule pro Bit verbrauchen.

NVLink-C2C kombiniert zwei Prozessoren, um den NVIDIA Grace-Prozessor mit 144 Arm Neoverse-Kernen zu erstellen. Es ist ein Prozessor, der entwickelt wurde, um die wichtigsten Computerprobleme der Welt zu lösen.

Der Grace-Prozessor verwendet LPDDR5X-Speicher für maximale Effizienz. Der Chip aktiviert pro Sekunde ein Terabyte Bandbreite in seinem Speicher und hält die Leistungsaufnahme des gesamten Komplexes bei 500 Watt.

NVLink-C2C verbindet auch Grace-CPU- und Hopper-GPU-Chips als Memory-Sharing-Peers im NVIDIA Grace Hopper Superchip und bietet maximale Beschleunigung für leistungsintensive Aufgaben wie KI-Training.

Jeder kann benutzerdefinierte Chiplets mit NVLink-C2C erstellen, um sich nahtlos mit NVIDIA-GPUs, -CPUs, -DPUs und -SoCs zu verbinden und diese neue Klasse von Embedded-Produkten zu erweitern. Die Verbindung unterstützt die Protokolle AMBA CHI und CXL, die von ARM- und x86-Prozessoren verwendet werden.

Der NVIDIA NVSwitch verschmilzt mehrere Server zu einem einzigen KI-Supercomputer mit NVLink, Verbindungen, die mit 900 Gigabyte pro Sekunde und über der siebenfachen Bandbreite von PCIe 5.0 arbeiten.

Mit NVSwitch können Benutzer 32 NVIDIA DGX H100-Systeme zu einem KI-Supercomputer verbinden, der ein Exaflop an maximaler KI-Leistung liefert.

Alexander Ishii und Ryan Wells, zwei erfahrene NVIDIA-Ingenieure, erklären, wie der Switch es Benutzern ermöglicht, Systeme mit bis zu 256 GPUs zu bauen, um anspruchsvolle Workloads wie das Trainieren von KI-Modellen mit mehr als 1.000 Milliarden Parametern zu bewältigen.

Der Switch enthält Engines, die Datenübertragungen mithilfe des NVIDIA Scalable Hierarchical Aggregation Reduction Protocol beschleunigen. SHARP ist eine Netzwerk-Computing-Funktion, die in NVIDIA Quantum InfiniBand-Netzwerken eingeführt wurde. Es kann die Datenrate bei kommunikationsintensiven KI-Anwendungen verdoppeln.

Jack Choquette, ein angesehener leitender Ingenieur mit 14 Jahren Erfahrung im Unternehmen, wird eine ausführliche Tour durch die NVIDIA H100 Tensor Core GPU, auch bekannt als Hopper, geben.

Die Verwendung der neuen Verbindungen zur Skalierung auf beispiellose Höhen erfüllt viele branchenführende Funktionen, die die Drosselleistung, Effizienz und den Schutz verbessern.

Die neue Transformer Engine und die verbesserten Tensor Cores von Hopper liefern die 30-fache Beschleunigung der vorherigen Generation bei der KI-Inferenz mit den weltweit wichtigsten neuronalen Netzwerkmodellen. Und es verwendet das weltweit erste HBM3-Speichersystem, um satte drei Terabyte Speicherbandbreite bereitzustellen, die größte Generationssteigerung, die NVIDIA jemals gemacht hat.

Unter anderen Neuheiten:

• Hopper fügt Virtualisierungsunterstützung für Multi-Tenant- und Multi-User-Setups hinzu.
• Neue DPX-Befehle beschleunigen rekursive Schleifen für Feinkartierungs-, DNA- und Proteinanalyseanwendungen.
• Unterstützung für Hopper-Pakete für verbesserte Sicherheit bei vertraulichem Computing.

Choquette, einer der wichtigsten Chipdesigner des Nintendo 64-Systems zu Beginn seiner Karriere, wird auch die parallelen Computertechniken beschreiben, die einigen von Hoppers Fortschritten zugrunde liegen.

Michael Ditty, ein Architekt mit 17 Jahren Erfahrung im Unternehmen, wird neue Leistungsspezifikationen für NVIDIA Jetson AGX Orin bereitstellen, eine Engine für fortschrittliche künstliche Intelligenz, Robotik und autonome Maschinen.

Der NVIDIA Jetson AGX Origin integriert 12 Arm Cortex-A78-Kerne und eine NVIDIA Ampere-Architektur-GPU, um bis zu 275 Billionen Operationen pro Sekunde bei KI-Inferenzaufträgen zu liefern.

Das neueste Produktionsmodul enthält bis zu 32 Gigabyte Speicher und ist Teil einer kompatiblen Familie, die sich auf die Handheld-Entwicklungskits Jetson Nano 5W beschränkt.

Alle neuen Chips unterstützen den NVIDIA-Software-Stack, der über 700 Anwendungen beschleunigt und von 2,5 Millionen Entwicklern verwendet wird.

Basierend auf dem CUDA-Programmiermodell enthält es Dutzende von NVIDIA SDKs für vertikale Märkte wie Automotive (DRIVE) und Healthcare (Clara) sowie Technologien wie Empfehlungssysteme (Merlin) und Conversational AI (Riva).

Die NVIDIA AI-Plattform ist bei allen großen Cloud-Service- und Systemherstellern erhältlich.

Nachrichtenquelle: NVIDIA