Deci veröffentlicht neue MLPerf-Benchmarks für das NLP-Modell und erzielt mit AMD EPYC Milan-X-CPUs einen enormen 6,46-fachen Gewinn

Deep-Learning-Unternehmen Dez enthüllt die Ergebnisse seines NLP-Inferenzmodells (Natural Language Processing), das in der Benchmark-Suite MLPerf Inference v2.1 enthalten ist und mit AMDs EPYC-Prozessoren eine bis zu 6,46-fache Leistungssteigerung erzielt.

Das NLP-Modell von Deci erreicht bahnbrechende Leistungsniveaus bei MLPerf, bis zu 6,46-mal mehr als bei AMD EPYC-Prozessoren

Das von Decis AutoNAC-Technologie (Automated Neural Architecture Construction) entwickelte NLP-Modell mit dem Namen DeciBERT-Large lief auf Dell-PowerEdge-R7525-2-Hardware mit dem AMD EPYC 7773X-Prozessor. Das resultierende Modell übertraf die Durchsatzleistung des BERT-Large-Modells um fast das Sechseinhalbfache und erreichte eine Verbesserung der Genauigkeit um 1 %. Die Verbesserung umfasst Cloud-Kostensenkungen, sodass für einen Teil der Zeit mehr Prozesse auf einer Maschine ausgeführt werden können. Es ermöglicht Gruppen auch, eine kostengünstigere Maschine zu verwenden und gleichzeitig eine genaue Durchsatzleistung beizubehalten.

Das neue Modell wurde unter dem Offline-Szenario in der offenen Division von MLPerf in der Kategorie BERT 99.9 vorgestellt. Das Ziel bestand darin, den Durchsatz zu maximieren und gleichzeitig die Genauigkeit innerhalb einer Fehlerspanne von 0,1 % von der Basislinie oder 90,874 F1 (SQUAD) beizubehalten. Das DeciBERT-Large-Modell hat diese Ziele übertroffen und einen Durchsatz von 116 Anfragen pro Sekunde (QPS) und einen F1-Genauigkeitswert von 91,08 erreicht. Wie Sie der folgenden Tabelle entnehmen können, bietet der AMD EPYC 7773X Milan-X-Chip bis zu 6,46-mal mehr Leistung als das BERT-Large-Modell.

Deci nutzte seine proprietäre Automated Neural Architecture Construction (AutoNAC)-Technologie-Engine, um eine neue Modellarchitektur zu entwickeln, die für den AMD EPYC-Prozessor geeignet ist. AutoNAC, eine algorithmische Optimierungs-Engine, die die besten Deep-Learning-Modellarchitekturen für jede Zuweisung, jeden Datensatz und jede Inferenzhardware schmiedet, ermöglicht in der Regel eine bis zu fünfmal bessere Inferenzleistung mit ähnlicher oder besserer Genauigkeit, die dem Stand der Technik nahe kommt. – neuronale Kunstmodelle.

Während das Hauptoptimierungsziel bei der Generierung des DeciBERT-Modells die Maximierung des Durchsatzes war, konnte AutoNAC auch die Größe des Modells erheblich reduzieren – eine bedeutende Errungenschaft mit mehreren Vorteilen, einschließlich der Möglichkeit, mehrere Modelle auf demselben Server auszuführen und besser zu nutzen des Cache-Speichers. Diese Ergebnisse bestätigen einmal mehr die herausragende Leistungsfähigkeit unserer AutoNAC-Technologie, die auf nahezu alle Bereiche der Deep-Learning- und Inferenz-Hardware anwendbar ist.

– Lehrer. Ran El-Yaniv, Chefwissenschaftler und Mitbegründer von Deci

MLPerf bringt führende Experten im Bereich Deep Learning zusammen, um faire und nützliche Benchmarks für die Berechnung der Ausführung von Training und Inferenz von ML-Hardware, -Software und -Diensten zu erstellen.

Die NLP-Inferenzbeschleunigung von Deci führt direkt zu Cloud-Kostensenkungen, sodass mehr Prozesse in kürzerer Zeit auf demselben Computer ausgeführt werden können. Es ermöglicht Teams, kostengünstige Maschinen zu verwenden und gleichzeitig die gleiche Durchsatzleistung beizubehalten. Ein höherer Durchsatz für bestimmte NLP-Anwendungen, wie z. B. die Beantwortung von Fragen, bedeutet eine bessere Benutzererfahrung, da Abfragen schnell verarbeitet werden und Informationen in Echtzeit wiedergegeben werden können.

Nachrichtenquelle: Dez