LPU made by Groq: Neue Konkurrenz für GPU-König Nvidia?

Gerät der GPU-Platzhirsch Nvidia durch einen weitgehend unbekannten Emporkömmling unter Druck? Groq entwickelt LPUs als Konkurrenten zu Nvidias GPUs. Viele Beobachter unterstreichen das große Potenzial von Groq und sehen es als ernstzunehmenden Konkurrenten. Was es mit dem Anbieter von KI-Technologie auf sich hat.

Ist Groq die zukünftige Bedrohung für Nvidia?

Nvidia ist zum Synonym für Erfolg in der Halbleiterindustrie geworden, vor allem dank seiner bahnbrechenden Grafikprozessoren, die alles von Spielen bis hin zu künstlicher Intelligenz (KI) verändert haben. Nun taucht jedoch ein neuer Konkurrent auf, der Nvidias Vorherrschaft brechen könnte: Groq, ein Startup-Unternehmen, das eine neue Art von Chip mit der Bezeichnung Language Processing Unit (LPU) entwickelt. (Nicht zu verwechseln mit Elon Musks Chatbot “Grok”. Hierzu hat Groq-CEO Jonathan Ross einen bitterbösen Blogartikel verfasst.) Im Gegensatz zu GPUs, die bisher das Rückgrat der KI-Entwicklung bildeten, sind LPUs speziell für die KI-Inferenz entwickelt worden und bieten potenzielle Vorteile bei Geschwindigkeit, Kosten und Effizienz. In diesem Artikel gehen wir der Frage nach, wie sich Groq gegen Nvidia in Stellung bringt, was LPUs so beeindruckend macht, und wir untersuchen den sich abzeichnenden Kampf zwischen GPUs und LPUs. Könnte das Quasi-Monopol von Nvidia in Gefahr sein?

Im Wesentlichen handelt es sich bei LPUs um eine neuere Generation von Chips, die speziell für die wachsenden Rechenanforderungen der sprachgesteuerten Software-Welt entwickelt wurden. Groq konzentriert sich auf technologische Schlüsselinnovationen wie Siliziuminnovation, Software-defined Compute und Entwicklergeschwindigkeit, um branchenführende Leistung, Latenzzeiten im Bereich von unter einer Millisekunde und Genauigkeit für rechenintensive Anwendungen zu bieten.

Während GPUs in großem Umfang zur Beschleunigung von KI-Workloads, einschließlich NLP, eingesetzt werden, sind sie in erster Linie für parallele Verarbeitungsaufgaben wie Bild- und Videoverarbeitung konzipiert. LPUs hingegen sind für die sequentielle Verarbeitung von Sprache optimiert und bieten oft eine bessere Leistung und Energieeffizienz für NLP-spezifische Anwendungen.

GPUs bestehen aus Tausenden von kleineren, einfacheren Cores, die für die Parallelverarbeitung optimiert sind. Diese Architektur ermöglicht GPUs, mehrere Aufgaben gleichzeitig zu bearbeiten, was sie ideal für Aufgaben macht, die parallelisiert werden können, wie z. B. Grafik-Rendering und Modelltraining. Diese Architektur ist äußerst effektiv für Aufgaben, die von der Parallelisierung profitieren, wie z. B. die Modellschulung beim Deep Learning. Grafikprozessoren eignen sich hervorragend für die Schulung von Modellen des maschinellen Lernens, da sie in der Lage sind, umfangreiche parallele Berechnungen effizient durchzuführen. Sie sind vielseitig und können für eine breite Palette von Anwendungen jenseits der künstlichen Intelligenz eingesetzt werden, darunter Spiele und Video-Rendering.

Allerdings kann das Allzweckdesign von GPUs bei spezialisierten Aufgaben wie NLP zu Ineffizienzen führen. Außerdem verbrauchen sie viel Energie. Die Energieeffizienz ist in der Regel geringer, da die Aufgaben, die sie bewältigen, sehr leistungsstark sind. Sie eignen sich am besten für Aufgaben, die eine umfangreiche parallele Verarbeitung erfordern, wie z. B. das Training umfangreicher KI-Modelle, komplexe Simulationen und verschiedene Nicht-KI-Anwendungen.

GPUs sind bei der Datenspeicherung stark auf externe Speicher wie GDDR RAM angewiesen. Dies kann aufgrund der Datenübertragungslatenz zwischen der GPU und ihrem Speicher zu Leistungsengpässen führen. Sie verwenden Deep Pipelining, um Aufgaben in kleinere Phasen aufzuteilen, die gleichzeitig verarbeitet werden. Dadurch wird die Gesamtlatenzzeit verringert und der Durchsatz erhöht. Moderne Grafikprozessoren wie die Hopper-Serie von NVIDIA enthalten spezialisierte Einheiten wie Tensor Cores für beschleunigte Matrixmultiplikationen, die für KI- und maschinelle Lernaufgaben entscheidend sind.

Die von Groq entwickelten LPUs basieren auf einer Tensor-Streaming-Prozessor (TSP)-Architektur, die speziell für die sequentielle Verarbeitung optimiert ist. Sie verfügen über weniger, aber größere Cores, die auf eine deterministische Ausführung ausgelegt sind. Dieses Design eignet sich besonders für die inhärente sequentielle Natur von Aufgaben der Verarbeitung natürlicher Sprache (NLP). LPUs sind auf Inferenzaufgaben in NLP spezialisiert und bieten erhebliche Leistungsverbesserungen bei Echtzeitanwendungen wie Chatbots und Sprachübersetzungsdiensten. Sie können bis zu 500 Inferenz-Token pro Sekunde verarbeiten und übertreffen damit bei weitem die Fähigkeiten aktueller GPUs in diesem speziellen Bereich. LPUs sind im Vergleich zu GPUs weniger vielseitig, da sie hauptsächlich für NLP-Aufgaben optimiert sind. Es handelt sich dabei um eine noch junge Technologie, was bedeutet, dass sie bei einer breiten Akzeptanz und Unterstützung vor Herausforderungen stehen könnte.

LPUs verfügen über große Mengen an On-Chip-SRAM, wodurch der Bedarf an externem Speicherzugriff minimiert wird. Dieses Design verringert die Latenzzeit und verbessert die Leistung, da es einen schnelleren Datenzugriff ermöglicht. Ähnlich wie bei GPUs wird auch bei LPUs Pipelining eingesetzt, um die Effizienz zu steigern, indem komplexe Aufgaben in kleinere Phasen unterteilt werden, die gleichzeitig verarbeitet werden können. LPUs enthalten oft spezialisierte Hardware für Matrixmultiplikation und andere gängige KI-Operationen, um die Leistung für bestimmte KI-Arbeitslasten zu optimieren

Sie sind auf NLP-Aufgaben spezialisiert, einschließlich Inferenzprozessen, bei denen vorab trainierte Modelle auf neue Daten angewendet werden. Sie sind hocheffizient bei der Verarbeitung von Sprachmodellen und reduzieren sowohl den Zeit- als auch den Energieverbrauch für diese Aufgaben. Potenziell höher aufgrund ihrer Optimierung für spezifische Aufgaben, was zu einem niedrigeren Gesamtenergieverbrauch im Vergleich zu GPUs führt.

LPUs sind also ideal für Aufgaben, die eine geordnete Ausführung erfordern, wie z. B. NLP. In Bezug auf die Speichernutzung sind GPUs von externem Speicher abhängig, was zu Latenzzeiten führen kann, während LPUs On-Die-Speicher? nutzen, um Latenzzeiten zu verringern und die Datenzugriffsgeschwindigkeit zu verbessern. GPUs sind vielseitiger und werden für eine breite Palette von Anwendungen eingesetzt, darunter Grafik-Rendering, wissenschaftliche Simulationen und verschiedene KI-Arbeitslasten, während LPUs eher auf NLP- und KI-Inferenzaufgaben spezialisiert sind und für diese spezifischen Anwendungen eine höhere Leistung bieten.

Das von Jonathan Ross, einem ehemaligen Google-Ingenieur, gegründete Unternehmen Groq entstand als Reaktion auf die steigende Nachfrage nach KI-Verarbeitungsleistung, insbesondere im Bereich der KI-Inferenz, also der Anwendung von gelerntem Wissen auf neue Daten. Trotz anfänglicher Schwierigkeiten hat sich das Schicksal von Groq mit der Explosion von KI-Anwendungen wie OpenAIs ChatGPT dramatisch verändert. Der Vorstoß des Unternehmens in spezialisierte Chips, sogenannte Language Processing Units (LPUs), die Nvidias GPUs in puncto Geschwindigkeit, Kosten und Energieeffizienz übertreffen sollen. Da der Markt für KI-Chips in den kommenden Jahren voraussichtlich sprunghaft ansteigen wird, will sich Groq einen bedeutenden Anteil sichern, indem es sich auf dieses nachfragestarke Segment der Branche konzentriert.

Groq entwickelt hochspezialisierte Prozessoren, die als Tensor-Streaming-Prozessoren (TSP) bekannt sind. Die Technologie von Groq konzentriert sich auf eine hohe Leistung bei geringer Latenz, wodurch sie sich für Echtzeit-KI-Anwendungen eignet. Die Prozessoren von Groq sind für Aufgaben wie Deep Learning Inference optimiert, bei denen trainierte KI-Modelle ausgeführt werden, um Vorhersagen oder Entscheidungen auf der Grundlage neuer Daten zu treffen. Die Architektur der Groq-Prozessoren ermöglicht eine skalierbare Leistung, so dass sie große KI-Workloads bewältigen können. Dies ist besonders wichtig für Rechenzentren und Cloud-Umgebungen, in denen große Datenmengen schnell und effizient verarbeitet werden müssen. Die Leistungsstärke ist mit Energieeffizienz gepaart, was die Betriebskosten und die Umweltauswirkungen beim Betrieb großer KI- und ML-Modelle reduziert.

Neben der Hardware bietet Groq auch Software-Tools und Frameworks an, die es Entwicklern erleichtern, KI-Anwendungen auf ihren Prozessoren zu implementieren und zu optimieren. Dazu gehören Tools für die Modellbereitstellung, die Leistungsoptimierung und die Kompatibilität mit bestehenden KI-Frameworks. Die Technologie von Groq wird in verschiedenen Branchen eingesetzt, unter anderem in der Automobilindustrie, im Gesundheitswesen und im Finanzwesen. Die Prozessoren von Groq eignen sich besonders gut für Anwendungen, die eine schnelle Verarbeitung komplexer Daten erfordern, wie autonomes Fahren, medizinische Bildgebung und Finanzmodellierung.

Die Zukunftspläne von Groq sind ehrgeizig, denn das Unternehmen möchte sich weiter als wichtiger Akteur auf dem Markt für KI-Chips etablieren. Nach der Sicherung einer Series-D-Finanzierung in Höhe von 640 Millionen US-Dollar plant Groq, seine KI-Cloud-Plattform GroqCloud durch den Einsatz von über 100.000 zusätzlichen Language Processing Units (LPUs) bis Anfang 2025 zu erweitern. Dieser Cloud-Service ermöglicht es Entwicklern, KI-Anwendungen mit beliebten Modellen wie Meta’s Llama 3.1 und OpenAI’s Whisper Large V3 zu erstellen und einzusetzen.

Darüber hinaus strebt Groq eine deutliche Steigerung seiner Produktionskapazität an, mit dem ehrgeizigen Ziel, bis Ende 2025 1,5 Millionen LPUs auszuliefern. Das Unternehmen konzentriert sich auch auf globale Partnerschaften, um seine KI-Infrastruktur zu erweitern, einschließlich der Zusammenarbeit mit Unternehmen wie Aramco Digital, um groß angelegte KI-Rechenzentren aufzubauen.

Während die GPUs von Nvidia zur führenden Technologie für die KI-Entwicklung geworden sind, könnten die LPUs von Groq diese Entwicklung stören´, indem sie spezialisierte Chips anbieten, die für die KI-Inferenz optimiert sind – eine kritische Komponente von KI-Workloads. Die Technologie von Groq verspricht, schneller, effizienter und kostengünstiger für bestimmte KI-Anwendungen zu sein, was dem Unternehmen einen Vorteil in einer Branche verschafft, die zunehmend nach leistungsfähigeren und effizienteren Computing-Lösungen verlangt. Groq könnte also eine ernstzunehmender Konkurrent von Nvidia in der Halbleiterindustrie werden, insbesondere im Bereich der KI-Inferenz für kleinere Sprachmodelle.

Die Fähigkeit von Groq, zu skalieren, Top-Talente anzuziehen und seine Versprechen zu erfüllen, wird darüber entscheiden, ob das Unternehmen Nvidia ernsthaft herausfordern kann. Wenn es Groq gelingt, aus der Nachfrage nach KI-Inferenzen Kapital zu schlagen und weiterhin Innovationen zu entwickeln, hat das Unternehmen das Potenzial, die Halbleiterindustrie aufzumischen. Beim Design und der Herstellung arbeitet das Unternehmen mit Marvell zusammen. Im Unterschied zu vielen anderen Chip-Unternehmen setzt Groq zudem nicht auf TSMC, sondern auf GlobalFoundries.

Disclaimer

Die vorstehenden Darstellungen der Pyfore Capital GmbH stellen rechtlich eine Werbemitteilung dar und dienen ausschließlich Informationszwecken. Sie stellen insbesondere weder ein Angebot oder eine Aufforderung zur Abgabe eines Angebotes noch einen Rat oder eine persönliche Empfehlung bezüglich des Haltens, des Erwerbs oder der Veräußerung eines Finanzinstruments dar. Die Pyfore Capital GmbH empfiehlt, sich vor Abschluss eines Geschäftes kunden- und produktgerecht und unter Berücksichtigung Ihrer persönlichen Vermögens- und Anlagesituation beraten zu lassen und Ihre Anlageentscheidung nicht allein auf diese Veröffentlichung zu stützen. Es wird empfohlen, sich von Angehörigen der steuerberatenden Berufe über die individuellen steuerlichen Folgen des Erwerbs, des Haltens oder der Veräußerung des in dieser Unterlage beschriebenen Finanzinstrumentes beraten zu lassen.Bitte beachte die rechtlichen Hinweise.

Links zu Texten, die von einem Dritten erstellt wurden, dienen lediglich unverbindlichen Informationszwecken.

Stefan schaut auf eine mehr als 20-jährige Erfahrung in den Bereichen Aktien, festverzinsliche Wertpapiere, Derivate und Hedge Funds zurück. In seiner Tätigkeit als globaler Leiter des Quantitativen Research Teams bei ABN AMRO, hat er über 300 institutionelle Kunden in den USA, Europa und Asien zu allen Fragen des Investment Prozesses beraten. Zuvor war er 10 Jahre bei Salomon Smith Barney als Leiter des quantitativen Research Teams für Europa tätig, wo er Top Rankings in den großen Research Surveys erzielte. Stefan hat über 50 Research Veröffentlichungen zu allen Aspekten des Investment Prozesses in Aktien, festverzinsliche Wertpapiere und Währungen publiziert.

Alle Beiträge ansehen

Die Wochenkolumne von @baki_irmakM: Fed ohne Plan. Nvidia und TSMC geben Anlegern den nötigen Durchblick – The Digital Leaders Fund (DLF)

Nvidia eats the world: Die Wachstumstreiber des AI-Champions – The Digital Leaders Fund (DLF)

BYD-Aktie: Warum die EU-Strafzöllchen die Aktie beflügeln – The Digital Leaders Fund (DLF) https://hubs.la/Q02BXcSw0

In welche Höhen treiben Apple und Nvidia die TSMC-Aktie? – The Digital Leaders Fund (DLF) https://hubs.ly/Q02BXg5B0

bDie Wochenkolumne von @baki_irmakM - warum es eine Demokratieprämie gibt. Absturz des Hindu-Predigers schafft Kaufgelegenheiten in Indien – The Digital Leaders Fund (DLF)