KI- Chiphersteller Cerebras Systems wird Cheftrainer für neuronale Netze

KI- Chiphersteller Cerebras Systems wird Cheftrainer für neuronale Netze

San Francisco, 1.9.2021

Der KI-Chiphersteller Cerebras Systems gab bekannt, dass seine Hardware ein neuronales Netzwerk mit 120 Billionen Parametern unterstützen kann – das 100-fache dessen, was heute verfügbar ist. Das Startup stellte eine neue Architektur vor, die KI-Modelle unterstützt, die größer sind als das menschliche Gehirn, das etwa 100 Billionen Synapsen hat.

Cerebras hat den Grundstein für einen „monumentalen Sprung im Umfang und Potenzial von KI-Modellen“ gelegt, berichtet TechRadar. Der CS-2-Computer von Cerebras ist darauf ausgelegt, größere neuronale Netze schnell zu trainieren. Der Prozessor des CS-2 ist die Wafer Scale Engine (WSE-2), der schnellste KI-Prozessor und größte Computerchip, der je gebaut wurde.

Ein einzelner WSE-2-Chip im Wafer-Maßstab enthält 2,6 Billionen Transistoren und 850.000 KI-optimierte Kerne.

Durch die Einführung neuer Technologien namens Weight Streaming und MemoryX kann ein einzelner CS-2 nun ein neuronales Netz mit bis zu 120 Billionen Parametern trainieren. Mehr Parameter bedeuten ein anspruchsvolleres KI-Modell.

Der größte Grafikprozessor hat im Vergleich dazu 54 Milliarden Transistoren. Sie „erreichen in der Regel maximal 1 Billion Parameter“. Die meisten der größten KI-Modelle von heute werden von GPU-Clustern angetrieben.

Cerebras stellte auch seine SwarmX-Hardware vor, mit der bis zu 192 CS-2 im Tandem an einem Netzwerk arbeiten können, was das KI-Training beschleunigt.

Das im Silicon Valley ansässige Startup hat bisher 475 Mio. $ aufgebracht. Es hat bereits Verträge mit GlaxoSmithKline und AstraZeneca unterzeichnet, die seine Chips zur Erforschung neuer Medikamente einsetzen.