DeepMind AI findet neue Wege, um Zahlen zu multiplizieren und Computer zu beschleunigen

DeepMind AI findet neue Wege, um Zahlen zu multiplizieren und Computer zu beschleunigen

Spread the love

Die Matrixmultiplikation – bei der zwei Zahlengitter miteinander multipliziert werden – bildet die Grundlage vieler Rechenaufgaben, und eine verbesserte Technik, die von einer künstlichen Intelligenz entdeckt wurde, könnte die Rechengeschwindigkeit um bis zu 20 Prozent steigern

Mathematik


5. Oktober 2022

Das Multiplizieren von Zahlen ist eine grundlegende Aufgabe für Computer

Dmytro Vikarchuk/Shutterstock

Eine von der Firma DeepMind entwickelte künstliche Intelligenz hat einen neuen Weg entdeckt, Zahlen zu multiplizieren, der erste derartige Fortschritt seit über 50 Jahren. Der Fund könnte einige Rechengeschwindigkeiten um bis zu 20 Prozent steigern, da eine Reihe von Software darauf angewiesen ist, die Aufgabe in großem Maßstab auszuführen.

Die Matrixmultiplikation – bei der zwei Zahlengitter miteinander multipliziert werden – ist eine grundlegende Rechenaufgabe, die bis zu einem gewissen Grad in praktisch jeder Software verwendet wird, insbesondere jedoch in Grafiken, KI und wissenschaftlichen Simulationen. Selbst eine kleine Verbesserung der Effizienz dieser Algorithmen könnte große Leistungssteigerungen oder erhebliche Energieeinsparungen bringen.

Jahrhundertelang wurde angenommen, dass die effizienteste Methode zum Multiplizieren von Matrizen proportional zur Anzahl der zu multiplizierenden Elemente wäre, was bedeutet, dass die Aufgabe für immer größere Matrizen proportional schwieriger wird.

Doch der Mathematiker Volker Strassen bewies 1969, dass die Multiplikation einer Matrix aus zwei Reihen mit zwei Zahlen mit einer anderen gleich grossen nicht unbedingt acht Multiplikationen erfordert und sich mit einem geschickten Trick auf sieben reduzieren lässt. Dieser als Strassen-Algorithmus bezeichnete Ansatz erfordert einige zusätzliche Additionen, aber dies ist akzeptabel, da Additionen in einem Computer viel weniger Zeit in Anspruch nehmen als Multiplikationen.

Der Algorithmus gilt seit mehr als 50 Jahren als der effizienteste Ansatz für die meisten Matrixgrößen, obwohl einige geringfügige Verbesserungen gefunden wurden, die sich nicht leicht an Computercode anpassen lassen. Aber die KI von DeepMind hat jetzt eine schnellere Technik entdeckt, die perfekt auf aktueller Hardware funktioniert. Die neue KI des Unternehmens, AlphaTensor, begann ohne Kenntnis von Lösungen und wurde mit dem Problem konfrontiert, einen funktionierenden Algorithmus zu erstellen, der die Aufgabe mit einer minimalen Anzahl von Schritten erledigt.

Es fand einen Algorithmus zum Multiplizieren zweier Matrizen mit vier Reihen von vier Zahlen unter Verwendung von nur 47 Multiplikationen, der Strassens 49 Multiplikationen übertrifft. Es entwickelte auch verbesserte Techniken zum Multiplizieren von Matrizen anderer Größen, insgesamt 70.

AlphaTensor entdeckte Tausende von Funktionsalgorithmen für jede Matrixgröße, darunter 14.000 allein für 4×4-Matrizen. Aber nur eine kleine Minderheit war besser als der Stand der Technik. Die Forschung baut auf AlphaZero, dem Spielmodell von DeepMind, auf und dauert zwei Jahre.

Hussein Fawzi von Deepmind sagt, die Ergebnisse seien mathematisch fundiert, aber alles andere als intuitiv für Menschen. „Wir wissen im Grunde nicht wirklich, warum das System darauf gekommen ist“, sagt er. „Warum ist es die beste Art, Matrizen zu multiplizieren? Es ist klar.”

„Irgendwie bekommen die neuronalen Netze eine Intuition dafür, was gut und was schlecht aussieht. Wie das genau funktioniert kann ich dir leider nicht sagen. Ich denke, da muss noch einige theoretische Arbeit geleistet werden, wie genau Deep Learning diese Art von Dingen bewerkstelligt“, sagt Fawzi.

DeepMind stellte fest, dass die Algorithmen die Rechengeschwindigkeit auf bestimmter Hardware wie einer Nvidia V100-Grafikprozessoreinheit (GPU) und einer Google-Tensor-Verarbeitungseinheit (TPU) v2 um 10 bis 20 Prozent steigern könnten, aber es gibt keine Garantie dafür, dass diese Gewinne dies tun würden auch auf gängigen Geräten wie Smartphone oder Laptop zu sehen.

James Knight von der University of Sussex, UK, sagt, dass eine Reihe von Software, die auf Supercomputern und leistungsstarker Hardware ausgeführt wird, wie KI-Forschung und Wettersimulation, effektiv eine groß angelegte Matrixmultiplikation ist.

„Wenn ein solcher Ansatz dort tatsächlich umgesetzt würde, könnte das eine Art universelle Beschleunigung sein“, sagt er. „Wenn Nvidia dies in ihrer CUDA-Bibliothek implementiert hat [a tool that allows GPUs to work together]würde es die meisten Deep-Learning-Arbeitslasten um einen gewissen Prozentsatz reduzieren, würde ich sagen.“

Oded Lachish von Birkbeck, University of London, sagt, dass die neuen Algorithmen die Effizienz einer breiten Palette von Software steigern könnten, da die Matrizenmultiplikation ein so häufiges Problem ist – und weitere Algorithmen werden wahrscheinlich folgen.

„Ich glaube, wir werden KI-generierte Ergebnisse für andere Probleme ähnlicher Art sehen, wenn auch selten etwas so Zentrales wie die Matrixmultiplikation. Es gibt eine erhebliche Motivation für eine solche Technologie, da weniger Operationen in einem Algorithmus nicht nur schnellere Ergebnisse bedeuten, sondern auch weniger Energie verbrauchen“, sagt er. Wenn eine Aufgabe etwas effizienter erledigt werden kann, kann sie auf weniger leistungsfähiger, weniger stromintensiver Hardware oder auf derselben Hardware in kürzerer Zeit und mit weniger Energie ausgeführt werden.

Aber die Fortschritte von DeepMind bedeuten nicht zwangsläufig, dass menschliche Programmierer arbeitslos sind. „Müssen sich Programmierer Sorgen machen? Vielleicht in ferner Zukunft. Die automatische Optimierung wird seit Jahrzehnten in der Mikrochip-Designindustrie durchgeführt, und dies ist nur ein weiteres wichtiges Werkzeug im Arsenal des Programmierers“, sagt Lachish.

Zeitschriftenreferenz: NaturDOI: 10.1038/s41586-022-05172-4

Mehr zu diesen Themen:

.

Leave a Comment

Your email address will not be published.