MADRID, 25. Juni (Portaltic/EP) –
Große Sprachmodelle (L.L.M.das Akronym im Englischen) erfordern einen hohen Verarbeitungs- und Energieaufwand für die Ausführung, was ihren Einsatz auf Geräten mit eingeschränkteren Funktionen, wie z. B. Mobiltelefonen, einschränkt.
Qualcomm geht dieses Problem mit an Quantifizierung von LLMeine Technik, die, wie er erklärt, dazu dient, „die Präzision der in Berechnungen verwendeten Zahlen zu verringern, was wiederum die Größe des Modells und die für seine Ausführung erforderlichen Ressourcen verringert“.
“Zum Reduzieren Sie Größe und Rechenaufwand Durch die Einführung von LLMs können KI-Anwendungen leichter zugänglich werden und auf einer breiteren Palette von Geräten, von Smartphones bis hin zu IoT-Geräten, effizienter ausgeführt werden“, sagte Mart van, Ingenieur, leitender Angestellter/Manager bei Qualcomm Technologies Netherlands BV. Baalen und Senior Director für Software Engineering bei Qualcomm Technologies, Inc., Abhijit Khobare.
Von den verschiedenen Techniken, die in die Quantifizierung einbezogen werden, heben Forscher die Vektorquantisierung hervor, weil sie dazu führt effizientere Komprimierung und weniger Informationsverlust indem man sich für die gemeinsame Verteilung der Parameter entscheidet, anstatt jeden Parameter einzeln zu quantifizieren.
Entwickler können mit auf diese Techniken zugreifen KI-Modelleffizienz-Toolkit, eine Bibliothek, die Quantifizierungstechniken und Modellverständnis für das Training bietet, und innerhalb Qualcomm AI Hubdas bereits über mehr als hundert optimierte Modelle verfügt, aber auch die Verwendung eigener Modelle ermöglicht.
Letzteres erlaubt, als Neuheit, Führen Sie die Modelle auf den integrierten Geräten aus Snapdragon X Elite, ein Qualcomm-Prozessor für Computer mit der Fähigkeit, generative KI-Modelle mit mehr als 13 Milliarden Parametern auszuführen. Es ist unter anderem mit Facebook Denoiser, Llama2, OpenAI Clip, Riffusion, Stable Diffusion v2.1 und Whisper kompatibel.
Löwenmaul Computer, die für das KI-Zeitalter entwickelt wurdenwie die Copilot+-PCs mit Microsoft Windows.
