Nvidia hat die Funktionen von Chat for RTX (ChatRTX) erweitert, indem es in der neuesten Version Unterstützung für zusätzliche große Sprachmodelle (LLMs) sowie Seh- und Sprachunterstützung hinzufügt. Der kostenlose und lokale Chatbot muss während der Arbeit mit Benutzerinformationen keine Daten online senden, wodurch die Privatsphäre von Chats gewahrt bleibt.
Verschiedene LLMs eignen sich für unterschiedliche Zwecke: allgemeine Chats, wissenschaftliche Arbeiten, Verfassen von Aufsätzen usw. Einige LLMs verfügen außerdem über eine strenge Schulung zur Zensur von Ausgaben, sodass bestimmte LLMs nützlicher sind als andere. Zu den bisher verfügbaren TensorRT-LLM-Modellen gehörten standardmäßig das Mistral-Modell sowie Llama 2. Nvidia hat ChatRTX für einige neue Modelle geöffnet, Gemma und ChatGLM3.
Gemma ist ein von Google DeepMind entwickeltes LLM, das 2024 als Modelle mit zwei und sieben Milliarden Parametern veröffentlicht wurde. Die Modelle sind hochgradig darauf abgestimmt, sensible Sprache, persönliche Informationen sowie riskante oder gefährliche Reaktionen herauszufiltern.
ChatGLM3 ist ein von Zhipu AI und Tsinghua KEG entwickeltes LLM, das 2023 als Modell mit sechs Milliarden Parametern eingeführt wurde. Das zweisprachige Chinesisch-Englisch-Modell wurde als starker Open-Source-Konkurrent zu ChatGPT von OpenAI konzipiert.
Nvidia hat den OpenAI CLIP von OpenAI zu ChatRTX hinzugefügt, um Bilder automatisch zu erkennen und zugehörigen Text zuzuordnen. Wenn CLIP beispielsweise ein Bild eines Fernsehmoderators, von Sendekameras und Lichtern in einem Raum empfängt, kennzeichnet es das Bild als Foto aus einem Fernsehstudio. Dadurch kann ChatRTX mit Bildern arbeiten, ohne dass der Inhalt manuell markiert werden muss. Das Whisper-Spracherkennungssystem von OpenAI wurde ebenfalls zu ChatRTX hinzugefügt, sodass Benutzer ChatRTX Anweisungen vorsprechen können.
Leser, die einen lokalen Chatbot ausprobieren möchten, können Nvidia ChatRTX hier herunterladen, sofern sie die folgenden Systemanforderungen erfüllen. Der lokale Chatbot funktioniert auf PCs mit einer Grafikkarte der Nvidia GeForce RTX 30- oder 40-Serie und Ada-basierte Grafikkarten mit mindestens 8 GB VRAM werden ebenfalls unterstützt. Wer keine kompatible Karte hat, kann bei Amazon eine schnelle Nvidia kaufen. Weitere Systemvoraussetzungen sind Windows 11, 16 GB RAM, mindestens 35 GB freier Speicherplatz und Treiberversion 535.11 oder höher.
