| Empfohlen…. Auf dem Weg zur besten Datenstrategie: Management, Analyse und KI. Treffen der ITDM-Gruppe Zugreifen Bekämpfen Sie unbekannte Bedrohungen mit Cisco-Technologien (20. Juni, 11:00 Uhr) Webinar Zehn Fragen zur Neudefinition von Customer Experience-Strategien im Jahr 2024 Lesen |
Fastly hat die Einführung von Fastly AI Accelerator angekündigt, einer KI-Lösung, die Entwicklern ein besseres Erlebnis bieten soll, indem sie durch die Verwendung ähnlicher Eingabeaufforderungen für LLM-Anwendungen (Large Language Model) die Leistung verbessert und die Kosten senkt.
AI Accelerator basiert auf der Edge-Cloud-Plattform von Fastly und nutzt deren Caching-Technologie. Er nutzt ein spezielles API-Gateway, um die Leistung von Anwendungen mithilfe beliebter LLMs erheblich zu verbessern, angefangen bei ChatGPT bis hin zur Erweiterung der Unterstützung um zusätzliche Modelle.
Mit Fastly AI Accelerator müssen Entwickler ihre Anwendung nur aktualisieren, um einen neuen API-Endpunkt zu verwenden, was normalerweise nur die Änderung einer einzigen Codezeile erfordert. Fastly AI Accelerator implementiert transparent semantisches Caching für OpenAI-kompatible APIs. Dieser Ansatz geht über das herkömmliche Caching hinaus, da Fastly AI Accelerator in der Lage ist, den Kontext von Anfragen und Abfragen zu verstehen und eine ähnliche Antwort zu senden, wenn zwei oder mehr Anfragen ähnlich sind.
Die beliebtesten KI-Anwendungen können Hunderttausende API-Aufrufe oder Fragen pro Tag verarbeiten. Viele Ihrer Benutzerfragen sind wahrscheinlich sehr ähnlich und wurden schon einmal gestellt. Ohne semantisches Caching muss bei jedem Aufruf des LLM zum Anbieter zurückgekehrt werden, um die Informationen abzurufen, was die Kosten und die Latenz erhöht. Das semantische Caching von Fastly, AI Accelerator, stellt jedoch eine zwischengespeicherte Antwort für wiederholte Abfragen direkt von der leistungsstarken Edge-Plattform von Fastly und nicht zurück zum KI-Anbieter bereit und trägt so zu einem besseren Erlebnis bei, indem die Leistung verbessert und gleichzeitig die Kosten gesenkt werden.
„Bei Fastly hören wir den Entwicklern immer zu, um zu verstehen, was sie begeistert und was ihre größten Probleme sind“, sagte Anil Dash, VP of Developer Experience bei Fastly. „Fastly AI Accelerator bietet Entwicklern genau das, was sie wollen, und macht das Erlebnis ihrer bevorzugten LLMs viel schneller und effizienter, sodass sie sich auf das konzentrieren können, was ihre App oder Website einzigartig macht und was ihre Kunden zu zufriedenen Benutzern macht.“
