01.04.25: 9. ERFA-Treffen |Lokale KI: LMStudio, OLLAMA, AnythingLLM, ComfyUI, Pinokio, OpenWebUI

Anmeldungen, Stand 01.04.25 : 11

Agenda

Lokale KI: LMStudio, OLLAMA, AnythingLLM, ComfyUI, Pinokio, OpenWebUI

Nachdem wir im Mai 2024 schon LMStudio kennengelernt haben, eine App mit der man freie Ki-Modelle wie Meta Lama x auf eigener Hardware (PC) betreiben kann, werden wir uns nun 3 weitere lokalen Installationen intensiver anssehen.

Zunächst betrachten wir die einzelnen Installationsmöglichkeiten (WINDOWS-APP, LINUX-Sub-System unter WINDOWS, node, OpenWebUI, ).

Beide Lösungen bieten egenüber LMStudio nun auch RAG-Technologien, d.h. wir können in einem workspace eigene Dokumente hochladen, die in einer besonderen DB aufbereitet werden und danach für Chats verfügbar sind. Damit kann man sensible Dokumente komplett im eigenen Haus nutzen und nicht über eine Drittanbieter-Lösung in einer (Private)-Cloud. 

• Unzensierte LLM's lokal auf eigener Hardware mit der Trainingsmöglichkeit eigener Daten.