Wie ChatGPT aber lokal und sicher und mit deinen Daten

Ich war schon länger auf der Suche nach einer Möglichkeit, lokal und völlig unabhängig mit meinen eigenen Daten zu arbeiten. Ich wollte eine KI, die sich in meine bestehenden Tools wie Obsidian (lokale Datenbank) integrieren lässt und mir erlaubt, auf gespeicherte PDFs und Notizen zuzugreifen, ohne dass diese Daten über irgendeinen Server laufen müssen.

Da bin ich auf Msty.app gestossen – und das Tool hat mich schnell überzeugt auch wenn mein Laptop zwischendrin immer wieder heiss lief.

Das ist keine Werbung sondern ein Erfahrungsbericht.

Setup und erste Schritte: Schnell und einfach

Was mir sofort auffiel: Die Einrichtung war unkompliziert. Msty läuft auf Windows, Mac und Linux, und der gesamte Prozess funktioniert ohne technische Hürden. Gleich zu Beginn konnte ich ein lokales Modell installieren – Llama-2 in meinem Fall – und direkt mit der Arbeit loslegen. Das Beste daran? Msty läuft auch komplett offline. Ein klarer Vorteil, wenn es um Datenschutz geht, oder wenn ich einfach flexibel arbeiten will, egal ob ich gerade eine stabile Internetverbindung habe oder nicht.

Ich kann aber auch via API zB Perplexity einbinden und dann recherchieren.

Wissen jederzeit griffbereit: Der „Knowledge Stack“

Ein Highlight war für mich der „Knowledge Stack“. Hier kann ich PDFs, Textdateien und sogar Transkripte von YouTube-Videos einbinden, und die KI greift in ihren Antworten auf diese Daten zurück. Das bedeutet, dass ich meine Obsidian-Notizen zu bestimmten Projekten hochladen kann und dann direkt zu den spezifischen Themen abfragen kann, die mich interessieren. Anstatt mich durch Dokumente zu wühlen, gibt mir Msty gezielte Antworten auf meine Fragen, basierend auf den Dokumenten, die ich integriert habe.

Das dauert aber manchmal etwas länger.

Beispiel: Ich habe beispielsweise Marktberichte und interne Analysen hochgeladen. Eine simple Frage wie „Welche Trends gibt es im Bereich E-Commerce?“ wird nun direkt aus meinen eigenen Daten beantwortet – ohne dass ich ein einziges Dokument manuell durchsuchen muss.

Multiverse Chat: Modelle vergleichen leicht gemacht

Ein weiteres cooles Feature ist der „Parallel Multiverse Chat“. Hier kann ich mehrere Modelle parallel laufen lassen und ihre Antworten direkt nebeneinander vergleichen. Diese Funktion ist Gold wert, wenn ich verschiedene Perspektiven oder Schreibstile ausprobieren will oder einfach mal kreativ brainstormen möchte.

Beispiel: Bei meiner Recherche zu neuen digitalen Geschäftsmodellen konnte ich zum Beispiel ein kreatives Sprachmodell und ein eher technisches Modell gleichzeitig befragen und deren Antworten nebeneinander sehen. Das hat oft ganz neue Ansätze und Sichtweisen hervorgebracht, die ich sonst vielleicht übersehen hätte.

Prompt-Bibliothek: Struktur für präzise Antworten

Zusätzlich gibt es in Msty eine Bibliothek mit vorgefertigten Prompts, die dabei hilft, Antworten noch gezielter zu gestalten. Besonders hilfreich finde ich die Möglichkeit, eigene Prompts zu speichern, so kann ich einmal erstellte Abfragen immer wieder verwenden und spare mir viel Zeit bei wiederkehrenden Aufgaben.

Beispiel: Für verschiedene Analysearten habe ich eigene Prompts erstellt, die mir spezifische Informationen liefern. Ein Klick, und die KI versteht sofort, wonach ich suche – das ist besonders praktisch, wenn ich eine Reihe von Aufgaben mit ähnlichem Fokus abarbeiten möchte.

Ein paar Hintergründe

Lokale KI-Modelle stellen einen wichtigen Trend in der Entwicklung künstlicher Intelligenz dar. Sie bieten Lösungen für kritische Herausforderungen in Bezug auf Datenschutz, Latenz und Offline-Funktionalität. Während sie cloud-basierte Systeme nicht vollständig ersetzen werden, ergänzen sie diese in vielen Anwendungsbereichen und treiben die Innovation in Richtung dezentraler, datenschutzfreundlicher KI-Lösungen voran.

Die Integration lokaler Modelle in bestehende IT-Infrastrukturen und die Entwicklung hybrider Systeme, die lokale und cloud-basierte Verarbeitung kombinieren, werden in den kommenden Jahren zentrale Themen der KI-Forschung und -Entwicklung sein.

Msty.app: Eine umfassende Lösung für KI-Anwendungen

Msty.app ist eine Desktop-Anwendung, die sowohl lokale als auch Online-KI-Modelle unterstützt. Hier sind die wichtigsten Fakten:

Systemanforderungen

• Betriebssysteme: Windows, Mac, Linux

• Empfohlene Hardware:

  • Prozessor: Mindestens Dual-Core, Quad-Core oder besser für optimale Leistung

  • Arbeitsspeicher: Mindestens 4 GB, 8 GB oder mehr empfohlen

  • Festplattenspeicher: Mindestens 3 GB, zusätzlicher Speicher für lokale Modelle nötig

Installation und Einrichtung

1. Download von msty.app

2. Installation der Anwendung

3. Optionen nach der Installation:

   • Lokale KI einrichten (z.B. Tiny Dolphin Modell, 637 MB)

   • Online-Modell-Anbieter hinzufügen (API-Schlüssel erforderlich)

   • Ollama-Modelle integrieren

Kernfunktionen

• Offline-Nutzung möglich

• Parallele Chats mit mehreren KI-Modellen

• Websuche-Funktion für Echtzeit-Daten

• Zugriff auf Modelle von Hugging Face, Ollama und Open Router

• Prompt-Bibliothek mit vordefinierten und anpassbaren Prompts

Datenschutz

• Keine persönlichen Informationen verlassen den Computer

• Volle Kontrolle über Daten und Gespräche

Benutzerfreundlichkeit

• Intuitive Oberfläche

• Keine tiefgreifenden technischen Kenntnisse erforderlich

• Separate Einstellungsbereiche für verschiedene Funktionen

Vergleich zu anderen lokalen KI-Lösungen

Msty vs. GPT4all

Msty bietet im Vergleich zu GPT4all mehrere Vorteile:

1. Benutzerfreundlichkeit:

   • Einrichtung mit einem Klick

   • Keine Kommandozeile oder Docker erforderlich

   • Intuitive Benutzeroberfläche

2. Vielseitigkeit:

   • Unterstützung lokaler und Online-Modelle

   • Zugriff auf verschiedene Modellanbieter

   • Möglichkeit zur parallelen Nutzung mehrerer Modelle

3. Erweiterte Funktionen:

   • "Multiverse Chats" zum Modellvergleich

   • Integrierte Websuche

   • RAG (Retrieval-Augmented Generation) mit Knowledge Stack

   • Flowchat™ zur Visualisierung von Konversationen

4. Datenschutz und Kontrolle:

   • Offline-first Ansatz

   • Volle Kontrolle über Modelle und Daten

5. Anpassungsmöglichkeiten:

   • Erweiterbare Prompt-Bibliothek

   • Mehrere Arbeitsbereiche

   • Möglichkeit, Medien an Chats anzuhängen

Ollama

Ollama ist eine weitere Option für lokale KI-Lösungen:

• Open-Source-Software

• Ermöglicht lokales Hosting und Nutzung bekannter Sprachmodelle wie Llama 2 oder Falcon

• Einfacher Download und Ausführung verschiedener KI-Modelle auf dem eigenen Computer

Ist lokal und Open Source die Zukunft?

Lokale KI-Lösungen wie Msty und Ollama bieten sicherlich den Nutzer:Innen die Möglichkeit, KI-Modelle offline und mit hoher Datensicherheit zu verwenden.

Nach meinen Tests die letzten Wochen mit Msty zeichnet sich das Tool durch seine Benutzerfreundlichkeit, Vielseitigkeit und erweiterte Funktionen aus, es braucht aber auch Geduld und mit Teams und 20 Browser Tabs im Hintergrund kommt auch mein Laptop an sein Limit.

Nichtsdestotrotz: Für mich hat Msty.app eine echte Lücke geschlossen. Es ist ein Tool, das lokal und datenschutzkonform arbeitet und sich nahtlos an meine Bedürfnisse anpasst. Ich kann meine Daten auf meinem eigenen System sicher verarbeiten und gleichzeitig die Vorteile der modernen KI-Technologie voll auskosten.

Msty ist für mich zur klaren Alternative zu ChatGPT und anderen Online-KI-Diensten geworden, besonders wenn es um den Umgang mit sensiblen Daten und die Integration eigener Wissensquellen geht.

Wenn du mehr wissen möchtest, schreib mir gerne auf diese E-Mail antwortest. Ich freue mich von dir zu lesen.

Wöchentliche Live Updates

Willst Du informiert bleiben? Dann melde dich an für unsere wöchentlichen Update Calls - immer Montags, auf Zoom, ab 18:30 für 30 Minuten. Hier gehts zur Anmeldung und hier gehts zum Podcast mit KI Power News

SKOOL Community

Willst Du mehr erfahren zur künstlichen Intelligenz und von spannenden Vorlagen, Kurse und monatlichen Co-Workings profitieren? Für nur EUR 29,-/Mt bist Du dabei auf SKOOL. Jetzt Vorzugspreis sichern.

Fragen zu KI und Digitalen Geschäftsmodellen? #fragRoger

Willst du mehr wissen? Sehr gerne komme ich auch bei Dir, bei deiner Firma, deiner ERFA Gruppe oder deinem Verband vorbei und helfe mit einem Workshop oder Input Referat.

Lass uns gerne mal unverbindlich sprechen. Also wenn ich helfen kann, wende dich gerne an mich #fragRoger 

Disclaimer: dieser Artikel wurde nach meiner Recherchen mit KI (Perplexity und Gemini) selbst geschrieben, mit Deepl Write verbessert und Mistral zusammen gefasst und vereinfacht. Das Bild stammt von Ideogram und ist selbst erstellt. Dieser Artikel ist rein edukativ und erhebt keinen Anspruch auf Vollständigkeit. Bitte melde dich, wenn Du Ungenauigkeiten feststellst, danke.