KoboldCPP 1.98.1

Open-Source-Tool und leichtgewichtig für die lokale Ausführung von Sprachmodellen im GGUF-Format, wie die, die auf LLaMA, RWKV und anderen basieren.

Beschreibung

KoboldCPP ist ein leichtgewichtiges, open-source Tool zur lokalen Ausführung von Sprachmodellen im GGUF-Format, wie z.B. basierend auf LLaMA, RWKV und anderen. Entwickelt als Alternative zu KoboldAI, bietet es eine einfache grafische Benutzeroberfläche und API-Unterstützung, die eine Interaktion mit KI-Modellen direkt auf Ihrem Computer ermöglicht.

Hauptfunktionen

Lokale Ausführung von GGUF-Modellen: Unterstützt quantisierte Modelle in 4-Bit oder 8-Bit, ideal für den Einsatz auf durchschnittlicher Hardware. Kompatibel mit Modellen wie RWKV, LLaMA und anderen.

Grafische Benutzeroberfläche und API: Beinhaltet die KoboldAI Lite, mit Modi wie Chat, Abenteuer und Unternehmensassistent. Ermöglicht auch die Integration über API mit verschiedenen Endpunkten.

Text-, Bild- und Audioerzeugung: Unterstützt die Texterzeugung mit LLM-Modellen, Bilder mit Stable Diffusion sowie Spracherkennung und -synthese über Whisper und OuteTTS.

Überlegungen

Unterstützte Formate: KoboldCPP ist mit Modellen im GGUF-Format kompatibel. Modelle in anderen Formaten, wie GPTQ oder Safetensors, werden nicht unterstützt.

Hardware-Anforderungen: Für bessere Leistung, insbesondere bei der Verwendung von GPUs, wird empfohlen, die Kompatibilität Ihrer Hardware mit den Anforderungen des gewählten Modells zu überprüfen.

KoboldCPP ist eine praktische und effiziente Lösung für alle, die KI-Modelle lokal ausführen möchten, ohne auf Cloud-Services angewiesen zu sein, wobei die Kontrolle über die Daten und die maximale Nutzung der verfügbaren Hardware bleibt.

Technisches Datenblatt

Version: 1.98.1

Lizenz: Kostenlos

Sprache: Englisch

Plattform: Windows

Dateityp: EXE

Entwickler: Lost Ruins

Kategorie: Dienstprogramme/Datenbank

Aktualisiert: 27.08.2025