Serge – LLaMA made easy ist eine einfache Möglichkeit selbst einen KI Chatsystem wie ChatGPT zu betreiben. Die Vorteile sind hier, dass ihr alle Daten auf eurem Server habt und es so offline nutzen sowie datenschutzkonform betreiben könnt. In dieser Anleitung zeige ich euch, wie ihr in wenigen Minuten mit Serge eine ChatGPT Alternative betreiben könnt. Dazu nutzen wir Docker, Docker Compose sowie Traefik.
| Datum | Änderungen |
|---|---|
| 08.08.2022 | Erstellung dieser Anleitung. |
0. Grundvoraussetzung
- Docker & Docker Compose v2 (Debian / Ubuntu)
- TRAEFIK V2 + 3 – REVERSE-PROXY MIT CROWDSEC IM STACK EINRICHTEN
1. Ordner erstellen
Zuerst erstellen wir uns einen neuen Ordner.
mkdir -p /opt/containers/serge
2. Docker Compose anlegen
Nun legen wir die eigentliche Docker Datei an. Diese dient dazu unseren späteren Container zu erstellen.
nano /opt/containers/serge/docker-compose.yml
Bei diesem Inhalt handelt es sich um exklusiven Content für Community Plus Mitglieder und Supporter.
Bitte logge dich mit deinem Account ein um den Inhalt zu sehen.
4. Model downloaden
Wenn ihr nun auf eure Domain geht, solltet ihr folgendes sehen:
Nun klickt ihr auf “Download Models”. Dort könnt ihr euer GPT Modell auswählen.
Hier stehen euch jetzt sehr viele Models zur Auswahl.
Wichtig ist, dass ihr darauf achtet, dass euer Server genug RAM und Festplattenspeicher hat. Mehr Details zum RAM findet ihr direkt beim Hersteller.
Nach dem ihr das Model euer Wahl heruntergeladen habt, könnt ihr ganz “normal” chatten.
Hinweis
Ein vServer / RootServer ist nicht unbedingt der optimale Ort um ein KI Chatbot bereitzustellen, da ihr hier sehr hohe Performance Anforderungen an CPU und GPU habt. Dementsprechend wir der Bot nicht so schnell laufen, wie wenn ihr ihn lokal auf einem performanten PC betreiben würdet.
