8. Dienst starten
Uff! Das war wirklich eine lange und gründliche Anleitung bis jetzt. Ich habe mein Bestes gegeben, um viele Aspekte direkt zu erläutern und das Verständnis für die Funktionsweise sowie den Aufbau des Stacks zu erleichtern.
Bevor wir den finalen Schritt gehen und den Dienst starten, möchte ich dir folgendes ans Herz legen: Nimm dir einen Moment Zeit, um nochmal alle Schritte durchzugehen und sicherzustellen, dass alle Dateien richtig erstellt und korrekt befüllt wurden.
8.1. Checkliste
- Wurden alle
.env-Dateien korrekt konfiguriert? - Ist die
docker-compose.ymlmit den richtigen Einbindungen versehen? - Sind alle Einträge in den Middleware-Dateien (
traefik-bouncer,default) korrekt eingetragen? - Wurde die Traefik-Konfiguration (
traefik.yml,tls.yml,http.middlewares.default.yml) richtig angelegt?
Jetzt, bevor du weitermachst: Gönn dir eine kurze Pause, entspann dich, streck dich mal und lass deine Augen etwas Erholung vom Bildschirm haben. Mit frischem Kopf und voller Energie sind wir dann bereit für den nächsten Schritt! ☕️☕️☕️
Bereit?
Dann gehen wir jetzt in das Verzeichnis des Projekts:
cd /opt/containers/traefik-crowdsec-stack
Und starten den Dienst mit Docker Compose:
docker compose up -d
Unsere URL für das Traefik-Dashboard, welche wir in Kapitel: “7.3.1. Allgemeine .env-Datei” unter SERVICES_TRAEFIK_LABELS_TRAEFIK_HOST festgelegt haben, sollte jetzt erreichbar sein. Beim Aufrufen der Seite wird ein Benutzername und Passwort abgefragt, um den Zugriff zu sichern.
🚀🚀🚀 Fertig, oder?
Wir sind fast durch, aber es gibt noch ein paar abschließende Dinge, die wir erledigen sollten. Als nächstes kümmern wir uns um die Überprüfung dieses Setup.
Bleib also dran, wir sind schon fast am Ziel!
9. Traefik-CrowdSec-Stack überprüfung
Natürlich sollten wir zwischendurch und gemäß dieser Anleitung immer wieder überprüfen, ob alles funktioniert, wie es sollte. Das tun wir jetzt nach all diesen Schritten.
Wir haben den Container ja bereits gestartet. Als erstes überprüfen wir, ob alle Container als “healthy” (gesund) markiert sind:
cd /opt/containers/traefik-crowdsec-stack docker compose ps
root@test-01:/opt/containers/traefik-crowdsec-stack# docker compose ps WARN[0000] The "BOUNCER_KEY_FIREWALL" variable is not set. Defaulting to a blank string. NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS crowdsec crowdsecurity/crowdsec:latest "/bin/bash /docker_s…" crowdsec 48 minutes ago Up 5 minutes (healthy) socket-proxy lscr.io/linuxserver/socket-proxy:latest "/docker-entrypoint.…" socket-proxy 48 minutes ago Up 5 minutes (healthy) traefik traefik:3.1 "/entrypoint.sh trae…" traefik 48 minutes ago Up 5 minutes (healthy) 0.0.0.0:80->80/tcp, :::80->80/tcp, 0.0.0.0:443->443/tcp, :::443->443/tcp traefik_crowdsec_bouncer fbonalair/traefik-crowdsec-bouncer:latest "/app" traefik_crowdsec_bouncer 48 minutes ago Up 5 minutes (healthy) root@test-01:/opt/containers/traefik-crowdsec-stack#
Wenn wir alles richtig gemacht haben, sind alle Container als “healthy” markiert.
Dann rufen wir das Traefik-Dashboard mit der zuvor festgelegten URL auf. Das Dashboard sollte sich öffnen und auch ein valides LE-Zertifikat haben.
Beim Öffnen des Dashboards werden auch Logdateien erstellt, und diese überprüfen wir als nächstes:
cd /var/log/traefik ls -all cat traefik.log cat access.log
Hier sollten wir idealerweise die Dateien traefik.log und access.log finden, und in beide sollte etwas geschrieben sein. Wenn die Datei access.log nicht vorhanden ist, ist das kein Beinbruch, sollte aber beobachtet werden.
Wenn das alles passt, betrachten wir mit dem Befehl:
docker exec crowdsec cscli metrics
die ganz oben stehenden Acquisition Metrics. Dort sollte nun mit der Zeit die access.log vorhanden sein.
10. Optional
Es gibt noch einige optionale Punkte. Diesen Bereich werde ich nach und nach erweitern bzw. auf vorhandene Anleitungen verweisen!
10.1. CrowdSec aktuell halten
Die aus dem CrowdSec Hub bezogenen COLLECTIONS, PARSERS, SCENARIOS, POSTOVERFLOWS und CONTEXTS werden größtenteils von der Community gepflegt und regelmäßig auf neue CrowdSec-Versionen angepasst. Um sicherzustellen, dass wir keine veralteten Versionen verwenden oder in Fehler laufen, ist es sinnvoll, diese Komponenten regelmäßig zu aktualisieren.
In der früheren Anleitung hatten wir dafür einen Cronjob eingerichtet, der das Update innerhalb des Containers ausgeführt hat. Allerdings ist dies in der aktuellen Form nicht mehr notwendig und wird auch nicht empfohlen. Stattdessen reicht es aus, den CrowdSec-Container gelegentlich neu zu starten. Besonders vor dem Ausführen von docker compose pull sollte sichergestellt werden, dass CrowdSec die neuesten Versionen aus dem Hub geladen hat.
Es ist dennoch denkbar, einen Cronjob einzurichten, der den Container regelmäßig neu startet:
Cronjob einrichten
Um einen Cronjob zu konfigurieren, der den CrowdSec-Container alle 3 Tage neu startet, bearbeite die Crontab-Datei:
crontab -e
Wir fügen den folgenden Eintrag hinzu:
0 3 */3 * * docker compose -f /opt/containers/traefik-crowdsec-stack/docker-compose.yml restart crowdsec
Dieser Cronjob startet den CrowdSec-Container alle 3 Tage um 3 Uhr morgens neu.
Wichtiger Hinweis:
Wir müssen dabei stets bedenken, dass ein automatischer Neustart auch Risiken birgt. Wenn wir unseren Server und das Setup nicht aktiv überwachen und beim Update von CrowdSec etwas schiefgeht, besteht die Gefahr, dass der Server oder die über Traefik laufenden Anwendungen nicht mehr erreichbar sind.
10.2. Traefik-CrowdSec-Stack Update
Um den Stack aktuell zu halten und Updates ordnungsgemäß durchzuführen, empfehlen wir die folgende Befehlsabfolge:
cd /opt/containers/traefik-crowdsec-stack/ docker compose restart crowdsec docker compose down docker compose pull docker compose up -d
Erklärung der Schritte:
- Verzeichnis wechseln: Wir wechseln in das Verzeichnis, in dem die Docker-Compose-Dateien des Stacks liegen.
- CrowdSec neustarten: Dies aktualisiert die COLLECTIONS, PARSERS, SCENARIOS, POSTOVERFLOWS und CONTEXTS, um sicherzustellen, dass keine Fehler aufgrund von veralteten Versionen auftreten.
- Stack herunterfahren: Dies sorgt dafür, dass der Stack sauber beendet wird, was langfristig hilft, unnötige Logdateien zu vermeiden.
- Aktualisieren des Stacks: Mit diesem Befehl werden die neuesten Versionen der Docker-Images heruntergeladen.
- Stack neu starten: Der aktualisierte Stack wird im Hintergrund wieder hochgefahren.
Durch diese Schritte wird der Stack regelmäßig aktualisiert und mögliche Probleme mit neuen Versionen von CrowdSec oder Traefik werden minimiert.
10.3. Erweiterung der Firewall (UFW bzw. IPTables und NFTables) mit CrowdSec
Jetzt erweitern wir unsere Firewall mithilfe des CrowdSec Firewall Bouncers, um unser System besser vor Angriffen zu schützen. In dieser Anleitung haben wir CrowdSec bereits über Docker in unser System integriert. Nun möchten wir den Firewall-Bouncer direkt auf unserem System installieren und ihn mit dem CrowdSec, das in einem Docker-Container läuft, verknüpfen. Dadurch können wir die Firewall effizient erweitern und Angriffe direkt auf Netzwerkebene abwehren.
10.3.1. Repository für CrowdSec Firewall Bouncer
Um den Firewall Bouncer zu installieren, müssen wir das entsprechende Repository einbinden. Auch wenn die Pakete in einigen Distributionen verfügbar sind, empfiehlt die Dokumentation von CrowdSec, das offizielle Repository hinzuzufügen. Wir führen den folgenden Befehl aus, um die benötigten Repositorys hinzuzufügen:
curl -s https://install.crowdsec.net | sudo sh
Dieser Befehl richtet die erforderlichen Repositorys auf unserem System ein.
10.3.2. Installation des Firewall Bouncers
Abhängig von der verwendeten Firewall (UFW, IPTables oder NFTables) installieren wir das passende Paket. Die Pakete für den CrowdSec Firewall Bouncer sind jetzt über unsere Repositories verfügbar.
UFW + IPTables:
apt install crowdsec-firewall-bouncer-iptables
NFTables:
apt install crowdsec-firewall-bouncer-nftables
10.3.3. Access Token generieren
Ähnlich wie im Schritt 7.3.6. API Key für den CrowdSec Bouncer für Traefik generieren benötigen wir nun ein Passwort für den CrowdSec Bouncer für die Firewall.
Der Access Token wird wie folgt generiert:
BOUNCER_PASSWORD=$(openssl rand -base64 48 | tr -dc 'a-zA-Z0-9!@#$%^&*()-_=+[]{}<>?|')
echo "BOUNCER_KEY_FIREWALL=\"$BOUNCER_PASSWORD\"" >> /opt/containers/traefik-crowdsec-stack/.env
echo "Generated BOUNCER_KEY_FIREWALL: $BOUNCER_PASSWORD"
Generated BOUNCER_KEY_FIREWALL: t/PCqkXRE7Qlm4kGCYUNEiW5LSLvobRMeZ00YN01zpXCHdlYK98ji3ZrGQNNc3H+ root@test-01:/opt/containers/traefik-crowdsec-stack#
Nun speichern wir uns den generierten Schlüssel noch kurz in einem Textdokument oder ähnlichem ab, da wir ihn in Schritt 10.3.4. wieder benötigen.
Damit haben wir unserem Stack den BOUNCER_KEY_FIREWALL hinzugefügt. Damit dieser vom Stack angenommen wird, müssen wir den Stack einmal neu starten:
cd /opt/containers/traefik-crowdsec-stack/ docker compose down docker compose up -d
10.3.4. Bouncer konfigurieren
Um die Konfiguration des Bouncers anzupassen, öffnen wir die Konfigurationsdatei mit folgendem Befehl:
nano /etc/crowdsec/bouncers/crowdsec-firewall-bouncer.yaml
Die Datei sieht zunächst folgendermaßen aus:
api_url: http://127.0.0.1:8080/ api_key: <API_KEY>
Wir passen die Konfiguration an, indem wir die folgenden Werte eintragen:
api_url: http://172.31.127.254:8080/ api_key: t/PCqkXRE7Qlm4kGCYUNEiW5LSLvobRMeZ00YN01zpXCHdlYK98ji3ZrGQNNc3H+
Dabei ersetzen wir den Platzhalter t/PCqkXRE7Qlm4kGCYUNEiW5LSLvobRMeZ00YN01zpXCHdlYK98ji3ZrGQNNc3H+ durch den in Schritt 10.3.3. erstellten und gespeicherten Access-Token.
Hinweis: An dieser Stelle funktioniert der Docker Hostname von CrowdSec nicht, weshalb wir die IP-Adresse verwenden müssen. Dies ist einer der Gründe, warum wir die IP von CrowdSec im CrowdSec-Netzwerk explizit definiert haben.
10.3.5. CrowdSec Firewall Bouncer starten
Wir starten den Firewall Bouncer mit folgendem Befehl:
systemctl enable crowdsec-firewall-bouncer systemctl restart crowdsec-firewall-bouncer
Um sicherzustellen, dass der Bouncer ordnungsgemäß läuft, überprüfen wir den Status mit:
systemctl status crowdsec-firewall-bouncer
Die Ausgabe sollte in etwa so aussehen:
root@test-01:/opt/containers/traefik-crowdsec-stack# systemctl status crowdsec-firewall-bouncer
● crowdsec-firewall-bouncer.service - The firewall bouncer for CrowdSec
Loaded: loaded (/etc/systemd/system/crowdsec-firewall-bouncer.service; enabled; vendor preset: enabled)
Active: active (running) since Sun 2024-10-06 11:10:51 CEST; 25s ago
Process: 1048574 ExecStartPre=/usr/bin/crowdsec-firewall-bouncer -c /etc/crowdsec/bouncers/crowdsec-firewall-bouncer.yaml -t (code=exited, status=0/SUCCESS)
Process: 1048586 ExecStartPost=/bin/sleep 0.1 (code=exited, status=0/SUCCESS)
Main PID: 1048580 (crowdsec-firewa)
Tasks: 9 (limit: 9450)
Memory: 47.1M
CPU: 314ms
CGroup: /system.slice/crowdsec-firewall-bouncer.service
└─1048580 /usr/bin/crowdsec-firewall-bouncer -c /etc/crowdsec/bouncers/crowdsec-firewall-bouncer.yaml
Oct 06 11:10:51 test-01 systemd[1]: Starting The firewall bouncer for CrowdSec...
Oct 06 11:10:51 test-01 systemd[1]: Started The firewall bouncer for CrowdSec.
root@test-01:/opt/containers/traefik-crowdsec-stack#
Damit stellen wir sicher, dass der CrowdSec Firewall Bouncer erfolgreich gestartet wurde und aktiv ist.
Ein automatisches Starten des Bouncers bzw. ein Cronjob, der den Start des CrowdSec Firewall Bouncers verzögert, ist nicht mehr notwendig. Das Problem wurde mit dem Issue #216 gelöst, und ein Fix wurde hinzugefügt.
10.3.6. Anzeigen der CrowdSec Bouncer-Liste
Um sicherzustellen, dass unser Firewall Bouncer korrekt registriert ist, können wir uns die Liste aller registrierten CrowdSec Bouncer anzeigen lassen.
Dazu führen wir den folgenden Befehl aus:
docker exec crowdsec cscli bouncers list
Die Ausgabe sollte in etwa wie folgt aussehen:
root@test-01:/opt/containers/traefik-crowdsec-stack# docker exec crowdsec cscli bouncers list ---------------------------------------------------------------------------------------------------------------------------------------------------------------------- Name IP Address Valid Last API pull Type Version Auth Type ---------------------------------------------------------------------------------------------------------------------------------------------------------------------- TRAEFIK 172.31.127.252 ✔️ 2024-10-06T09:15:41Z Go-http-client 1.1 api-key FIREWALL 172.31.64.1 ✔️ 2024-10-06T09:16:51Z crowdsec-firewall-bouncer v0.0.31-debian-pragmatic-amd64-4b99c161b2c1837d76c5fa89e1df83803dfbcc87 api-key ---------------------------------------------------------------------------------------------------------------------------------------------------------------------- root@test-01:/opt/containers/traefik-crowdsec-stack#
Beachte, dass die in diesem Beispiel aufgeführten IP-Adressen individuell für unser Setup sind und bei dir möglicherweise andere Werte erscheinen.
Damit haben wir erfolgreich bestätigt, dass unser Firewall Bouncer in der Liste aufgeführt wird und korrekt funktioniert.
10.4. Logrotate für Traefik
Es ist bereits bekannt, dass die access.log-Datei sehr schnell wächst, insbesondere wenn das Debug-Level auf “info” gesetzt ist. Das kann schnell zu Speicherplatzproblemen führen, wenn sie nicht gehandhabt wird. Traefik selbst bietet keine eingebaute Log-Rotation-Funktion, aber zum Glück gibt es eine Standardkomponente namens Logrotate in vielen Linux-Distributionen wie Ubuntu, die uns dabei helfen kann.
Bei diesem Inhalt handelt es sich um exklusiven Content für Community Plus Mitglieder und Supporter.
Bitte logge dich mit deinem Account ein um den Inhalt zu sehen.
10.5. Mailcow anpassen
In dieser Anleitung haben wir den Pfad der Zertifikatsdateien im Vergleich zu früheren Versionen geändert. Diese Änderung muss auch in der Mailcow-Konfiguration berücksichtigt werden. Der folgende docker-compose.override.yml zeigt, wie Mailcow in Verbindung mit Traefik und den neuen Zertifikatspfaden konfiguriert wird.
networks:
proxy:
name: proxy
external: true
services:
certdumper:
image: ghcr.io/kereis/traefik-certs-dumper:latest
restart: unless-stopped
network_mode: none
command: --restart-containers mailcowdockerized-postfix-mailcow-1,mailcowdockerized-dovecot-mailcow-1
volumes:
- /opt/containers/traefik-crowdsec-stack/data/traefik/certs:/traefik:ro
- /var/run/docker.sock:/var/run/docker.sock:ro
- ./data/assets/ssl:/output:rw
environment:
DOMAIN: ${MAILCOW_HOSTNAME}
ACME_FILE_PATH: "/traefik/tls_letsencrypt.json"
healthcheck:
test: ["CMD", "/usr/bin/healthcheck"]
interval: 30s
timeout: 10s
retries: 5
nginx-mailcow:
networks:
proxy:
labels:
traefik.docker.network: proxy
traefik.enable: "true"
traefik.http.services.nginx-mailcow.loadbalancer.server.port: "80"
traefik.http.routers.nginx-mailcow-euredomain_de-secure.entrypoints: websecure
traefik.http.routers.nginx-mailcow-euredomain_de-secure.rule: "Host(`mail.euredomain.de`) || Host(`autodiscover.euredomain.de`) || Host(`autoconfig.euredomain.de`) || Host(`mta-sts.euredomain.de`) || Host(`imap.euredomain.de`) || Host(`pop3.euredomain.de`) || Host(`smtp.euredomain.de`)"
traefik.http.routers.nginx-mailcow-euredomain_de-secure.service: nginx-mailcow
traefik.http.routers.nginx-mailcow-euredomain_de-secure.tls: "true"
traefik.http.routers.nginx-mailcow-euredomain_de-secure.tls.certresolver: tls_resolver
traefik.http.routers.nginx-mailcow-euredomain_de-unsecure.entrypoints: web
traefik.http.routers.nginx-mailcow-euredomain_de-unsecure.rule: "Host(`mail.euredomain.de`) || Host(`autodiscover.euredomain.de`) || Host(`autoconfig.euredomain.de`) || Host(`mta-sts.euredomain.de`) || Host(`imap.euredomain.de`) || Host(`pop3.euredomain.de`) || Host(`smtp.euredomain.de`)"
Wichtige Änderungen:
- Der Pfad zu den Zertifikaten ist jetzt:
/opt/containers/traefik-crowdsec-stack/data/traefik/certs/. - Der certdumper Dienst ist so konfiguriert, dass er die Zertifikate aus diesem neuen Pfad liest und in das benötigte Verzeichnis für Mailcow exportiert.
- Das Volumen für die Zertifikate ist entsprechend dem neuen Pfad gesetzt:
/opt/containers/traefik-crowdsec-stack/data/traefik/certs/:/traefik:ro.
Mit diesen Anpassungen ist Mailcow korrekt mit Traefik und den neuen Zertifikatspfaden konfiguriert.
Nun müssen wir noch die URLs anpassen. Dies könnt ihr von Hand machen oder mit folgendem Skript. Wichtig ist, dass ihr das Skript noch an eure Domain anpasst.
cd /opt/containers/mailcow sed -i "s/euredomain.de/<DeineDomain>/g" docker-compose.override.yml # Beispiel: sed -i "s/euredomain.de/goneuland.de/g" docker-compose.override.yml sed -i "s/euredomain_de/<DeineDomain>/g" docker-compose.override.yml # Beispiel: sed -i "s/euredomain_de/goneuland_de/g" docker-compose.override.yml
11. Neuen Container hinzufügen
Um einen neuen Container über Traefik verfügbar zu machen und gleichzeitig durch CrowdSec zu schützen, müssen wir in der zugehörigen docker-compose.yml die Ports entfernen und dem entsprechenden Container Labels hinzufügen. Hier ein Beispiel mit WordPress:
Dies ist die docker-compose.yml aus der WordPress-Dokumentation auf hub.docker.com:
version: '3.1'
services:
wordpress:
image: wordpress
restart: always
ports:
- 8080:80
environment:
WORDPRESS_DB_HOST: db
WORDPRESS_DB_USER: exampleuser
WORDPRESS_DB_PASSWORD: examplepass
WORDPRESS_DB_NAME: exampledb
volumes:
- wordpress:/var/www/html
db:
image: mysql:5.7
restart: always
environment:
MYSQL_DATABASE: exampledb
MYSQL_USER: exampleuser
MYSQL_PASSWORD: examplepass
MYSQL_RANDOM_ROOT_PASSWORD: '1'
volumes:
- db:/var/lib/mysql
volumes:
wordpress:
db:
Dies wird dann zu folgender Konfiguration geändert:
version: '3.1'
services:
wordpress:
environment:
WORDPRESS_DB_HOST: db
WORDPRESS_DB_NAME: exampledb
WORDPRESS_DB_PASSWORD: examplepass
WORDPRESS_DB_USER: exampleuser
image: wordpress
labels:
traefik.docker.network: proxy
traefik.enable: "true"
traefik.http.routers.wordpress-secure.entrypoints: websecure
traefik.http.routers.wordpress-secure.middlewares: default@file
traefik.http.routers.wordpress-secure.rule: Host(`meinwordpress.de`)
traefik.http.routers.wordpress-secure.service: wordpress
traefik.http.routers.wordpress-secure.tls: "true"
traefik.http.routers.wordpress-secure.tls.certresolver: tls_resolver
traefik.http.routers.wordpress.entrypoints: web
traefik.http.routers.wordpress.rule: Host(`meinwordpress.de`)
traefik.http.services.wordpress.loadbalancer.server.port: "80"
networks:
default: null
proxy: null
restart: always
volumes:
- wordpress:/var/www/html
db:
environment:
MYSQL_DATABASE: exampledb
MYSQL_PASSWORD: examplepass
MYSQL_RANDOM_ROOT_PASSWORD: "1"
MYSQL_USER: exampleuser
image: mysql:5.7
networks:
default: null
restart: always
volumes:
- db:/var/lib/mysql
networks:
default:
proxy:
external: true
volumes:
db:
wordpress:
Als Multi-Domain sieht das dann so aus:
version: '3.1'
services:
wordpress:
environment:
WORDPRESS_DB_HOST: db
WORDPRESS_DB_NAME: exampledb
WORDPRESS_DB_PASSWORD: examplepass
WORDPRESS_DB_USER: exampleuser
image: wordpress
labels:
traefik.docker.network: proxy
traefik.enable: "true"
traefik.http.routers.wordpress-secure.entrypoints: websecure
traefik.http.routers.wordpress-secure.middlewares: default@file
traefik.http.routers.wordpress-secure.rule: Host(`meinwordpress.de`) || Host(`www.meinwordpress.de`)
traefik.http.routers.wordpress-secure.service: wordpress
traefik.http.routers.wordpress-secure.tls: "true"
traefik.http.routers.wordpress-secure.tls.certresolver: tls_resolver
traefik.http.routers.wordpress.entrypoints: web
traefik.http.routers.wordpress.rule: Host(`meinwordpress.de`) || Host(`www.meinwordpress.de`)
traefik.http.services.wordpress.loadbalancer.server.port: "80"
networks:
default: null
proxy: null
restart: always
volumes:
- wordpress:/var/www/html
db:
environment:
MYSQL_DATABASE: exampledb
MYSQL_PASSWORD: examplepass
MYSQL_RANDOM_ROOT_PASSWORD: "1"
MYSQL_USER: exampleuser
image: mysql:5.7
networks:
default: null
restart: always
volumes:
- db:/var/lib/mysql
networks:
default:
proxy:
external: true
volumes:
db:
wordpress:
Eine kurze Erklärung dazu: Die Ports müssen nicht mehr explizit freigegeben (exposed) werden, da dies nun Traefik übernimmt. Wir teilen Traefik lediglich über Labels mit, welcher Resolver verwendet werden soll und über welchen Port Traefik auf WordPress zugreifen kann. Zusätzlich muss dem WordPress-Container noch das Traefik-Netzwerk namens “proxy” zugewiesen werden. Allerdings sollte dies nur dem WordPress-Container zugewiesen werden, da wir zwar die Datenbank gemeinsam mit WordPress im “default”-Netzwerk betreiben, die Datenbank jedoch nicht öffentlich zugänglich machen möchten.
11.1. TLS anstelle von HTTP
Wie der Name schon sagt: Nutzt mehr den tls_resolver und nicht den http_resolver. Traefik macht TLS möglich und am Ende ist es die modernere Variante!
Ich habe den neuen Stack jetzt am Laufen, und auch schon die alte Nextcloud-Instanz mit dem neuen Stack wieder erreichbar, vielen Dank für die hilfreiche Anleitung und vor allem für das Skript. Ich musste es etwas anpassen, weil ich nicht in /opt installiere, da ich die Container nicht auf dem USB-Stick haben will, der mein Boot-Medium ist (OpenMediaVault), aber danach hat es funktioniert.
Lediglich ein Problem tritt gelegentlich auf, und zwar dass ich selbst gebannt werde. Gibt es eine einfache Möglichkeit, Anfragen von der eigenen öffentlichen IP-Adresse (DynDNS) immer durchzulassen? Also dynamisch, ohne dass ich jetzt meine IP in der Whitelist eintrage, weil die sich ja jederzeit ändern kann? Wenn ich von Außerhalb zugreife ist das dann halt so, weil ja nicht klar sein kann, dass die Anfrage von mir ist, aber wenn ich zu Hause bin, dann ist das ja die gleiche IP unter der der Server auch zu erreichen ist, das ist doch bestimmt machbar.
Viele Grüße
Mir fällt jetzt gerade noch was auf..
daemon.json -> “base”: “172.25.0.0/14″ ist für v4 so glaube ich nicht richtig.
Es handelt sich dabei um eine Adresse aus dem 172.24.0.0/14 Netzwerk.
Auch wenn es funktioniert, (docker scheint es richtig zu interpretieren, jedenfalls gehen die Netze/Ips mit 172.24. los) würde ich hier wie folgt eintragen “172.24.0.0/14”
Dann passt auch bei einer Size 23 die 512(-2) Hosts bzw verfügbare IP Adressen pro Netzwerk.
Danke Gruss Marco
Hallo Christian, mal wieder eine super Anleitung! Ich habe die neue V3 Anleitung in einen separaten Ordner aufgebaut, meine spezifischen Änderungen wie IPWhitelist, Telegram Alerting, Collections usw. in die Config Files eingepflegt. Dann die alte Umgebung runtergefahren, die neue gestartet, lief auf Anhieb.
Frage: Hast du IPv6 getestet?
Danke Gruss Marco
Hallo und eine kurze Frage: ist es geplant, den Cloudflaretunnel mit in die Konfiguration zu übernehmen?
Authelia Integration in Traefik-Crowdsec-Stack (Traefik3)
Anlegen von Verzeichnissen.
Erstellen der Secrets
Das Secret authelia_notifier_smtp_password enthält euch Password zum Email Account wenn Ihr SMTP Notifications nutzen wollt.
Wenn ihr File Notifications nutzen wollte dann lasst dies bitte weg.
Ergänzen der docker-compose.yml
—
—
Erstellen der .env File in /opt/containers/traefik-crowdsec-stack/data/authelia/
Legt hier bitte eine .env File mit folgendem Inhalt an.
—
—
Erstellen authelia.yml im compose Verzeichnis.
nano /opt/containers/traefik-crowdsec-stack/compose/authelia.yml
—
services: authelia: container_name: 'authelia' depends_on: traefik: condition: service_healthy hostname: ${SERVICES_AUTHELIA_HOSTNAME:-authelia} image: 'docker.io/authelia/authelia:latest' restart: 'unless-stopped' env_file: ${ABSOLUTE_PATH}/data/authelia/.env networks: proxy: ipv4_address: ${SERVICES_AUTHELIA_NETWORKS_PROXY_IPV4:-172.31.191.200} ipv6_address: ${SERVICES_AUTHELIA_NETWORKS_PROXY_IPV6:-fd00:1:be:a:7001:0:3e:7f00} socket_proxy: ipv4_address: ${SERVICES_AUTHELIA_NETWORKS_SOCKET_PROXY_IPV4:-172.31.255.200} ipv6_address: ${SERVICES_AUTHELIA_NETWORKS_SOCKET_PROXY_IPV6:-fd00:1:be:a:7001:0:3e:8f00} volumes: - /etc/localtime:/etc/localtime:ro - ${ABSOLUTE_PATH}/data/authelia/config:/config secrets: ['JWT_SECRET', 'SESSION_SECRET', 'STORAGE_ENCRYPTION_KEY', 'NOTIFIER_SMTP_PASSWORD'] environment: AUTHELIA_IDENTITY_VALIDATION_RESET_PASSWORD_JWT_SECRET_FILE: '/run/secrets/JWT_SECRET' AUTHELIA_SESSION_SECRET_FILE: '/run/secrets/SESSION_SECRET' AUTHELIA_STORAGE_ENCRYPTION_KEY_FILE: '/run/secrets/STORAGE_ENCRYPTION_KEY' AUTHELIA_NOTIFIER_SMTP_PASSWORD_FILE: '/run/secrets/NOTIFIER_SMTP_PASSWORD' labels: traefik.enable: true traefik.http.routers.authelia.rule: HOST(auth.domain.tld) traefik.http.routers.authelia.entryPoints: websecure traefik.http.routers.authelia.tls: true traefik.http.routers.authelia.tls.certresolver: tls_resolver traefik.http.services.authelia.loadbalancer.server.port: 9091 traefik.http.middlewares.authelia.forwardAuth.address: https://authelia:9091/api/authz/forward-auth traefik.http.routers.authelia.middlewares: default@file traefik.http.routers.authelia.service: authelia security_opt: - no-new-privileges:true secrets: JWT_SECRET: file: ${SECRETDIR}/authelia/authelia_jwt_secret SESSION_SECRET: file: ${SECRETDIR}/authelia/authelia_session_secret STORAGE_ENCRYPTION_KEY: file: ${SECRETDIR}/authelia/authelia_storage_encryption_key NOTIFIER_SMTP_PASSWORD: file: ${SECRETDIR}/authelia/authelia_notifier_smtp_password…
Erzeugen Traefik Middelware Yml für Authelia.
Erzeugt im Verzeichnis /opt/containers/traefik-crowdsec-stack/data/traefik/dynamic_conf
eine Datei http.middlewares.middlewares-authelia.yml mit folgendem Inhalt.
—
—
Erzeugen der Authelia Configuration in /opt/containers/traefik-crowdsec-stack/data/authelia/config
mit nano /opt/containers/traefik-crowdsec-stack/data/authelia/config/configuration.yml die entsprechende Datei erstellen.
Inhalt:
—
############################################################### # Authelia configuration # ############################################################### theme: dark identity_validation: reset_password: # Wird durch das Secret gesetzt jwt_secret: server: address: tcp://0.0.0.0:9091/ # https://www.authelia.com/configuration/miscellaneous/logging/ log: level: error format: json file_path: /config/authelia.log keep_stdout: true # https://www.authelia.com/configuration/second-factor/time-based-one-time-password/ totp: issuer: domain.tld period: 30 skew: 1 # https://www.authelia.com/reference/guides/passwords/ authentication_backend: password_reset: disable: false refresh_interval: 5m file: path: /config/users.yml password: algorithm: argon2id iterations: 1 salt_length: 16 parallelism: 8 memory: 256 # https://www.authelia.com/overview/authorization/access-control/ access_control: default_policy: deny rules: - domain: 'auth.domain.tld' # Hier deine Authelia Domain einsetzen. policy: bypass networks: # Optional - 10.0.0.0/8 - 192.168.0.0/16 - 172.16.0.0/12 - domain: - "*.domain.tld" # Wildcard Adresse für Domain optional - "traefik.domain.tld" # Hier deine Traefik Domain einsetzen. - "domain.tld" # Hier deine Domain einsetzen. policy: two_factor # https://www.authelia.com/configuration/session/introduction/ session: name: authelia_session same_site: lax secret: expiration: 5h inactivity: 15m remember_me: 10M cookies: - domain: 'domain.tld' authelia_url: https://auth.domain.tld # Authelia URL default_redirection_url: https://auth.domain.tld/ # Default Redirect URL # https://www.authelia.com/configuration/security/regulation/ regulation: max_retries: 3 find_time: 10m ban_time: 12h # https://www.authelia.com/configuration/storage/introduction/ storage: # For local storage, uncomment lines below and comment out mysql. https://docs.authelia.com/configuration/storage/sqlite.html # This is good for the beginning. If you have a busy site then switch to other databases. local: path: '/config/db.sqlite3' # Wird durch Secret gesetzt encryption_key: # https://www.authelia.com/configuration/notifications/introduction/ notifier: disable_startup_check: false # For testing purposes, notifications can be sent in a file. Be sure to map the volume in docker-compose. filesystem: filename: '/config/notification.txt' # SMTP nur aktivieren wenn es sicher funktioniert bei euch #notifier: # disable_startup_check: false # smtp: # username: 'admin@domain.tld' # Username für deinen Mailserver # password: 'Sicheres Password' # alternativ Secret anlegen AUTHELIA_NOTIFIER_SMTP_PASSWORD_FILE # address: 'smtp://mail.domain.tld:587' # sender: 'Authelia Notifier <admin@domain.tld>' # subject: "[Notification domain.tld] {titel}" # startup_check_address: 'test@domain.tld' # disable_starttls: false # disable_html_emails: false # disable_require_tls: false—
Mit diesem Befehl erzeugt ihr den Hash für Euren User:
den angezeigten String tragt ihr dann in die users.yml ein als password:
Mit nano /opt/containers/traefik-crowdsec-stack/data/authelia/config/users.yml die entsprechende Datei erstellen.
Inhalt:
—
—
Nach dem ihr dann alle Container mit docker compose -up -d –force-recreate neugestartet habt, ruft ihr
eure Authelia domain auf auth.domain.tld und log euch mit den angelegten Zugangsdaten ein.
Durch den rest führt euch dann Authelia. Beachtet der 6 stellige Code der angefordert wird wird euch in der Notification.txt im config Verzeichnis angezeigt.
Nach dem erfolgreichen Anlegen des 2FA könnt ihr nun folgende Anpassungen vornehmen:
Manuelle Anpassungen an der traefik.yml im /compose
um Traefik hinter die Authelia Middleware zu bekommen muss folgende Zeile angeasst werden.
Original:
traefik.http.routers.traefik-dashboad.middlewares: default@file,traefik-dashboard-auth@file
Angepasst:
traefik.http.routers.traefik-dashboad.middlewares: default@file,middlewares-authelia@file
Macht das bitte erst wenn euer Authelia Container läuft und ihr euch bei Authelia mindestens einmal angemeldet habt.
alternativ kann man hier auch eine traefik.override.yml anlegen.
nach einem erneuten restart mit
docker compose up -d –force-recreate
und ein paar minuten Wartezeit sollte sich beim Aufruf eurer Traefik Domain nun erst Authelia melden.
Ich hoffe ich habe dies nun vollständig dokumentiert. Falls doch was schiefgehen sollte fragt einfach.
Ich habe dies auch gleichzeitig an Psycho0verload geschickt zur Prüfung und ggf einbau in den Stack.
Tag zusammen, habe gestern Abend die Anleitung genauestens ausgeführt. Aber ich bekomme außer Traefik-Dashboard keinen meiner Services von außen erreicht. Auch wenn ich zB meine Portainer Installation wie hier beschrieben einbinde, keine Chance. Das ganze hängt hinter CloudFlare und ich bekomme nen 525er also SSL Handshake, oder auch gar keine Response.
Im Traefik.log stehen bei den Certificates 403er Fehler.
Werd irre, hat jemand nen Tip was ich noch schauen kann?
Moin Moin,
ist geplant vom traefik-crowdsec-bouncer auf das neue traefik-crowdsec Plugin zu wechseln ? (https://plugins.traefik.io/plugins/6335346ca4caa9ddeffda116/crowdsec-bouncer-traefik-plugin)
Ich werde mich auch die Tage mal dort einlesen 😀
Hallo. Super Anleitung. Ich starte nun mal, um meine bestehende, nach der alten Anleitung, erstellte Traefik/Crowdsec Installation anzupassen (inkl. Mailcow 10 Projekte, WordPress, Portainer, Nextcloud etc.). Nach meinem Verständnis muss ich “Traefik-Crowdsec-Stack” in erster Linie total neu erstellen. Die übrigen Projekte kann ich danach wieder in Betrieb nehmen mit den entsprechenden Anpassungen in der docker-compose.yml resp. zusätzlich der override-Datei (Mailcow) und alte (teilweise unnötige) Cronjobs anpasse. Dafür sollte die gesamte Traefik-Crowdsec-Stack gelöscht werden und danach nach der neuen Anleitung aufgesetzt werden. Dabei werden ja auch alle bestehenden Zertifikate gelöscht (acme_letsencrypt.json) und beim neuen Start des jeweiligen alten, angepassten docker-compose Projekt neu erstellt. Sind noch weitere Stolpersteine (z.Bsp. Crowdsec Bouncer Firewall etc.) vorhanden, welche vor der neuen Traefik V3 Installation deinstalliert/gelöscht werden sollten? Danke für kurze Rückmeldung.
Hallo,
TRAEFIK V2 habe ich bereits erfolgreich eingesetzt nach entsprechender Anleitung.
Nun habe ich TRAEFIK V3 nach dieser Anleitung aufgesetzt, das kann aber nicht funktionieren: Ich benötige traefik (und später die folgenden docker-Installationen für wiki u.a.) nur in einem internen Netz, wo Let’s Encrypt nicht funktioniert.
Wie/Wo muss ich Anpassungen vornehmen, und traefik nutzen zu können?
Danke für die super Anleitung! Ich würde gerne, wie bei der „alten“ Anleitung, das Dashboard mit Authelia absichern. Hat das schon jemand zum Laufen gebracht? Oder, noch besser: Gibt es eine OIDC-Integration für den Zugriff auf das Dashboard?
Hi, erstmal vielen Dank für die ausführliche Anleitung
psycho0verload .
Ein Frage habe ich und vielleicht kann mir die hier jemand beantworten.
Meine Domains habe ich alle bei Cloudflare liegen. Beim neu einrichten mit Traefik 3 ist mir jetzt aufgefallen, das die Domain mit aktiviertem Proxy Modus bei Cloudflare nicht erreichbar ist.
Laut Traefik Log gibt es einen Fehler mit dem TLS
{"level":"error","providerName":"tls_resolver.acme","acmeCA":"https://acme-v02.api.letsencrypt.org/directory","providerName":"tls_resolver.acme","ACME CA":"https://acme-v02.api.letsencrypt.org/directory","routerName":"traefik-dashboad@docker","rule":"HOST(proxy.domain.tld)","error":"unable to generate a certificate for the domains [proxy.domain.tld]: error: one or more domains had a problem:\n[proxy.domain.tld] acme: error: 403 :: urn:ietf:params:acme:error:unauthorized :: Cannot negotiate ALPN protocol \"acme-tls/1\" for tls-alpn-01 challenge\n","domains":["proxy.domain.tld"],"time":"2024-10-24T09:07:49+02:00","message":"Unable to obtain ACME certificate for domains"}Würde den schon sehr gerne weiter nutzen allein der DDos Schutz ist es wohl wert.
Ich hoffe mal das es nur ein Config Problem ist und jemand hier den entsprechenden Tip für die Lösung geben kann.
Danke
Ich hab mich jetzt doch ran gewagt und alles manuell von neuem gemacht. Im Prinzip klappt alles. Aktuell läuft mein Portainer halt noch nicht über den Socket-Proxy, aber das kann man ja noch nachjustieren.
Was aber nicht funktioniert ist das Updaten von Crowdsec. Im Crontab hab ich folgendes drin stehen (wie in der Anleitung): docker compose -f /opt/containers/traefik-crowdsec-stack/docker-compose.yml restart crowdsec
Der Container mag aber nicht neu starten – der Fehler lautet: env file /root/data/socket-proxy/.env not found: stat /root/data/socket-proxy/.env: no such file or directory
Komme aktuell nicht drauf wo es hakt. Bin über Tipps dankbar! 🙂
http.middlewares.default.yml
und in der Config von traefik selber
default@file
geht Traefik dann einfach durch alle Dateien ? oder wie ist das zu sehen.
versuche gerade meine gesamte Config auf die neue zu übertragen, aber aktuell sehe ich nicht durch weil ich überall irgendwie was geändert habe
Eine Frage
psycho0verload, da ich mich gerade in der Vorbereitung zum Upgrade befinde:
Aktuell habe ich in meiner dynamic-conf.yml einen weiteren Router eingerichtet, der auf mein NAS verweist, um auch dieses via Traefik und Crowdsec abzusichern.
Erstelle ich hierfür eine weitere YML-Datei, die ich in die Docker compose integriere oder packe ich das in eine bestehende dazu?
Da wir die ursprüngliche dynamic conf nun auf mehrere Teile aufgeteilt haben, ist mir das nicht ganz klar.
routers:
qnap:
service: qnap
rule: “Host(
abc.de)”entryPoints:
– websecure
tls:
certResolver: http_resolver
services:
qnap:
loadBalancer:
servers:
– url: http://192.168.000.00:8080
nextcloud:
loadBalancer:
servers:
Hallo nochmal,
nehmt mir auch folgende Frage nicht übel, ich lerne mich noch in das ganze Thema ein. Kann ich eigentlich auch eine Traefik-Instanz für mehrere Webserver nutzen, oder muss ich auf jedem Server eine eigene Instanz aufsetzen?
Danke und viele Grüße
Moin,
mal eine Frage zu Crowdsec in diesem Stack. Im Moment trudeln bei mir ständig Nachrichten ein, das jemand aus dem bösen Internet meinen mailcow Server inspiziert. Das ist ja nichts ungewöhnliches. Dafür gibt es ja den den Crowdsec. mittels
werden die bösen IPs auch angezeigt, jedoch bekomme ich zur Zeit gerade wirklich viele Wiederholungstäter mit der gleichen IP (klar, die werden wahrscheinlich verschleiert) jetzt wollte ich mittels iptables -L -v -n mal nachsehen, ob die auch wirklich auf dem System gesperrt sind. Leider zeigt mir diese keinen einzige von den gesperrten IP im System an? Es werden mir nur die manuell gesperrten IP in der mailcow Konfiguration angezeigt (Chain MAILCOW). Wie kann ich nun feststellen ob das System richtig arbeiten und meine Installation wirklich durch Crowdsec geschützt ist?
Vielen Dank
psycho0verload für die geile Anleitung 😀 Du hast dich echt nochmals selbst übertroffen 😃
Erhalte in ‘Portainer Business Edition 2.21.3’ folgende Fehelermeldung:
Guten Morgen,
entschuldigt bitte die doofe Frage, aber ich komme einfach nicht weiter. Ich bekomme mit der neuen Anleitung weder Traefik noch Mailcow zum Laufen. Muss ich die IPV6 an meinen Server anpassen, oder kann ich diese so wie in der Anleitung übernehmen?
Mein Feedback.
Bin heute umgestiegen. Backup alter Server. Neuinstallation Ubuntu 24.X.
Nach Anleitung vorgegangen. Anschl. Mailcow neu installiert und restore der Daten.
Danach aus dem Borgbackup alle Container wieder hergestellt.
System läuft nun einwandfrei. Mir fiel nur die hohe Anzahl der Bans auf.
39 aktive Bans hatte ich noch nie. 🙂 Port 22 war aber auch lange offen 🙂
Vielen Dank für die gute Anleitung.
Die Entscheidung, welche Domain du verwendest, liegt ganz bei dir und deinem individuellen Setup. Ob du dich für eine Second-Level-Domain oder eine Third-Level-Domain entscheidest, bleibt dabei dir überlassen. 😊
Lass uns gerne im Mailcow-Beitrag genauer anschauen, wo das Problem liegt bzw. an welcher Stelle das Zertifikat fehlt. Das gehört primär nicht zu diesem Thema hier.
Vielen Dank für die Anleitung! Hat seitens der Anleitung problemlos Funktioniert.
Zwei Anmerkungen.
Kapitel 7.5.1 (@all)
Ich hab beim ausführen von “docker compose up crowdsec -d && docker compose down” folgende Fehlermeldung erhalten.
WARN[0000] The “PWD” variable is not set. Defaulting to a blank string.
Danach ist crowdsec nicht gestartet.
Das lag bei mir am Terminal. Eine Möglichkeit das Problem zu umgehen ist den Befehl mit “-E” zu modifizieren.
Neuer Befehl: -E docker compose up crowdsec -d && docker compose down
Zusatz: Ich arbeite mit Sudo, da ich nicht root bin. Weiß nicht inwiefern das damit zusammenhängt.
Kapitel 8.1. (
psycho0verload )
Bei der Referenzierung auf die URL vom Traefik Dashboard bitte den Kaptielschritt referenzieren in dem wir die URL festlegen.
Ich hatte die URL als allgemein URL im Kopf abgespeichert und war kurz verwirrt als wir plötzlich von der spezifischen Traefik Dashbord URL gesprochen haben.
Auch von mir ein ganze großes Dankeschön! Super geschrieben und richtig informativ. Alleine die ersten 5 Seiten enthalten so viele wichtige Informationen, dass es alleine das schon Wert ist zu lesen. Da werde ich mich in nächster Zeit mal dran machen 😀
Super die Anleitung vielen Dank für deine Arbeit. Da ist es wirklich zu überlegen Traefik neu aufzusetzen.
Wow, da hast du wirklich ein gigantisches Meisterwerk erstellt.
Ich überlege, ob ich meine alte Traefik config kille und diese neu aufsetzte oder auf deine Migrationsanleitung warte.
Ein großes Kompliment und Dankeschön für die neue Anleitung. Freue mich auf die Migrationsanleitung, da ich mein System gerne auf den aktuellen Stand bringen möchte. 🙂