Sicherer Fernzugriff auf Ihr lokales Apple Silicon LLM: Ein vollständiger Leitfaden

Die Renaissance der lokalen KI-Inferenz hat grundlegend verändert, wie Entwickler Large Language Models (LLMs) erstellen und mit ihnen interagieren. Dank der einheitlichen Speicherarchitektur von Apple Silicon (M1 bis M5) und optimierten Frameworks wie MLX ist das lokale Ausführen von massiven Modellen mit 70B+ Parametern kein Wunschtraum mehr, der nur für Serverfarmen reserviert ist. Tools wie Ollama, LM Studio und MLX-native Server wie oMLX haben KI demokratisiert und verwandeln den Mac Studio oder MacBook Pro auf Ihrem Schreibtisch in einen echten KI-Server.

Aber was passiert, wenn Sie Ihren Schreibtisch verlassen?

Mit dem Aufstieg leistungsstarker lokaler KI-Inferenz möchten Entwickler natürlich auf ihre Heimlab-Modelle zugreifen, während sie unterwegs sind, in einem Café arbeiten oder mit einem Remote-Team zusammenarbeiten. Sie wollen die Rechenleistung Ihres Mac Studio, haben aber nur ein leichtgewichtiges MacBook Air im Rucksack.

Die unmittelbare Versuchung ist, Ihre Router-Einstellungen zu öffnen und Ihren lokalen Inferenz-Server auf das öffentliche Internet weiterzuleiten. Tun Sie das nicht. Das Offenlegen Ihrer lokalen KI-Infrastruktur im Internet ist ein erhebliches Sicherheitsrisiko.

In diesem Leitfaden zeigen wir, wie Sie lokales Ollama sicher für den Internetzugang mittels Zero Trust-Netzwerktools freigeben. Ob Sie einen Reverse Proxy für lokale GPU-Workloads erstellen oder Apple Silicon KI tunneln möchten, um Ihrem Remote-Team sicheren Zugriff zu gewähren — wir behandeln die sichersten, robustesten Methoden, einschließlich Tailscale, Cloudflare Tunnels und Zrok.

---

1. Der Vorteil von Apple Silicon für lokale KI

Bevor wir in die Netzwerkdetails eintauchen, ist es sinnvoll zu verstehen, warum Apple Silicon zum Liebling der lokalen KI-Bewegung geworden ist — und warum sich die Hardware-Landschaft in den letzten Wochen sogar noch verschoben hat.

Traditionelle PC-Architekturen trennen CPU-Speicher (RAM) vom GPU-Speicher (VRAM). Möchten Sie ein quantisiertes 70B-Modell auf einem PC laufen lassen, benötigen Sie genügend VRAM, um die Gewichte zu speichern. NVIDIAs aktueller Flaggschiff-Gamer-Grafikkarte, die RTX 5090, kommt mit 32GB GDDR7 (statt 24GB GDDR6X bei der RTX 4090), was hilft, aber immer noch nicht ausreicht, um ein 70B-Modell bei nur aggressiver Quantisierung ohne Layer-Teilung über mehrere Karten zu halten.

Apple Silicon nutzt eine Unified Memory Architecture (UMA): CPU und GPU teilen sich einen Pool hochbandbreitenfähigen Speichers, sodass ein einzelner Mac deutlich mehr Speicher für die GPU zuweisen kann als jede Consumer-Grafikkarte bietet. Apple hat das noch weiter vorangetrieben: Am 25. August 2026 wurde der Mac Studio mit M5 Max und M5 Ultra Chips aktualisiert, die die M4 Max/M3 Ultra ersetzen, die seit März 2025 im Einsatz sind. Die M5 Ultra-Konfiguration unterstützt bis zu 512GB unified memory bei 1,2TB/s Bandbreite — 50 % mehr Bandbreite als die Vorgängergeneration — und Apple behauptet eine bis zu 4,3-fache Spitzen-KI-Rechenleistung im Vergleich zum M3 Ultra. (Der Versand begann am 22. September 2026; die 512GB-Konfiguration verzögert sich aufgrund von Speichermangel bis Ende Oktober.) Thunderbolt 5 mit 120GB/s pro Anschluss ermöglicht zudem das Clustern mehrerer Mac Studios, was laut Apple bis zu 3x schnellere verteilte Inferenz im Vergleich zu einem einzelnen Gerät ermöglicht — ein wichtiger Punkt, falls Sie die Grenzen eines einzelnen Systems überschreiten, da nur der Head-Node des Clusters den Remote-Zugriff in diesem Leitfaden benötigt.

Die Software-Stack hat sich ebenso schnell entwickelt. MLX ist Apples eigenes Open-Source-Framework für Array-Berechnungen, speziell entwickelt, um die Vorteile der einheitlichen Speicherarchitektur zu nutzen (Zero-Copy-Tensoren, keine PCIe-Transfer-Engpässe). Für die meisten Anwendungen lief Ollama bisher auf Macs über llama.cpp’s Metal-Backend — eine portable Engine, aber nicht speziell für Apples Speicherarchitektur geschrieben. Das änderte sich am 31. März 2026, als Ollama 0.19 ein MLX-Inferenz-Backend für Apple Silicon einführte (derzeit eine Preview-Funktion). Auf Macs mit 32GB oder mehr unified memory verdoppelt das Aktivieren via OLLAMA_USE_MLX=1 die Decodierungsdurchsatz in unabhängigen Benchmarks; 8GB- und 16GB-Macs laufen weiterhin mit dem alten Metal-Pfad, da MLX-Unterstützung diese Speichermindestanforderung benötigt.

Wenn Sie noch weiter gehen möchten als Ollamas integrierte MLX-Unterstützung, sind spezielle MLX-native Server entstanden, die speziell für diese Hardware optimiert sind. oMLX ist beispielsweise ein Inferenz-Server, der auf Apples mlx-lm aufbaut und auf Workloads abzielt, die Ollamas Schwachstelle offenbaren: Codierungsagenten, die bei jedem Zug eine leicht verschobene Prompt-Präfix senden. Es bietet kontinuierliches Batching, einen zweistufigen (RAM-heiß, SSD-kalt) KV-Cache, der Neustarts überlebt, Multi-Model-Serving sowie eine OpenAI- und Anthropic-kompatible API — alles, was in diesem Leitfaden zum Tunneln beschrieben wird, gilt auch hier, da es sich um einen weiteren lokalen HTTP-Server handelt.

Kombinieren Sie diese mit einem Enterprise-KI-Server, der still auf Ihrem Schreibtisch sitzt, und ein solcher Server benötigt eine entsprechend sichere Infrastruktur — besonders, wenn Sie ihn remote zugänglich machen wollen.

---

2. Die Gefahr des Port-Forwardings: Warum Sie einen Reverse Proxy brauchen

Standardmäßig bindet Ollama beim Start auf Ihrem Mac an 127.0.0.1:11434 (localhost). Es ist von anderen Geräten im Netzwerk, geschweige denn vom Internet, komplett unzugänglich.

Um remote zugreifen zu können, ist die veraltete, klassische Methode: 1. Ollama auf 0.0.0.0 (alle Netzwerkschnittstellen) binden. 2. In das Admin-Panel Ihres Routers gehen. 3. TCP-Port 11434 an die interne IP Ihres Macs weiterleiten. 4. Über die öffentliche IP Ihres Heimnetzwerks auf Ihr KI-Modell zugreifen.

Warum ist das eine schlechte Idee? - Unautorisierter Zugriff: Ollama hat keine eingebaute Authentifizierung. Wenn Sie den Port öffnen, kann jeder, der Ihre IP scannt, Ihre GPU zum Textgenerieren verwenden — oder noch schlimmer, eigene Modelle auf Ihrer Hardware ausführen. - DDoS-Angriffe: Ihre Heim-IP wird Ziel von Distributed Denial of Service-Attacken. - Keine Verschlüsselung: Das Weiterleiten von unverschlüsseltem HTTP-Verkehr bedeutet, dass Ihre Prompts und die Antworten im Klartext durchs Internet gehen. - Netzwerk-Penetration: Bei einer Sicherheitslücke in der Software, die Sie exponieren, wird Ihr gesamtes Heimnetzwerk angreifbar.

Um sicheren Fernzugriff auf lokale LLMs zu realisieren, verzichten Sie auf Port-Forwarding und setzen stattdessen auf Zero Trust Tunnels. Ein Zero Trust-Tunnel stellt eine ausgehende Verbindung von Ihrem Mac zu einem sicheren Edge-Netzwerk her — keine eingehenden Ports werden in Ihrer Firewall geöffnet. So erhalten Sie die Vorteile eines Reverse Proxy für lokale GPU-Workloads ohne die Sicherheitslücken.

---

3. Voraussetzung: Ollama für Netzwerkzugriff vorbereiten

Unabhängig von der gewählten Tunneling-Methode müssen Sie Ollama so konfigurieren, dass es Verbindungen außerhalb von localhost akzeptiert.

Unter macOS läuft Ollama im Hintergrund. Um die Host-Bindung zu ändern, setzen Sie Umgebungsvariablen vor dem Start der App:

1. Terminal öffnen.
2. Mit launchctl OLLAMA_HOST für Ihre Sitzung setzen: bash launchctl setenv OLLAMA_HOST "0.0.0.0:11434" 3. Wenn Sie die API von einer Remote-Weboberfläche ansprechen wollen, erlauben Sie auch die Ursprünge, von denen Anfragen kommen (Ollama erlaubt standardmäßig nur 127.0.0.1/0.0.0.0): bash launchctl setenv OLLAMA_ORIGINS "*"
3. Ollama vollständig beenden (Menüleiste) und aus den Anwendungen neu starten.

Ein häufiger Fehler in der Community: launchctl setenv gilt nur für die aktuelle Login-Session — es überlebt keinen Neustart. Für eine dauerhafte Einstellung sollten Sie die gleichen Befehle in ein Login-Skript oder eine LaunchAgent-PLIST einfügen, die beim Login ausgeführt werden, anstatt auf eine einmalige Terminal-Ausführung zu setzen. Das ist wichtig, weil Abschnitt 8 unten sich genau damit beschäftigt, wie Sie Ihren Mac auch unbeaufsichtigt über Tage laufen lassen.

Ihr lokales LLM ist jetzt bereit, sicher getunnelt zu werden.

---

4. Methode 1: Tailscale (Die sicherste, nur für Entwickler)

Wenn Sie ein einzelner Entwickler sind, der nur auf seine Heim-KI von eigenen Geräten aus zugreifen möchte, ist Tailscale vermutlich die beste Lösung.

Tailscale ist ein Zero-Config-VPN basierend auf WireGuard. Es erstellt ein privates, verschlüsseltes Mesh-Netzwerk (ein “Tailnet”) zwischen Ihren Geräten. Da es Ihren Server nicht öffentlich zugänglich macht, ist es die sicherste Methode, Apple Silicon KI zu tunneln.

Ein wichtiger Preis-Hinweis: Tailscales kostenloser Personal-Plan ist nicht mehr auf eine Gerätezahl beschränkt, wie es früher beworben wurde. Er ist kostenlos für bis zu sechs Nutzer in einem Tailnet, mit unbegrenzten Geräten, die Sie unter Ihrem eigenen Login registrieren (bis zu 50 getaggte/geteilte Ressourcen). Für einen einzelnen Entwickler, der einen Mac Studio, ein Reise-Laptop und ein Smartphone verbindet, ist das effektiv eine unbegrenzte Gerätezahl.

Schritt-für-Schritt-Anleitung:

1. Konto erstellen: Gehen Sie zu Tailscale.com und melden Sie sich an (Google, GitHub, Microsoft).
2. Auf dem Host installieren: Tailscale auf Ihrem Apple Silicon Mac (der Host) installieren und anmelden.
3. Auf dem Client installieren: Tailscale auf Ihrem Remote-Gerät installieren.
4. Tailscale-IP herausfinden: Nach Beitritt beider Geräte zum Tailnet im Tailscale-Menü die Adresse auf dem Host-Mac prüfen (meist beginnend mit 100.x.x.x). Angenommen, sie ist 100.10.20.30.

Zugriff auf Ihre KI:

Von Ihrem Remote-Gerät aus fragen Sie Ihren Heim-Mac genau so ab, als säßen Sie davor:

curl http://100.10.20.30:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Erkläre Quantencomputing in einem Satz."
}'

Vorteile von Tailscale: - Kein öffentliches Internet-Exposure. - End-to-End-Verschlüsselung via WireGuard. - Extrem niedrige Latenz. - Kostenlos für private Nutzung ohne praktische Gerätebegrenzung.

Nachteile — und die Lösung: Das klassische Problem bei Tailscale ist, dass es nicht hilft, wenn Sie Ihre KI mit jemandem teilen wollen, der nicht im Tailnet ist, da dieser ebenfalls einen VPN-Client braucht. Tailscales Lösung dafür ist Funnel: Damit können Sie einen Dienst, der im Tailnet läuft, über HTTPS öffentlich zugänglich machen, ohne dass der Besucher eine VPN-Software braucht (Sie würden tailscale funnel 11434 nach Aktivierung von Funnel im Tailnet ausführen). Es ist in jedem Plan enthalten, aber Tailscale bezeichnet es noch als Beta. Für den produktiven Einsatz ist Cloudflare Tunnels die ausgereiftere Lösung.

---

5. Methode 2: Cloudflare Tunnels (Beste für Web-UIs & Team-Sharing)

Wenn Sie auf Ihre lokale KI über eine normale Webadresse zugreifen möchten (z.B. https://ai.ihredomain.com) ohne VPN-Software auf dem Client, ist Cloudflare Tunnels der Branchenstandard.

Cloudflare Tunnels (über den cloudflared-Daemon) stellt eine sichere ausgehende Verbindung von Ihrem Mac zu Cloudflares Edge her. Layern Sie Cloudflare Access (Zero Trust) darüber, können Sie Nutzer vor dem Zugriff authentifizieren — via Google, GitHub oder E-Mail-PIN — bevor sie Ihre lokale Maschine erreichen.

Schritt-für-Schritt-Anleitung:

1. Domain & Cloudflare-Konto: Sie benötigen eine Domain bei Cloudflare. Eine günstige .dev oder .io-Domain ist ausreichend.

2. Tunnel erstellen (dashboard-gesteuert, aktueller Standard): 1. Im Cloudflare Zero Trust Dashboard anmelden. 2. Navigieren zu Networking → Tunnels — eine Umbenennung seit März 2026. Die Verwaltung der Tunnel ist jetzt hier, nicht mehr unter Access → Tunnels. 3. Auf Create a tunnel klicken, Cloudflared als Verbindungstyp wählen, Namen vergeben (z.B. Mac-Studio-AI). 4. Cloudflare zeigt einen Installationsbefehl mit einem langen Token, das mit eyJ... beginnt. Auf macOS zuerst den Daemon via Homebrew installieren:

   brew install cloudflared

Dann den bereitgestellten Befehl ausführen, um den Tunnel zu registrieren — kein separater cloudflared tunnel login-Schritt notwendig. (Der klassische Weg mit cloudflared tunnel login + config.yml funktioniert weiterhin, ist aber für die dashboard-gesteuerte Variante nicht notwendig.)

3. Traffic routen: Im Dashboard einen Public Hostname anlegen (erscheint als “Published application routes”): - Subdomain: ai - Domain: ihredomain.com - Service Type: HTTP - URL: localhost:11434 (reine Ollama-API) oder localhost:8080 (Open WebUI in Docker)

4. Mit Cloudflare Access absichern (wichtig): Wenn Sie hier aufhören, kann jeder im Internet https://ai.ihredomain.com aufrufen und Ihre GPU nutzen. Fügen Sie eine Authentifizierung hinzu: 1. Im Zero Trust Dashboard zu Access controls → Applications (neue Bezeichnung) gehen. 2. Auf Add an Application → Self-Hosted klicken. 3. Domain auf ai.ihredomain.com setzen. 4. Eine Policy erstellen (z.B. “Nur mein E-Mail”) mit Regel Include → Emails → your_email@gmail.com.

Jetzt fordert https://ai.ihredomain.com eine Anmeldung, bevor jemand Zugriff erhält, und bietet sicheren HTTPS-verschlüsselten Zugang zu Ihrer Heim-KI.

Hinweis für LLM-Verkehr: Wenn Sie nur schnell testen wollen ohne Domain, bietet Cloudflare cloudflared tunnel --url http://localhost:8080 einen “Quick Tunnel” mit einer zufälligen trycloudflare.com-URL in Sekunden — ohne Konto. Für eine Demo reicht das, aber Cloudflare warnt, dass diese Tunnels maximal 200 gleichzeitige Requests unterstützen und keine Server-Sent Events (SSE). Da Ollama, Open WebUI und LiteLLM Token-Streaming über SSE senden, wird ein Quick Tunnel Streaming unterbrechen — entweder kein Ergebnis bis zum Ende oder eine unterbrochene Verbindung. Für den Dauerbetrieb sollten Sie einen echten, benannten Tunnel anlegen.

---

6. Methode 3: Zrok & Ngrok (Ideal für temporäres/kurzes Teilen)

Manchmal braucht man keinen dauerhaften VPN oder eine eigene Domain. Etwa bei Hackathons, um einem Teammitglied für eine Stunde Zugriff zu gewähren, oder für schnelle Webhook-Tests.

Ngrok ist das am häufigsten genutzte Tool, und es ist nicht nur “kostenlos mit Einschränkungen”. Seit 2023 erhält jedes kostenlose Ngrok-Konto eine statische “Dev-Domain” (z.B. panda-new-kit.ngrok-free.app), die bei Neustart gleich bleibt — die Tage der zufälligen URLs bei jedem Start sind vorbei. Was kostenpflichtig ist, sind echte, benutzerdefinierte Domains (api.ihredomain.com) sowie mehr als 3 gleichzeitige Endpunkte, 1GB Bandbreite pro Monat und 20.000 Requests.

Eine moderne, quelloffene Alternative ist Zrok, basierend auf dem OpenZiti Zero-Trust-Netzwerk.

Zrok einrichten:

1. Zrok-Binary für macOS (Apple Silicon/ARM64) herunterladen.
2. Einladung per E-Mail anfordern — kein Token mehr nötig, nur eine Adresse: bash zrok invite Den Link im E-Mail-Postfach öffnen und “Enable Your Environment” wählen, um ein Environment-Token zu generieren. 3. Das lokale Environment mit dem Token aktivieren: bash zrok enable <YOUR_TOKEN>
3. Um lokal Ollama sicher ins Internet zu bringen mit einer temporären HTTPS-URL: bash zrok share public localhost:11434 Zrok liefert sofort eine HTTPS-URL, die Sie in Ihren Remote-Code einfügen können. Wenn Sie den zrok-Prozess stoppen, ist der Tunnel weg. Wichtig vor dem Teilen eines LLM-Endpunkts: Ein zrok share public erstellt eine “Open Permission”-Freigabe — jeder mit der URL kann sie nutzen, ohne weitere Authentifizierung. Möchten Sie den Zugriff einschränken, verwenden Sie --closed und --access-grant user@example.com, um bestimmte Nutzer zuzulassen. — ## Schneller Vergleich | Methode | Für | Client-Tool erforderlich? | Öffentliche URL? | |—|—|—|—| | Tailscale | Privat, Multi-Device | Ja (Tailscale-App) — außer bei Funnel | Nein (Funnel: ja, Beta) | | Cloudflare Tunnel | Team, dauerhafte Domain, SSO | Nein | Ja | | Zrok | Ephemere, selbsthostbar, Hackathon | Nein | Ja (offen, --closed für Beschränkung) | | Ngrok | Schnelles Testen, bekannte Tools | Nein | Ja (statische Dev-Domain; kostenpflichtige Domains) | — ## 7. Nutzererlebnis verbessern: LiteLLM und Open WebUI Das Freigeben der Ollama-API ist gut für Code, aber es fehlt an Komfortfunktionen wie bei ChatGPT oder Claude. Zwei Tools machen eine Remote-Umgebung zu einem echten Produkt. ### Open WebUI Open WebUI ist ein selbstgehosteter, ChatGPT-ähnlicher Frontend mit integrierter Authentifizierung, Nutzerverwaltung und Chat-Historie — eines der beliebtesten Open-Source-KI-Projekte, mit über 147.000 GitHub-Sternen und 338 Millionen Downloads bis Mitte 2026. Läuft sauber in Docker auf Apple Silicon: bash docker run -d -p 3000:8080 \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui --restart always \ ghcr.io/open-webui/open-webui:main

Ein Apple Silicon-spezifischer Tipp: Docker Desktop auf macOS unterstützt aktuell noch nicht den Metal-GPU-Zugriff in Containern. Wenn Sie Ollama in Docker laufen lassen, fällt es auf CPU-only zurück — oft deutlich langsamer als auf der M-Serie. Besser: Ollama nativ auf macOS laufen lassen und nur Open WebUI containerisieren, mit OLLAMA_BASE_URL=http://host.docker.internal:11434. Den Port 8080 tunneln Sie dann via Cloudflare oder Tailscale, nicht 11434. Die Authentifizierung und Chat-Historie machen Open WebUI zum besseren Remote-Arbeitsplatz-Interface.

LiteLLM

Wenn Sie Apps remote bauen und mehr als 100 Anbieter (Ollama, OpenAI, Anthropic, Azure, Bedrock etc.) in einem einzigen OpenAI-kompatiblen Endpoint brauchen, setzen Sie LiteLLM davor. Ein minimales config.yaml:

model_list:
  - model_name: llama3
    litellm_params:
      model: ollama/llama3.2:3b
      api_base: http://localhost:11434

Starten Sie es mit litellm --config config.yaml (Standardport 4000). Für den Remote-Zugriff: LiteLLM im Proxy-Modus gibt virtuelle API-Schlüssel mit Quoten und Ratenbegrenzungen aus — konfigurieren Sie Ihren Cloudflare Tunnel so, dass er LiteLLMs Port freigibt, API-Routen ohne Cloudflare-Login erlaubt und nur Anfragen mit gültigem LiteLLM-Schlüssel im Header zulässt. So läuft eine echte, enterprise-taugliche Inferenz-Gateway vollständig auf Ihrem Mac.

---

8. Optimierung Ihres Apple Silicon Hosts für Dauerbetrieb

Wenn Sie eine Woche unterwegs sind, wollen Sie nicht, dass Ihr Mac in den Ruhezustand geht und den KI-Tunnel trennt. Apple Silicon Macs sind energieeffizient, aber macOS schläft bei Inaktivität immer noch aggressiv.

1. Systemeinstellungen: Der Pfad hängt vom Mac ab. Bei einem Mac Studio — ohne Akku — gehen Sie zu Systemeinstellungen, dann Energie sparen (bei manchen Konfigurationen nur “Energie” genannt) in der Seitenleiste, und aktivieren Sie “Automatisches Schlafen bei ausgeschaltetem Bildschirm verhindern.” Bei einem MacBook ist die entsprechende Option unter Batterie → Optionen. Diese gilt nur bei Netzbetrieb — im Batteriebetrieb kann macOS das Gerät trotzdem schlafen legen.
2. Amphetamine oder caffeinate: Installieren Sie die kostenlose App Amphetamine oder verwenden Sie den Befehl caffeinate. Beispiel: bash caffeinate -i verhindert den Ruhezustand, solange das Terminal offen ist. Mit -d bleibt auch der Bildschirm wach. Für eine Prozessspezifische Variante: bash caffeinate -i -w $(pgrep -f ollama)
3. Automatischer Start: Ollama, Docker (für WebUI) und cloudflared beim Systemstart starten lassen, damit Neustarts den Tunnel nicht unterbrechen. macOS launchd (LaunchAgents/LaunchDaemons) ist dafür geeignet. Variablen, die mit launchctl setenv gesetzt wurden, müssen bei jedem Login erneut gesetzt werden.

---

Fazit

Apple Silicon verändert die KI-Landschaft weiter: Das Mac Studio-Update unterstützt jetzt bis zu 512GB unified memory bei 1,2TB/s — Ollamas neuer MLX-Backend nutzt diese Architektur voll aus und liefert echte Geschwindigkeit. Mit dieser Power kommt die Verantwortung, das Netzwerk richtig zu managen.

Durch Verzicht auf Port-Forwarding und die Nutzung von Zero Trust-Lösungen erhalten Sie sicheren, schnellen und zuverlässigen Fernzugriff. Ob Sie das private Mesh von Tailscale, die Zero Trust-Web-Access von Cloudflare Tunnels oder das temporäre Teilen mit Zrok wählen — Sie können Apple Silicon KI sicher tunneln und die volle Leistung Ihrer Hardware von überall aus nutzen.

Ihr LLM ist lokal, aber Ihr Zugriff muss es nicht sein. Richten Sie noch heute Ihren Reverse Proxy ein, sichern Sie ihn ab und genießen Sie privaten KI-Inferenz überall auf der Welt.

---

Changelog

Stand der Dokumentation und Ankündigungen (Web-Überprüfung am 14. September 2026):

• Ollama MLX-Backend: Der Entwurf behandelte Ollama und MLX als parallele, separate Tools. Mit Ollama 0.19 (31. März 2026, Preview) läuft Ollama jetzt mit einem MLX-Inferenz-Backend auf Apple Silicon Macs mit 32GB+ unified memory (aktiviert via OLLAMA_USE_MLX=1), was den llama.cpp/Metal-Pfad ersetzt und die Decodierungsleistung in Benchmarks etwa verdoppelt; 8–16GB Macs sind davon unberührt. Hinzugefügt in Abschnitt 1.
• Beschreibung von oMLX: Korrektur von vager Beschreibung zu tatsächlichem Umfang: Ein auf mlx-lm basierender Inferenz-Server, spezialisiert auf Coding-Agenten, mit kontinuierlichem Batching, zweistufigem RAM/SSD KV-Cache, Multi-Model-Serving und API-Kompatibilität zu OpenAI und Anthropic.
• Mac Studio Speicher: Die vorherige Angabe “128GB oder 192GB” war veraltet. Das Mac Studio wurde am 25. August 2026 mit M5 Max/M5 Ultra aktualisiert, die bis zu 512GB unified memory bei 1,2TB/s unterstützen (50 % mehr Bandbreite). Die 512GB-Konfiguration wird erst Ende Oktober verfügbar sein.
• RTX 4090 Vergleich: Aktualisierung auf RTX 5090 mit 32GB GDDR7, um den Punkt zu verdeutlichen, dass Apples einheitlicher Speicher für 70B+ Modelle immer noch deutlich überlegen ist.
• Tailscale Free-Tier: Korrektur der Aussage zu “bis zu 100 Geräten”. Der aktuelle Personal-Plan ist pro Nutzer (6 Nutzer), nicht pro Gerät. Die ²⁰⁄₁₀₀-Geräte-Limite sind veraltet.
• Funnel: Neue Funktion, um mit Tailscale AI öffentlich zugänglich zu machen, ohne VPN-Client auf dem Besuchergerät.
• Cloudflare Dashboard: Aktualisierte Navigation: Statt Access → Tunnels jetzt Networking → Tunnels; Access → Applications wurde zu Access controls → Applications.
• SSE-Warnung bei Quick Tunnels: cloudflared tunnel --url-Ephemeral-Tunnels unterstützen maximal 200 Requests und keine SSE, was Streaming-Modelle wie Ollama oder LiteLLM beeinträchtigt.
• Zrok: Einladung jetzt ohne Token, nur E-Mail; share public ist offen, --closed und --access-grant sind für Einschränkungen notwendig.
• Ngrok: Seit 2023 gibt es eine statische Dev-Domain im kostenlosen Plan; echte benutzerdefinierte Domains und erweiterte Limits sind kostenpflichtig.
• Docker GPU-Passthrough: Docker Desktop auf macOS unterstützt aktuell kein Metal-GPU in Containern, Ollama in Docker läuft daher nur auf CPU.
• LiteLLM: Beispiel config.yaml aktualisiert, Standardport 4000, Frontend für 100+ Anbieter.
• Energieeinstellungen: Pfad zu “Prevent automatic sleeping” wurde aktualisiert, abhängig vom Mac-Modell.
• caffeinate Nutzung: Mit -d-Flag und Prozessbindung für automatische Freigabe.
• Vergleichstabelle: Zusammenfassung der Tunneling-Methoden.
• Fazit: Power von Apple Silicon nutzen, sichere und schnelle Fernzugriffe ermöglichen.

Alle Änderungen zielen darauf ab, die technische Genauigkeit zu verbessern und aktuelle Entwicklungen widerzuspiegeln, ohne den ursprünglichen Inhalt zu verfälschen.