Podlight
Ein eigenes Sprachmodell auf gemieteter GPU, als Backend für den Coding-Agent auf dem Mac.
- KI
- Self-Hosting
Podlight ist eine Mac-App für alle, die ihrem Coding-Agent ein eigenes Sprachmodell geben wollen, statt jede Anfrage an die Modell-API eines großen Anbieters zu schicken. Das Modell läuft auf einer GPU, die du bei RunPod mietest: Modell, Laufzeit und Kostenrahmen bestimmst du selbst. Seit Version 0.4 gibt es außerdem einen Servermodus, damit Modelle auch erreichbar bleiben, wenn der Mac aus ist.
Was brauche ich?
- einen Mac mit macOS 26 oder neuer
- ein RunPod-Konto mit API-Key und Guthaben
- einen Coding-Agent oder Client, der OpenAI-kompatibel spricht, zum Beispiel OpenCode, Claude Code oder Codex
Wie richte ich Podlight ein?
- Installieren:
Podlight-<Version>.dmgvon den Releases auf GitHub laden und Podlight in den Programme-Ordner ziehen. Updates holt sich die App selbst. - RunPod verbinden: Beim ersten Start fragt Podlight nach deinem RunPod-API-Key und zeigt, wo du ihn anlegst.
- Modell hinzufügen: Auf Hugging Face suchen oder einen Link einfügen. Safetensors, AWQ, GPTQ, FP8 und NVFP4 laufen auf vLLM, GGUF auf llama.cpp. Du legst fest, wo das Modell laufen darf und wie groß der Kontext sein soll. Podlight schlägt passende Karten vor, mit Preis pro Stunde, geschätzter Geschwindigkeit und Rechenzentrum.
- Starten: Du wählst, bis wann der Pod läuft, und siehst vorher den Höchstbetrag. Ein neuer Pod braucht einige Minuten, im ungünstigen Fall bis zu 25: Der GPU-Rechner lädt erst die Laufzeitumgebung (9 GB für vLLM, 4 GB für llama.cpp) und dann das Modell. Ein gestoppter Pod mit behaltenem Speicher ist nach etwa einer Minute wieder da.
- Agent verbinden: Im Bereich „Verbindung“ stehen Adresse, Schlüssel und Modellname zum Kopieren. Für OpenCode, pi, Claude Code und Codex gibt es fertige Konfigurationen.
Die eingebaute Hilfe im Hilfe-Menü erklärt jeden Schritt auf Deutsch.
Wo laufen meine Daten?
- Auf dem Mac läuft der Endpunkt, mit dem dein Agent spricht (
127.0.0.1:7635, auf Wunsch auch im lokalen Netz). Dein RunPod-API-Key bleibt auf dem Mac. - Auf der gemieteten GPU bei RunPod läuft das Modell. Prompts und Antworten gehen also an einen Rechner von RunPod, nicht an OpenAI oder Anthropic. Das ist fremde Infrastruktur, aber mit deinem Modell und unter deiner Kontrolle.
- Standort: Je Modell legst du fest, ob es überall, nur in der EU oder in EU und EWR laufen darf, wahlweise nur in der Secure Cloud. RunPod behandelt Regionen als Wunsch. Podlight prüft deshalb, wo ein Pod gelandet ist, und löscht ihn, wenn er außerhalb liegt.
Warum die Kosten im Griff bleiben
- Jeder Start hat ein Ende. Du legst fest, bis wann der Pod läuft.
- Ohne Anfragen stoppt der Pod nach 30 Minuten. Die Zeit lässt sich ändern, aber nicht abschalten.
- Ein Wächter im Pod stoppt ihn nach 15 Minuten ohne Lebenszeichen von Podlight: Mac im Ruhezustand, App beendet, Netz weg. Er nutzt nur den Schlüssel, den RunPod in jeden Pod legt und der allein diesen Pod sehen und stoppen kann.
- Tages- und Monatslimits werden geprüft, bevor eine Anfrage einen Pod weckt.
- Speicher kostet nur, wenn du ihn willst. Ohne „Modell auf Disk behalten“ wird der Pod am Ende gelöscht. Mit der Option startet er schneller, der Speicher kostet dann aber auch im Stillstand (0,20 USD pro GB und Monat). Ungenutzte Disks löscht Podlight nach drei Tagen.
Mac oder Server?
Auf dem Mac ist Podlight zum Ausprobieren und für Agenten auf diesem Rechner oder im eigenen Netz gedacht. Der Servermodus läuft als Docker- oder Coolify-Container hinter HTTPS, mit eigenem RunPod-Key und eigenen Zugangsschlüsseln für Agenten. Das passt für n8n, Agenten auf anderen Rechnern oder ein Team. Eingerichtet wird er mit einem docker compose up, danach den Server in der App mit dem Kopplungscode aus dem Log hinzufügen.
Grenzen und typische Fehler
- MLX-Modelle erkennt Podlight und lehnt sie ab: Sie laufen nur auf Apple-Chips.
- Claude Code mit fremden Modellen unterstützt Anthropic nicht offiziell. Es funktioniert über die Anthropic-kompatible Schnittstelle, aber ohne Websuche.
- Im lokalen Netz läuft die Verbindung über unverschlüsseltes HTTP (mit Schlüssel). Nutze das nur in Netzen, denen du vertraust.
- Eine Anfrage ohne Streaming, die länger als 100 Sekunden dauert, kann der Proxy von RunPod abbrechen. Agenten streamen, betroffen sind eher Skripte.
- Eine Windows-Version gibt es noch nicht.
Aktualisieren und entfernen
Die App aktualisiert sich selbst. Vor dem Entfernen alle Pods stoppen: Beim Beenden fragt Podlight nach, und Stoppen ist die Vorgabe. Behaltene Disks löschst du in der App oder in der RunPod-Konsole, sonst laufen dort weiter Speicherkosten.
Podlight ist ein unabhängiges Projekt und gehört nicht zu RunPod.
Vorgänger: LOGIN-TB/runpod-launcher (öffnet neuen Tab) (archiviert).