Maîtriser les Agents IA & Infrastructure LLM Locale : Streaming, Sandboxing et Firewalls de Prompt

Les serveurs LLM locaux et les frameworks d’agents sont désormais courants dans les workflows proches de la production. Les ingénieurs exécutent Ollama, llama.cpp ou vLLM sur leur propre matériel et l’exposent via un tunnel inversé. Ils connectent des agents à des outils via le Model Context Protocol (MCP), et délèguent certains sous-tâches à des modèles hébergés. Chacun de ces choix crée ses propres problèmes d’infrastructure. Les longues générations sont interrompues par des délais d’attente proxy. Le buffering casse le streaming token par token. Les serveurs d’outils tiers augmentent la surface d’attaque. Les données sensibles peuvent quitter la machine dans un prompt.

Cet article couvre trois modèles pour ces problèmes :

1. Maintenir en vie les longues générations en streaming via tunnels et proxies.
2. Limiter ce que le code d’outil MCP non fiable peut faire avec un runtime WebAssembly (Wasm).
3. Rediriger les secrets et PII à la périphérie avant qu’un prompt n’atteigne un modèle cloud.

Pour chaque modèle, il indique ce que la technique fait et ce qu’elle ne fait pas.

1. Générations longues : Maintenir les flux en vie via tunnels et proxies

Le dépassement de la fenêtre de contexte est un problème distinct. Il se produit lorsque l’entrée dépasse la longueur de contexte configurée du modèle, et la solution se trouve sur le serveur du modèle (pour Ollama, le paramètre num_ctx), pas dans le chemin réseau. La défaillance abordée dans cette section concerne une réponse longue ou lente qui est coupée ou retardée entre le modèle local et le client.

[Serveur LLM local]
      │  (localhost HTTP)
      ▼
[Votre proxy / démon de tunnel en périphérie] ──(HTTP chunké / SSE)──► [Client distant ou passerelle]
      ▲
 (buffering désactivé, battements de cœur, délais d'attente ajustés)

Ollama écoute par défaut sur le port 11434. Il expose un endpoint /v1/chat/completions compatible OpenAI, et stream: true retourne des Événements Envoyés par le Serveur (SSE). Les générations de style raisonnement peuvent durer des minutes, et le chemin entre le modèle et le client comporte plusieurs points de défaillance.

Où les flux échouent

1. Timeout d’inactivité et de réponse. proxy_read_timeout de Nginx par défaut à 60 secondes. Il mesure l’écart entre deux lectures successives de l’upstream, pas le temps total de la requête. Si un modèle met plus longtemps à traiter un prompt volumineux avant d’émettre son premier token, Nginx ferme la connexion. Le proxy Cloudflare renvoie une erreur 524 si l’origine ne répond pas en environ 100 secondes. Ce limite ne peut être modifiée que sur les plans Entreprise, et s’applique à l’attente de la réponse, donc une phase de