Claude, Mistral oder lokal: Modell und Hosting wählen

Modell und Hosting sollten Sie nach Ihren Daten wählen, nicht nach dem Namen des Modells. Es gibt drei Stufen: ein Sprachmodell in einer europäischen Cloud-Region, ein offenes Modell bei einem Anbieter mit Rechenzentren in Deutschland oder ein Modell auf Ihrem eigenen Server. Jede Stufe hat Vorteile und Grenzen. Völlige Souveränität und gleiche Qualität auf jedem Modell kann seriös niemand zusagen.

Warum die Frage auf den Tisch kommt

Laut Bitkom nutzen 57 Prozent der Unternehmen KI. KI-Agenten setzen 11 Prozent der Unternehmen ein, die KI nutzen oder den Einsatz planen oder diskutieren. Unternehmen mit KI nennen am häufigsten Datenschutzanforderungen (66 Prozent) und rechtliche Verunsicherung (56 Prozent) als Hürde. Ein Agent liest Ihre Mails, Aufträge und Dokumente, deshalb ist die Frage, wo das Modell läuft und wer die Daten sieht, ein Teil jeder Einführung.

Die drei Hosting-Stufen

Cloud in Europa

Claude lässt sich über Amazon Bedrock oder Google Vertex in einer europäischen Region betreiben. Europa ist für beide gelistet, regionale Endpunkte halten Speicherung und Verarbeitung in der Region (claude.com, Regional Compliance). Das passt für Unternehmen, die ohnehin einen Cloud-Vertrag mit einem dieser Anbieter haben.

Offene Modelle bei einem Anbieter mit Rechenzentren in Deutschland

Offene Modelle wie Mistral oder gpt-oss laufen bei Anbietern mit eigenen Rechenzentren. STACKIT bietet Modellbetrieb mit Testzugang (STACKIT Docs) und betreibt alle Regionen ausschließlich in Deutschland und Österreich (STACKIT Regionen). Bei anderen Anbietern wie IONOS (IONOS) klären wir den Standort im Vertrag. Das ist die Wahl bei strengen Datenvorgaben. Achten Sie auf die Lizenz: Die Llama-Lizenz schließt multimodale Modelle für Firmen mit Hauptsitz in der EU aus, reine Textmodelle sind nicht betroffen (WZ-IT, Anbieterblog).

Auf dem eigenen Server

Modelle mit Werkzeugen wie vLLM oder Ollama laufen auf Hardware in Ihrem Haus, die Daten verlassen es nicht. Für Agenten in Ihrer Umgebung ist das ein Konzept, das wir noch nicht an einem Kundenfall belegen können.

Die Vermittlungsschicht: wechseln ohne Umbau

Dahinter steht eine Schicht, die Agenten und Modelle entkoppelt. Der quelloffene Baustein LiteLLM bietet eine einheitliche Schnittstelle für über 100 Modelle mit Schlüsseln, Budgets und Lastverteilung (WZ-IT). Mit einer solchen Vermittlungsschicht können Sie das Modell wechseln, ohne den Agenten neu zu bauen. Ob die Qualität nach einem Wechsel reicht, zeigt ein Test mit denselben Prüffällen auf mindestens zwei Modellen.

Eine Entscheidungshilfe

Haben Sie bereits einen Cloud-Vertrag mit Amazon oder Google, ist die europäische Region meist der kürzeste Weg: Einkauf, Abrechnung und Sicherheitsprüfung laufen über Verträge, die es schon gibt. Gelten für Ihre Daten strenge Vorgaben, etwa wegen Kundenverträgen oder interner Regeln, sind offene Modelle bei einem Anbieter mit Rechenzentren in Deutschland die zweite Wahl. Dürfen die Daten das Haus gar nicht verlassen, bleibt der eigene Server, mit höherem Aufwand für Betrieb und Hardware.

Wichtig ist, dass die Entscheidung nicht endgültig sein muss. Wer von Anfang an eine Vermittlungsschicht nutzt und seine Prüffälle dokumentiert, kann später das Modell tauschen, wenn sich Preise, Qualität oder Vorgaben ändern. Mistral und gpt-oss sind für uns die Standardwahl bei offenen Modellen, andere nur auf ausdrücklichen Wunsch.

Was wir nicht versprechen

• Vollständige Souveränität. US-Hyperscaler unterliegen auch mit europäischer Region weiter US-Recht, das ist unsere rechtliche Einschätzung, kein Rechtsrat.
• Gleiche Qualität auf allen Modellen. Offene Modelle liegen bei Agentenaufgaben vermutlich zurück. Das ist eine Schlussfolgerung ohne Primärquelle; die Qualität belegt der Modellwechsel-Test an Ihren Daten.
• Ein Gütesiegel wie „DSGVO-konform“. Wir vergeben und bewerben kein solches Siegel.
• Aussagen wie „erfüllt Artikel 4 der KI-Verordnung“. Seit der Änderung durch die Verordnung (EU) 2026/1744 vom 8. Juli 2026 verlangt Artikel 4 von Unternehmen Maßnahmen, die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Die Einzelheiten stehen in unserem Beitrag zur Schulungspflicht. Einen Schulungsnachweis nach Artikel 4 bewerben wir nicht.

Offen ist auch, wo Amazon Bedrock Ihre Anfrage verarbeitet. Der Dienst kann Anfragen über mehrere AWS-Regionen verteilen. Wählen Sie ein Profil für eine Geografie wie die EU, bleibt die Verarbeitung laut AWS innerhalb dieser Geografie; ein weltweites Profil kann jede unterstützte Region nutzen (AWS-Dokumentation, regionsübergreifende Inferenz). Prüfen Sie je Modell, welches Profil gilt, bevor Sie sich festlegen.

Was Sie von Ihrem Dienstleister verlangen können

• Ein Datenfluss-Diagramm für Ihren Fall.
• Eine Liste der Auftragsverarbeiter und einen Auftragsverarbeitungsvertrag.
• Den Hinweis, welches Modell wo verarbeitet.
• Einen Modellwechsel-Test mit denselben Prüffällen auf mindestens zwei Modellen.
• Menschen, die Ergebnisse prüfen, und eine Offenlegung des KI-Einsatzes.

Wie wir das angehen

Claude ist unsere erste Wahl für die Qualität von Agenten, die Entscheidung über Modell und Hosting liegt bei Ihnen. Wo Daten besonders geschützt sein müssen, setzen wir offene Modelle bei einem Anbieter in der EU ein. Dürfen sie das Haus nicht verlassen, läuft das Modell auf einem Server bei Ihnen. In einer Bestandsaufnahme vorab klären wir Datenwege und Anforderungen, bevor etwas gebaut wird. Für Fachabteilungen großer Unternehmen gibt es ein Angebot mit Sicherheitsunterlagen vor dem Start; Details stehen auf der Seite Sicherheit.

Bringen Sie zum Gespräch Ihre Datenarten mit: Welche Dokumente und Mails soll der Agent sehen, und welche ausdrücklich nicht? Daraus ergibt sich meist schon, welche der drei Stufen in Frage kommt. Die Entscheidung dokumentieren wir mit Datum und Begründung, damit sie später nachvollziehbar bleibt.

Quellen

• Bitkom, Presseinformation zur KI-Nutzung
• claude.com, Regional Compliance
• STACKIT Docs, AI Model Serving
• STACKIT Docs, Regionen
• AWS-Dokumentation, regionsübergreifende Inferenz (Cross-Region Inference)
• IONOS, AI Model Hub
• WZ-IT, Lizenzen offener Sprachmodelle (Anbieterblog)
• WZ-IT, Was ist LiteLLM (Anbieterblog)
• Verordnung (EU) 2026/1744 (Digital Omnibus on AI), EUR-Lex

Anbieterangaben und Schätzungen sind im Text als solche benannt. Rechtliche Aussagen sind kein Rechtsrat.