KI im Unternehmen
Souveräne KI selbst betreiben: Modelle, Hardware, Aufwand
Florian Rocktäschel · Stand: November 2026 · 12 Minuten Lesezeit
Kurz gesagt
Zwischen der API eines US-Anbieters und dem eigenen Server liegen mindestens drei weitere Wege: ein europäischer Modellanbieter wie Mistral, eine europäische Cloud, die offene Modelle als Dienst bereitstellt, und ein gemieteter GPU-Server, auf dem Sie das Modell selbst betreiben. Der eigene Betrieb lohnt sich selten wegen der Kosten. Er lohnt sich, wenn Sie Daten, Modellversion und Ausstieg selbst in der Hand haben müssen. Dann sind drei Fragen zu klären: Darf ich das Modell nutzen (Lizenz)? Passt es in den Grafikspeicher (Hardware)? Und wer hält es nachts um drei am Laufen (Betrieb)? Wie viel Betrieb nötig ist, hängt am Einsatz: Ein lokales Modell für einzelne Aufgaben läuft fast ohne Betreuung, ein Dienst für viele Mitarbeitende gleichzeitig braucht echten Betrieb.
Was heißt „souverän“ bei KI überhaupt?
Vollständig unabhängig ist niemand. Kein Unternehmen fertigt seine eigenen Grafikkarten, und auch ein offenes Modell kommt von einem Hersteller, der es trainiert hat. Für mich heißt souverän deshalb: Sie kennen Ihre Abhängigkeiten, gehen sie bewusst ein und können sie bei Bedarf auflösen.
Daraus ergeben sich vier prüfbare Fragen:
- Rechtsraum: Welches Recht gilt für den Anbieter, und wer kann Zugriff auf Ihre Daten verlangen?
- Datenfluss: Wo werden Eingaben und Antworten verarbeitet und gespeichert, auch Protokolle und Metadaten?
- Modellversion: Bestimmen Sie, wann sich das Modell ändert, oder der Anbieter?
- Ausstieg: Können Sie in drei Monaten mit demselben oder einem gleichwertigen Modell woanders weiterarbeiten?
Welche Wege gibt es, und was unterscheidet sie?
Ich unterscheide fünf Wege. Die Anbieter in Klammern sind Beispiele für die Bauart, keine Empfehlung.
1. API eines US-Anbieters (etwa Anthropic oder OpenAI): die stärksten Modelle, kein eigener Betrieb, Abrechnung pro Token. Der Anbieter unterliegt zusätzlich US-Recht (CLOUD Act), auch wenn die Verarbeitung in Europa stattfindet. 2. API eines europäischen Modellanbieters (etwa Mistral): EU-Recht, eigene Modelle, teils mit offenen Gewichten. Mistral bietet einen EU-Endpunkt an, der in Rechenzentren in EU- und EFTA-Staaten rechnet und 10 % mehr kostet als der globale Endpunkt. 3. Europäische Cloud mit offenen Modellen als Dienst (etwa STACKIT AI Model Serving): Sie zahlen pro Token wie bei einer API, aber für offene Modelle, betrieben in einem europäischen Rechenzentrum. Sie wählen nur aus dem Katalog des Anbieters. 4. Gemieteter GPU-Server (etwa Hetzner oder Scaleway): Sie betreiben das Modell selbst, die Hardware gehört dem Rechenzentrum. Volle Kontrolle über Modell und Version, aber auch voller Betriebsaufwand für die Software. 5. Eigener Server im eigenen oder angemieteten Rechenzentrum: volle Kontrolle bis zur Hardware, dafür Anschaffung, Strom, Ersatzteile und Bereitschaft.
Mit jeder Stufe nach unten wächst die Kontrolle und mit ihr der Aufwand. Die Modellqualität nimmt in der Regel ab, weil die stärksten Modelle nicht als offene Gewichte erhältlich sind.
Welche offenen Modelle dürfen Sie in Europa wirklich nutzen?
„Open“ heißt nicht immer Open Source. Vor jeder Hardwareplanung steht deshalb die Lizenz. Drei Beispiele aus dem Stand vom November 2026 zeigen die Spannweite:
- Apache 2.0, die einfachste Lage: Mistral Small 4, die Ministral-3-Modelle, Gemma 4 von Google und die offenen Qwen-Modelle von Alibaba stehen unter dieser Lizenz. Gewerbliche Nutzung, Anpassung und Weitergabe sind erlaubt.
- Offene Gewichte mit Auflage: Mistral Large 4, ein Modell mit rund einer Billion Parametern, steht unter der „Mistral Ecosystem Open-Weight License“. Sie erlaubt kommerzielle Nutzung, verlangt aber eine eigene Lizenz von Mistral, wer das Modell als Dienst an Dritte verkauft. Für den Betrieb im eigenen Unternehmen ist das meist unkritisch, für einen Dienstleister, der es seinen Kunden anbietet, nicht.
- Ausschluss für Europa: Die Nutzungsrichtlinie zu Llama 4 von Meta gewährt die Rechte für die multimodalen Modelle nicht an Personen mit Wohnsitz und Unternehmen mit Hauptsitz in der EU. Endnutzer eines fertigen Produkts sind ausgenommen. Wer als deutsches Unternehmen selbst betreiben will, ist damit raus.
Prüfen Sie die Lizenz immer an der Quelle, also auf der Modellkarte des Herstellers. Umgepackte Fassungen, etwa in Containern von Hardwareherstellern, können zusätzliche Bedingungen mitbringen.
Wie viel Grafikspeicher braucht ein Modell?
Für eine erste Schätzung reicht eine Formel aus dem Sizing-Leitfaden von Lenovo: Parameter in Milliarden mal Bytes pro Parameter mal 1,2. Bei voller Genauigkeit (FP16) sind es 2 Bytes pro Parameter, bei 8 Bit 1 Byte, bei 4 Bit ein halbes. Die 1,2 deckt Zusatzbedarf beim Laden ab.
| Modell | Lizenz | Parameter (aktiv) | Speicher bei 8 Bit | Speicher bei 4 Bit |
|---|---|---|---|---|
| Ministral 3 14B | Apache 2.0 | 14 Mrd. | ca. 17 GB | ca. 8 GB |
| Qwen3.6 27B | Apache 2.0 | 27 Mrd. | ca. 32 GB | ca. 16 GB |
| Gemma 4 31B | Apache 2.0 | 31 Mrd. | ca. 37 GB | ca. 19 GB |
| Mistral Small 4 | Apache 2.0 | 119 Mrd. (6,5 Mrd.) | ca. 143 GB | ca. 71 GB |
| Mistral Large 4 | Mistral-Lizenz mit Auflage | ca. 1 Billion (ca. 50 Mrd.) | ca. 1.200 GB | ca. 600 GB |
Die Werte gelten nur für das Modell selbst. Zwei Dinge kommen hinzu, und beide werden regelmäßig unterschätzt.
Erstens die aktiven Parameter. Mistral Small 4 ist ein Mixture-of-Experts-Modell: Pro Token rechnen nur 6,5 Milliarden Parameter. Das macht es schnell. Im Speicher liegen müssen trotzdem alle 119 Milliarden, weil erst während der Berechnung feststeht, welche Experten gebraucht werden. Hugging Face erklärt das am Beispiel Mixtral: Für den Speicher zählt die Gesamtzahl, für die Rechenzeit die aktive. Wer nach den aktiven Parametern plant, kauft zu kleine Hardware.
Zweitens der Zwischenspeicher für laufende Anfragen, der sogenannte KV-Cache. Er wächst mit der Zahl gleichzeitiger Nutzer und der Länge des Kontexts. Im Rechenbeispiel von Lenovo braucht ein Modell mit 70 Milliarden Parametern bei 100 gleichzeitigen Nutzern mit je 8.000 Tokens Kontext rund 262 GB allein für diesen Zwischenspeicher, mehr als die 168 GB für das Modell selbst.
Eine 4-Bit-Fassung spart die Hälfte des Speichers, kostet aber je nach Modell etwas Qualität. Ob das für Ihren Anwendungsfall reicht, zeigt nur ein Test mit Ihren eigenen Fragen.
Was kostet die Hardware?
Marktangaben, Stand November 2026, netto:
| Option | Ausstattung | Preis | Quelle |
|---|---|---|---|
| Hetzner GEX45 | 1 × RTX PRO 4000 Blackwell, 24 GB | 214 € im Monat + 209 € Einrichtung | hetzner.com |
| Hetzner GEX63 | 1 × RTX PRO 6000 Blackwell, 96 GB (Helsinki) | 999 € im Monat + 999 € Einrichtung | hetzner.com |
| Hetzner GEX131 | 1 × RTX PRO 6000 Blackwell, 96 GB (u. a. Falkenstein) | ab 1.499 € im Monat + 1.499 € Einrichtung | hetzner.com |
| Hetzner GEX430 | 4 × RTX PRO 6000 Blackwell, zusammen 384 GB | 3.599 € im Monat + 3.599 € Einrichtung | hetzner.com |
| Scaleway H100 | 1 × H100, 80 GB, pro GPU-Stunde | rund 3,50 $ (etwa 2.500 $ im Monat bei Dauerbetrieb) | Preisvergleich computeprices.com |
| Kauf RTX PRO 6000 Blackwell | eine Karte, 96 GB | im deutschen Handel etwa 11.000 bis 15.000 € (Mitte 2026) | Preisvergleich PCGH |
Damit lässt sich die Tabelle oben übersetzen. Ein Modell der Klasse 14 bis 31 Milliarden Parameter läuft auf einer einzelnen 96-GB-Karte mit Luft für den Zwischenspeicher. Mistral Small 4 passt in 4 Bit knapp auf eine solche Karte, für viele gleichzeitige Nutzer brauchen Sie zwei. Mistral Large 4 ist eine andere Liga: Die Modellkarte zeigt Beispiele mit acht GPUs.
Beim eigenen Server kommen Strom und Kühlung hinzu. Kleine und mittlere Industriebetriebe zahlen laut BDEW 2026 im Schnitt 17,9 Cent pro Kilowattstunde. Ein Server, der dauerhaft ein Kilowatt aufnimmt, braucht 8.760 kWh im Jahr, das sind rund 1.570 € Strom, bevor die Klimaanlage läuft.
Ist Selbstbetrieb günstiger als eine API?
Meist nicht, und das ist die unbequeme Zahl in dieser Diskussion. Ein Beispiel: Für die 1.499 € des GEX131 bekommen Sie bei Mistral Small 4 über den EU-Endpunkt rund sechs Milliarden Tokens im Monat, wenn auf vier Teile Eingabe ein Teil Ausgabe kommt. Das entspricht etwa 2.400 Tokens pro Sekunde, rund um die Uhr, jeden Tag. Erst wenn Ihr Verbrauch in diese Größenordnung kommt, rechnet sich der Server gegen die API desselben Modells. Den vollständigen Rechenweg mit Caching, Batch und Personal zeige ich in Was eine KI-Anwendung im Betrieb kostet.
Wer selbst betreibt, tut das deshalb aus anderen Gründen: Die Daten dürfen das Haus nicht verlassen, die Modellversion muss über Jahre gleich bleiben, oder ein Ausfall des Anbieters ist kein hinnehmbares Risiko. Das sind gute Gründe. Sie sollten nur ausgesprochen werden, statt sich hinter einer Kostenrechnung zu verstecken.
Was bedeutet der CLOUD Act für KI-Dienste?
Der US-amerikanische CLOUD Act von 2018 ergänzt das Gesetz über gespeicherte Kommunikation um eine Regel (18 U.S.C. § 2713): Anbieter elektronischer Kommunikations- und Cloud-Dienste müssen Inhalte und Kundendaten, die sich in ihrem Besitz, Gewahrsam oder ihrer Kontrolle befinden, auf behördliche Anordnung herausgeben, unabhängig davon, wo die Daten gespeichert sind.
Für KI-Dienste heißt das: Ein EU-Rechenzentrum eines US-Anbieters ändert den Speicherort, nicht den Rechtsraum. Die Option „Datenverarbeitung in Europa“ ist Datenresidenz. Sie beantwortet die Frage nach dem Ort, nicht die Frage, wer Zugriff verlangen kann.
Zur Einordnung gehört auch die andere Seite. Die Übermittlung personenbezogener Daten in die USA ist über das EU-US Data Privacy Framework derzeit zulässig. Das Gericht der EU hat die Klage dagegen im September 2025 abgewiesen, das Rechtsmittel liegt als Rechtssache C-703/25 P beim Gerichtshof. Und auch ein europäischer Anbieter braucht einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO, wenn Sie personenbezogene Daten schicken.
Das Kleingedruckte gibt es auch bei europäischen Anbietern. Mistral weist in seiner Dokumentation darauf hin, dass der EU-Endpunkt nicht alle Verwaltungsdaten in der Region hält: Kontodaten, API-Schlüssel, Abrechnung und Nutzungsstatistiken können außerhalb verarbeitet werden. Für die meisten Unternehmen ist das hinnehmbar. Sie sollten es nur wissen, bevor Sie „alles bleibt in der EU“ in eine Datenschutzerklärung schreiben.
Das ist keine Rechtsberatung. Ob ein Weg für Ihre Daten zulässig ist, klären Sie mit Ihrer Datenschutzbeauftragten oder einer Anwältin.
Was kostet der Betrieb, wenn Sie selbst betreiben?
Die Hardware ist der sichtbare Teil. Der größere ist die Arbeit, die ein API-Anbieter Ihnen sonst abnimmt:
- Inferenz-Server einrichten und aktuell halten, etwa vLLM oder SGLang, beide Open Source, dazu Treiber und Betriebssystem.
- Modellwechsel planen: Neue Versionen erscheinen im Monatstakt. Jede muss mit Ihrem Testset geprüft werden, bevor sie live geht.
- Überwachung: Antwortzeiten, Auslastung, Fehler, Speicher. Ohne Messung merken Sie erst an Beschwerden, dass der Server am Limit läuft.
- Ausfallsicherheit: Ein einzelner Server ist ein einzelner Ausfallpunkt. Für einen Dienst, auf den sich Mitarbeiter verlassen, brauchen Sie einen zweiten oder einen Rückfallweg über eine API.
- Sicherheit: Zugriffsschutz, Protokolle, Updates. Ein Inferenz-Server ist ein Server wie jeder andere und wird auch so angegriffen.
- Bereitschaft: Wer reagiert, wenn der Dienst am Montagmorgen nicht antwortet?
Hier liegt die häufigste Fehleinschätzung. Wer „souverän“ auf die Folie schreibt und den Server dann von einer einzigen Person betreuen lässt, hat die Abhängigkeit nur verschoben: vom Anbieter auf einen Mitarbeiter.
Welcher Weg passt zu welchem Fall?
| Kriterium | US-API | EU-Anbieter (API) | EU-Cloud, offene Modelle | Gemieteter GPU-Server | Eigener Server |
|---|---|---|---|---|---|
| Modellqualität | am höchsten | hoch | mittel bis hoch | je nach Hardware | je nach Hardware |
| Rechtsraum des Anbieters | USA (CLOUD Act) | EU | EU | EU (Rechenzentrum) | Ihr eigener |
| Modellversion bestimmen Sie | nein | eingeschränkt | eingeschränkt | ja | ja |
| Eigener Betriebsaufwand | gering | gering | gering | hoch | am höchsten |
| Kosten bei wenig Nutzung | niedrig | niedrig | niedrig | hoch (Fixkosten) | hoch (Anschaffung) |
| Ausstieg | Prompts neu testen | mit offenen Modellen leicht | leicht | leicht | leicht, Hardware bleibt |
Ein Weg, den ich oft für sinnvoll halte: mit der API eines europäischen Anbieters beginnen und dabei ein Modell wählen, dessen Gewichte offen sind. Dann ist der Ausstieg in den Selbstbetrieb mit demselben Modell möglich, ohne die Anwendung neu zu bauen. Mistral Small 4 ist ein Beispiel dafür: dasselbe Modell gibt es per API und unter Apache 2.0 zum Herunterladen. Wie man die Anwendung so baut, dass ein Modellwechsel kein Neuanfang wird, beschreibe ich in Modellwechsel ohne Neuanfang.
Und nicht jede Anwendung braucht denselben Weg. Marketingtexte vertragen eine US-API, Personalakten und Konstruktionsdaten vielleicht nicht. Teilen Sie Ihre Anwendungsfälle nach Daten ein, bevor Sie eine Plattform wählen.
Aus der Praxis
Ich betreibe Modelle selbst, auf lokalen Rechnern und auch auf dem Laptop. Bei vielen meiner Projekte dürfen die Daten gar nicht in die Cloud und zu keinem externen Anbieter, etwa wenn ich für Kunden Datenbestände sortiere und auswerte. Dann läuft das Modell eben lokal.
Der Aufwand dafür ist kleiner, als die Liste oben vermuten lässt. Für solche Aufgaben kostet der Betrieb praktisch keine Personentage. Das Modell läuft in einem Docker-Container, und es läuft einfach. Klar sein muss man sich einmal über die Hardware. Das kann ein Desktop-Rechner sein, der dann ein paar tausend Euro teurer wird als ein Büro-PC. Für Modelle bis etwa 27 Milliarden Parameter in 4 Bit, also rund 16 GB Grafikspeicher laut Tabelle oben, genügt eine entsprechende Grafikkarte. Beim Einrichten hilft übrigens KI, das ist bei mir Standard.
Die Liste oben gilt für den anderen Fall: einen Dienst, auf den sich viele Mitarbeitende gleichzeitig verlassen und der skalieren muss. Das ist ein eigenes Thema mit eigenem Aufwand. Ich halte selbst betriebene Modelle trotzdem für die Zukunft, weil man dort selbst entscheidet und sehen kann, was im Modell passiert.
Prüfliste vor der Entscheidung
- Welche Daten fließen in die Anwendung, und welche davon dürfen das Unternehmen nicht verlassen?
- Steht die Lizenz des Wunschmodells dem geplanten Einsatz entgegen, etwa durch eine Klausel für Dienstleister oder einen Ausschluss für die EU?
- Wie viele Nutzer arbeiten gleichzeitig, und wie lang sind Kontext und Antworten? Daraus folgt der Speicherbedarf.
- Haben Sie ein Testset mit echten Fragen, um ein kleineres oder quantisiertes Modell gegen das große zu prüfen?
- Wer betreibt den Server, wer vertritt diese Person, und was passiert bei einem Ausfall?
- Ab welchem Verbrauch rechnet sich der eigene Betrieb, und liegen Sie dort?
Wie aus einem Prototyp ein Dienst wird, der diesen Betrieb aushält, steht in Vom KI-Prototyp in den Betrieb. Und wenn Sie die Entscheidung mit jemandem durchgehen wollen, der solche Plattformen baut: Darum geht es auf meiner Seite KI im Unternehmen.
Offenlegung
Ich entwickle als Dienstleister die KI-Plattform Kivvo der KI Partner Deutschland GmbH, die in Deutschland betrieben wird. Deshalb nenne ich in diesem Artikel keine Plattform als Empfehlung. Die genannten Anbieter stehen als Beispiele für eine Bauart.
Häufige Fragen
Kleine Modelle laufen auch auf Prozessoren, aber deutlich langsamer. Für einen Dienst, den mehrere Mitarbeiter gleichzeitig nutzen, brauchen Sie in der Praxis eine Grafikkarte mit genug Speicher für Modell und Zwischenspeicher.
Die Übermittlung in die USA ist über das EU-US Data Privacy Framework derzeit zulässig, und auch ohne Übermittlung braucht es einen Vertrag zur Auftragsverarbeitung. Der Speicherort in Europa ändert aber nichts daran, dass der Anbieter dem CLOUD Act unterliegt. Ob das für Ihre Daten hinnehmbar ist, ist eine Risikoentscheidung, die Sie rechtlich prüfen lassen sollten.
Als Faustregel: Parameter in Milliarden mal Bytes pro Parameter mal 1,2. Ein Modell mit 31 Milliarden Parametern braucht bei 8 Bit also etwa 37 GB, dazu kommt der Zwischenspeicher für gleichzeitige Anfragen. Bei Mixture-of-Experts-Modellen zählt die Gesamtzahl der Parameter, nicht die aktive.
Nein. Offene Gewichte können unter Lizenzen mit Auflagen stehen, etwa einer Klausel für Anbieter, die das Modell als Dienst verkaufen, oder einem Ausschluss für Unternehmen aus der EU. Maßgeblich ist die Lizenz auf der Modellkarte des Herstellers.
Wegen der Kosten selten, solange der Verbrauch nicht sehr hoch ist. Er lohnt sich, wenn Daten das Haus nicht verlassen dürfen oder Sie die Modellversion über lange Zeit festhalten müssen, und wenn jemand den Betrieb dauerhaft übernehmen kann. Für einzelne Aufgaben mit vertraulichen Daten reicht oft schon ein lokaler Rechner mit passender Grafikkarte, der kaum Betreuung braucht.
Quellen
Stand: November 2026. Preise sind Marktangaben zum genannten Datum, netto, ohne Gewähr. Rechtliche Angaben ohne Gewähr, keine Rechtsberatung.
- Mistral, Regional inference (EU-Endpunkt, Aufschlag, Verwaltungsdaten): docs.mistral.ai
- Mistral, Modellübersicht und Lizenzen: docs.mistral.ai
- Mistral Small 4 (119 Mrd. Parameter, 6,5 Mrd. aktiv, Apache 2.0): docs.mistral.ai
- Mistral Large 4, Modellkarte und Lizenz: huggingface.co
- Gemma 4 unter Apache 2.0: The Decoder
- Qwen3.6 27B, Lizenz: huggingface.co
- Llama 4, Nutzungsrichtlinie (Ausschluss für die EU): dev.meta.ai
- Lenovo, LLM Sizing Guide (Speicherformel, KV-Cache-Beispiel): lenovopress.lenovo.com
- Hugging Face, Mixture of Experts Explained: huggingface.co
- STACKIT AI Model Serving, Preise: stackit.com
- Hetzner, GPU-Server: hetzner.com
- Scaleway H100, Preisvergleich (17.11.2026): computeprices.com
- BDEW-Strompreisanalyse Oktober 2026: bdew.de (PDF)
- CLOUD Act, 18 U.S.C. § 2713: law.cornell.edu
- Rechtsmittel gegen das Data Privacy Framework, C-703/25 P: WilmerHale
- Art. 28 DSGVO: dsgvo-gesetz.de
Über den Autor
Ich bin Florian Rocktäschel, Ingenieur (RWTH Aachen). Ich arbeite seit 2013 mit lernenden Verfahren und seit 2018 als Fractional CTO für mittelständische Unternehmen. Hier schreibe ich auf, was ich in dieser Arbeit immer wieder gefragt werde.
Wo steht Ihre Technik?
Die Technik-Ampel fragt in 15 Fragen nach KI, Strategie, Sicherheit, Daten, Kosten und Team. Zehn Minuten, Ergebnis sofort, kostenlos.

