Ihr Unternehmen hat einen internen KI-Assistenten für das Support-Team eingeführt. Der Pilot verlief vielversprechend. Drei Monate später erreicht die monatliche LLM-API-Rechnung 43.000 €, und niemand in der Finanzabteilung hat es kommen sehen. Das Team nutzte ihn häufiger als erwartet, die Konversationen wurden länger, und das gewählte Modell war auf Präzision, nicht auf Volumen ausgelegt. Das ist kein hypothetisches Szenario. Genau dies hat SAP, ein Unternehmen, das KI in Hunderten interner Anwendungsfälle betreibt, dazu bewogen, ein striktes Drei-Stufen-Token-Controlling einzuführen.
Token-Kosten sind der stille Budget-Killer der Enterprise-KI-Einführung. In einem Proof of Concept lassen sie sich leicht ignorieren, sind aber kaum umkehrbar, wenn erst Hunderte Mitarbeitende ein LLM in ihren täglichen Workflow integriert haben. SAPs Antwort ist ein Governance-Bauplan, den jede Organisation, die LLMs im großen Maßstab betreibt, übernehmen kann, und er beginnt mit einer unbequemen Wahrheit: Wenn Sie den Token-Verbrauch nicht hart deckeln, wird der Verbrauch stattdessen die Grenze Ihres Budgets finden.
Die Token-Kostenexplosion, die niemand eingeplant hat
Wenn ein Unternehmen erstmals mit Large Language Models experimentiert, wirkt die Rechnung harmlos. Eine einzelne Anfrage an GPT-4o verbraucht vielleicht 300 Input-Tokens und 150 Output-Tokens. Bei 2,50 $ pro Million Input-Tokens und 10 $ pro Million Output-Tokens kostet dieser Call ungefähr 0,00225 $. Multipliziert mit 50 täglichen Anfragen pro Mitarbeitendem und 200 Mitarbeitenden landen Sie immer noch bei nur 22,50 $ pro Tag. Die Finanzabteilung gibt das ohne langes Nachdenken frei.
Das Problem ist, dass die reale Nutzung nie so flach bleibt. Konversationen werden länger, weil Nutzer entdecken, dass Folgefragen bessere Antworten liefern. Teams beginnen, Dokumente zur Zusammenfassung hochzuladen, wodurch die Input-Tokens pro Anfrage in die Tausende steigen. Jemand aktiviert einen "Thinking"-Modus oder wechselt zu einem teureren Modell, weil es intelligenter klingt. Eine einzelne RAG-Pipeline mit einem 4.000-Token-Kontextfenster und fünf abgerufenen Chunks kann 20.000 Tokens pro Anfrage verheizen, ohne dass es jemandem auffällt. Innerhalb eines Quartals werden aus 22,50 $ pro Tag 1.500 $ pro Tag, und die Rechnung kommt drei Wochen, nachdem das Geld bereits ausgegeben wurde.
SAP erkannte dieses Muster im gesamten Unternehmen. Das Unternehmen hatte eine breite KI-Einführung gefördert, aber ohne zentrale Transparenz und Ausgabenkontrollen wurde der Token-Verbrauch zu einer nicht mehr aufzuhaltenden Kostenposition. Die Antwort lautete nicht, KI-Projekte zu stoppen. Sondern jeden Token-Verbrauch bewusst, sichtbar und gemäß seiner Wirkung vorab zu genehmigen.
SAPs Drei-Stufen-Token-Controlling im Detail
SAPs neuer Governance-Rahmen teilt jede KI-Initiative in drei Budget-Stufen ein. Die exakten Schwellenwerte sind intern, aber die Struktur ist entscheidend, und sie überträgt sich sauber darauf, wie jedes mittelständische oder große Unternehmen KI-Kostenrisiken denken kann.
Stufe 1: Klein, automatisch genehmigt. Projekte mit einem planbaren, niedrigen Token-Footprint fallen in diese Kategorie. Denken Sie an einen abteilungsinternen Chatbot, der 200 interne Anfragen pro Tag bearbeitet, jeweils unter 1.000 Tokens. SAP setzt ein monatliches Token-Budget-Limit, wahrscheinlich im Bereich von 5.000 bis 10.000 € in API-Kosten. Solange das Projekt unter dieser Grenze bleibt, ist keine zusätzliche Genehmigung erforderlich. Das Team kann schnell iterieren, wird aber weiterhin überwacht. Steigt der Verbrauch um 20 % gegenüber dem Vormonat, markiert ein automatisierter Alarm das Projekt zur Überprüfung.
Stufe 2: Mittelgroß, Genehmigung der Abteilung erforderlich. Benötigt ein Projekt mehr Tokens, etwa ein teamübergreifendes RAG-System, das 5.000 Support-Tickets pro Monat mit großen Kontextfenstern verarbeitet, rutscht es in Stufe 2. Hier liegt das Budget möglicherweise zwischen 10.000 und 50.000 € pro Monat. Der Projektverantwortliche muss einen kurzen Business Case bei einem Abteilungsleiter oder KI-Steuerungsausschuss einreichen: erwartetes Token-Volumen, Modellwahl, Kosten pro Anfrage und die Business-Metrik, die es bewegt. Die Genehmigung ist kein einmaliges Ereignis. Quartalsweise Reviews prüfen, ob die tatsächlichen Ausgaben der Prognose entsprechen, und das Projekt kann auf Stufe 1 zurückgestuft oder auf Stufe 3 eskaliert werden, wenn die Realität abweicht.
Stufe 3: Unternehmensweit, Freigabe durch die Geschäftsleitung. Alles, was mehrere Geschäftsbereiche, kundenorientierte Produkte oder ein Token-Budget von über rund 50.000 € pro Monat berührt, erfordert einen vollständigen Investitionsantrag. SAPs Vorstand will einen quantifizierten ROI sehen, weniger Support-Tickets, schnellere Dokumentenverarbeitung, Umsatzsteigerung, gemessen am Token-Verbrauch. Das Projekt erhält eine eigene Cost Centre, und das CFO-Büro erhält einen monatlichen Abweichungsbericht.
Das System dient nicht der Bürokratie um ihrer selbst willen. Es erzwingt für KI-Ausgaben die gleiche Disziplin, die Unternehmen bereits bei Cloud-Infrastruktur, Software-Lizenzen und Personal anwenden. Der Unterschied: Cloud-Kosten sind nahezu in Echtzeit über AWS Cost Explorer oder Azure Cost Management sichtbar. LLM-Token-Kosten erscheinen in den Standard-Billing-Konsolen oft nur als ein Pauschalbetrag auf der Kreditkartenabrechnung 30 Tage später. SAPs Stufen schließen diese Transparenzlücke.
Wie Token-Kosten tatsächlich entstehen, ein kurzer Überblick
Um Ihre eigene Version dieser Governance aufzubauen, müssen Sie verstehen, wofür Sie tatsächlich zahlen. Ein "Token" ist ein Textabschnitt, den ein Sprachmodell verarbeitet, im Englischen ungefähr 0,75 Wörter, wobei es je nach Modell und Sprache variiert. Jeder Prompt, den Sie senden, und jedes Wort, das das Modell generiert, verbraucht Tokens. Die Preisgestaltung erfolgt pro 1.000 oder 1.000.000 Tokens, und verschiedene Modelle haben sehr unterschiedliche Tarife.
Hier sind die tatsächlichen Preise Mitte 2026 für die Modelle, die die meisten Unternehmen nutzen:
| Model | Input (pro 1 Mio. Tokens) | Output (pro 1 Mio. Tokens) | |-------|----------------------|------------------------| | GPT-4o | $2.50 | $10.00 | | GPT-4o-mini | $0.15 | $0.60 | | Claude 3.5 Sonnet | $3.00 | $15.00 | | Claude 3 Haiku | $0.25 | $1.25 | | Gemini 1.5 Pro | $1.25 | $5.00 | | Gemini 1.5 Flash | $0.075 | $0.30 |
Die 40-fache Preisdifferenz zwischen GPT-4o-mini und Claude 3.5 Sonnet bei Output-Tokens ist der Unterschied zwischen einer monatlichen Rechnung von 500 € und einer von 20.000 € bei gleichem Anfragevolumen. Die meisten Enterprise-Anwendungsfälle benötigen nicht für jede Anfrage das teuerste Modell. Ein abgestuftes Governance-System erlaubt es, einfache Klassifikations- oder Extraktionsaufgaben an ein günstiges Modell zu routen und das teure Modell für komplexes Reasoning zu reservieren, wo es tatsächlich das Ergebnis verändert.
Praxisbeispiel: Ihre monatliche LLM-Rechnung abschätzen
Machen wir das konkret. Angenommen, Ihr Support-Team baut einen KI-Assistenten, der 300 Konversationen pro Tag bearbeitet. Jede Konversation umfasst im Schnitt 4 Hin-und-her-Wechsel. Jede Nutzernachricht umfasst etwa 150 Tokens; jede Modellantwort etwa 250 Tokens. Hinzu kommen ein System-Prompt von 800 Tokens und 1.200 Tokens abgerufener Knowledge-Base-Chunks pro Konversation.
Täglicher Token-Verbrauch pro Konversation:
- Input: System-Prompt (800) + 4 Nutzernachrichten (4 × 150 = 600) + 4 abgerufene Chunks (1.200) + 3 vorherige Assistentenantworten als Kontext (3 × 250 = 750) = 3.350 Input-Tokens
- Output: 4 Assistentenantworten × 250 = 1.000 Output-Tokens
Tagessumme für 300 Konversationen: 1.005.000 Input-Tokens, 300.000 Output-Tokens. Monatlich (22 Werktage): ~22,1 Millionen Input-Tokens, ~6,6 Millionen Output-Tokens.
Mit GPT-4o: 22,1 Mio. × 2,50 $/1 Mio. = 55,25 $ Input + 6,6 Mio. × 10 $/1 Mio. = 66,00 $ Output → 121,25 $ pro Monat. Günstig. Mit Claude 3.5 Sonnet: 22,1 Mio. × 3,00 $ = 66,30 $ + 6,6 Mio. × 15,00 $ = 99,00 $ → 165,30 $ pro Monat. Auch okay.
Nun eine "kleine" Änderung: Das Team entscheidet, die komplette Konversationshistorie einzubeziehen statt nur der letzten drei Wechsel, wodurch die Input-Tokens pro Konversation auf 8.000 steigen. Der monatliche Input springt auf ~52,8 Mio. Tokens. Die GPT-4o-Kosten belaufen sich auf 52,8 Mio. × 2,50 $ = 132 $ + 66 $ Output = 198 $/Monat. Immer noch okay? Stellen Sie sich nun vor, 10 Abteilungen betreiben ähnliche Assistenten, und zwei davon wechseln zu einem Modell mit 128k-Kontextfenster und laden komplette PDFs hoch. Die Monatsrechnung übersteigt 50.000 €, ohne dass eine einzige Person eine bewusste "teure" Entscheidung getroffen hat. Genau diese Dynamik soll SAPs Controlling-System abfangen.
Ein Python-Skript zur Berechnung und Überwachung von Token-Kosten
Sie können einen schlanken Kostenschätzer bauen, der gegen die Usage-API Ihres LLM-Anbieters läuft. Hier ist ein Python-Skript, das den täglichen Token-Verbrauch von der OpenAI-API abruft und die monatlichen Kosten hochrechnet, mit einer Warnschwelle.
import openai
from datetime import datetime, timedelta, timezone
# Configuration
OPENAI_API_KEY = "your-key"
DAILY_BUDGET_USD = 50.0 # alert if daily cost exceeds this
MODEL_PRICING = { # per 1M tokens
"gpt-4o": {"input": 2.50, "output": 10.00},
"gpt-4o-mini": {"input": 0.15, "output": 0.60},
}
client = openai.OpenAI(api_key=OPENAI_API_KEY)
def get_daily_usage():
yesterday = (datetime.now(timezone.utc) - timedelta(days=1)).strftime("%Y-%m-%d")
usage = client.usage.retrieve(date=yesterday)
return usage.data
def calculate_cost(usage_data):
total_cost = 0.0
for item in usage_data:
model = item.model
if model in MODEL_PRICING:
input_tokens = item.input_tokens
output_tokens = item.output_tokens
cost = (input_tokens / 1_000_000) * MODEL_PRICING[model]["input"] + \
(output_tokens / 1_000_000) * MODEL_PRICING[model]["output"]
total_cost += cost
return total_cost
daily_usage = get_daily_usage()
daily_cost = calculate_cost(daily_usage)
monthly_projection = daily_cost * 22 # business days
print(f"Yesterday's token cost: ${daily_cost:.2f}")
print(f"Projected monthly cost (22 days): ${monthly_projection:.2f}")
if daily_cost > DAILY_BUDGET_USD:
# In production, send a Slack/Teams alert here
print(f"ALERT: Daily spend ${daily_cost:.2f} exceeds ${DAILY_BUDGET_USD} threshold!")
Dieses Skript ist absichtlich einfach. In einem echten Governance-Setup würden Sie es als Cron-Job laufen lassen, Metriken an ein Dashboard (Grafana, Datadog oder ein individuelles internes Tool) übergeben und Genehmigungs-Workflows auslösen, wenn ein Projekt sein zugewiesenes Stufen-Budget an zwei aufeinanderfolgenden Tagen überschreitet. Der entscheidende Punkt: Der Alarm schlägt innerhalb von 24 Stunden an, nicht nach 30 Tagen.
Eigene Token-Kosten-Governance aufbauen (ohne SAPs Budget)
Sie benötigen nicht SAPs interne ERP-Integration, um das Drei-Stufen-Modell umzusetzen. Die Kernkomponenten sind eine Usage-Datenquelle, ein Budget-Register, ein Genehmigungs-Workflow und eine Alerting-Pipeline. So fügen Sie diese mit Tools zusammen, die Ihr Team vermutlich bereits nutzt.
Schritt 1: Usage-Daten zentralisieren. OpenAI, Anthropic und Google bieten alle Usage-APIs an. Wenn Sie LLM-Calls über einen Proxy wie LiteLLM oder ein eigenes API-Gateway routen, können Sie Token-Zählungen anbieterübergreifend an einem Ort aggregieren. Speichern Sie die tägliche Nutzung pro Projekt oder Cost Centre in einer einfachen Datenbanktabelle.
Schritt 2: Jedem KI-Projekt eine Budget-Stufe zuweisen. Definieren Sie Schwellenwerte, die zur Risikobereitschaft Ihrer Organisation passen. Ein realistischer Ausgangspunkt für ein 500-Personen-Unternehmen:
- Stufe 1: bis zu 2.000 €/Monat, automatisch genehmigt, wöchentlich überwacht.
- Stufe 2: 2.000-15.000 €/Monat, Genehmigung durch Abteilungsleitung, monatliche Überprüfung.
- Stufe 3: über 15.000 €/Monat, CTO-/CFO-Genehmigung, quartalsweiser ROI-Review.
Passen Sie die Schwellenwerte basierend auf Ihrem durchschnittlichen Deal-Volumen und Ihrer KI-Reife an. Die absoluten Zahlen sind weniger wichtig als der Grundsatz, dass niemand unbemerkt fünfstellige Beträge pro Monat verheizen kann.
Schritt 3: Stufen-Durchsetzung automatisieren. Überschreitet der 7-Tage-Rolling-Average eines Stufe-1-Projekts 80 % seines Budgets, senden Sie eine Warnung an die Projektverantwortlichen. Überschreitet es das Budget zwei Wochen in Folge, eskalieren Sie es automatisch auf Stufe 2 und sperren die weitere Nutzung, bis die Abteilungsleitung die Aufstockung genehmigt. Das klingt hart, verhindert aber genau das Szenario, das SAP erlebt hat: Ein gut gemeintes Team produziert versehentlich eine Rechnung über 50.000 €, weil "das Modell einfach so nützlich war."
Schritt 4: Kosten für die Verursacher sichtbar machen. Ein Dashboard, das den täglichen Token-Verbrauch jedes Teams gerankt anzeigt, bewirkt mehr für die Kostendisziplin als jedes Policy-Dokument. Wenn ein Product Manager sieht, dass sein Chatbot 380 €/Tag kostet, während das Pendant des Nachbarteams mit günstigerem Modell und kürzeren Prompts bei 42 €/Tag liegt, wird Optimierung zur Selbstmotivation.
Wo dieses Modell an Grenzen stößt, und wie Sie es reparieren
SAPs Drei-Stufen-System ist kein Allheilmittel. Es löst das Transparenz- und Verantwortungsproblem, erzeugt aber Spannungen, die jedes Unternehmen managen muss.
Innovations-Bremse. Wenn jede neue KI-Idee einen Business Case benötigt, bevor sie mehr als 2.000 € ausgeben darf, hören die Teams auf zu experimentieren. Die Lösung ist ein dedizierter "Sandbox"-Budget-Pool außerhalb des Stufen-Systems, sagen wir 10.000 €/Monat unternehmensweit, aus dem jedes Team für Prototypen schöpfen kann, gedeckelt auf 500 € pro Experiment und auf vier Wochen zeitlich begrenzt. So bleibt die Governance für Produktivsysteme straff, ohne die Exploration abzuwürgen, die den nächsten großen Use Case findet.
Token-Zählung ist nicht modellübergreifend exakt. GPT-4o und Claude 3.5 Sonnet verwenden unterschiedliche Tokenizer. Der gleiche englische Satz kann für das eine 10 und für das andere 12 Tokens ergeben. Ihre Budget-Schwellenwerte benötigen ein Toleranzband von 10-15 %, und Ihr Monitoring sollte die Token-Zählung jedes Anbieters nutzen, keine modellübergreifende Näherung.
Versteckte Kosten jenseits der Tokens. Fine-Tuning-Jobs, Embedding-Speicher und Vektor-Datenbank-Abfragen verursachen zusätzliche Kosten, die ein reines Token-Budget übersieht. Ein vollständiges Governance-Modell bezieht diese in die gleiche Stufenstruktur ein. Fine-tuned ein Projekt ein Modell und stellt es dann bereit, sollten die über das erwartete Anfragevolumen amortisierten Trainingskosten Teil des Business Case für Stufe 2 oder 3 sein.
Shadow AI. Teams, denen der Genehmigungsprozess zu langsam ist, schaffen sich eigene ChatGPT-Enterprise-Lizenzen auf eigene Rechnung an oder hinterlegen eine Privat-Kreditkarte für einen API-Key. SAPs System funktioniert, weil es mit Procurement-Kontrollen verknüpft ist, das Unternehmen blockiert schlicht die Abrechnung nicht genehmigter KI-Dienste. Kleinere Unternehmen erreichen das Gleiche, indem das genehmigte Gateway der einzige Pfad zu Produktivmodellen ist und die Teams erfahren, dass das Gateway für Stufe-1-Anfragen schnell ist.
5 Best Practices für Enterprise-Token-Kostenkontrolle
-
Legen Sie Budget-Stufen fest, bevor Sie ein Kostenproblem haben. Einem Team rückwirkend mitzuteilen, dass sein 30.000-€/Monat-Assistent einer Vorstandsfreigabe bedarf, sorgt für Unmut. Definieren Sie die Stufen in der Pilotphase, wenn die Kosten noch klein und das Gespräch noch kooperativ ist.
-
Routen Sie Anfragen an das günstigste Modell, das die Aufgabe erfüllt. Klassifikation, Entity Extraction und einfache Q&A benötigen selten GPT-4o oder Claude Sonnet. Verwenden Sie GPT-4o-mini oder Claude Haiku als Default und lassen Sie die Anwendung nur dann auf ein stärkeres Modell eskalieren, wenn die Confidence-Scores sinken. Diese einzelne Maßnahme senkt die Token-Kosten oft um 60-80 %, ohne dass Nutzer einen Qualitätsverlust bemerken.
-
Überwachen Sie täglich, nicht monatlich. Eine Monatsrechnung ist eine Obduktion. Eine tägliche Slack-Nachricht wie "Projekt X hat gestern 1.200 € ausgegeben, 90 % seines wöchentlichen Stufe-2-Run-Rate" erlaubt es dem Team, Prompts anzupassen oder das Modell zu wechseln, bevor der Monat endet. Für einen tieferen Einblick in Prompt-Level-Optimierung zeigt unser Leitfaden zum Senken von RAG-Produktionskosten um 80 % durch Prompt-Caching und Kontext-Optimierung konkrete Techniken, die Governance um Engineering ergänzen.
-
Verknüpfen Sie Token-Budgets mit Business-Outcome. Eine Stufe-3-Genehmigung sollte vom Projektverantwortlichen verlangen, die bewegte KPI zu benennen, Support-Ticket-Deflection-Rate, Dokumentenverarbeitungszeit, Conversion-Uplift, und sich zu einem Quartals-Review zu verpflichten, in dem der Token-Verbrauch gegen die KPI-Bewegung gemessen wird. Projekte ohne nachweisbaren Impact werden herabgestuft oder eingestellt.
-
Bauen Sie einen schlanken Genehmigungs-Workflow, kein Komitee. Dauert eine Stufe-2-Eskalation zwei Wochen und drei Meetings, werden die Teams drumherum arbeiten. Ein gut konzipiertes System erlaubt es einer Abteilungsleitung, eine Budgetaufstockung per Slack-Nachricht mit einer Begründung in einem Satz zu genehmigen, solange die Ausgabe im KI-Gesamtbudget der Abteilung bleibt.
Von Governance zur Umsetzung
SAPs Schritt ist ein Signal, dass Enterprise-KI den Übergang von "frei experimentieren" zu "verantwortlich betreiben" vollzogen hat. Die Unternehmen, die jetzt Token-Governance aufbauen, werden die sein, die sich das Skalieren von KI über jede Funktion leisten können. Die anderen werden irgendwann in einem brutalen Vorstandsgespräch landen, in dem KI von der strategischen Priorität zur eingefrorenen Budgetposition wird.
Ein Drei-Stufen-System mit Echtzeit-Monitoring und automatisierter Durchsetzung ist Engineering-Arbeit. Es erfordert die Integration von Provider-APIs, den Aufbau von Dashboards, die Verkabelung von Genehmigungslogik und deren Pflege, wenn sich Modelle und Preise ändern. Teams, die sich lieber auf ihr Kernprodukt konzentrieren, holen sich häufig einen Partner ins Haus, der diese Infrastruktur als Fixed-Scope-Projekt baut. ProjectMakers hat für Mittelständler und Enterprise-Kunden individuelle KI-Kostenmonitoring- und Governance-Tools gebaut, inklusive Echtzeit-Dashboards, die den Token-Verbrauch direkt auf Geschäftsbereiche mappen und Genehmigungs-Workflows auslösen, alles Teil unserer KI-Lösungen-Praxis.
Beginnen Sie mit einer einzigen Zahl: Holen Sie Ihre letzten drei Monate an LLM-API-Rechnungen und zeichnen Sie den Trend auf. Steigt die Kurve schneller als Ihre KI-Adoptionsrate, benötigen Sie das Stufen-System bereits. Haben Sie die Rechnungen noch nicht angesehen, ist heute der richtige Tag.
Quelle: Tokens: SAP will Ausgaben für KI deutlich einschränken
