Zum Inhalt

Beispielarbeiten · KI & Automation

KI-Kostenanalyse: wo eine App bei Modellaufrufen Geld verliert

Aus dem Aufrufprotokoll einer Beispiel-App wurde ermittelt, wo die Kosten für Sprachmodelle entstehen: doppelte Anfragen, Wiederholungen, zu große Modelle, lange Prompts, fehlende Ausgabegrenzen. Jeder Vorschlag wurde auf gleiche Qualität geprüft.

Musterarbeit (Demo), kein Kundenauftrag. Gebaut als Probeaufgabe mit erfundenen Beispieldaten; die Prüfzahlen unten stammen aus dem automatischen Prüflauf und sind nicht geschönt.

Was gebaut wurde

  • Kosten je Funktion und Modell aus dem Protokoll, exakt nachgerechnet
  • Sparmuster erkannt: Cache, Wiederholungen, Modellwahl, Prompt-Caching, Prompt-Kürzung, Ausgabegrenze
  • Jede Änderung gegen eine Qualitätsprüfung gestellt, bevor sie als Ersparnis zählt

ki-kosten-auswertung.xlsx herunterladen ki-kosten-auswertung.csv herunterladen

Die Preise sind Beispielwerte, keine aktuellen Listenpreise eines Anbieters. In der Probe gab es keinen echten Modellaufruf; beim Kunden wird mit seinen echten Zählern gerechnet.

Wie geprüft wurde

Automatischer Prüflauf vom 22.10.2026, aus dem Protokoll (Testdaten erfunden, Zahlen gemessen):

  • Protokoll 2000 Aufrufe/7 Tage, 171.96 USD (Decimal nachgerechnet)
  • Muster = Soll: cache 310/310 (7.6 % der Kosten), retry 30/30 (3.4 % der Kosten), routing 718/718 (3.0 % der Kosten), prompt_caching 631/631 (42.9 % der Kosten), promptkuerzung 631/631 (42.9 % der Kosten)

Grenzen

Was diese Probe nicht abdeckt, steht hier, damit niemand mehr erwartet:

  • Tokenzahlen sind geschaetzt (Zeichen/4), wo keine echten Zaehler des Anbieters im Protokoll stehen; beim Kunden werden die usage-Felder der API-Antworten oder der Tokenizer des Anbieters genommen
  • Preise sind Beispielwerte mit Stand-Datum (preise.json) - keine Behauptung aktueller Listenpreise; vor jedem Angebot beim Anbieter pruefen
  • Prompt-Caching vereinfacht: Lesepreis = 10 % des Eingabepreises, Cache-Lebensdauer und Schreibaufschlag nicht modelliert - die echte Ersparnis haengt vom Aufrufabstand und vom Anbieter ab
  • Die Qualitaet wird hier an deterministischen Modell-Attrappen mit bekannter Qualitaet gemessen; echte Qualitaet braucht denselben Test mit echten Modellen und echten Kundenaufgaben beim Kunden
  • In der Probe gibt es keinen einzigen Modell- oder Bezahl-API-Aufruf
  • Nach dem Routing auf ein anderes Modell wird dieselbe Ausgabelaenge angenommen; echte Modelle antworten unterschiedlich lang
  • Cache nur fuer exakt gleiche Eingaben; semantisches Caching (aehnliche Fragen) ist nicht Teil der Probe

Kostenbericht

# KI-Kostenanalyse Kunden-App (Protokoll 12.-18.10.2026)

> Preisstand 2026-10-22 (USD pro 1 Mio. Tokens): Beispielpreise fuer die Probe, keine Behauptung aktueller Listenpreise. Preise vor Angebot beim Anbieter pruefen.

## Ergebnis

- Aufrufe: 2000, Tokens Eingabe 6,313,728 / Ausgabe 1,030,111
- Kosten 7 Tage bisher: 171.96 USD, mit neuer Pipeline: 58.46 USD -> Ersparnis 66.0 %
- Qualitaetstest (500 Testaufgaben): bestanden alt 437, neu 437; Kosten alt 77.4343 USD, neu 32.9252 USD (57.5 % weniger)

## Kosten je Funktion

| Funktion | Aufrufe | Modell | Tokens ein | Tokens aus | Kosten USD | Anteil |
|---|---|---|---|---|---|---|
| produkt_beschreibung | 350 | modell-gross | 199,684 | 156,406 | 14.73 | 8.6 % |
| support_antwort | 631 | modell-gross | 3,920,274 | 200,393 | 73.83 | 42.9 % |
| ticket_klassifikation | 718 | modell-gross | 334,073 | 1,742 | 5.14 | 3.0 % |
| vertragspruefung | 151 | modell-gross | 1,272,492 | 271,941 | 39.48 | 23.0 % |
| zusammenfassung | 150 | modell-gross | 587,205 | 399,629 | 38.78 | 22.6 % |

## Gefundene Verschwendung

Anteile ueberlappen sich (ein Aufruf kann mehrere Muster haben); die Gesamtersparnis oben ist das nachgespielte Protokoll ohne Doppelzaehlung.

| Muster | Aufrufe | Funktionen | betroffene Kosten | Anteil | einsparbar | Anteil |
|---|---|---|---|---|---|---|
| Identische Wiederholungsaufrufe (Antwort-Cache) | 310 | produkt_beschreibung | 13.05 USD | 7.6 % | 13.05 USD | 7.6 % |
| Wiederholungsschleifen nach Fehlern (ueber 2 Versuche) | 30 | support_antwort, vertragspruefung | 5.91 USD | 3.4 % | 5.91 USD | 3.4 % |
| Teures Modell fuer triviale Klassifikation (Routing) | 718 | ticket_klassifikation | 5.14 USD | 3.0 % | 5.06 USD | 2.9 % |
| Grosser gleichbleibender Systemprompt (Prompt-Caching) | 631 | support_antwort | 73.83 USD | 42.9 % | 50.71 USD | 29.5 % |
| Doppelte Abschnitte im Systemprompt (Promptkuerzung) | 631 | support_antwort | 73.83 USD | 42.9 % | 22.57 USD | 13.1 % |
| Unbegrenzte Ausgabelaenge (max_tokens fehlt) | 150 | zusammenfassung | 38.78 USD | 22.6 % | 25.47 USD | 14.8 % |

## Massnahmen der neuen Pipeline

- Antwort-Cache fuer exakt gleiche Eingaben (nur erfolgreiche Antworten)
- Retry-Grenze 2 Versuche; ein Parse-Fehler wird nicht blind wiederholt
- Routing je Aufgabe (gewaehlt auf der Kalibrierhaelfte: guenstigstes Modell ohne Qualitaetsverlust): support -> modell-gross, klassifikation -> modell-klein, produkt -> modell-klein, zusammenfassung -> modell-mittel, vertrag -> modell-gross
- Systemprompt: support_antwort: 8 doppelte Abschnitte entfernt, 6010 -> 3606 Tokens; danach Prompt-Caching des gleichbleibenden Teils
- Ausgabe-Limit: zusammenfassung max_tokens=400

## Qualitaetsvergleich (Testhaelfte)

| Aufgabe | Modell neu | bestanden alt | bestanden neu | Kosten alt | Kosten neu |
|---|---|---|---|---|---|
| support | modell-gross | 87/100 | 87/100 | 13.7566 | 3.2364 |
| klassifikation | modell-klein | 94/100 | 94/100 | 1.0555 | 0.0132 |
| produkt | modell-klein | 80/100 | 80/100 | 4.7890 | 0.0230 |
| zusammenfassung | modell-mittel | 90/100 | 90/100 | 27.2865 | 1.7954 |
| vertrag | modell-gross | 86/100 | 86/100 | 30.5468 | 27.8573 |

Kalibrierung: support/modell-klein 45 % (gross 82 %); support/modell-mittel 76 % (gross 82 %); support/modell-gross 82 % (gross 82 %); klassifikation/modell-klein 93 % (gross 93 %); produkt/modell-klein 80 % (gross 80 %); zusammenfassung/modell-klein 73 % (gross 90 %); zusammenfassung/modell-mittel 90 % (gross 90 %); vertrag/modell-klein 31 % (gross 94 %); vertrag/modell-mittel 73 % (gross 94 %); vertrag/modell-gross 94 % (gross 94 %)

## Grenzen

- Tokenzahlen sind geschaetzt (Zeichen/4), wo keine echten Zaehler des Anbieters im Protokoll stehen; beim Kunden werden die usage-Felder der API-Antworten oder der Tokenizer des Anbieters genommen
- Preise sind Beispielwerte mit Stand-Datum (preise.json) - keine Behauptung aktueller Listenpreise; vor jedem Angebot beim Anbieter pruefen
- Prompt-Caching vereinfacht: Lesepreis = 10 % des Eingabepreises, Cache-Lebensdauer und Schreibaufschlag nicht modelliert - die echte Ersparnis haengt vom Aufrufabstand und vom Anbieter ab
- Die Qualitaet wird hier an deterministischen Modell-Attrappen mit bekannter Qualitaet gemessen; echte Qualitaet braucht denselben Test mit echten Modellen und echten Kundenaufgaben beim Kunden
- In der Probe gibt es keinen einzigen Modell- oder Bezahl-API-Aufruf
- Nach dem Routing auf ein anderes Modell wird dieselbe Ausgabelaenge angenommen; echte Modelle antworten unterschiedlich lang
- Cache nur fuer exakt gleiche Eingaben; semantisches Caching (aehnliche Fragen) ist nicht Teil der Probe

So etwas für deinen Betrieb?

Beschreib kurz, was du brauchst. Du bekommst einen Festpreis, bevor ich anfange; ohne dein Ja passiert nichts.

Zur Werkstatt