Wie genau erkennt Stript personenbezogene Daten? Ein Benchmark

In unserem Benchmark mit deutschen und englischen Dokumenten erreicht Stripts geräteinterne Pipeline einen F1-Wert von 95,8 auf Deutsch und 97,3 auf Englisch, bei 95 bis 98% Recall. Prüfziffern-validierte Kennungen wie IBANs, Kreditkarten und Kontodaten werden zu 100% Recall gefunden. Jede Erkennung kann geprüft werden, bevor anonymisiert wird.

Was wir gemessen haben

Wir messen auf unserem eigenen annotierten Benchmark aus deutschen und englischen Dokumenten aus Rechts-, Finanz- und HR-Kontexten. Die Leitmetrik ist der F1-Wert (die Balance aus Recall und Precision) auf der Ebene “ist das wirklich ein personenbezogenes Datum?”: Ein Treffer zählt nur, wenn er im Kontext tatsächlich personenbezogen ist. Ein öffentliches Gericht oder ein alleinstehender Städtename zählt also korrekterweise nicht. Der aktuelle Lauf (Juli 2026) misst die vollständige ausgelieferte Pipeline mit allen 20+ erkannten Typen, einschließlich der neuesten wie Kontodaten, USt-IdNrn. und Handelsregisternummern.

Wie wir getestet haben

Die Pipeline arbeitet in drei Stufen, alle auf dem Gerät:

Muster und Validierung für strukturierte Kennungen, wo möglich mit Prüfziffern-Validierung (IBAN, Kreditkarte, Kontodaten, Steuer- und USt-IdNrn.).
Kontextbewusste Entitätserkennung für Namen, Organisationen und Orte.
Kontextklassifikation, die beurteilt, ob ein Kandidat in seinem Satz wirklich personenbezogen ist.

Jedes Ergebnis kann von einem Menschen geprüft werden: bestätigen, ablehnen oder neu einordnen, bevor anonymisiert wird. Das ist ein transparenter, eigener Benchmark, kein unabhängiger Dritttest.

Ergebnisse

Gesamt, auf der Personenbezugs-Ebene:

Korpus	Precision	Recall	F1
Deutsch	96,5	95,0	95,8
Englisch	96,8	97,8	97,3

Gemessene Precision / Recall für ausgewählte Typen:

Typ	Precision	Recall
E-Mail	100	100
Kontodaten	100	100
Kreditkarte	100	100
Ausweis & Pass	100	100
Aktenzeichen	100	100
Kfz-Kennzeichen	100	100
USt-IdNr.	100	100
Handelsregisternummer	100	100
Fahrgestellnummer (VIN)	100	100
URL	100	100
Person	98,1	97,2
Adresse	96,7	93,7
Organisation	93,7	96,7
IP-Adresse	93,3	93,3
IBAN	92,0	100
Datum	90,5	100
Telefon	82,6	100

An der Telefon-Zeile sieht man die Tuning-Philosophie auf einen Blick: 100% Recall bei etwas Über-Markierung (Referenznummern, die wie Telefonnummern aussehen, werden zur Prüfung angezeigt statt still übersprungen). Das ist die sichere Richtung: Ein markierter Nicht-Treffer kostet einen Klick, eine übersehene Nummer würde durchrutschen.

Auch Steuer-IDs sowie Sozialversicherungs- und Krankenversichertennummern werden erkannt; wo eine Prüfziffer existiert, wird sie verifiziert. Unklare Kandidaten werden zur Prüfung angezeigt statt still verworfen.

Daten sind die schwierigste Klasse, und zwar absichtlich: Ein Geburtsdatum ist personenbezogen, ein Rechnungs- oder Briefdatum nicht. Diese Entscheidung braucht Kontext, und genau dafür ist die dritte Stufe da.

Der adversariale Härtetest

Neben den beiden Sprachkorpora pflegen wir einen Satz absichtlich fieser Dokumente: gemischtsprachige Texte, ungewöhnliche Formate, Grenzfall-Daten und Verwechslungs-Kennungen. Auf diesem Härtetest misst die Pipeline 90,4% Precision und 86,1% Recall (F1 88,2). Wir veröffentlichen diese Zahl bewusst separat: Sie ist nicht repräsentativ für normale Dokumente, zeigt aber ehrlich, wo die Grenzen liegen.

Laufzeit, gemessen

Erkennungsgeschwindigkeit auf einem MacBook Pro M1 Max mit 32 GB Speicher (Performance-Profil), vollständig offline:

Messung	Wert
Erstes Dokument (inkl. Modell-Aufwärmen)	~26 s
Median je Dokument	~15 s
95. Perzentil (lange Dokumente)	~50 s
50 Dokumente am Stück	~17 min

Die Laufzeit skaliert mit der Dokumentlänge und dem gewählten Rechenprofil; schwächere Hardware nutzt eine leichtere Modellstufe.

Was die Kontextstufe beiträgt

Erkennung allein (jeden Kandidaten für Namen, Daten und Nummern finden) hat hohen Recall, ist aber verrauscht: Sie markiert alleinstehende Städtenamen und Verwaltungsdaten, die nicht personenbezogen sind. Die Kontextklassifikation macht aus dieser verrauschten Kandidatenmenge ein präzises Ergebnis. In unseren Tests hob sie den Gesamt-F1 um bis zu ~10 Punkte gegenüber der reinen Erkennung, vor allem durch das Erkennen wirklich personenbezogener Daten und das Entfernen von Falschtreffern bei alleinstehenden Orten. Alles läuft auf dem Gerät.

Warum Recall hier wichtiger ist als Precision

Beim Anonymisieren ist der teure Fehler das Übersehen: ein echter Name oder eine IBAN, die durchrutscht. Deshalb ist die Pipeline auf hohen Recall ausgelegt, und deshalb kann jede Erkennung geprüft werden. Ein Falschtreffer kostet einen Klick zum Ablehnen; ein übersehener Treffer kann Daten preisgeben.

Grenzen

Der Benchmark zielt auf direkte Identifikatoren. Indirekter, quasi-identifizierender Kontext (eine seltene Kombination aus Rolle, Ort und Datum) kann weiterhin Rückschlüsse erlauben und bleibt der menschlichen Prüfung überlassen.
Die Ergebnisse stammen aus unseren eigenen Korpora; andere Dokumenttypen können abweichen.
Die Erkennungsqualität skaliert mit der Rechenstufe; höhere Stufen nutzen ein größeres Kontextmodell.
Die Laufzeitwerte stammen von einer Maschine und variieren mit Hardware und Dokumentmix.
Das ist ein starker erster Durchgang mit menschlichem Sicherheitsnetz, kein Anspruch auf Perfektion.

Fazit

Starke PII-Erkennung ist vollständig auf dem Gerät möglich, ohne Dokumente an einen Server zu senden. Hoher Recall plus ein menschlicher Prüfschritt macht das Ganze für vertrauliche Dokumente nutzbar.

Testen Sie es mit Ihren eigenen Dokumenten, komplett auf Ihrem Rechner. Stript kostenlos herunterladen →