Eine Untersuchung hat zwei Verfahren zur Erkennung von Phishing-Mails gegeneinandergestellt und beide dreimal geprüft: an gewöhnlichen Mails, an nachgebauten Phishing-Mails und an solchen, die absichtlich so verändert wurden, dass sie der Erkennung entgehen. Verglichen wurden ein statistisches Grundverfahren und ein nachtrainiertes Sprachmodell. Beide lernten am selben Bestand von 82’255 Mails aus sechs öffentlichen Sammlungen.
Auf sauberen Daten erreichten beide über 98 Prozent Genauigkeit. Im Angriffsfall fiel das statistische Verfahren auf 64,00 Prozent, das Sprachmodell auf 63,64 Prozent – ein Rückgang von 34,59 beziehungsweise 35,40 Prozentpunkten. Der Abstand zwischen den beiden beträgt 0,36 Prozentpunkte; das entspricht einer einzigen Mail im Angriffstest, der 275 Fälle umfasste.
Die beiden scheitern nicht am Gleichen. Auswertungen, die sichtbar machen, worauf ein Verfahren seine Entscheidung stützt, zeigen unterschiedliche Merkmale – die Anfälligkeit blieb dennoch fast dieselbe. In den Angriffsfällen urteilten beide zu 54,9 Prozent gleich; daneben unterliefen jedem eigene Fehler, dem einen 24, dem anderen 25. Die Fehlerbilder ergänzen sich also teilweise, statt deckungsgleich zu sein.
Der Schluss der Autoren: Was ein Verfahren auf sauberen Daten trifft, sagt nicht voraus, was es unter Angriff trifft. Prüfungen mit absichtlich veränderten Mails gehörten deshalb zum Standard einer solchen Bewertung.
Für die Region
Wer im Vereins- oder Geschäftspostfach auf einen Filter vertraut, sollte die angegebene Erkennungsrate als Wert unter Laborbedingungen lesen – und die zweite Rückfrage bei einer Zahlungsaufforderung nicht davon abhängig machen.