Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

[Quellcore]

Hallo allerseits,

Ich habe eine relativ lange RegEx für den Nachrichtentext erstellt, die 475 Zeichen lang ist:

Code: Alles auswählen

er[\W\s_\.\-]?fahren[\W\s_\.\-]?sie,[\W\s_\.\-]?wie[\W\s_\.\-]?((kinder[\W\s_\.\-]?)?leicht|pr[0o]bleml[0o]s|bedenkenl[0o]s|simpel|easy|un[\W\s_\.\-]?k[o0]mpliziert)[\W\s_\.\-]?es[\W\s_\.\-]?(heute|jetzt|heutzutage|endlich)?[\W\s_\.\-]?(ist|sein kann)[\W\s_\.\-]?\w{1,10}[\W\s_\.\-]?(K[\W\s_\.\-]?i[\W\s_\.\-]?l[\W\s_\.\-]?o|kilogramm?|kg)[\W\s_\.\-]?in(nerhalb)?[\W\s_\.\-]?(nur[\W\s_\.\-]?)?einem[\W\s_\.\-]?(kalender)?m[0o]nat[\W\s_\.\-]?ab[\W\s_\.\-]?zu[\W\s_\.\-]?nehmen

Diese Bedingung soll folgenden Text und ihre Abarten erkennen:

erfahren sie, wie unkompliziert es endlich ist 14 Kilo in einem Kalendermonat abzunehmen

Im Programm RegEx Coach funktioniert diese RegEx einwandfrei und erkennt alle bei mir eingegangenen Fälle.

Regex zu lang 02.png (24.46 KiB) 880-mal betrachtet

Der Regelfilter steht bei mir an erster Stelle in der Filterreihenfolge:

Regex zu lang 03.png (1.49 KiB) 880-mal betrachtet

Diese Mails sind jedoch nicht vom Regelfilter klassifiziert worden, sondern vom Misnamed Filter, der viel weiter hinten in der Filterreihenfolge steht.

Regex zu lang 01.png (5.72 KiB) 880-mal betrachtet

Es scheint also, dass diese lange RegEx übersprungen wird
Hat jemand ähnliche Erfahrungen gemacht

Gruss,
Quellcore

[Quellcore]

Als kleiner Nachtrag:
Ich habe die lange RegEx mal in drei Teilbedingungen aufgeteilt und die Regel so eingestellt, dass alle Bedingungen erfüllt sein müssen.

Regex zu lang 04.png (14.63 KiB) 874-mal betrachtet

Ergebnis: Es funktioniert

Dies wiederum bestätigt meine These, dass es ein Problem mit der Länge der von mir erstellten RegEx gibt.

Gruß,
Quellcore

[Andreas_Z]

Hallo Quellcore!

Ohhh... was für'n langes Teil. Das dürfte dann eindeutig ein Fall für Michel sein. Ich habe derartige Beobachtungen noch nicht gemacht. Allerdings setze ich diesen Filter auch nicht zum durchsuchen von Texten ein. Das macht ja der Spamwortfilter schon. Andererseits denke ich mir, dass ein derart langer RegExp eher die Ausnahme darstellt. Es könnte also sein, dass Michel da nichts unternimmt.

Gruß
Andreas_Z

[Quellcore]

Hallo Andreas_Z,

Ich habe derartige Beobachtungen noch nicht gemacht. Allerdings setze ich diesen Filter auch nicht zum durchsuchen von Texten ein. Das macht ja der Spamwortfilter schon.

Ja und Nein. Mit dem Spamwortfilter kann man nun mal nicht den Trainingsbereich umschiffen.
Und das ist letztendlich mein Ziel für diese 100%ig korrekten Klassifizierungen. Z.Zt. lasse ich mir aber bis auf die Newsletter immer noch alles im Trainingsbereich anzeigen. Wir sind ja immer noch in der Testphase

Andererseits denke ich mir, dass ein derart langer RegExp eher die Ausnahme darstellt. Es könnte also sein, dass Michel da nichts unternimmt.

Mal sehen was der Meister persönlich dazu zu sagen hat.
Sollte es da eine Begrenzung geben werde ich mich bestimmt damit arrangieren können.
Dann sollte es das Plugin aber auch nicht erlauben eine überlange RegEx einzugeben und mich sofort mit einem Popup daran hindern.
Mich so eine lange RegEx entwickeln zu lassen und diese dann zu akzeptieren, beim Scannen aber auszulassen, das ist schon ganz schön hinterhältig.

Im übrigen wurden heute bei mir 4 Spammails von insgesamt ca. 24 durch diese Regel ausgefiltert, das ergibt ein fettes Sechstel, bei der mir diese Regel geholfen hat.
Du wirst also verstehen müssen, das ich bis zum bitteren Ende kämpfen werde, um solche RegEx-Monster auch weiterhin nutzen zu können.

Gruss,
Quellcore

[Chactory]

Hi zusammen,

solche RegEx-Monster

das kann ich gut verstehen.

Warum verwendest Du die komplizierte zusammengesetzte Formel "[\W\s_\.\-]", und nicht einfach "."? Möglicherweise ist Deine Spamphrase aber auch zu lang, und damit zu spezifisch? Ich würde möglicherweise kombinieren, "erfahren sie, wie" und "abzunehmen". Für solche Phrasen wünschte ich, es gäbe ein Zeichen für UND in Regular Expressions.

Gruß, Chactory

[Quellcore]

Hallo Chactory!

Warum verwendest Du die komplizierte zusammengesetzte Formel "[\W\s_\.\-]", und nicht einfach "."?

Ich suche ja eher nach Wortgrenzen inkl. Trennzeichen, Absatzmarken, etc...
Aufgrund Deines Vorschlages habe ich aber meinen Ansatz "[\W\s_\.\-]" noch einmal genauer unter die Lupe genommen und festgestellt, dass er sich wirklich abkürzen lässt, "[\W\s_]" scheint zu genügen und beinhaltet den Punkt sowie auch den Unterstrich.
Danke für den Denkanstoß.

Code: Alles auswählen

er[\W\s_]?fahren[\W\s_]?sie,[\W\s_]?wie[\W\s_]?((kinder[\W\s_]?)?leicht|pr[0o]bleml[0o]s|bedenkenl[0o]s|simpel|easy|un[\W\s_]?k[o0]mpliziert)[\W\s_]?es[\W\s_]?(heute|jetzt|heutzutage|endlich)?[\W\s_]?(ist|sein kann)[\W\s_]?\w{1,10}[\W\s_]?(K[\W\s_]?i[\W\s_]?l[\W\s_]?o|kilogramm?|kg)[\W\s_]?in(nerhalb)?[\W\s_]?(nur[\W\s_]?)?einem[\W\s_]?(kalender)?m[0o]nat[\W\s_]?ab[\W\s_]?zu[\W\s_]?nehmen

Möglicherweise ist Deine Spamphrase aber auch zu lang, und damit zu spezifisch? Ich würde möglicherweise kombinieren, "erfahren sie, wie" und "abzunehmen".

Es geht hier ja um den Regelfilter, der darf meines Erachtens auch gerne ein bisschen spezieller filtern, insbesondere wenn man vorhat, mit bestimmten Regeln den TB zu umgehen.
Wie ich aber schon geschrieben hatte deckt die von mir erstellte Regel alle Schreibweisen dieses Absatzes ab, die ich bisher in Empfang nehmen durfte, das dürften mittlerweile so 20 verschiedene Varianten sein.
Natürlich gibt es immer Luft nach oben, ich fange aber gerne von der sehr spezifischen Seite an und erweitere bzw. verallgemeinere die Regeln "peu à peu" wenn notwendig.

Für solche Phrasen wünschte ich, es gäbe ein Zeichen für UND in Regular Expressions.

Da bleibt einem wohl nur die Möglichkeit mit dem Stern "*" zu arbeiten und die einzelnen RegEx damit zu verbinden. Speziell der lazy Star "*?" könnte hier auch interessant sein. Ich habe selbst aber auch noch nicht viel damit experimentiert.

Gruß
Quellcore

[Andreas_Z]

Hallo Quellcore!

Ja und Nein. Mit dem Spamwortfilter kann man nun mal nicht den Trainingsbereich umschiffen.

Das ist ein Argument. Für mich hat das nie eine Rolle gespielt, weil ich auf jeden Fall immer alles im Trainingsbereich sehen will, bevor ich lerne.

Mich so eine lange RegEx entwickeln zu lassen und diese dann zu akzeptieren, beim Scannen aber auszulassen, das ist schon ganz schön hinterhältig.

Das sehe ich genau so. Hier sollte Michel auf jedenfall nachbessern.

Du wirst also verstehen müssen, das ich bis zum bitteren Ende kämpfen werde, um solche RegEx-Monster auch weiterhin nutzen zu können.

Die Quote spricht für sich. Ich bin an Deiner Seite bei diesem "Kampf". Ich hatte nur Überlegungen angestellt, wie Michel da jetzt wohl weiter machen wird. Mit dem neuen Filter hat er sich schliesslich den Berg an Verbesserungen für das Gesamtprodukt nicht verkleinert.

Gruß
Andreas_Z

[michel]

Hallo,

es gibt keine Begrenzung der regulären Ausdrücke. Es handelt sich hier also wahrscheinlich um einen Fehler im RegEx-Parser. Leider ist das eine externe Bibliothek (www.boost.org), auf die ich keinen Einfluss habe, bzw. der Aufwand wäre für mich gegenüber dem Nutzen zu groß.

Gruß
Michel

[Quellcore]

Hallo michel!

Danke für die Aufklärung, dann werde ich wohl beim Aufteilen bleiben müssen.
Es ist natürlich sehr unschön, dass man im Vorwege nicht sagen kann, ab wann da was schief geht.

Bei meiner letzten abgekürzten Version waren es 391 Zeichen, die ich dann in 2 Abschnitte aufgeteilt hatte, der längere der beiden Teile hatte 239 Zeichen. Auch das hat leider nicht geklappt.
Eine Aufteilung in 3 Häppchen hat dann wiederum geholfen, bei dieser Variante ist die längste Teilregel 152 Zeichen lang.

Falls es also wirklich um die Länge einer RegeX gehen sollte, liegt der Casus Knacktus irgendwo zwischen 152 und 239.

Gruß
Quellcore

[Chactory]

Hallo Quellcore!

Komisch, mann hätte doch 256 erwartet ...

Gruß, Chactory

[Quellcore]

Hallo Chactory!

lol, das hatte ich auch vermutet, 128 oder 256, mal wieder falsch gelegen.


Gruß
Quellcore

[Chactory]

Hallo Quellcore!



Gruß, Chactory

[Quellcore]

Es koennte natuerlich auch mit der Anzahl der Verschachtelungen bzw. Klassen zusammenhaengen. Das Testen gestaltet sich aber extrem muehselig, da man leider immer noch nicht die Reihenfolge der einzelnen Regeln bestimmen kann. (hint, hint

Gruss
QUELLCORE

[anbuva]

Hallo Quellcore!

wow, bei dieser Regex kann Dir nur noch Chactory das Wasser reichen!

Gruß
anbuva

[Quellcore]

Hallo noch einmal!

Nach einem frustrierenden Sonntag, an dem ich das Problem dieser Regel weiter eingrenzen wollte, haben sich meine schlimmsten Befürchtungen nach etlichen Teststunden nun bestätigt.

Der Bug sitzt VOR dem Computer und nicht im Regelfilter.


Die Wildcard-Klasse [\W\s_] findet zwar auch einen CRLF, sollte aber nach dem Zeilenende auch noch eine Leerzeile kommen benötigt man schon zweimal [\W\s_], dies ist mir in all dem Tumult später nicht mehr aufgefallen,
Beim Dreiteilen meiner Regel habe ich dann zufällig die Regel so aufgeteilt, dass die Leerzeile im Nachrichtentext sozusagen zwischen den erkannten Textpassagen liegt.



Fazit:
Regelfilter und Boost-Bibliothek arbeiten einwandfrei, nur das Hirn will mal wieder nicht so richtig

Hier die neue Fassung der RegEx für den Nachrichtentext:

Code: Alles auswählen

er[\W\s_]{0,3}fahren[\W\s_]{0,3}sie,[\W\s_]{0,3}wie[\W\s_]{0,3}.*?[\W\s_]{0,3}es[\W\s_]{0,3}(heute|jetzt|heutzutage|endlich)?[\W\s_]{0,3}(ist|sein kann)[\W\s_]{0,3}\w{1,10}[\W\s_]{0,3}(K[\W\s_]{0,3}i[\W\s_]{0,3}l[\W\s_]{0,3}o|kilogramm?|kg)[\W\s_]{0,3}in(nerhalb)?[\W\s_]{0,3}(nur[\W\s_]{0,3})?einem[\W\s_]{0,3}(kalender)?m[0o]nat[\W\s_]{0,3}ab[\W\s_]{0,3}zu[\W\s_]{0,3}nehmen

Gruß
Quellcore