Frage zum neuen Beta-URL-Plugin

[Tom]

Hallo Susi,

bei mir schaut es anders aus. Ich habe die Mails mehrfach im Trainingsbereich. Jedoch is eine zweite Mail (auch mehrfach) nur im Papierkorb, nicht jedoch im Trainingsbereich.
Trotzdem danke für den Tip.

Gruß
Tom

[S3bast1an]

Hab da einige Mails, mit solch kryptischen Inhalt. Ich denke, die tauchen alle nicht im Traingsbereich auf. Vielleicht liegts ja daran.

Habe auch schon beobachtet, dass Mails im Papierkorb, aber nicht im Trainingsbereich stehen. Das waren in der Regel Mails mit identischem Inhalt (Dubletten), aber unterschiedlichem Absender. Ist schon vorgekommen, dass eine Spam-Mail bis zu fünfmal einging. Irgendwo hat mal jemand im Forum erklärt, Dubletten würden nicht im Trainingsbereich erscheinen. Vielleicht liegt's daran?

Gruss von
Susi

Gute Idee .. am PlugIn kanns eigentlich nicht liegen, denn das bekommt die Mails vom Spami vorgeworfen .. kann aber nix in Trianingsbereich oder aehnlichem bestimmen ...

Gruss
S.

[Susi]

Hallo S3bast1an,

könntest Du bitte nochmal erklären, was beim Übergang von Beta 4 zu Beta 5 passiert ist? In der Mail hiess es...

Florian machte mich im Forum auf einen Fehler aufmerksam durch den in der Beta_v04 "FakeURLs" aller http://www.microsoft.de@spamerspage.com nicht richig erkannt wurden. Das Problem ist jetzt hoffentlich behoben..vielleicht achtet ihr auch noch einmal darauf ...

Mir fällt nur eins auf: Nehmen wir mal den folgenden LOG-Auszug...

   src=3D"http://www.buoy.com@%69%6Da%67%65s%32.%6C%61i%68%2Eco%6D
   /c%72%65at%69%76es/%64r%65%61ms%68%61p%65/TopLogo_04.gif"
   width=3D"98"
   height=3D"42" href=3D"http://www.nude.com@%69pr%6F%78y.%6Caih.
   %63%6F%6D/ip%72o%78%79/A/%70.%6Ca%69%68.%63%6F%
   6D/redir.cfm?ccode=3D7895B36E&pcode=3DA160A3F4" target=3D

   Folgende URLs gefunden:

   %69%6da%67%65s%32.%6c%61i%68%2eco%6d
   %69pr%6F%78y.%6caih.%63%6F%6d

Der Filter scheint jetzt die rot markierten URLs irgendwie zu übergehen. Sie werden laut LOG nicht mehr gefunden und tauchen auch in all_urls nicht mehr auf. Auch der URL-Extractor holt sie nicht heraus. Erkannt wird offenbar nur noch, was auf diese URLs zwischen @ und / folgt (blau markiert).

Ist das so? Und wenn ja, was ist der Sinn dieser Änderung? Gehen da nicht manche Spam-URLs verloren?

Danke für Info
Susi
 

[S3bast1an]

Hallo S3bast1an,

könntest Du bitte nochmal erklären, was beim Übergang von Beta 4 zu Beta 5 passiert ist? In der Mail hiess es...

Florian machte mich im Forum auf einen Fehler aufmerksam durch den in der Beta_v04 "FakeURLs" aller http://www.microsoft.de@spamerspage.com nicht richig erkannt wurden. Das Problem ist jetzt hoffentlich behoben..vielleicht achtet ihr auch noch einmal darauf ...

Mir fällt nur eins auf: Nehmen wir mal den folgenden LOG-Auszug...

   src=3D"http://www.buoy.com@%69%6Da%67%65s%32.%6C%61i%68%2Eco%6D
   /c%72%65at%69%76es/%64r%65%61ms%68%61p%65/TopLogo_04.gif"
   width=3D"98"
   height=3D"42" href=3D"http://www.nude.com@%69pr%6F%78y.%6Caih.
   %63%6F%6D/ip%72o%78%79/A/%70.%6Ca%69%68.%63%6F%
   6D/redir.cfm?ccode=3D7895B36E&pcode=3DA160A3F4" target=3D

   Folgende URLs gefunden:

   %69%6da%67%65s%32.%6c%61i%68%2eco%6d
   %69pr%6F%78y.%6caih.%63%6F%6d

Der Filter scheint jetzt die rot markierten URLs irgendwie zu übergehen. Sie werden laut LOG nicht mehr gefunden und tauchen auch in all_urls nicht mehr auf. Auch der URL-Extractor holt sie nicht heraus. Erkannt wird offenbar nur noch, was auf diese URLs zwischen @ und / folgt (blau markiert).

Ist das so? Und wenn ja, was ist der Sinn dieser Änderung? Gehen da nicht manche Spam-URLs verloren?
 

So wie Dus beschreibst ist es und so soll es auch:

ein Beispiel:

Der Spammer schreibt:


Wir machen ein Umfrage, die der Fortentwicklung der deutschen Wirtschaft dient .. bitte klicken Sie auf den Link um teilzunehmen:

http://www.serioese-umfrage-zur-entwick ... roleten.de


Du liest die Mail und siehtst einen seriosen Link (oder einen der dich interessiert (nude.com?) oder dem Du vertraust (Microsoft?)) und ploff (klick mal auf den Link)

Ergo ist der vordere Teil einer solchen URL null und nichtig und zur Auswertung ungeeignet ...

Gruss
S.

PS: Das Verfahren an sich ist eigentlcih gedacht um Daten an Skripte zu uebermitteln ...

[Susi]

Danke, S3bast1an! Und hier gleich die neuesten Beobachtungen:

Anders als v.1.2 berücksichtigen die letzten Betaversionen die Gross/Kleinschreibung nicht mehr, was die URL-Erkennung wesentlich verbessert hat.

Tests mit S3bast1ans txtminus.exe und txtminustxt.exe ergeben jedoch, dass diese Tools die G/K-Schreibung berücksichtigen! Ich bin darauf gekommen, weil ich diese Tools zum Abgleich verschiedener Listen verwendet habe. Dabei ergaben sich gelegentlich rätselhafte Abweichungen beim zu erwartenden Output. Erst nach umständlichen Vergleichen wurde mir klar, dass das an der G/K-Schreibung lag. So gelten dann z.B. www.PiLLsdocz.biz und www.pillsdocz.biz als zwei verschiedene URL. Die eine wird durch die andere nicht aus einer Liste entfernt. Auch andere unauffällige Abweichungen wirken sich hier aus: Steht z.B. hinter der gleichen URL in der einen Liste ein Leerzeichen, in der anderen Liste keins, dann werden auch zwei verschiedene Einträge daraus.

Das ist nicht schlimm - man muss es nur wissen! Das gilt insbesondere für irgendwelche manuellen Veränderungen an der Schreibweise oder für URLs, die man manuell auf die blacklist setzt. Ich behelfe mir damit, dass ich die blacklist gelegentlich in NoteTab (http://www.notetab.com) öffne und hier mit dem Befehl Modify -> Text Case -> Lower Case alles einheitlich in Kleinschreibung umformatiere.

Ansonsten scheint mir die Sache seit S3bast1ans improlearn.exe praktisch perfekt zu sein. Der Filter erkennt bei mir inzwischen um die 80 - 90% des Spams. Davor hatte ich aus dem Papierkorb immer noch die eine oder andere Spam-URL herausgequetscht, indem ich den Ordner \recycle mit Agent Ransack (http://www.agentransack.com) durchforstete (gute Freeware! beherrscht Regular Expressions und zeigt die Fundstellen im Kontext an). Aber seit improlearn.exe kann ich mir das sparen - es kommt kaum noch Zusätzliches heraus.

Einzige Sorge: Neuerdings stürzt Spami gelegentlich beim Mail-Abruf oder auch mal beim Training total ab. Mal sehen, ob sich das stabilisiert. Könnte evtl daran liegen, dass ich die riesige Reisekäfer-blacklist zum Teil importiert habe und mein altes Notebook (Win 98, 233 MHz, 96 MB RAM) unter 3.000 Spam-URLs in die Knie geht? Womit ich beim nächsten Thema wäre...

Das einzige, was mir im Moment noch verbesserungsbedürftig erscheint, das ist diese Basis-blacklist auf reisekaefer.de. Habe schon diverse Anmerkungen zu diesen Listen gemacht und will das nicht wiederholen. Wichtiger als jeder Versuch, diese Liste zu verbessern, erscheint mir eins: Wir sollten jetzt mal drangehen, eine taufrische, erfolgskontrollierte neue Basis-blacklist zu erstellen, indem wir unsere black_success.txt zusammenführen. Wäre das nicht mal was?

Gruss von
Susi
 

[S3bast1an]

Ansonsten scheint mir die Sache seit S3bast1ans improlearn.exe praktisch perfekt zu sein. Der Filter erkennt bei mir inzwischen um die 80 - 90% des Spams. Davor hatte ich aus dem Papierkorb immer noch die eine oder andere Spam-URL herausgequetscht, indem ich den Ordner \recycle mit Agent Ransack (http://www.agentransack.com) durchforstete (gute Freeware! beherrscht Regular Expressions und zeigt die Fundstellen im Kontext an). Aber seit improlearn.exe kann ich mir das sparen - es kommt kaum noch Zusätzliches heraus.

Hey,

eigentlich duerften gar keine zusaetzlichen hinzukommen

Einzige Sorge: Neuerdings stürzt Spami gelegentlich beim Mail-Abruf oder auch mal beim Training total ab. Mal sehen, ob sich das stabilisiert. Könnte evtl daran liegen, dass ich die riesige Reisekäfer-blacklist zum Teil importiert habe und mein altes Notebook (Win 98, 233 MHz, 96 MB RAM) unter 3.000 Spam-URLs in die Knie geht? Womit ich beim nächsten Thema wäre...

mhm .. komisch .. bei mir auch .. ich werde das mal beobachten .. mit diesem Fehler wirds offiziell keine neue Version geben (ich nehme aber gerne neue Betatester auf).

Das einzige, was mir im Moment noch verbesserungsbedürftig erscheint, das ist diese Basis-blacklist auf reisekaefer.de. Habe schon diverse Anmerkungen zu diesen Listen gemacht und will das nicht wiederholen. Wichtiger als jeder Versuch, diese Liste zu verbessern, erscheint mir eins: Wir sollten jetzt mal drangehen, eine taufrische, erfolgskontrollierte neue Basis-blacklist zu erstellen, indem wir unsere black_success.txt zusammenführen. Wäre das nicht mal was?

Das waers .. vielleicht sollten wir das schon mal angehen .. ich werde das mal in der naechsten Mail an die Betatester ansprechen ...

Gruss
S.

[Florian]

Neuerdings stürzt Spami gelegentlich beim Mail-Abruf oder auch mal beim Training total ab...

... Das einzige, was mir im Moment noch verbesserungsbedürftig erscheint, das ist diese Basis-blacklist auf reisekaefer.de.

Spami-Abstürze habe ich auch einige male erlebt seit ich das letzte URL-Beta-plugin installiert habe. Es passiert beim Training, wenn sich sehr viele (so um die 40 und mehr) Emails im Trainingsbereich angesammelt haben. Es kommt eine Spami-Fehlermeldung, das Spami abgestürzt ist und ob ich Spami neu starten will. Klicke ich auf "ja" kommt die gleiche Fehlermeldung wieder. Bei "nein" stürzt Windows ab (Win 98...).

Zur Basisblackliste: Die ist jetzt wirklich sehr umfassend. Eine aktualisierte Version wäre eine gute Idee. (Ich habe inzwischen 3665 URLs in der Blackliste und 141 URLs in der Black_success.)
Ich hatte neulich auch zwei Fälle, wo non-Spam vom URL-Plugin abgefangen wurde. Deswegen wäre es wirklich wichtig auch eine Basis-Ignoreliste zu machen. Wir hatten das hier schon mal angesprochen.

Florian

[Florian]

Noch ein Nachtrag zu den Abstürzen (gerade ist es wieder passiert): Es liegt wohl doch nicht an der Menge der Emails im Trainingsbereich. Ich denke es sind eher bestimmte Emails, die den Absturz verursachen. Wenn ich nach dem Absturz den Trainingsbereich neu aufmache, sehe ich, dass Spami ein paar Emails abgearbeitet hat bevor es abgestürzt ist. Lösche ich die oberste Email in der Trainingsliste und lasse dann wieder trainieren, läuft es ohne Absturz. Lösche ich die Mail nicht, stürzt Spami beim Training wieder ab.
Ich hatte mir vorhin vor dem Absturz gerade das URL-Log angesehen und mir war aufgefallen, das in der "Trainingskillermail" eine URL sehr oft wiederholt vorkam (ca. 20 mal). Vielleicht liegt es daran?
Florian

[S3bast1an]

Noch ein Nachtrag zu den Abstürzen (gerade ist es wieder passiert): Es liegt wohl doch nicht an der Menge der Emails im Trainingsbereich. Ich denke es sind eher bestimmte Emails, die den Absturz verursachen. Wenn ich nach dem Absturz den Trainingsbereich neu aufmache, sehe ich, dass Spami ein paar Emails abgearbeitet hat bevor es abgestürzt ist. Lösche ich die oberste Email in der Trainingsliste und lasse dann wieder trainieren, läuft es ohne Absturz. Lösche ich die Mail nicht, stürzt Spami beim Training wieder ab.
Ich hatte mir vorhin vor dem Absturz gerade das URL-Log angesehen und mir war aufgefallen, das in der "Trainingskillermail" eine URL sehr oft wiederholt vorkam (ca. 20 mal). Vielleicht liegt es daran?
Florian

ich ueberpruefe das heute noch .. ob ich aber was finde weiss ich noch nicht

Gruss
S.

[Florian]

Florian machte mich im Forum auf einen Fehler aufmerksam durch den in der Beta_v04 "FakeURLs" aller http://www.microsoft.de@spamerspage.com nicht richig erkannt wurden. Das Problem ist jetzt hoffentlich behoben..vielleicht achtet ihr auch noch einmal darauf ...

Vielleicht ist das doch noch nicht ganz gelöst? Welche URL sollte das Plugin bei folgender Email finden (Auszug aus dem Log):

Verify this ulr at this moment for your additional benefit!
http://freeinternationalsex.com:freeinf ... a/?q=kHNzk
P.S. Prize is Really Free these days!
----------------------------------------------------------------
Folgende URLs gefunden:
----------------------------------------------------------------
freeinternationalsex.com


Sollte das Plugin da nicht "uk.geocities.com" finden? Ich fürchte der Doppelpunkt hat für Verwirrung gesorgt.

An der Spam haben sich übrigens alle Filter die Zähne ausgebissen, nur der Servertester-Plugin hat sie dann erwischt (kommt in meiner Filterkette ganz am Schluss).
Florian

[S3bast1an]

Verify this ulr at this moment for your additional benefit!
http://freeinternationalsex.com:freeinf ... a/?q=kHNzk

ja, ja ... der boese Doppelpunkt ... aber ich weiss jetzt auch nicht wie ich das hinbekommen soll, denn ne URL kann doch eigentlich garkeinen Doppelpunkt enthalten ... und ergo erkennt der Filter das als den Schluss einer URL

Nun ja ... mal sehn

Gruss
S.

PS: uebrigens ist soeben die Beta_06 an alle raus ...

[Susi]

Hallo S3bast1an,

die Beta 6 läuft einwandfrei. Bislang keine Abstürze.

Eins würde ich mir noch wünschen. Beispiel: Zwei Mails gehen heute von unterschiedlichen "Absendern" ein. Beide Mails sind übersät mit <a>-tags wie...

<a href=3D"http://birch.medsforcheap.biz/aff1/??*domino" style=3D"text-decoration: none">

Folgende URLs gefunden:

adair.medsforcheap.biz
alcestis.medsforcheap.biz
alicia.medsforcheap.biz
allison.medsforcheap.biz
birch.medsforcheap.biz
captaincy.medsforcheap.biz
cataclysm.medsforcheap.biz
cathedra.medsforcheap.biz
coordinate.medsforcheap.biz
expulsion.medsforcheap.biz
foxy.medsforcheap.biz
holeable.medsforcheap.biz
insolvent.medsforcheap.biz
interrogate.medsforcheap.biz
julie.medsforcheap.biz
oscillate.medsforcheap.biz
paralysis.medsforcheap.biz
picnicked.medsforcheap.biz
plenum.medsforcheap.biz
spokesperson.medsforcheap.biz
touch.medsforcheap.biz
touchdown.medsforcheap.biz
-----------------------------------
= 22 Varianten von medsforcheap.biz

Alle 22 Varianten werden als neue Spam-URL erkannt und in die blacklist geschrieben. Das lässt sich wohl kaum verhindern, weil alles, was auf http:// folgt als URL erkannt wird.

Wenn ich nun die 22 Varianten lösche und nur noch medsforcheap.biz auf die blacklist setze, dann reicht das völlig aus. Künftig wird jede nur denkbare Variante ausgefiltert.

Das nützt jedoch nicht viel. Denn der Filter hört nicht auf, alle Varianten weiterhin als neue URL zu erfassen. Könnte man ihm das nicht abgewöhnen? Die Vorgabe wäre: Behandle eine URL auch dann wie eine bereits bekannte URL, wenn in ihr eine bekannte URL nur als Substring enthalten ist. Wäre das nicht rationeller?

Gruss von
Susi
 

[S3bast1an]

Wenn ich nun die 22 Varianten lösche und nur noch medsforcheap.biz auf die blacklist setze, dann reicht das völlig aus. Künftig wird jede nur denkbare Variante ausgefiltert.

Das nützt jedoch nicht viel. Denn der Filter hört nicht auf, alle Varianten weiterhin als neue URL zu erfassen. Könnte man ihm das nicht abgewöhnen? Die Vorgabe wäre: Behandle eine URL auch dann wie eine bereits bekannte URL, wenn in ihr eine bekannte URL nur als Substring enthalten ist. Wäre das nicht rationeller?

Hey,

hatte schon mal ueberlegt, ob man die URLs irgendwie bereinigt. Das Probleme sind so Sachen wie xxxxx.co.uk oder mit .jp gibts auch sowas ... vielleicht so:

die URL, dann 6 Zeichen von hinten zurueck und dann rueckwaerts weiter zum naechsten Punkt oder halt bisz um Anfang ... und dort abschneiden .. damit muesste man diese URLs eigentlich kriegen, oder ?!?

Gruss
S.

[Mondkind]

ja, ja ... der boese Doppelpunkt ... aber ich weiss jetzt auch nicht wie ich das hinbekommen soll, denn ne URL kann doch eigentlich garkeinen Doppelpunkt enthalten ... und ergo erkennt der Filter das als den Schluss einer URL

Doch doch, eine URL kann einen Doppelpunkt enthalten. Damit die URL gültig ist, muss dazu auch ein @-Zeichen nach dem Doppelpunkt folgen.

Der Aufbau ist so:
http://username:passwort@domain.land
Damit kann man sich das mühsame Eintippen vom Benutzernamen und Passwort bei entsprechenden ( mit access.conf ) geschützen Seiten ersparen. Bei diesem Format ist es zwingend notwendig, dass die URL mit http:// beginnt. Der IE akzeptiert sie sonst nicht.

Gruss
Roman

[Florian]

Hallo S3bast1an,
die Beta 6 läuft einwandfrei. Bislang keine Abstürze.

Bei mir leider nicht. Heute hatte ich gleich mehrere Abstürze im Trainingsbereich. Trotz der neuen Beta-Version 6. Diesmal konnte ich nichts besonderes an den Emails finden, die beim Absturz gerade gelernt wurden.
Ich fürchte, es liegt wirklich am URL-Plugin. Ich habe folgendes versucht.
1. Zwei Trainingsversuche mit Beta-URL aktiviert. Zweimal abgestürzt.
2. Beta-URL abgestellt und mit den gleichen Emails noch einen Trainingsversuch gestartet: Kein Absturz.

Ist vielleicht meine Black- oder Whiteliste zu lang? Die Blacklist hat 3700 URLs; der letzte Absturz passierte aber bei einer non-Spam.
Florian