bad.spamihilator.wordlist [14.8.3]

[landx]

ACHTUNG:
anbei stelle ich meine bad.spamihilator.wordlist zur Verfügung (Daten des Lernfilters). 390 KB.
Zeit(sammel)raum: April - August 2003.
Diese Liste muß platziert werden unter dem Pfad: ...\training\bad.spamihilator.wordlist

Es bleibt (experimentell ?) zu klären, ob man die Spamihilator-Listen aneinanderketten kann (diese Liste + User eigene Liste) und somit die Lernfilterdaten vervielfältigen kann?
Falls nicht, muß jeder für sich entscheiden, ob er diese oder die eigene Liste verwendet, da die Entscheidung good/bad subjektiv bleibt, d.h. u.U. kann es passieren, dass diese Daten Informationen beinhalten, die jemand anders... einfach antgegengesetzt (good) beurteilen würde.

[Mondkind]

Ich denke da wäre eine leicht zu importierende (gut überarbeitete) Bad-Wort-List viel besser. Jeder bekommt eine andere Qualität an e-Mails und Spam.
ABER so ein Test ist auf jeden Fall sehr interessant und vielleicht zukunftsweisend. Wäre echt mal gut zu wissen in wieweit die bad-List bei anderen greift.

[Boris]

Wäre schon cool, wenn man die Listen auch bearbeiten könnte. Irgendwie zusammenführen... oder sowas.
Das wäre ja vielleicht was für zukünftige Versionen.

Gruß
Boris

[landx]

Ich denke da wäre eine leicht zu importierende (gut überarbeitete) Bad-Wort-List viel besser.

Wie möchtest Du diesen Klotz bearbeiten und nach welchen Kriterien?
Dafür müßten wir genaustens den LF-Algorithmus (Bayes) kennen, um die Lernpakete zusammenschnürren zu dürfen.

Jeder bekommt eine andere Qualität an e-Mails und Spam.

Ich glaube nicht, dass Dir eine andere Version von * POLICY VIOLATION ! * angeboten wird?

ABER so ein Test ist auf jeden Fall sehr interessant und vielleicht zukunftsweisend. Wäre echt mal gut zu wissen in wieweit die bad-List bei anderen greift.

Ich habe den ersten Schritt getan.
Versucht mal 2 Listen einfach per Zwischenablage zusammenzuführen, um zu testen, ob sie danach noch etwas taugen, oder ob Spami danach zusammenbricht?

[Mondkind]

Ich denke da wäre eine leicht zu importierende (gut überarbeitete) Bad-Wort-List viel besser.

Wie möchtest Du diesen Klotz bearbeiten und nach welchen Kriterien?
Dafür müßten wir genaustens den LF-Algorithmus (Bayes) kennen, um die Lernpakete zusammenschnürren zu dürfen.

Ich hatte mehr eine schön sortierte Spam-Wortliste (siehe anderer Beitrag ) gemeint. Böse Formulierung...
Anderseits... Michel müsste wissen wie der Filter lernt und seine Bewertung der einzelnen Wörter niederschreibt. Von daher wäre die Datei natürlich mit einem kl. Programm sicher auch editierbar. Importmöglichkeit sollte auch kein Problem sein.

Ich glaube nicht, dass Dir eine andere Version von * POLICY VIOLATION ! * angeboten wird?

Hehe vielleicht ja in einer N3'er Packung
Ich meinte natürlich mehr so die Formulierung. Wenn mehr Spam in engl. Auftritt, meistens aber deut .e-Mails reinkommen, hat es eine Non-Spam-Mail in engl. dann natürlich extrem schwer. Ist bei mir ebenso wie bei anderen eine gute Unterscheidung. Deut. Spam-Mails werden aber natürlich trotzdem hervorragend gefiltert.

Ich habe den ersten Schritt getan.
Versucht mal 2 Listen einfach per Zwischenablage zusammenzuführen, um zu testen, ob sie danach noch etwas taugen, oder ob Spami danach zusammenbricht?

Ich glaube da sollte man mind. mit einem Hex-Editor ran gehen, weil ich wohl einen Einstiegspunkt in der Datei gesehen habe. An sonsten sieht das nach einer nicht wiederkehrenden Logik aus.

[S3bast1an]

Ich habe den ersten Schritt getan.
Versucht mal 2 Listen einfach per Zwischenablage zusammenzuführen, um zu testen, ob sie danach noch etwas taugen, oder ob Spami danach zusammenbricht?

Ich glaube da sollte man mind. mit einem Hex-Editor ran gehen, weil ich wohl einen Einstiegspunkt in der Datei gesehen habe. An sonsten sieht das nach einer nicht wiederkehrenden Logik aus.

Hey,

die Logik ist folgenden:

12 Bytes Header Infos:

4 Bytes: Versionstring als long
4 Bytes: Anzahl der Wörter in der Datei als long
4 Bytes: Anzahl der verwursteten Emails als long
4 Bytes: -ohne Sinn- ??? als long

Dann kommen nacheinander die Datensaetze:

1 Byte: Länge des jeweiligen Wortes (1..255 Zeichen)
x Bytes: das Wort selbst (Länge siehe oben)
4 Bytes: Zählvariable als long

ein zusammenkopieren haut als nicht hin ...

Gruss
S.

[michel]

Hast du das selbst rausgefunden oder hab ich dir das mal zugeschickt?

CU
Michel

[S3bast1an]

Hast du das selbst rausgefunden oder hab ich dir das mal zugeschickt?

CU
Michel

Weder noch .. ich hab noch den alten Source ... wenn ichs mir aber so ansehe, hat das ganze ziemlich den Aufbau einer Palmpilot-Datenbank

Gruss
S.

[michel]

Weder noch .. ich hab noch den alten Source ... wenn ichs mir aber so ansehe, hat das ganze ziemlich den Aufbau einer Palmpilot-Datenbank

Achso! Cool!
Allerdings habe ich mich nicht an einer Palmpilot-Datenbank orientiert. Das Format ist einfach so entstanden, weil es zweckmäßig war.

CU
Michel

[S3bast1an]

Hast du das selbst rausgefunden oder hab ich dir das mal zugeschickt?

Verraetst Du uns noch die genaue Formel nach der der Filter vorgeht?
Wozu dienen denn die Zahl der Mails ?

Gruss
S.

[michel]

Wie immer: schick mir mal ne E-Mail, damit ich sie beantworten kann, wenn ich nachher zu Hause bin. Ich hab die Formel im Moment auch nicht im Kopf.

CU
Michel

[S3bast1an]

Wie immer: schick mir mal ne E-Mail, damit ich sie beantworten kann, wenn ich nachher zu Hause bin. Ich hab die Formel im Moment auch nicht im Kopf.

Hey,

super .. hoffe ich blicke da dann auch durch

Gruss
S.

[Mondkind]

Hey,

super .. hoffe ich blicke da dann auch durch

Warst Du gut in Mathematik bzw. Physik? Je nach dem...
Das kann sich positiv auf das Verstehen von Formeln auswirken!

Gruss
Roman

[S3bast1an]

Hey,

super .. hoffe ich blicke da dann auch durch

Warst Du gut in Mathematik bzw. Physik?

Mathe + Physik Leistungskurs .. also schweig stille ... Ungläubiger

Gruss
S.

[Kühn]

Hallo,

Auszug aus ca. 117.000 Wörter good_wordlist

via 557
* POLICY VIOLATION ! * 6
viägr 1
v'i'a'g'r'a 3
viägra 1
víagra 12

005004bfaa41 1
0050dac65330 11
0050dac68030 105
00eur 11
00eur23 1
0190er 62
019x 2
01c3a36d 19
023bedfb71f66eb 3

bad_wordlist ca. 160.000 Wörter

viahgra 1
* POLICY VIOLATION ! * 38
* POLICY VIOLATION ! * 3
* POLICY VIOLATION ! * 1
* POLICY VIOLATION ! * 2
* POLICY VIOLATION ! * 2
* POLICY VIOLATION ! * 2
* POLICY VIOLATION ! * 1
* POLICY VIOLATION ! * 1
* POLICY VIOLATION ! * 2
* POLICY VIOLATION ! * 1
víagra 100
v'i'a'g'r'a 5
* POLICY VIOLATION ! * 1
* POLICY VIOLATION ! * 1
* POLICY VIOLATION ! * 2
* POLICY VIOLATION ! * 1
* POLICY VIOLATION ! *$ra 1
víag 1
* POLICY VIOLATION ! * 89
viafr 1
viaegra 3
viable 4
viaai8ihgra 1
viaaggraaa 3
vía 2
via 1242

Kann man die Listen nicht doch irgendwie beeinflussen?
Manche * POLICY VIOLATION ! * Abwandlungen haben in der Good Liste eine höhere Bewertung als ind der Bad u. das ist bei einigen unerwünschten begriffen so. Dann habe ich noch viele sinnlose Zahlenketten in der Goodliste.