Verbesserungen beim Blocken

[freedimension]

1.) im Header der ja sowieso runtergeladen wird steht doch auch noch der Betreff, könnte man über den nicht auch noch blocken? Also sowas wie Spam-Wörter nur halt eben bevor die gesamte Mail runtergeladen wird. (Ich erhalte z.B. nur sehr selten Mails mit * POLICY VIOLATION ! * im Titel welche ich auch haben möchte, und wenn, dann sowieso nur von Freunden )

2.) Eine Whitelist: also wenn ich eine Mail bekomme in welcher ein Schlüsselwort vorkommt (welches ich z.B. auf meiner Website hinterlegt habe für Leute die ich noch nicht kenne) soll diese nicht blockiert werden. Was ähnliches wäre eine Ebene tiefer ja der Newsletter-Filter

3.) Da gibt es ja dieses Statistik-Plugin wo ich sehen kann wieviele von meinen Spams von welchem Plugin erwischt wurden.
Wäre schön wenn ich zusätzlich (also direkt in Spami, nicht im Plugin) sehen könnte wieviele blockierte Spams einem Block-Pattern zum "Opfer" gefallen sind (so kann ich unnütze Patterns entfernen und gute Patterns evtl. noch verbessern bzw. optimieren). Das ganze dann auch bitte sortierbar machen.

4.) Wird im Logfile eigentlich die tatsächliche Größe der blockierten Spammail eingetragen oder nur die Größe des Headers? Mir ist aufgefallen, dass ich ca. 55% der Spams blockiere, jedoch diese 55% nur ca. 30% aller Spambytes verursachen. Mich würde jedoch interessieren, wieviel ich durch das Blockieren bisher an Datentraffic vermeiden konnte (bin so ein kleiner Statistikfreak )

5.) Exportieren der Liste um sie mit anderen zu Teilen

6.) Die Möglichkeit statt nur Exclude-Filter auch Include-Filter zu erstellen.
Beispiel: ich habe jetzt so ziemlich alle Domains geblockt die ich kenne (also z.B. *.kr), jedoch ist dies sehr Aufwändig beim Erstellen der Liste und erhöht ausserdem die Verarbeitungszeit. Wenn ich einstellen könnte dass ich generell nur Mails annehme welche das Pattern *.de (nur als Beispiel, in der Praxis wären das natürlich mehr) beinhalten wäre das eine feine Sache. So könnte ich auf einen Schlag alle diese scheußlichen Domains aussperren.

Danke
3D

P.S.: noch eine Frage die jetzt leicht OT ist: Wo finde ich mehr Informationen zum im DCC-Plugin verwendeten "unscharfem Hash Algo"? Mich würde interessieren wie der programmiert und aufgebaut ist.

[Chactory]

Hallo freedimension,

zu ein paar Punkten kann ich etwas antworten.
1.: Wenn ich mich jetzt nicht sehr irre, verarbeiten zumindest der Spamwortfilter und der Lernende Filter den Betreff und den Text sowieso schon.
2.: Einen Whitestringfilter mit der von Dir erwünschten Funktion gibt es schon.
3. und 6.: Z.Z. werden Probleme einer fertiggestellten neuen Programmversion ausgeräumt, ich hoffe (und manch anderer vielleicht auch), daß Michel Krämer das in Ruhe zu Ende bringen kann, bevor er weitere neue interessante Features einbauen muß.
4. und 5.: Kann ich nicht beantworten.

Gruß,

[Andreas_Z]

Hallo freedimension!

Infos zum DCC findest Du auch mit der Forum-Suche.
Sieh mal unter http://www.spamihilator.com/forum/viewtopic.php?t=2815 nach.

Habe auch noch den Artikel http://www.spamihilator.com/forum/viewt ... ht=subject zu Thema Blocken von Subjects gefunden. Leider ist derzeit die einzige Möglichkeit, nur den Header herunter zu laden, die Liste der blockierten Absender. Sonst wird immer alles heruntergeladen. Nur auf diese Weise kann Spami die Mail komplett bewerten.

Gruß
Andreas_Z

[freedimension]

1.: Wenn ich mich jetzt nicht sehr irre, verarbeiten zumindest der Spamwortfilter und der Lernende Filter den Betreff und den Text sowieso schon.

Ja, aber doch erst nachdem die Mail komplett heruntergeladen wurde. Ich dachte da aber eher an eine etwas komplettere Header-Auswertung bevor der Rest runtergeladen wird.
Meine gesamte Mail bezog sich übrigens auf den Einsatz des Mailblockers und eben nicht auf die Filterebene.

2.: Einen Whitestringfilter mit der von Dir erwünschten Funktion gibt es schon.

Siehe oben

3. und 6.: Z.Z. werden Probleme einer fertiggestellten neuen Programmversion ausgeräumt, ich hoffe (und manch anderer vielleicht auch), daß Michel Krämer das in Ruhe zu Ende bringen kann, bevor er weitere neue interessante Features einbauen muß.

Ja ne, schon klar. Hab ja nirgends geschrieben dass ich das jetzt unbedingt zu Weihnachten brauche Ist aber schön zu hören dass demnächst eine neue Version rauskommt.

Infos zum DCC findest Du auch mit der Forum-Suche.
Sieh mal unter http://www.spamihilator.com/forum/viewtopic.php?t=2815 nach.

Vielen dank. Dort war dann ja auch der Downloadlink des Sourcecodes und genau das habe ich gesucht.

Habe auch noch den Artikel http://www.spamihilator.com/forum/viewt ... ht=subject zu Thema Blocken von Subjects gefunden. Leider ist derzeit die einzige Möglichkeit, nur den Header herunter zu laden, die Liste der blockierten Absender. Sonst wird immer alles heruntergeladen. Nur auf diese Weise kann Spami die Mail komplett bewerten.

Deswegen ja meine Anregungen da ich der Meinung bin, dass man aus dem Mailblock-Feature noch so einiges rausholen kann. Dabei ist mir bewusst, dass dieses Feature noch relativ neu ist. Würde mich aber freuen wenn man es noch etwas ausbauen würde.

Spamihilator ist so und wird zumindest unter Windows immer der Beste Spamjäger bleiben, weiter so
3D

[Chactory]

"Wir haben verstanden."

Vielleicht findest Du mit Deinem interessanten Vorschlag ja Gehör bei einem der Filterauthoren, oder Du versuchst es selber? Leider kann ich selber nicht in C++ programmieren, das ist aber nötig, um Filter zu erstellen.

[freedimension]

"Wir haben verstanden."

Vielleicht findest Du mit Deinem interessanten Vorschlag ja Gehör bei einem der Filterauthoren, oder Du versuchst es selber? Leider kann ich selber nicht in C++ programmieren, das ist aber nötig, um Filter zu erstellen.

Öhm, aber genau das geht doch mit den Filtern eben nicht, da zu dem Zeitpunkt wo gefiltert wird die Emails ja schon komplett heruntergeladen wurden. Wenn dem nicht so wäre dann hätte ich's mir ja selber schnell schreiben können

BTW: Ich würde zwei Durchläufe der Filter begrüßen, bzw. zwei unabhängige Listen. Eine zum Blocken von Absendern und Mails nur anhand des Headers und eine zum Filtern der restlichen Mails anhand der gesamten Mail. Dann könnte man sich sowas tatsächlich selber schreiben.

P.S.:
So weit ich weiß muss man auch nicht unbedingt C++ programmieren können. Hauptsache du kannst die Schnittstelle zur DLL in deiner Lieblingssprache bereitstellen, und dass können so gut wie alle modernen Compilersprachen und ich spreche jetzt nicht nur von den M$-Dingern

[Chactory]

"Wir haben verstanden." Vielleicht findest Du mit Deinem interessanten Vorschlag ja Gehör bei einem der Filterauthoren, oder Du versuchst es selber? Leider kann ich selber nicht in C++ programmieren, das ist aber nötig, um Filter zu erstellen.

Öhm, aber genau das geht doch mit den Filtern eben nicht, da zu dem Zeitpunkt wo gefiltert wird die Emails ja schon komplett heruntergeladen wurden. Wenn dem nicht so wäre dann hätte ich's mir ja selber schnell schreiben können

Manchmal haperts bei mir trotzdem noch mit dem Verständnis der technischen Finessen. Wenn ich es (diesmal wirklich) richtig verstehe, kann nur der ins Hauptprogramm integrierte Bayesfilter die Header vor dem Herunterladen schon untersuchen? Und die Filter können nur die vollständig heruntergeladene Mail untersuchen? Ich merke zwar keine Verzögerung, aber wahrscheinlich empfängst Du eine so große Menge Mails, daß sich das für Dich lohnen würde?

So weit ich weiß muss man auch nicht unbedingt C++ programmieren können. Hauptsache du kannst die Schnittstelle zur DLL in deiner Lieblingssprache bereitstellen, und dass können so gut wie alle modernen Compilersprachen und ich spreche jetzt nicht nur von den M$-Dingern

Ehrlich gesagt, kenne ich mich in dieser Fragestellung programmiertechnisch leider auch in den Programmen, die ich verwende / mal verwendet habe nicht aus.

Wenn Du aber in der Lage wärst und dazu Lust hättest, so etwas mal zu programmieren, daß setze Dich doch mal mit den maßgeblichen Leuten in Verbindung. Auch ein sehr gutes Programm kann immer noch besser werden.

[freedimension]

Ich merke zwar keine Verzögerung, aber wahrscheinlich empfängst Du eine so große Menge Mails, daß sich das für Dich lohnen würde?

Mal ein kleiner Auszug nur von Heute und ein klein wenig von gestern Abend noch:

Ich hatte bis jetzt genau 601 Spammails mit 4.321.773 Bytes an Daten. Das sind immerhin 4 MB die es zu reduzieren gilt.
Von den Spams konnte ich dabei inzwischen immerhin 61% blockieren - ich habe mit dem Blockieren zugegebenermaßen recht lange gewartet, weiß auch nicht warum, aber den Unterschied merk ich deutlich.

Ziel müsste es sein, 90% oder mehr blocken zu können, dann wären wir schon einiges weiter. Der Rest könnte dann von den Plugins gefiltert werden. Das geht aber im Moment mit den gegebenen Bordmitteln nicht, da die restlichen Spammails ihre Absender zu stark verfälschen, d.h. zufällige Buchstabenkombinationen und ungültige TLDs (also nicht .de .com .net) verwenden. Mit einer Whitelist wäre man da dann schon wieder weiter, könnte man hier sagen dass schon mal alles geblockt wird was nicht .de .com .net und .org ist und nicht auf meiner Freundesliste steht.

Es macht halt doch einen Unterschied ob du Morgens 3-5 Minuten oder nur eine halbe Minute auf deine Mail warten musst. Montags im Geschäft oder nach dem Urlaub ist es dabei noch schlimmer, da du die Anzahl der Spammails da locker mit der Anzahl der Abwesenheitstage malnehmen kannst. Nach 2 Wochen Internetabstinenz habe ich da mal eine geschlagene halbe Stunde auf die Mails gewartet die mich interessieren, möchte nicht wissen wie das bei einigen Leuten nach dem 5 wöchigen Jahresurlaub aussieht

Geringeres Datenaufkommen heißt letztendlich:
- Zeit sparen, d.h. Produktivität steigt
- Ressourcen sparen, also ein schnelleres Internet für alle
- Energie sparen
- Geld sparen, sei's für den ISP (bei Flatrate), deinen Chef oder dich als Enduser (ohne Flat)

Jetzt ist das Posting doch wieder größer geworden als ich wollte

Gruß
Mirko

[freedimension]

Hab mal ein kleines Bildchen gemacht was die merkwürdigen Wege des Spamihilators vielleicht etwas erklärt:

[Edy Hinzen]

Hi!

Also, im Moment gibt es - grob gesagt - folgende vier Phasen, bei denen die Plugins beteiligt sind:
Untersuchen von:
a) Header
b) HTML-Teil
c) Non-HTML-Teil
d) Gesamte Mail
(In den Plugins selbst ist definiert, an welchen Phasen diese beteiligt sind.)

Wenn ich freedimension richtig verstanden habe, dann schlägt er vor "a)" noch eine Phase vor, welche vor dem Download der Mail stattfindet.
Meinem vagen POP3-Verständnis nach sind in dieser Phase Angaben wie Absender, Empfänger, Subject, und vielleicht noch Angaben wie die Mail-Grösse bekannt.
Ein Filter könnte mit diesen Angaben bereits erste Schlüsse ziehen; z.B.:
- Absender ist in Blacklist
- Im Subject steht nonsense
- Im Subject steht ein Reizwort, welches der Mail-Provider eingestreut hat, wie z.B. "[Spamverdacht]".

Das Ziel wäre also, wie erwähnt die Mails vor dem Herunterladen zu blocken.

Allerdings ist mir nicht geläufig, daß bei POP3 bzw. vergleichbarem Zugriff auf ein Mail-Konto nur der Header allein herunter geladen werden kann (wie oben erwähnt und wie es z.B. bei "HTTP HEADER" möglich ist).

Edy

P.S. Die Plugins kann man mittlerweile auch mit Delphi programmieren. Es gibt ein SDK im source code auf meiner Seite.

[KanuUli]

Hi!

Also, im Moment gibt es - grob gesagt - folgende vier Phasen, bei denen die Plugins beteiligt sind:
Untersuchen von:
a) Header
b) HTML-Teil
c) Non-HTML-Teil
d) Gesamte Mail
(In den Plugins selbst ist definiert, an welchen Phasen diese beteiligt sind.)

Ich denke diese Unterteilung bezieht sich eher auf die Abschnitte der Mail.

Wenn ich freedimension richtig verstanden habe, dann schlägt er vor "a)" noch eine Phase vor, welche vor dem Download der Mail stattfindet.

Eher ein Phase.. nachdem nur der Header heruntergeladen ist.

Meinem vagen POP3-Verständnis nach sind in dieser Phase Angaben wie Absender, Empfänger, Subject, und vielleicht noch Angaben wie die Mail-Grösse bekannt.
Ein Filter könnte mit diesen Angaben bereits erste Schlüsse ziehen; z.B.:
- Absender ist in Blacklist
- Im Subject steht nonsense
- Im Subject steht ein Reizwort, welches der Mail-Provider eingestreut hat, wie z.B. "[Spamverdacht]".

Ääähm so viel ich weiß gibt der Server nur die "uid", die interne ID und die Größe der Mail her

Das Ziel wäre also, wie erwähnt die Mails vor dem Herunterladen zu blocken.

Allerdings ist mir nicht geläufig, daß bei POP3 bzw. vergleichbarem Zugriff auf ein Mail-Konto nur der Header allein herunter geladen werden kann (wie oben erwähnt und wie es z.B. bei "HTTP HEADER" möglich ist).

Edy

P.S. Die Plugins kann man mittlerweile auch mit Delphi programmieren. Es gibt ein SDK im source code auf meiner Seite.

Es gibt den Befehl "TOP" über diesen Befehl wurde schon mehrfach diskutiert... auf über das Filtern des Headers. Michel hat es aich schon mal irgendwo hier im Forum geschrieben, warum er es nicht machen will (ich denke, da man sonst die mail nicht wieder herstellen kann)
Einfach mal a weng das Forum durchsuchen.
Ich hoffe Michel wird sich hier in dem Thread auch noch mal melden.


Gruß kanu

[Andreas_Z]

Hallo KanuUli!

Ja ich glaub auch, so war das. Der Top-Befehl kann dazu herangezoen werden, nur den Header zu bekommen (Bin mir aber nicht sicher, ob nicht doch eine andere Möglichkeit gibt). Michel wollte damals aber explizit die Sicherheit an erster Stelle wissen. Darunter ist hier im besonderern der Verlust irgendwelcher Mails zu verstehen. Das kann man eben nur durch vollständiges Herunterladen und ablegen verhindern. Genau diese Eigenschaft macht Spami aus. Wer das so nicht braucht......

Gruß
Andreas_Z

[freedimension]

Was macht den dann "Einstellungen -> Absender -> Blockierte Absender mit Häkchen bei 'Mails von blockierten Absendern nicht herunterladen' "?
Es lädt den Header herunter, gleicht den darin eingetragenen Absender mit der Blacklist ab und lädt erst dann den Rest der Mail nach wenn keine Übereinstimmungen zu finden waren.
Wenn man doch schonmal den Header hat, warum nicht weiter auswerten dürfen?


@Michel:
Übrigens, habe festgestellt, dass ab und zu blockierte Absender durchkommen. z.B. hatte ich Mails mit der TLD .nl in meinem Trainingsbereich obwohl ich das Pattern *.nl schon längst installiert hatte. Meine Vermutung geht dahin dass hier der Whitespace-Teufel seine Finger im Spiel hat - d.h. dass evtl. Whitespaces hier nicht genügend gefiltert werden, aber alles nur Vermutung, hab mir die Mails noch nicht genauer angeschaut.

[KanuUli]

Hallo freedimension!

Siehe oben... Wie willst du eine Mail wiederherstellen, wenn du nur den Header hast?

Gruß
KanuUli

[freedimension]

Wenn es Spam ist gar nicht, wenn es kein Spam ist wird der Rest runtergeladen.

Desweiteren gibt es bereits in den Allgemeinen Einstellungen die Checkbox "Lasse Spam-Mails auf dem Server, bis sie aus dem Papierkorb gelöscht wurden". Dies im Zusammenspiel mit "Mails von blockierten Absendern nicht herunterladen" dürfte genügend Sicherheit bieten

noch was:

09:54:20 C: TOP 65 0
09:54:20 S: +OK Message follows
C: (message header received; sender: Fehler_Mail@wohnbau.de)
09:54:20 C: RETR 65
09:54:20 S: +OK 79919 octets
C: (message completely received)
09:54:22 C: TOP 64 0
09:54:22 S: +OK Message follows
C: (message header received; sender: "Àº¿µ" <jf435484@yahoo.com>)
09:54:22 C: TOP 63 0
09:54:22 S: +OK Message follows
C: (message header received; sender: noreply@spamihilator.com)

Ist nur ein kurzer Auszug aus meiner Server.log und wie du siehst wird schon fleißigst auf den TOP-Befehl zurückgegriffen. Auf die Gefahr hin dass ich mich unbeliebt mache, aber kann's sein dass du das Programm nicht so gut kennst wie du denkst? Nur so, ist nicht böse gemeint.