Neuer Sprachfilter

[Quellcore]

Hallo Chactory!

Wie bereits oben geschrieben:
Bei Deinem Anwendungsprinzip (Installieren von bekannten Non-Spam Sprachen, alles andere ist Spam) muss der Wahrscheinlichkeitsschwellenwert heruntergestellt werden, um den Filter weniger aggressiv zu machen.


Gruß
Quellcore

[Andreas_Z]

Hallo Quellcore!

Interessante Beobachtungen und Überlegungen. Den Wahrscheinlichkeitsschwellwert für jede Sprache einzeln einstellbar zu machen....hmmmm...... so ganz nachvollziehen kann ich Deine Argumentation aber nicht. In Deinem Beispiel ist es in beiden Fällen nötig, den Schwellwert herunter zu setzen. Dazu ist es nicht nötig, diesen für jede Sprache einzeln setzen zu können. Der Schwellwert definiert doch zunächst nur die Grenze, ab wann eine Sprache als eindeutig erkannt gilt. Und zwar unabhänig davon, ob es sich um eine Spam- oder eine Non-Spam-Sprache handelt. In der Regel ist es immer besser, je sicherer die Sprache erkannt wird. Bei zu wenig Wörtern ist das aber schwierig. Daher muß man hier niedrigere Werte wählen. Nachdem eine Sprache erkannt wurde, kann dann anhand der anderen Einstellungen entschieden werden, ob Spam oder nicht. Im Augenblick halte ich das ausreichend. Obwohl mich der Gedanke reizt, pro Sprache individuelle Werte setzen zu können finde ich keinen Grund, verschiedene Sprachen mit unterschiedlichen Genauigkeiten erkennen zu wollen. Hast Du einen? Da fällt mir ein, man bräuchte mal eine statistische Erhebung darüber, welche Sprachen sich mit einer festen Anzahl Wörtern leichter erkennen lassen und welche nicht. Eventuell ist es für einige Sprachen besser einen anderen Schwellwert zu haben, weil Sie sonst mit einer zu hochen Wahrscheinlichkeit nicht sauber erkannt werden. Oder anders gesprochen, bei gleichem Schwellwert für alle ist es eventuell leichter Deutsch oder Englisch zu erkennen als vielleicht Spanisch oder Esperanto, obwohl für alle die selben Bedingungen vorliegen. Das würde aus meiner Sicht für individuelle Schwellwerte sprechen.

@anbuva:

bei mir sind die Wörterbücher bei den Einstellungen z. B. in Deutsch (Deutschland) angegeben. Bist Du sicher, dass Du die richtigen benutzt bzw. heruntergeladen hast?

Wie ich weiter oben bereits an Michel schrieb und am Wochenende nochmals bestätigen konnte, wird aus dem Wörterbuchdateien unter Vista die Sprache als komplettes Wort herausgelesen und unter XP nur als Kürzel. Ausserdem kann unter XP dieses Kürzel wärend des Imports editiert werden, unter Vista nicht.

@Michel: In den allgemeinen Einstellungen ist ein Übersetzungsfehler. Dort steht "minimun namber of words" statt "minimale Wortzahl". Es fehlt offensichtlich der deutsche Text. Ist die Einstellung für diesen Parameter tätsächlich nur für unbekannte Sprachen interessant oder sollte das nicht eine Einstellung sein, die man für alle Sprachen setzt. Vielleicht habe ich diesen Parameter auch falsch verstanden. Wozu dient der denn?

Gruß
Andreas_Z

[anbuva]

Wie ich weiter oben bereits an Michel schrieb und am Wochenende nochmals bestätigen konnte, wird aus dem Wörterbuchdateien unter Vista die Sprache als komplettes Wort herausgelesen und unter XP nur als Kürzel. Ausserdem kann unter XP dieses Kürzel wärend des Imports editiert werden, unter Vista nicht.

Hallo Andreas_Z,

soll das bedeuten, dass beim Import unter XP die Wörter nicht korrekt gelesen werden, sondern nur als Kürzel (wie würde so etwas z. B. dann aussehen) und es damit zu einem Kauderwelsch (weil es keine vernünftigen Wörter gibt) beim Filter kommt und er damit fast alles in Mails als fremde Sprache ansieht? Bei mir unter Vista werden die Wörter dann also korrekt importiert bzw. nach dem Einlesen umgesetzt. Habe ich das richtig verstanden?

Gruß
anbuva

[Chactory]

Hallo zusammen!

Ich dachte, daß mit Wahrscheinlichkeit 100% nur dann eine Filterung als Spam erfolgt, wenn die Sprache mit 100%-iger Sicherheit erkannt wurde. Offenbar ein Denkfehler?

Gruß, Chactory

[anbuva]

Hallo Chactory!

ich verstehe es für mich so. Wenn die Sprache zu 100% anhand der eingepflegten Wörterbücher erkannt wurde, dann ist sie Non-Spam bzw. wird sie ignoriert. Alles andere ist fremdsprachig (und da würde dann ja schon ein "Fremdwort-Kauderwelschwort" reichen) und damit unbekannt und damit dann auch Spam. Die Minimum-Wörter sagen nur aus, wieviele Wörte als Minimum vorhanden sein müssen, um eine Einteilung überhaupt vornehmen zu können.

Notfalls müsste Michel hier noch einmal mit einer besseren bzw. korrekteren Erklärung ansetzen

Wie dem auch sei, mit meinen Einstellungen funktioniert es wunderbar.

Gruß
anbuva

[Quellcore]

Hallo Andreas_Z!

.... so ganz nachvollziehen kann ich Deine Argumentation aber nicht. In Deinem Beispiel ist es in beiden Fällen nötig, den Schwellwert herunter zu setzen. Dazu ist es nicht nötig, diesen für jede Sprache einzeln setzen zu können.

In meinen beiden Beispielen habe ich ja versucht darzustellen, dass das eben nicht der Fall ist.

Irgendwo steckt da ein Denkfehler, auf meiner oder auf Deiner Seite.
Ich denke das Hauptverständnisproblem liegt im folgenden:

Es muss abhängig von der Art, ob man mit installierten Spam-Sprachen oder Non-Spam Sprachen filtern möchte, auch die Aktion für unbekannte Sprachen angepasst werden.

• Ansatz mit "Non-Spam" Sprache
  Mails in dieser Sprache ignorieren >>> Mails mit unbek. Sprachen sind Spam
• Ansatz mit "Spam" Sprache
  Mails in dieser Sprache sind Spam >>> Mails mit unbek. Sprachen werden ignoriert

folgendes würde überhaupt keinen Sinn ergeben:

Ansatz mit "Spam" Sprache
Mails in dieser Sprache sind Spam >>> Mails mit unbek. Sprachen sind Spam

Genau dieser Umstand zeigt sich dafür verantwortlich, dass man eben einmal den Schwellenwert heruntersetzen und im anderen Fall heraufsetzen muss, um den Filter etwas zu zügeln.

• Ansatz mit "Non-Spam" Sprache
  In diesem Fall möchte man zwecks "Zügeln" denn Filter dazu ermutigen, die Non-Spam Sprache häufiger zu erkennen, also runter mit dem Schwellenwert.
• Ansatz mit "Spam" Sprache
  In diesem Fall möchte man zwecks "Zügeln" denn Filter davon abbringen, die Spam Sprache zu leicht zu erkennen, also rauf mit dem Schwellenwert.

Ich hoffe mein Ansatz ist nun etwas verständlicher ausgedrückt.
.
Gruß
Quellcore

[Andreas_Z]

Hallo anbuva!

soll das bedeuten, dass beim Import unter XP die Wörter nicht korrekt gelesen werden....

NEIN, natürlich nicht. Keine Sorge. Meine Aussage bezog sich ausschliesslich auf die Bezeichnung der installierten Sprache (siehe Screenshot). Bitte beachte, das ich in beiden Versionen die selbe Wörterbuchdatei importiert habe. Aufgrund des autom. gewählten Bezeichners unter Vista konnte ich aber das vierte hier nicht importieren, da dieses den selben Bezeichner verwendete und daher den ersten Import überschrieben hätte.


Gruß
Andreas_Z

[anbuva]

Hallo Andreas_Z!

Danke, jetzt habe ich das verstanden

Gruß
anbuva

[Andreas_Z]

Hallo Quellcore!

Ich glaube, unser Verständnisproblem rührt daher, dass Du eine andere Vorstellung von der Arbeitsweise des Filters hast als ich. Deine Überlegungen sind durchaus richtig, setzen aber einige Annahmen vorraus, die aus meiner Sicht so nicht stimmen.

Es muss abhängig von der Art, ob man mit installierten Spam-Sprachen oder Non-Spam Sprachen filtern möchte, auch die Aktion für unbekannte Sprachen angepasst werden.
* Ansatz mit "Non-Spam" Sprache
Mails in dieser Sprache ignorieren >>> Mails mit unbek. Sprachen sind Spam
* Ansatz mit "Spam" Sprache
Mails in dieser Sprache sind Spam >>> Mails mit unbek. Sprachen werden ignoriert

Korrekt. Deine Ansätze sind auch meine. Sie vereinen geringen Ressourcenverbrauch (und damit Geschwindigkeit) mit Effektivität. Du unterschlägst aber die Möglichkeit, eine Spam-Sprache und eine Non-Spam-Sprache gleichzeitig einzusetzen. Ich kann durchaus die Sprache Deutsch installieren und diese zur Non-Spam-Sprache machen. Gleichzeitig installiere ich Chinesisch und erkäre diese Sprache zur Spam-Sprache. Oder anders ausgedrückt, ich definiere eine Regel für jede Sprache, mit der ich in E-Mails zu tun habe und entscheide am Ende nur noch, ob unbekannte Sprachen Spam, Non-Spam oder ignoriert werden sollen (Das ist die klassisch Spami-Arbeitsweise. Kann ich eine eindeutige Entscheidung treffen, wird die Mails aussortiert oder weitergeleitet. Wenn nicht, geht sie an den nächsten Filter). In diesem Fall geht Dein Ansatz mit dem rauf- und runtersetzten des Schwellwertes schief, weil er nicht pro Sprache eingestellt werden kann. Das ist aber auch nicht nötig. Im Gegenteil. Es ist wichtig, dass jede Sprache so korrekt wie möglich erkannt wird. Und hier, denke ich, liegt Dein Denkfehler. Der Schwellwert sorgt nicht für das häufigere Erkennen einer Sprache sondern für das genauere Erkennen. Wenn der Schwellwert per Default auf 60% steht, heißt das nichts anderes, als das eine Sprache als erkannt gilt, wenn aus der Gesamtheit aller Wörter einer Mail 60% mit bekannten Wörtern des entsprechenden Wörterbuches übereinstimmen. 40% können auch Wörter einer anderen Sprache sein. Das heißt, dass ein niedriger Schwellwert unter Umständen dafür sorgt, dass eine falsche Sprache oder gar keine erkannt wird. Damit würde der Filter aber nicht mehr wie vorgesehen arbeiten, sondern besonders viele Fehlentscheidungen treffen. Der Schwellwert sollte aber auch nicht zu hoch sein, damit die Fehlertoleranz für die Erkennung nicht so leidet. Das macht sich dann am meisten in Mails mit nur wenigen Wörtern bemerkbar.

folgendes würde überhaupt keinen Sinn ergeben:

Ansatz mit "Spam" Sprache
Mails in dieser Sprache sind Spam >>> Mails mit unbek. Sprachen sind Spam

Nun ja, es läßt sich der Vollständigkeit halber Konfigurieren, ist aber Doppelt gemoppelt. In diesem Fall müßte man also das Verhalten für unbekannte Sprachen auf ignorieren stellen.


Gruß
Andreas_Z

[Chactory]

Hallo Anbuva und Quellcore!

Muß ich also genau umgekehrt denken? Bedeutet die Wahrscheinlichkeit 80%, daß der Filter deutsch und englisch selten erkennt, weil ich eine hohe Wahrscheinlichkeit verlange? Wäre es dann umgekehrt besser, die Wahrscheinlichkeit auf 20% zu stellen, damit der Filter lieber viele andersspachliche Mails fälschlich als deutsch oder englisch erkennt? (Was ich benötige, ist ja eine minimale Rate der falsch-positiv als Spam erkannten Mails.)

Quellcores Vorschlag finde ich bedenkenswert!

Gruß, Chactory

[Chactory]

Hallo Andreas_Z!

Wow, ich war nur kurz weg ...

Jetzt verstehe ich aber gar nicht mehr, wie ich den Filter einstellen muß, um eine maximale Sicherheit für meine Zwecke zu erhalten ...

Gruß, Chactory

[anbuva]

Hallo Chactory!

Jeder macht es bestimmt individuell, aber Du kannst es ja probeweise auch mal mit meinen Einstellungen (s. o.) versuchen. Ich hatte bislang keine Fehlfilterungen damit. Fremdsprachige (alles was nicht deutlich Deutsch oder Englisch war) wurden immer erkannt.

Gruß
anbuva

[Chactory]

Hallo Anbuva!

Vielen Dank für Deine Antwort! Mit den ursprünglichen Werten, die Du etwa verwendest, traten bei mir mehrere falsch-positive Filterungen auf. Vielleicht versuche ich es mal mit dem umgekehrten Extrem: Wahrscheinlichkeit 10%.

Gruß, Chactory

[anbuva]

Hallo Chactory!

wie ich schon schrieb. Man muss es ausprobieren, welcher Wert sich hier individuell als optimal herausstellt. Mich wundert es allerdings schon, dass es bei Dir zu solchen Problemen kommt; vielleicht hängt es doch ein wenig auch mit den Wörterbüchern zusammen. Bei mir kommt der Filter regelmäßig ohne Probleme (klopf auf Holz) zu seinem Einsatz.

Gruß
anbuva

[Quellcore]

Hallo Chactory!

Jetzt verstehe ich aber gar nicht mehr, wie ich den Filter einstellen muß, um eine maximale Sicherheit für meine Zwecke zu erhalten ...

Wäre es dann umgekehrt besser, die Wahrscheinlichkeit auf 20% zu stellen, damit der Filter lieber viele andersspachliche Mails fälschlich als deutsch oder englisch erkennt? (Was ich benötige, ist ja eine minimale Rate der falsch-positiv als Spam erkannten Mails.)

Vielleicht versuche ich es mal mit dem umgekehrten Extrem: Wahrscheinlichkeit 10%

Das wollte ich Dir eigentlich mit meinen Beiträgen verdeutlichen.
Da man bei Deiner Konfiguration, übrigens der von Michel empfohlenden, ein wenig quer denken muss, um den Ablauf und die daraus resultierende Schwellenwertänderung zu verstehen, habe ich mit Fallszenarien etwas weiter ausgeholt und kein kurzews "rauf" oder "runter" gebrüllt.

10% ist evtl. ein bischen niedrig, Du bist aber wenigstens auf der sicheren Seite, soll heissen u.U. springt der Sprachfilter nun kaum noch an.
Es wird (fast) alles als deutsch oder englisch erkannt und somit ignoriert.
Falls dem so sein sollte weißt Du ja nun jetzt was dann zu tun wäre.

Gruß
Quellcore