1265: Plugin: Datenschutz-Filter

[Jürgen T.]

Hallo Othmar,

(ohoh...das war jetzt ein Insider)

der wurde verstanden.

[Imanuel]

Hallo zusammen!

Ich habe jetzt die einzelnen Programmteile halbwegs miteinander verknüpft, das ganze aber noch nicht besonders gut testen können.
Auf den allerersten Blick sucht das Programm immerhin durch die Liste, wählt bestimmte Personen aus, mit denen es dann irgendetwas macht

Um die Entwicklung des Plugins etwas zu beschleunigen, könntet Ihr euch das auch mal anschauen, vor allem - aber nicht nur - in Hinblick auf folgende Kriterien:
1. Sucht das Programm anhand der eingestellten Parameter die richtigen Personen?
2. Löscht es dann anhand der eingestellten Parameter die richtigen Daten?
3. Läßt sich die Arbeit auch bei größeren Dateien innerhalb eines durchschnittlichen Menschenlebens abwarten?

Das Programm funktioniert ganz sicher noch nicht zufriedenstellend (ich denke da z.B. an die Bilder, die definitiv noch nicht funktionieren).

Also, wer gerade Zeit und Lust hat, kann sich ja mal damit spielen

Viele Grüße,
Imanuel

[Nachfahre]

Hallo Imanuel,

ich habe mal mit der Beta Version gespielt.

Im Allgemeinen bin ich begeistert.
Das Plug-In funktioniert super schnell bei mir (1100 Personen)


Im Besonderen:
Filter-Funktion:
1) alle Personen: OK

2) Lebend, max...
Da ist noch der Wurm drin.
Beispiel max=300:
der Eintrag "max Alter" sticht den Eintrag "Lebend"
(alle Menschen heute minus "max Alter", werden gelöscht, auch wenn sie schon lange verstorben sind)
Beispiel: max=30
Verhalten ist ein bisschen verwirrend.

3) Geb.datum vor wenig als : OK wenn Datum eingetragen
Falls kein Datum eingetragen, wird Eintrag trotzdem angezeigt, obwohl Kind von gefilterter Person.
+ Nachfahre und Partner: OK, auch Nachfahren werden gelöscht.
Hier sollten standardmäßig Nachfahren auch gelöscht werden.
(man kann davon ausgehen, dass die Kinder jünger sind als die Eltern)
(die bemitleidenswerten Möchtegern-Adligen, die sich bei Familien zur Adoption einkaufen und unter Umständen dann jüngeren Eltern haben, sollten man außer Acht lassen))

Diese Funktion kann sehr gut genutzt werden, um die Geburten der letzten X Jahre anzuzeigen. Ergebnis im Details-Fenster

4) Todesdatum vor weniger als: OK,
Diese Funktion kann sehr gut genutzt werden, um die Verstorbenen der letzten X Jahre anzuzeigen. Ergebnis im Details-Fenster

5) Hochzeitsdatum: OK.
Trifft auch Mehrfach-Ehen,
ohne Datum keine Löschung.
bei manchen Ehen werden Daten bei einer Person gelöscht (hatte 2 Ehen) aber nicht beim ersten Ehepartner
+ Nachfahre und Partner: OK.

Bei dieser Suche sollte man generell den Partner mit einbeziehen. (der hat ja am gleichen Tag geheiratet. )

------
Weitere Anmerkungen:
a) 'Umlaute bei den Bildernamen funktionieren nicht.
b) Speichern sollte nur erlaubt sein, wenn Filter durchgeführt wurde

liebe Grüße,
- Othmar

[Imanuel]

Hallo Nachfahre,

vielen Dank für den ausführlichen Test!

1) Paßt

2) Der frühe Vogel fängt den Wurm - manchmal auch der späte
Ich denke, das müsste jetzt passen.

3) Kinder, nicht aber Ehepartner, werden jetzt grundsätzlich mitgelöscht.

4) Paßt

5) Hier werden jetzt grundsätzlich auch die Ehepartner einbezogen, auch wenn das eigentlich automatisch gehen sollte.
Kannst du den Fehler nochmals genauer beschreiben?
Bei Personen mit mehreren Ehen wurde bei welchem Partner welche Ehe nicht gelöscht?


Auf alle Fälle ist hier die neue Version (mit neuem Filteralgorithmus, um Kinder und Partner kontextabhängig einbeziehen zu können - es kann daher etwas langsamer geworden sein, wer weiß).
Die Einstellung "Maximal anzunehmendes Alter" hat übrigens noch keine Auswirkung auf "Gestorbene Personen ignorieren" bei der Suche nach Hochzeitsdaten, es wird hier nur überprüft, ob in den Feldern Todesdatum und Todesort bereits etwas eingetragen ist.

Bilder und Dateien können bereits gelöscht werden (ging auch schon in Beta 1), nur das Ersetzen ist noch nicht drinnen.

Viele Grüße,
Imanuel

//Edit: Personen komplett löschen bringt in einen Fehler und funktioniert nicht - ist aber nur ein kleiner Fehler.

[Nachfahre]

Hallo Imanuel,

2) ist jetzt OK.

3) ist jetzt OK, Das kann man schön überprüfen, wenn man Tafeln mit "mit ohne Nachfahren" und mit "mit Nachfahren" generiert und dann einfach mittels einem Grafikprogramm hin und her springt.

5) funktioniert leider nicht mehr. Es wird nichts mehr gefiltert :-(

Weitere Anmerkungen:
a) 'Umlaute bei den Bildernamen funktionieren nicht. (Bilder mit Umlauten gehen verloren)
b) Speichern sollte nur erlaubt sein, wenn Filter durchgeführt wurde

--
Ich freue mich schon auf die Version, bei der die Bilder gefiltert werden.
Diese Funktion ist momentan noch disabled.

liebe Grüße,
- Othmar

[Imanuel]

Hallo Nachfahre,

erstmal Danke für deine unermüdliche Hilfe!

Und dann zu deinen Punkten:

5) ist korrigiert.

a) habe ich nachvollzogen: Es liegt daran, daß Ahnenblatt beim Import von UTF8-Dateien fehler im OBJE.FILE-Feld macht. In der CSV ist nämlich noch alles in Ordnung.
AB selbst exportiert in UCS2LE, nicht in UTF8 - aber die Funktion, die im Plugin UCS2LE in einen Widestring verwandelt (aus den cUnicodeCodecs), hat leider schwere Probleme, das gleiche in der anderen Richtung zu tun - zumindest, soweit ich das beurteilen kann.
Daher bin ich einfach auf UTF8 umgestiegen, weil das genauso funktioniert hat. Bisher.
Aber ich bin auf der Suche nach einer Lösung - bis dahin wird man auf Sonderzeichen in Dateinamen verzichten müssen.

b) habe ich absichtlich noch so, weil ich oft speichere, nur um das Speichern zu testen. In der Finalversion wird das dann wieder erst möglich sein, wenn gefiltert wurde.

Und die Bilder sind jetzt auch da
Allerdings vorerst nicht geschlechtsspezifisch.

Viele Grüße,
Imanuel

[Nachfahre]

Hallo Imanuel,

vielen Dank für das Update.

Die Filterfunktion der Bilder ist super spitzen klasse !!

Zu den Punkten:
2) Lebend, max. + Nachfahre und Partner
Da ist noch(mals?) (oder immer noch) der Wurm drin.
Die Funktion Nachfahre und Partner macht hier anscheinend ein bisschen Schwierigkeiten.
Beispiel max=300:
der Eintrag "max Alter" sticht den Eintrag "Lebend"

5) das funktioniert jetzt wieder. Auch werden "Multiple Hochzeiten" richtig behandelt.
Die Leute werden gelöscht, jedoch werden die Einträge in den Hochzeitsregister nicht gelöscht.

Jedoch verwirren Zusätze in den Hochzeitsregistern die Filterfunktion.
Bei Zusätzen wie "28.02.1969 o|o" (das benutze ich zum Anzeigen einer Trennung) wird das Datum nicht erkannt.

zu a) da kann Dir bestimmt Juergen weiterhelfen.
Der kann Bildernamen aus den Namen der Probanden incl. Sonderzeichen erzeugen

b) ja das ist eh nicht das Wichtigste.

Neue Idee:
Eine Filterfunktion "Nur Geburtsjahr anzeigen" wäre gut.
Dann hätte man einen zeitlichen Anhalt, aber man würde den Datenschutz nicht (zu sehr) vernachlässigen.

liebe Grüße,
- Othmar

PS: Ich habe auch schon ein passendes Icon für die zensierten Bilder gefunden. (aus einer freien Datenbank)

[Imanuel]

Hallo Nachfahre,

Punkt 2) kann ich nicht nachvollziehen - bei Max 500 Jahren, inkl. Nachfahren und Partner sind nicht alle Personen der letzten 500 Jahre gelöscht worden.
Mehrere Stichbproben der Personen, die ich nicht namentlich kenne, deuten an, daß niemand gelöscht wurde, der nicht: 1. kein Todesdatum (oder -Ort) eingetragen hatte, oder 2. ein Nachfahre oder Partner von 1. oder 2. war.
Die verzwickte Formulierung bei 2. soll folgendes ausdrücken:
Person A wird gelöscht.
Person A hat einen Nachkommen, Person B.
Person B ist verheiratet mit Person C.
Person C war auch verheiratet mit Person D.
Alle genannten Personen werden gelöscht, wenn Person A gelöscht wird.

Kürzer formuliert: "Nachfahren und Partner" bezieht sich nicht nur auf die Ausgangsperson, sondern auch auf alle Nachfahren und Partner.
Bei der Mehrfachehenverfolgung (B->C->D) bin ich mir nicht sicher, ob ich das so lasse, aber im Moment läuft das so und fürs Erste bleibt es dann auch so.

Bei den Hochzeiten habe ich gestern auch noch gesehen, daß da einiges noch nicht funktioniert. Ich bitte um Stundung
Das Problem mit den Zusätzen dürfte allerdings nur das Zeichen "|" gewesen sein, auf das das Plugin nicht vorbereitet war - das dürfte jetzt auch erledigt sein.

Und zur Option, nur das Geburtsjahr anzeigen zu lassen: Der Unterbau des Plugins kann im Moment eh viel mehr, als die Oberfläche zuläßt.
Ich bin daher am überlegen, wie ich die Oberfläche gestalten könnte, um jedes einzelne Feld nicht nur löschen, sondern auch ersetzen zu können.

Eine neue Version gibt es noch nicht, ich kümmere mich erst noch ein wenig um die Hochzeiten

viele Grüße,
Imanuel

[Imanuel]

So, da ist sie, die neue Version.
An den Hochzeiten ist einiges geändert (manches leider zu Lasten der Geschwindigkeit, aber ob man das merkt, ist eine andere Frage).

Außerdem sind jetzt wieder eine Prozentanzeige und mehrere Ausgaben zur Überprüfung der Datumserkennung dabei.

Viele Grüße,
Imanuel

[Nachfahre]

Hallo Imanuel.



Auf die Gefahr, dass ich mich wiederhole.
Du hast da ein sehr schönes Plug-In entwickelt.

(manches leider zu Lasten der Geschwindigkeit, aber ob man das merkt, ist eine andere Frage).
Außerdem sind jetzt wieder eine Prozentanzeige und mehrere Ausgaben zur Überprüfung der Datumserkennung dabei.
l

Ja, ich habe was gemerkt.
Zuvor brauchte der Filter, mit meiner bescheidenen Datei, wenige Sekunden. Jetzt geht es in einem Wimpernschlag. (ein Bruchteil einer Sekunde). Das geht so schnell, dass ich keine Prozentanzeige erkennen kann.
Was auch immer Du gemacht hast um diese "Wahnsinnige-Geschwindigkeit" (das ist mehr als Lichtgeschwindigkeit) zu ermöglichen. Es ist Dir gelungen.


Punkt 5) Die Hochzeit-Filterung funktioniert jetzt erstklassig.

Punkt 2) Ja, es ist genau so wie Du es beschrieben hast.
Darin ist auch unser unterschiedliches Verständnis begründet.

Meines Erachtens sollte die Funktion:
a) alle Lebenden heraus filtern
b) bei "+ Nachfahren und Ehepartner" auch diese herausfiltern, da anzunehmen ist, dass die Personen den "gleichen Lebens-Status" haben. Da sie zur ähnlichen Zeiten geboren sind bzw jünger sind.
Diese Funktion sehe ich also als Hilfe Personen herauszufiltern, welche noch unter uns verweilen könnten - sprich deren Daten noch schützenswert sind.

Kann man aber eine genaue Aussage über den irreversiblen Status des "nicht mehr zum Aldi gehen" treffen. (so nennt man das in der Eifel. Der Cowboy bezeichnen den Zustand als "6-feet under"), dann muss man die Personen nicht mehr schützen, bzw sollte sie nicht herrausfiltern und deshalb anzeigen.

"Epochen" von Leuten kann man ja mit der Funktion "Geburtsdatum vor weniger als.." herausfiltern. Da macht dann die Option "Nachfahren und Partner .. " in der jetzigen Verwendung auch Sinn.

Also lange Rede kurzer Sinn:
Ich schlage vor bei "Lebend, max..." eine Unter-Option, "Nachfahren und Partner ohne Todesdatum einbeziehen" einzufügen.

Die Funktion "ersetzen durch Bild" sollte auch ein Standard-Bild haben.
Das rote Kreuz gefällt mir echt gut.

Hier ist ein Beispiel, bei dem einige meiner Vorfahren raus gefiltert wurden, die "beim Aldi" (leider) nicht mehr zu sehen sind.

liebe Grüße,
- Othmar

[Imanuel]

Hallo Nachfahre,

So langsam gibt die Benutzeroberfläche nicht mehr her, was von ihr erwartet wird

Ich würde nämlich manches anders einstellen als du.
Wenn ich die Lebenden inkl. aller Nachfahren ausfiltere, will ich auch alle verstorbenen Nachfahren filtern - der noch lebende Vater wird dann nämlich nicht gerne hören, daß sein verstorbener Sohn da veröffentlich wurde, weil der eh nicht mehr zum Aldi geht

Und weil ich also manches anders einstellen würde als du, muß das auch einstellbar sein.
Die Filtereinstellungen brauchen also mehr Platz, als jetzt da ist - wenn aber jede Filterkategorie einen eigenen Tab bekommt, müßte das alles zu machen sein

Zudem muß der Filteralgorithmus das dann auch alles hergeben, aber das ist eher das kleinere Problem.


Viele Grüße,
Imanuel

[Imanuel]

So, ich habe ein wenig nachgedacht und bin jetzt am Überlegen, ob ich die vielen Einstellungsmöglichkeiten wirklich einprogrammieren soll.
Das Problem ist nämlich, daß, wenn jede Filterkategorie eigene Einstellungen zur Nachfahrensuche bekommen soll, jede Person mehrfach geprüft werden müsste, um Lücken in der Suche zu unterbinden.

Ein Beispiel:

Person X ist vor einem Jahr gestorben, und hat vor 2 Jahren geheiratet => 2 Treffer: Tod + Hochzeit
Benötigte Datumserkennungen: 1
Der jetzige Algorithmus findet den ersten Treffer, löscht - wenn gewünscht - die Nachfahren und dann die Person selbst. Zur zweiten Prüfung kommt es erst garnicht.

Wenn aber beispielsweise die Nachfahren von kürzlich verstorbenen Personen nicht gelöscht werden sollen, von kürzlich verheirateten aber schon, müssen beide Filterkriterien überprüft werden.
Benötigte Datumserkennungen sind dann also 2.
Mit Geburtsdatum wären es dann schon 3.

Die Filterung würde dadurch also im Vergleich zu jetzt merklich langsamer werden - manches ließe sich aber wieder optimieren (Wenn alle Nachfahren von kürzlich verstorbenen Personen gelöscht werden sollen, muß die Heirat nicht mehr überprüft werden, etc.).


Nachfahre, du hast oben mal geschrieben, daß deine Datei augenblicklich fertig gefiltert ist - von welchen Dimensionen sprechen wir denn hier?
Drei-, vier- oder fünfstellig?

Ich bitte aber um Geduld, zumal die Umprogrammierung deutliche Änderungen am Programmkern, der Filterung, erfordert

Viele Grüße,
Imanuel

PS: Ja, das klingt am Ende so, hätte ich mich doch dafür entschieden

[Torquatus]

Hallo Imanuel,

[......]Nachfahre, du hast oben mal geschrieben, daß deine Datei augenblicklich fertig gefiltert ist - von welchen Dimensionen sprechen wir denn hier?
Drei-, vier- oder fünfstellig?

Ich habe diese Beta mal oberflächlich (unter Windows-7-64bit und einer Datei mit 27.223 Personen) getestet.

Das erste, was mir auffiel war, dass sich erst mal 2 Minuten lang gar nichts tut. Lediglich in der Taskleiste war erkennbar, dass das Plugin am Werkeln war, denn dort war das Ahnenblatt-Icon mit der Lupe zu sehen. Dann kam das Fenster lt. Anlage-1.

Ich habe dann mal einige Löschungen lt. Anlage-2 eingegegeben und auf "Filterung durchführen" geklickt. Im Bruchteil einer Sekunde war die Filterung fertig. Schneller gehts nimmer

Soweit ich es in der Kürze prüfen konnte, wurde die Filterungen wie gewünscht durchgeführt.

Aber: Sind die Anmerkungen mehrzeilig, dann steht nur die erste Zeile in der entsprechenden Spalte; alle Folgezeilen werden dann als weiterer Datensatz ausgegeben und erst danach stehen dann die weiteren regulären Felder wie z.B. Quellen und Partnerdaten - siehe Anlage-3. Anders formuliert, die Daten sind zerrupft. Bei mehrzeiligen Quellen ist das ebenso.

PS: Ja, das klingt am Ende so, hätte ich mich doch dafür entschieden

Warum auch nicht, bei dieser tollen Geschwindigkeit

[Nachfahre]

Hallo Imanuel,

der noch lebende Vater wird dann nämlich nicht gerne hören, daß sein verstorbener Sohn da veröffentlich wurde, weil der eh nicht mehr zum Aldi geht l

Ja, das wäre pietätlos und das sollte man wirklich nicht machen.

Wenn es aber "nur" darum geht wissen zu wollen, wer nicht mehr unter den Aldigänger ist, dann hätte eine solche Funktion schon sehr großen wert.

Drei-, vier- oder fünfstellig? Smile

vierstellig (und noch sehr viel Raum bis zur 5ten Stelle. Wenn ich ehrlich sein soll, habe ich vor kurzem erst den Kilometerzähler um eine Ziffer weiter gedreht. Von 27.223 träume ich noch nicht einmal. )

Das Laden der Datei dauert bei mir 7 Sekunden. Die Ausführung des Filters ist im msec Bereich.

Bzgl. der Mehrfachfilterung mit verschiedenen Filteraktionen.
Da bin ich eher pragmatisch veranlagt.
Ich denke man könnte da auch den Filter mehrmals mit unterschiedlichen Regel laufen lassen.

Die Königsdisziplin wäre natürlich Dein vorgeschlagener Weg.
Mit einer guten Benutzer-Info ( Filter 1 durchgeführt, Filter 2 am laufen, etc" sollte die Wartezeit aber auch kein Problem darstellen.
Aber wie schon erwähnt momentan ist die bei mir im msec Bereich.
Mit einer ver-100-Fachung der Zeit könnte ich auch leben.

Bin schon gespannt auf Deine neuesten Zaubereien.