Dubletten Scanmuster definieren
Dem System Manager stehen folgende Funktionen zur Verfügung, um das Scanmuster zu definieren und zu optimieren, damit das System Dubletten anhand bestimmter Felder prüfen kann.

Scanmuster per Filter konfigurieren
Die Kriterien, nach denen Dubletten im System erkannt werden sollen, werden konfiguriert. Damit kann die Dublettenprüfung an die unternehmensspezifischen Anforderungen angepasst werden und so eine hohe Datenqualität sicherstellen.
Das Scanmuster wird mithilfe der Ansicht des erweiterten Filters konfiguriert.

- Es werden die Felder definiert, die bei der Dublettenprüfung betrachtet werden sollen.
- Es können Verknüpfung und Gruppierung im Filter definiert werden, um festzulegen, ob alle Felder oder einzelne als Kriterien erfüllt sein müssen, um Datensätze als Dublette festzustellen.
- Es kann definiert werden, ob bestimmte Begriffe ausgeschlossen werden sollen (bspw. GmbH, Co., KG).
- Es kann die Unschärfe definiert werden (wie exakt die Inhalte gleich geschrieben sein müssen).
Felder definieren
Dabei werden ausgewählte* Filterkriterien von Firma oder Kontakt genutzt, um die Felder zu definieren, die in der Dublettenprüfung betrachtet werden. Es wird bspw. mit dem Filterkriterium "Name" der Inhalt des Feldes "Name" bei der Prüfung der Firmen-Dubletten betrachtet.
🛠️→ Die Filterkriterien könnten mittels Customizing angepasst werden.

Mit Hilfe des Operators wird angegeben, wie die Prüfung des Feldes erfolgt.
Unterstütze Operatoren:
- gleich (default),
- Es werden nur Treffer angezeigt, wenn der Wert gleich ist.
- Hier können zusätzlich Begriffe ausgeschlossen und die Unschärfe definiert werden.
- Beispiel Pattern:
fieldname: ('stringwert')
- ungleich,
- Es werden Treffer angezeigt, wenn der Wert unterschiedlich ist
- Beispiel Pattern:
-fieldname: ('stringwert')
- ist leer
- Es werden nur Treffer angezeigt, wenn kein Wert erfasst ist (das Feld leer ist)
- Beispiel Pattern:
-fieldname: [* TO *]
- enthält (CONTAINS),
- Es werden nur Treffer angezeigt, bei denen der Wert enthalten ist. Es wird hierfür jeweils eine Wildcard vor und nach dem gesuchten Wert gesetzt.
- Beispiel Pattern:
fieldname: (*'stringwert'*)
- enthält nicht (CONTAINSNOT)
- Es werden nur Treffer angezeigt, bei denen der Wert NICHT enthalten ist. Hierfür wird eine Wildcard vor und nach dem gesuchten Wert gesetzt.
- Beispiel Pattern:
-fieldname: (*'stringwert'*)
Andere Operatoren wie z.B. ist nicht leer werden zum Default Operator (gleich) umgewandelt und haben keine eigene Funktion.
Soll bspw. das Feld "E-Mail-Adresse" bei der Dublettenprüfung verwendet werden, so wird hier der Operator "ist nicht leer" verwendet. Damit verwendet das System den Default-Operator "gleich" und es wird geprüft, ob der Inhalt des Feldes "E-Mail-Adresse" an beiden Datensätzen gleich ist.
Die Filter werden erst berücksichtigt, wenn an dem Datensatz, von dem die Prüfung ausgeht, das betroffene Feld einen Wert enthält.
Verknüpfung und Gruppierung im Filter
Filterbedingungen können mit ALLE (UND) oder EINER (ODER) verknüpft sein und falls erforderlich mit Gruppierungen gebündelt werden. Somit können komplexe Scanmuster abgebildet werden.
- ALLE: Es müssen alle Kriterien zutreffen, damit es sich um eine Dublette handelt ➡️ z.B. Name UND Stadt müssen gleich sein
- EINER: Es reicht wenn ein Kriterium zutrifft ➡️ z.B. E-Mail ODER Name müssen gleich sein
Scanmuster - Firma (Beispiel aus dem Demosystem)

Konfiguration der Felder:
-
Kontakt_ID
Damit der eigene Datensatz nicht als Dublette gekennzeichnet wird. Die Indexsuche würde sonst immer den eigenen Datensatz zurückliefern. Die Ergänzung des Filters im Firmen-Scanmuster wurde aus technischen Gründen notwendig (Hintergrund: Das Feld wird für die Berechnung der Hinweis-Anzeige benötigt, die sowohl für Firma als auch Kontakt (hier Person_ID) verwendet wird).
⛔ ACHTUNG: Dieser Filter darf nicht gelöscht oder verändert werden, da sonst die Hinweise auf Dubletten falsch angezeigt werden. -
Standardstadt und Name
Es muss der Name der Stadt und der Firma identisch sein, damit vom System der Dubletten-Hinweis gesetzt wird.
Für die Prüfung der Adresse wird nur die Stadt berücksichtigt. Eine granulare Aufteilung (Straße, Hausnummer etc.) führt tendenziell zu mehr Dublettenanlagen bzw. zeigt nur noch in sehr wenigen Fällen Dubletten an.
Bei der Prüfung des Firmennamens werden zudem bestimmte Begriffe ausgeschloßen und die Unschärfe definiert.
Sollen weitere Felder im Scanmuster für Firma ergänzt werden, können diese mit den Grundkonfigurationsmöglichkeiten des Filters angepasst werden. Soll bspw. auch die E-Mail-Adresse berücksichtigt werden, so müsste das Scanmuster analog dem Scanmuster für Kontakt umgebaut werden.
Scanmuster Kontakt (Beispiel aus dem Demosystem)

Konfiguration der Felder:
-
Person_ID
Damit ist die Bedingung gesetzt, dass die Personen_ID unterschiedlich sein muss. Infolgedessen werden „weitere Funktionen“ eines Datensatzes nicht als Dublette erkannt. -
Vorname und Nachname
-
E-Mail
- E-Mail ist nicht leer ➡️ Die erfasste E-Mail-Adresse ist identisch
- E-Mail ist leer ➡️ Es ist keine E-Mail-Adresse erfasst
Somit werden die Datensätze als Dublette vom System gekennzeichnet, bei denen der Vor- und Nachname identisch ist und auch die E-Mail-Adresse, aber auch, wenn möglicherweise bei einem der beiden Datensätze keine E-Mail-Adresse erfasst ist.
Sollen weitere Felder zur Dublettenprüfung herangezogen werden, bspw. die Telefonnummer, so kann diese wie die E-Mail-Adresse im Filter ergänzt werden. Aber Achtung, es sollten nicht zu viele EINER(ODER)-Gruppen hinzugefügt werden, weil hier ggf. eine schlechte Datenqualität zu mehr Dubletten führen kann. Falls das Geburtsdatum betrachtet werden soll, so ist dies in die Gruppe von Vor- und Nachnamen zu integrieren.
Begriffe ausschließen
Für den Key „exclude“ wird eine Liste (Array) mit Werten angegeben, die vom Suchbegriff entfernt werden sollen.
Die Liste kann direkt im Filter erweitert werden.

Unschärfe definieren
Der Key „fuzzy“ gibt den Zahlenwert an, der die Unschärfe darstellt. Dabei wird die Anzahl der unterschiedlichen Buchstaben pro Wort betrachtet. Standardmäßig ist der Wert „2“ voreingestellt. Wenn eine höhere Genauigkeit erforderlich ist, kann der Wert 1 verwendet werden: Tom vs. Tim

Wörter, die durch den "exclude" ausgeschlossen oder kürzer als der Fuzzy-Wert sind, werden nicht von der Fuzzy-Logik berücksichtigt. Die Fuzzy-Logik wird auf jedes Wort einzeln angewendet. Dies kann bei Firmennamen, die aus mehreren Wörtern bestehen, zu mehr Treffern führen bspw.: "Bäckerei Müller". Zusätzlich greift hier die Phonetische Suche und beeinflusst das Ergebnis (wie in der Index-Suche).
🛠️→ weitere Details siehe Platform-Help "Index field types" - Entwickler-KnowHow erforderlich.
Dubletten neu berechnen & anzeigen
Dubletten neu berechnen, um Änderungen am Scanmuster direkt ins System zu übertragen. Somit können die geänderten Einstellungen sofort an Hand der erkannten Dubletten geprüft werden.
Um die Scanmusterkonfiguration ins System zu übertragen, wird die Aktion "Ausgewählte Einträge neu aufbauen" genutzt. Damit werden die Dubletten im Live-Betrieb neu berechnet und es greifen immer die aktuellen Filter, die im Scanmuster konfiguriert wurden.
Im nächsten Schritt soll geprüft werden, wie viele Dubletten noch im System sind.
Die Anzahl wird direkt in der Tabelle in der Spalte "Anzahl" angezeigt. Das konkrete Ergebnis, wie viele Kontakt- oder Firmen-Dubletten sich im System befinden, kann mit der Aktion "Dubletten anzeigen" geöffnet werden.
Die Daten (Kontakte oder Firmen) in Ihrem System soll geprüft werden, ob es Dubletten gibt und wie viele es sind.
- Dublettenkonfiguration öffnen
- Das Scanmuster auswählen, dessen Daten geprüft werden sollen und die Aktion "Dubletten anzeigen" ausführen.
- Es öffnet sich die Filteransicht mit dem Filter "Dubletten größer als 0".
➡️ Es wird angezeigt, wie viele Dubletten sich im System befinden.
Wenn sich viele Dubletten im System befinden, sollen diese analysiert werden.
- Wie oben, die Filteransicht (von Kontakt oder Firma) mit dem Dubletten-Filter öffnen.
- Den Filter "Dubletten größer gleich 0" abändern, bspw. auf "Dubletten größer gleich 100". Falls dies noch keine Erkenntnisse bringt, die Zahl schrittweise anpassen.
➡️ Es wird angezeigt, ob es Dubletten-Cluster gibt und ob diese ggf. durch branchenspezifische Begriffe entstehen.
Es wurde bspw. bei Firmen ein branchespezifischer Begriff festgestellt, der zu Dubletten führt und dem soll entgegen gewirkt werden.
- In der Dublettenkonfiguration das Scanmuster für Firma (Konfiguration des Scanmusters) bearbeiten.
- In der Liste des Exludes den Begriff ergänzen.
- Die Dubletten mit der Aktion "Ausgewählte Einträge neu aufbauen" neu berechnen.
- Den aktuellen Stand im System prüfen, ob nach dem Ausschluss des Begriffs nun weniger Dubletten im System sind. Dazu die Aktion "Dubletten anzeigen" ausführen.