Data Sets und Export in Ata­c­cama MDM

---

---

Ata­c­cama bie­tet meh­rere Mög­lich­kei­ten, Daten aus dem Mas­ter Data Manage­ment (MDM)-System für nach­ge­la­gerte Anwen­dun­gen, Ana­ly­sen oder externe Sys­teme bereit­zu­stel­len. Zwei häu­fig ver­wen­dete Ansätze sind Data Sets und Export Ope­ra­ti­ons.

Beide Funk­tio­nen ver­fol­gen das Ziel, Daten aus dem MDM-Modell bereit­zu­stel­len und für externe Ver­brau­cher zugäng­lich zu machen. Sie unter­schei­den sich jedoch hin­sicht­lich Archi­tek­tur, Fle­xi­bi­li­tät, Kon­fi­gu­ra­ti­ons­auf­wand, Per­for­mance und Wartbarkeit.

Data Sets stel­len eine stan­dar­di­sierte, direkt inte­grierte Mög­lich­keit dar, MDM-Daten bereit­zu­stel­len. Sie eig­nen sich ins­be­son­dere für Sze­na­rien, in denen aktu­elle Daten für Report­ing, Ana­lyse oder ein­fa­che Inte­gra­tio­nen benö­tigt werden.

Export Ope­ra­ti­ons hin­ge­gen bie­ten einen tech­nisch fle­xi­ble­ren Ansatz zur Daten­ex­trak­tion. Sie ermög­li­chen eine stär­kere Kon­trolle über Daten­quel­len, Export­for­mate und nach­ge­la­gerte Verarbeitungsschritte.

Im Fol­gen­den wer­den beide Ansätze anhand rele­van­ter Kri­te­rien gegenübergestellt.

Tech­ni­sche Details zur Kon­fi­gu­ra­tion und Nut­zung von Data Sets und Export Ope­ra­ti­ons sind in der offi­zi­el­len Ata­c­cama-Doku­men­ta­tion beschrieben:

• Data Sets: Con­fi­gu­ring Data Sets :: ONE MDM
• Export Ope­ra­ti­ons: Crea­ting an Ins­tance Layer Model :: ONE MDM
• Ins­tance Layer Model: Crea­ting an Ins­tance Layer Model :: ONE MDM
• Con­nec­ting a sys­tem: Con­nec­ting a Sys­tem :: ONE MDM
• MDM REST APIs: REST API :: ONE MDM
• Full Load Pro­ces­sing: Full Load Ope­ra­tion :: ONE MDM
• Con­fi­gu­ring Per­mis­si­ons: Con­fi­gu­ring Per­mis­si­ons :: ONE MDM

Vor­teile von Export Operations

Fle­xi­bi­li­tät bei Daten­quel­len und Datenbereitstellung

Export Ope­ra­ti­ons kön­nen ver­schie­dene Daten­quel­len in einem ein­zi­gen Export­pro­zess kom­bi­nie­ren. Neben MDM-Daten las­sen sich auch Flat Files, Refe­renz­da­ten (RDM) oder Ergeb­nisse von REST-API-Abfra­gen ein­bin­den. Dadurch kön­nen Daten aus unter­schied­li­chen Quel­len gezielt mit­ein­an­der ver­knüpft werden. 

Zusätz­li­che Quel­len kön­nen bei­spiels­weise genutzt wer­den, um MDM-Daten über Loo­kups anzu­rei­chern oder den Export­pro­zess anhand exter­ner Werte zu steu­ern. Das Ergeb­nis kann anschlies­send fle­xi­bel bereit­ge­stellt wer­den, zum Bei­spiel als Flat File in unter­schied­li­chen Spei­cher­or­ten oder direkt in einer Datenbanktabelle.

Fle­xi­ble Struk­tu­rie­rung der Exportdaten

Ein wei­te­rer Vor­teil ist die fle­xi­ble Gestal­tung der Aus­gabe. Attri­bute kön­nen gezielt umbe­nannt wer­den. Dadurch kön­nen sowohl tech­ni­sche Feld­na­men als auch geschäfts­ori­en­tierte Bezeich­nun­gen ver­wen­det wer­den. Dies erleich­tert die Inte­gra­tion in externe Sys­teme mit spe­zi­fi­schen Namenskonventionen.

Hohe Per­for­mance bei Datenextraktion

Dar­über hin­aus bie­ten Export Ope­ra­ti­ons eine hohe Per­for­mance bei der Daten­ex­trak­tion. Sie grei­fen direkt auf die zugrunde lie­gen­den Daten­quel­len zu und benö­ti­gen keine zusätz­li­chen Abs­trak­ti­ons­schich­ten. Dadurch sind sie in der Regel sehr performant.

Dies ist ins­be­son­dere bei gros­sen Daten­men­gen oder regel­mäs­si­gen Export­läu­fen ein wich­ti­ger Vorteil.

Wie­der­ver­wend­bar­keit von Export­da­ten und Bereit­stel­lung über REST APIs

Ein wei­te­rer wich­ti­ger Vor­teil ist die Mög­lich­keit, die Ergeb­nisse einer Export-Ope­ra­tion wie­der in das MDM-Sys­tem zurück­zu­füh­ren. Hierzu wird eine neue Enti­tät im Ins­tance Layer erstellt, die den Export als Daten­quelle nutzt. 

Über einen Full-Load-Pro­zess wird die Export­da­tei erneut in das MDM gela­den. Dadurch kön­nen die auf­be­rei­te­ten Daten wie­der in das Sys­tem gela­den und für wei­tere Pro­zesse genutzt werden.

Dar­über hin­aus ste­hen die expor­tier­ten Daten als Ins­tance-Enti­tät im MDM über die stan­dar­di­sier­ten REST APIs der Platt­form zur Ver­fü­gung. Dies bie­tet meh­rere Vorteile:

• Nut­zung der bestehen­den Authen­ti­fi­zie­rungs- und Berechtigungskonzepte
• Direk­ter API-Zugriff ohne zusätz­li­che Schnittstellenentwicklung
• Ein­heit­li­che Daten­be­reit­stel­lung für unter­schied­li­che Kon­su­men­ten und Anwendungen

Nach­teile von Export Operations

Hoher Imple­men­tie­rungs- und Wartungsaufwand

Export Ope­ra­ti­ons erfor­dern meh­rere Kom­po­nen­ten, dar­un­ter Export­pro­zesse, Full-Load-Pro­zesse, Work­flows und optio­nal Sche­du­ler. Dadurch ent­steht im Ver­gleich zu Data Sets ein deut­lich höhe­rer Auf­wand bei der Entwicklung. 

Auch im Betrieb steigt die Kom­ple­xi­tät, da meh­rere von­ein­an­der abhän­gige Pro­zesse koor­di­niert und gewar­tet wer­den müssen.

Zusätz­lich sind Export Ope­ra­ti­ons eng an die Struk­tur der zugrunde lie­gen­den Enti­tä­ten gekop­pelt. Ände­run­gen am Daten­mo­dell kön­nen bestehende Map­pings ungül­tig machen. In die­sem Fall müs­sen die Export­pro­zesse ange­passt werden.

Das kann ins­be­son­dere in kol­la­bo­ra­ti­ven Ent­wick­lungs­um­ge­bun­gen zu Pro­ble­men füh­ren. Erwei­tert bei­spiels­weise ein Ent­wick­ler eine Enti­tät, wer­den bestehende Export-Map­pings nicht auto­ma­tisch aktualisiert.

Dadurch kön­nen Fel­der feh­len oder Vali­die­rungs­feh­ler auf­tre­ten. Im schlimms­ten Fall funk­tio­nie­ren die Export­pro­zesse nicht mehr. Der War­tungs­auf­wand steigt dadurch zusätzlich.

Kein Wech­sel des Export-Typs bei Erwei­te­rung der MDM-Datenquellen

Bei Stan­dard-Export-Ope­ra­tio­nen ist die Aus­wahl der Daten­quel­len auf den kon­fi­gu­rier­ten Entity-Typ aus­ge­rich­tet. Wird bei­spiels­weise ein Export für Mas­ter-Enti­tä­ten erstellt, kön­nen wei­tere Mas­ter-Enti­tä­ten hin­zu­ge­fügt wer­den. Ins­tance-Enti­tä­ten las­sen sich dage­gen nicht nach­träg­lich in den­sel­ben Export aufnehmen. 

Wenn sowohl Mas­ter- als auch Ins­tance-Enti­tä­ten benö­tigt wer­den, muss ein Com­plex Export ver­wen­det wer­den. Dafür ist eine ent­spre­chende Neu­kon­fi­gu­ra­tion erforderlich.

Keine auto­ma­ti­sche Datenaktualisierung

Export Ope­ra­ti­ons aktua­li­sie­ren die Daten nicht auto­ma­tisch. Die Aktua­li­tät hängt daher von der Aus­füh­rung der Orches­trie­rung ab.

Wenn bei­spiels­weise kein Sche­du­ler vor­han­den ist oder der Pro­zess fehl­schlägt, blei­ben die Daten auf dem Stand des letz­ten erfolg­rei­chen Exports. Dadurch kön­nen ver­al­tete Daten ent­ste­hen, ohne dass dies sofort sicht­bar ist.

Vor­teile von Data Sets

Gerin­ger Implementierungsaufwand

Data Sets las­sen sich schnell erstel­len, da keine zusätz­li­chen Pro­zesse wie Export- oder Load-Jobs not­wen­dig sind. Dadurch wer­den Ent­wick­lungs­zeit und Kom­ple­xi­tät deut­lich reduziert.

Zudem wer­den die zugrunde lie­gen­den SQL-Abfra­gen auf Basis des logi­schen Daten­mo­dells auto­ma­tisch gene­riert. Bezie­hun­gen zwi­schen Enti­tä­ten und erfor­der­li­che Join-Bedin­gun­gen müs­sen daher in vie­len Fäl­len nicht manu­ell defi­niert werden. 

Dadurch sin­ken sowohl der Ent­wick­lungs­auf­wand als auch das Fehlerrisiko.

Bereit­stel­lung von Live-Daten

Data Sets grei­fen direkt auf das MDM-Daten­mo­dell zu und lie­fern dadurch stets aktu­elle Daten. Es ent­steht kein Zeit­ver­zug durch Batch- oder Exportprozesse.

Ein­fa­che Archi­tek­tur ohne zusätz­li­che Orchestrierung

Data Sets benö­ti­gen im Gegen­satz zu Export Ope­ra­ti­ons keine zusätz­li­chen Work­flows oder Sche­du­ler. Dadurch ent­fällt der Auf­wand für die Pro­zess­steue­rung und die regel­mäs­sige Aktualisierung. 

Da ins­ge­samt weni­ger Kom­po­nen­ten betei­ligt sind, bleibt die Archi­tek­tur über­sicht­lich. Ände­run­gen kön­nen in der Regel direkt am Data Set vor­ge­nom­men werden. 

Dadurch sinkt der Imple­men­tie­rungs- und Wartungsaufwand.

Inte­grierte Zugriffs­kon­trolle bei Data Sets

Data Sets las­sen sich direkt in das rol­len­ba­sierte Berech­ti­gungs­kon­zept des MDM-Sys­tems inte­grie­ren. Der Zugriff auf die bereit­ge­stell­ten Daten kann über die MDM-Schicht gesteu­ert wer­den. Dabei wer­den die bestehen­den Authen­ti­fi­zie­rungs- und Berech­ti­gungs­me­cha­nis­men der Platt­form verwendet.

Im Gegen­satz dazu bie­ten die direk­ten Ergeb­nisse von Export Ope­ra­ti­ons, bei­spiels­weise CSV-Dateien, keine inte­grierte Zugriffskontrolle. 

Der Zugriff muss daher in der Regel über externe Mecha­nis­men wie Datei­sys­tem­be­rech­ti­gun­gen oder zusätz­li­che Infra­struk­tur­kom­po­nen­ten abge­si­chert wer­den. Eine rol­len­ba­sierte Berech­ti­gungs­steue­rung in Ata­c­cama ist erst mög­lich, wenn die Export­da­ten wie­der als Ins­tance-Enti­tät in das MDM gela­den werden.

Nach­teile von Data Sets

Ein­ge­schränkte Anpas­sung von Feldnamen

Data Sets über­neh­men stan­dard­mäs­sig die Struk­tur des Daten­mo­dells. Eine gezielte Umbe­nen­nung von Fel­dern ist nur ein­ge­schränkt mög­lich, wodurch es zu Abstim­mungs­auf­wand mit Kon­su­men­ten kom­men kann.

Keine Daten­his­to­rie

Data Sets lie­fern immer den aktu­el­len Daten­stand. His­to­ri­sie­rung oder Snapshot-basierte Ana­ly­sen sind nicht möglich.

Im Gegen­satz dazu kön­nen Export Ope­ra­ti­ons Daten­stände spei­chern und als eigene Enti­tä­ten persistieren.

Per­for­mance-Pro­bleme bei gros­sen Datenmengen

Bei kom­ple­xen Abfra­gen oder gros­sen Daten­men­gen kann es zu lan­gen Lade­zei­ten kom­men. Dies gilt ins­be­son­dere für die Benutzeroberfläche.

Keine stan­dar­di­sierte REST-API-Bereitstellung

Data Sets sind nicht auto­ma­tisch über stan­dar­di­sierte REST APIs ver­füg­bar. Daher kön­nen zusätz­li­che Imple­men­tie­run­gen not­wen­dig sein, wenn externe Sys­teme auf die Daten zugrei­fen sollen.

Pro­bleme bei SQL Over­ri­des und Modelländerungen

Ein kri­ti­scher Nach­teil betrifft SQL Over­ri­des. Nach Modell­än­de­run­gen kön­nen diese inkon­sis­tent wer­den. In bestimm­ten Fäl­len kann dies sogar den Start des MDM-Ser­vers ver­hin­dern, da Data Sets beim Deploy­ment vali­diert werden.

Begrenzte Eig­nung für kom­plexe Integrationen

Data Sets sind haupt­säch­lich für ein­fa­che Daten­be­reit­stel­lung gedacht. Für kom­plexe Inte­gra­tio­nen, Daten­his­to­ri­sie­rung oder mehr­stu­fige Pro­zesse sind sie nur ein­ge­schränkt geeignet.

Schluss­fol­ge­rung

Data Sets und Export Ope­ra­ti­ons ver­fol­gen unter­schied­li­che Ansätze zur Daten­be­reit­stel­lung im MDM-Kontext.

Data Sets eig­nen sich ins­be­son­dere für:
• schnelle Bereit­stel­lung von Live-Daten
• geringe Imple­men­tie­rungs- und Betriebs­kom­ple­xi­tät
• ein­fa­che Report­ing- und Ana­ly­se­an­for­de­run­gen
• explo­ra­tive Daten­ana­lyse und schnel­les Prototyping

Export Ope­ra­ti­ons eig­nen sich hin­ge­gen beson­ders für:
• kom­plexe Inte­gra­ti­ons­sze­na­rien
• hohe Fle­xi­bi­li­tät bei Daten­quel­len und For­ma­ten
• Daten­his­to­ri­sie­rung und Wie­der­ver­wen­dung
• API-basierte Bereit­stel­lung über model­lierte Enti­tä­ten
• per­for­mante Ver­ar­bei­tung gros­ser Datenmengen

Dar­über hin­aus kön­nen Data Sets in der Pra­xis als Vor­stufe für die Ent­wick­lung von Export Ope­ra­ti­ons ver­wen­det wer­den. Sie ermög­li­chen eine schnelle Prü­fung von Daten­struk­tu­ren, ver­füg­ba­ren Fel­dern und Daten­men­gen direkt im MDM-System. 

Dadurch kann früh geprüft wer­den, ob die fach­li­chen Anfor­de­run­gen kor­rekt abge­bil­det sind. Gleich­zei­tig las­sen sich mög­li­che tech­ni­sche oder Per­for­mance-Pro­bleme früh erken­nen. Dies unter­stützt eine prä­zi­sere Spe­zi­fi­ka­tion und redu­ziert das Risiko von Anpas­sun­gen in spä­te­ren Entwicklungsphasen.

Zusam­men­fas­send hängt die Ent­schei­dung zwi­schen bei­den Ansät­zen stark davon ab, wor­auf der Fokus liegt: auf einer ein­fa­chen Daten­be­reit­stel­lung mit Data Sets oder auf Kon­trolle, Inte­gra­tion und Erwei­ter­bar­keit mit Export Operations.

Archi­tek­tur­dia­gram