Snowflake Cortex AI und Matillion Data Productivity Cloud – der schnelle Weg zu AI im Data Warehouse

In einer zunehmend datengetriebenen Welt stehen Unternehmen vor der Herausforderung, aus ihren Daten nicht nur Informationen, sondern echte Erkenntnisse zu gewinnen und das möglichst schnell und effizient. Mit Snowflake Cortex AI eröffnet sich eine neue Dimension der KI-gestützten Analyse direkt innerhalb der Data Cloud. In Kombination mit Matillion Data Productivity Cloud (DPC) lassen sich komplexe Datenpipelines nicht nur orchestrieren, sondern mit intelligenten Funktionen anreichern. Anders gesagt: Funktionen, die früher nur Data Scientists nutzten, sind nun breiter verfügbar. Daten aus verschiedenen Quellen lassen sich sofort verknüpfen und auswerten. Ebenso können sie direkt eingeordnet werden – ohne Umwege.

Im Folgenden zeigen wir, wie sich Snowflake Cortex AI nahtlos in bestehende Data Warehouse-Architekturen integrieren lässt. Dabei betrachten wir die Vorteile der Verbindung mit Matillion DPC – von automatisierten Klassifikationen bis hin zu generativer KI direkt im Transformationsprozess. Dabei zeigen wir, wie ein Datenset mit Nutzerbewertungen zu Serien mit nur wenigen Schritten und ohne Programmieraufwand mit KI gestützten Informationen angereichert werden kann und damit sofort einen Mehrwert bietet. Der Start zum Einsatz von KI im Data Warehouse ist damit mit minimalem Aufwand möglich.

KI direkt in der Datenpipeline: Ein neuer Standard

Snowflake Cortex AI ist eine integrierte KI-Plattform in der Snowflake Data Cloud. Sie erlaubt KI-Anwendungen direkt auf Daten – ohne Infrastrukturverwaltung. Im Gegensatz dazu erfordern andere Lösungen oft externe Services.

Durch die Integration von Snowflake Cortex AI in Matillion DPC lassen sich KI-Funktionen direkt in ELT-Prozesse einbinden. Das heisst: Keine komplexe Modellbereitstellung oder externe Services müssen konfiguriert werden. Matillion ermöglicht es, Cortex-Modelle wie Sentiment-Analyse, Klassifikation oder Textgenerierung über einfache Komponenten in Pipelines zu nutzen. Dadurch finden KI-gestützte Transformationen direkt im Data Warehouse statt. Hierdurch beschleunigt sich nicht nur die Entwicklung. Vielmehr wird KI für Analysten und Entwickler unmittelbar zugänglich. Vorausgesetzt sind nur Grundkenntnisse zum Einsatz von Matillion DPC.

Die Cortex AI Komponenten lassen sich wie andere Komponenten in Transformationsjobs in Matillion verwenden. Als Entwickler kann man Samples der erzeugten Daten ansehen und auf Wunsch den erzeugten SQL-Code einsehen, der auf der Snowflake Data Cloud ausgeführt wird. Alle Komponenten lassen sich problemlos über die integrierte Suche mit dem Begriff ‚Cortex‘ auffinden. Auch Matillions integrierte AI-Funktionalität Maia kann beim Aufbau der Datenstrecken helfen und so den Entwicklungsaufwand noch weiter senken.

Ein praktisches Beispiel für KI im DWH

Sehen wir uns konkrete Beispiele für den Einsatz an. Als Datengrundlage dafür dient uns ein Datenset mit einigen tausend Bewertungen von Nutzern zu Serien in englischer Sprache. Die Daten enthalten sowohl eine Bewertung auf einer Skala von 1 bis 10 als auch einen Text in englischer Sprache.

Abbildung 1: Wir verwenden einen Testdatensatz mit Userbewertungen zu Serien aus Streamingportalen in Textform und auf einer numerischen Skala zur Demonstration von KI im Data Warehouse.

In der Rolle eines Datenanalysten wollen wir nun mit den Funktionen von Cortex AI und Matillion einige grundlegende Fragen zu diesem Datenset beantworten und dabei möglichst wenig Aufwand haben:

Stimmt die Bewertung der Nutzer auf einer Skala von 1–10 mit dem geschriebenen Review überein (Sentiment Analyse)?
Welche Punkte haben den Nutzern bei einer Serie insgesamt am besten gefallen?
Andere Nutzer möchten die Review Texte gerne in Deutsch lesen. Kann eine automatisierte Übersetzung erstellt werden.

Sentiment-Analyse: Kundenstimmen verstehen und gezielt reagieren

Mit Snowflake Cortex AI lässt sich die emotionale Tonalität von Texten analysieren. Dabei erkennt die Funktion positive, negative oder neutrale Stimmungen. Insbesondere eignet sie sich für Kundenfeedback, Social-Media-Beiträge und Support-Tickets. Die Ergebnisse lassen sich direkt in Datenpipelines integrieren. Dabei sind keine externen KI-Services oder Modelltrainings erforderlich.

Der Eingabewert der Komponente ist dabei ein Textfeld, für das ein numerischer Wert von ‑1 bis 1 zurückgegeben wird. Üblicherweise werden dabei Werte von ‑1 bis ‑0,5 als eine negative Stimmung gedeutet, von ‑0,5 bis 0,5 nimmt man einen neutralen Tonfall an, und ab 0,5 wird der Text als positiv gedeutet. Demzufolge lässt sich die Stimmung klar quantifizieren. Für die Auswertung ist die Verteilung von positiven und negativen Bewertungen interessant, die z.B. in einem BI Tool aufbereitet werden könnte.

Abbildung 2: Pipeline für die Sentimentanalyse in Matillion DPC. Das Ergebnis wird in eine Zieltabelle im DWH geschrieben.

Die Sentiment-Komponente lässt sich einfach in Matillion-Jobs einfügen. Ebenso wie andere Komponenten wird sie per Drag-and-Drop platziert. Die SQL Befehle generiert Matillion im Hintergrund vollautomatisch. Daher ist kein manuelles Schreiben von Code nötig. Durch das Hinzufügen einer weiteren Calculatorkomponente in Matillion können wir aber noch weitere interessante Informationen erhalten, auch wenn hier minimaler Programmieraufwand nötig ist. Dazu transformieren wir die Ergebnisse von der ursprünglichen Skala (-1 bis +1) zu der Skala, die auch von den Nutzern verwendet wurde (1 bis 10). Nun können wir vergleichen: Wie weit weicht die Einschätzung des Textes von der Bewertung der Nutzer ab? Starke Ausreißer in relativen oder absoluten Zahlen können wir gesondert herausfiltern, sodass diese Einträge weitergehend analysieren kann.

Ergebnisse für eine erweiterte Sentimentanalyse. Wir vergleichen die Bewertung der Nutzer mit der Einschätzung von Cortex AI. — Abbildung 3: Beispielhafte Ergebnisse für eine erweiterte Sentimentanalyse. Wir vergleichen die Bewertung der Nutzer mit der Einschätzung von Cortex AI auf der Suche nach Abweichungen.

Completions: Intelligente Textgenerierung für operative Effizienz

Diese Auswertung fand auf der Basis einzelner Nutzerbewertung statt. Für einen schnellen Überblick interessiert aber oft eine aggregierte Sicht auf die Daten. Die Cortex AI ermöglicht solch eine Aggregation auch für Freitexteingaben – wir müssen als Nutzer nur die passende Frage stellen. Unsere Pipeline aggregiert die Texte zunächst, indem für jede Serie ein konkatenierter, bereinigter String als Gesamtreview erzeugt wird.

Konfiguration für die KI gestützte Auswertung von Nutzerbewertungen mit einem LLM. — Abbildung 4: Konfiguration für die KI gestützte Auswertung von Nutzerbewertungen mit einem LLM in der Benutzeroberfläche von Matillion. Wir beschreiben den Kontext der Daten und stellen der KI die passende Frage

Anschließend müssen wir nur noch die richtige Frage mit dem passenden Kontext stellen. Wir teilen dem System mit, das ein Attribut konkatenierte Userreviews enthält und fragen nach den 5 Punkten, die insgesamt am besten gefallen haben. Cortex analysiert die Eingabe und gibt uns eine Antwort die dann in unserer Datenplattform weiter ausgewertet werden kann. Auch komplexere Fragestellungen lassen sich hier einbinden, die aber unter Umständen weitere Datenaufbereitungs- und ‑bereinigungsschritte benötigen. Auch hier gilt: Den Code für die Aggregation und die Auswertung verwaltet Matillion automatisiert im Hintergrund. Der interessierte Nutzer kann ihn zwar einsehen, eine direkte Interaktion ist aber nicht nötig.

Automatisierte Übersetzung mit Translate: Mehrsprachige Daten nutzbar machen

Zuletzt mag es noch die Anforderung geben, dass Auswertungen in der Unternehmenssprache (z.B. deutsch) erfolgen sollen. Auch hier hilft die Kombination von Snowflake Cortex AI und Matillion DPC unkompliziert weiter. Mit der Translate Komponente erzeugen wir in nur einem Schritt Übersetzungen zwischen mittlerweile 14 Sprachen, wobei Snowflake selbst in der Dokumentation darauf hinweist, dass mit Englisch als Quell- oder Zielsprache die besten Ergebnisse erzielt werden. Außer der Wahl der Sprachen ist keine weitere Konfiguration nötig. Wenn man die Quellsprache frei lässt, wird sogar eine automatische Erkennung der Sprache unterstützt, was den Aufwand noch weiter reduziert.

Abbildung 5: Integration von Übersetzungen in eine Datenpipeline mittels AI. Der im Original englische Text der Reviews wird von der KI für das DWH ins Deutsche übersetzt.

Business Value im Fokus: Wettbewerbsvorteile durch smarte Datenverarbeitung

Die Verbindung von Snowflake Cortex AI und Matillion DPC bietet Unternehmen einen echten strategischen Mehrwert durch den Einsatz von KI im Data Warehouse mit minimalen Konfigurationsaufwand. Funktionen wie Translate, Completions und Sentiment ermöglichen es, sprachbasierte Daten automatisiert zu analysieren, zu interpretieren und in verwertbare Erkenntnisse zu überführen – direkt innerhalb der bestehenden Dateninfrastruktur. Dadurch lassen sich Kundenfeedback, Marktkommunikation oder interne Inhalte schneller und gezielter auswerten, was zu besseren Entscheidungen und effizienteren Prozessen führt. Unternehmen, die diese Technologien frühzeitig einsetzen, schaffen sich einen Wettbewerbsvorteil durch intelligentere Nutzung ihrer Datenressourcen.