11 dunkle Geheimnisse des Datenmanagements

Manche nennen Daten das „neue Öl“, andere das „neue Gold“. Abgesehen von der Gültigkeit dieser Metaphern steht außer Frage, dass die Organisation und Analyse von Daten eine wichtige Aufgabe für jedes Unternehmen ist, das das Versprechen datenbasierter Entscheidungsfindung erfüllen möchte. Zu diesem Zweck ist eine solide Datenmanagementstrategie ist der Schlüssel. Dazu gehören Datenverwaltung, Datenoperationen, Data Warehousing, Datentechnik, Datenanalyse, Data Science usw. Richtig eingesetztes Datenmanagement kann Unternehmen jeder Branche einen Wettbewerbsvorteil verschaffen. In diesem Artikel stellen wir vor 11 dunkle Geheimnisse des Datenmanagements.

Dunkle Geheimnisse des Datenmanagements

Dunkle Geheimnisse des Datenmanagements – 1. Unstrukturierte Daten sind schwer zu analysieren

80%-90% der Daten in Unternehmen sind unstrukturierte Daten. Mit der fortschreitenden digitalen Transformation wächst die Menge unstrukturierter Daten rasant. Diese Daten sind in Form von Dokumenten, Bildern, Audio- und Videodateien usw. im Unternehmen verstreut. Aufgrund von Abteilungen, Anwendungen, Architekturen, Multi-Cloud-Umgebungen usw. bilden sie unstrukturierte Dateninseln, die schwer zu teilen und zu nutzen sind und deren Inhaltswert schwer zu entschlüsseln ist, was den Prozess der digitalen Transformation im Unternehmen erheblich behindert.

Dunkle Geheimnisse des Datenmanagements – 2. Selbst strukturierte Daten sind oft unstrukturiert

Gute Wissenschaftler und Datenbankadministratoren steuern Datenbanken, indem sie Typ und Struktur jedes Feldes festlegen. Manchmal beschränken sie im Namen einer besseren Struktur den Wert eines bestimmten Feldes auf eine Ganzzahl innerhalb eines bestimmten Bereichs oder eine vordefinierte Auswahl. Trotzdem finden Benutzer beim Ausfüllen von Datenbankspeicherformularen Möglichkeiten, den Schwierigkeitsgrad zu erhöhen.

Wenn eine Frage nicht zutrifft, wird dies manchmal durch ein leeres Feld angezeigt; andere werden durch die Eingabe eines Bindestrichs oder des Anfangsbuchstabens „na“ angezeigt. Ein guter Entwickler kann einige dieser Probleme durch Validierung erkennen. Gut Datenwissenschaftler Diese Unsicherheit lässt sich auch durch Bereinigung reduzieren. Es ist jedoch ärgerlich, dass selbst die strukturiertesten Tabellen verdächtige Einträge enthalten, die Unbekanntes oder sogar Fehler in die Analyse einbringen können.

Dunkle Geheimnisse des Datenmanagements – 3. Datenschemata sind entweder zu streng oder zu locker

Egal wie sehr sich das Datenteam bemüht, Schemabeschränkungen zu formulieren, das endgültige Schema zur Definition der Werte in verschiedenen Datenfeldern ist entweder zu streng oder zu locker. Würde das Datenteam strenge Beschränkungen hinzufügen, würden sich Benutzer beschweren, dass ihre Antworten nicht in der begrenzten Liste zulässiger Werte enthalten seien. Ist das Datenschema zu freizügig, können Benutzer ungerade Werte mit geringer Konsistenz hinzufügen.

Dunkle Geheimnisse des Datenmanagements – 4. Datenschutzgesetze sind sehr streng

Die Gesetze zum Datenschutz sind streng und werden weiter verschärft. Mit über einem Dutzend Vorschriften wie DSGVO, HIPPA und weiteren kann das Sammeln von Daten sehr schwierig und im Falle eines Hackerangriffs sogar noch gefährlicher sein. In vielen Fällen ist die Beauftragung eines Anwalts deutlich teurer als die Beauftragung eines Programmierers oder Datenwissenschaftlers. Diese Probleme sind der Grund, warum manche Unternehmen Daten sofort nach der Verarbeitung entsorgen.

Dunkle Geheimnisse des Datenmanagements – 5. Die Kosten der Datenbereinigung sind enorm

Datenbereinigung bezeichnet den Prozess der Korrektur und Entfernung fehlerhafter Datensätze aus einer Datenbank oder Datentabelle. Im Allgemeinen umfasst die Datenbereinigung das Identifizieren und Ersetzen unvollständiger, ungenauer, irrelevanter oder problematischer Daten und Datensätze.

Viele Datenwissenschaftler geben zu, dass ihre Arbeit hauptsächlich darin besteht, Daten zu sammeln, sie in einheitlicher Form darzustellen und sich mit unzähligen Schlupflöchern und Fehlern auseinanderzusetzen. Die Datensammler behaupten immer: „Alles ist im CSV-Format (Comma Separated Values, ein gängiges, relativ einfaches Dateiformat) einsatzbereit.“ Leere Felder oder Fehlerbeschreibungen erwähnen sie jedoch nicht. Das Bereinigen von Daten für Data-Science-Projekte kann bis zu zehnmal so lange dauern wie das Starten von Routinen in R oder Python für die eigentliche statistische Analyse.

Dunkle Geheimnisse des Datenmanagements – 6. Benutzer sind zunehmend misstrauisch gegenüber Ihren Datenpraktiken

Endnutzer und Kunden stehen dem Datenmanagement von Unternehmen zunehmend misstrauisch gegenüber. KI-Algorithmen und deren Einsatz haben die Ängste nur noch verstärkt und bei immer mehr Menschen ein tiefes Unbehagen hinsichtlich der Erfassung ihrer Daten ausgelöst. Diese Bedenken treiben den Regulierungsprozess voran und führen häufig zu PR-Krisen für Unternehmen. Darüber hinaus wird die Datenerfassung gezielt durch gefälschte Werte oder falsche Antworten manipuliert. Manchmal besteht die halbe Arbeit darin, mit böswilligen Partnern und Kunden zusammenzuarbeiten.

Dunkle Geheimnisse des Datenmanagements – 7. Die Integration externer Daten kann sich auszahlen, aber auch katastrophal sein

Es ist eine Sache für Unternehmen, die von ihnen gesammelten Daten zu besitzen, aber eine ganz andere, wenn sie ihre eigenen lokalen Informationen mit Daten von Drittanbietern und der riesigen Menge an personalisierten Informationen im Internet verknüpfen wollen. Manche Tools versprechen offen, Daten über jeden Kunden zu sammeln, um bei jedem Einkauf ein personalisiertes Profil zu erstellen. Ganz genau, sie verwenden dieselben Worte wie Geheimdienste, die Terroristen verfolgen, um Ihre Fast-Food-Einkäufe und Ihre Kreditwürdigkeit zu überwachen. Kein Wunder, dass die Menschen besorgt und in Panik geraten!

Dunkle Geheimnisse des Datenmanagements – 8. Regulierungsbehörden greifen bei der Datennutzung durch

Niemand weiß, wann geschickte Datenanalysen zu weit gehen, aber wenn das passiert, werden die Regulierungsbehörden eingreifen. In einem aktuellen Fall in Kanada ergab eine Untersuchung der Regierung, dass einige Donut-Läden Kunden verfolgten, die auch bei der Konkurrenz einkauften.

Einer kürzlich veröffentlichten Pressemitteilung zufolge „ergab die Untersuchung, dass der Vertrag von Tim Hortons mit einem externen Standortdienstleister in den USA eine so vage und freizügige Formulierung enthielt, dass das Unternehmen dadurch ‚De-Identifizierungs-Standortdaten‘ für eigene Zwecke verkaufen konnte.“ Wozu? Um mehr Donuts zu verkaufen? Wie dem auch sei, es zeigt sich, dass die Aufsichtsbehörden immer mehr auf alles achten, was mit persönlichen Daten zu tun hat.

Dunkle Geheimnisse des Datenmanagements – 9. Ihr Datentarif lohnt sich möglicherweise nicht

Wir stellen uns vor, dass ein guter Algorithmus alles effizienter und profitabler machen kann. Manchmal ist ein solcher Algorithmus tatsächlich möglich, aber der Preis kann zu hoch sein. Beispielsweise hinterfragen Verbraucher (und sogar Unternehmen) zunehmend den Nutzen gezielter Marketingmaßnahmen durch gut konzipierte Datenmanagementsysteme. Manche weisen darauf hin, dass wir oft Werbung für Dinge sehen, die wir gekauft haben, weil Werbetracker nicht erkannt haben, dass wir sie nicht mehr brauchen.

Dasselbe Schicksal ereilt oft auch andere Pläne. Manchmal identifiziert eine gründliche Datenanalyse die Fabriken mit der schlechtesten Leistung, aber das spielt keine Rolle, da das Unternehmen einen 30-jährigen Mietvertrag für das Gebäude abgeschlossen hat. Unternehmen müssen sich darauf einstellen, dass alle Data-Science-Experten eine inakzeptable Antwort liefern könnten.

Dunkle Geheimnisse des Datenmanagements – 10. Datenentscheidungen sind am Ende oft nur subjektive Urteile

Zahlen können zwar präzise genug sein, aber ihre Interpretation durch den Menschen ist oft entscheidend. Nach all der Datenanalyse und KI-Manipulation müssen die meisten Algorithmen entscheiden, ob ein Wert über oder unter einem Schwellenwert liegt. Manchmal wünschen sich Wissenschaftler p-Werte unter 0,05; manchmal verhängt die Polizei Strafzettel für Autos, die 20 Prozent schneller fahren. Diese Schwellenwerte sind meist willkürliche Werte. Trotz aller Wissenschaft und Mathematik, die auf Daten angewendet werden können, gibt es in vielen „datengesteuerten“ Prozessen mehr Grauzonen als wir denken, und obwohl Unternehmen möglicherweise ihr ganzes Ressourcen in ihre Datenverwaltungspraktiken einfließen, sind Entscheidungen stärker von Intuition und subjektivem Urteil abhängig.

Dunkle Geheimnisse des Datenmanagements – 11. Die Kosten für die Datenspeicherung explodieren

Festplatten werden immer größer, und die Preise pro Terabyte sinken. Programmierer sammeln Daten jedoch deutlich schneller, als die Preise sinken. Geräte aus dem Internet der Dinge (IoT) laden ständig Daten hoch, und Nutzer erwarten, diese umfangreiche Sammlung unbegrenzt nutzen zu können. Gleichzeitig verlangen Compliance-Behörden und Aufsichtsbehörden für künftige Audits immer mehr Daten. Es wäre zwar eine Sache, wenn sich jemand diese Daten tatsächlich ansehen würde, aber wir haben täglich nur eine begrenzte Zeit. Der Anteil der tatsächlich abgerufenen Daten sinkt immer mehr. Die Preise für Speichererweiterungspakete steigen jedoch.

Abschluss

Vielen Dank für das Lesen unseres Artikels. Wenn er Ihnen gefallen hat, würden wir uns sehr freuen. Wenn Sie mehr über Datenmanagement erfahren möchten, empfehlen wir Ihnen, Folgendes zu besuchen: Gudu SQLFlow für weitere Informationen.

Als einer der die besten Datenherkunftstools Gudu SQLFlow ist heute auf dem Markt erhältlich und kann nicht nur SQL-Skriptdateien analysieren, Datenherkunftund führen visuelle Anzeige durch, ermöglichen es Benutzern aber auch, Datenherkunft im CSV-Format und führen Sie eine visuelle Anzeige durch. (Veröffentlicht von Ryan am 27. August 2022)