Google; Alin Dobrin; Alyssa Powell/BI
- Daniel Rizea verfügt über mehr als 15 Jahre Berufserfahrung in globalen Technologieunternehmen.
- Er sagt, dass der Ansturm auf KI-Fortschritte den Bedarf an mehr Dateningenieuren erhöht.
- Rizea sagt, Dateningenieure sollten die Compliance-Regeln kennen und Spaß an der betriebswirtschaftlichen Forschung haben.
Ich bin technischer Leiter bei Google und habe Entwicklungsteams in Startups und großen Unternehmen im Bereich Verbrauchertechnologie geleitet. In allen Fällen spielten Datentechnikteams eine entscheidende Rolle im Geschäft.
Als ich vor über 12 Jahren in die Branche einstieg, konzentrierten sich die Unternehmen hauptsächlich darauf, Cloud-native zu werden. Dieser Übergang schuf neue Möglichkeiten und Unternehmen reagierten schneller, effizienter und generierten mehr Daten. Der Bereich Data Engineering erhielt zunehmend mehr Aufmerksamkeit.
Bei den neuesten KI-Entwicklungen stehen Daten im Vordergrund, da die Qualität der Datensätze die Qualität der KI-Modelle bestimmt. Mit anderen Worten: Der Ansturm auf KI-Fortschritte erhöht den Bedarf an mehr Arbeitsplätzen im Bereich Datentechnik.
Jede Organisation verfügt über Unmengen unstrukturierter Daten, die wertvolle Erkenntnisse bergen. Eine dieser Erkenntnisse kann schnell den Gewinn steigern, die Betriebskosten senken oder das Wohlbefinden verbessern. Das Problem ist, dass diese Erkenntnisse unter einer Menge Rauschen begraben sind. Ihre Aufgabe als Dateningenieur besteht darin, dieses Rauschen zu beseitigen, indem Sie große Datenmengen strukturieren und verarbeiten.
Aber bevor Sie in diese Branche einsteigen, sollten Sie diese vier Dinge bedenken.
1. Wenn Sie sich nicht gerne in Unternehmen vertiefen, wird Ihnen Data Engineering vielleicht auch nicht gefallen
Wenn Ihnen das Schreiben von Codes Spaß macht, die geschäftliche Seite aber nicht so sehr, könnte Data Engineering für Sie sowohl spannend als auch enttäuschend sein.
Das wird spannend, weil Sie große Systeme im großen Maßstab erstellen müssen. Doch bevor Sie Code schreiben können, müssen Sie den Geschäftskontext des Unternehmens und seine Produkte verstehen.
Sie müssen sehr eng mit Produktmanagern und Unternehmensanalysten zusammenarbeiten. Manchmal müssen Sie mit vielen zusammenarbeiten, um alle Geschäftsbereiche zu verstehen. Auch wenn das Unternehmen mehrere Bereiche hat, sollte das von Ihnen erstellte Datensystem allen dienen.
Bevor Sie eine Codezeile schreiben, müssen Sie Folgendes herausfinden:
- Welche Daten müssen erhoben werden?
- Wie plant die Organisation, die Daten zu verwenden?
- Wie aktuell sollten die Daten sein?
Alle diese Fragen haben technische, architektonische und Effizienzauswirkungen. Ein guter Dateningenieur liefert das beste System, das die Anforderungen, Kosten und Zeitpläne des Unternehmens in Einklang bringt.
Die besten Dateningenieure berücksichtigen zukünftige Anforderungen und entwickeln diese im Hinblick darauf.
2. Es ist ein schnelllebiger Job, der sich ständig weiterentwickelt
Wenn Sie ständige Herausforderungen nicht mögen, ist Data Engineering vielleicht nicht das Richtige für Sie.
Data Engineering ist ein Bereich, der sich sehr schnell entwickelt, und Sie müssen mithalten. Daten wachsen exponentiell, und es werden neue Systeme und Techniken benötigt, um riesige Datenmengen zu verwalten. Die Systeme von gestern sind veraltet, und dies kann aufgrund der Geschwindigkeit der Veränderungen überwältigend erscheinen.
Mir ist das in der Anfangsphase meiner Karriere passiert. Es gab so viel zu lernen und so wenig Zeit. Ich arbeitete bei einem Startup und musste sofort loslegen. Anfangs habe ich nachts gelesen und gelernt und tagsüber entwickelt. Dadurch habe ich ein besseres Verständnis für Softwareentwicklung entwickelt als meine Kollegen.
Jetzt nehme ich mir ein paar Stunden pro Woche Zeit, um mich über die neuesten Entwicklungen in meinem Bereich zu informieren. Ich weiß, dass ich nicht alles abdecke, aber ich versuche, so gut wie möglich auf dem Laufenden zu bleiben.
Die neuesten Trends im KI-Bereich haben generative KI und Technologien wie Vektordatenbanken und Retrieval-Augmented-Generation-Techniken hervorgebracht. Diese eröffnen neue Möglichkeiten, bringen aber auch neue Herausforderungen mit sich.
Sie werden nicht mit allem Schritt halten können, aber das sollte Sie nicht zum Aufgeben verleiten. Abonnieren Sie technische Newsletter. Sie können wöchentlich oder monatlich eine Zusammenfassung der neuen Trends in Ihrer Region erhalten. Seien Sie offen für Experimente und probieren Sie neue Dinge aus. Dies verschafft Ihnen und Ihrem Unternehmen einen Wettbewerbsvorteil.
3. Compliance-Regeln kennen ist ein Muss
Als Dateningenieur müssen Sie den Datenschutz berücksichtigen und interne Systeme aufbauen, die den gesetzlichen und Compliance-Anforderungen entsprechen, ohne das Unternehmen zu gefährden. Sie müssen sich mit der DSGVO, CCPA, HIPPA und anderen Vorschriften vertraut machen, die das Unternehmen möglicherweise einhalten muss.
Ich erinnere mich noch, als die Frist für die Umsetzung der DSGVO begann. im Jahr 2018. Alle Unternehmen mussten dringend alles unterbrechen und konform werden. Entwicklungsteams arbeiteten rund um die Uhr daran, ihre Systeme konform zu machen. Die größte Belastung trugen die Daten- und Feature-Teams, die die entsprechenden Funktionen einbauen mussten.
Um das Vertrauen der Kunden aufzubauen und zu erhalten, ist es entscheidend, sicherzustellen, dass die Benutzerdaten sicher sind und alle Verarbeitungsvorgänge und Richtlinien für die Benutzer transparent sind. Der einfachste Weg, das Vertrauen der Kunden zu verlieren, besteht darin, ihre Daten nicht gut zu verwalten.
Dateningenieure müssen mit Rechts- und Produktmanagern zusammenarbeiten, um sicherzustellen, dass bei allen Datenflüssen die Datenschutzbestimmungen eingehalten werden, und diese Flüsse aktualisieren, wenn sich die Bestimmungen ändern.
4. Verbraucher werden Ihre Arbeit nicht sehen
Wenn Sie meinen, dass es bei der Datentechnik um die Entwicklung verbraucherorientierter Funktionen geht, liegen Sie höchstwahrscheinlich falsch.
Die Produkte, an denen Dateningenieure die meiste Zeit arbeiten, sind Datenplattformsysteme und -funktionen. Diese Systeme unterstützen die Geschäftsanforderungen des Unternehmens. In den meisten Unternehmen ist das Datenteam ein horizontales Team, das Systeme und Pipelines zum Strukturieren und Verarbeiten der Daten erstellt.
Aufgrund der horizontalen Arbeit haben Dateningenieure verschiedene interne Kunden – von anderen Softwareteams bis hin zu Produktmanagern, Analysten und Führungskräften –, die wertvolle Informationen zur Geschäftsführung benötigen.
Dateningenieure arbeiten nur indirekt an Features und Funktionen für Verbraucher. Dennoch beeinflussen ihre Aktivitäten die Entwicklung des Produkts, indem sie Analysen und Einblicke in den Markt und die Art und Weise liefern, wie Kunden es nutzen.
Data Engineering ist ein spannendes Feld, das sich rasch weiterentwickelt
Die rasante Entwicklung der Datentechnik ist der Schlüssel zur Entwicklung besserer KI-Modelle. Aber bevor Sie sich in die Materie stürzen, sollten Sie die vier vorgestellten Punkte im Hinterkopf behalten. Auf diese Weise haben Sie Ihre Erwartungen festgelegt und wissen, worauf Sie sich einlassen.
Data Engineering ist ein Job, bei dem Sie mit verschiedenen Interessengruppen interagieren, von Entwicklungsteams bis hin zu Produktmanagern, Rechtsabteilungen und Führungskräften. Es ist eine grundlegende Rolle für jede moderne Organisation.
Wenn Sie ein Dateningenieur sind und eine interessante Geschichte über den Job erzählen möchten, senden Sie bitte eine E-Mail an Manseen Logan unter [email protected].