Erfahren Sie mehr über die wichtigsten Schritte bei der Datenaufbereitung für ein ML-Projekt und warum sie wichtig sind. Entdecken Sie Tipps und Best Practices, um Rohdaten in ein geeignetes Format für Analyse, Modellierung und Auswertung umzuwandeln.

"You’re in the top 1% of quality contributors to Machine Learning." Just stumbled on this on my profile.. Say I want to clean this for an NLP project, depending on what I want to achieve on the project, I may want to first convert all characters to lowercase ("you’re in the top 1% of quality contributors to machine learning."), remove the numbers (remove "1"), punctautions (remove "%", and "." ), tokenizing (to have individual words), remove the stop words ("you", "are", "in", "the", "of", and "to"), stemming or Lemmatization (for example - contributors becomes contributor with lemmatization)), and maybe do some feature extraction (like Bag of Words, TF-IDF, ...), we could also do Part of Speech tagging depending the purpose of the project.

Among the numerous steps involved in data preparation, feature engineering stands out as a particularly critical phase. This process involves creating new features from the existing data to better capture underlying patterns, improve model accuracy, and enhance overall predictive power. For instance, in credit scoring, raw data like age and income might be used to derive a debt-to-income ratio, which can be more predictive of creditworthiness. Similarly, in healthcare, attributes such as age and weight could lead to derived features like body mass index (BMI), crucial for disease prediction models.

Last updated on 28. Apr. 2024

Was sind die wichtigsten Schritte bei der Datenaufbereitung für ein ML-Projekt?

Bereitgestellt von KI und der LinkedIn Community

Die Datenaufbereitung ist eine entscheidende Phase in jedem Machine-Learning-Projekt. Dabei geht es darum, Rohdaten in ein geeignetes Format für Analyse, Modellierung und Auswertung zu überführen. Die Datenaufbereitung kann bis zu 80 % der Zeit und Ressourcen eines ML-Projekts in Anspruch nehmen, daher ist es wichtig, einige Best Practices und Schritte zu befolgen, um einen reibungslosen und effizienten Prozess zu gewährleisten. In diesem Artikel erfahren Sie, was die wichtigsten Schritte bei der Datenaufbereitung für ein ML-Projekt sind und warum sie wichtig sind.

Top-Expert:innen in diesem Artikel

Von der Community unter 5 Beiträgen ausgewählt. Mehr erfahren

1 Definieren Sie das Problem

Der erste Schritt bei der Datenaufbereitung besteht darin, das Problem zu definieren, das Sie mit maschinellem Lernen lösen möchten. Auf diese Weise können Sie die Datenquellen, die Zielvariable, die Auswertungsmetriken und die Geschäftsziele Ihres Projekts identifizieren. Sie sollten auch eine explorative Datenanalyse durchführen (EDA) um die Eigenschaften, die Verteilung und die Qualität Ihrer Daten zu verstehen. EDA kann Ihnen dabei helfen, Muster, Ausreißer, fehlende Werte und potenzielle Fehler in Ihren Daten zu erkennen.

Fügen Sie Ihre Sichtweise hinzu

Sanjay Kumar MBA,MS,PhD
Beitrag melden
The initial step in data preparation involves defining the problem you intend to address using machine learning. This process assists in identifying data sources, the target variable, evaluation metrics, and project objectives. Exploratory Data Analysis (EDA) is also crucial, allowing you to gain insights into data characteristics, distributions, and quality. EDA aids in uncovering data patterns, outliers, missing values, and potential errors, contributing to a better understanding of the dataset.

Übersetzt

Gefällt mir

2 Bereinigen der Daten

Der nächste Schritt bei der Datenvorbereitung besteht darin, die Daten zu bereinigen, indem Fehler, Inkonsistenzen oder Anomalien behoben oder entfernt werden, die sich auf die Leistung oder Genauigkeit Ihres ML-Modells auswirken könnten. Wenn Sie fehlende Werte behandeln, können Sie sie je nach Art und Menge der Daten löschen, imputieren oder ignorieren. Ausreißer können je nach Verteilung und Auswirkung gelöscht, umgewandelt oder ignoriert werden. Doppelte Datensätze können je nach Quelle und Relevanz gelöscht oder zusammengeführt werden. Schließlich können fehlerhafte Werte je nach Ursache und Schweregrad der Daten korrigiert oder gelöscht werden.

Fügen Sie Ihre Sichtweise hinzu

Mojeed Abisiga

Top 50 ML & Data Science Experts | Award-winning Data & Analytics Leader | Public Speaker | 15,000+ Followers ~ I make Data Science & Analytics easy for everyone ~
Beitrag melden
"You’re in the top 1% of quality contributors to Machine Learning." Just stumbled on this on my profile.. Say I want to clean this for an NLP project, depending on what I want to achieve on the project, I may want to first convert all characters to lowercase ("you’re in the top 1% of quality contributors to machine learning."), remove the numbers (remove "1"), punctautions (remove "%", and "." ), tokenizing (to have individual words), remove the stop words ("you", "are", "in", "the", "of", and "to"), stemming or Lemmatization (for example - contributors becomes contributor with lemmatization)), and maybe do some feature extraction (like Bag of Words, TF-IDF, ...), we could also do Part of Speech tagging depending the purpose of the project.

Übersetzt

Gefällt mir

3 Transformieren der Daten

Im dritten Schritt der Datenvorbereitung können Sie verschiedene Techniken oder Vorgänge anwenden, um die Daten zu transformieren, um Features zu verbessern, die Dimensionalität zu verringern oder den Maßstab zu normalisieren. Die Codierung kategorialer Variablen kann z. B. je nach Typ und Anzahl der Kategorien mit One-Hot-Codierung, Labelcodierung oder ordinaler Codierung erfolgen. In ähnlicher Weise können numerische Variablen je nach Skalierung und Varianz der Daten mithilfe von Standardisierung, Normalisierung oder Min/Max-Skalierung skaliert werden. Darüber hinaus kann Feature Engineering neue Features aus vorhandenen Daten basierend auf Domänenwissen und Relevanz erstellen, auswählen oder extrahieren. Schließlich kann die Merkmalsreduzierung mithilfe von Methoden wie PCA, LDA oder Merkmalsauswahl die Anzahl der Merkmale basierend auf der Korrelation und Wichtigkeit der Daten reduzieren.

Fügen Sie Ihre Sichtweise hinzu

Som Sagar

PhD @ Arizona State University | Generative AI, Large Models, Reinforcement Learning
Beitrag melden
Among the numerous steps involved in data preparation, feature engineering stands out as a particularly critical phase. This process involves creating new features from the existing data to better capture underlying patterns, improve model accuracy, and enhance overall predictive power. For instance, in credit scoring, raw data like age and income might be used to derive a debt-to-income ratio, which can be more predictive of creditworthiness. Similarly, in healthcare, attributes such as age and weight could lead to derived features like body mass index (BMI), crucial for disease prediction models.

Übersetzt

Gefällt mir
Sanjay Kumar MBA,MS,PhD
Beitrag melden
In the third step of data preparation, you apply various techniques to transform the data, improving features, reducing dimensionality, or normalizing scale. For instance, encoding categorical variables can be achieved through methods like one-hot encoding, label encoding, or ordinal encoding, chosen based on the category type and count. Numerical variables can be scaled using standardization, normalization, or min-max scaling, depending on their scale and variance. Feature engineering allows the creation, selection, or extraction of new features based on domain knowledge and relevance.

Übersetzt

Gefällt mir

4 Aufteilen der Daten

Der vierte Schritt bei der Datenaufbereitung besteht darin, die Daten in Trainings-, Validierungs- und Testsätze aufzuteilen. Auf diese Weise können Sie eine Überanpassung, Unteranpassung oder Verzerrung in Ihrem ML-Modell vermeiden. Der Trainingssatz wird verwendet, um das Modell zu trainieren, der Validierungssatz wird verwendet, um die Hyperparameter zu optimieren, und der Testsatz wird verwendet, um die endgültige Leistung zu bewerten. Sie sollten auch sicherstellen, dass die Daten ausgewogen und repräsentativ für die Grundgesamtheit sind, und geschichtete Stichproben- oder Kreuzvalidierungsmethoden verwenden, um die Verteilung und den Anteil der Daten beizubehalten.

Fügen Sie Ihre Sichtweise hinzu

5 Erweitern Sie die Daten

Der fünfte Schritt bei der Datenaufbereitung besteht darin, die Daten zu erweitern, indem neue Daten aus den vorhandenen Daten generiert oder synthetisiert werden. Dies kann dazu beitragen, die Vielfalt, Quantität und Qualität der Daten zu erhöhen. Die Datenerweiterung ist besonders nützlich für Bild-, Text- oder Audiodaten. Sie können Transformationen oder Änderungen anwenden, um neue Variationen der Daten zu erstellen. Beispiele für gängige Techniken zur Datenerweiterung sind das Spiegeln, Drehen, Zuschneiden oder Ändern der Größe von Bildern. Hinzufügen von Rauschen, Verzerrungen oder Filtern zu Bildern oder Audiodateien; Ändern der Helligkeit, des Kontrasts oder der Farbe von Bildern; Übersetzen, Paraphrasieren oder Zusammenfassen von Texten; und das Hinzufügen von Synonymen, Antonymen oder Rechtschreibfehlern zu Text.

Fügen Sie Ihre Sichtweise hinzu

6 Dokumentieren Sie die Daten

Der letzte Schritt bei der Datenaufbereitung besteht darin, die Daten zu dokumentieren und die Schritte, Entscheidungen und Ergebnisse des Prozesses aufzuzeichnen und zu erläutern. Dies trägt dazu bei, die Reproduzierbarkeit, Transparenz und Qualität der Daten zu gewährleisten und die Kommunikation und Zusammenarbeit mit anderen Stakeholdern zu ermöglichen. Zu den gängigen Datendokumentationstools gehören Datenwörterbücher, die Metadaten zu jeder Variablen im Datensatz bereitstellen. Datenherkunftsdiagramme, die den Ursprung, den Fluss und die Transformation der Daten zeigen; und Datenqualitätsberichte, die Statistiken, Metriken und Probleme im Zusammenhang mit der Qualität der Daten zusammenfassen.

Fügen Sie Ihre Sichtweise hinzu

7 Hier erfahren Sie, was Sie sonst noch beachten sollten

Dies ist ein Bereich, in dem Beispiele, Geschichten oder Erkenntnisse geteilt werden können, die in keinen der vorherigen Abschnitte passen. Was möchten Sie noch hinzufügen?

Fügen Sie Ihre Sichtweise hinzu

Ankita Kaushik

Senior Data Scientist at IQVIA| Ex-Evalueserve | Data Scientist | Data Analytics | Data Science Manager
Beitrag melden
In data preparation there are many factors that can be taken into consideration while dealing with big data. For eg: data cleaning steps as per business logic, EDA, feature extraction, treating missing values, handling biased/imbalanced dataset, scaling techniques, sampling using train and test dataset, creating dummy variables if business allows. Sometime business assumptions will also be taken into considerations while preparing the dataset for modeling.

Übersetzt

Gefällt mir

Maschinelles Lernen

+ Folgen

Diesen Artikel bewerten

Wir haben diesen Artikel mithilfe von KI erstellt. Wie finden Sie ihn?

Sehr gut Geht so

Diesen Artikel melden

Alle anzeigen

Was sind die wichtigsten Schritte bei der Datenaufbereitung für ein ML-Projekt?

1

2

3

4

5

6

7

1 Definieren Sie das Problem

2 Bereinigen der Daten

3 Transformieren der Daten

4 Aufteilen der Daten

5 Erweitern Sie die Daten

6 Dokumentieren Sie die Daten

7 Hier erfahren Sie, was Sie sonst noch beachten sollten

Maschinelles Lernen

Diesen Artikel bewerten

Vielen Dank für Ihr Feedback

Weitere Artikel zu Maschinelles Lernen

Relevantere Lektüre

Was sind die wichtigsten Schritte bei der Datenaufbereitung für ein ML-Projekt?

1

2

3

4

5

6

7

1 Definieren Sie das Problem

2 Bereinigen der Daten

3 Transformieren der Daten

4 Aufteilen der Daten

5 Erweitern Sie die Daten

6 Dokumentieren Sie die Daten

7 Hier erfahren Sie, was Sie sonst noch beachten sollten

Maschinelles Lernen

Diesen Artikel bewerten

Vielen Dank für Ihr Feedback

Andere Kenntnisse ansehen