Musterdepot anlegen test

1: Es gibt Bemühungen rund um AutoML, Methoden und Tools zu erstellen, um viele der Schritte im ML-Entwicklungsprozess zu automatisieren. Eine andere Art von Test, der für Datenpipelines relevant ist, ist eine Datenqualitätsprüfung, die jedoch zu einem weiteren ausführlichen Diskussionsthema werden kann und wahrscheinlich besser in einem separaten Artikel behandelt werden sollte. Experimentieren Sie kontinuierlich mit neuen Implementierungen, um das Modell zu erstellen: Um die neuesten Ideen und Technologischen Fortschritte zu nutzen, müssen Sie neue Implementierungen wie Feature Engineering, Modellarchitektur und Hyperparameter ausprobieren. Wenn Sie z. B. Computervision bei der Gesichtserkennung verwenden, werden Gesichtsmuster fixiert, aber bessere neue Techniken können die Erkennungsgenauigkeit verbessern. Wir können unseren Anwendungscode instrumentieren, um die Modelleingaben und Vorhersagen als Ereignis in FluentD zu protokollieren: Durch die schrittweise Bewältigung jeder technischen Herausforderung und die Verwendung einer Vielzahl von Tools und Technologien ist es uns gelungen, den in Abbildung 10 dargestellten End-to-End-Prozess zu erstellen, der die Heraufstufung von Artefakten auf allen drei Achsen verwaltet: Code, Modell und Daten. Um komplexere Bereitstellungsszenarien zu unterstützen, profitieren Sie von der Verwendung elastischer Infrastrukturen. Es ermöglicht Ihnen nicht nur, diese verschiedenen Modelle in der Produktion auszuführen, sondern auch die Zuverlässigkeit und Skalierbarkeit Ihres Systems zu verbessern, indem Sie bei Bedarf mehr Infrastruktur aufbauen. Abbildung 2. Manuelle ML-Schritte, um das Modell als Vorhersagedienst zu bedienen.

Da Datenpipelines in der Regel entweder als Batchauftrag oder als lang andauernde Streaminganwendung ausgeführt werden, haben wir sie nicht in das End-to-End-CD4ML-Prozessdiagramm in Abbildung 10 aufgenommen, aber sie sind auch eine weitere potenzielle Quelle von Integrationsproblemen, wenn sie die Ausgabe ändern, die entweder Ihr Modell oder Ihre Anwendung erwarten. Daher streben wir integrations- und Datenvertragstests als Teil unserer Bereitstellungspipelines an, um diese Fehler zu erfassen. Bei jeder Ausführung wird eine entsprechende Datei erstellt, die an die Versionskontrolle gebunden werden kann und die es anderen Personen ermöglicht, die gesamte ML-Pipeline zu reproduzieren, indem sie den Befehl dvc repro ausführen. MLflow Models versucht, eine Standardmethode für die Verpackung von Modellen in verschiedenen Geschmacksrichtungen bereitzustellen, die von verschiedenen nachgeschalteten Werkzeugen verwendet werden können, einige im « Modell als Dienstleistung », einige im Muster « eingebettetes Modell ». Es genügt zu sagen, dass dies ein aktueller Bereich der Entwicklung ist und verschiedene Tools und Anbieter arbeiten daran, diese Aufgabe zu vereinfachen. Aber es bedeutet, dass es keinen klaren Standard (offen oder proprietär) gibt, der noch als klarer Gewinner angesehen werden kann, und daher müssen Sie die richtige Option für Ihre Bedürfnisse bewerten.