Apache Airflow gestionat a AWS: nou servei AWS per a canonades de dades

Bloc

Apache Airflow gestionat a AWS: nou servei AWS per a canonades de dades

Els fluxos de treball gestionats per AWS per a Apache Airflow (MWAA) ja estan disponibles; val la pena provar-ho?

Apache Airflow s’ha llançat inicialment com a producte de codi obert el 2015 [1]. Des de la seva creació, va guanyar molta tracció a la comunitat d'enginyeria de dades a causa de la seva capacitat per desenvolupar canonades de dades amb Python, la seva extensibilitat, una àmplia gamma d'operadors i una comunitat de codi obert. Tot i la seva popularitat, desplegar Airflow en un entorn de producció robust i segur sempre ha estat un repte.

vista-router mecanoscrit

De fet, hi ha empreses ( tal com Astrònom ) , consultors (a. Polidea i GoDataDriven ) i serveis al núvol (tal com Google Cloud Composer o molts AWS Mercat ofertes) especialitzada en oferir suport empresarial per al desplegament i la gestió d'entorns de flux d'aire. AWS ara també entra en aquest mercat.

El nou servei totalment gestionat d’AWS us permet crear un entorn de flux d’aire preparat per a la producció amb uns quants clics a la consola de gestió. En aquest article, analitzarem el seu funcionament i investigarem en què es diferencia de les ofertes de flux d’aire gestionat de la competència.

mapa javascript amb índex

# ciència de dades # enginyeria de dades #aws # apache-airflow

towardsdatascience.com

Apache Airflow gestionat a AWS: nou servei AWS per a canonades de dades

Apache Airflow gestionat a AWS: nou servei AWS per a canonades de dades. Ja estan disponibles els fluxos de treball gestionats per AWS per a Apache Airflow (MWAA)? El nou servei totalment gestionat d’AWS us permet crear un entorn de flux d’aire preparat per a la producció amb uns quants clics a la consola de gestió.