Dagster

Dagster：用于构建、扩展和观察人工智能和数据管道的统一控制平面，通过与 Snowflake 和 BigQuery 等仓库的集成来编排 ETL/ELT 管道和数据转换（dbt、Databricks、Python） 用于构建、扩展和观察人工智能和数据管道的统一控制平面；通过与 Snowflake 和 BigQuery 等仓库的集成来编排 ETL/ELT 管道和数据转换（dbt、Databricks、Python）；对 AI/ML 工作流程的本机支持，包括数据准备、模型训练和实验跟踪；将可观察性和沿袭与内置沿袭、实时健康指标、警报和自动生成的数据集文档集成。 使用 Dagster 编排端到端 ETL/ELT 工作流程，集成 dbt、Databricks、Python 和 SaaS 源，将数据加载和转换到您的仓库中、安排作业、监控运行和数据集沿袭，并加强治理和企业安全；使用 Dagster 自动化 AI/ML 管道编排，以协调数据摄取、特征工程、Databricks 上的分布式模型训练、模型沿袭和版本控制，以及具有实时可观察性和警报的持续再训练；使用 Dagster 跨管道捕获元数据和沿袭，为分析师提供可搜索的数据目录，应用访问控制和治理策略，并监控生产中的数据质量和来源，从而集中数据集编目和合规性。