توضیحات

آموزش صفر تا صد کار با Apache Airflow

نام دوره: Apache Airflow: The Hands-On Guide

در تاریخ 3/2023 مدرس یادداشت زیر را به دوره اضافه کرده:

لینک یادداشت

پیش نیاز:

• مفاهیم داکر و پایتون
• نصب Virtual Box (فقط برای بخش Kubernetes cluster)
• Vagrant نصب شده باشد

توضیحات:

Apache Airflow پلتفرمی است که توسط انجمنی ایجاد شده تا به صورت برنامه‌نویسی، برنامه‌ریزی و نظارت بر گردش‌های کاری ایجاد شود.

مقیاس پذیر , پویا , توسعه پذیر و مدوله پذیر است .

بدون هیچ شکی، تسلط بر Airflow برای هر کسی که با داده کار می کند به یک مهارت ضروری و جذاب تبدیل می شود.

آنچه در دوره آموزش صفر تا صد کار با Apache Airflow یاد خواهید گرفت:

اصول Airflow مانند جریان Air چیست، زمانبندی و وب سرور چگونه کار می کند توضیح داده شده است

پروژه فارکس Data Pipeline روشی باورنکردنی برای کشف بسیاری از اپراتورها در Airflow و مقابله با Slack، Spark، Hadoop و موارد دیگر است.

تسلط بر DAG های خود اولویت اصلی است و شما می توانید با مناطق زمانی ، واحد تست DAG های خود ، نحوه ساختار پوشه DAG خود و موارد دیگر بازی کنید.

مقیاس‌بندی Airflow از طریق اجراکننده‌های مختلف مانند Local Executor ، Celery Executor و Kubernetes Executor به تفصیل توضیح داده خواهد شد.

شما خواهید فهمید که چگونه کارگران خود را متخصص کنید ، چگونه کارگران جدید اضافه کنید ، چه اتفاقی می افتد وقتی یک گره از کار می افتد .

یک خوشه Kubernetes از 3 گره با Rancher ، Airflow و Kubernetes Executor به صورت محلی برای اجرای خطوط لوله داده شما راه اندازی می شود.

مفاهیم پیشرفته از طریق مثال‌های عملی مانند الگوسازی DAG‌های شما ، نحوه وابسته کردن DAG به دیگری ، Subdags و بن‌بست‌ها و موارد دیگر نشان داده می‌شود.

شما یک خوشه Kubernetes را در فضای ابری با AWS EKS و Rancher راه‌اندازی خواهید کرد تا از Airflow به همراه Kubernetes Executor استفاده کنید.

نظارت بر Airflow بسیار مهم است ! به همین دلیل است که یاد می گیرید چگونه این کار را با Elasticsearch و Grafana انجام دهید .

به منظور سازگاری نمونه Airflow شما با شرکت شما، امنیت نیز بررسی خواهد شد.

تعیین نقش‌ها و مجوزها برای کاربران خود با RBAC ، جلوگیری از دسترسی به رابط کاربری Airflow با احراز هویت و رمز عبور، رمزگذاری داده‌ها و موارد دیگر.

در پایان دوره، اعتماد به نفس بیشتری نسبت به استفاده از Airflow خواهید داشت

دوره آموزش صفر تا صد کار با Apache Airflow برای چه کسانی است:

• مهندسان داده
• DevOps
• مهندسین نرم افزار
• دانشمندان داده

بخشی از دوره :