توضیحات

آموزش ضروریات مهندسی داده با پایتون , SQL و PySpark

نام دوره : Data Engineering Essentials using SQL, Python, and PySpark

پیش نیاز:

• لپ تاپ با پیکربندی مناسب (حداقل 4 گیگابایت رم و دو هسته ای)
• راه‌اندازی آزمایشگاه پشتیبانی خود روی پلت‌فرم‌های ابری (مگر اینکه اعتبار داشته باشید، ممکن است مجبور باشید هزینه‌های مربوط به ابر را بپردازید)
• مدرک CS یا IT یا تجربه قبلی IT بسیار مورد نظر است

توضیحات:

به عنوان بخشی از این دوره، شما تمام اصول مهندسی داده مربوط به ساخت خطوط لوله داده با استفاده از SQL، Python به عنوان Hadoop، Hive یا Spark SQL و همچنین PySpark Data Frame APIs را خواهید آموخت.

همچنین چرخه عمر توسعه و استقرار برنامه های پایتون را با استفاده از Docker و همچنین PySpark در خوشه های چند گره درک خواهید کرد.

همچنین دانش اولیه ای در مورد بررسی Spark Jobs با استفاده از Spark UI کسب خواهید کرد.

درباره مهندسی داده

مهندسی داده چیزی نیست جز پردازش داده ها بسته به نیازهای پایین دست ما.

ما باید خطوط لوله مختلفی مانند خط لوله دسته ای، خط لوله جریان و غیره را به عنوان بخشی از مهندسی داده بسازیم.

تمام نقش های مربوط به پردازش داده ها تحت مهندسی داده ادغام شده است. به طور متعارف، آنها به عنوان توسعه ETL، توسعه انبار داده و غیره شناخته می شوند.

در اینجا برخی از چالش هایی که زبان آموزان برای یادگیری مهارت های مهندسی داده های کلیدی مانند Python، SQL، PySpark و غیره با آن مواجه هستند، آورده شده است.

• داشتن یک محیط مناسب با همکاری Apache Hadoop، Apache Spark، Apache Hive و غیره.
• محتوای با کیفیت خوب با پشتیبانی مناسب.
• کارها و تمرین های کافی برای تمرین

دوره آموزش ضروریات مهندسی داده با پایتون , SQL و PySpark برای رسیدگی به این چالش های کلیدی برای حرفه ای ها در تمام سطوح طراحی شده است تا مهارت های مهندسی داده مورد نیاز (پایتون، SQL و آپاچی اسپارک) را کسب کنند.

• تنظیم محیط برای یادگیری ملزومات مهندسی داده مانند SQL (با استفاده از Postgres)، پایتون و غیره.
• برای تمرین SQL جداول مورد نیاز را در Postgres تنظیم کنید
• نوشتن پرس و جوهای اولیه SQL با مثال های عملی با استفاده از WHERE، JOIN، GROUP BY، HAVING، ORDER BY و غیره
• پرس و جوهای پیشرفته SQL با مثال های عملی مانند تجمعات تجمعی، رتبه بندی و غیره
• سناریوهایی که عیب یابی و اشکال زدایی مربوط به پایگاه های داده را پوشش می دهند.
• تنظیم عملکرد پرس و جوهای SQL
• تمرین ها و راه حل ها برای پرس و جوهای SQL.
• مبانی برنامه نویسی با استفاده از پایتون به عنوان زبان برنامه نویسی
• مجموعه‌های پایتون برای مهندسی داده
• پردازش داده یا مهندسی داده با استفاده از پانداها
• ۲ پروژه Real Time Python با توضیحات (تبدیل فرمت فایل و بارگذار پایگاه داده)
• سناریوهایی که عیب یابی و اشکال زدایی در برنامه های پایتون را پوشش می دهند
• سناریوهای تنظیم عملکرد مربوط به برنامه های مهندسی داده با استفاده از پایتون
• شروع به کار با Google Cloud Platform برای راه اندازی Spark Environment با استفاده از Databricks
• نوشتن Queries Basic Spark SQL با مثال های عملی با استفاده از WHERE، JOIN، GROUP BY، HAVING، ORDER BY و غیره
• ایجاد جداول دلتا در Spark SQL به همراه عملیات CRUD مانند INSERT، UPDATE، DELETE، MERGE و غیره
• جستجوهای پیشرفته Spark SQL با مثال های کاربردی مانند رتبه بندی
• ادغام Spark SQL و Pyspark
• پوشش عمیق Apache Spark Catalyst Optimizer برای تنظیم عملکرد
• خواندن توضیح طرح‌های Spark SQL Queries یا Pyspark Data Frame API
• پوشش عمیق فرمت های فایل ستونی و تنظیم عملکرد با استفاده از پارتیشن بندی

دوره آموزش ضروریات مهندسی داده با پایتون , SQL و PySpark برای چه کسانی است:

• دانش‌آموزان علوم کامپیوتر یا فناوری اطلاعات یا دیگر فارغ‌التحصیلان علاقه‌مند به ورود به فناوری اطلاعات
• توسعه دهندگان ETL که می خواهند به نقش های مهندسی داده منتقل شوند
• توسعه دهندگان پایگاه داده یا PL/SQL که می خواهند به نقش های مهندسی داده منتقل شوند
• توسعه دهندگان BI که می خواهند به نقش های مهندسی داده منتقل شوند
• توسعه دهندگان برنامه برای کسب مهارت های مهندسی داده

بخشی از دوره :