توضیحات

آموزش صفر تا صد کار با دریاچه داده در AWS

نام دوره : Data Lake in AWS – Easiest Way to Learn [2024]

پیش‌نیاز:

• داشتن دانش پایه‌ای از AWS مفید است اما الزامی نیست.

توضیحات:

سلام، نام من چندرا لینگام است و من مدرس شما در دوره “دریاچه داده در AWS” خواهم بود.

در این دوره، ابتدا مفاهیم اساسی دریاچه داده (Data Lake) را درک می‌کنیم و بررسی می‌کنیم که چه زمانی استفاده از آن به جای انبار داده (Data Warehouse) راه‌حل مناسب‌تری است.

سپس به اجزای مختلف یک راه‌حل دریاچه داده می‌پردازیم، از جمله توانایی استعلام مستقیم فایل‌ها با استفاده از SQL برای تحلیل سریع داده‌ها.

در طول دوره، به موضوع تغییرات در ساختار فایل‌های دریاچه داده می‌پردازیم.

به سناریوهایی مانند فیلدهای جدید، پارتیشن‌های جدید، تغییرات در انواع داده‌ها و داده‌های مفقود اشاره می‌کنیم و روش‌های مؤثری برای مدیریت این تغییرات مورد بحث قرار می‌دهیم.

همچنین به مدیریت کاتالوگ Glue و تکامل اسکیماها خواهیم پرداخت و بر روی کاهش اختلالات در سیستم‌های پایین‌دستی تمرکز می‌کنیم.

ما همچنین به فرمت‌های مختلف داده مانند CSV، Parquet، Avro و ORC نگاه می‌کنیم و نقاط قوت و ضعف هر یک را بررسی می‌کنیم.

پس از آن، به Glue ETL که یک راه‌حل مبتنی بر Apache Spark برای تبدیل داده است، می‌پردازیم.

دوره آموزش صفر تا صد کار با دریاچه داده در AWS مملو از تمرینات عملی و پروژه‌ها است.

شما مجموعه داده‌ای مربوط به رتبه‌بندی دانشگاه‌ها را تحلیل خواهید کرد که هم ساده و هم مفید است و دارای انواع مختلفی از داده‌ها و مسائل مربوط به کیفیت داده است.

شما یاد خواهید گرفت چگونه از Athena برای استعلام داده‌ها استفاده کنید، مشکلات کیفیت داده را با استفاده از SQL حل کنید و داده‌ها را با استفاده از Glue و Apache Spark ETL پاک‌سازی کنید.

علاوه بر این، دوره شامل تکنیک‌هایی برای ساده‌سازی استعلامات با استفاده از “نماها” (Views) و تجسم داده‌ها با استفاده از Amazon QuickSight است.

برای نشان دادن مقیاس‌پذیری Athena، ما مجموعه داده‌های نظرات مشتریان آمازون که شامل بیش از 130 میلیون نظر است را استعلام خواهیم کرد.

در نهایت، یک برنامه بدون سرور (Serverless) با استفاده از Kinesis Firehose، Lambda، Comprehend AI، Glue، Athena و S3 خواهیم ساخت که می‌تواند تعداد نامحدودی از نظرات مشتریان را پردازش کند، تحلیل احساسات (Sentiment Analysis) انجام دهد و نتایج را در دریاچه داده برای استعلام ذخیره کند.

دوره آموزش صفر تا صد کار با دریاچه داده در AWS برای چه کسانی مناسب است:

• تصمیم‌گیرانی که می‌خواهند دریاچه داده را درک کنند.
• حرفه‌ای‌هایی که با داده‌های ساختاریافته و غیرساختاریافته کار می‌کنند.

بخشی از دوره :