توضیحات

آنالیز و تحلیل داده های بزرگ با Apache Spark و پایتون

نام دوره : Taming Big Data with Apache Spark and Python – Hands On!

دوره در تاریخ 3/2024 به روز رسانی شد

کل دوره از ابتدا دانلود و آپلود شد

کیفیت به 1080 ارتقا یافت

پیش نیاز:

• دسترسی به کامپیوتر شخصی این دوره از ویندوز استفاده می کند، اما کد نمونه روی لینوکس نیز به خوبی کار می کند.
• برخی از تجربه های قبلی برنامه نویسی یا اسکریپت نویسی. تجربه پایتون کمک زیادی به شما خواهد کرد، اما شما می‌توانید آن را در آموزش انتخاب کنید.

توضیحات:

به‌روزرسانی شده برای Spark 3، تمرین‌های عملی بیشتر، و تمرکز قوی‌تر روی DataFrames و Structured Streaming.

تجزیه و تحلیل “داده های بزرگ” یک مهارت  بسیار ارزشمند است – و این دوره به شما داغ ترین فناوری در داده های بزرگ را آموزش می دهد: Apache Spark .

کارفرمایان از جمله Amazon ، EBay ، NASA JPL ، و Yahoo همگی از Spark برای استخراج سریع معنی از داده های عظیم استفاده می کنند.

در یک کلاستر Hadoop مقاوم در برابر خطا قرار می گیرد. شما همان تکنیک ها را با استفاده از سیستم ویندوز خود در خانه یاد خواهید گرفت. این آسان تر از آن چیزی است که فکر می کنید.

از طریق بیش از 20 مثال عملی، هنر چارچوب بندی مسائل تجزیه و تحلیل داده ها را به عنوان مشکلات Spark بیاموزید و به آن مسلط شوید و سپس آنها را برای اجرای سرویس های رایانش ابری افزایش دهید.

شما از یک مهندس سابق و مدیر ارشد آمازون و IMDb یاد خواهید گرفت.

شما در آنالیز و تحلیل داده های بزرگ با Apache Spark و پایتون می آموزید:

• مفاهیم DataFrames Spark و Resilient Distributed Datastores را بیاموزید
• با استفاده از Python و pyspark به سرعت کارهای Spark را توسعه و اجرا کنید
• مسائل تجزیه و تحلیل پیچیده را به اسکریپت های Spark تکراری یا چند مرحله ای ترجمه کنید
• با استفاده از سرویس Elastic MapReduce آمازون، مجموعه داده‌های بزرگ‌تری را افزایش دهید
• درک کنید که Hadoop YARN چگونه Spark را در میان خوشه های محاسباتی توزیع می کند
• درباره سایر فناوری‌های Spark، مانند Spark SQL، Spark Streaming و GraphX ​​بیاموزید

در پایان دوره آنالیز و تحلیل داده های بزرگ با Apache Spark و پایتون، کدی را اجرا می‌کنید که در عرض چند دقیقه اطلاعات گیگابایت را – در فضای ابری – تجزیه و تحلیل می‌کند.

این دوره از زبان برنامه نویسی آشنای پایتون استفاده می کند .

اگر ترجیح می دهید از Scala برای دریافت بهترین عملکرد Spark استفاده کنید، به جای آن دوره آموزشی “Apache Spark with Scala – Hands On with Big Data” را ببینید.

ما در طول راه کمی سرگرم خواهیم شد. با چند مثال ساده استفاده از Spark برای تجزیه و تحلیل داده‌های رتبه‌بندی فیلم و متن در یک کتاب، گرم می‌شوید.

هنگامی که اصول اولیه را در دست گرفتید، به سراغ کارهای پیچیده تر و جالب تر می رویم.

ما از یک میلیون رتبه‌بندی فیلم برای یافتن فیلم‌هایی که شبیه یکدیگر هستند استفاده می‌کنیم، و حتی ممکن است در این فرآیند فیلم‌های جدیدی را که ممکن است دوست داشته باشید کشف کنید!

ما یک نمودار اجتماعی از ابرقهرمانان را تجزیه و تحلیل خواهیم کرد و خواهیم فهمید که “محبوب ترین” ابرقهرمان کیست – و سیستمی برای یافتن “درجات جدایی” بین ابرقهرمانان ایجاد می کنیم.

آیا همه ابرقهرمانان مارول در فاصله چند درجه ای از اتصال به هالک شگفت انگیز هستند؟ جواب را خواهید یافت

این دوره بسیار عملی است. شما بیشتر وقت خود را صرف دنبال کردن با مربی خواهید کرد، زیرا ما با هم کد واقعی را می نویسیم، تجزیه و تحلیل می کنیم، و کد واقعی را اجرا می کنیم .

هم در سیستم خود و هم در فضای ابری با استفاده از سرویس Elastic MapReduce آمازون.

دوره آنالیز و تحلیل داده های بزرگ با Apache Spark و پایتون برای چه کسانی است:

• افرادی با پیشینه توسعه نرم افزاری که می خواهند داغ ترین فناوری را در تجزیه و تحلیل داده های بزرگ بیاموزند
• اگر تا به حال برنامه کامپیوتری یا اسکریپتی ننوشته اید، این دوره هنوز برای شما مناسب نیست. اگر برنامه نویسی برای شما تازگی دارد، پیشنهاد می کنم ابتدا با یک دوره پایتون شروع کنید.
• اگر کار توسعه نرم‌افزار شما شامل پردازش مقادیر زیادی داده است یا شامل پردازش حجم زیادی از داده‌ها می‌شود، باید درباره Spark بدانید.
• اگر در حال آموزش یک حرفه جدید در علم داده یا کلان داده هستید، Spark بخش مهمی از آن است.

بخشی از دوره :