توضیحات

تحلیل و آنالیز داده های بزرگ با Apache Spark و Scala (اسکالا)

نام دوره : Apache Spark with Scala – Hands On with Big Data!

به روز رسانی 4/2022 تهیه شده رسمی یودمی ایران

پیش نیاز:

• برخی از تجربه های قبلی برنامه نویسی یا اسکریپت مورد نیاز است. یک دوره سرعتی آموزش اسکالا گنجانده شده است، اما برای درک آن باید اصول برنامه نویسی را بدانید.
• شما به یک کامپیوتر رومیزی و اتصال به اینترنت نیاز دارید. این دوره با در نظر گرفتن ویندوز ایجاد شده است، اما کاربرانی که با MacOS یا Linux راحت هستند می توانند از ابزارهای مشابه استفاده کنند.
• نرم افزار مورد نیاز این دوره به صورت رایگان در دسترس است و من شما را با دانلود و نصب آن راهنمایی خواهم کرد.

توضیحات:

جدید! به طور کامل برای Spark 3، IntelliJ، Structured Streaming و تمرکز قوی‌تر روی DataSet API به‌روزرسانی و دوباره ضبط شده است.

تجزیه و تحلیل “داده های بزرگ” یک مهارت داغ و بسیار ارزشمند است – و این دوره به شما داغ ترین فناوری در داده های بزرگ را آموزش می دهد: Apache Spark .

کارفرمایان از جمله Amazon ، EBay ، NASA JPL ، و Yahoo همگی از Spark برای استخراج سریع معنی از داده های عظیم استفاده می کنند.

در یک خوشه هدوپ مقاوم در برابر خطا قرار می گیرد. شما همان تکنیک ها را با استفاده از سیستم ویندوز خود در خانه یاد خواهید گرفت. این ساده تر از چیزی است که فکر می کنید، و از یک مهندس سابق و مدیر ارشد از آمازون و IMDb.

اسپارک هنگام استفاده از زبان برنامه نویسی اسکالا بهترین کار را انجام می دهد و این دوره شامل یک دوره آموزشی سرعتی در اسکالا می باشد تا شما را به سرعت بالا ببرید.

با این حال، برای کسانی که بیشتر با پایتون آشنا هستند، نسخه پایتون این کلاس نیز در دسترس است: “آنالیز داده های بزرگ با اسپارک آپاچی و پایتون – Hands On“.

از طریق بیش از 20 مثال عملی ، هنر قاب بندی مسائل تجزیه و تحلیل داده ها را به عنوان مشکلات Spark بیاموزید و به آن مسلط شوید و سپس آنها را برای اجرای سرویس های رایانش ابری در این دوره مقیاس دهید.

شما در دوره تحلیل و آنالیز داده های بزرگ با Apache Spark و Scala (اسکالا)  می آموزید:

• مفاهیم مجموعه داده های توزیع شده انعطاف پذیر Spark، DataFrames و Datasets را بیاموزید.
• یک دوره کرش در زبان برنامه نویسی اسکالا دریافت کنید
• کارهای Spark را به سرعت با استفاده از Scala، IntelliJ و SBT توسعه داده و اجرا کنید
• مسائل تجزیه و تحلیل پیچیده را به اسکریپت های Spark تکراری یا چند مرحله ای ترجمه کنید
• با استفاده از سرویس Elastic MapReduce آمازون، مجموعه داده‌های بزرگ‌تری را افزایش دهید
• درک کنید که Hadoop YARN چگونه Spark را در میان خوشه های محاسباتی توزیع می کند
• با استفاده از سایر فناوری‌های Spark، مانند Spark SQL، DataFrames، DataSets، Spark Streaming، Machine Learning و GraphX ​​تمرین کنید.

در پایان دوره تحلیل و آنالیز داده های بزرگ با Apache Spark و Scala (اسکالا) ، کدی را اجرا می‌کنید که در عرض چند دقیقه اطلاعات گیگابایت را – در فضای ابری – تجزیه و تحلیل می‌کند.

ما در طول راه کمی سرگرم خواهیم شد. با چند مثال ساده استفاده از Spark برای تجزیه و تحلیل داده‌های رتبه‌بندی فیلم و متن در یک کتاب، گرم می‌شوید.

هنگامی که اصول اولیه را در دست گرفتید، به سراغ کارهای پیچیده تر و جالب تر می رویم.

ما از یک میلیون رتبه‌بندی فیلم برای یافتن فیلم‌هایی که شبیه یکدیگر هستند استفاده می‌کنیم، و حتی ممکن است در این فرآیند فیلم‌های جدیدی را که ممکن است دوست داشته باشید کشف کنید!

ما یک نمودار اجتماعی از ابرقهرمانان را تجزیه و تحلیل خواهیم کرد و خواهیم فهمید که “محبوب ترین” ابرقهرمان کیست – و سیستمی برای یافتن “درجات جدایی” بین ابرقهرمانان ایجاد می کنیم.

آیا همه ابرقهرمانان مارول در فاصله چند درجه ای از اتصال به هالک شگفت انگیز هستند؟ جواب را خواهید یافت

این دوره بسیار عملی است. شما بیشتر وقت خود را صرف دنبال کردن با مربی خواهید کرد، زیرا ما با هم کد واقعی را می نویسیم، تجزیه و تحلیل می کنیم، و کد واقعی را اجرا می کنیم .

هم در سیستم خود و هم در فضای ابری با استفاده از سرویس Elastic MapReduce آمازون.

دوره تحلیل و آنالیز داده های بزرگ با Apache Spark و Scala (اسکالا) برای چه کسانی است:

• مهندسان نرم افزاری که می خواهند مهارت های خود را در دنیای پردازش داده های بزرگ در یک خوشه گسترش دهند
• اگر تجربه قبلی برنامه نویسی یا اسکریپت نویسی ندارید، ابتدا باید یک دوره برنامه نویسی مقدماتی را بگذرانید

بخشی از دوره :