شروع کار با Hadoop

Learning hadoop

شروع کار با Hadoop

Learning hadoop

Learning hadoop
Hadoop مجموعه ای از فناوری است که برای ذخیره و پردازش حجم عظیمی از داده ها استفاده می شود.

شرح دوره:

شروع کار با Hadoop مجموعه ای از فناوری است که برای ذخیره و پردازش حجم عظیمی از داده ها استفاده می شود. در این دوره ، من روی استفاده از Hadoop برای پردازش داده ها تمرکز می کنم ، نه تنظیم و مدیریت آن. ما نگاهی به سناریوهای تجاری می اندازیم که Hadoop یک ابزار مناسب است. همچنین کتابخانه هایی مانند MapReduce 1.0 و MapReduce 2.0 را پوشش خواهم داد. علاوه بر این ، نگاهی به Hive and Pig می اندازیم که اغلب در پیاده سازی Hadoop استفاده می شود. در نهایت ، نحوه تنظیم MapReduce را به شما نشان خواهم داد و برخی دیگر از کتابخانه های جدید Hadoop را به شما نگاه می کنم. اکوسیستم Hadoop پروژه های بزرگ داده را برای مشاغل و سایر سازمان ها ممکن می سازد. بنابراین بیایید شروع کنیم!

جزئیات دوره:

شروع کار با Hadoop هنگام پردازش داده های بزرگ ضروری است – همانطور که برای درک اطلاعات شما مانند سرورها برای ذخیره آنها ضروری است. این دوره آشنایی شما با Hadoop است. فایل سیستم های کلیدی مورد استفاده با Hadoop. موتور پردازش آن ، MapReduce ، و کتابخانه ها و ابزارهای برنامه نویسی متعدد آن. Lynn Langit ، توسعه دهنده و مشاور داده های بزرگ ، نحوه ایجاد یک محیط توسعه Hadoop ، اجرای و بهینه سازی مشاغل MapReduce ، کدگذاری درخواست های اصلی با Hive و Pig و ایجاد گردش کار برای برنامه ریزی مشاغل را نشان می دهد. به علاوه ، درباره عمق و وسعت کتابخانه های موجود Apache Spark که برای استفاده با خوشه Hadoop در دسترس هستند ، و همچنین گزینه هایی برای اجرای مشاغل یادگیری ماشین در یک خوشه Hadoop ، بیاموزید.

Introduction

معرفی

Getting started with Hadoop شروع کار با Hadoop
What you should know before watching this course آنچه باید قبل از تماشای این دوره بدانید
Using cloud services استفاده از خدمات ابری

1. Why Change?

1. چرا تغییر کنیم؟

Limits of relational database management systems محدودیت های سیستم های مدیریت پایگاه داده رابطه ای
Introducing CAP (consistency, availability, partitioning) معرفی CAP (ثبات ، در دسترس بودن ، تقسیم بندی)
Understanding big data درک داده های بزرگ

2. What Is Hadoop?

2. Hadoop چیست؟

Introducing Hadoop معرفی Hadoop
Understanding Hadoop distributions آشنایی با توزیع های Hadoop
Understanding the difference between HBase and Hadoop درک تفاوت بین HBase و Hadoop
Exploring the future of Hadoop بررسی آینده Hadoop

3. Understanding Hadoop Core Components

3. درک اجزای هسته Hadoop

Understanding Java Virtual Machines (JVMs) آشنایی با ماشینهای مجازی جاوا (JVM)
Exploring HDFS and other file systems بررسی HDFS و سایر فایل سیستم ها
Introducing Hadoop cluster components معرفی اجزای خوشه Hadoop
Introducing Hadoop Spark معرفی Hadoop Spark
Exploring the Apache and Cloudera Hadoop distributions بررسی توزیع های آپاچی و کلودرا هادوپ
Using the public cloud to host Hadoop: AWS or GCP استفاده از ابر عمومی برای میزبانی Hadoop: AWS یا GCP

4. Setting up Hadoop Development Environment

4. راه اندازی محیط توسعه Hadoop

Understanding the parts and pieces درک قطعات و قطعات
Hosting Hadoop locally with the Cloudera developer distribution میزبانی Hadoop به صورت محلی با توزیع توسعه دهندگان Cloudera
Setting up the Cloudera Hadoop developer virtual machine راه اندازی ماشین مجازی توسعه دهنده Cloudera Hadoop
Adding Hadoop libraries to your test environment افزودن کتابخانه های Hadoop به محیط آزمایش خود
Picking your programming language and IDE انتخاب زبان برنامه نویسی و IDE
Use GCP Dataproc for development برای توسعه از GCP Dataproc استفاده کنید

5. Understanding MapReduce 1.0

5. درک MapReduce 1.0

Understanding MapReduce 1.0 درک MapReduce 1.0
Exploring the components of a MapReduce job بررسی اجزای یک کار MapReduce
Working with the Hadoop file system کار با فایل سیستم Hadoop
Running a MapReduce job using the console اجرای یک کار MapReduce با استفاده از کنسول
Reviewing the code for a MapReduce WordCount job مرور کد برای کار MapReduce WordCount
Running and tracking Hadoop jobs اجرای و پیگیری مشاغل Hadoop

6. Tuning MapReduce

6. تنظیم MapReduce

Tuning by physical methods تنظیم با روشهای فیزیکی
Tuning a Mapper تنظیم یک Mapper
Tuning a Reducer تنظیم کاهش دهنده
Using a cache for lookups استفاده از حافظه پنهان برای جستجوها

7. Understanding MapReduce 2.0/YARN

7. درک MapReduce 2.0/YARN

Understanding MapReduce 2.0 درک MapReduce 2.0
Coding a basic WordCount in Java using MapReduce 2.0 کدنویسی WordCount پایه در جاوا با استفاده از MapReduce 2.0
Exploring advanced WordCount in Java using MapReduce 2.0 کاوش WordCount پیشرفته در جاوا با استفاده از MapReduce 2.0

8. Understanding Hive

8. درک کندو

Introducing Hive and HBase معرفی Hive و HBase
Understanding Hive درک کندو
Revisiting WordCount using Hive بازبینی WordCount با استفاده از Hive
Understanding more about HQL query optimization آشنایی بیشتر با بهینه سازی پرس و جو HQL
Using Hive in GCP Dataproc استفاده از کندو در GCP Dataproc

9. Understanding Pig

9. درک خوک

Introducing Pig معرفی خوک
Understanding Pig درک خوک
Exploring use cases for Pig بررسی موارد استفاده از خوک
Exploring Pig tools in GCP Dataproc بررسی ابزارهای خوک در GCP Dataproc
10. Understanding Workflows

and Connectors

10. درک گردش کار و اتصالات

Introducing Oozie معرفی اوزی
Building a workflow with Oozie ایجاد یک گردش کار با Oozie
Introducing Sqoop معرفی Sqoop
Importing data with Sqoop وارد کردن داده ها با Sqoop
Introducing ZooKeeper معرفی ZooKeeper
Coordinating workflows with ZooKeeper هماهنگی گردش کار با ZooKeeper

11. Using Spark

11. استفاده از جرقه

Introducing Apache Spark معرفی آپاچی اسپارک
Running a Spark job to calculate Pi اجرای یک کار Spark برای محاسبه Pi
Running a Spark job in a Jupyter Notebook اجرای یک کار Spark در یک Jupyter Notebook

12. Hadoop Today

12. Hadoop Today

Understanding machine learning options درک گزینه های یادگیری ماشین
Understanding data lakes درک دریاچه های داده
Visualizing Hadoop systems تجسم سیستم های Hadoop
Next Steps مراحل بعدی
Next steps with Hadoop مراحل بعدی با Hadoop

 

 

براي ديدن سورس و فايل تمرين از سايت مرجع استفاده كنيد.

معرفی دورهنمایش رایگان

آنچه باید قبل از تماشای این دوره بدانیدنمایش رایگان

استفاده از خدمات ابرینمایش رایگان

محدودیت های سیستم های مدیریت پایگاه داده رابطه اینمایش رایگان

معرفی CAP (ثبات ، در دسترس بودن ، تقسیم بندی)نمایش رایگان

درک داده های بزرگنمایش رایگان

معرفی Hadoopنمایش رایگان

آشنایی با توزیع های Hadoopنمایش رایگان

درک تفاوت بین HBase و Hadoopنمایش رایگان

بررسی آینده Hadoopنمایش رایگان

آشنایی با ماشینهای مجازی جاوا (JVM)نمایش رایگان

بررسی HDFS و سایر فایل سیستم هانمایش رایگان

معرفی اجزای خوشه Hadoopنمایش رایگان

معرفی Hadoop Sparkنمایش رایگان

بررسی توزیع های آپاچی و کلودرا هادوپنمایش رایگان

استفاده از ابر عمومی برای میزبانی Hadoop: AWS یا GCPنمایش رایگان

درک قطعات و قطعاتنمایش رایگان

میزبانی Hadoop به صورت محلی با توزیع توسعه دهندگان Clouderaنمایش رایگان

راه اندازی ماشین مجازی توسعه دهنده Cloudera Hadoopنمایش رایگان

افزودن کتابخانه های Hadoop به محیط آزمایش خودنمایش رایگان

انتخاب زبان برنامه نویسی و IDEنمایش رایگان

برای توسعه از GCP Dataproc استفاده کنیدنمایش رایگان

درک MapReduce 1.0نمایش رایگان

بررسی اجزای یک کار MapReduceنمایش رایگان

کار با فایل سیستم Hadoopنمایش رایگان

اجرای یک کار MapReduce با استفاده از کنسولنمایش رایگان

مرور کد برای کار MapReduce WordCountنمایش رایگان

اجرای و پیگیری مشاغل Hadoopنمایش رایگان

تنظیم با روشهای فیزیکینمایش رایگان

تنظیم یک Mapperنمایش رایگان

تنظیم کاهش دهندهنمایش رایگان

استفاده از حافظه پنهان برای جستجوهانمایش رایگان

درک MapReduce 2.0نمایش رایگان

کدنویسی WordCount پایه در جاوا با استفاده از MapReduce 2.0نمایش رایگان

کاوش WordCount پیشرفته در جاوا با استفاده از MapReduce 2.0نمایش رایگان

معرفی Hive و HBaseنمایش رایگان

درک کندونمایش رایگان

بازبینی WordCount با استفاده از Hiveنمایش رایگان

آشنایی بیشتر با بهینه سازی پرس و جو HQLنمایش رایگان

استفاده از کندو در GCP Dataprocنمایش رایگان

معرفی خوکنمایش رایگان

درک خوکنمایش رایگان

بررسی موارد استفاده از خوکنمایش رایگان

بررسی ابزارهای خوک در GCP Dataprocنمایش رایگان

معرفی اوزینمایش رایگان

ایجاد یک گردش کار با Oozieنمایش رایگان

معرفی Sqoopنمایش رایگان

وارد کردن داده ها با Sqoopنمایش رایگان

معرفی ZooKeeperنمایش رایگان

هماهنگی گردش کار با ZooKeeperنمایش رایگان

معرفی آپاچی اسپارکنمایش رایگان

اجرای یک کار Spark برای محاسبه Piنمایش رایگان

اجرای یک کار Spark در یک Jupyter Notebookنمایش رایگان

درک گزینه های یادگیری ماشیننمایش رایگان

درک دریاچه های دادهنمایش رایگان

تجسم سیستم های Hadoopنمایش رایگان

مراحل بعدی با Hadoopنمایش رایگان

دانلود یکجا ویدئو ها

04:06ساعت
دیدگاهتان را با ما درمیان بگذارید
تعداد دیدگاه : 0
امتیاز کلی : 0.0
پیشنهاد شده توسط : 0 کاربر
بر اساس 0 فروش
0
0
0
0
0

هیچ دیدگاهی برای این محصول نوشته نشده است.

لطفا پیش از ارسال نظر، خلاصه قوانین زیر را مطالعه کنید:

فارسی بنویسید و از کیبورد فارسی استفاده کنید. بهتر است از فضای خالی (Space) بیش‌از‌حدِ معمول، شکلک یا ایموجی استفاده نکنید و از کشیدن حروف یا کلمات با صفحه‌کلید بپرهیزید.

نظرات خود را براساس تجربه و استفاده‌ی عملی و با دقت به نکات فنی ارسال کنید؛ بدون تعصب به محصول خاص، مزایا و معایب را بازگو کنید و بهتر است از ارسال نظرات چندکلمه‌‌ای خودداری کنید.
اولین کسی باشید که دیدگاهی می نویسد “شروع کار با Hadoop”

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

قیمت دوره

رایگان

شروع کار با Hadoop مجموعه ای از فناوری است که برای ذخیره و پردازش حجم عظیمی از داده ها استفاده می شود. Hadoop راآموزش میبینید

امتیازی ثبت نشده است
تعداد دانشجو : 2
مدت دوره: 04:06ساعتتاریخ انتشار: 26 مهر 1400آخرین بروزرسانی: 3 آذر 1400تعداد بازدید: 205
مدرس

Sona Mehrabi

قیمت دوره

رایگان