شروع کار با Hadoop
Learning hadoop
شرح دوره:
شروع کار با Hadoop مجموعه ای از فناوری است که برای ذخیره و پردازش حجم عظیمی از داده ها استفاده می شود. در این دوره ، من روی استفاده از Hadoop برای پردازش داده ها تمرکز می کنم ، نه تنظیم و مدیریت آن. ما نگاهی به سناریوهای تجاری می اندازیم که Hadoop یک ابزار مناسب است. همچنین کتابخانه هایی مانند MapReduce 1.0 و MapReduce 2.0 را پوشش خواهم داد. علاوه بر این ، نگاهی به Hive and Pig می اندازیم که اغلب در پیاده سازی Hadoop استفاده می شود. در نهایت ، نحوه تنظیم MapReduce را به شما نشان خواهم داد و برخی دیگر از کتابخانه های جدید Hadoop را به شما نگاه می کنم. اکوسیستم Hadoop پروژه های بزرگ داده را برای مشاغل و سایر سازمان ها ممکن می سازد. بنابراین بیایید شروع کنیم!
جزئیات دوره:
شروع کار با Hadoop هنگام پردازش داده های بزرگ ضروری است – همانطور که برای درک اطلاعات شما مانند سرورها برای ذخیره آنها ضروری است. این دوره آشنایی شما با Hadoop است. فایل سیستم های کلیدی مورد استفاده با Hadoop. موتور پردازش آن ، MapReduce ، و کتابخانه ها و ابزارهای برنامه نویسی متعدد آن. Lynn Langit ، توسعه دهنده و مشاور داده های بزرگ ، نحوه ایجاد یک محیط توسعه Hadoop ، اجرای و بهینه سازی مشاغل MapReduce ، کدگذاری درخواست های اصلی با Hive و Pig و ایجاد گردش کار برای برنامه ریزی مشاغل را نشان می دهد. به علاوه ، درباره عمق و وسعت کتابخانه های موجود Apache Spark که برای استفاده با خوشه Hadoop در دسترس هستند ، و همچنین گزینه هایی برای اجرای مشاغل یادگیری ماشین در یک خوشه Hadoop ، بیاموزید.
Introduction |
معرفی |
| Getting started with Hadoop | شروع کار با Hadoop |
| What you should know before watching this course | آنچه باید قبل از تماشای این دوره بدانید |
| Using cloud services | استفاده از خدمات ابری |
1. Why Change? |
1. چرا تغییر کنیم؟ |
| Limits of relational database management systems | محدودیت های سیستم های مدیریت پایگاه داده رابطه ای |
| Introducing CAP (consistency, availability, partitioning) | معرفی CAP (ثبات ، در دسترس بودن ، تقسیم بندی) |
| Understanding big data | درک داده های بزرگ |
2. What Is Hadoop? |
2. Hadoop چیست؟ |
| Introducing Hadoop | معرفی Hadoop |
| Understanding Hadoop distributions | آشنایی با توزیع های Hadoop |
| Understanding the difference between HBase and Hadoop | درک تفاوت بین HBase و Hadoop |
| Exploring the future of Hadoop | بررسی آینده Hadoop |
3. Understanding Hadoop Core Components |
3. درک اجزای هسته Hadoop |
| Understanding Java Virtual Machines (JVMs) | آشنایی با ماشینهای مجازی جاوا (JVM) |
| Exploring HDFS and other file systems | بررسی HDFS و سایر فایل سیستم ها |
| Introducing Hadoop cluster components | معرفی اجزای خوشه Hadoop |
| Introducing Hadoop Spark | معرفی Hadoop Spark |
| Exploring the Apache and Cloudera Hadoop distributions | بررسی توزیع های آپاچی و کلودرا هادوپ |
| Using the public cloud to host Hadoop: AWS or GCP | استفاده از ابر عمومی برای میزبانی Hadoop: AWS یا GCP |
4. Setting up Hadoop Development Environment |
4. راه اندازی محیط توسعه Hadoop |
| Understanding the parts and pieces | درک قطعات و قطعات |
| Hosting Hadoop locally with the Cloudera developer distribution | میزبانی Hadoop به صورت محلی با توزیع توسعه دهندگان Cloudera |
| Setting up the Cloudera Hadoop developer virtual machine | راه اندازی ماشین مجازی توسعه دهنده Cloudera Hadoop |
| Adding Hadoop libraries to your test environment | افزودن کتابخانه های Hadoop به محیط آزمایش خود |
| Picking your programming language and IDE | انتخاب زبان برنامه نویسی و IDE |
| Use GCP Dataproc for development | برای توسعه از GCP Dataproc استفاده کنید |
5. Understanding MapReduce 1.0 |
5. درک MapReduce 1.0 |
| Understanding MapReduce 1.0 | درک MapReduce 1.0 |
| Exploring the components of a MapReduce job | بررسی اجزای یک کار MapReduce |
| Working with the Hadoop file system | کار با فایل سیستم Hadoop |
| Running a MapReduce job using the console | اجرای یک کار MapReduce با استفاده از کنسول |
| Reviewing the code for a MapReduce WordCount job | مرور کد برای کار MapReduce WordCount |
| Running and tracking Hadoop jobs | اجرای و پیگیری مشاغل Hadoop |
6. Tuning MapReduce |
6. تنظیم MapReduce |
| Tuning by physical methods | تنظیم با روشهای فیزیکی |
| Tuning a Mapper | تنظیم یک Mapper |
| Tuning a Reducer | تنظیم کاهش دهنده |
| Using a cache for lookups | استفاده از حافظه پنهان برای جستجوها |
7. Understanding MapReduce 2.0/YARN |
7. درک MapReduce 2.0/YARN |
| Understanding MapReduce 2.0 | درک MapReduce 2.0 |
| Coding a basic WordCount in Java using MapReduce 2.0 | کدنویسی WordCount پایه در جاوا با استفاده از MapReduce 2.0 |
| Exploring advanced WordCount in Java using MapReduce 2.0 | کاوش WordCount پیشرفته در جاوا با استفاده از MapReduce 2.0 |
8. Understanding Hive |
8. درک کندو |
| Introducing Hive and HBase | معرفی Hive و HBase |
| Understanding Hive | درک کندو |
| Revisiting WordCount using Hive | بازبینی WordCount با استفاده از Hive |
| Understanding more about HQL query optimization | آشنایی بیشتر با بهینه سازی پرس و جو HQL |
| Using Hive in GCP Dataproc | استفاده از کندو در GCP Dataproc |
9. Understanding Pig |
9. درک خوک |
| Introducing Pig | معرفی خوک |
| Understanding Pig | درک خوک |
| Exploring use cases for Pig | بررسی موارد استفاده از خوک |
| Exploring Pig tools in GCP Dataproc | بررسی ابزارهای خوک در GCP Dataproc |
10. Understanding Workflows
and Connectors |
10. درک گردش کار و اتصالات |
| Introducing Oozie | معرفی اوزی |
| Building a workflow with Oozie | ایجاد یک گردش کار با Oozie |
| Introducing Sqoop | معرفی Sqoop |
| Importing data with Sqoop | وارد کردن داده ها با Sqoop |
| Introducing ZooKeeper | معرفی ZooKeeper |
| Coordinating workflows with ZooKeeper | هماهنگی گردش کار با ZooKeeper |
11. Using Spark |
11. استفاده از جرقه |
| Introducing Apache Spark | معرفی آپاچی اسپارک |
| Running a Spark job to calculate Pi | اجرای یک کار Spark برای محاسبه Pi |
| Running a Spark job in a Jupyter Notebook | اجرای یک کار Spark در یک Jupyter Notebook |
12. Hadoop Today |
12. Hadoop Today |
| Understanding machine learning options | درک گزینه های یادگیری ماشین |
| Understanding data lakes | درک دریاچه های داده |
| Visualizing Hadoop systems | تجسم سیستم های Hadoop |
| Next Steps | مراحل بعدی |
| Next steps with Hadoop | مراحل بعدی با Hadoop |
براي ديدن سورس و فايل تمرين از سايت مرجع استفاده كنيد.
هنوز بررسی‌ای ثبت نشده است.