هادوپ یک چارچوب نرم‌افزاری منبع‌باز است که پردازش توزیع‌شده‌ ‌داده‌های بزرگ را بر روی خوشه‌هایی از سرورها ممکن می‌سازد. این چارچوب که به زبان جاوا نوشته شده است، برای انجام پردازش توزیع شده بر روی هزاران ماشین با تحمل‌پذیری خطای بالا طراحی شده است. به جای تکیه بر سخت‌افزار‌های گران‌قیمت، تحمل‌پذیری در مقابل خطا در این خوشه‌ها از توانایی نرم‌افزاری در تشخیص و اداره‌ی خرابی‌ در لایه کاربرد می‌آید. استفاده‌کنندگان برجسته هادوپ، فیسبوک و یاهو هستند. RPC یا Remote Procedure Call نیز یکی از پروتکل‌های به کار گرفته شده در محاسبات توزیعی به حساب می‌آید.

هدوپ Hadoop و کاربردهای آن

Hadoop یک چارچوب نرم افزاری منبع باز برای ذخیره سازی داده ها و اجرای برنامه ها است. هدوپ ذخیره سازی گسترده برای هر نوع داده، قدرت پردازش عظیم و توانایی انجام وظایف یا کارهای همزمان بی حد و حصر را فراهم می کند. با گسترش شبکه جهانی وب در اواخر دهه 1900 و اوایل دهه 2000، موتورهای جستجو و ایندکس ها برای یافتن اطلاعات مربوطه در میان محتوای مبتنی بر متن ایجاد شدند.

در سال های اولیه، نتایج جستجو توسط انسان ها بازگردانده شد. اما با رشد وب از ده ها میلیون ها صفحه، به اتوماسیون نیاز بود. در نتیجه خزنده های وب ایجاد شدند، بسیاری از پروژه های تحقیقاتی به رهبری دانشگاه و شروع کار موتورهای جستجو شکل گرفتند.

تاریخچه هدوپ Hadoop

یکی از این پروژه ها یک موتور جستجوی وب منبع باز به نام Nutch بود. آنها می خواستند با توزیع داده ها و محاسبات در رایانه های مختلف، نتایج جستجوی وب را سریعتر بازگردانند تا چندین کار به طور همزمان انجام شود. در این مدت پروژه موتور جستجوی دیگری به نام Google در دست اجرا بود. این مبتنی بر همان مفهوم بود که ذخیره و پردازش داده ها به صورت خودکار و توزیع شده باشد،

به گونه ای که نتایج جستجوی وب مربوطه سریعتر برگردد.در سال 2006، پروژه Nutch تقسیم شد، قسمت خزنده وب به عنوان Nutch باقی ماند و بخش محاسبات و پردازش توزیع شده Hadoop شد. در سال 2008، یاهو هدوپ را به عنوان یک پروژه منبع باز منتشر کرد. امروز، چارچوب و اکوسیستم فناوری هدوپ توسط بنیاد نرم افزاری غیر انتفاعی Apache (ASF)، یک جامعه جهانی از توسعه دهندگان و مشارکت کنندگان نرم افزار، مدیریت و نگهداری می شود.

برنامه‌های هادوپ

برخی از این برنامه‌های محبوب عبارتند از:

• SPARK :

SPARK سیستم پردازش منبع باز یا کد باز توزیع شده‌ای است که معمولا برای داده‌های با ظریف بالا استفاده می‌شود. Apache Spark از حافظه پنهان و بهینه شده برای عملکرد سریع استفاده می‌کند و از پردازش دسته‌ای عمومی ، تجزیه و تحلیل جریان ، یادگیری ماشین ، پایگاه داده های نمودار و پرس و جوهای موقت پشتیبانی می‌کند.

• PRESTO :

PRESTO یک موتور جستجوگر منبع باز SQL است که برای تجزیه و تحلیل موقت داده‌های بهینه سازی شده است. این موتور جستجوگر از استاندارد ANSI SQL پشتیبانی می‌کند و شامل موتورهای جستجوگر پیچیده و توابع مختلف است. این موتور جستجوگر می‌تواند چندین منبع داده را از جمله هادوپ، آمازون و سیستم HDFS را پردازش کند.

• Hive :

Hive به کاربران اجازه می‌دهد تا با استفاده از یک رابط SQL از Hadoop MapReduce استفاده کنند. تجزیه و تحلیل را در مقیاس گسترده علاوه بر ذخیره داده‌های توزیع شده و تحمل خطا ، امکان پذیر می‌کند.

• HBase:

یک پایگاه داده منبع باز ، غیر رابطه ای و نسخه ای که در بالای آمازون S3 (با استفاده از (EMRFS یا سیستم پرونده توزیع شده Hadoop (HDFS) اجرا می‌شود. این پایگاه منبع باز برای ذخیره سازی داده بزرگ است که جهت دسترسی تصادفی ، کاملاً سازگار و بی درنگ برای جداول با میلیاردها ردیف و میلیون ها ستون ساخته شده است.

• Zeppelin :

Zeppelin یک دفترچه یادداشت تعاملی است که امکان کشف داده‌های تعاملی را فراهم می‌کند.

ویژگی های آپاچی هدوپ

• امکان ذخیره و پردازش سریع دیتا

با افزایش حجم و انواع گوناگون دیتاها، به خصوص از طریق رسانه های اجتماعی و اینترنت اشیاء (IoT)، این مسئله نکته ای حائز اهمیت است. مدل محاسباتی هادوپ، دیتای بزرگ را به سرعت پردازش می کند. هرچه از گره محاسباتی بیشتر استفاده کنید، قدرت پردازش بیشتری نیز خواهید داشت.

• کاهش میزان خطای سخت افزاری

پردازش دیتا و برنامه ها در مقابل خرابی سخت افزاری محافظت می شوند. اگر یک نود یا همان گره از کار بیفتد، کارها به صورت اتوماتیک به گره های دیگر هدایت می شوند تا مطمئن شوید محاسبات توزیع شده از کار نمی افتند. همچنین چندین نسخه از تمام دیتاها به صورت اتوماتیک ذخیره می شوند.

• انعطاف پذیری

برخلاف بانک های اطلاعاتی سنتی، نیازی به پردازش دیتا پیش از ذخیره کردن آن نیست. شما می توانید اطلاعات را به همان اندازه که نیاز دارید ذخیره کنید و تصمیم بگیرید که چگونه بعدها از آن ها استفاده کنید. این موضوع شامل دیتا های بدون ساختار مانند متن، تصاویر و فیلم هاست.

• هزینه پایین

چارچوب منبع باز هدوپ آزاد است و از سخت افزار برای ذخیره مقادیر بسیاری از دیتا استفاده می کند.

• مقیاس پذیری

با استفاده از هدوپ می توانید سیستم خود را برای مدیریت دیتا های بیشتر، به سادگی با افزودن نودها توسعه دهید.

• استفاده آسان:

می توانید در عرض چند دقیقه سرور EMR آمازون راه اندازی کنید. لازم نیست نگران تهیه گره، پیکربندی Hadoop یا تنظیم سرور باشید.

• الاستیک:

با Amazon EMR می‌توانید یک نمونه، صدها یا هزاران نمونه محاسبه را برای پردازش داده‌ها در هر مقیاس تهیه کنید.

• فراگذر:

می‌توانید برای اجرای سرورهای درخواستی مبتنی بر داده های HDFS که به طور مداوم در Amazon S3 ذخیره می‌شوند، از EMRFS استفاده کنید. با پایان یافتن مشاغل، می‌توانید یک سرور را خاموش کرده و داده‌ها را در Amazon S3 ذخیره کنید. شما فقط زمانی که سرور در حال اجرا است هزینه آن را پرداخت می‌کنید.

آمازون EMR از تمام ویژگی‌های امنیتی مشترک خدمات AWS استفاده می‌کند:

• نقش‌ها و خط مشی‌های مدیریت هویت و دسترسی ( IAMبرای مدیریت مجوزها) .
• رمزگذاری در حین انتقال و استراحت برای کمک به شما در محافظت از داده‌های خود و مطابقت با استانداردها، مانند HIPAA .
• گروه‌های امنیتی برای کنترل ترافیک شبکه ورودی و خروجی به گره‌های سرور شما.

چرا هدوپ مهم است؟

• امکان ذخیره و پردازش مقادیر عظیم هر نوع داده به سرعت: با افزایش حجم و انواع مختلف داده ها، به خصوص از طریق رسانه های اجتماعی و اینترنت اشیاء (IoT)، این یک نکته مهم است.
• قدرت پردازش: مدل محاسباتی توزیع شده هدوپ داده های بزرگ را به سرعت پردازش می کند. هرچه گره محاسباتی بیشتر استفاده کنید، قدرت پردازش بیشتری نیز خواهید داشت.
• میزان خطا: پردازش داده ها و برنامه ها در برابر خرابی سخت افزار محافظت می شوند. اگر یک گره از کار بیفتد، کارها به طور خودکار به گره های دیگر هدایت می شوند تا مطمئن شوید محاسبات توزیع شده از کار نمی افتند. همچنین چندین نسخه از تمام داده ها بطور خودکار ذخیره می شوند.
• انعطاف پذیری: برخلاف بانک های اطلاعاتی سنتی، نیازی به پردازش داده ها قبل از ذخیره کردن آن نیست. شما می توانید اطلاعات را به همان اندازه که می خواهید ذخیره کنید و تصمیم بگیرید که بعداً چگونه از آنها استفاده کنید. این شامل داده های بدون ساختار مانند متن، تصاویر و فیلم ها است.
• هزینه پایین: چارچوب منبع باز هدوپ آزاد است و از سخت افزار برای ذخیره مقادیر زیادی از داده ها استفاده می کند.
• مقیاس پذیری: به راحتی می توانید سیستم خود را برای مدیریت داده های بیشتر، به سادگی با افزودن گره ها رشد دهید.

معماری HDFS هادوپ

همچون Map/Reduce هادوپ، HDFS دارای یک معماری ارباب/برده است. ساختار HDFS شامل یک Namenode (گره نام) است که یک سرور ارباب بوده و فضای نام فایل سیستم را مدیریت کرده و دسترسی به فایل‌ها توسط کلاینت‌ها را تنظیم می‌کند. به علاوه، تعدادی Datanode (گره داده) نیز وجود دارد، یکی به ازای هر گره در خوشه، که مخزن اختصاصی به گره‌ها که بر روی آن اجرا می‌شوند را مدیریت می‌کند.

namenodeها عملیاتی همچون باز کردن، بستن، و تغییر نام فایل‌ها و دایرکتوری‌ها را از طریق یک واسط RPC برای فضای نام فایل سیستم ممکن می‌کنند و همچنین نگاشت بلوک‌ها را به datanodeها معین می‌کنند. Datanodeها مسئول انجام خدمات مربوط به درخواست‌های خواندن و نوشتن رسیده از طرف کلاینت‌های فایل سیستم هستند. همچنین تولید، حذف و ایجاد کپی از بلوک‌ها را بر حسب دستورالعمل Namenode انجام می‌دهند.

هدوپ Hadoop و کاربردهای آن

برای مشاهده مقالات بیشتر در مورد سئو سایت و طراحی سایت به صفحه مقالات سایت پوشش مراجعه نمایید.