اپاچی هدوپ

آپاچی هدوپ. آپاچی هدوپ ( به انگلیسی: Apache Hadoop ) مجموعه ای از ابزارهای نرم افزاری متن باز است که حل مسائل با داده های بسیار بزرگ را از طریق استفاده از تعداد زیادی رایانه، تسهیل می بخشد. هدوپ با استفاده از مدل نرم افزار نگاشت کاهش ( MapReduce ) یک چارچوب نرم افزاری برای ذخیره و پردازش کلان داده ها ( big data ) ارائه می کند. با اینکه هدوپ در ابتدا برای استفاده از رایانش خوشه ای بر روی سیستم های ضعیف و متوسط شکل گرفت[ ۲] ، کم کم در سخت افزارهای پرقدرت نیز مورد استفاده قرار گرفت. [ ۳] [ ۴]
این سامانه قابلیت کار با هزاران گره و چندین پتابایت داده را داراست. هدوپ با الهام از نگاشت کاهش و مقالات مربوط به سامانهٔ پروندهٔ گوگل ( به انگلیسی: Google File System ) شرکت گوگل طراحی و پیاده سازی شده است.
هدوپ یک پروژهٔ سطح بالای آپاچی است که توسط گسترهٔ وسیعی از مشارکت کنندگان[ ۵] حمایت و استفاده می شود و از زبان برنامه سازی جاوا استفاده می نماید. شرکت یاهو به عنوان بزرگترین مشارکت کننده، [ ۶] از هدوپ به صورت گسترده در امور تجاری اش استفاده می کند. [ ۷]
هدوپ در ابتدا به عنوان یک زیرپروژهٔ موتور جستجویِ ناچ توسط داگ کاتینگ خلق شد. [ ۸] [ ۹]
هدوپ، مشترکات هدوپ را شامل می شود که امکان دسترسی به سامانهٔ پرونده را، که توسط هدوپ پشتیبانی می شود، فراهم می آورد. بسته مشترکات هدوپ شامل فایل های جار ( فایل اجرایی تولید شده توسط مترجم جاوا ) و نیز اسکریپت هایی است که برای راه اندازی هدوپ لازم هستند. این بسته همچنین شامل کد منبع، مستندات و بخشی برای همکاری با پروژه های جامعهٔ هدوپ است. خصوصیت کلیدی برای زمان بندی مؤثر کار، آن است که هر پروندهٔ سیستمی باید مکان خود را اعلان نماید: نام رَک ( به صورت دقیقتر سویچ شبکه ) همان جایی که گرهٔ کارگر قرار دارد. برنامهٔ کاربردی هدوپ از این اطلاعات برای اجرای کار بر روی گره هایی که داده ها در آن ها قرار دارد ( و در صورت عدم امکان روی همان رک یا سوئیچ ) استفاده می کنند و بدین ترتیب از ترافیک در ستون فقرات شبکه ( به انگلیسی: Backbone ) می کاهند. فایل های سیستمی اچ دی اف اس از این روش برای ایجاد نسخ مختلفی از یک داده روی رک های متفاوت استفاده می نماید. هدف این است که فشار روی یک رک یا خطای سوئیچ کاهش پیدا کند تا حتی در صورت رخداد چنین حوادثی، داده کماکان قابل خواندن باشد. [ ۱۰] یک خوشهٔ کوچک هدوپ شامل یک گرهٔ ارباب و چندین گرهٔ کارگر می باشد. گرهٔ ارباب از یک دنبال کنندهٔ کار ( به انگلیسی: Jobtracker ) ، دنبال کنندهٔ وظیفه ( به انگلیسی: Tasktracker ) ، گرهٔ نام ( به انگلیسی: NameNode ) و گرهٔ داده ( به انگلیسی: DataNode ) ، و گرهٔ کارگر از یک گرهٔ داده و یک دنبال کنندهٔ وظیفه تشکیل شده اند. گره های کارگر همچنین می توانند تنها شامل داده یا تنها محاسباتی باشند. هدوپ برای اجرا نیاز به نسخهٔ JRE 1. 6 یا بالاتر دارد و برای شروع و پایان استاندارد اسکریپت ها و ارتباط بین گره ها در خوشه وجود پوسته امن الزامی است.