چکیده مقاله
MapReduce یک تکنیک پردازش موازی در سیستمهای محاسباتی توزیع شده است این تکنیک، دادهها را به قسمتهای کوچکتر تقسیم میکند و هر فرآیند نیز به دستورات کوچکتر شکسته میشود و گره های مختلف در سیستم های توزیع شده، بخشی از عملیات را بر مبنای این قسمتها مدیریت میکنند در بخش اولیه این تکنیک از تقسیم داده ها برای خواندن اطلاعات ورودی و گرههای میانی استفاده میشود سپس این دادهها برچسپ گذاری شده و در میان گرههای محاسباتی براساس استفاده از توابع درهم ساز توزیع شده و نتایج خود را به گره مرکزی انتقال میدهند در بخش ثانویه این تکنیک نتیجه ی اصلی بر مبنای فرمت درست خروجی تولید میشود تکنیک Hadoop نیز مدل برنامه نویسی ساده ای را مهیا میکند که کارآمدی مناسبی برای محاسبات دادههای بزرگ دارد در این مطالعه موردی سه الگوریتم در حوزه MapReduce و چهار الگوریتم در حوزه Hadoop مورد بررسی و مقایسه قرار میگیرند نتایج حاصل از این مطالعه نشان میدهد در هر دو مورد تکنیک مبتنی بر MapReduce توانسته تا حد امکان زمان و سرعت پردازش دادههایی با ابعاد بالا را بهبود بخشد
کلیدواژهها
نویسندگان
شبنم پاک پرور
دانشجوی کارشناسی ارشد موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا
فاطمه امین صفایی اردکانی
دانشجوی کارشناسی ارشد موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا
فرناز حسینی
عضو هیات علمی موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا
شیوه ارجاع
پاک پرور، شبنم و امین صفایی اردکانی، فاطمه و حسینی، فرناز،1396،مروری بر محاسبات موازی بر روی مجموعه داده های بزرگ مبتنی بر تکنیک MapReduce و Hadoop،پنجمین کنفرانس بین المللی مهندسی برق و کامپیوتر با تاکید بر دانش بومی،تهران
ارائهشده در
مجموعه مقالات پنجمین کنفرانس بین المللی مهندسی برق و کامپیوتر با تاکید بر دانش بومی19 بهمن 1396 · تهران