تجزیه و تحلیل داده های بزرگ تجاری در رایانش ابری مبتنی بر آپاچی اسپارک

چکیده مقاله

حجم بالایی از داده های تجاری توسط برنامه های کاربردی یا در محیط وب مرتبا ایجاد می شود و نیاز است که این داده ها مورد تجزیه و تحلیل قرار گرفته تا دانش نهفته درون آنها آشکار شود روش های یادگیری ماشین و داده کاوی از جمله تکنیک های مهم در تحلیل داده های تجاری است اما چالش آنها در این است که توانایی آنها برای پردازش داده های بزرگ اندک است و نیاز است از روش های توزیع شده آنها استفاده شود در این پژوهش یک روش مبتنی بر پردازش توزیع شده توسط فناوری آپاچی اسپارک ارائه شده تا روش های داده کاوی و یادگیری ماشین مانند تکنیک های درخت تصمیم گیری، جنگل تصادفی و رگرسیون در این بستر اجرایی شده و تحلیل داده های تجاری در زمان واقعی انجام شود برای پیاده سازی روش پیشنهادی از داده های مرتبط با مشتریان در کاربردهای تجاری و محیط پردازش ابری آپاچی اسپارک استفاده شده است نتایج نشان می دهد از بین تکنیک های درخت تصمیم گیری، جنگل تصادفی و رگرسیون در آپاچی اسپارک و حالت غیرتوزیع شده تکنیک رگرسیون دارای حداقل خطای ممکن برای تحلیل داده های تجاری است و از طرفی جنگل تصادفی در بین تکنکی های درخت تصمیم گیری، جنگل تصادفی و رگرسیون چه در حالت توزیع شده و چه در حالت غیرتوزیع شده دارای حداقل زمان اجراء برای تحلیل داده ها است

کلیدواژه‌ها

نویسندگان

شیرین شهبازیار

کارشناس ارشد کامپیوتر، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد ملارد، ملارد، ایران

علی سلیمانی

عضو هیئت علمی گروه کامپیوتر، دانشکده فنی و مهندسی ، دانشگاه آزاد اسلامی واحد ملارد، ملارد، ایران

�هبازیار، شیرین و سلیمانی، علی،1398،تجزیه و تحلیل داده های بزرگ تجاری در رایانش ابری مبتنی بر آپاچی اسپارک،سومین کنفرانس بین المللی محاسبات نرم،رودسر

ارائه‌شده در

مجموعه مقالات سومین کنفرانس بین المللی محاسبات نرم29 آبان 1398 · رودسر