با گسترش روزافزون اینترنت قرن ۲۱ام و گسترش گوشیهای هوشمند در دههی اخیر، حجم دادهی تولید شده توسط کاربران افزایش نمایی شدیدی داشته است که با روشهای سنتی قابل پردازش نیستند. برای آنکه بتوان این حجم داده را جمعآوری، پردازش و ذخیره کرد، نیاز به الگوها و الگوریتمهای متفاوتی با روشهای سنتی هستیم که در طول سالیان اخیر توسط شرکتهای زیادی مورد استفاده قرار گرفته شده و هنوز در حال پیشرفت و تغییر هستند. پردازش این داده حجیم به این جهت بسیار مهم است که به تحلیل و تصمیمگیری بهتر در بیزینس بسیار کمک میکند و عملا بدون پردازش و نگهداری این داده، یک بیزینس نمیتواند دید کامل و جامعی نسبت به مشتریان خود داشته باشد. همچنین برای توسعه سامانههایی مانند سیستمهای پیشنهاد دهنده، بهبود تبلیغات و مارکتینگ و سامانههای حمل و نقل،… نیاز به توانایی پردازش و نگهداری این حجم دادهی بالاست.