کلان داده چیست و چه کاربردی دارد؟

داده های بزرگ یا کلان داده، مفهومی است که این روزها بیشتر با آن سر و کار پیدا کرده ایم و هر روز بیشتر در مورد آن می شنویم، اما این مفهوم سال های سال است که وجود دارد و زندگی ما را تحت تاثیر قرار داده است. هر چند ممکن است میزان و شیوه استفاده از آن متفاوت بوده باشد اما تاریخ استفاده از بیگ دیتا به سال 1984 بر می گردد. زمانی که تجزیه و تحلیل یک ترابایت دیتا که امروزه ظرفیت هاردهای معمولی داخل بازار است بیگ دیتا محسوب می شد و حجم هاردهای آن زمان به سختی به یکی دو گیگابایت می رسید. شرکت ترادیتا نخستین شرکتی بود که ایده استفاده از بیگ دیتا را عملیاتی کرد و بعد از آن در آخرین سال های قرن گذشته شرکت هایی مثل لکسیس نکسیس و کمی بعدتر گوگل و امثالهم استفاده از این بیگ دیتاها را در حجم وسیعی عمومی کردند. فقط برای این که شما را با میزان گسترش بیگ دیتا آشنا کنیم مثالی بزنیم از میزان دیتایی که در دنیای تلفن های همراه هست و شرکت هایی مثل گوگل آن ها را تحلیل می کنند. امروزه بیش از 4.5 میلیارد تلفن همراه در دنیا فعال است و نیمی از آن ها به اینترنت دسترسی دارند. تبادل اطلاعات در دنیا در سال 1986 به 281 پتابایت (281 هزار گیگابایت)، 471 پتابایت در سال 93، 2.2 اگزابایت (2.2 هزار پتابایت) در سال 2000 و امروزه به بیش از 670 اگزابایت رسیده است. حالا تصور کنید غربال این همه اطلاعات به چه فناوری و سخت افزاری احتیاج دارد و چه هزینه ای را به شرکت های بزرگ تحمیل می کند. برآوردها از هزینه صدها میلیارد دلاری شرکت ها برای استفاده از این میزان اطلاعات حکایت می کند که سال به سال هم افزایش می یابد. اما واقعا چرا باید این اطلاعات را پردازش و غربال کرد؟

احتمالا سریال مظنون (Person of Interest) جاناتان نولان و جی جی آبرامز را دیدی یا حداقل در موردش شنیدید. در این سریال یک اَبرکامپیوتر به تحلیل تمام داده های موجود از دوربین های ترافیکی گرفته تا تلفن های همراه می پرداخت و به کمک آن از وقوع جرم پیشگیری می کرد یا حداقل به هدایت کنندگانش می گفت که امکان وقوع جرم کجا بیشتر است. اگر فکر کردید که این سریال تماما افسانه و کاملا تخیلی است، اشتباه بزرگی کردید؛ بسیاری از حکومت ها از این اطلاعات استفاده می کنند و شهروندان شان را زیر نظر دارند و همان طوری هم که مشخص است آمریکا همواره در این گونه جاسوسی از شهروندانش پیشتاز است. از 10 ابرکامپیوتر ساخته شده به دست بشر هفت کامپیوتر در آمریکا مستقر هستند و مرکز داده های یوتا در آمریکا که توسط سازمان امنیت ملی آمریکا ساخته شده تنها و تنها برای ردگیری داده های رد و بدل شده در اینترنت مورد استفاده قرار می گیرد و شامل بزرگ ترین حافظه ذخیره داده ها و قوی ترین کامپیوترهای دنیاست، هر چند که مشخصات دقیق آن به دلایل امنیتی در دسترس نیست اما تخمین ها نشان از ذخیره اطلاعات تا 10 اگزابایت را دارد. در سال 2012 و هنگام انتخاب مجدد باراک اوباما، او از الگوی بیگ دیتا برای پیدا کردن مشکلات مردم و حکومت استفاده کرد و موفقیت بزرگی به دست آورد، اما دموکرات ها چهار سال بعد به همین رو رودست بدی از جمهوری خواهان خوردند و در ایالتی هایی که رقابت تنگاتنگی بین هیلاری کلینتون و دونالد ترامپ بود، دونالد ترامپ با هزینه زیاد و استفاده از بیگ دیتا توانست مسائلی را مطرح کند که نقطه ضعف کلینتون بود و باعث شد رای ترامپ در آن ایالت ها بیشتر باشد. حاصل استفاده از بیگ دیتا در نهایت این شد که هرچند رای هیلاری کلینتون بسیار بیشتر از دونالد ترامپ بود اما از آن جایی که دونالد ترامپ ایالت های کلیدی را با اختلاف کم برنده شده بود، نتایج کلی انتخابات به سود او تمام شد. در این میان کشورها و حکومت هایی هم هستند که از بیگ دیتا فقط برای جاسوسی و نفع شخصی استفاده نمی کنند، برای مثال در انگلستان سیستم ثبت نسخه های پزشکی وجود دارد و انستیتو ملی سلامت بریتانیا بدین طریق می تواند از در دسترس بودن تمام داروها و همچنین به روز بودن داروهای تجویزی توسط پزشکان اطمینان حاصل کند.

شرکت های بزرگ با استفاده از بیگ دیتای ارائه شده توسط مشتریان شان می توانند پیش بینی کنند چه کالایی را در چه زمانی و با چه مقداری تولید کنند و بالطبع میزان خرید و نگهداری مواد اولیه و همچنین خرید ابزارهای مورد نیاز و تعمیر و نگهداری قطعات دستگاه هایشان در بهینه ترین شکل ممکن قرار می گیرد و هزینه تمام شده آن ها پایین می آید.

رسانه ها مخصوصا در آمریکا سالانه میلیاردها دلار خرج می کنند تا بفهمند مخاطبان آن ها چه کسانی هستند، در چه سنی قرار دارند، جنسیت شان چیست و علاقه مندی هایشان کدامند. بزرگ ترین تهیه کننده این اطلاعات شرکت نیلسن است؛ با کمک این شرکت شبکه های تلویزیونی آمریکا دقیقا می دانند که در چه ساعتی چه تعداد بیننده و با چه مشخصاتی دارند و این اطلاعات به آن ها کمک می کند آینده را پیش بینی کنند و تبلیغات شرکت های دیگر را بر مبنای مخاطبان آن تبلیغات پخش کنند و بالطبع پول بیشتری از آگهی دهندگان بگیرند.

یکی از مهم ترین پیشرفت هایی که بیگ دیتا در سال های اخیر داشته است، صنعت سرمایه گذاری و مخصوصا وال استریت است. برای سال های سال در دنیای سرمایه گذاری این انسان ها بودند که به دنبال روندها و پیش بینی ها می رفتند و از آن جایی که دید انسان محدود است و نمی تواند متغیرهای زیادی را در تصمیم گیری خود دخیل کند باعث ضرر و زیان های بسیاری هم شدند. نمونه آن در چند سال گذشته شرکت هوایی دلتا ایرلاین بود که در مورد اطلاعات نفتی اشتباه قضاوت کرد و باعث ضرر نیم میلیارد دلاری مجموعه خود شد یا نمونه بزرگ تر آن در سال 2008 اتفاق افتاد و بانک های آمریکا با یک قضاوت اشتباه در بخش مسکن سرمایه گذاری عظیمی کردند و باعث بزرگ ترین ورشکستگی تاریخ در آمریکا شدند. از آن به بعد بود که توجه به بیگ دیتا بیشتر و بیشتر جلب شد. بیگ دیتاها و تحلیل درست آن ها می تواند متغیرهای بی شمار را در نظر بگیرد و به روندها و پیش بینی های دقیقی دست یابد و این دقیقا اتفاقی است که این روزها در وال استریت می افتد و باعث شده بسیاری از ریسک های سرمایه گذاری حداقل شده و سودها حداکثر شوند. هرچند بسیاری از شرکت های بزرگ کماکان در تصمیمات بزرگ خود از روی غریزه عمل می کنند اما تاریخ ثابت کرده که دیر یا زود این تصمیمات محکوم به شکست است و در نهایت بیگ دیتا کل بازار را به تسخیر خود درخواهدآورد.

بیگ دیتا و اینترنت اشیا به هم گره خورده اند. اطلاعات به دست آمده از اینترنت اشیا باعث به هم پیوستگی آن ها می شود و رفتارهای آینده آن ها را تعیین می کند. درست مثل همان اتفاقی که پیش تر گفتیم در رسانه ها می افتد. اینترنت اشیا می تواند با تحلیل اطلاعات به دست آمده در بخش های مختلفی از جمله زندگی روزمره، پزشکی و تولید کاربردهای زیادی داشته باشد.

بسیاری از شرکت های بزرگ فناوری، اطلاعات بزرگ و باورنکردنی را جمع می کنند تا با تحلیل آن ها بتوانند بهترین پیشنهادها را به استفاده کنندگان خود بدهند. برای مثال شرکت ای بی دو انبار اطلاعاتی 7.5 پتابایتی و 40 پتابایتی دارد که از آن ها برای پیشنهاد بهترین محصولات به مشتریان خود استفاده می کند یا آمازون که با سرورهای خود می تواند روزانه میلیون ها خرید و فروش نیم میلیون فروشنده خود را سرویس دهی کند و سه تا از بزرگ ترین دیتابیس های لینکوس جهان را در خود جای داده است. فیسبوک هم روزانه 300 میلیون عکس را ذخیره سازی می کند و این یعنی روزانه بیش از 500 ترابایت به حجم سرورهای آن و اطلاعاتی که باید پردازش شود افزوده می شود. از همه بزرگ تر باید گوگل را در نظر بگیرید که ماهانه بیش از 200 میلیارد جست و جو را در خود ذخیره می کند و براساس آن ها به استفاده کنندگان خود پیشنهاد می دهد. جدا از موارد ذکرشده بیگ دیتا در ورزش، علوم، تحقیقات و بسیاری رشته های دیگر کاربرد دارد و هر روز جای خود را در دنیا بیشتر باز می کند. اما بیگ دیتا و جمع آوری این همه اطلاعات از نظر بسیاری بی اشکال نیست. منتقدان زیادی به نحوه استفاده از بیگ دیتا پرداختند و در مورد آن مقاله نوشتند و در مجموع می توان این انتقادات را در چند بخش کلی تقسیم بندی کرد. نخستین چالش مربوط به بیگ دیتاها، در حقیقت مربوط به حریم خصوصی افراد است. عده ای معتقدند استفاده از بیگ دیتا مخصوصا در شبکه های اجتماعی ممکن است منجر به افشا شدن اطلاعات حساسی از افراد شود که آن افراد تمایلی به افشاشدن شان نداشته باشند یا موردی که در ابتدای مطلب درباره سازمان امنیت ملی آمریکا گفتیم که از اطلاعات شخصی افراد استفاده می کند. چالش بعدی این است که جمع آوری میزان زیادی از اطلاعات به تنهایی کافی نیست، ما به تکنیک هایی نیاز داریم که از این حجم عظیم اطلاعات بهترین استنتاج را بکنیم و بتوانیم از آن ها استفاده کنیم. متاسفانه در بسیاری موارد هنوز این تکنیک ها حتی در بزرگ ترین شرکت بهینه و ایده آل نشده و ممکن است در بسیاری موارد منجر به تحلیل های اشتباه شود یا حتی در خیلی موارد تحلیل های درست منجر به عمل اشتباه استفاده کنندگان از آن شود. چالش نهایی این است که لازمه استفاده از بیگ دیتا ذخیره سازی حجم بسیار بسیار عظمیی از اطلاعات است و به مرور زمان این اطلاعات که بسیاری از آن ها به دردنخور و دورریختنی است هزاران پتابایت و اگزابایت و زتابایت حجم را در دنیا به خود اختصاص خواهندداد و در بلند مدت این می تواند تبدیل به فاجعه شود. هرچند بیگ دیتا روز به روز در حال پیشرفت است اما بی توجهی به چالش های آن می تواند استفاده کنندگان از آن و مردم عادی را در آینده نزدیک دچار فاجعه کند. چیزی که مشخص است این است که استفاده درست از بیگ دیتا سرعت پیشرفت نوع بشر را بیشتر می کند، اما حقیقت این است که ما هنوز در حال آزمون و خطا برای پیدا کردن این راه درست هستیم.