ما در طول دو دهه گذشته، شاهد یک تغییر پارادایم در نحوه تولید و مدیریت اطلاعات و داده‌ها بوده‌ایم. این تغییر را عوامل متعددی هدایت می‌کند: ۱) بهبود قابل توجه در ظرفیت ذخیره‌سازی و قدرت محاسباتی برای پردازش مجموعه داده‌های بسیار بزرگ. ۲) افزایش سریع حسگرهای از راه دور که جریان‌های جدیدی از داده‌های دیجیتال را از طریق تلسکوپ‌ها، نمایشگرهای ترافیک شهری و دوربین‌های مداربسته‌ تولید می‌کنند. ۳) ظهور پدیده اینترنت اشیاء[۱]، به این معنی که می‌توان از طریق اینترنت حتی با اجسام ساده، حسگرها و دستگاه‌ها نیز ارتباط برقرار کرد. ۴) انقلاب تلفن همراه با ظهور دستگاه‌های ارتباطی مجهز به موقعیت‌یاب مکانی همچون گوشی‌های هوشمند، که امکان دریافت و ارسال اطلاعات را در هر زمان و مکانی فراهم می‌کنند. ۵) ظهور کانال‌های تجارت الکترونیکی و پلتفرم‌های مختلف رسانه‌های اجتماعی. ۶) پلتفرم‌های جمع‌سپاری[۲] برای اطلاعات جغرافیایی داوطلبانه[۳] (VGI) که نوعی محتوای تولیدشده توسط کاربر همراه با یک جزء جغرافیایی است. این تغییرات در کنار هم منجر به تولید چیزی شده است که اصطلاحاً کلان داده[۴] نامیده می‌شود.

کلان­ داده‌ها در شهرها و مناطق شهری، فرصت‌ها و چالش‌های جدیدی را همزمان هم برای تحلیلگران داده و هم برای برنامه‌ریزان شهری، به ارمغان آورده‌اند. آن‌ها از یک سو، برای ترکیب داده‌های دقیق و شخصی‌سازی‌شده فزاینده برای هر شهروند با زیرساخت‌های حیاتی جهت برنامه‌ریزی، اداره و مدیریت شهرها و مناطق شهری، و همچنین بهبود پایداری، بهینه‌سازی فرآیندها و به حداکثر رساندن ارائه خدمات عمومی و خصوصی، وعده‌های بزرگی می‌دهند و از سویی دیگر، چالش‌های محاسباتی و تحلیلی منحصر به فردی را پیش می‌آورند که ارزش آن‌ها را در بافت‌ شهرهای هوشمند یا منطقه‌ای به خطر می‌اندازد.

برخی از این چالش‌ها در زمینه مدیریت داده و تجزیه و تحلیل داده‌ها، به استراتژی‌ها و راه‌حل‌های جدید جهت پشتیبانی از عصر اَبَرداده نیازمند هستند. چالش‌های عمده‌ای که در این رابطه به‌وجود آمده‌ عبارتند از: ۱) مدیریت فرمت‌ها و ساختارهای مختلف داده، ب) پرداختن به ماهیت عظیم و پُر دامنه داده‌ها، ۳) توسعه الگوریتم‌هایی که از معماری‌های موازی و توزیع‌شده استفاده می‌کنند، ۴) مقابله با سوگیری‌ها و موارد ناهمگن، ۵) توسعه روش‌هایی برای بیان تصویری داده‌های حجیم، و ۶) مقابله با نیازهای مربوط به تجزیه و تحلیل و تصمیم‌گیری آنی و سریع. این چالش‌ها در مواردی که کلان­داده‌ها در مکان‌ها توزیع می‌شوند، به مراتب ابعاد بیش‌تری به خود می‌گیرند.  علاوه بر این، اَبَرداده‌های مکانی-زمانی[۵] مسائل و مشکلات خاصی را ایجاد می‌کنند که آن‌ها را هم در نظر باید گرفت.

این نوشتار درآمدی بر ویژگی‌های ممتاز کلان­داده‌ها و چگونگی تأثیر این ویژگی‌ها بر تغییر پارادایم کلاسیک مدیریت و تجزیه و تحلیل داده‌ها و نیز محیط محاسباتی آن‌ها خواهد داشت. در انجام این امر، یک نمای کلی گسترده و فراگیر از موضوع ارائه شده و آن‌چه را که ما چالش‌ها و وظایف اصلی پیش رو می‌دانیم برجسته خواهد شد. مسائل عمده، مانند مسائل مربوط به مالکیت داده‌ها، آموزش، هزینه‌ها، امنیت، معرفت‌شناسی، خط‌مشی‌ها، قوانین، و اخلاق – در عین‌حال که به نوبه خود موضوعات مهمی هستند – فراتر از محدوده مطالعاتی این نوشته می‌باشند. بنابراین، ما چنین موضوعاتی را کنار می‌گذاریم تا بحث به‌صورتی جمع‌وجورتر پیش برود.

[۱]-Internet of Things

[۲]– جمع‌سپاری (Crowdsourcing)، به معنای برون‌سپاری یک پروژه به عده کثیری از مردم است. این کار معمولاً از طریق فراخوان عمومی در اینترنت انجام می‌شود. تمرکز جمع‌سپاری بر مشارکت دادن جمعیت در فعالیت‌هایی چون حل مسئله، تولید و توسعه مفاهیمی چون مشارکت در ایده‌سازی، نوآوری، تولید و فرایندهای ارائه خدمات است که بر کیفیت محصول، وفاداری و خشنودی مشتری اثری مستقیم دارد. غیرمتمرکز بودن، غیررسمی بودن، عمودی و افقی بودن ارتباطات و در انحصار نبودن اطلاعات از جمله مواهب جمع‌سپاری می‌باشد. م.

[۳]-Volunteered Geographic Information

[۴]– Big Data

[۵]– Spatio-Temporal Big Data