داده‌ کاوی (Data Mining) چیست؟

در این مقاله قصد داریم درباره‌ی داده کاوی ویژگی‌های آن صحبت کنیم. همان‌گونه که در مقاله‌ی پیشین به آن اشاره شد، داده‌کاوی عبارت است از فرآیند اکتشاف الگو و روندهای منظم و پنهان در داده‌های بزرگ و توزیع شده، با استفاده از مجموعه وسیعی از الگوریتم‌های مبتنی بر علوم ریاضی و آمار. این الگوریتم‌ها معمولا بروی مقادیر عددی و غیرمتنی اعمال می‌شوند و برای داده‌های متنی، از الگوریتم‌های متن‌کاوی استفاده می‌شود. داده‌کاوی از علومی مانند هوش مصنوعی، یادگیری ماشینی، آمار، پژوهش عملیاتی و مدیریت پایگاه‌های داده برای ساخت مدل‌ها و پاسخ به سوالات بهره می‌برد.

استخراج و تحلیل اطلاعات سازمان از داده‌های در دسترس توسط کارکنان، فرایندی است که برای‌ سال‌های متمادی انجام شده و وظیفه جدیدی در سازمان‌ها به شمار نمی‌آید. اولین الگوریتم‌های شناسایی روندهای منظم و الگوها در پایگاه داده، از علم آمار و نظریه‌های احتمال نشات گرفته‌اند. در سال‌های اخیر، با رشد روزافزون قدرت محاسباتی رایانه‌ها و امکان دستیابی به نتایج حاصل از محاسبات پیچیده در مدت زمان کوتاه، سبب شده است تا الگوریتم‌های پیشرفته ریاضی مورد توجه قرار بگیرند. این الگوریتم‌ها با درنظرگرفتن ابعاد مختلف داده‌، به پالایش و تحلیل آن پرداخته و الگوهای پیچیده و غیرقابل شناسایی توسط روش‌های قدیمی را استخراج و ارائه می‌کنند. رایانه‌ها کمک کرده‌اند تا فرآیند استخراج،پالایش، پیش پردازش و مدل‌سازی داده‌ها و همچنین  اعتبارسنجی یافته‌ها با دقت بیشتر و سرعتی بی‌نظیر انجام شود.

پیش‌نیازهای داده کاوی

پیش از آغاز عملیات داده‌کاوی نیاز است که پیش پردازش کاملی روی داده‌ها انجام شود تا داده‌های غیرمفید و ناکارآمد از داده‌های مفید و کاربردی تفکیک شوند. در ادامه به برخی از مهم‌ترین روش‌های پیش‌پردازش داده می‌پردازیم:

• بررسی و جایگزینی داده‌های مفقود شده (Missing Data): برای مواجه با داده‌های مفقود شده از روش‌هایی مانند حذف رکورد داده، جایگزینی داده‌های مفقود شده با میانگین یا میانه داده‌ها یا جایگزینی با نزدیک‌ترین مقدار محتمل استفاده می‌شود. در صورتی که هیچ‌یک از این موارد امکان پذیر نباشند، جایگزینی با یک عدد یا یک طبقه ثابت مدنظر قرار می گیرد تا عدم وجود یک عنصر داده، مشکلی در نتایج داده کاوی ایجاد نکند.
• تشخیص و حذف داده‌های تکراری و اضافه (Redundant Data): در صورتی که بخشی از داده‌ها تکراری باشد یا از نظر  تصمیم‌گیری، زاید و غیرقابل استفاده تشخیص داده شود، باید تفکیک و حذف شود.
• تصمیم‌گیری درباره داده‌های خارج از محدوده یا دارای اختلال (Outlier Detection and Noise Reduction): گاهی اوقات، داده ها به‌طور کامل تهیه و آماده شده‌اند ولی برخی از مقادیر، دچار انحراف یا تمایز زیادی با بقیه عناصر هستند و اصطلاحا خارج از محدوده منطقی قرار داشته یا دچار اختلال هستند. این مقادیر می‌توانند الگوهای منظم قابل استخراج از داده‌ها را دچار انحراف کنند. به همین دلیل پیشنهاد می‌شود پیش از داده‌کاوی، این داده‌ها شناسایی و از مجموعه داده‌ها جداسازی یا اصلاح و بهینه‌سازی شوند. یکی از روش‌های تعیین داده‌های خارج از محدوده، خوشه‌بندی داده‌ها است که جزو روش‌های داده‌کاوی نیز محسوب می‌شوند. در تصویر زیر، نمونه‌ای از داده‌های خارج از محدوده ارائه شده‌اند که با روش خوشه‌بندی، از داده‌های دیگر تفکیک می‌شوند. (دایره‌های بزرگ خوشه‌های اصلی داده و دایره‌های کوچک، مقادیر خارج از محدوده هستند):