هل سبق و ان سمعتم بتنقيب البيانات أو Data Mining؟
لنتعرف عليه معا.. 😍
فى ظل التقدم التكنولوجى .. العالم اليوم يحتوي على كميات هائلة من البيانات فى انتظار من يستغلها. تنقيب البيانات او تعدين البيانات او Data Mining هو تحليل البيانات والبحث عن انماط وعلاقات بين البيانات وبعضها. يهدف ذلك إلى استخراج المعرفة والتى بدورها تفيد صانعى القرار.
تنقيب البيانات لايشمل فقط استخراج البيانات ولكن هناك الكثير من الخطوات الاخرى مثل تنقية البيانات وتحويل البيانات و اكتشاف الانماط واستعرضها.
مجال تنقيب البيانات ليس علمًا قائم بذاته بل هم مزيج بين الكثير من التقنيات الحديثة.
استخدامات تنقيب البيانات Data Mining:
-تحليل الاسواق.
-الكشف عن الغش -مثلًا فى البنوك-.
-المحافظة على العملاء للشركات.
-مراقبة الإنتاج.
-استكشاف العلوم -مثلًا العلوم الطبية-.
مكونات نظم تنقيب البيانات:
تنقيب البيانات ليس علمًا منفصل بل مزيج من العلوم والتقنيات الاخرى الموجودة حاليًا كالتالى:
-قواعد البيانات Datebase Systems
-تعليم الآلة او Machine Learning
-علم الاحصاء Statistics
-الذكاء الاصطناعي Artificial intelligence
وغيرها الكثير..
كيفية القيام باستخراج البيانات
عملية التنقيب فى البيانات تشمل ستة مراحل:
1- فهم الأعمال Business understanding
الخطوة الاولى هى فهم كيفية عمل المؤسسة التى تقوم تحتاج إلى Data mining , فى هذه المرحلة يجب وضع خطة شاملة تشمل الجداول الزمنية وتوزيع الاداور وغيرها.
2-فهم البيانات Data understanding
يتم تجميع البيانات من المصادر المختلفة -مثلًا قواعد بيانات الشركة وقواعد بيانات خارجية- يتم دمج هذه البيانات مع بعضها وعرض بادوات عرض البيانات للتأكد من انها تحقق الهدف من المشروع.
3-اعداد البيانات Data preparation
فى هذه المرحلة يتم تطهير البيانات ويتم اضافة البيانات المفقودة لضمان جودة النتائج.
الوقت اللازم لعملية تحليل البيانات يكون معتمد على كمية البيانات فى المشروع وكذلك عدد المصادر التى تم تجميع البيانات منها.
لاختصار زمن تحليل البيانات قد نستخدم النظم الموزعة او distributed systems فى نظم ادارة قواعد البيانات DBMS لتحقيق هذا الغرض واسراع المعالجة.
4-نمذجة البيانات Data Modeling
يتم تستخدم النماذج الرياضية للعثور على أنماط في البيانات باستخدام أدوات البيانات المتطورة.
5-مرحلة التقييم Evaluation
يتم تقييم النتائج ومقارنتها بأهداف المشروع لتحديد ما إذا كان ينبغي نشرها ام لا.
6-مرحلة النشر Deployment
في المرحلة الاخيرة، يتم مشاركة نتائج تنقيب البيانات للاستفادة منها فى العمل العادى للشركة.
يمكن ان تحتوي الشركة على قسم business intelligence للحصول على هذه النتائج من مصدر واحد موثوق.
تطبيقات على التنقيب فى البيانات Data Mining
-تحليل واستهداف الاسواق.
-ادارة الائتمان فى البنوك.
-كشف الاحتيال والوقاية منه.
-الرعاية الصحية.
-تصفية الرسائل المزعجة فى البريد.
-أنظمة التوصية Recommendation Systems.
تحديات تعدين البيانات
في حين أن عملية التعدين قوية ومتعددة الاستخدامات ، إلا أن التعقيد المتزايد للبيانات الضخمة يعوقها. عندما تجمع الشركات كميات كبيرة من البيانات كل يوم ، يحتاج صناع القرار إلى طرق لاستخراج وتحليل واكتساب نظرة ثاقبة من مستودعهم الوفير للبيانات.
التكلفة المتزايدة
مع استمرار سرعة زيادة حجم البيانات وتنوعها ، يجب على الشركات توسيع نطاق هذه النماذج وتطبيقها في جميع أنحاء المؤسسة. تتطلب الاستفادة الكاملة لتنقيب البيانات استثمارات كبيرة في البنية التحتية الحاسوبية وقدرة المعالجة. فيجب على المؤسسات شراء وصيانة أجهزة الكمبيوتر والخوادم والبرامج القوية المصممة للتعامل مع كميات كبيرة ومتنوعة من البيانات.
جودة البيانات
البيانات فى كثير من الاحيان تأتى مع قيم مفقودة تكون مطلوبة ليعمل الخوارزمية بكفاءة على الخوازمية معالجة هذه المشكلة.
عدم تجانس البيانات
مع اختلاف اشكال البيانات التى قد تكون نص او فيديو او صور او انفوجرافيك وغيرها من انواع بيانات اخرى اصبحت مهمة التنقيب فى البيانات اكثر صعوبة , فعلى خوازميات التنقيب فى البيانات التعامل مع مثل هذه الصيغ للبيانات.
الخصوصية والأمن للبيانات
أجبرت متطلبات التخزين المتزايدة للبيانات العديد من الشركات على التحول نحو الحوسبة والتخزين السحابي. في حين مكنت السحابة العديد من التطورات الحديثة في استخراج البيانات ، إلا أن طبيعة الخدمة تخلق تهديدات كبيرة للأمان والخصوصية. فيجب على المؤسسات حماية بياناتها للحفاظ على ثقة شركائها وعملائها.
>>Click here to continue<<