نمذجة البيانات التنبؤية | الوحدة الرابعة | الدرس الأول
نمذجة البيانات التنبؤية هو عنوان الدرس الأول من الوحدة الرابعة التي تحمل اسم “نمذجة البيانات التنبؤية والتوقُّع” من مقرر “علم البيانات”.
ستتعرف في هذا الموضوع على مفهوم نمذجة البيانات التنبؤية، وتحديد أنماطها، وتطبيقاتها، وتقديم وصفٍ واضحٍ لفئات النمذجة التنبؤية، وتحديد خطوات عملية النمذجة التنبؤية، ومعرفة مميزاتها، وعيوبها، وأدواتها.
لذا قم بقراءة أهداف التعلُّم بعناية، ثم أعد قراءتها وتأكَّد من تحصيل كافة محتوياتها بعد انتهائك من دراسة الموضوع.
أهداف التعلُّم
- معرفة مصطلح النمذجة التنبؤية.
- تقديم وصف واضح لفئات النمذجة التنبؤية.
- معرفة مهام النمذجة التنبؤية.
- تحديد خطوات عملية النمذجة التنبؤية.
- تعداد مزايا النمذجة التنبؤية وعيوبها.
- معرفة أدوات النمذجة التنبؤية.
هيا لنبدأ!
ما النمذجة التنبؤية؟ (What is Predictive Modeling?)
النمذجة التنبؤية (Predictive Modeling)
هي أسلوب إحصائي تستخدم فيه النتائج والبيانات السابقة للتنبؤ بالأحداث والنتائج المستقبلية.
تعد التحليلات التنبؤية فرعًا من فروع علم تحليل البيانات المتقدم.
تستعين هذه التحليلات التنبؤية بالبيانات السابقة إلى جانب طرق أخرى كالنمذجة الاحصائية وتنقيب البيانات وتعلم الالة لتقديم التنبؤات حول النتائج المستقبلية للقرارات أو لعملية معينة تقوم بها الشركات أو المؤسسات.
لماذا تلجأ المؤسسات والشركات لاستخدام النمذجة التنبؤية؟
- لتحليل الأحداث المستقبلية المتعلقة بنشاطها التجاري، وذلك بهدف اتخاذ أفضل القرارات.
- يمكن استخدام نماذج التنبؤ لفهم ومعرفة شرائح وفئات المستهلكين، ولتقدير المبيعات المحتملة، أو لفهم القضايا الأمنية الحسابية.
- للتعرف على أنماط معينة في البيانات يمكن من خلالها تحديد الفرص والمخاطر.
مثال، تجمع خدمة الأرصاد الجوية للبيانات بشكل يومي عن المتغيرات المختلفة المتعلقة بحالة الطقس مثل درجات الحرارة والرطوبة، مما يمكنها التنبؤ بحالة الطقس القادمة.
ما هي استخدامات النمذجة التنبؤية؟ What is Predictive Modeling?
- تُستخدَم التحليلات التنبؤية على نطاق واسع في مجال الرعاية الصحية، وذلك بهدف تحسين طرق تشخيص وعلاج المرضى المصابين بالأمراض المزمنة.
- تستخدِم إدارات الموارد البشرية والشركات نماذج التنبؤ في تحسين عمليات اختيار وتعيين الموظفين.
- البنوك تستخدم التحليلات التنبؤية للكشف عن عمليات الاحتيال.
لمعرفة المزيد من المعلومات عن النمذجة التنبؤية، قم بالاطّلاع على الرابط التالي:
فئات النمذجة التنبؤية (Predictive Modeling Categories)
ما هي فئات النمذجة التنبؤية؟
- تتمثل مهمة المتعلم / النموذج في النمذجة التنبؤية بالوصول إلى الدالة أو العلاقة الوظيفية التي تربط متغيرات الإدخال بالمخرجات (التنبؤات) في بيانات التدريب (Training Data)، وذلك بصرف النظر عن طبيعة ومعاملات تلك الدالة.
- بمجرد الوصول إلى هذه العلاقة الوظيفية، يمكن استخدامها للتنبؤ بقيم المخرجات بناء على متغيرات الادخال المختلفة.
تعريف هام
المُعامِل (Parameter)
يمكن وصف المُعامِل بأنه متغير جوهري وأساسي في تكوين النموذج.
- النماذج المُعامِلية (Parametric Models)
تعتبر الافتراضات جزءًا أساسيًا من أي نموذج من نماذج البيانات، فهي تحسن التنبؤات وتجعل النموذج أسهل للفهم.
يضع النموذج المُعامَلي افتراضات محددة حول شكل الدالة التي سيتم تعيينها، ويفترض مجموعة محددة مسبقة من المعاملات، بشكل مستقل عن تلك الموجودة في أمثلة التدريب وهكذا.
يقوم النموذج المُعامَلي بتلخيص بيانات التدريب من خلال هذه المجموعة من المعاملات.
- النماذج غير المُعامِلية (Non-Parametric Models)
إن نماذج تَعلُّم الآلة غير المُعامِلية ليست معنية بتكوين الافتراضات حول دالة التعيين (Map Function).
يمكنها تقدير طبيعة العلاقة الوظيفية من خلال بيانات التدريب.
تعدُّ خيارًا ممتازً لتحليل الكميات الكبيرة من البيانات دون أي معرفة سابقة عنها.
مصادر النماذج التنبؤية.
مهام النمذجة التنبؤية (Predictive Modeling Tasks)
من أهم النماذج وأكثرها استخدامًا في مهام النمذجة التنبؤية: التصنيف (Classification)، الانحدار (Regression).
- التصنيف (Classification)
هو عملية تقييم المتغيرات المدخلة ثم تصنيفها ضمن مجموعات لتكوين بيانات المخرجات، وبذلك فإن المتغير الذي سيتم توقعه له قيمًا متقطعة (Discrete) وقد تكون هذه القيم إجابة لسؤال معين نعم أو لا.
يُستخدَم في عمليات التقييم والبيع بالتجزئة، حيث يستطيع جمع المعلومات بسرعة وتصنيفها في مجموعات لتقديم الاجابات على الأسئلة المتعلقة بتلك العمليات.
- الانحدار (Regression)
يعتمد على مبدأ ايجاد علاقات رياضية تربط بين متغيرين، بحيث يمكن تنبؤ أحدهما من خلال معرفة المتغير الآخر، ويطلق على المتغير المدخل اسم (المتغير المستقل Independent Variable) والمتغير المخرج (المتغير التابع Dependent Variable).
من المهام الشائعة الأخرى للنمذجة التنبؤية.
- التوقع (Forecasting)
هو إجراء وتقديم تقديرات رقمية معينة بناء على تحليل البيانات السابقة والتي يطلق عليها البيانات التاريخية، وتَستخدِم شركات الاستثمار التوقعات للتنبؤ بأسعار الأسهم في التداولات اليومية أو طويلة الأجل، ويعتبر من أكثر نماذج التنبؤ شيوعًا حيث يتميز بإمكانيات استخدام كثيرة في العديد من المجالات.
- التجميع (Clustering)
يصنف البيانات إلى مجموعات بناء على الخصائص المتشابهة بينها، ثم يستخدم كل مجموعة Cluster لتحديد النتائج على نطاق واسع لكل مجموعة.
أنواعه:
- التجميع الصلب (Hard Clustering): يعتمد على تصنيف البيانات إلى مجموعات متميزة، ويمكن أن تنتمي كل نقطة بيانات كل نقطة بيانات إلى مجموعة واحدة فقط.
- التجميع الناعم (Soft Clustering): يعتمد على تعيين احتمالا لكل نقطة بيانات، حيث يمكن أن تنتمي البيانات إلى أكثر من مجموعة واحدة ويمكن للشركات استخدام نموذج التجميع لتحديد استراتيجيات التسويق لفئات معينة من المستهلكين.
- نموذج اكتشاف القيم الشاذة (Outlier Detection)
يطلق مصطلح القيم الشاذة على قيم البيانات غير المتجانسة أو تلك المنفصلة عن بقية البيانات في مجموعة البيانات، ويمكن لنماذج اكتشاف القيم الشاذة فحص وتحديد القيم الغريبة وغير العادية في البيانات، وتقييم مدى ارتباطها بفئات وأرقام أخرى.
على سبيل المثال، نموذج لتحديد المعاملة الخارجية (الشاذة) عن عادات الشراء المعتادة للعميل.
- السلاسل الزمنية Time Series
تستخدم قيم البيانات المتوفرة سابقًا ضمن تسلسل زمني محدد كعوامل الإدخال في مجموعة البيانات، وذلك من أجل التنبؤ بقيم جديدة أو أحداث مستقبلية، ويمكن لهذه النماذج بتقديم التوقعات المستقبلية لاتجاهات أو أحداث فريدة أو متعددة.
يمكن تحليل تأثير العوامل الخارجية كتلك الموسمية وغير المتوقعة التي قد تحدث على القيم والاتجاهات المستقبلية.
على سبيل المثال، يمكن لشركة صناعات الكترونية استخدام هذا النموذج لتحليل الوقت المطلوب لمعالجة الطلبيات على مدار العام وبالتالي يمكن لنموذج التنبؤ بمتوسط وقت المعالجة الشهري.
تُستخدَم طرائق أخرى للنمذجة التنبؤية في المسائل الأكثر تعقيدًا.
بإمكانك مراجعة محتوى موضوع “نمذجة البيانات التنبؤية” من بدايته وحتى نهاية هذا القسم، من خلال الرابط التالي:
عملية النمذجة التنبؤية (The Predictive Modeling Process)
ما هي عملية النمذجة التنبؤية؟
هي عملية تنفيذ خوارزميات على مجموعة من البيانات لإنشاء التنبؤات.
يتم في هذه العملية:
- إنشاء نموذج وتدريبه.
- التحقق من صحته وإدخال التحسينات عليه عند الحاجة.
- الحصول على المعلومات المناسبة التي تلبي احتياجات المؤسسة.
ما هي الخطوات الأساسية لإجراء النمذجة التنبؤية بشكل تدريبي؟
- جمع البيانات وتنظيفها Data Collection and Cleaning
من المهم القيام بجمع البيانات من جميع المصادر المتوفرة، بهدف استخراج المعلومات اللازمة لعملية النمذجة، وبعد ذلك تتم عملية تنظيفها من الشوائب والقيم الشاذة للحصول على تقديرات دقيقة.
تطبق هذه الخطوة على:
- البيانات المختلفة مثل: عمليات البيع والشراء والاستبانات الخاصة بالعملاء.
- البيانات الاحصائية الخاصة بالاقتصاد والمسح السكاني.
- البيانات التي يتم جمعها بشكل آلي عبر الويب من خلال الأجهزة المختلفة وغير ذلك.
- تحويل البيانات Data Transformation
تقوم بتوحيد وصياغة بنية البيانات باستخدام عمليات معالجة دقيقة للحصول على البيانات في صورتها النهائية.
تشمل هذه العملية تحليل نطاقات معينة لقيم البيانات وازالة القيم الغريبة والبيانات الشاذة من خلال تحليل الارتباط Correlation Analysis.
- صياغة النموذج التنبؤي Formulation of the Predictive Model
تتضمن القيام بتحديد طرق التنبؤ المناسبة حسب الحاجة.
يمكن مثلاً استخدام شجرة القرار في عملية التصنيف، بينما يجب استخدام نموذج التعزيز الاشتقاقي حين تكون المهمة متعلقة بالانحدار.
يتم أثناء هذه العملية تحديد بيانات التدريب والاختبار في النموذج حيث يتم تدريب خوارزمية الإجراء المحدد باستخدام بيانات التدريب المتاحة، ثم يتم تطبيق النموذج الناتج على البيانات لاختبارها وتحديد أداء النموذج.
- الاستنتاجات والاستدلالات Inferences and Conclusions
في النهاية يتم استخراج الاستدلالات واستخلاص النتائج من النموذج، والتي تساعد في الإجابة على أسئلة الأعمال.
مثال عملي على التصنيف (Practical Classification Example)
يعرض هذا المثال كيفية إنشاء نموذج تنبؤي في إطار علم البيانات.
افترض أنك تعمل ضمن فريق مشروع مهمته تفقد هياكل المباني الخرسانية وفحصها بحثًا عن الشقوق الموجودة فيها.
ولأن هذه العملية تتميز بالصعوبة والخطورة المصاحبة لها، وبشكل خاص في المباني المرتفعة، فيمكنك إنشاء نموذج تعلم الآلة Machine Learning Model الذي بمقدوره فحص صور الخرسانة في هياكل البيانات التي تم تصنيفها إلى فئة إيجابية في حال وجود الشقوق بها، وأخرى سلبية إذا خلت من الشقوق.
يمكن بعد ذلك دمج الصور التي يمكن التقاطها بواسطة طائرة مسيرة دون طيار مع النموذج مما يتيح إجراء فحص المباني بطريقة أكثر أمانًا وفاعلية.
فئات النمذجة التنبؤية
تتطلب عملية التدريب وجود البيانات، والتي ستنقسم في هذه الحالة إلى فئتين:
- الفئة الأولى (الإيجابية):
تتضمن صورًا للخرسانة التي تحتوي على الشقوق.
- الفئة الثانية (السلبية):
تتضمن صورًا لخرسانة خالية من الشقوق.
يجب أيضًا تقسيم مجموعة بيانات الصور إلى مجموعتي بيانات منفصلتين:
- مجموعة التدريب Training Dataset
تتضمن الصور التي ستستخدمها لتدريب نموذج تعلم الالة.
- مجموعة الاختبارTest Dataset
تتضمن صورًا جديدة لم تكن ضمن مجموعة بيانات تدريب النموذج وبهدف استخدام هذه الصور إلى اختبار أداء النموذج وتقييمه.
لتدريب نموذج على تصنيف الخرسانة، يمكنك استخدام برنامج آلة قابلة للتعليم عبر الانترنت وهي متاحة على الموقع الالكتروني
https://teachablemachine.withgoogle.com وستقوم بتحميل الصور من مجلد الصور في حاسوبك لتصنيفها.
لإنشاء نموذج وتدريبه:
- افتح المُتصفح وانتقل إلى الموقع الإلكتروني: https://teachablemachine.withgoogle.com.
- اضغط على Get Started (البدء).
- اضغط على Image Project (مشروع الصورة).
- اضغط على Standard Image Model (نموذج الصورة القياسي).
- أعد تسمية Class 1 (الفئة 1) إلى Positive (إيجابي) وClass 2 (الفئة 2) إلى Negative (سلبي).
- اضغط على Upload (تحميل) في الفئة الإيجابية.
- اضغط على Choose images from your files, or drag & drop here (اختيار الصور من ملفاتك أو اسحبها وأفلتها هنا)، لتحديد وتحميل مجموعة الصور التدريبية التي بها شقوق في الخرسانة من المجلد الفرعي إيجابي (Positive) في مجلد صور التصنيف (Images for classification) الموجود داخل المستندات (Documents).
- كرِّر العملية لتحديد وتحميل مجموعة الصور التدريبية التي لا تحتوي على شقوق في الخرسانة من المجلد الفرعي سلبي (Negative) في مجلد صور التصنيف (Images for classification) داخل المستندات (Documents).
- اضغط على Train Model (تدريب النموذج).
يمكنك اختيار النموذج عند الانتهاء من عملية التدريب من خلال تقديم صورة من بيانات الاختبار، وذلك إما من الفئة الايجابية (التي تحتوي على الشقوق) أو الفئة السلبية (التي تخلو من الشقوق) ثم يمكنك تقييم المخرجات.
لاختبار وتقييم نموذج:
- حدِّد صورة بها شقوق في الخرسانة من المجلد الفرعي اختبار (Test) الموجود في مجلد صور التصنيف (Images for classification) داخل المستندات (Documents) وقمّ بتحميلها.
- اضغط على Choose images from your files, or drag & drop here (اختيار الصور من ملفاتك أو اسحبها وأفلتها هنا).
كما تلاحظ فقد صنف النموذج الصورة بشكل صحيح في الفئة الايجابية مع نسبة يقين 100% وذلك متوقع لأن صورة الخرسانة التي قمت بتحميلها تحتوي على الشقوق وعليك تكرار الخطوتين الأخيرتين لتحميل صورة مختلفة وتقييم النموذج مرة أخرى.
بإمكانك مراجعة محتوى موضوع “نمذجة البيانات التنبؤية” بداية من عنوان “عملية النمذجة التنبؤية” وحتى نهاية هذا القسم، من خلال الرابط التالي:
ميزات وتحديات النمذجة التنبؤية (Benefits and Limitations of Predictive Modeling)
أدوات النمذجة التنبؤية (Predictive Modeling Tools)
توجد أدوات النمذجة التنبؤية الحديثة على صورة منصات متكاملة تدعم تطوير الخوارزميات وتحليل البيانات وتقديم النتائج الموثوقة، ويتم استخدام هذه الأدوات من قبل الشركات والمؤسسات البحثية لإخراج استنتاجات دقيقة وشاملة يمكنها المساهمة في اتخاذ القرارات الفعالة.
بإمكانك مراجعة محتوى موضوع “نمذجة البيانات التنبؤية” بدايةً من عنوان “ميزات وتحديات النمذجة التنبؤية” وحتى نهاية الموضوع، من خلال الرابط التالي:
اختبر تحصيلك لمحتوى الموضوع من خلال الرابط التالي:
الواجب الإلكتروني
إلى هنا يكون قد انتهى موضوع “نمذجة البيانات التنبؤية”، لا تنسوا مراجعة أهداف التعلُّم أعلى المقال، وانتظرونا في الموضوع القادم!