تحليل البيانات | الوحدة الثالثة | الدرس الأول
تحليل البيانات هو عنوان الدرس الأول من الوحدة الثالثة التي تحمل اسم “التحليل الاستكشافي للبيانات” من مقرر “علم البيانات”.
ستتعرف في هذا الموضوع على مفهوم تحليل البيانات، وتصنيف أنماط تحليل البيانات، ومعرفة مفهوم التحليل الاستكشافي للبيانات (Exploratory Data Analysis)، وتصنيف أنماط التحليل الاستكشافي للبيانات، بالإضافة للتعرف على التحليل الرسومي (Graphical Analysis)، والتحليل غير الرسومي (Non-Graphical Analysis)، وأنواعها، وكيفية تحليل البيانات باستخدام البايثون، واستخدام مفكرة جوبيتر (Jupyter Notebook) كأداة لتحليل البيانات.
لذا قم بقراءة أهداف التعلُّم بعناية، ثم أعد قراءتها وتأكَّد من تحصيل كافة محتوياتها بعد انتهائك من دراسة الموضوع.
أهداف التعلُّم
- معرفة مفهوم تحليل البيانات.
- تصنيف أنماط تحليل البيانات.
- معرفة مفهوم التحليل الرسومي وغير الرسومي.
- تمييز أنواع التحليل الرسومي وغير الرسومي.
- تحليل البيانات باستخدام البايثون.
- معرفة مفهوم المكتبات البرمجية.
- استخدام مفكرة جوبيتر كأداة لتحليل البيانات.
هيا لنبدأ!
مفهوم تحليل البيانات (Concept of Data Analysis)
أنت تحلل كل شيء في حياتك اليومية. على سبيل المثال، عند التفكير فيما حدث بالمرة الأخيرة التي فعلت فيها شيئًا وماذا سيحدث إذا اتخذت هذا القرار مرة أخرى، وما هذا إلا تحليل لماضيك أو لمستقبلك واتخاذ قراراتك بناءً على ذلك التحليل.
تحليل البيانات هو عملية فحص البيانات وتنظيمها وتحويلها ونمذجتها لاستخلاص المعلومات المفيدة، وإثراء الاستنتاجات، ودعم عملية اتّخاذ القرارات.
تعريف هام
تحليل البيانات (Data Analysis)
فحص منهجي للبيانات عن طريق العينات والقياس والتصوير.
لمعرفة المزيد من المعلومات عن تحليل البيانات، قم بالاطّلاع على الرابط التالي:
أنماط تحليل البيانات (Types of Data Analysis)
بناء على رغبتك في تحليل البيانات والمشكلة المحددة التي تحاول حلها، فقد تقوم بإجراء أنواع مختلفة من التحليلات منها:
- التحليل التوجيهي (Prescriptive Analysis).
- التحليل التنبؤي (Predictive Analysis).
- التحليل التشخيصي (Diagnostic Analysis).
- التحليل الوصفي (Descriptive Analysis).
لمعرفة المزيد من المعلومات عن أنماط تحليل البيانات، قم بالاطّلاع على الرابط التالي:
التحليل الوصفي (Descriptive Analysis)
- يهتم بما حدث في الماضي، ولا يقدم تنبؤات مستقبلية.
- يسمى بالتحليلات الوصفية أو الإحصاءات الوصفية.
- هو وصف أو تلخيص مجموعة من البيانات باستخدام التقنيات الإحصائية.
- أهمية: تحليل البيانات التي لم يتم تحليلها بعد.
التحليل التشخيصي (Diagnostic Analysis)
- يهتم بأسباب حدوث شيء ما.
- يقوم على التحليل الوصفي.
- يسعى المختصون من خلاله إلى فهم سبب التوجيهات والأنماط التي تمت ملاحظتها.
التحليل التنبؤي (Predictive Analysis)
- يهتم بالتنبؤ بالنتائج المستقبلية بناءً على الاتجاهات المكتشفة سابقًا والبيانات التاريخية باستخدام تقنية النمذجة والاحصاءات.
- يستخدم في العديد من الحالات المختلفة مثل التنبؤ بالطقس وسياسات التأمين.
تعريف هام
التحليل التنبؤي (Predictive Analysis)
استخدام بيانات سابقة مع نماذج رياضية للتنبؤ بالنتائج المستقبلية أو الأحداث غير المعروفة.
التحليل التوجيهي (Prescriptive Analysis)
- هي المرحلة الأخيرة من تحليل البيانات.
- يهتم بمحاولة إيجاد مسار العمل الأمثل.
- يهدف إلى تقديم توصيات للخطوات المستقبلية.
- مفيد بشكل خاص في القطاع الصحي، وذلك للحاجة إلى توصيات طبية آمنة.
لاحظ أن
التحليلات التنبؤية والتوجيهية أكثر تعقيدًا من التحليلات الوصفية والتشخيصية، لكنها توفر المزيد من القيمة المضافة والفهم الأعمق لكل مشروع.
عملية تحليل البيانات (Data Analysis Process)
تتضمن عملية تحليل البيانات جمع المعلومات ومعالجتها وفحص البيانات، وبناءً على نتائج المعالجة، يمكنك اتخاذ القرارات أو استخلاص النتائج.
خطوات عملية تحليل البيانات:
- إعداد البيانات وتنظيمها
- تزيل المسافات البيضاء الزائدة المكررة وأخطاء البيانات الأساسية.
- فتنظف البيانات إلزامي قبل إرسال المعلومات وتحليلها.
- التحليل الاستكشافي للبيانات
- تبدأ في استخدام برامج تحليل البيانات وأدوات أخرى لمساعدتك على تفسير البيانات وفهمها والتوصل إلى استنتاجات.
- تصوير البيانات
- تتم من خلال العناصر المرئية (الرسم البياني، المخططات) لمجموعة من المعلومات أو البيانات.
- يسهل عملية فهم وتحليل البيانات.
تعريف مفهوم التحليل الاستكشافي للبيانات (What is Exploratory Data Analysis?)
يجدر بك محاولة فهم البيانات وجمع أكبر قدر ممكن من المعلومات قبل الانتقال إلى مهمة النمذجة.
التحليل الاستكشافي للبيانات هو وسيلة لفهم البيانات وإجراء الفحوصات الأولية وتلخيص خصائصها الرئيسة.
أهداف التحليل الاستكشافي
- اكتشاف الاتجاهات والأنماط والميزات الجديدة في البيانات.
- اكتشاف الحالات الشاذة في مجموعة البيانات.
أهمية التحليل الاستكشافي
- يساعد على اختيار فرضيتك الأولية والحصول على فهم أفضل لمتغيرات مجموعة البيانات والعلاقات بينها.
- يساعد في تحديد الأخطاء الواضحة والتأكد من أن نتائج مهمة معينة صالحة وقابلة للتطبيق على أي هدف مرغوب.
- يساعد على استخلاص المعلومات من الأرقام من خلال الموجز الاحصائي والتمثيلات الرسومية وطرق تصوير البيانات.
تعريف هام
التحليل الاستكشافي للبيانات (Exploratory Data Analysis)
المنهج المتبع في تحليل مجموعة من البيانات لتلخيص خصائصها الرئيسة، وغالبًا تتم باستخدام الطرائق البصرية.
أنماط التحليل الاستكشافي للبيانات (Types of Exploratory Data Analysis)
يُصنف التحليل الاستكشافي للبيانات بطريقتين:
- طريقة رسومية أو غير رسومية.
- طريقة أحادية أو متعددة المتغيرات (عادةً ما يكون المتغير ثنائيًا).
في حالة أحادي المتغير فإنه يتم تحليل تأثير متغير مستقل واحد فقط، بينما مع متعدد المتغيرات يتم تحليل أكثر من متغير مستقل في آن واحد، وفي المشروعات الكبيرة يعدُّ التحليل متعدد المتغيرات الأكثر شيوعًا.
التحليل غير الرسومي (Non-Graphical Analysis)
التحليل غير الرسومي أحادي المتغير (Univariate Non-Graphical Analysis)
مثال، تأثير العمر على الإصابة ببعض أنواع الأمراض مثل مرض الزهايمر.
أحادي المتغير: لأنه يقيس العمر فقط.
غير رسومي: لأنه لا يستخدم التصوير البياني.
التحليل غير الرسومي متعدد المتغيرات (Multivariate Non-Graphical Analysis)
مثال، إذا أخذت في الاعتبار من المثال السابق آثار النظام الغذائي والتمارين الرياضية والوراثة.
التحليل الرسومي (Graphical Analysis)
التحليل غير رسومي أحادي المتغير (Univariate Non-Graphical Analysis)
مثال، قياس مستوى السكر في خمس أنواع من الحلوى المختلفة.
أحادي المتغير: لأنه يحلل متغير واحد فقط ويتم عرضه بطريقة رسومية.
التحليل الرسومي متعدد المتغيرات (Multivariate Non-Graphical Analysis)
مثال، قياس نسبة السكر في العديد من الحلوى وبناء على سعرها.
إذن ثلاث متغيرات معًا، وتصوير علاقة الارتباط بينهم بشكل بياني.
بإمكانك مراجعة محتوى موضوع “تحليل البيانات” من بدايته وحتى نهاية هذا القسم، من خلال الرابط التالي:
أدوات تحليل البيانات (Data Analysis Tools)
كيف يتم تحليل البيانات؟ هل هناك أدوات أو برامج تساعد على ذلك؟ اذكر أمثلة على ذلك؟
فيما تُستخدَم هذه البيانات؟
- لمعالجة العلاقات والارتباطات بين مجموعات البيانات ومعالجتها وتحلليها.
- تساعدك في تحديد الأنماط والتوجهات للتفسير.
كيف يتم اختيار أداة تحليل البيانات؟
أولاً لا بد من فهم احتياجاتك.
اذكر أمثلة على أدوات تحليل البيانات؟
الأداة التحليلية الأكثر شيوعًا في جميع الصناعات هي إكسل، وبرامج جداول البيانات.
كيف يتم إجراء تحليل البيانات؟
بلغات البرمجة المتخصصة والبيئات البرمجية، مثل:
- مفكرة جوبيتر (Jupyter Notebook).
- أر ستوديو (RStudio).
- ماتلاب (Matlab).
تحليل البيانات باستخدام البايثون (Data Analysis with Python)
- هي واحدة من اللغات الأكثر استخدامًا لمشروعات علم البيانات من قبل علماء البيانات ومطوري البرامج.
- يمكن استخدامه في تحليل البيانات وللتنبؤ النتائج، وأتمتة الوظائف، وتبسيط العمليات، وتمكين ذكاء الأعمال.
- لإجراء تحليل البيانات باستخدام لغة البايثون، يمكنك الاستفادة من مكتبات البايثون.
المكتبات والوحدات النمطية للبايثون (Python LibrariesModules)
ما هي المكتبات البرمجية؟
المكتبة عبارة عن مجموعة من المقاطع البرمجية المكتوبة مسبقًا والبرامج الفرعية التي يمكن أن يستخدمها البرنامج.
ما فائدتها؟
لمساعدة كل من المبرمج والمحول البرمجي Compiler على إنشاء برنامج.
كيف يتم استخدامها؟
لابد من تضمينها في مقطعك البرمجي، ولاستخدامها في البايثون، عليك إضافة كلمة استيراد Import، واسم المكتبة.
ما هي المكتبة في البايثون؟
هي مجموعة من الوحدات النمطية أو حزم من المقاطع البرمجية القابلة لإعادة الاستخدام في العديد من البرامج.
ما فائدتها؟
تبسط وتسرع للمطورين، بدون إعادة كتابة نفس المقطع البرمجي لبرامج مختلفة.
فيما تُستخدَم؟
يعتمد تعلم الآلة وعلوم البيانات وتصوير البيانات على مكتبات البايثون.
لا تتعلق المكتبة بأي سياق محدد في البايثون، وتحتوي المكتبة على التوثيق Documentation، وبيانات التكوين Configuration Data، وقوالب الرسائل Message Templates، والفئات Classes، والقيم Values وغيرها.
في البايثون، تصف المكتبة بشكل عام مجموعة من الوحدات النمطية، وتحوي أساسًا مجموعة من الوحدات النمطية أو حزمًا من المقاطع البرمجية القابلة لإعادة الاستخدام في العديد من البرامج، فهي تُبسّط وتُسرّع برمجة البايثون للمطورين؛ لأنهم غير مضطرين لإعادة كتابة نفس المقطع البرمجي لبرامج مختلفة.
يعتمد تعلُّم الآلة وعلوم البيانات وتصوير البيانات والمجالات الأخرى بشكل كبير على مكتبات البايثون.
مكتبات بايثون القياسية (Python Standard Library)
- مجموعة دقيقة من تراكيب اللغة ووحداتها ودلالتها، تم تضمينها في توزيع البايثون القياسي.
- تتعامل مع وظائف أساسية مثل: المدخلات والمخرجات والوحدات الأساسية الأخرى.
- تضم أكثر من 200 وحدة نمطية.
مكتبات البايثون لعلم البيانات Python Libraries for Data Science
- مكتبات مفتوحة المصدر التي تجعل مشروعات علم البيانات أسهل.
ما المكتبات التي سيتم استخدامها في هذه الوحدة؟
- مكتبة NumPy للعمليات الحسابية والرياضية.
- مكتبة Pandas للتعامل مع البيانات والتعديل عليها بطرق مختلفة.
- مكتبة Matplotlib لتصوير البيانات.
لاحظ أن
مفكرة جوبيتر ليست بيئة تطوير متكاملة (IDE) لبايثون ولكن تم تحسينها لمشروعات علوم البيانات.
غالبًا ما تستخدم Notebook في الكثير من أمور حياتك، فما هي؟ وما الفائدة منها؟
مفكرة جوبيتر (Jupyter Notebook)
ما هي مفكرة جوبيتر (Jupyter Notebook)؟
- هي تطبيق الكتروني على الانترنت لإنشاء المستندات الحسابية ومشاركتها.
- تستخدم كأداة لتحليل البيانات.
- كل مستند يسمى مفكرة، ويتضمن مقاطعك البرمجية وتعليقاتك وبياناتك الأولية والمعالجة والبيانات المصورة.
ما هي مزاياها؟
- تخزين البيانات في ملف خارجي أو دمجها في المفكرة.
- تدعم لغات برمجة مختلفة بما فيها بايثون.
- يمكن من خلالها إنشاء مخرجات تفاعلية مثل HTML ومقاطع الفيديو.
كيف يمكنك فتح مفكرة جوبيتر؟
- فتح مفكرة جوبيتر
- تحميل برنامج جوبيتر
كيف يتم استخدامها؟
- سنستخدم الإصدار غير المتصل بالإنترنت Offline، من مفكرة جوبيتر.
- تحمليها من خلال أناكوندا Anaconda: هي منصة توزيع مفتوحة المصدر.
- تحميلها من خلال الرابط: https://www.anacoda.com/products/distribution
لفتح مفكرة جوبيتر:
- اضغط Start (بدء).
- ثم اضغط Anaconda3 (اناكوندا3).
- اختر Jupyter Notebook (مفكرة جوبيتر).
- ستفتح صفحة Jupyter Notebook (مفكرة جوبيتر) الرئيسة في المتصفح.
نبذة تاريخية
عرّف عالم الرياضيات الأمريكي جون توكي (John Tukey) تحليل البيانات في عام 1961 على النحو الآتي: “هي إجراءات لتحليل البيانات، وتقنيات لتفسير نتائج هذه الإجراءات، وطرائق لتخطيط جمع البيانات لجعل تحليلها أسهل وأكثر دقة، وفي المجمل هي كل الآليات ونتائج الإحصاءات (الرياضية) ذات العلاقة بتحليل البيانات”.
لإنشاء مفكرة جديدة في جوبيتر:
- في الزاوية اليمنى العلوية من شاشتك، اضغط على New (جديد).
- حدِّد Python 3 (Ipykernel) (البايثون 3).
- وستفتح المفكرة الخاصة بك في علامة تبويب جديدة في المتصفح الخاص بك.
الآن بعد أن أصبحت مفكرتك جاهزة، حان الوقت لكتابة برنامجك الأول في مفكرة جوبيتر وتشغيله.
لإنشاء برنامج في مفكرة جوبيتر:
- اكتب الأوامر داخل خلية المقطع البرمجي.
- اضغط على Run (تشغيل).
- وسيتم عرض النتيجة تحت الأوامر.
معلومة
اسم مشروع جوبيتر هو إشارة إلى لغات البرمجة الأساسية الثلاث التي يدعمها جوبيتر، وهي جوليا (Julia) والبايثون (Python) وR.
حان الوقت لحفظ المفكرة الخاصة بك.
لحفظ المفكرة الخاصة بك:
- اضغط على File (ملف).
- اختر Save as (احفظ كـ).
- اكتب اسمًا لمفكرتك.
- اضغط على Save (حفظ).
لاحظ أن
يتم حفظ المفكرة تلقائيًا أثناء عملك.
بإمكانك مراجعة محتوى موضوع “تحليل البيانات” بدايةً من عنوان “أدوات تحليل البيانات” وحتى نهاية الموضوع، من خلال الرابط التالي:
اختبر تحصيلك لمحتوى الموضوع من خلال الرابط التالي:
الواجب الإلكتروني
إلى هنا يكون قد انتهى موضوع “تحليل البيانات”، لا تنسوا مراجعة أهداف التعلُّم أعلى المقال، وانتظرونا في الموضوع القادم!