في التعلم الآلي ، المدرك هو خوارزمية تعلم خاضعة للإشراف للمصنفات الثنائية. وغالبًا ما يطلق عليه أيضًا اسم المدرس. المصنف الثنائي هو وظيفة يمكنها تحديد ما إذا كان أحد المدخلات ، الذي يمثله متجه من الأرقام ، ينتمي إلى فئة معينة. هذا نوع من المصنفات الخطية ، أي خوارزمية تصنيف تجعل تنبؤاتها تستند إلى وظيفة توقع خطي تجمع بين مجموعة من الأوزان ومتجه الميزة.
في السنوات الأخيرة ، اكتسبت الشبكات العصبية الاصطناعية الاهتمام بسبب التقدم في التعلم العميق. لكن ما هي الشبكة العصبية الاصطناعية وماذا تتكون؟
لقاء مع Perceptron
في هذه المقالة ، سنلقي نظرة سريعة على الشبكات العصبية الاصطناعية بشكل عام ، ثم ننظر إلى خلية عصبية واحدة ، وأخيرًا (هذا هو جزء الترميز) سنأخذ النسخة الأساسية من خلية اصطناعية الخلايا العصبية ، المدرك ، وتصنف نقاطها إلىالطائرة
هل تساءلت يومًا عن سبب وجود مهام سهلة جدًا لأي شخص ، ولكنها صعبة للغاية على أجهزة الكمبيوتر؟ كانت الشبكات العصبية الاصطناعية (اختصارًا ANN) مستوحاة من الجهاز العصبي المركزي البشري. مثل نظيرتها البيولوجية ، فإن الشبكات العصبية الاصطناعية مبنية على عناصر معالجة إشارة بسيطة يتم دمجها في شبكة كبيرة.
يجب أن تتعلم الشبكات العصبية
على عكس الخوارزميات التقليدية ، لا يمكن "برمجة" أو "ضبط" الشبكات العصبية لتعمل على النحو المنشود. تمامًا مثل الدماغ البشري ، يجب أن يتعلموا إكمال المهمة. بشكل تقريبي ، هناك ثلاث استراتيجيات للتعلم.
أسهل طريقة يمكن استخدامها إذا كانت هناك حالة اختبار (كبيرة بما يكفي) مع نتائج معروفة. ثم يذهب التدريب على النحو التالي: معالجة مجموعة واحدة من البيانات. قارن النتيجة بالنتيجة المعروفة. قم بإعداد الشبكة وحاول مرة أخرى. هذه هي استراتيجية التعلم التي سنستخدمها هنا
التعلم غير الخاضع للإشراف
مفيد في حالة عدم توفر بيانات اختبار وإذا كان من الممكن اشتقاق بعض دالة التكلفة من السلوك المطلوب. تخبر دالة التكلفة الشبكة العصبية بمدى بُعدها عن الهدف. يمكن للشبكة بعد ذلك ضبط معلماتها بسرعة ، والعمل مع البيانات الحقيقية.
التعلم المعزز
طريقة العصا والجزرة. يمكن استخدامه إذا كانت الشبكة العصبية تولد إجراءً مستمرًا. بمرور الوقت ، تتعلم الشبكة تفضيل الإجراءات الصحيحة وتجنب الإجراءات الخاطئة.
حسنًا ، الآن نعرف القليل عنهاطبيعة الشبكات العصبية الاصطناعية ، ولكن مما تتكون بالضبط؟ ماذا سنرى إذا فتحنا الغطاء ونظرنا إلى الداخل؟
الخلايا العصبية هي اللبنات الأساسية للشبكات العصبية. المكون الرئيسي لأي شبكة عصبية اصطناعية هو خلية عصبية اصطناعية. لم يتم تسميتهم على اسم نظرائهم البيولوجيين فحسب ، بل تم تصميمهم أيضًا على غرار سلوك الخلايا العصبية في أدمغتنا.
علم الأحياء مقابل التكنولوجيا
تمامًا كما تحتوي الخلية العصبية البيولوجية على تشعبات لتلقي الإشارات ، وجسم خلية لمعالجتها ، ومحورًا لإرسال إشارات إلى عصبونات أخرى ، فإن العصبون الاصطناعي يحتوي على قنوات إدخال متعددة ومرحلة معالجة ومخرج واحد يمكنه تتفرع إلى العديد من الخلايا العصبية الاصطناعية.
هل يمكننا أن نفعل شيئًا مفيدًا باستخدام مستشعر واحد؟ هناك فئة من المشاكل يمكن أن يحلها مدرك واحد. اعتبر متجه الإدخال كنقطة إحداثيات. بالنسبة إلى المتجه الذي يحتوي على عناصر n ، ستعيش هذه النقطة في فضاء ذي أبعاد n. لتبسيط الحياة (والكود أدناه) ، لنفترض أنها ثنائية الأبعاد. مثل قطعة من الورق.
بعد ذلك ، تخيل أننا نرسم بعض النقاط العشوائية على هذا المستوى ونقسمها إلى مجموعتين عن طريق رسم خط مستقيم عبر الورقة. يقسم هذا الخط النقاط إلى مجموعتين ، واحدة فوق الخط والأخرى أسفل الخط. ثم يتم استدعاء المجموعتين خطيا قابلة للفصل.
يستطيع أحد الإدراك ، بغض النظر عن مدى بساطته ، معرفة مكان هذا الخط ، وعندما ينتهي من التدريب ، يمكنه تحديد ما إذا كانت نقطة معينة أعلى أو أسفل هذا الخط.
التاريخاختراعات
تم اختراع الخوارزمية الخاصة بهذه الطريقة في عام 1957 في مختبر كورنيل للطيران من قبل فرانك روزنبلات (غالبًا ما يُطلق عليه اسمه) ، بتمويل من مكتب الولايات المتحدة للبحوث البحرية. كان القصد من Perceptron أن يكون آلة وليس برنامجًا ، وعلى الرغم من أن أول تطبيق له كان في برنامج لـ IBM 704 ، فقد تم تنفيذه لاحقًا على أجهزة مصممة خصيصًا باسم "Mark 1 Perceptron". تم تصميم هذا الجهاز للتعرف على الصور: كان يحتوي على مجموعة من 400 خلية ضوئية متصلة بشكل عشوائي بالخلايا العصبية. تم ترميز الأوزان بمقاييس فرق الجهد وتم تحديث الوزن أثناء التدريب بواسطة محركات كهربائية.
في مؤتمر صحفي استضافته البحرية الأمريكية في عام 1958 ، أدلى روزنبلات بتصريحات حول المدرك الذي تسبب في نقاش ساخن بين مجتمع الذكاء الاصطناعي الشاب ؛ استنادًا إلى ادعاءات روزنبلات ، ذكرت صحيفة نيويورك تايمز أن المستشعر هو "الكمبيوتر الإلكتروني الجنيني الذي تتوقع البحرية أن يكون قادرًا على المشي والتحدث والرؤية والكتابة وإعادة إنتاج نفسها والاطلاع على وجودها."
تطورات أخرى
على الرغم من أن المدرك بدا واعدًا في البداية ، فقد ثبت بسرعة أنه لا يمكن تدريب المستمرين على التعرف على العديد من فئات الأنماط. أدى ذلك إلى ركود في مجال البحث مع الشبكات العصبية الإدراكية لسنوات عديدة قبل أن يتم التعرف على شبكة عصبية تغذية متقدمة ذات طبقتين أو أكثر (تسمى أيضًاmultilayer perceptron) لديها قدرة معالجة أكبر بكثير من المستقبلات أحادية الطبقة (وتسمى أيضًا perceptrons أحادية الطبقة). إن المستشعر أحادي الطبقة قادر فقط على دراسة الهياكل القابلة للفصل خطيًا. في عام 1969 ، أظهر الكتاب الشهير "Perceptrons" الذي ألفه مارفن مينسكي وسيمور بابيرت أن هذه الفئات من الشبكات لا يمكنها تعلم وظيفة XOR. ومع ذلك ، هذا لا ينطبق على وظائف التصنيف غير الخطية التي يمكن استخدامها في طبقة واحدة مدرك.
يؤدي استخدام مثل هذه الوظائف إلى توسيع قدرات المستشعر ، بما في ذلك تنفيذ وظيفة XOR. غالبًا ما يُفترض (بشكل غير صحيح) أنهم افترضوا أيضًا أن نتيجة مماثلة ستحمل شبكة إدراك متعددة الطبقات. ومع ذلك ، ليس هذا هو الحال ، لأن كلا من مينسكي وبابيرت كانا يعرفان بالفعل أن المستشعرات متعددة الطبقات قادرة على إنتاج وظيفة XOR. بعد ثلاث سنوات ، نشر ستيفن جروسبرج سلسلة من الأوراق البحثية التي تقدم شبكات قادرة على نمذجة الوظائف التفاضلية ، ووظائف تحسين التباين ، ووظائف XOR.
تم نشر الأعمال في عامي 1972 و 1973. ومع ذلك ، تسبب نص مينسكي / بابرت الذي غالبًا ما يتم تجاهله في انخفاض كبير في الاهتمام وتمويل البحث باستخدام إدراك الشبكة العصبية. مرت عشر سنوات أخرى قبل إحياء أبحاث الشبكة العصبية في الثمانينيات.
الميزات
تم تقديم خوارزمية Perceptron Kernel في عام 1964 بواسطة Yzerman et al. Mori and Rostamizadeh (2013) ، اللذان يمددان النتائج السابقة ويعطيان حدودًا جديدة L1.
Perceptron هو نموذج مبسط للخلايا العصبية البيولوجية. في حين أن تعقيد النماذج العصبية البيولوجية غالبًا ما يكون مطلوبًا لفهم السلوك العصبي تمامًا ، تظهر الأبحاث أن نموذجًا خطيًا يشبه الإدراك الحسي يمكن أن يحفز بعض السلوك المرئي في الخلايا العصبية الحقيقية.
Perceptron هو مصنف خطي ، لذلك لن يدخل أبدًا في حالة مع تصنيف جميع متجهات الإدخال بشكل صحيح إذا كانت مجموعة التدريب D غير قابلة للفصل خطيًا ، أي إذا كان لا يمكن فصل الأمثلة الإيجابية عن الأمثلة السلبية عن طريق المستوى الفائق. في هذه الحالة ، لن يكون هناك حل "تقريبي" خطوة بخطوة خلال خوارزمية التعلم القياسية ، وبدلاً من ذلك سيفشل التعلم تمامًا. لذلك ، إذا لم تكن القابلية للفصل الخطي لمجموعة التدريب معروفة مسبقًا ، فيجب استخدام أحد خيارات التدريب أدناه.
خوارزمية الجيب
تحل خوارزمية جيب السقاطة مشكلة متانة التعلم الإدراكي من خلال الاحتفاظ بأفضل الحلول الموجودة حتى الآن "في الجيب". ثم تقوم خوارزمية الجيب بإرجاع الحل في الجيب بدلاً من الحل الأخير. يمكن استخدامه أيضًا لمجموعات البيانات غير القابلة للفصل حيث يكون الهدف هو العثور على مدرك مع عدد قليل من التصنيفات الخاطئة. ومع ذلك ، فإن هذه الحلول تبدو عشوائية وبالتالي فإن خوارزمية الجيب لا تناسبها.تدريجيًا على مدار التدريب ، ولا يمكن ضمان اكتشافها عبر عدد معين من خطوات التدريب.
خوارزمية Maxover
تعد خوارزمية Maxover "قوية" بمعنى أنها ستتقارب بغض النظر عن معرفة القابلية للفصل الخطي لمجموعة البيانات. في حالة الانقسام الخطي ، سيؤدي ذلك إلى حل مشكلة التعلم ، اختياريًا حتى مع الاستقرار الأمثل (الحد الأقصى للهامش بين الفئات). بالنسبة لمجموعات البيانات غير القابلة للفصل ، سيتم إرجاع حل مع عدد صغير من التصنيفات الخاطئة. في جميع الحالات ، تقترب الخوارزمية تدريجياً من الحل أثناء عملية التعلم ، دون تذكر الحالات السابقة وبدون قفزات عشوائية. يكمن التقارب في الأمثل العالمي لمجموعات البيانات المشتركة والأمثل المحلي لمجموعات البيانات غير القابلة للفصل.
مدرك التصويت
إن خوارزمية Voted Perceptron هي متغير باستخدام عدة تصورات مرجحة. تبدأ الخوارزمية مدركًا جديدًا في كل مرة يتم فيها تصنيف مثال بشكل خاطئ ، وتهيئة متجه الوزن بالأوزان النهائية لآخر مدرك. سيتم أيضًا منح كل مدرك وزنًا مختلفًا يتوافق مع عدد الأمثلة التي يصنفونها بشكل صحيح قبل تصنيفها بشكل خاطئ ، وفي النهاية سيكون الناتج تصويتًا مرجحًا عبر المدرك بأكمله.
التطبيق
في المشكلات القابلة للفصل ، يمكن أيضًا أن يهدف تدريب المدركين إلى إيجاد أكبر حد للفصل بين الفصول الدراسية. ما يسمىيمكن تحديد مدرك الاستقرار الأمثل باستخدام التدريب التكراري وخطط التحسين مثل خوارزمية Min-Over أو AdaTron. يستغل AdaTron حقيقة أن مشكلة التحسين التربيعية المقابلة محدبة. إن إدراك الاستقرار الأمثل ، جنبًا إلى جنب مع خدعة النواة ، هو الأساس المفاهيمي لآلة ناقلات الدعم.
البديل
هناك طريقة أخرى لحل المشكلات غير الخطية دون استخدام طبقات متعددة وهي استخدام شبكات ذات ترتيب أعلى (كتلة سيجما بي). في هذا النوع من الشبكات ، يتم توسيع كل عنصر من عناصر متجه الإدخال بواسطة كل مجموعة زوجية من المدخلات المضاعفة (الترتيب الثاني). يمكن أن يمتد هذا إلى شبكة ترتيب n. إن Perceptron شيء مرن للغاية.
ومع ذلك ، تذكر أن أفضل مصنف ليس بالضرورة هو الذي يصنف بدقة جميع بيانات التدريب. في الواقع ، إذا كان لدينا القيد المسبق المتمثل في أن البيانات تأتي من توزيعات غاوسية متساوية التباين ، فإن الانقسام الخطي في مساحة الإدخال هو الأمثل ، ويتم تجاوز الحل غير الخطي.
تشمل خوارزميات التصنيف الخطي الأخرى Winnow وناقلات الدعم والانحدار اللوجستي. Perceptron هي مجموعة عالمية من الخوارزميات.
النطاق الرئيسي للتعلم تحت الإشراف
التعلم الخاضع للإشراف هو مهمة تعلم آلي تتعلم وظيفة تحدد المدخلات إلى المخرجاتبناءً على أمثلة من أزواج الإدخال / الإخراج. يستنتجون ميزة من بيانات التدريب المسمى والتي تتكون من مجموعة من الأمثلة. في التعلم الخاضع للإشراف ، يكون كل مثال زوجًا يتكون من كائن إدخال (عادة ما يكون متجهًا) وقيمة الإخراج المطلوبة (تسمى أيضًا إشارة التحكم).
تحلل خوارزمية التعلم الخاضع للإشراف بيانات التدريب وتنتج وظيفة تقديرية يمكن استخدامها لعرض أمثلة جديدة. سيسمح السيناريو الأمثل للخوارزمية بتحديد تسميات الفئات بشكل صحيح للحالات غير المرئية. وهذا يتطلب خوارزمية التعلم لتعميم بيانات التعلم على المواقف غير المرئية بطريقة "معقولة".
غالبًا ما تسمى المهمة الموازية في علم نفس الإنسان والحيوان التعلم المفاهيمي.
