تحلیل جاذب‌ها در شبکه‌های عصبی خودانجمنی و کاربرد آن در آنالیز تصاویر چهره

1-1-3- تأثیر سطح آستانه

اگر در ورودی شبکة تک‌نورونی خودانجمنی شکل (1)، مقدار سطح آستانه نیز اضافه شود، وجود آن هم در مقدار وزن و هم در مشتق تابع غیرخطی نورون مطابق روابط (16) و (17) برای تابع تانژانت هیپرپولیک و روابط (18) و (19) برای تابع سیگموئید تأثیرگذار است؛ بنابراین، رفتار نورون را تغییر می‌دهد.

شکل (7)، تأثیر سطح آستانه را در تغییر رفتار نورون نشان می‌دهد. شکل (7-الف) نشان می‌دهد برای تابع تانژانت هیپرپولیک برای ،  برای برخی مقادیر ، مقداری بزرگ‌تر از یک خواهد داشت؛ درنتیجه در این نقاط و قرینة آنها جاذب تشکیل نخواهد شد. همچنین، با توجه به نمودار (7-ب)، با تغییر  می‌توان آستانة مقدار  را برای ایجاد جاذب تنظیم کرد. با کاهش  این آستانه کاهش می‌یابد.

شکل (7): نمودار  برای مقادیر مختلف ، (الف) برای تابع تانژانت هیپرپولیک و (ب) برای تابع سیگموئید

شکل (8) نیز این تغییر رفتار نورون تأثیرگرفته از سطح آستانه را نشان می‌دهد. برای تابع تانژانت هیپرپولیک در شکل (4) نشان داده شد که برای نمونة تعلیم داده شده ، دو جاذب در  و  تشکیل می‌شود؛ درحالی‌که در نمودار (8-الف) مشاهده می‌شود در صورت وجود سطح آستانه فقط یک جاذب در  تشکیل می‌شود.

شکل (8): نمودارهای همگرایی نمونه‌ها با مقادیر اولیة مختلف برای نقاط تعلیم داده شده به نورون غیرخطی به‌همراه سطح آستانه برای تابع تانژانت هیپرپولیک  (ب) و تابع سیگموئید  

همچنین در شکل (7-ب) برخلاف شکل (6) نشان داده شده است برای نمونة تعلیم داده شده  به نورون غیرخطی با تابع سیگموئید به همراه سطح آستانه، جاذب به دست می‌آید. این بررسی‌ها نشان می‌دهد سطح آستانه به‌طور مستقیم در رفتار نورون تأثیرگذار است و در تشکیل جاذب‌ها نقش به‌سزایی دارد.

1-2-  تحلیل رفتار جاذب‌گونه در شبکة جلوسوی تک‌لایه

شبکة شکل (9) را با  نورون در ورودی و خروجی در نظر بگیرید. فرض کنید به این شبکه تعدادی نمونة بعدی به‌صورت  به‌طور خودانجمنی تعلیم داده شود. اگر خروجی شبکه به‌صورت  تعریف شود برای هر نقطه ثابت باید معادلات رابطة (20) برقرار باشد.

شکل (9): شبکة جلوسوی تک‌لایه

با دقت در روابط فوق مشاهده می‌شود که اطلاعات سایر نورون‌ها برای تابع غیرخطی هر نورون خروجی مانند سطح آستانه عمل می‌کند با این تفاوت که مقدار آنها متغیر است. همچنین در بخش قبل نشان داده شد سطح آستانه بر رفتار یک نورون غیرخطی تأثیر مستقیم دارد؛ به‌گونه‌ای‌که رفتار آن را از حالت سه نقطه ثابت به شرایط ناپایدار تغییر می‌دهد. با این تفسیر در اینجا از خروجی هریک از نورون‌ها به‌ازای ورودی ثابت در همان بعد می‌توان رفتارهای مختلفی را انتظار داشت که بررسی آنها برای به‌دست‌آوردن رفتار کلی شبکه الزامیست. ابتدا باید نقاط تعادل در خروجی هر نورون تعیین شود. نقاط تعادل در خروجی که در آن ، نقاطی خواهند بود که برای آنها همواره  باشد؛ بنابراین با تعیین نقاط تقاطع ابررویه  و ابرصفحه  می‌توان این نقاط تعادل را به دست آورد. این نقاط تقاطع که در رابطة (21) نیز تعریف شده‌اند یک ابررویه^[i] با بعد  تشکیل می‌دهند. به عبارت دیگر،  مکان هندسی نقاطی از ابررویه  است که برای آنها  است.

نقاط تعادل کل شبکه نقاطی هستند که برای تمام نورون‌های خروجی شبکه، نقطه تعادل باشند؛ بنابراین، این نقاط به‌صورت رابطة (22) تعریف می‌شوند.

به عبارت دیگر، نقاط تقاطع ابررویه‌های  نقاط تعادل شبکه را تشکیل می‌دهند. برای روشن‌ترشدن مسئله، رویه‌های تصمیم برای شبکة شکل (9) در نظر گرفته می‌شود که با 3 نمونة دوبعدی  تعلیم داده شده است.

شکل (10): نمودارهای رویه‌های  و  که به‌ترتیب با صفحات  و  قطع داده شده‌اند.

این رویه‌ها در شکل (10) نشان داده شده‌اند. ابتدا باید نقاط تعادل در خروجی هر نورون تعیین شود. نقاط تعادل در خروجی  نقاطی خواهند بود که برای آنها همواره  باشد؛ بنابراین، رویه  با صفحه  مطابق نمودار (10- الف) قطع داده می‌شود. نقاط روی منحنی تقاطع این دو، نقاط تعادل برای خروجی  شبکه هستند. برای خروجی  در (10-ب) نیز نقاط تعادل، نقاط روی محل تقاطع رویه  با صفحه  هستند. شکل (11) نمودارهای شکل (10) را در صفحه  نشان می‌دهد.

شکل (11): نمودارهای رویه‌های  و  در صفحه  است که به ترتیب با صفحات  و  قطع داده شده‌اند.

در شکل (12)، تقاطع منحنی‌های و  نشان داده شده است. همان‌طور که مشاهده می‌شود این دو منحنی در 5 نقطه همدیگر را قطع می‌کنند که نقاط تعادل شبکه هستند؛ البته نوع تعادل این نقاط به بررسی نیاز دارد.

شکل (12): (الف)، نمودار تقاطع منحنی‌های  و  و (ب)، بستر جذب‌ها در فضای ورودی و نقاط تعلیم، مربع‌ها نقاط تعلیم و + خروجی‌های شبکه را به‌ازای این نقاط تعلیم نشان می‌دهد.

برای بررسی نوع تعادل این نقاط، یک‌سری نقاط با توزیع یکنواخت در بازة  تعریف می‌شوند و با برقراری اتصال بازگشتی از خروجی به ورودی در طی نگاشت‌های تکراری خروجی محاسبه می‌شود. نمودار (12-ب) نحوة جذب شدن نمونه‌های فضای ورودی به جاذب‌های شبکه را نشان می‌دهد. همان‌طور که مشاهده می‌شود این جاذب‌های پایدار همان نقاط تقاطعی هستند که در نمودار (12-الف) با فلش نشان داده شده‌اند؛ اما نکتة درخور توجه این است که جاذب‌ها لزوماً در نقاط تعلیم تشکیل نشده‌اند. با وجود تعلیم کامل شبکه به‌گونه‌ای‌که خروجی به‌ازای هر ورودی دقیقاً خود ورودی شود، مشاهده می‌شود در محل دو مورد از نقاط تعلیم دو نقطه ثابت با تعادل زینی شکل گرفته‌است. برخلاف شبکة تک‌نورونی که با برقراری شرایط حتماً در محل نمونة تعلیم داده شده یک جاذب ایجاد می‌شود، برای شبکة تک‌لایة چندبعدی آرایش نمونه‌های تعلیم در نوع تعادلشان نقش دارد؛ به‌طوری‌که در اینجا 5 نقطة تعادل ایجاد شده است که از دو مورد جاذب، یک جاذب در محل نمونه‌های تعلیم تشکیل شده است.

1-3- رفتار جاذب‌گونه در شبکة خودانجمنی یک‌لایه پنهان

با افزایش تعداد لایه‌های غیرخطی در شبکة خودانجمنی و افزایش عمق آن، ها غیرخطی‌تر می‌شوند؛ بنابراین، ایجاد تقاطع‌های بیشتری بین آنها، ممکن و در نتیجة آن، ظرفیت یادگیری جاذب‌های بیشتری فراهم می‌شود. برای مثال، اگر به شبکة یک‌لایه پنهان شکل (13) با دو نورون غیرخطی در هر لایه، 4 نمونة نشان داده شده در نمودار (14-الف) تعلیم داده شود، با برقراری اتصال بازگشتی بعد از تعلیم شبکه، جاذب‌های شبکه مشاهده می‌شوند.

شکل (13): ساختار شبکة عصبی خودانجمنی با اتصال بازگشتی

در نمودار (14-الف) نمونه‎های تعلیم، مرز تقریبی نواحی تصمیم با 2 نورون لایۀ پنهان، تعیین و نحوۀ همگراشدن نمونه‌ها در فضای ورودی نشان داده شده است. درواقع آنچه رخ می‌دهد این است که نواحی تصمیم شبکه بعد از تعلیم، فضای ورودی را به 4 قسمت افراز کرده‌اند. هر بخش از این فضا، بستر جذب یکی از الگوهای تعلیمی تلقی می‌شود که دادة جدید برحسب اینکه در بستر جذب کدام جاذب باشد، به سمت یکی از نمونه‌های تعلیم جذب می‌شود.

شکل (14): (الف)، نمونه‌های تعلیم، مرز نواحی تصمیم و جاذب‌ها در فضای ورودی و (ب)، منحنی‌های  و  و نمایش جاذب‌ها در محل‌های تقاطع آنها

نمودار (ب) شکل (14) نیز  و  را نشان می‌دهد. همان‌طور که مشاهده می‌شود جاذب‌ها دقیقاً در محل‌های تقاطع آنها تشکیل شده‌اند.  و  در 5 نقطة دیگر نیز تقاطع دارند که 4 مورد آنها تعادل زینی دارند و نقطة وسطی، تعادل ناپایدار دارد.

1-4- خوشه‌بندی در شبکة خودانجمنی با اتصال بازگشتی

گفتنی است اگر تعداد نمونه‌های تعلیمی بیش از قابلیت یادگیری شبکه باشد، شبکه عملاً خوشه‌بندی می‌کند؛ بدین‌ترتیب هنگامی که شبکه، دو نمونة  و  را در یک خوشه تخمین می‌زند، برای آنها یک جاذب مشترک به دست می‌آید که بر هیچ‌یک از دو نمونه منطبق نیست؛ بنابراین، خطای تخمین هردو غیرصفر است؛ اما وقتی به یک خوشه فقط یک نمونه تخصیص می‌یابد، خطای تخمین آن می‌تواند صفر باشد و نمونه در جاذب خوشه قرار گیرد. به این ترتیب دربارة حالت خوشه‌بندی چند نمونه در یک خوشه، شبکه عملاً از هر نمونه پس از جذب‌شدن آنها تخمینی ارائه می‌دهد؛ ولی این تخمین غیرخطی توأم با خطا است و هرچه آن نمونه از نقطة جاذب خوشه دورتر باشد این خطا بیشتر خواهد بود. به‌عبارتی نقطة جاذب خوشه، وجه مشترک (میانگین غیرخطی) نمونه‌های خوشه است و فاصلة هر نمونه از جاذب، تفاوت‌های هر نمونه با این میانگین تلقی می‌شود. نمودار (15-الف) مجموعه داده‌ای شامل 4 دسته را نشان می‌دهد که هر دسته حاوی 40 نمونه است. این 160 الگو به شبکة شکل (13) با دو نورون غیرخطی در هر لایه تعلیم داده می‌شود. در اینجا تعداد نمونه‌های تعلیمی به نسبت قابلیت شبکه خیلی بیشتر است. به‌عبارتی، 160 نمونه برای تعلیم داده شده است؛ درحالی‌که شبکه قادر است فضا را فقط به 4 بخش تقسیم کند؛ بنابراین به‌صورت دادگان، خوشه‌بندی می‌کند. در ساختار این شبکه نیز جاذب‌ها شکل می‌گیرند؛ اما مرکز خوشه‌ها به‌جای نمونه‌ها به‌عنوان جاذب عمل می‌کنند.

شکل (15): (الف)، نمونه‌های تعلیم، مرز نواحی تصمیم و نحوة جذب ورودی‌ها به مراکز خوشه‌ها و (ب)، تقاطع‌های منحنی‌های  و  و (ج)، نحوة جذب نمونه‌های آزمون به مراکز خوشه‌ها در شبکة خودانجمنی با اتصال بازگشتی

نمودار (15-الف)، نمونه‌های تعلیم، مرز نواحی تصمیم که با 2 نورون لایه پنهان تعیین شده است و نحوة همگراشدن نمونه‌ها به مرکز خوشه‌ها در فضای ورودی را نشان می‌دهد. در اینجا نیز مشاهده می‌شود 4 جاذب در محل تقاطع‌های منحنی‌های  و  مطابق نمودار (15-ب) تشکیل شده است. نمودار (15-ج) نیز نحوة جذب‌شدن سایر نمونه‌های فضای ورودی که در تعلیم حضور نداشته‌اند را به سمت مرکز یکی از این مراکز خوشه‌ها نشان می‌دهد.

این مدل یک فیلترسازی غیرخطی مقاوم انجام می‌دهد و نمونه‌های ورودی را به یکی از جاذب‌ها هدایت می‌کند؛ بنابراین با تعلیم مناسب الگوهای مدنظر و تشکیل جاذب‌ها سایر مؤلفه‌های ناخواسته پالایش می‌شود. یک روش برای کنترل بستر جذب‌ها تنظیم مرزهای تصمیم متناسب با مؤلفه‌های متمایزکنندة مدنظر است. در [14] نشان داده شده است در ساختار دو تکلیفة شبکة عصبی گلوگاه باسرپرست (SBNN) با استفاده از اطلاعات برچسب‌ها، ابرصفحات که مرزهای تقریبی مرزهای تصمیم هستند، به‌گونه‌ای قرار می‌گیرند که تمایز بین طبقات را حتی‌الامکان حفظ کنند. با همین روش در اینجا نیز بستر جذب‌ها با هدف جذب نمونه‌های هم‌طبقه به یک خوشه کنترل می‌شود. شکل (16)، ساختار این شبکة عصبی خودانجمنی باسرپرست را نشان می‌دهد.

شکل (16): ساختار شبکة عصبی خودانجمنی باسرپرست

نمودارهای شکل (17) تأثیر بهره‌گیری از برچسب طبقات را برای شبکة خودانجمنی باسرپرست نشان می‌دهد. در اینجا نیز همان 160 نمونة قبلی تعلیم داده شده است. با مقایسة نمودارهای (15-الف) و شکل (17-الف) مشاهده می‌شود بستر جذب‌ها به‌گونه‌ای تشکیل شده‌اند که در حد امکان نمونه‌های هم‌برچسب را در یک بستر جذب قرار دهند.

شکل (17): (الف)، نمونه‌های تعلیم، مرز نواحی تصمیم و نحوة جذب ورودی‌ها به مراکز خوشه‌ها و (ب)، نحوة جذب نمونه‌های آزمون به مراکز خوشه‌ها در شبکة عصبی خودانجمنی باسرپرست

2- پیاده‌سازی‌ها

2-1- دادگان

در این مقاله از پایگاه دادة CK+ استفاده شده است. پایگاه دادة CK+ توسعه‌یافتة پایگاه دادة کوهن-کند^[ii] است [15]. در پایگاه دادة CK+ دنباله‌ای از تصاویر برای 6 حالت احساسی افراد موجود است که از حالت خنثی تا حالت مدنظر تغییر می‌کنند؛ البته در این مقاله تصاویر نیمه اول هریک از این دسته‌ها حذف شدند تا تصاویری نگه داشته شوند که واقعاً حالت احساسی مربوطه را نمایان می‌کنند.‌

این حالت‌های احساسی شامل حالت‌های شاد، متعجب، خشمگین، ترسیده، متنفر و ناراحت هستند. همچنین برای هر تصویر چهره، برداری از نشانه‌ها وجود دارد که از آن برای ترازکردن چهره‌ها استفاده می‌شود. در اینجا چهره‌ها طوری تراز شده‌اند که چشم‌ها در یک راستای افقی قرار بگیرند [16]. اطلاعات اضافة اطراف تصاویر نیز به‌نحوی حذف شده است که همة جزئیات مهم در تصویر موجود باشند. در نهایت، ابعاد همة تصاویر به 50×50 تبدیل شدند.

دو مجموعه از این دادگان استفاده شده است. یکی با عنوان پایگاه دادة CK+ که شامل تصاویر مربوط به 96 نفر با 7 حالت احساسی مختلف است. این مجموعه در کل حاوی 2816 تصویر است.

دادگان دیگر، پایگاه دادة کوچک CK+ است که شامل بخشی از این دادگان است. این داده نیز شامل 281 تصویر از 10 نفر با سه حالت خنثی، لبخند و تعجب است.

2-2- ارزیابی تأثیر عمق شبکة خودانجمنی در شکل‌گیری جاذب‌ها

در این بخش، تأثیر عمق ساختار در یادگیری جاذب‌ها در شبکه‌های عصبی خودانجمنی ارزیابی شده است. بدین‌منظور، جاذب‌های دو شبکة خودانجمنی کم‌عمق و عمیق بعد از یادگیری خودانجمنی تصاویر پایگاه دادة CK+ بررسی شده است. برای شبکة خودانجمنی یک لایه پنهان، 1000 نورون در لایه پنهان آن و همچنین تعداد نورون‌های لایه‌های پنهان شبکة خودانجمنی عمیق نیز 1000-400-100-400-1000 قرار داده شده است. برای پیش‌تعلیم شبکة خودانجمنی عمیق نیز از روش پیش‌تعلیم لایه‌به‌لایه [17] استفاده شده است. برای تعیین جاذب‌های هر مدل از نمونه‌های تعلیم داده شده به مدل‌ها استفاده شد. در نتیجة آن برای شبکة یک لایه پنهان، 12 نقطه ثابت پایدار مجانبی حاصل شد که در شکل (18) نشان داده شده‌اند. این جاذب‌ها هیچ‌یک از تصاویر تعلیم داده شده نیستند. با توجه به حجم بالای تصاویر تعلیم داده شده و ساختار یک لایه پنهان شبکه، این شبکه قادر به یادگیری هریک از نمونه‌ها در یک ناحیة تصمیم مجزا نیست. درنتیجه، نمونه‌ها را خوشه‌بندی می‌کند و برای تمام نمونه‌هایی که در یک ناحیة تصمیم قرار دارند یک جاذب مشترک ارائه می‌دهد. این جاذب مشترک، نمایندة خوشة مربوطه است.

شکل (18): نقاط تعادل پایدار مجانبی شبکة خودانجمنی یک لایه پنهان تعلیم داده شده با دادة CK+ برای نقاط شروع از نمونه‌های تعلیم

از مجموع 2816 نمونة تعلیم داده شده، 1313 نمونه جذب این جاذب‌ها شدند که توزیع آنها نیز در نمودار شکل (19) نشان داده شده است. همان‌طور که مشاهده می‌شود این توزیع یکنواخت نیست و برای برخی جاذب‌ها نسبت به سایرین، نمونه‌های بسیار بیشتری در بستر جذبشان قرار گرفته‌اند.

شکل (19): توزیع نمونه‌های جذب‌شده به نقاط تعادل پایدار شبکة خودانجمنی یک لایه پنهان

رفتار شبکه برای 1503 نمونة دیگر درخور توجه است. مشاهده شد با شروع از این نمونه‌ها در نهایت شبکه حول یکی از تصاویر نشان داده شده در شکل (20) رفتار نوسانی خواهد داشت. شکل (21) این رفتار نوسانی را حول تصویر 1 شکل (20) نشان می‌دهد.

شکل (20): نقاط تعادلی که شبکة یک لایه پنهان تعلیم داده شده با دادة CK+ به‌ازای برخی شرایط اولیه حول آنها رفتار نوسانی دارد.

در ادامه، وزن‌های شبکة یک لایه پنهان، وزن‌های پیش‌تعلیم‌یافتة شبکة خودانجمنی عمیق فرض شد و بعد از پیش‌تعلیم سایر وزن‌ها تعلیم یک‌پارچة آن صورت گرفت. سپس رفتار شبکه به‌ازای نقطة شروع از ورودی‌های تعلیم داده شده بررسی شد. مشاهده شد شبکة خودانجمنی عمیق دارای 56 جاذب مطابق شکل (22) خواهد بود که برخی از آنها نیز دقیقاً تصاویر تعلیم هستند.

شکل (21): مسیر نمونه‌برداری‌شدة رفتار نوسانی حول تصویر 1، تصویر اول از سمت چپ در سطر اول، نقطة شروع است. تصاویر از سطر 8 به بعد مجدداً تکرار شده‌اند.

شکل (22): نقاط تعادل پایدار مجانبی شبکة خودانجمنی عمیق تعلیم داده شده با دادة CK+ برای نقاط شروع از نمونه‌های تعلیم.

شکل (23) نیز نحوة جذب‌شدن برای دو تا از تصویرهای ورودی را نشان می‌دهد. همان‌طور که مشاهده شد با افزایش تعداد لایه‌های شبکه، امکان ذخیرة جاذب‌های بیشتری فراهم شد؛ اما به‌نظر می‌رسد برای یادگیری تمام نمونه‌های تعلیم به‌عنوان جاذب به ساختار بسیار بزرگ‌تری نیاز باشد.

شکل (23): مسیر نمونه‌برداری‌شدة جذب به نقاط تعادل پایدار مجانبی شبکة عمیق با شروع از 2 نمونة تعلیم، تصویر اول از سمت چپ، نقطه شروع است.

2-3- ارزیابی تأثیر روش پیش‌تعلیم با دو روش پیش‌تعلیم در شکل‌گیری جاذب‌ها

با توجه به اینکه در آزمایش قبل مشاهده شد به‌دلیل حجم بالای نمونه‌های تعلیم فقط تعداد کمی از آنها نقاط تعادل شبکة خودانجمنی عمیق نیز شده‌اند. در این بخش از دادگان کوچک CK+ استفاده می‌شود. همان‌طور که قبلاً گفته شده است این دادگان شامل تصاویر مربوط به سه حالت خنثی، تعجب و لبخند برای ده نفر هستند که تصاویر خنثی این ده نفر در شکل (24) نشان داده شده است.

شکل (24): تصویرهای خنثی برای هریک از افراد دادة کوچک CK+.

ساختار شبکة خودانجمنی عمیق نیز مانند قسمت قبل است فقط تعداد نورون‌های لایه گلوگاه به 200 افزایش داده شده است. برای پیش‌تعلیم آن از دو روش پیش‌تعلیم لایه‌به‌لایه [17] و لایه‌به‌لایه باسرپرست [14] استفاده شد. مراحل پیش‌تعلیم نقش تعیین‌کننده‌ای در تنظیم ابرصفحات دارند و از سوی دیگر این ابرصفحات هستند که مرزهای تقریبی بستر جذب‌ها را تعیین می‌کنند؛ بنابراین با جهت‌دهی به نحوة تنظیم آنها در مراحل پیش‌تعلیم در چگونگی تشکیل بستر جذب جاذب‌ها مداخله می‌شود. برای شبکة پیش‌تعلیم داده شده با روش لایه‌به‌لایه مشاهده شد که با شروع از 281 نمونة تعلیم، در نهایت خروجی به 40 نقطه ثابت پایدار مجانبی همگرا می‌شود که در شکل (25) نشان داده شده است. همان‌طور که مشاهده می‌شود تمام این نقاط ثابت دقیقاً روی نمونه‌های تعلیم تشکیل شده‌اند و فقط یکی از آنها کمی فاصله دارد. به‌عبارتی با کاهش نمونه‌های تعلیم امکان ذخیرة آنها به‌عنوان نقاط ثابت پایدار در شبکه فراهم شده است. هرچند برخی از این جاذب‌ها ظاهراً مشابه هستند، بررسی دقیق‌تر آنها نشان می‌دهد تفاوت اندکی با هم دارند و این تفاوت اندک در فضای ورودی به اختلاف بیشتر در لایة میانی شبکه نیز منجر شده است؛ برای مثال، دو تصویر پنجم و ششم در سطر دوم در فضای ورودی، میانگین مجذور اختلاف 004/0 را دارند؛ درحالی‌که در لایة میانی این مقدار 0543/0 است.

شکل (25): نقاط تعادل پایدار مجانبی شبکة خودانجمنی عمیقتعلیم داده شده با دادة کوچک CK+ با روش پیش‌تعلیم لایه‌به‌لایه برای نقاط شروع از نمونه‌های تعلیم.

همچنین، شکل‌گیری این جاذب‌های نسبتاً مشابه به‌دلیل وجود چند تصویر از یک حالت فرد در دادگان است که شبکه برای آنها نواحی تصمیم مجزا ایجاد کرده است. بار دیگر شبکة خودانجمنی عمیق با روش لایه‌به‌لایه باسرپرست پیش‌تعلیم شد و بعد از تعلیم یک‌پارچه، جاذب‌های آن به‌ازای شروع از نقاط تعلیم تعیین شدند که شکل (26) این جاذب‌ها را نشان می‌دهد. در اینجا در طی پیش‌تعلیم حفظ اطلاعات متمایزکننده حالت مدنظر قرار داده شده است.

شکل (26): جاذب‌های شبکة خودانجمنی عمیق تعلیم داده شده با دادة کوچک CK با روش پیش‌تعلیم لایه‌به‌لایه باسرپرست برای نقاط شروع از نمونه‌های تعلیم.

شکل (27) نیز مسیر نمونه‌برداری‌شدة جذب به یکی از این نقاط تعادل پایدار را نشان می‌دهد.

شکل (27): مسیر نمونه‌برداری‌شدة جذب به یکی از نقاط تعادل پایدار مجانبی شبکة خودانجمنی عمیق تعلیم داده شده با دادة کوچک CK+ با روش پیش‌تعلیم لایه‌به‌لایه باسرپرست، تصویر اول از سمت چپ، نقطه شروع است.

برای بررسی تأثیر اطلاعات برچسب در طی مراحل پیش‌تعلیم در نحوة شکل‌گیری جاذب‌ها، ماتریس اختلاط^[iii] بین حالت‌های مختلف برای شبکة پیش‌تعلیم‌شده با هریک از روش‌ها ارزیابی شده است. این ماتریس‌های اختلاط در جدول (1) و جدول (2) آورده شده‌اند.

جدول (1): ماتریس اختلاط حالت‌ها برای جاذب‌های شبکة خودانجمنی عمیق با روش پیش‌تعلیم لایه‌به‌لایه

جدول (2): ماتریس اختلاط حالت‌ها برای جاذب‌های شبکة خودانجمنی عمیق با روش پیش‌تعلیم لایه‌به‌لایه باسرپرست

هر سطر از این جدول‌ها نشان می‌دهند چه درصدی از نمونه‌های با برچسب آن سطر، جذب جاذب‌هایی با برچسب مشخص‌شده برای ستون مربوطه می‌شوند؛ درنتیجه، عناصر روی قطر نشان‌دهندة درصد نمونه‌هایی هستند که جذب جاذب‌هایی با برچسب مشابه خود شده‌اند. با مقایسة عناصر روی قطرهای این ماتریس‌های اختلاط مشاهده می‌شود با روش پیش‌تعلیم لایه‌به‌لایه باسرپرست برای حالت‌های لبخند و تعجب میزان جذب به جاذب‌هایی با برچسب مشابه به‌طور معناداری افزایش می‌یابد. علت کاهش این میزان برای حالت خنثی، تصویر لبخند ضعیف فرد 8ام در دادگان است. همان‌طور که در شکل (28) مشاهده می‌شود برای فرد 8ام شدت حالت لبخند در تصویر ضعیف است و تصویر به حالت خنثی نزدیک است؛ بنابراین، هنگامی که در پیش‌تعلیم لایه‌به‌لایه باسرپرست برای این تصویر، برچسب لبخند تعریف می‌شود، به‌دلیل شباهت حالت این تصویر به حالت خنثی، برخی از تصاویر خنثی جذب جاذب‌هایی با برچسب لبخند می‌شوند.

شکل (28): تصویر حالت لبخند فرد 8ام از دادة کوچک CK+

در ادامه به‌منظور رفع این مسئله، تصاویر لبخند فرد 8ام به‌عنوان دادة نامناسب، حذف و پیش‌تعلیم باسرپرست مجدد انجام شد. نتایج این ارزیابی در جدول (3) آورده شده است.

جدول (3): ماتریس اختلاط حالت‌ها برای جاذب‌های شبکة خودانجمنی عمیق با روش پیش‌تعلیم لایه‌به‌لایه باسرپرست با حذف نمونة نامناسب

در یک مقایسة کلی، متوسط عناصر روی قطرهای این ماتریس‌های اختلاط با در نظر گرفتن تعداد نمونه‌های هر دسته برای DBNN با روش لایه‌به‌لایه 67/52% است؛ درحالی‌که با جهت‌دهی به نحوة تشکیل جاذب‌ها با روش لایه‌به‌لایه باسرپرست این میزان تا 14/81% و با حذف تصاویر لبخند فرد 8ام و پیش‌تعلیم لایه‌به‌لایه باسرپرست تا 27/87% رشد داشته است. همچنین در مقایسة نتایج جدول (2) و درک‌های انسانی از حالت‌های احساسی [18]، همبستگی‌هایی مشاهده می‌شود؛ به‌طوری‌که هردو در اختلاط بین حالت‌های مختلف نقاط مشترکی دارند؛ به‌گونه‌ای‌که برای هردو، اختلاط‌های تصاویر خنثی با لبخند نسبت به اختلاط با تعجب و لبخند با خنثی نسبت به اختلاط با تعجب بیشتر هستند.

3- جمع‌بندی

یکی از کاراترین قابلیت‌های مغز انسان، عملکرد آن به‌عنوان حافظة انجمنی است. این حافظه پیونددهندة بین دانش ورودی با سایر اطلاعات است. بازیابی اطلاعات در این حافظه از یک حالت دلخواه - بازنمایی کدشده از یک تصویر بینایی - آغاز می‌شود و نهایتاً فعالیت مغز به یک حالت دیگر همگرا می‌شود. این حالت، وضعیت پایدار است که قبلاً مغز آن را به خاطر سپرده است [19]. در این مقاله کوششی اولیه در راستای مدل‌کردن این توانمندی با استفاده از شبکه‌های خودانجمنی استخراج‌کنندة مولفه‌های اساسی صورت گرفت. با تحلیل‌های انجام‌شده نشان داده شد برای یک نورون با تابع غیرخطی تانژانت هیپرپولیک با برقراری این اتصال بازگشتی، همواره در محل نمونة تعلیم داده شده و قرینة آن دو جاذب ایجاد می‌شود؛ اما در صورتی که تابع غیرخطی، سیگموئید باشد برای  جاذب، تشکیل و برای مقادیر کمتر از آن نمونة تعلیم‌داده شده دافع می‌شود و در مرز بستر جذب‌های دو جاذب نوسانی قرار می‌گیرد. همچنین، مشاهده شد با افزودن بایاس در روابط برای مقادیر مختلف آن، رفتار نورون تغییر خواهد کرد و لزوماً قانون کلی برای رفتار آن وجود ندارد.‌

در ادامه، رفتار شبکة خودانجمنی تک‌لایه با اتصال بازگشتی تحلیل شده است و نشان داده شد برخلاف شبکة تک‌نورونی که با برقراری شرایط حتماً در محل نمونة تعلیم داده شده یک جاذب پایدار ایجاد می‌شود، برای شبکة تک‌لایة چندبعدی آرایش نمونه‌های تعلیم در نوع تعادلشان نقش دارد. همچنین، آزمایشات نشان دادند با افزایش تعداد لایه‌های شبکة خودانجمنی، قابلیت ذخیرة جاذب‌های بیشتری فراهم می‌شود. همچنین، مشاهده شد جهت‌دهی به نحوة تشکیل جاذب‌ها با روش لایه‌به‌لایه باسرپرست در شبکة خودانجمنی به‌عنوان روشی برای کنترل مرز بستر جذب‌ها مؤثر واقع می‌شود. در مقایسة نتایج این روش و درک‌های انسانی از حالت‌های احساسی نیز مشاهده شد هردو در اختلاط بین حالت‌های مختلف نقاط مشترکی دارند؛ به‌گونه‌ای‌که برای هردو، اختلاط‌های تصاویر خنثی با لبخند نسبت به اختلاط با تعجب و لبخند با خنثی نسبت به اختلاط با تعجب بیشتر هستند.