مدل‏ها‏ی زیادی برای شبکه‏ها‏ی عصبی مصنوعی ارائه شده‏اند که در هریک از آنها گوشه‏ای از ویژگی‌های مغز مورد توجه قرار گرفته است. ترکیب این مدل‏ها و ایجاد شبکه‏ها‏ی عصبی مصنوعی که عملکرد آنها همخوانی بیشتری با عملکرد مغز دارد، می‏تواند باعث بهبود توان پردازشی شبکه‏ها‏ی عصبی مصنوعی موجود شود. پیشرفت‏ها‏ی جدید در دینامیک‏ها‏ی غیر خطی، شناخت نظریه آشوب و سیستم‏ها‏ی پیچیده از یک سو و پیشرفت در تجهیزات آزمایشگاهی از سوی دیگر، باعث شده است که بشر به وجود خاصیت‏ها‏ی جدید، به ویژه خاصیت آشوب در عملکرد مغز پی ببرد. بنابراین، وارد کردن این خاصیت در مدل‏ها‏ی شبکه عصبی کلاسیک می‏تواند راهی برای بهبود عملکرد آنها باشد. که این مهم از اهداف این مقاله است.

مطالعات محققان در اوایل دهه 90 میلادی نشان داد که سیناپس‌ها، بر خلاف آنچه که پیشتر فرض می‏شد، یکی از پویاترین اجزای دستگاه عصبی جانداران هستند[1،2]. حتی پس از مرحله تعلیم، قدرت سیناپس یک کمیت ثابت باقی نمی­ماند، بلکه به طور پیوسته در حال تغییر است که این تغییر از فعالیت تعدادی فرآیند شیمیایی در نواحی پیش سیناپسی و پس سیناپسی ناشی می‌شود [3]. از آن هنگام، چندین مدل شبکه عصبی بر مبنای نگرش فوق ارائه شده است که عموما از آنها با عنوان شبکه­های عصبی مصنوعی با سیناپس پویا[1] یاد می­شود. از این مدل‏ها تا کنون در کاربردهای گوناگونی، از جمله استخراج ویژگی‏ها‏ی تغییر ناپذیر از سیگنال گفتار متأثر از تنوعات، طبقه­بندی الگوهای فضایی- زمانی تصادفی، تقریب فیلترهای تربیعی و شناسایی گوینده استفاده گردیده است. با وجود این، هنوز بر سر روش فراگیر تعلیم این گونه شبکه‏ها‏ی عصبی توافقی وجود ندارد [4، 5، 6، 7، 8 و 9]. برای تعلیم شبکه­های عصبی مصنوعی با سیناپس پویا تعدادی روش بر مبنای تطبیق بلندمدت با الهام از طبیعت، پیشنهاد شده است [5، 10]، که با وجود سرعت نسبتا مناسب، تنها قادرند بخشی از پارامترهای سیناپس را تنظیم نمایند. از روش الگوریتم ژنتیک نیز برای تعلیم شبکه عصبی مبتنی بر سیناپس پویا استفاده شده است که اغلب بسیار کند و وقت گیر هستند [10]. روش تعلیم دیگری که پیشنهاد شده، بر مبنای بهینه‌سازی غیرخطی ناحیه اطمینان است [11]. رویکرد دیگر در تعلیم شبکه­های عصبی مبتنی بر سیناپس پویا استفاده از روش‌های تعلیم مبتنی بر گرادیان است. در مدل ارائه شده در [12] با انتخاب یک تابع خطای هموار از روش‌های تعلیم مبتنی بر گرادیان برای تعلیم شبکه با وزن پویا استفاده شده است.

پیشرفت‌های جدید در دینامیک غیر خطی و نظریه آشوب نشان داده است که امواج EEG تنها نشان دهنده فرایندهای تصادفی نیستند، بلکه دارای خاصیت آشوب‏گونه مشخص هستند [13، 14],. رفتار آشوب‏گونه در نورون‌ها به شکل میکروسکوپیک نیز مشاهده شده است. برای مثال غشای آکسون اسکوئید[2] در پاسخ به تحریک سینوسی، متناسب با فرکانس و قدرت تحریک، پاسخ پریودیک یا آشوب‏گونه از خود نشان می‌دهد [15]. منشا فعالیت نورون‌ها تغییر هدایت پروتئین‌های خاص موجود در غشا سلول‌هاست که کانال نامیده می‌شوند. این کانال‌ها به یون‌ها اجازه حرکت از فضای داخل سلولی به فضای بیرون سلولی و بالعکس می‌دهند. در روش‌های جدید ثبت، رفتار یک کانال به تنهایی مشاهده‌ و مشخص شده است که باز و بسته شدن کانال حالت غیرمنظم دارد. گروهی از محققان معتقد به تصادفی بودن عملکرد آنها هستند و گروهی معتقدند که مدل‏های مبتنی بر نظریه آشوب می‌توانند این خاصیت کانال‌ها را مدل نمایند [15].

پینتو و همکاران به مطالعه تک نورونی از غده‏ دهانی (STG) خرچنگ خاردار کالیفرنیایی پرداخته‌اند [16]. در این مطالعه، مدلی برای فعالیت پتانسیل عمل تک نورون ارائه شده است که قادر به مدل کردن رفتار آشوبی نورون طبیعی است. دسته دیگری از محققان به دنبال ایجاد مدل‏هایی از شبکه عصبی آشوب‏گونه هستند که ضمن همخوانی با مدل‏های شبکه‌های عصبی مصنوعی کلاسیک، توان ایجاد رفتار آشوب‏گونه را دارا باشند. دراین دسته از مدل‏ها، تنها رفتار یک نورون یا دسته کوچکی از نورون‌های مصنوعی بررسی شده است و به تحلیل روابط بین متغیرها و پارامترهای شبکه و تعیین محدوده‌هایی که نورون رفتار آشوب‏گونه دارد، پرداخته‌اند. در این مدل‏ها نیز از توان پردازشی مدل سخنی به میان نیامده است. در مرجع [17] دینامیک یک شبکه ‏ها‏پفیلد سه نورونی بااستفاده از نمای لیاپانوف با روش عددی مطالعه شده است. رفتار این شبکه به ازای مقادیر مختلف پارامتر‏ها‏ی آن بررسی و محدوده‌ای که باعث رفتار آشوبی می‏شود، تعیین شده است. در مرجع [18] نیز مدلی از نورون بازگشتی ارائه شده است که قادر به ایجاد رفتار آشوب‏گونه است. دسته دیگری از مدل‏های آشوب‏گونه وجود دارند که ضمن دارا بودن خاصیت آشوب‏گونه دارای توان پردازشی نیز هستند. در مرجع [19] شبکه عصبی آشوب‏گونه­ای ارائه شده است که قادر به ذخیره سازی و بازیابی تصاویر چند سطحی است. در مراجع [20، 21، 22]از المان‌های بازگشتی (تابع لجستیک) برای ذخیره و بازیابی رشته‌های دودوئی استفاده شده است.

در مرجع [1] شبکه عصبی آشوب‏گونه‌ای ارائه شده است که قادر به ذخیره سازی و بازیابی تصاویر چند سطحی است. در این مرجع از یک شبکه بازگشتی به عنوان شبکه پایه استفاده شده است. در این شبکه آشوب گونه، در هر مرحله خروجی توسط تابع های لجستیک که در مد آشوب فعالیت می کنند، اصلاح شده و خروجی اصلاح شده توسط شبکه عصبی بازگشتی پایه ارزیابی می‌گردد و نحوه اصلاحات مراحل بعدی تعیین می شود. این مراحل آنقدر تکرار می شوند تا به پاسخ مطلوب برسند. شبکه آشوبی طراحی شده در این مرجع از توان پردازشی بالاتری نسبت به شبکه پایه خود برخوردار است. از آنجایی که شبکه‌های جلوسوی چند لایه از شبکه های عصبی قدیمی هستند و تحقیقات طولانی بر روی این شبکه‌ها به ایجاد شبکه‌های جلوسوی چند لایه با توانایی پردازشی بالا منجر شده است، بنابراین، اعمال ویژگی آشوب به این شبکه‌ها که بر گرفته از ویژگی شبکه های شبکه­های عصبی طبیعی است، می تواند به تولد شبکه‌های جلوسوی آشوب گونه ای منجر شود که از قدرت پردازش بالایی برخوردارند. در این مقاله روشی برای آشوبی کردن شبکه جلوسوی چند لایه ارائه شده است.

شبکه‏ها‏ی عصبی جلو سو، دسته وسیعی از شبکه‏ها‏ی عصبی مصنوعی را تشکیل می‏دهند. این شبکه‏ها‏ از توان پردازشی خوبی برخوردارند و در کابردهای پردازشی فراوانی، به خصوص در باز شناسی الگو استفاده می‌شوند. با اینکه شبکه‏های عصبی جلو سو از قدمت نسبتا بالایی برخوردارند، ولی به علت توان پردازشی بالا همچنان مورد توجه محققان هستند. برای مثال، در مرجع [23] از این نوع شبکه‏ها‏ برای بازشناسی الگو استفاده شده است. با اینکه شواهد زیادی بر دینامیکی بودن وزن‏ها‏ی شبکه عصبی طبیعی ارائه شده، ولی این نوع شبکه‏ها‏ی عصبی جلو سو همچنان به شکل ایستا عمل می‏کنند. در این مقاله روشی برای پویا سازی وزن‏ها‏ی شبکه‏ عصبی جلو سوی کلاسیک که ایستا هستند، ارائه شده است.

بخش بعدی به بررسی ساختار و نحوه عملکرد شبکه عصبی جلو سوی ایستا، به خصوص هنگام تعلیم پرداخته شده است، سپس تابع لجستیک و توانایی آن در ایجاد آرایش‏ها‏ی مختلف سری زمانی آشوب‏گونه ارائه شده است. در ادامه، با استفاده از شبکه عصبی جلو سوی ایستا و توابع لجستیک با توانایی ایجاد سری زمانی آشوب‏گونه، شبکه عصبی آشوب‏گونه طراحی شده در این مقاله معرفی می‌گردد. توضیحات در مورد پایگاه داده استفاده شده و نتایج عددی در بخش‏ها‏ی بعدی ذکر می‏گردد و در قسمت آخر نیز جمع بندی و پیشنهادها ارائه خواهد شد.

 

1- شبکه عصبی جلو سوی ایستا

فرضکنیدکهمجموعهداده‌هایتعلیمو برچسب‏ها‏یخروجیمتناظرباآنهادردستباشند. دراینصورت،هدفازتعلیمشبکهپیداکردنوزن‏ها‏یشبکهاست؛بهطوریکهبتوانند،داده‏ها‏یورودیرابهبهترینوجهیبهخروجیمطلوب) برچسب‏ها‏یمتناظر( نگاشتکنند.درروشپس‌انتشارخطا،برایتعلیمشبکهیکتابعمعیار مشخصفرضمی‏شودکهمعمولابهترینانتخاببرای اینتابعمجموعمربعاتاختلافمیانخروجی مطلوبوخروجیواقعیشبکهاست. وزن‏ها‏ در جهت کمینه کردن خطا اصلاح می‏شوند. و در نهایت، شبکه‏ای با وزن‏ها‏ی ثابت به دست می‏آید. با اعمال هر ورودی آزمون به این شبکه، یک خروجی ثابت داریم.

 

1-1- جداسازی خطی پرسپترون

ساده ترین شبکه‏ای که می‏تواند داده‏ها‏ را به دو دسته تقسیم کند،  یک نورون باینری است که پرسپترون نامیده می‏شود. این ساختار در شکل 1 نشان داده شده است. این مدل توسط روزنبلت در سال 1958 معرفی شد. خروجی ساختار پرسپترون به جمع وزنی کامپوننت‌های ورودی ( ) بستگی دارد. وزن‌ها ( ) متعلق به اعداد حقیقی است. این جمع وزن دار پتانسیل نامیده می‏شود [24].

 

 

 

شکل (1): ساختار یک پرسپترون [24].

 

1-2- بررسی طبقه بندی کننده پرسپترون از نظر هندسی

در این بخش چگونگی عملکرد یک طبقه بندی کننده پرسپترون توضیح داده می‌شود و در قسمت‌های بعدی از این مفاهیم برای تحلیل عملکرد شبکه عصبی جلوسو آشوب‏گونه استفاده می‌شود.

ابر صفحه جداکننده: برای ورودی  و وزن  نقاطی که در معادله زیر صدق می‌کنند، تشکیل ابرصفحه می‏دهند.

این ابرصفحه می‌تواند فضای ورودی را به دو طبقه تقسیم کند. در فضای ورودی اگر  باشد، آنگاه خروجی نورون (1+) شده، این ورودی متعلق به طبقه 1+ است و بالعکس، اگر  باشد، این ورودی متعلق به طبقه 1- است. بنابراین، یک نورون می‏تواند برای طبقه‌بندی ورودی‏ها‏ به دو طبقه استفاده شود.

چگونگی جداسازی ورودی‏ها‏ با استفاده از نورون پرسپترون (جدا کننده‏ها‏ی خطی)

رابطه مربوط به ابرصفحه جداکننده را می­توان به صورت زیر در نظرگرفت:

 

در رابطه (1) =1در نظر گرفته شده است. این معادله یک ابرصفحه در فضای   بعدی ( ) است. فرض می­کنیم که ورودی دو بعدی باشد ( ). در این صورت برای نقطه  داریم:

 

معادله (2) یک خط در فضای دو بعدی ورودی ( ، ) است. با فرض  ،  و  می‌توان نمودار خط (2) را در فضای  و  به دست آورد:

 

 

 

نمایش این خط در شکل (2) نشان داده شده است. می‏توان نشان داد که بردار وزن‏ها‏ بر ابر صفحه جدا کننده عمود است [25]. تغییر بردار وزن‏ها‏ باعث تغییر موقعیت ابرصفحه جدا کننده در فضای ورودی می‏گردد. پس با انتخاب مناسب  می‏توان از این نورون برای طبقه بندی ورودی‏ها‏ به دو طبقه استفاده کرد. این نوع طبقه بندی برای داده‏ها‏یی که به صورت خطی قابل جداسازی هستند یا به عبارت دیگر، بتوان آنها را با یک خط جدا نمود، مناسب هستند.

 

1-3- بررسی تعلیم یک نورون

فرض کنید که یک نمونه ورودی ( ) داده شده و قرار است این ورودی به نورون تعلیم داده شود؛ یعنی می‏خواهیم وزن‌های نورون را به دست آوریم. درفضای وزن‌ها ( ‏ها‏) معادله رویه تصمیم به شکل زیرخواهد بود.

بردار  ورودی مورد نظر به همراه یک مؤلفه اضافی  (سطح آستانه) است. به عبارت دیگر  ،  بعدی است که دارای یک مقدار آستانه است.

 

شکل (2): نمودار خط جدا کننده  در فضای دو بعدی ورودی ( ، ) با فرض  ،  و . بردار وزن‌ها  بر ابرصفحه (خط) جداکننده عمود است

 

با ثابت در نظرگرفتن ورودی ، رابطه (3) نمودار یک ابرصفحه در فضای وزن‏هاست که بردار ورودی برآن عمود است. فرض کنید که  ورودی اول و  ورودی دوم و  ورودی سوم باشد. دراین صورت   نمایش (ابر) صفحه‏ای است در فضای وزن‏ها‏ که بر بردار ورودی  عمود و از مبدا مختصات می‏گذرد (شکل (3)). با توجه به شکل (3) در یک طرف خط   داریم 0 و در طرف دیگر  است. به همین ترتیب  صفحه‏ی دیگری درفضای وزن‌هاست که از مبدا مختصات می‏گذرد و بر بردار ورودی  عمود است.

فرض کنید که خروجی‏ها‏ی مطلوب به ورود‌‌‌ی‌های  ،   و  عبارتند از: 1، 0 و1. با توجه به این خروجی‏ها‏ ناحیه مطلوبی که وزن‌ها باید در آن قرار بگیرند، مکانی از صفحه فضای وزن‌هاست که در آن ،  و  باشد، که این نواحی همراه با صفحه‏ها‏ی تصمیم مربوط به هر ورودی در شکل 3 نشان داده شده است. باید  را در ناحیه‌ای که این سه شرط را برآورده می‌سازد، انتخاب نمود. این ناحیه در شکل (3) با  نشان داده شده است.

 

شکل (3): مکانی از فضای وزن‌ها که در آن ،  و  باشد با  نشان داده شده است.

 

تعلیم نورون؛ یعنی این که چگونه از یک  اولیه به  مطلوب برسیم. بنا براین، با توجه به شکل (3) باید با شروع از یک وزن اولیه به سمت ناحیه اشتراک  داده‏ها‏ی تعلیم در فضای تعلیم حرکت کرد. همان طوری که در شکل (3) مشاهده می‏شود، این ناحیه یک فضای نامتناهی است بنابراین، بی‌نهایت وزن می‌توان برای نورون یافت که داده‏ها‏ی تعلیم را برآورده نماید. به عبارت دیگر، وزن‏ها‏ی مطلوب دارای مقدار یکتا نیستند و می‏توانند مجموعه‏ای از مقادیر را دارا باشند، اگر این نواحی ناحیه اشتراک نداشته باشند بدان معنی است که با این آرایش نورون نمی‌توان این داده‏ها‏ را به نورون تعلیم داد.

در این مقاله از شبکه عصبی کلاسیک ارائه شده در مرجع [23] به عنوان شبکه عصبی جلوسوی پایه استفاده شده است. این شبکه عصبی جلوسو دارای وزن‏ها‏ی ثابت است و بر اساس آنالیز مؤلفه‏ها‏ی اساسی عمل می‏کند. شبکه‌ای با ساختار 10، 750، 200، 200، 256 که داده ورودی ( تصویر ارقام دست نوشتار انگلیسی) را به برچسب آنها نسبت می‏دهد، با استفاده از روش ارائه شده در [23] تعلیم داده می‏شود و وزن‏ها‏ی آن که اعداد ثابتی هستند به دست می‏آیند. قصد داریم با تغییر آشوب گونه وزن‌ها در محدوده مناسب مشابه آنچه در شکل 3 نشان داده شده است، روشی را ارائه نماییم تا الگوهایی که خیلی نزدیک به مرز تصمیم بوده و ممکن است در برخی شرایط در کلاس دیگری اعلام شوند، تشخیص داده شوند و پس از تشخیص آنها را با عنوان"وضعیت طبقه بندی نامشخص" اعلام نماید. چگونگی تبدیل این شبکه به شبکه عصبی با وزن‏ها‏ی آشوبی در بخش‏ها‏ی بعدی ارائه شده است.

 

2- تابع لجستیک، مولد آرایش‏ها‏ی مختلف

معمولا با انتخاب مناسب پارامترهای سیستم غیرخطی می­توان آنها را به رفتار آشوب‏گونه مجبور نمود. سیستم آشوب‏گونه با شروع از یک نقطه از فضای حالت ناحیه مشخصی را جستجو می‌کند، بدون اینکه از نقطه‌ای دو بار عبور کند. محدوده این ناحیه با استفاده از پارامترهای سیستم تعیین می‏شود. از ویژگی‏ها‏ی دیگر سیستم‏ها‏ی آشوب‏گونه وابستگی چگونگی جستجوی آنها در محدوده مشخص به شرایط اولیه است. در این مقاله از این ویژگی‌های سیستم آشوب‏گونه برای یافتن وزن‌های آشوب‏گونه مطلوب استفاده شده است.

تابع لجستیک یک تابع غیر‌خطی و دارای یک پارامتر کنترل است. در این تابع در هر لحظه خروجی لحظه بعد از رابطه‏ی زیر به دست می‏آید:

که در آن  حالت سیستم در تکرار  و  پارامتر دوشاخه شدگی آن است. دینامیک این تابع به شدت به پارامتر  وابسته است؛ به طوری که با تغییر  این تابع از خود انواع رفتارها (از پریودیک تا آشوب‏گونه) را نشان می‏دهد[26] (شکل (4)). با قرار دادن  تابع لجستیک از خود رفتار آشوب‏گونه نشان می‌دهد. در مرجع [1] رابطه‌ای برای تابع لجستیک به صورت (5) تعریف شده است که در آن با اضافه کردن یک پارامتر جدید، ، به تابع لجستیک یک تابع جدید تعریف شده است  که ناحیه  را به صورت آشوب‌گونه جستجو می‌کند (با فرض ). با تغییر  می‌توان ناحیه جستجوی تابع را در حول مبدأ تغییر داد. شکل (5) نمودار این تابع را به ازای دو مقدار مختلف  و  نشان می‌دهد که به ترتیب دو ناحیه  و  را به ازای  به صورت آشوب­گونه جستجو می­کند. در این مقاله از رابطه (5) برای تغییر محدوده جستجوی شبکه آشوب گونه جهت یافتن محدوده مناسب استفاده می شود.

 

 

شکل (4):  نمودار دوشاخه شدگی تابع لجستیک به ازای تغییر پارامتر A

 

شکل (5): ناحیه جستجوی تابع (5) به ازای دو مقدار مختلف 1)  باعث جستجو در ناحیه  می‌شود. 2)  باعث جستجو در ناحیه  می‌شود [1].

 

شکل (6) نمودار زمانی پنجاه نمونه از  به ازای دو شرط اولیه مختلف را نشان می‏دهد. در این شکل‌ها  در نظر گرفته شده است. به ازای  که سری زمانی پایه است، تمام مقادیر  به دست آمده از تابع لجستیک (5) رسم شده است. به ازای  تنها نمونه‏ها‏ی زوج سری زمانی پایه، یا های به دست آمده از رابطه (6)رسم شده‏اند.

 

که از رابطه (5) محاسبه می‏شود. به ازای  نمونه‏ها‏ی مضرب 3 رسم شده است. همان طور که مشاهده می‏شود، با تغییر  وضعیت این سیگنال‏ها‏ نسبت به هم تغییر می‏کند (بدون اینکه شرط اولیه را تغییر دهیم). علت این است که پارامتر  طوری قرار داده شده که تابع لجستیک دارای دینامیک آشوب‏گونه باشد. این تغییر وضعیت‏ها‏ هیچ گاه تکرار نمی‏شوند، زیرا تابع لجستیک در وضعیت آشوب قرار دارد. همان طور که در قسمت بعد بیان خواهد شد، این خاصیت برای یافتن حالتی از آرایش وزن‏ها‏ که کمترین خطا را داشته باشند، استفاده می‏شود، به این صورت که با ایجاد آرایش­های مختلف(از طریق تغییر )، آرایشی که کمترین خطا را در بازشناسی داده‏ها‏ دارد، پیدا می‌شود. به عبارت دیگر، با استفاده از این روش وزن‏ها‏ی پویای شبکه را طوری همزمان می‏کنیم که خطای شبکه نهایی کمینه باشد.

3- شبکه عصبی جلوسوی آشوب‏گونه

با اینکه روش­های رایج تعلیم شبکه‌های عصبی جلوسو وزن‏ها‏ را بر اساس محاسبات دقیق ریاضی و معین به دست می‏آورد، اما جوابی که برای وزن‏ها‏ به دست می‏آید یکتا نبوده، به شدت به شرایط اولیه وابسته است؛ به طوری که با انتخاب شرایط اولیه مختلف، وزن‏ها‏ی مختلفی برای شبکه به دست می‏آید. بنابراین، برای یک مجموعه تعلیم می‏توان شبکه‏ها‏ی مختلف با ساختار مشابه به دست آورد. به عبارت دیگر، وزن‏ها‏ به جای اینکه یک مقدار ثابت داشته باشند می‏توانند مجموعه‏ای از مقادیر مختلف را بگیرند؛ به طوری که این وزن‏ها‏ نسبت به هم طبق قاعده خاصی تغییر می‏کنند. همان طوری که در قسمت‏ها‏ی قبل توضیح داده شد در تعلیم شبکه پرسپترون وزن‏ها‏ی مطلوب در یک ناحیه از فضای وزن‏ها‏ هستند (ناحیه I در شکل (3)). که این ناحیه را داده‏ها‏ی تعلیم و ساختار شبکه تعیین می‏کنند. محدود شدن به یک مجموعه وزن ثابت باعث محدود کردن توانایی شبکه در بازشناسی داده‏ها‏، به خصوص داده‏ها‏ی جدید می‏شود. در این مقاله ناحیه وزن‏ها‏ی مطلوب یک شبکه به طور تقریبی به دست می‌آید و اثر تغییرات وزن‏ها‏ در این ناحیه مطلوب بر روی قدرت بازشناسی یک شبکه جلوسو بررسی می‌گردد. برای این منظور، ابتدا شبکه عصبی جلوسوی معرفی شده در بخش‏ها‏ی قبلی آشوبی می‌شود. سپس با جستجوی آشوب‏گونه آرایش‏ها‏ی مختلف وزن‏ها،‏ آن آرایشی که بهترین صحت باز شناسی را دارد، پیدا می‌شود. در این مقاله فقط وزن‏ها‏ی لایه اول آشوبی می‏شوند.

برای آشوبی کردن وزن‏ها‏ی یک شبکه جلوسو، مجموعه‌ای از وزن‏ها‏ی آن را در نظر بگیرید. همان طوری که در شکل (3) نشان داده شده است، این وزن‏ها‏ یکتا نبوده، می‏توانند متغیر باشند. یک دسته از این وزن‏ها‏ را به عنوان وزن پایه انتخاب می‏کنیم. به منظور طراحی شبکه عصبی پویا (آشوب‏گونه) برای هر وزنی که قرار است آشوبی شود یک تابع لجستیک با رابطه (5) در نظر می‏گیریم که در محدوده  تغییر می‏کند. سپس خروجی این تابع را در هر لحظه به وزن پایه اضافه می‏کنیم. به این ترتیب وزن‏ها‏ در هر لحظه به صورت آشوب‏گونه تغییر می‏کنند. حال اگر یک الگو به عنوان ورودی به این شبکه اعمال کنیم، برخلاف شبکه ایستا، هر وزن مقادیری مختلف دارد و در نتیجه، تعداد زیادی الگوی خروجی داریم که هر یک حاوی اطلاعات مفیدی در مورد خروجی اصلی هستند. بدیهی است که این خروجی‌ها دارای خطا هستند. نحوه تغییرات وزن‏ها‏ باید طوری انتخاب شود که خطای خروجی حداقل گردد؛ یعنی باید تغییرات وزن‏ها‏ طوری با هم همزمان شوند که خطای خروجی ایجاد شده مینیمم باشد. برای یافتن آرایشی از مقادیر وزن‏ها‏ که خطا را کمینه کند، آرایش‌های مختلفی از وزن‌های آشوب گونه را تولید کرده، خطای شبکه را برای هر آرایش به دست می‏آوریم. برای تغییر آرایش سری زمانی به دست آمده از رابطه (5) می‌توان از تغییر شرط اولیه یا تغییر T استفاده نمود. در این مقاله برای تغییر آرایش وزن‏ها‏ همان طوری که در شکل (6) نشان داده شده است، از تغییر  استفاده شده است. فعالیت هر تابع از شرط اولیه ثابت بسیار کوچک که متناسب با وزن پایه متناظر ( ) است، شروع می شود. بنابراین، برای یافتن وزن­های آشوبی اولا باید محدوده تغییرات این وزن‌ها را تعیین کرد، که این کار از طریق تعیین مقدار مناسب  انجام می‌شود. دوم اینکه T را طوری تعیین کنیم که خطای شبکه کمینه شود.

با مشخص شدن مقادیر T و  در رابطه (5) و با شروع از شرط اولیه ثابت  یک دنباله با مقادیر مشخص برای  که متناظر با هر وزن است، به دست می‌آید که با دیگر وزن‌ها همزمان است. به عبارت دیگر، این دنباله دارای ویژگی کاملا معین است. در حالی که اگر از یک متغییر تصادفی برای  استفاده می شد در هر بازشناسی با سری جدیدی مواجه بودیم که با سری های تصادفی دیگر نمی توانست همزمان باشد. بنابراین، با ثابت کردن پارامترهای یک تابع آشوب و با شروع از یک شرط اولیه ثابت، یک سری زمانی داریم که کاملا معین است.

برای یافتن  مطلوب نیز از داده‌های تعلیم استفاده می‌شود. برای این منظور، در صد صحت بازشناسی شبکه جلو سوی تعلیم داده شده پایه بر روی دادگان تعلیم به دست می‌آید که معمولا 100% است. در رابطه (5) با شروع  از یک مقدار مینیمم تعدادی از وزن­های شبکه را آشوبی می‌کنیم؛ به طوری که درصد صحت بازشناسی شبکه بر روی دادگان تعلیم همچنان 100% باقی بماند. مقدار  (دامنه تغییرات آشوب گونه وزن ها) آنقدر افزایش داده می‌شود تا درصد صحت باز شناسی شبکه از 100% کمتر شود. در این صورت، حداکثر مقدار  که به ازای آن درصد صحت بازشناسی شبکه جلوسو همچنان 100% است، به عنوان  مطلوب در نظر گرفته می‌شود.

برای یافتن T مطلوب با شروع از T=1 و افزایش آن تا 100، برای هر T شبکه جلوسویی داریم که وزن‏ها‏ی آن به صورت آشوب‏گونه تغییر می‏کند. این شبکه برای هر تصویر ورودی بی شمار خروجی ایجاد می‏کند. صد خروجی اول مربوط به هر T را درنظر می­گیریم. به روش مربعات خطا، خطای هر یک از این خروجی‏ها‏ را نسبت به خروجی اصلی (که عضو داده‏ها‏ی تعلیم است) به دست آورده، میانگین گیری می‏کنیم.  را تا 100 افزایش داده، خطای متناظر با هر T را محاسبه می‌کنیم. سپس T متناظر با خطای کمینه را به عنوان T مطلوب در نظر می­گیریم. به عبارت دیگر، در  مطلوب وزن‏ها‏ طوری با هم همزمان می­شوند که مقدار خطا کمینه می‌شود.

 

4- پایگاه داده‏ها‏

برای بررسی کارایی شبکه پیشنهادی، از آن برای بازشناسی ارقام دست نوشتار انگلیسی موجود در پایگاه داده‏ها‏ی USPS  استفاده شد. این پایگاه داده حاوی 4649 داده تعلیم و 4649 داده تست است. داده‏ها‏ی تعلیم بردارهای به دست آمده از تصاویر 16×16 ارقام دست نوشتار انگلیسی هستند. تصویر ارقام دارای سطوح خاکستری هستند دامنه تغیرات هر نقطه تصویر در بازه [1، 1-] نرمال سازی شده است[27] .

 

5- نتایج شبیه سازی

4649 داده تست پایگاه داده USPS با روش ارائه شده در مرجع [23] به شبکه­ای با ساختار 10، 750، 200، 200، 256 که داده ورودی (تصویر ارقام دست نوشتار با 256 نقطه­) را به برچسب آن نسبت می‏دهد، تعلیم داده شدند ماتریس وزن های لایه اول یک ماتریس با 257 ردیف (که یک ردیف مربوط به بایاس است) و 200 ستون است.

برای آشوبی کردن وزن‌های ابتدا محدوده تغییرات وزن‌ها (  مطلوب) تعیین شد. در این مقاله 30 ردیف اول از ماتریس وزن لایه اول آشوبی شده‌اند. برای به دست آوردن  مطلوب،  به تدریج از 12/0 تا 28/0 با گام های 002/0 افزایش داده شد و درصد صحت بازشناسی شبکه بر روی داده های تعلیم برای هر یک از این ‌ها محاسبه گردید. نمودار درصد بازشناسی شبکه آشوب گونه به ازای  های مختلف در شکل (7) نشان داده شده است. به ازای 2/0=  درصد صحت بازشناسی شبکه با دقت دو رقم اعشار همچنان 100% است. این مقدار  را به عنوان مقدار مطلوب در نظر می­گیریم.

 برای همزمان کردن وزن‏ها و یافتن T مطلوب‏ به منظور رسیدن به خطای کمینه، T از 1 تا 100 افزایش داده می شود و خطای شبکه آشوب­گونه متناظر با هر یک از این T‌ها محاسبه می­گردد. سپس T متناظر با خطای مینیمم به عنوان T مطلوب در نظر گرفته می­شود. شکل (8) نمودار خطای بازشناسی شبکه آشوب گونه را برای T های مختلف نشان می دهد. خطای بازشناسی شبکه آشوب گونه به ازای 12=T کمینه می شود. مقدار خطای کمینه برابر  است. از روش متوسط مربعات خطا برای محاسبه خطا استفاده شده است.

پس از به دست آوردن  و  مطلوب  شبکه آشوب‏گونه ایجاد شده مورد آزمون قرار گرفت و به ازای هر ورودی صد خروجی اول شبکه آشوب‏گونه در نظر گرفته شد. با بررسی نتایج به دست آمده، مشخص شد برای داده‏ها‏یی که به‌وسیله شبکه ایستا درست تشخیص داده شده‏اند، اکثر 100 خروجی به دست آمده از شبکه آشوب‏گونه نیز این داده را در همان طبقه‏ای که شبکه ایستا تشخیص داده است، قرار می‏دهد، اما داده‏ها‏یی که توسط شبکه ایستا غلط تشخیص داده شده‏اند، توسط شبکه آشوب‏گونه قابل تشخیص نبوده، این شبکه این داده‌ها را جزو طبقات مختلف، از جمله طبقه اصلی مربوط به داده ورودی قرار می‏دهد. بنابراین، از این ویژگی می توان برای تشخیص بازشناسی‌های اشتباه شبکه ایستا استفاده کرد.

خروجی‏های شبکه عصبی جلوسوی آشوب‏گونه به یک داده‏ آزمون (عدد 3 دست نوشتار) که توسط شبکه ایستا درست تشخیص داده شده است، در شکل (9-1) نمایش داده شده است. چنانکه مشاهده می‏شود، تمامی صد خروجی شبکه آشوب‏گونه این داده را به طبقه 3 اختصاص می‏دهند.  

 

0

 

5

 

10

 

15

 

20

 

25

 

30

 

35

 

40

 

45

 

50

 

 

0

 

 

T=2

 

Tk

 

x

 

0

 

5

 

15 10

 

15 10

 

20

 

25

 

35

 

40

 

45

 

50

 

 

0

 

 

T=1

 

x

 

Tk

 

0

 

5

 

10

 

15

 

20

 

25

 

30

 

35

 

40

 

45

 

50

 

 

0

 

 

T=3

 

Tk

 

x

 

o x(1)=0.4

 

> x(1)=-0.49

 

0.5

 

-0.5

 

0.5

 

0.5

 

-0.5

 

-0.5

شکل (6): نمودار زمانی مربوط به تابع لجستیک به ازای دو شرط اولیه مختلف و

 

 

 

شکل (7) نمودار درصد صحت بازشناسی شبکه عصبی آشوب گونه بر روی داده های تعلیم به ازای  های مختلف.

 

 

T

 

شکل (8): نمودار خطای بازشناسی شبکه آشوب گونه به ازای T‌های مختلف. خطای بازشناسی شبکه آشوب گونه به ازای 12=T کمینه می‌شود. مقدار خطای کمینه برابر  است. از روش متوسط مربعات خطا برای محاسبه خطا استفاده شده است.

 

شکل (9): فراوانی خروجی شبکه آشوب‏گونه (1) وقتی که شبکه ایستا داده تست را درست تشخیص داده است (2) وقتی که شبکه ایستا داده تست را اشتباه تشخیص داده است.