دانلود مقاله بهبود سرعت یادگیری شبکه های عصبی

مشخصات این فایل
عنوان: بهبود سرعت یادگیری شبکه های عصبی
فرمت فایل :word(قابل ویرایش)
تعدادصفحات :24

این مقاله در مورد بهبود سرعت یادگیری شبکه های عصبی می باشد.

بخشی از تیترها به همراه مختصری از توضیحات هر تیتر ازمقاله بهبود سرعت یادگیری شبکه های عصبی

خلاصه ای از الگوریتم BP
از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.
بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت و مسیر برگشت  .
در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه ...(ادامه دارد)

معایب الگوریتم استاندارد پس انتشار خطا (SBP)
الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.
با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:
- اولاً سرعت همگرایی الگوریتم BP آهسته است.
همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه ...(ادامه دارد)

روش ممنتم  برای الگوریتم BP (MBP)
همانطور که مشاهده شد، اگر نرخ یادگیری α، کوچک انتخاب شود، متد BP که در واقع همان تقریب الگوریتم SD است، بسیار کندمی گردد. و اگر α، بزرگتر انتخاب شود، شبکه نوسانی خواهد بود.
یک راه ساده و مؤثر که عموماً جهت افزایش و بهبود نرخ یادگیری، استفاده می شود- جایی که خطر ناپایداری و نوسانی شدن شبکه جلوگیری می گردد- افزودن یک جمله ممنتم در الگوریتم تقریبی SD می باشد، یعنی به هر پارامتر از شبکه MLP، یک مقدار اینرسی یا اندازه حرکت اضافه می شود تا اینکه پارامتر مورد نظر در مسیری تمایل به تغییر داشته باشد که کاهش تابع انرژی احساس شود ...(ادامه دارد)

الگوریتم پس انتشار خطای بهبود پذیر (Rprop)
این الگوریتم، جهت اصلاح مشکل فوق ارائه شده است.
بر اساس این الگوریتم، تنها از علامت مشتق تابع تحریک، جهت اصلاح پارامترهای شبکه استفاده می شود. اندازه مشتق تابع تحریک، هیچ اثری بر تنظیم پارامترهای شبکه ندارد [6], [5].
میزان تغییرات در پارامترهای شبکه، توسط فاکتور delt-inc، افزوده می شود، زمانی که علامت مشتق شاخص اجرایی، نسبت به پارامترهای شبکه دردوتکرار متوالی، تغییر نکند. و زمانی که مشتق خاص اجرایی دردوتکرار متوالی هم علامت نباشند، تغییرات در پارامترهای شبکه توسط فاکتور delt-dec، کاهش می یابد ...(ادامه دارد)

نتیجه گیری
از قانون یادگیری پس انتشار خطا (BP) برای آموزش شبکه ها عصبی چند لایه پیش خور استفاده می شود. با وجود کاربردهای فراوان این الگوریتم یادگیری، هنوز مشکلاتی نیز وجود دارد:
سرعت همگرایی الگوریتم BP، پائین است و ممکن است شبکه به آسانی به نقاط مینیمم محلی همگرا شود. از طرفی، انتخاب نرخ یادگیری، تأثر بسزایی در سرعت همگرایی آموزش شبکه عصبی دارند.
در این گزارش، الگوریتم های جدیدی، جهت بهبود الگوریتم BP، ارائه شده است.
برخی از این روش ها بر مبنای نرخ یادگیری تطبیقی می باشند. بدین صورت که نرخ یادگیری به هنگام پروسه آموزش  تغییر می کند تا عملکرد در الگوریتم BP استاندارد بهبود بخشیده شود، نرخ یادگیری تطبیقی سعی می کند که نرخ یادگیری را تا آنجایی که ممکن است و سیستم ناپایدار نشده است، افزایش دهد.
الگوریتم دیگری که جهت بهبود سرعت همگرایی الگوریتم BP، ارائه شده است، الگوریتم BP با سه ترم است. در این الگوریتم، ترم جدیدی به نام ضریب تناسبی (PE)، علاوه بر دوترم نرخ یادگیری و ضریب ممنتم  ...(ادامه دارد)

فهرست مطالب مقاله بهبود سرعت یادگیری شبکه های عصبی

مقدمه
خلاصه ای از الگوریتم BP
فرمول بندی الگوریتم BP
بهبود الگوریتم استاندارد پس انتشار خطا (SBP)
آنالیز همگرایی
نتیجه گیری
مراجع
مرجع فارسی

پروژه یادگیری عامل های مصنوعی

پروژه یادگیری عامل های مصنوعی پژوهش کامل در حوزه کامپیوتر و IT میباشد و در 5 فصل تنظیم شده است. در این پایان نامه، نقش یادگیری به عنوان گسترش دسترسی طراح به محیط های ناشناخته توضیح داده شده است .شما میتوانید فهرست مطالب پروژه را در ادامه مشاهده نمایید.

پروژه بصورت فایل قابل ویرایش ورد(WORD) در 180 صفحه برای رشته کامپیوتر و IT در پایین همین صفحه قابل دانلود میباشد. شایسته یادآوری است که پروژه از ابتدا تا پایان ویرایش وتنظیم , سکشن بندی (section) ، نوشتن پاورقی (Footnote) و فهرست گذاری اتوماتیک کامل شده وآماده تحویل یا کپی برداری از مطالب مفید آن است.

چکیده

هدف اصلی از ارایه این پایان نامه، انتقال نظراتی است که در سالهای گذشته در تحقیقات مربوط به رشته یادگیری ماشین (زیر شاخه ای از هوش مصنوعی که بر روی برنامه هایی تمرکز می کند که از طریق تجربه به یادگیری می پردازند.) مطرح شده است. در ارایه این نظرات تلاش شده است که با حفظ دقت، از بیش از حد رسمی شدن پرهیز شود، هرجا که مناسب بوده الگوریتم های شبه برنامه نیز گنجانده شده تا نظرات را ملموس تر کند. به جای توضیح این زیر شاخه از هوش مصنوعی به سبک خاص خودش، سعی گردیده است تا تمام دانسته ها در این زمینه در یک چارچوب مشترک ارایه شوند. در این پایان نامه، نقش یادگیری به عنوان گسترش دسترسی طراح به محیط های ناشناخته توضیح وهمچنین نشان داده می شود که این نقش چگونه برای طراحی عامل ها محدودیت ایجاد می کند و از بازنمایی صریح دانش و استدلال پشتیبانی مینماید. این مبحث، روشهای تولید دانش مورد نیاز توسط اجزای تصمیم گیرنده را توصیف می کند، همچنین نوع جدیدی از این اجزاء (شبکه عصبی) را به همراه رویه های یادگیری مربوط به ان معرفی می نماید. بدین منظور به ترجمه بخش یادگیری از کتاب هوش مصنوعی راسل (فصول 18، 19، 20 و 21) مبادرت شده است. پنج مشخصه اصلی این پایان نامه عبارتند از: 1-ارایه دیدگاهی یکپارچه از رشته یادگیری ماشین. 2-تمرکز حول محور عاملهای هوشمند 3-پوشش جامع و به روز مطالب 4-تأکید یکسان هم بر مباحث نظری و هم عملی 5-درک مطالب از طریق پیاده سازی.

واژه های کلیدی:عامل هوشمند، یادگیری استقرایی، دانش قبلی، یادگیری اماری، شبکه های عصبی، یادگیری تقویتی

فهرست مطالب

مقدمه. 1

فصل یکم  یادگیری از طریق مشاهدات

1-1- اَشکال یادگیری.. 3

1-2-یادگیری استقرایی.. 6

1-3-یادگیری درختان تصمیم.. 8

1-4- یادگیری گروهی.. 24

1-5- چرا یادگیری درست عمل می کند : نظریه یادگیری محاسباتی.. 29

1-6 -خلاصه. 35

فصل دوم  دانش در یادگیری

2-1- یک تدوین منطقی از یادگیری.. 37

2-2- دانش در یادگیری.. 48

2-3-یادگیری مبتنی بر تشریح.. 52

2-4 - یادگیری با استفاده از ارتباط اطلاعات.. 58

2-5- برنامه نویسی منطقی استقرایی.. 63

2-6-خلاصه. 74

فصل سوم  روشهای یادگیری اماری

3-1- یادگیری اماری.. 77

3-2-یادگیری با داده های کامل.. 81

3-3-یادگیری با متغیرهای پنهان: الگوریتم EM... 91

3-4-یادگیری نمونه محور. 101

3-5- شبکه های عصبی.. 106

3-6-ماشین های کرنل.. 121

3-7-مطالعة موردی : تشخیص ارقام دست نویس.... 125

3-8-خلاصه. 128

فصل چهارم  یادگیری تقویتی

4-1-مقدمه. 132

4-2-یادگیری تقویتی غیر فعال.. 134

4-3-یادگیری تقویتی فعال.. 138

4-4-تعمیم در یادگیری تقویتی.. 145

4-5-خلاصه. 151

فصل پنجم  جمع بندی و نتیجه گیری

فهرست واژگان:157

منابع و مراجع.. 166

فهرست شکل ها

شکل 1-1- (الف) جفتهای مثال(X, f(X)) و یک فرض خطی و سازگار. (ب) یک فرض چندجمله ای درجه 7 و سازگار برای مجموعه داده یکسان . (ج) مجموعه داده متفاوتی که یک برازش چندجمله ای درجه 7 دقیق یا یک برازش تقریبی خطی را میپذیرد. (د) یک برازش سینوسی دقیق وساده برای مجموعه داده یکسان.6

شکل 1-2- درخت تصمیمی برای تصمیم درمورد این که ایا برای یک میز منتظر میمانیم یا خیر.10

شکل 1-3- مثالهایی برای دامنه رستوران.. 12

شکل 1-4-تقسیمبندی مثالها بهوسیله تست بر روی صفات.. 13

شکل 1-5- الگوریتم یادگیری درخت تصمیم.. 14

شکل 1-6- درخت تصمیمی که از مجموعه اموزشی مربوط به 12 مثال نتیجه شده است... 15

شکل1-7- منحنی یادگیری برای الگوریتم درخت... 19

شکل 1-8- تصویری از قدرت رسایی افزایش یافته که توسط یادگیری گروهی به دست امده است... 24

شکل 1-9-چگونگی کارکرد الگوریتم بوستینگ... 26

شکل1-10-گونه ADABOOSTروش بوستینگ درمورد یادگیری گروهی.. 27

شکل 1-11- (الف) نمودار نشان دهنده کارایی ریشه های تصمیمی با M=5 . (ب) نسبت درست بر اساس مجموعه اموزشی و مجموعه تست به عنوان تابعی از M... 28

شکل 1-12- نمای طرح واری از فضای فرض که نشان دهنده "ε–بال"اطراف تابع درست fاست... 30

شکل 1-13- یک لیست تصمیم برای مسأله رستوران.. 32

شکل 1-14-الگوریتمی برای یادگیری لیست های تصمیم.. 34

شکل 1-15- منحنی یادگیری برای الگوریتم یادگیری لیست تصمیم بر اساس داده های رستوران. منحنی یادگیری درخت تصمیم نیز برای مقایسه نشان داده شده است... 34

شکل 2-1-(الف) یک فرض سازگار. (ب) یک منفی کاذب. (ج) فرض تعمیم یافته است. (د) یک مثبت کاذب. (ه) فرض تخصیص یافته است... 40

شکل 2-2- الگوریتم یادگیری جستجوی بهترین فرض جاری.. 41

شکل 2-3- الگوریتم یادگیری فضای نمونه. این الگوریتم زیرمجموعه ای از Vرا مییابد که با مثالها سازگار باشد 43

شکل 2-4- فضای نمونه شامل تمام فرضهای سازگار با مثالها میباشد. 45

شکل 2-5- بسط های اعضای Sو G. هیچ مثال شناخته شده ای در بین دو مجموعه کران قرار نمیگیرد 46

شکل 2-6-یک فرایند یادگیری فزاینده در طول زمان از دانش زمینه اش استفاده میکند و به ان می‌ا‌فزاید 49

شکل 2-7- درختان اثبات برای مسأله ساده سازی.. 55

شکل 2-8- الگوریتمی برای یافتن یک تعیین کننده سازگار کمینه. 61

شکل 2-9- مقایسه کارایی بین RBDTLو DECISION-TREE-LEARNING براساس داده هایی که به طور تصادفی تولید شده اند و برای تابع هدفی که به تنها 5 صفت از 16 صفت بستگی دارد. 62

شکل2-10- مثال های مثبت و منفی ساختار اصلاح منطقی کد شده. 63

شکل 2-11-یک درخت خانواده معمولی.. 64

شکل 2-12- خلاصه ای از الگوریتم FOIL برای یادگیری مجموعه هایی از بندهای هورن.. 68

شکل 2-13- مراحل اولیه در یک فرایند تحلیل معکوس... 70

شکل 2-14-مرحله ای از تحلیل معکوس که یک گزاره جدید Pرا تولید می کند. 73

شکل3-1- احتمالات متعاقب از معادله(3-1)79

شکل 3-2-(الف)مدل شبکه بیزین برای حالتی که نسبت های لیمو و گیلاس ابنبات ها نامعلوم است. (ب) مدل بیزین برای حالتی که رنگ کاغذ ابنبات (به طور احتمالی) به طعم ان بستگی دارد. 82

شکل 3-3- منحنی یادگیری برای یادگیری خام بیزین که درمورد مسأله رستوران.. 84

شکل 3-4- یک مدل خطی گاوس... 86

شکل 3-5- مثالهایی از توزیعbeta [a, b] برای مقادیر مختلفی از [a, b].87

شکل 3-6- یک شبکه بیزین که مطابق با یک فرایند یادگیری بیزین میباشد. 89

شکل 3-7-(الف) یک شبکه تشخیص ساده برای بیماری قلبی (ب) شبکه معادل با حذف متغیر پنهانHeartDisease. 91

شکل 3-8-(الف) 500 نقطه داده در دو بعد، که وجود سه دسته را پیشنهاد میکنند. (ب) یک مدل ترکیبی گاوس با سه مؤلفه؛ وزنها (از چپ به راست) عبارتند از 0.2، 0.3 و 0.5. داده ها در (الف) از این مدل تولید شده بودند. (ج) این مدل با استفاده از داده های شکل (ب) توسط EMدوباره ساخته شده است... 93

شکل 3-9-نمودارها نشان دهنده لگاریتم درست نمایی داده ها به عنوان تابعی از تکرار EMمی باشند. 94

شکل 3-10-(الف)یک مدل ترکیبی برای ابنبات. نسبت های طعم های مختلف،کاغذها، و تعداد حفره ها به بسته بستگی دارند. (ب) شبکه بیزین برای یک حالت ترکیبی گاوس. میانه و کوواریانس متغیرهای قابل مشاهده (X)به مؤلفه Cبستگی دارند 96

جدول 3-1-تعداد هشت نوع اب نبات.. 97

شکل 3-11-شبکه بیزین پویا و گسترده ای که یک مدل پنهان مارکوف را بازنمایی می کند. 98

شکل 3-12- (الف) زیر نمونه ای متشکل از 128 نقطه از داده های موجود در شکل 3-8(الف) به علاوه دو نقطه مورد بررسی (ب) طراحی سه بعدی از ترکیب های گاوسی که داده ها تولید شده بودند. 103

شکل3-13- تخمین چگالی در مورد داده های شکل 3-12-(الف) با استفاده از k نزدیکترین همسایه. 103

شکل 3-14-تخمین چگالی کرنل برای داده های شکل 3-12-(الف)، که کرنلهای گاوسی را به ترتیب باw=0.02 ,0.07,0.20 به کار می برد. 105

شکل3-15- مدل ریاضی ساده ای برای یک عصب فعالیت خروجی.. 106

شکل 3-16- (الف) تابع فعالیت آستانه ای (ب) تابع دو هلالی.. 107

شکل 3-17-با مفروض داشتن ورودی مناسب و وزنهای بایاس، واحدها با وجود یک تابع فعالیت استانه میتوانند به صورت گیت های منطقی عمل کنند. 108

شکل 3-18-یک شبکه عصبی بسیار ساده با دو ورودی، یک لایه پنهان دو واحدی، و یک خروجی.. 109

شکل 3-19-(الف) یک شبکه پرسپترون متشکل از سه واحد خروجی پرسپترون (ب) نموداری از خروجی یک واحد پرسپترون دو ورودی با یک تابع فعالیت دوهلالی.. 110

شکل 3-20-تفکیک پذیری خطی در پرسپترونهای استانه. 111

شکل 3-21- الگوریتم یادگیری نزول گرادیان برای پرسپترونها113

شکل 3-22-مقایسه کارایی پرسپترونها و درختان تصمیم.. 113

شکل 3-23-(الف) نتیجه ترکیب دو تابع هموار استانه با رویه های مخالف به منظور تولید یک تابع مرز. (ب) نتیجه ترکیب دو تابع مرز برای به وجود اوردن یک برامدگی.. 115

شکل 3-24-یک شبکه عصبی چندلایه ای با یک لایه پنهان و 10 ورودی، که برای مسأله رستوران مناسب است 116

شکل 3-25-الگوریتم پس-انتشار برای یادگیری در شبکه های چندلایه ای.. 117

شکل 3-26-(الف) منحنی اموزشی برای مجموعه مفروضی از مثالها در دامنه رستوران، همانطور که وزنها در طول دوره های مختلف تغییر میکنند، نشان دهنده کاهش تدریجی در خطاست. (ب) منحنیهای یادگیری مقایسهای نشان میدهند که یادگیری درخت تصمیم کمی بهتر از پس-انتشار در یک شبکه چندلایهای است... 119

شکل3-27- (الف)یک مجموعه اموزشی دو بعدی (ب) داده های مشابه بعد از نگاشت یک فضای ورودی سه بعدی 122

شکل3-28- نمای نزدیک و تصویر شده ای به درون دو بعد اول از جداکننده بهینه. 122

شکل 3-29-مثالهایی از ارقام دست نویس که از پایگاه داده NISTبه دست امده اند. ردیف بالا: مثالهایی از ارقام 9-0 که تشخیص انها اسان است. ردیف پایین: مثالهای سخت تر از اعداد مشابه. 125

جدول 3-2- خلاصه نرخهای خطا و برخی از سایر مشخصههای هفت تکنیک مورد بحث... 128

شکل4-1- (الف) یک خط مشی π برای دنیای 3*4 (ب) سودمندی های حالت ها در دنیای 3*4 بامفروض بودن خط مشی π. 135

شکل4-2- یک عامل یادگیری تقویتی غیر فعال مبتنی بر برنامه ریزی.. 138

شکل4-3- منحنی یادگیری ADP غیرفعال برای دنیای3*4. 138

شکل 4-6-کارایی یک عامل ADPحریص که به اجرای اقدامی می پردازد که خط مشی بهینه برای مدل یادگرفته شده پیشنهاد می کند (الف) خطای RMSدر تخمین های سودمندی ای که روی نه مربع غیرپایانی میانگین گرفته شده اند. (ب) خط مشی تاحدی بهینه که عامل حریص در این دنباله خاص از ازمایشات به ان همگرا می شود. 140

شکل 4-7-کارایی عامل ADPاکتشافی که از R+=2و Ne=5 استفاده می کند. 142

شکل4-8- یک عامل Q- یادگیری اکتشافی.. 144

شکل4-9- وضعیت برای مساله تنظیم یک میله بلند روی یک ارابه متحرک... 150

شکل 4-10 تصاویری از یک هلیکوپتر خودمختار که در حال اجرای یک مانور دایره ای بسیار سخت می‌باشد 151

دانلود پاورپوینت شبکه های عصبی مصنوعی

مشخصات این فایل
عنوان: شبکه های عصبی مصنوعی
فرمت فایل :پاورپوینت (قابل ویرایش)
تعداد اسلایدها : 85

این پاورپوینت در مورد شبکه های عصبی مصنوعی  می باشد.

بخشی از تیترها به همراه مختصری از توضیحات هر تیتر ازپاورپوینت شبکه های عصبی مصنوعی

مسائل مناسب برای یادگیری شبکه های عصبی
خطا در داده های آموزشی وجود داشته باشد.
مثل مسائلی که داده های آموزشی دارای نویز حاصل از دادهای سنسورها نظیر دوربین و میکروفن ها هستند.
مواردی که نمونه ها توسط مقادیر زیادی زوج ویژگی-مقدار نشان داده شده باشند. نظیر داده های حاصل از یک دوربین ویدئوئی.
تابع هدف  دارای مقادیر پیوسته باشد.
زمان کافی برای یادگیری وجود داشته باشد. این روش  در مقایسه با روشهای دیگر نظیر درخت تصمیم نیاز به زمان بیشتری برای یادگیری دارد.
نیازی به تعبیر تابع هدف نباشد. زیرا به سختی میتوان  وزنهای یادگرفته شده توسط شبکه را تعبیر نمود.
...(ادامه دارد)

الهام از طبیعت
مطالعه شبکه های عصبی مصنوعی تا حد زیادی ملهم از سیستم های یادگیر طبیعی است که در آنها یک مجموعه پیچیده از نرونهای به هم متصل  در کار یادگیری دخیل هستند.
گمان میرود که مغز انسان از تعداد 10 11 نرون تشکیل شده باشد که هر نرون با تقریبا 104 نرون دیگر در ارتباط است.
سرعت سوئیچنگ نرونها در حدود 10-3 ثانیه است که در مقایسه با کامپیوترها 10 -10 ) ثانیه ( بسیار ناچیز مینماید. با این وجود آدمی قادر است در 0.1 ثانیه  تصویر یک انسان را بازشناسائی نماید. این قدرت فوق العاده باید از پردازش موازی توزیع شده در تعدادی زیادی از نرونها حاصل شده باشد....(ادامه دارد)

مرور الگوریتم BP
این الگوریتم یک جستجوی gradient descent در فضای وزنها انجام میدهد.
ممکن است در یک مینیمم محلی گیر بیافتد.
در عمل بسیار موثر بوده است.
برای پرهیز از مینیمم محلی روشهای مختلفی وجود دارد:
افزودن ممنتم
استفاده از stochastic gradient descent
استفاده ازشبکه های مختلف با مقادیر متفاوتی برای وزنهای اولیه...(ادامه دارد)

قدرت نمایش توابع
اگرچه قدرت نمایش توابع به توسط یک شبکه feedforward بسته به عمق و گستردگی شبکه دارد، با این وجودموارد زیر را میتوان به صورت قوانین کلی بیان نمود:
توابع بولی: هر تابع بولی را میتوان توسط یک شبکه دو لایه پیاده سازی نمود.
توابع پیوسته: هر تابع پیوسته محدود را میتوان توسط یک شبکه دو لایه تقریب زد. تئوری مربوطه در مورد شبکه هائی که از تابع سیگموئید در لایه پنهان و لایه خطی در شبکه خروجی استفاده میکنند صادق است.
توابع دلخواه: هر تابع دلخواه را میتوان با یک شبکه سه لایه تا حد قابل قبولی تفریب زد....(ادامه دارد)

فهرست مطالب پاورپوینت شبکه های عصبی مصنوعی

قانون دلتا Delta Rule
تقریب افزایشی gradient descent
یک سلول واحد
انتشار به سمت عقب
فضای فرضیه و بایاس استقرا
دلایل رخ دادن overfitting
انواع مختلف یادگیری

دانلود تحقیق بهبود سرعت یادگیری شبکه های عصبی

مقدمه

شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا                می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت6 و مسیر برگشت 7 .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

Multi-Layer Feedforward Neural Networks Back-Propagation Algorithm Steepest Descent (S.D) Performance Learning Multi Layer Perceptron Forward Path Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا1 انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای2 معمول در جبر استفاده می شود.

فرمول بندی الگوریتم BP

الگوریتم یادگیری BP، بر اساس الگوریتم تقریبی SD است. تنظیم پارامترهای شبکه، مطابق با سیگنالهای خطا که بر اساس ارائه هر الگو به شبکه محاسبه می شود، صورت می گیرد.

الگوریتم بیشترین تنزل با معادلات زیر توصیف می شود:

...

نوع فایل : WORD

تعداد صفحه : 30

تنظیم رله جریان زیاد کنترل شده با ولتاژ در شبکه های صنعتی

تنظیم رله جریان زیاد کنترل شده با ولتاژ در شبکه های صنعتی

فرمت : word

تعداد صفحه : 10 صفحه

قیمت : 1000 تومان

رله جریان زیاد کنترل شده با ولتاژ جزو اصلی ترین حفاظتهای مربوط به ژنراتور می باشد و تنظیم آن نیاز به دقت خاصی دارد. این رله بعنوان پشتیبان تمامی رله های اضافه جریان که در خط اول حفاظتی قرار دارند، می باشد و عملکرد آن با تاخیر قابل ملاحظه ای توام است. در تنظیم آن لازم است تا با محاسبه و در نظرگرفتن جریان عبوری از رله و ولتاژ اعمالی به آن در خلال حضور اتصال کوتاه در محدوده خط اول حفاظتی مبادرت به تنظیم اینگونه رله نمود.

در این مقاله سعی برآن شده است تا با معرفی اینگونه رله ها، روند مناسبی جهت تنظیم آن در مجتمع های صنعتی ارائه گردد.