14034پ

كارشناسي ارشد

رياضي

تهران شرق

1401

صحافي شده ندارد

حبيبه نظيف

مسعود خليلي

دانشگاه پيام نور مركمز تهران شرق

شبكه‌‌هاي عصبي قسمت مهمي از چارچوب يادگيري عميق هستند كه توانسته‌اند نتايج قابل قبولي در حوزه‌هاي مختلف و مسائل پيچيده داشته باشند اما طراحي معماري شبكه‌هاي عصبي يك كار چالش‌برانگيز است. انتخاب هوشمندانه معماري شبكه كه وابسته به پارامترهاي شبكه است، فرآيندي زمان‌بر است. پژوهش‌هاي زيادي براي خودكارسازي فرآيند طراحي شبكه‌هاي عصبي با استفاده از الگوريتم‌هاي ابتكاري مختلف صورت گرفته است. الگوريتم‌هاي تكاملي يكي از بهترين روش‌ها براي خودكارسازي فرآيند جستجوي معماري شبكه هستند، اما چالش اين الگوريتم‌ها اين است كه محاسبات زيادي دارند. در پژوهشي كه توسط لي انجام شده است، روشي براي جستجوي كارآمد شبكه هاي عصبي با محدود ساختن جستجوي سيستماتيك از طريق تبديل شبكه و همچنين بهينه‌سازي بيزي پيشنهاد شده است. با اين حال، اين روش داراي يك مشكل است و آن هم اين كه به دليل فضاي جستجوي زياد و آموزش هاي تكراري، منابع محاسباتي زيادي مورد نياز است كه اين خود باعث افزايش زمان مورد نياز مي شود [19]. در اين پايان‌نامه با توجه به اهميت شبكه‌هاي عصبي و اين‌كه براي انتخاب معماري شبكه به‌صورت بهينه بايد پارامترهاي زيادي در نظر گرفته شود و اين فرآيند زمان‌بر نيز است، سعي شده است روشي بهينه براي خودكارسازي معماري شبكه‌هاي عصبي با استفاده از الگوريتم‌هاي ابتكاري ارائه شود كه به الگوريتم‌هاي تكاملي سريع‌تر براي يافتن معماري شبكه عصبي بهينه منجر شود. براي رسيدن به اين هدف، يك الگوريتم ساده براي آزمايش اين‌كه آيا تكامل يك معماري شبكه در چند مرحله بر اساس دستاوردهاي آموزشي فوري مي‌تواند منجر به مزاياي بلندمدت شود، پيشنهاد شده است. گرچه جستجوي معماري به‌طوركلي به توپولوژي شبكه وابسته است، در اين مورد توجه را به جستجوي توپولوژي شبكه محدود مي‌كنيم. الگوريتم پيشنهادي داراي دو مرحله مجزا است: مرحله يادگيري و مرحله تكامل. در مرحله يادگيري، يك شبكه از يك معماري ثابت با استفاده از يك تكنيك مبتني بر گراديان مانند انتشار به عقب آموزش داده مي‌شود. در مرحله تكامل، شبكه موجود در معرض تغييرات تكاملي است؛ كه در اين مورد اضافه كردن گره‌ها و اتصالات با وزن‌هاي اوليه تصادفي است. در ادامه بهترين معماري كه توسط تكامل يافت شده است به مرحله آموزش بازگردانده مي‌شود. اين فرآيند تا زماني كه يك معماري رضايت‌بخش پيدا شود تكرار مي‌شود. چيزي كه تكامل را به صورت حريصانه در نظر مي‌گيرد اين است كه ارزيابي بر اساس پيشرفت آموزش، به‌جاي دقت نهايي انجام مي‌شود. همچنين تكامل بر اساس معماري از پيش آموزش‌ديده نسبت به معماري آموزش نديده بهتر عمل مي‌كند. در پايان عملكرد روش پيشنهادي را با يك طرح تصادفي مقايسه مي‌كنيم كه در آن به‌جاي مقدار تناسب تعيين‌شده، يك مقدار تناسب تصادفي به هر شبكه اختصاص داده مي‌شود. به طور كلي، هدف اين پايان نامه تشويق تحقيقات به منظور افزايش بيشتر انتقال از طرح هاي يادگيري عميق مبتني بر انسان سنتي به رويكردهاي مبتني بر جستجو است.

69303