این سایت در حال حاضر پشتیبانی نمی شود و امکان دارد داده های نشریات بروز نباشند
پردازش علائم و داده ها، جلد ۲۰، شماره ۲، صفحات ۱۱۳-۱۴۴
عنوان فارسی مروری بر آسیب‌پذیری شبکه‌های عصبی عمیق نسبت به نمونه‌های خصمانه و رویکرد‌های مقابله با آن‌ها
چکیده فارسی مقاله امروزه شبکه‌های عصبی به‌عنوان بارزترین ابزار مطرح در هوش‌مصنوعی و یادگیری ماشین شناخته شده‌ و در حوزه‌های مالی و بانکداری، کسب ‌و کار، تجارت، سلامت، پزشکی، بیمه، رباتیک، هواپیمایی، خودرو، نظامی و سایر حوزه‌ها مورد استفاده قرار می‌گیرند. در سال‌های اخیر موارد متعددی از آسیب‌پذیری شبکه‌های عصبی عمیق نسبت به حملاتی مطرح شده که غالباً با افزودن اختلالات جمع‌شونده و غیر جمع‌شونده بر داده ورودی ایجاد می‌شوند. این اختلالات با وجود نامحسوس بودن در ورودی از دیدگاه عامل انسانی، خروجی شبکه آموزش دیده را تغییر می‌دهند. به اقداماتی که شبکه‌های عصبی عمیق را نسبت به حملات مقاوم‌ می‌نمایند، دفاع اطلاق می‌شود. برخی از روش‌های حمله مبتنی بر ابزارهایی نظیر گرادیان شبکه نسبت به ورودی، به دنبال شناسایی اختلال می‌باشند و برخی دیگر به تخمین آن ابزارها می‌پردازند و در تلاش هستند تا حتی بدون داشتن اطلاعاتی از آن‌ها، به اطلاعات آن‌ها دست پیدا کنند. رویکردهای دفاع نیز برخی روی تعریف تابع هزینه بهینه و همچنین معماری شبکه مناسب و برخی دیگر بر جلوگیری و یا اصلاح داده قبل از ورود به شبکه متمرکز می‌شوند. همچنین برخی رویکردها به تحلیل میزان مقاوم‌بودن شبکه نسبت به این حملات و ارائه محدوده اطمینان متمرکز شده‌اند. در این مقاله سعی شده است تا جدیدترین پژوهش‌ها در زمینه آسیب‌پذیری شبکه‌های عصبی عمیق  بررسی و مورد نقد قرار گیرند و کارایی آن‌ها با انجام آزمایش‌هایی مقایسه شود. در آزمایشات صورت گرفته در بین حملات محصور‌شده به l∞  و l2 ، روش AutoAttack کارایی بسیار بالایی دارد. البته باتوجه به برتری روش‌ AutoAttack نسبت به روش‌هایی نظیر MIFGSM، PGD و DeepFool این روش برای اجرا، مدت زمان بیشتری به خاطر ترکیبی بودن ساختار درونی آن نسبت به سایر روش‌های همردیف خود نیاز دارد. همچنین به مقایسه برخی از رویکردهای پرکاربرد دفاع در مقابل نمونه‌های خصمانه نیز پرداخته شد و از بین روش‌های مبتنی بر نواحی محصورشده به l∞   حول داده، روش آموزش خصمانه مبتنی بر مشتقات PGD با پارامترهای مشخص، از سایر روش‌ها بهتر در مقابل اغلب روش‌های حمله مقاوم بوده است. لازم به ذکر است که روش‌های مختلف حمله خصمانه و دفاع نسبت به آن حملات که در این مقاله مورد بررسی قرار گرفت است در یک قالب مناسب و منعطف کدنویسی شده است. این قالب کدنویسی به عنوان یک پشتوانه پایدار ویژه تحقیق و پژوهش در حوزه یادگیری ماشین استاندارد و یادگیری ماشین خصمانه ویژه پژوهشگران و علاقه‌مندان از طریق آدرسhttps://github.com/khalooei/Robustness-framework  در دسترس  قرار گرفته است.
کلیدواژه‌های فارسی مقاله آسیب‌پذیری شبکه‌های عصبی، مقاوم‌سازی، حمله، دفاع، شبکه‌های عصبی
عنوان انگلیسی A survey on vulnerability of deep neural networks to adversarial examples and defense approaches to deal with them
چکیده انگلیسی مقاله Nowadays the most commonly used method in various tasks of machine learning and artificial intelligence are neural networks. In spite of their different uses, neural networks and Deep neural networks (DNNs) have some vulnerabilities. A little distortion or adversarial perturbation in the input data for both additive and non-additive cases can be led to change the output of the trained model, and this could be a kind of DNN vulnerability. Despite the imperceptibility of the mentioned disturbance for human beings, DNN is vulnerable to these changes. Creating and applying any malicious perturbation named "attack", penetrates DNNs and makes them incapable of doing the duty assigned to them. In this paper different attack approaches were categorized based on the signal applied in the attack procedure. Some approaches use the gradient signal for detecting the vulnerability of DNN and try to create a powerful attack. The other ones create a perturbation in a blind situation and change a portion of the input to create a potential malicious perturbation. Adversarial attacks include both black-box and White-box situations. White-box situation focuses on training loss function and the architecture of the model but black box situation focuses on the approximation of the main model and dealing with the restriction of the input-output model request. Making a deep neural network resilient against attacks is named "defense". Defense approaches are divided into three categories. One of them tries to modify the input, the other one makes some changes in the developed model and also changes the loss function of the model. In the third defense approach some networks are first used for purification and refinement of the input before passing it to the main network. Furthermore, an analytical approach was presented for the entanglement and disentanglement representation of inputs of the trained model. The gradient is a very powerful signal usually used in learning and an attacking approaches. Besides, adversarial training is a well-known approach in changing a loss function method to defend against adversarial attacks. In this study the most recent research on the vulnerability of DNN through a critical literature review was presented. Literature and our experiments indicate that the projected gradient descent (PGD) and AutoAttack methods are successful approaches in the l2 and l∞  bounded attacks, respectively. Furthermore, our experiments indicate that AutoAttack is much more time-consuming than the other methods. In the defense concept, different experiments were conducted to compare different attacks in the adversarial training approaches. Our experimental results indicate that the PGD is much more efficient in adversarial training than the fast gradient sign method (FGSM) and its deviations like MIFGSM and covers a wider range of generalizations of the trained model on predefined datasets. Furthermore, AutoAttack integration with adversarial training works well, but it is not efficient in low epoch numbers. Aside from that, it has been proven that adversarial training is time-consuming. Furthermore, we released our code for researchers or individuals interested in extending or evaluating predefined models for standard and adversarial machine learning projects. A more detailed description of the framework can be found at https://github.com/khalooei/Robustness-framework .
کلیدواژه‌های انگلیسی مقاله vulnerability of neural network, robustness, attack, defense, neural network
نویسندگان مقاله محمد خالوئی | Mohammad khalooei
Amirkabir University of Technology
دانشگاه صنعتی امیرکبیر

محمد مهدی همایون پور | Mohammad Mehdi Homayounpour
Amirkabir University of Technology
دانشگاه صنعتی امیرکبیردانشگاه صنعتی امیرکبیر

مریم امیرمزلقانی | Maryam Amirmazlaghani
Amirkabir University of Technology
دانشگاه صنعتی امیرکبیر

نشانی اینترنتی http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-31-6&slc_lang=fa&sid=1
فایل مقاله فایلی برای مقاله ذخیره نشده است
کد مقاله (doi)
زبان مقاله منتشر شده fa
موضوعات مقاله منتشر شده مقالات پردازش تصویر
نوع مقاله منتشر شده کاربردی
برگشت به: صفحه اول پایگاه   |   نسخه مرتبط   |   نشریه مرتبط   |   فهرست نشریات