Синтез нейроелементів І нейромереж реального часу паралельно-вертикального типу



жүктеу 360.69 Kb.
бет1/2
Дата09.08.2018
өлшемі360.69 Kb.
түріАвтореферат
  1   2


Міністерство освіти і науки, молоді та спорту України

Національний університет «Львівська політехніка»



СКОРОХОДА ОЛЕКСА ВОЛОДИМИРОВИЧ

УДК 004.032.26



Синтез нейроелементів і нейромереж реального часу
паралельно-вертикального типу

05.13.23 – системи та засоби штучного інтелекту


Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Львів – 2013

Дисертацією є рукопис
Робота виконана у Національному університеті «Львівська політехніка»
Міністерства оcвіти і науки, молоді та спорту України


Науковий керівник:







доктор технічних наук, професор

Цмоць Іван Григорович,

Національний університет «Львівська політехніка»,

професор кафедри автоматизованих систем управління








Офіційні опоненти:







доктор технічних наук, професор

Тимченко Леонід Іванович,

Державний економіко-технологічний університет транспорту,

завідувач кафедри телекомунікаційних технологій та автоматики











доктор технічних наук, доцент

Литвиненко Володимир Іванович,

Херсонський національний технічний університет,

професор кафедри інформатики та комп’ютерних технологій














Захист відбудеться «12» квітня 2013 р. о 1600 годині на засіданні спеціалізованої вченої ради Д35.052.14 у Національному університеті «Львівська політехніка»
за адресою: 79013, м. Львів, вул. Степана Бандери, 28а, ауд. 108, V навч. корп.
З дисертацією можна ознайомитися у бібліотеці Національного університету «Львівська політехніка» за адресою: 79013, м. Львів, вул. Професорська, 1.
Автореферат розісланий «07» березня 2013 р.
Учений секретар

спеціалізованої вченої ради

к.т.н., доцент А.Є. Батюк

Загальна характеристика роботи

Актуальність теми. На сучасному етапі розвитку нейротехнологій реального часу розширяються галузі їхнього застосування, більшість з яких потребують опрацювання інтенсивних потоків даних на апаратних засобах, що задовольняють обмеження відносно габаритів, маси, енергоспоживання тощо. До таких галузей належить промисловість (управління технологічними процесами та складними об’єктами), енергетика (оптимізація навантаження в електромережах), військова (технічний зір, управління рухом мобільного робота), автомобільна (управління рухом і двигуном), медична (діагностика захворювань) і приладобудівна (розпізнавання образів і оптимізація управління). Більшість нейромережевих засобів мають структурну організацію універсального типу, яка функціонально та структурно є надлишковою, не враховує вимог конкретних застосувань щодо продуктивності, габаритів, споживаної потужності та має невисоку ефективність використання обладнання.

Створення високоефективних нейромережевих засобів реального часу потребує широкого використання сучасної елементної бази, розроблення нових моделей нейрона, орієнтованих на реалізацію у надвеликих інтегральних схемах (НВІС), методів, алгоритмів і спеціалізованих НВІС-структур для реалізації нейроелементів та нейромереж. З огляду на це особливої актуальності набуває завдання синтезу нейроелементів і нейромереж, орієнтованих на опрацювання даних у реальному часі та НВІС-реалізацію з високою ефективністю використання обладнання.

Режим реального часу та НВІС-реалізація нейромереж з високою ефективністю використання обладнання забезпечується розпаралелюванням і конвеєризацією процесів обчислень, апаратним відображенням структури нейромережевих алгоритмів у архітектуру, яка адаптована до інтенсивності надходження потоків даних. Орієнтація структур нейроелементів і нейромереж на НВІС-реалізацію вимагає зменшення кількості виводів інтерфейсу, міжнейронних зв’язків і апаратних витрат. Забезпечити ці вимоги можна використанням паралельно-вертикальних методів опрацювання та структур нейроелементів і нейромереж з багатооперандним обчисленням даних, що надходять розрядними зрізами.

Для синтезу нейроелементів і нейромереж реального часу з високою ефективністю використання обладнання необхідно розробити нові моделі нейронів, методи опрацювання потоків даних, НВІС-структури і метод їхнього синтезу. Розробляти такі нейроелементи і нейромережі найдоцільніше за допомогою інтегрального підходу, який охоплює сучасну елементну базу, моделі нейроелементів, методи реалізації нейромережевих обчислень, архітектури нейромереж, враховує вимоги конкретних застосувань та інтенсивність надходження даних.

Синтезовані у цій роботі нейроелементи та нейромережі реального часу з високою ефективністю використання обладнання ґрунтуються на напрацюваннях відомих зарубіжних та українських вчених, які розробили теоретичні та практичні засади проектування нейромереж, зокрема Н. Айзенберга, Є. Бодянського, А. Галушкіна, В. Грицика, Т. Кохонена, В. Кожем’яка, Н. Куссуль, В. Литвиненка, О. Михальова, О. Палагіна, О. Рєзніка, Ф. Розенблата, Ю. Романишина, П. Тимощука, Л. Тимченка, Р. Ткаченка, Р. Хемінга, Д. Хопфілда та ін.

Тому актуальним завданням є розроблення нових моделей формального нейрона, вдосконалення методу синтезу та створення нейромереж реального часу паралельно-вертикального типу з високою ефективністю використання обладнання.



Зв’язок роботи з науковими програмами, планами, темами. Тема дисертаційної роботи відповідає планам науково-дослідної та навчальної роботи кафедри автоматизованих систем управління та кафедри інформаційних технологій видавничої справи Національного університету «Львівська політехніка». Дисертація виконувалася в межах держбюджетних науково-дослідних робіт «Високошвидкісні інформаційні технології опрацювання даних в мікроелектромеханічних системах на основі вбудованих штучних нейронних мереж» (номер держ. реєстр. 0111U001218) та «Розвиток теорії синтезу нейронних мереж на НВІС-структурах для обробки сигналів в робототехнічних системах» (номер держ. реєстр. 0112U001204).

Мета та завдання дослідження. Метою дисертаційної роботи є розроблення моделей формального нейрона, вдосконалення методу синтезу та створення нейромереж реального часу паралельно-вертикального типу з високою ефективністю використання обладнання.

Для досягнення поставленої мети необхідно вирішити такі завдання:



  • проаналізувати методи та засоби реалізації нейромереж, виділити нейромережевий операційний базис та визначити основні напрями розвитку засобів реалізації нейромереж реального часу;

  • сформулювати вимоги, вибрати засоби реалізації та принципи побудови нейромереж реального часу;

  • розробити метод паралельно-вертикального опрацювання даних у нейромережах;

  • розробити моделі формального нейрона паралельно-вертикального типу;

  • синтезувати орієнтовані на НВІС-реалізацію нейроелементи паралельно-вертикального типу;

  • вдосконалити метод синтезу нейромереж реального часу;

  • вдосконалити й орієнтувати на апаратну реалізацію метод нейромережевого спектрального аналізу;

  • синтезувати нейромережу з високою ефективністю використання обладнання для підвищення точності динамічного вимірювання відстані у реальному часі.

Об’єктом дослідження є процеси нейромережевого опрацювання даних у реальному часі.

Предметом дослідження є моделі нейрона, методи синтезу нейроелементів і апаратних нейромереж реального часу.

Методи дослідження. Для розв’язання поставлених у дисертаційній роботі задач використано: теорію та методи моделювання штучних нейромереж, елементи теорії графів, теорію та методи розпаралелювання алгоритмів, теорію проектування напівзамовних і замовних НВІС.

Наукова новизна отриманих результатів. За результатами виконаних теоретичних та експериментальних досліджень розв’язано актуальну наукову задачу – розроблено моделі формального нейрона, вдосконалено метод синтезу та створено нейромережу реального часу паралельно-вертикального типу з високою ефективністю використання обладнання. При цьому отримано такі нові результати:

вперше:

  • розроблено метод паралельно-вертикального опрацювання даних у нейромережах (нейроелементах), який завдяки використанню багатооперандного підходу, порозрядного надходження даних та суміщення процесів надходження даних з виконанням обчислень забезпечує зменшення кількості виводів інтерфейсу, розрядності міжнейронних зв’язків і витрат обладнання та підвищує швидкодію обчислень;

  • розроблено моделі формального нейрона паралельно-вертикального типу, які відрізняються від відомих порозрядним надходженням та опрацюванням вхідних даних і вагових коефіцієнтів, табличною реалізацією функції активації і порозрядним формуванням результату, що забезпечило орієнтацію моделей на НВІС-реалізацію та адаптацію нейрона до вимог конкретного застосування;

  • синтезовано орієнтовані на НВІС-реалізацію нейроелементи паралельно-вертикального типу, в яких завдяки узгодженню та суміщенню процесів паралельно-порозрядного надходження та опрацювання вхідних даних і вагових коефіцієнтів забезпечено високу ефективність використання обладнання;

вдосконалено:

  • метод синтезу нейромереж реального часу паралельно-вертикального типу, за яким, із урахуванням засобів реалізації, вимог конкретних застосувань та інтенсивності надходження вхідних даних і вагових коефіцієнтів, можна синтезувати апаратні нейромережі з високою ефективністю використання обладнання;

  • метод нейромережевого спектрального аналізу шляхом його орієнтації на обчислення з фіксованою комою та апаратну реалізацію, що забезпечує його НВІС-реалізацію з високою ефективністю використання обладнання.

Практична цінність отриманих результатів:

  • використання вдосконаленого методу синтезу нейромереж реального часу забезпечує формалізацію процесу синтезу, зменшення часу і вартості їх розроблення;

  • використання вдосконаленого методу нейромережевого спектрального аналізу дало змогу зменшити похибку динамічного вимірювання відстані у 2,4 рази;

  • використання нейроелементів паралельно-вертикального типу для побудови нейромереж забезпечує зменшення кількості виводів нейроелементів, розрядності міжнейронних зв’язків та вартості реалізації;

  • використання швидкодіючої табличної реалізації обчислення функції активації розширює функціональні можливості нейроелементів.

Особистий внесок здобувача. Усі наукові результати дисертаційної роботи автор отримав самостійно. У працях, опублікованих у співавторстві, здобувачеві належать: вертикально-паралельні алгоритми, базова структура пристрою обчислення скалярного добутку на основі попередніх обчислень та пристрій обчислення функції активації табличним методом [1], структура проблемно-орієнтованої обчислювальної системи для реалізації багатошарового перцептрона з неітераційним навчанням [2], аналіз способів реалізації нейромереж реального часу [3], аналіз вимог та вибір принципів побудови нейромереж реального часу [4], методи паралельно-вертикального обчислення скалярного добутку [5], розроблення нейромережевих засобів сингулярного спектрального аналізу для збільшення точності динамічного вимірювання відстані [6, 19], метод групового підсумовування для нейроелемента [7], нейроелемент з різницевим вертикальним таблично-алгоритмічним обчисленням [8], вибір засобів реалізації, метод синтезу апаратних нейромереж реального часу, метод просторово-часового відображення нейроалгоритмів в узгоджено-паралельні структури [9], метод обчислення скалярного добутку та реалізація блоку попередніх обчислень [10], НВІС-структура пристрою для реалізації нейроелемента [11], вдосконалення таблично-алгоритмічного способу реалізації нейромереж [12], аналіз особливостей апаратної реалізації нейромереж [13], структура нейроелемента паралельно-вертикального типу з табличним формуванням макрочасткових результатів [14], аналіз та вибір типу програмованих логічних інтегральних схем (ПЛІС) для апаратної реалізації нейромереж реального часу [15], паралельно-вертикальний метод обчислення базових операцій нейроелемента [16], етапи побудови нейромереж на основі ПЛІС [17], методологія розроблення апаратних нейромереж реального часу [18].

Апробація результатів дисертаційної роботи. Про основні результати наукових досліджень автор неодноразово доповідав на міжнародних та всеукраїнських науково-технічних конференціях, зокрема: Шостій міжнародній науково-технічній конференції MEMSTECH’2010 (м. Поляна, 20–23 квітня 2010 р.); Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI’2010» (м. Євпаторія, 17–21 травня 2010 р.); науково-технічній конференції «Обчислювальні методи і системи перетворення інформації» (м. Львів, 7–8 жовтня 2010 р.); П’ятій міжнародній конференції «Комп’ютерні науки та інформаційні технології CSIT’2010» (м. Львів, 14–16 жовтня 2010 р.); Сьомій міжнародній науково-технічній конференції MEMSTECH’2011 (м. Поляна, 11–14 травня 2011 р.); Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI’2011» (м. Євпаторія, 16–20 травня 2011 р.); Шостій міжнародній конференції «Perspective Technologies and Technical Conference CSIT’2011» (м. Львів, 16–19 листопада 2011 р.); Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI’2012» (м. Євпаторія, 27–31 травня 2012 р.); Шостій міжнародній науково-технічній конференції «Фотоніка ОДС-2012» (м. Вінниця, 1–4 жовтня 2012 р.). Матеріали дисертації також регулярно представлялися та обговорювалися впродовж 2010–2012 років на наукових семінарах кафедри автоматизованих систем управління Національного університету «Львівська політехніка».

Публікації. Основні результати дисертаційної роботи опубліковано в 19 друкованих працях, серед яких 9 статей у наукових журналах, що входять до переліку фахових видань України, 9 публікацій у збірниках матеріалів наукових конференцій, 1 патент України на корисну модель.

Структура та обсяг дисертації. Дисертація складається зі вступу, чотирьох розділів, висновків, списку використаної літератури та додатків. Робота містить 124 сторінки основного тексту. Загальний обсяг дисертації – 153 сторінки, вона містить 54 рисунки, 5 таблиць, список літературних джерел налічує 132 назви.

основний зміст роботи

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету і завдання дослідження, визначено наукову новизну та практичне значення отриманих результатів, показано зв’язок роботи з науковими темами. Подано відомості про апробацію результатів роботи, публікації та особистий внесок здобувача.

У першому розділі розглянуто галузі застосування та типові задачі нейромережевих технологій, проаналізовано моделі нейроелементів, архітектури, сучасну елементну базу та підходи до побудови нейромереж реального часу. Визначено особливості застосування нейротехнологій реального часу, сформовано операційний базис апаратних нейромереж реального часу.

Розглянуто галузі застосування та задачі нейромережевих технологій. Показано, що значна частина застосувань передбачає опрацювання інтенсивних потоків даних у реальному часі засобами, які задовольняють обмеження щодо габаритів, енергоспоживання та вартості. Зокрема, до таких галузей належать військова промисловість, енергетика, автомобілебудування, управління технологічними процесами, складними об’єктами, мобільними інтелектуальними робототехнічними системами. Зазначено, що найхарактернішими особливостями задач та нейротехнологій реального часу є: постійність і висока інтенсивність надходження вхідних даних; великий обсяг обчислень з переважанням обчислювальних операцій над логічними; регулярність і рекурсивність нейромережевих алгоритмів опрацювання даних; постійне ускладнення алгоритмів опрацювання та підвищення вимог до точності результатів; можливість розпаралелення опрацювання як у часі, так і у просторі; здатність до узагальнення та абстрагування; навчання, самонавчання та самоорганізація під впливом зовнішнього середовища.

Проаналізовано відомі моделі нейронів і показано, що вони не орієнтовані на НВІС-реалізацію, оскільки не ґрунтуються на елементарних арифметичних операціях і потребують великої кількості виводів.

Розглянуто та проаналізовано класичні архітектури нейромереж і нейромережі на основі моделі геометричних перетворень (МГП), методи та алгоритми їхнього навчання і функціонування. Встановлено, що класичні архітектури мають ряд недоліків, зокрема, значну тривалість процесу навчання, використання різних алгоритмів для навчання та функціонування нейромереж, і те, що архітектури нейромереж не орієнтовані на НВІС-реалізацію. Встановлено, що особливостями нейромереж на основі МГП є єдина методологічна основа побудови архітектур для різних завдань та предметних областей застосування, швидке неітераційне навчання за наперед задану кількість кроків обчислень, повна повторюваність результатів, висока точність та покращені генералізувальні властивості, однотипність алгоритмів навчання та функціонування. Використання моделі геометричних перетворень істотно підвищує продуктивність як програмного, так і апаратного варіантів реалізації нейромереж.

Сформовано нейромережевий операційний базис, який складається із базових операцій попереднього опрацювання (нормалізація, квантування, фільтрація) та процесорних операцій (обчислення скалярного добутку та функції активації). Показано, що операції, які використовуються у нейромережевому операційному базисі, можна поділити за кількістю операндів, що одночасно опрацьовуються, на одно- (корінь квадратний, передатні функції), дво- (додавання, ділення, множення) і багатооперандні (визначення мінімального та максимального чисел, багатооперандне підсумовування, обчислення скалярного добутку). Відомі операційні пристрої, на основі яких синтезують нейроелементи та нейромережі, є переважно одно- і двооперандними, що пов’язано з можливостями елементної бази. З’ясовано, що найбільш часомісткими є багатооперандні операції, результатом яких є одне число. Багатооперандні нейрооперації пропонується виконувати на основі багатооперандного підходу, за яким процес обчислення розглядається як виконання єдиної операції, що ґрунтується на елементарних арифметичних операціях.

Проаналізовано програмні, мікропрограмні та апаратні засоби реалізації нейромереж. Виявлено, що забезпечення режиму реального часу потребує великих витрат обладнання, вартості та термінів розроблення. Відомі програмні та мікропрограмні засоби не враховують вимог конкретних застосувань щодо габаритів і споживаної потужності, а апаратні засоби мають низьку ефективність використання обладнання. Встановлено, що всі види реалізації нейроалгоритмів у безпосередньому вигляді зустрічаються доволі рідко. Для створення нейромереж реального часу доцільно використовувати комбіновані підходи з переважанням апаратних засобів, які реалізують розпаралелювання обчислення не тільки у часі, а і в просторі. Для таких обчислень характерне введення додаткового обладнання, відсутність проміжних пересилань інформації, а також апаратне управління.

Проаналізовано сучасну елементну базу для реалізації нейромереж реального часу, і визначено, що найчастіше для цих цілей використовуються нейрочіпи, процесори цифрової обробки сигналів та ПЛІС. Запропоновано реалізацію нейроелементів і нейромереж реального часу здійснювати на основі ПЛІС, які характеризуються високою швидкодією, можливістю динамічного репрограмування та наявністю доступних засобів розроблення.

На основі проведеного аналізу визначено перелік завдань і досліджень, які потрібно виконати для розв’язання наукової задачі, поставленої у дисертаційній роботі.

У другому розділі сформульовано вимоги до засобів реалізації нейромереж із паралельно-вертикальним опрацюванням даних у реальному часі, розроблено метод паралельно-вертикального опрацювання даних у нейромережах і вибрано принципи побудови апаратних нейромереж реального часу. Запропоновано компонентно-ієрархічний підхід до розроблення апаратних нейромереж, створено моделі формального нейрона паралельно-вертикального типу, вибрано форми відображення нейромереж на апаратні засоби та вдосконалено метод синтезу нейроелементів і нейромереж реального часу.

Сформульовано вимоги до нейроелементів і нейромереж реального часу, основними з яких є забезпечення часу розв’язання задачі Тр, який не повинен перевищувати часу обміну повідомленнями Тобм, та високої ефективності використання обладнання E. Час обміну Тобм залежить як від кількості N, розрядності n і частоти Fd надходження вхідних даних, так і від кількості k каналів та їх розрядності nk. Такий час визначають за формулою:



. (1)

Кількісну величину ефективності використання обладнання E при НВІС-реалізації нейромереж розраховують так:



, (2)

де R – складність алгоритмів навчання та функціонування нейромережі, яка визначається кількістю елементарних арифметичних операцій, необхідних для їхньої реалізації; to – час реалізації алгоритмів навчання та функціонування нейромережі; WЕПj – витрати обладнання на реалізацію j-го елемента попереднього опрацювання; M – кількість елементів попереднього опрацювання; WНЕі – витрати обладнання на реалізацію і-го нейроелемента; N – кількість нейроелементів; Y кількість виводів інтерфейсу; k1 – коефіцієнт врахування кількості виводів інтерфейсу, k1=f(Y); Р кількість міжнейронних зв’язків; k2 – коефіцієнт врахування кількості міжнейронних зв’язків, k2=f(Р).

Запропоновано для забезпечення високої швидкодії нейроелементів і нейромереж при НВІС-реалізації та зменшення кількості виводів інтерфейсу опрацювання даних здійснювати паралельно розрядними зрізами (вертикально) на основі багатооперандного підходу, тобто паралельно-вертикально. Розроблено метод паралельно-вертикального опрацювання даних, за яким вагові коефіцієнти Wj та вхідні дані Xj (j=1,…,k, де k – кількість входів даних і вагових коефіцієнтів) подають у порозрядному вигляді згідно з формулою:

, , (3)

де wji, xji – значення i-х розрядів вагових коефіцієнтів та вхідних даних; n – розрядність вагових коефіцієнтів та вхідних даних.

Основними етапами розробленого методу паралельно-вертикального опрацювання даних у нейроелементах і нейромережах є: формування для кожного розрядного зрізу часткових результатів Pji; підсумовування часткових результатів та отримання макрочасткового результату PMi; підсумовування макрочасткових результатів; обчислення функції активації f. Опрацювання даних за розробленим паралельно-вертикальним методом у p-му нейроелементі можна записати так:

(4)

де Pjiji-й частковий результат; PMi i-й макрочастковий результат, який формується додаванням k часткових результатів.

Реалізація методу паралельно-вертикального опрацювання даних у нейроелементі залежить від:


  • способу надходження даних (паралельним порозрядним надходженням вхідних даних xji і вагових коефіцієнтів wji; почерговим паралельним порозрядним надходженням вхідних даних xji і вагових коефіцієнтів wji; суміщенням процесу паралельного порозрядного надходження вхідних даних xji і вертикально-табличного формування і підсумовування макрочасткових результатів PMi);

  • формування для кожного розрядного зрізу часткових результатів Pji (з прямим формуванням; на основі попередніх обчислень);

  • формування макрочасткових результатів PMi (послідовне; паралельне; послідовно-паралельне);

  • формування результату обчислення (послідовне; паралельне; послідовно-паралельне).

Визначено, що основними способами підвищення швидкодії нейроелемента з паралельно-вертикальним опрацюванням даних є: зменшення часу формування часткових результатів Pji; зменшення кількості часткових результатів Pji; зменшення часу формування макрочасткових результатів PMi; зменшення часу підсумовування макрочасткових результатів PMi.

Для розроблення нейромереж реального часу з високою ефективністю використання обладнання вибрано такі принципи: конвеєризації та просторового паралелізму опрацювання даних; модульності, який передбачає розроблення нейроелементів і елементів попереднього опрацювання у вигляді функціонально завершених пристроїв (модулів); спеціалізації та адаптації апаратно-програмних засобів до структури алгоритмів опрацювання та інтенсивності надходження даних; програмованості архітектури за допомогою використання репрограмованих ПЛІС.

Для розроблення апаратних нейромереж реального часу з високою ефективністю використання обладнання вибрано компонентно-ієрархічний підхід. Цей підхід передбачає поділ процесу розроблення на ієрархічні рівні та види забезпечення (алгоритмічне, апаратне та програмне). За складністю виконуваних робіт процес розроблення нейромереж розділено на чотири ієрархічні рівні. На першому ієрархічному рівні розробляють архітектуру (визначають тип нейромережі, кількість її шарів та нейронів у кожному шарі, способи зв’язків між нейронами), методи, алгоритми навчання і функціонування та структуру програмних засобів нейромережі для розв’язання конкретної задачі. На другому рівні розробляють методи й алгоритми функціонування, структури пристроїв та програми реалізації шарів нейромереж, нейроелементів, паралельної пам'яті та перетворювачів даних. Третій ієрархічний рівень складають пристрої для реалізації багатооперандних нейрооперацій попереднього та процесорного опрацювання даних, а четвертий – пристрої для обчислення одно- і двооперандних нейрооперацій. Процес розроблення на основі компонентно-ієрархічного підходу описують таким виразом:

, (5)

де , , – засоби відповідно другого, третього і четвертого ієрархічних рівнів; n – кількість типів компонентів другого рівня; m – кількість типів компонентів третього рівня; h – кількість типів компонентів четвертого рівня.

Розроблено три моделі формального нейрона паралельно-вертикального типу, особливістю яких є порозрядне надходження та опрацювання вхідних даних і вагових коефіцієнтів, таблична реалізація функції активації і порозрядне формування результату.

Перша модель використовує мультиплексування шин, за яким вхідні дані Xj та вагові коефіцієнти Wj надходять почергово порозрядними зрізами (xji, wji). Аналітично цю модель записують так:



, (6)

де y – вихід результату; – функціонал паралельно-послідовного перетворення; fa – функція активації; fZ – підсумовування макрочасткових результатів відповідно до формули ; – формування макрочасткового результату за формулою ; – формування часткових результатів згідно з формулою ; – оператор послідовно-паралельного перетворення.

Друга модель формального нейрона характеризується одночасним порозрядним надходженням і опрацюванням вхідних даних і вагових коефіцієнтів старшими розрядами вперед. Аналітично цю модель записують так:

. (7)

Особливістю такої моделі є суміщення у часі процесів надходження розрядних зрізів вхідних даних і вагових коефіцієнтів, їхніх послідовно-паралельних перетворень і формування часткових результатів Pji, що забезпечує збільшення швидкодії порівняно з першою моделлю нейрона. Формування часткових результатів у цій моделі відбувається так:



(8)

Третя модель формального нейрона орієнтована на використання у нейромережах, у яких вагові коефіцієнти є постійними або змінюються дуже рідко. Аналітично третю модель формального нейрона записують так:



. (9)

Особливістю цієї моделі є табличний спосіб формування макрочасткових результатів для кожного розрядного зрізу вхідних даних. Макрочастковий результат формується згідно з формулою:



. (10)

Для апаратної реалізації нейромереж запропоновано їхнє відображення здійснювати за допомогою напрямлених графів на рівні одно-, дво- і багатооперандних нейрооперацій. Графове відображення нейромереж забезпечує виявлення всіх форм паралелізму та знаходження необхідних просторово-часових рішень у разі апаратної реалізації. Для синтезу апаратних нейромереж реального часу з високою ефективністю використання обладнання графове відображення нейромереж необхідно представити у вигляді узгодженого графа. Для отримання такого графа потрібно узгодити інтенсивність надходження даних з обчислювальною здатністю графа нейромережі (паралельно-конвеєрної структури) , де LНМ – кількість нейронів у шарі нейромережі, nНМ – розрядність міжнейронних зв’язків, Ft – тактова частота опрацювання даних.

Показано, що узгодження інтенсивності надходження даних з обчислювальною здатністю нейромережі може здійснюватися зміною тактової частоти опрацювання, або кількості нейроелементів у шарі нейромережі. Визначено, що насамперед необхідно мінімізувати тривалість конвеєрного такту, яка визначається швидкодією елементної бази та складністю функціональних операторів, які реалізуються сходинкою конвеєра.

Запропоновано синтез нейромереж реального часу з високою ефективністю використання обладнання здійснювати за допомогою апаратного відображення функціональних операторів узгодженого графа нейромережі відповідними апаратними засобами. Перехід від узгодженого графа до апаратної структури нейромережі з високою ефективністю використання обладнання зводиться до мінімізації апаратних витрат при забезпеченні роботи в реальному часі.

У третьому розділі розроблено базові структури нейроелементів паралельно-вертикального типу, методи та алгоритми реалізації скалярного добутку та групового підсумовування. Синтезовано нейроелементи паралельно-вертикального типу та досліджено їхні основні характеристики.

Розроблено базову структуру нейроелемента паралельно-вертикального типу, яка реалізує модель формального нейрона з мультиплексуваням шин вхідних даних Xj та вагових коефіцієнтів Wj, які надходять почергово розрядними зрізами (xji, wji). Ця структура наведена на рис. 1, де xji/wjij-й мультиплексований вхід; S-Pjj-й послідовно-паралельний перетворювач; ФЧР – формувач часткових результатів; БСм – багатовходовий суматор; РгМЧР – регістр макрочасткових результатів; См – суматор; РгZ – регістр добутку; ТФФА – табличний формувач функції активації; P-S – паралельно-послідовний перетворювач; yi – вихід нейроелемента.



Рис. 1. Базова структура нейроелемента паралельно-вертикального типу


з мультиплексованими шинами

За формуванням часткових результатів алгоритми обчислення скалярного добутку поділяються на дві групи: з прямим формуванням і з формуванням на основі попередніх обчислень. Пряме формування часткових результатів здійснюється відповідно до формули:



. (11)

Показано, що формування часткових результатів на основі попередніх обчислень забезпечує зменшення їхньої кількості. Для виконання попередніх обчислень використано однорозрядні суматори, кількість яких залежить від кількості пар добутків, для яких формується спільний частковий результат. Кількість додаткових однорозрядних суматорів визначається таким виразом:



, (12)

де v – кількість пар добутків, для яких формується спільний частковий результат.

Спільний частковий результат для двох пар добутків формують за таким виразом:

, (13)

де l=1, …, N/2.

Використання алгоритму формування часткових результатів за формулою (13) вдвічі зменшує кількість спільних часткових результатів і, відповідно, кількість входів багатовходового суматора.

Визначено, що у разі збільшення кількості пар добутків, для яких формується спільний частковий результат, зростає кількість попередніх обчислень і зменшується кількість входів багатовходового суматора. Вибір кількості пар добутків, для яких необхідно формувати спільний частковий результат, залежить передовсім від кількості пар добутків N.

Синтезовано та досліджено нейроелементи паралельно-вертикального типу з мультиплексованими шинами з прямим формуванням часткових результатів і з формуванням на основі попередніх обчислень.

На основі другої моделі формального нейрона розроблено базову структуру нейроелемента паралельно-вертикального типу із суміщенням процесів надходження і формування часткових результатів для розрядних зрізів вхідних даних і вагових коефіцієнтів (рис. 2).



Рис. 2. Базова структура нейроелемента паралельно-вертикального типу із суміщенням процесів надходження і формування часткових результатів

Надходження вхідних даних xji і вагових коефіцієнтів wji у такий нейроелемент може здійснюватися як старшими, так і молодшими розрядами вперед. Якщо вхідні дані та вагові коефіцієнти надходять старшими розрядами вперед, формування макрочасткових результатів РМі здійснюється так:

. (14)

Макрочасткові результати P формуються за допомогою логічних елементів І та багатовходового суматора БСм. Скалярний добуток Z обчислюють, підсумовуючи зсунуту вліво суму часткових результатів Zi-1 при нерухомому макрочастковому результаті P відповідно до формули:



. (15)

Якщо вхідні дані xji і вагові коефіцієнти wji надходять молодшими розрядами вперед, формування частин макрочасткових результатів зводиться до групового підсумовування N однорозрядних чисел. Кількість макрочасткових результатів залежить як від розрядності множників, так і від кількості розрядів, які аналізують для їх формування. Кількість макрочасткових результатів r визначають за формулою:



, (16)

де n – розрядність множників; g – кількість розрядів у групі, які аналізують для отримання макрочасткових результатів.

Формування макрочасткових результатів може здійснюватися прямим шляхом (g=1 і g=2) або на основі попередніх обчислень (g>2). Формування h-го макрочасткового результату при аналізі одного розряду множників (g=1) здійснюється так:

, (17)

У випадку формування часткових результатів з аналізом двох розрядів множника (g=2) використовується модифікований алгоритм Бута. Цей алгоритм передбачає розбиття множника Xj на групи з трьох розрядів, так що сусідні групи мають один спільний розряд. Розбиття множника Xj на групи починають з молодших розрядів, причому молодший розряд наймолодшої групи завжди доповнюється нулем.

Синтезовано та досліджено нейроелемент паралельно-вертикального типу із суміщенням процесів надходження і формування часткових результатів для випадку надходження операндів молодшими розрядами вперед. Розроблений нейроелемент забезпечує однотипність і простоту реалізації, зменшення кількості зовнішніх виводів і досягнення високої продуктивності за рахунок глибокого розпаралелювання до бітового рівня та використання конвеєризації. Час обчислення скалярного добутку в такому нейроелементі визначається насамперед розрядністю операндів, а не їх кількістю. Визначено, що підвищити ефективність нейроелемента можна роздільним або комплексним використанням методів, які дадуть змогу зменшити кількість макрочасткових результатів, час їхнього формування та підсумовування.

На основі третьої моделі формального нейрона розроблено базову структуру нейроелемента паралельно-вертикального типу з табличним формуванням макрочасткових результатів. Розроблену базову структуру наведено на рис. 3 (ТМЧР – таблиця макрочасткових результатів).

Рис. 3. Базова структура нейроелемента паралельно-вертикального типу з табличним формуванням макрочасткових результатів

Скалярний добуток у цьому нейроелементі обчислюється за таблично-алгоритмічним методом, який передбачає попереднє обчислення всіх можливих комбінацій макрочасткових результатів PMi згідно з формулою (10) з їхнім подальшим записом у пам'ять таким чином, щоб комбінація значень розрядних зрізів множників xji була адресою комірки пам'яті, в якій зберігається відповідне значення макрочасткового результату PMі.

Синтезовано та досліджено нейроелемент з табличним формуванням макрочасткових результатів. Показано, що використання таблиць макрочасткових результатів забезпечує підвищення швидкодії нейроелемента.

З’ясовано, що швидкодія нейроелементів великою мірою визначається часом реалізації операції групового підсумовування операндів (багатовходового суматора). Запропоновано для реалізації операції групового підсумовування використовувати вертикальний та багатооперандний підходи. У такому разі процес обчислення операції групового підсумовування розглядається як виконання єдиної операції, що ґрунтується на базовій операції додавання значень бітів розрядного зрізу, тобто зводиться до вертикальної моделі обчислення:

, (18)

де Cjii-й розряд j-го доданка; Nкількість доданків; n – розрядність доданків.

У разі реалізації цієї моделі обчислення групове підсумовування зводиться до процесу перетворення багаторядного коду в однорядний з використанням операцій перетворення трирядного коду в дворядний, семирядного у трирядний та п’ятнадцятирядного у чотирирядний код. Синтезовано на основі комбінаційних
три- та семивходових однорозрядних суматорів восьмивходовий восьмирозрядний
суматор.

Показано, що використання для реалізації операції групового підсумовування 3-, 7- і 15-входових однорозрядних суматорів забезпечує зменшення кількості перетворень та часу обчислення. Для зменшення часу перетворення багаторядного коду в дворядний запропоновано об’єднувати багатовходові однорозрядні суматори за принципом дерева Уоллеса.

У четвертому розділі вдосконалено метод нейромережевого спектрального аналізу, розроблено нейроемулятор і синтезовано нейромережу для підвищення точності динамічного вимірювання відстані. Визначено основні етапи проектування апаратних нейромереж реального часу на основі ПЛІС і здійснено моделювання компонентів нейроелементів.

Для підвищення точності динамічного вимірювання відстані вибрано метод сингулярного спектрального аналізу, суть якого полягає у розкладі вхідного сигналу на головні компоненти з їхнім подальшим аналізом. Основним недоліком сингулярного спектрального аналізу є його складність і велика тривалість обчислення. Показано, що цей недолік можна усунути за допомогою його нейромережевої реалізації. Визначено, що для реалізації сингулярного спектрального аналізу доцільно використовувати нейромережу, побудовану на основі парадигми МГП. Під час реалізації нейромережевого спектрального аналізу на входи мережі МГП подаються одночасно всі компоненти наявних векторів вибірки, ці ж компоненти повторюються як вихідні сигнали тренувальних векторів мережі для здійснення навчання. Вихідні сигнали нейронних елементів відображають сигнали головних компонентів. Щоб збільшити точність динамічного вимірювання відстані, від вхідного сигналу потрібно відняти значення тих головних компонентів, які є шумами. Для забезпечення апаратної реалізації нейромережевого спектрального аналізу було здійснено вдосконалення, яке передбачає надходження і опрацювання даних у нейромережі у форматі з фіксованою комою.

Розроблено на мові програмування С# нейроемулятор, який забезпечує вибір параметрів та перевірку коректності роботи нейромережі. За допомогою нейроемулятора визначено, що точність динамічного вимірювання відстані підвищується у разі розкладу вхідного сигналу на десять головних компонентів, з яких враховується значення тільки перших трьох.

На основі вибраних за допомогою нейроемулятора параметрів синтезовано структуру нейромережі для підвищення точності динамічного вимірювання відстані (рис. 4).



Рис. 4. Структура нейромережі МГП для підвищення точності динамічного вимірювання відстані

Синтезовано на основі нейроелемента паралельно-вертикального типу з табличним формуванням макрочасткових результатів апаратну нейромережу реального часу для збільшення точності динамічного вимірювання відстані. Проведено моделювання основних компонентів нейроелемента паралельно-вертикального типу. Для виконання попередніх обчислень цю нейромережу доповнено універсальними засобами. Застосування апаратних і програмних засобів забезпечило підвищення ефективності використання обладнання.

Визначено, що проектування апаратних нейромереж паралельно-вертикального типу на основі ПЛІС вимагає виконання таких етапів: вибір структури нейромережі; розроблення алгоритму навчання та функціонування нейромережі; розроблення архітектурного графа нейромережі; розроблення нейроемулятора; розроблення узгодженого архітектурного графа нейромережі; вибір базової структури для реалізації нейромережі; розроблення нейромережі на основі базової структури та узгодженого графа; реалізація нейромережі на основі бібліотеки базових елементів; оцінка витрат обладнання та вибір мікросхеми ПЛІС; компіляція розробленої нейромережі; верифікація розробленої нейромережі; оцінка характеристик розробленої нейромережі.




Достарыңызбен бөлісу:
  1   2


©kzref.org 2017
әкімшілігінің қараңыз

    Басты бет