Вячеслав Широнин когнитивная среда и институциональное развитие


Пример информационной сети: NETtalk



жүктеу 3.74 Mb.
бет8/40
Дата02.04.2019
өлшемі3.74 Mb.
1   ...   4   5   6   7   8   9   10   11   ...   40

Пример информационной сети: NETtalk


Известный весьма впечатляющий эксперимент с сетью искусственных нейронов был проведен Теренсом Сейновски и Чарльзом Розенбергом в 1987 году39. Они построили сеть из 309 нейронов и научили ее читать вслух английские слова. Описание этого эксперимента дает нам возможность понять, как работают информационные сети.

Сеть, получившая название NETtalk, была смоделирована на компьютере следующим образом:

1) Буквы, составляющие какое-либо слово подавались на 203 входных нейрона

2) Под воздействием этих сигналов входные нейроны генерировали импульсы, которые передавались на 80 скрытых нейронов.

3) В свою очередь скрытые нейроны генерировали импульсы, которые передавались на 26 выходных нейрона

4) Импульсы, генерируемые выходными нейронами, соответствовали фонетической транскрипции, т.е. произношению слова. К выходным нейронам мог быть присоединен синтезатор, который преобразовывал сигнал в звук.


Функция активации, т.е. реакция нейронов на сумму получаемых ими импульсов была примерно такая:

Рис. 8. Реакция нейрона


То есть нейроны почти не реагировали на входящие отрицательные («тормозящие») сигналы, а в ответ на положительные сигналы посылали дальше свой импульс.

К этому описанию сети следует добавить описание процедуры ее обучения. Для этого была сделана магнитофонная запись речи ребенка, которую перевели в знаки звуковой транскрипции. Было использовано 1024 слова, причем иногда произношение одного и того же слова различалось. Затем была многократно повторена следующая операция:



  • («Прямой ход») Слова в письменной форме подавались на входные нейроны

  • Импульсы, генерируемые входными нейронами, передавались – усиленные или ослабленные весами wij на срытые нейроны

  • В свою очередь, импульсы, генерированные скрытыми нейронами, передавались – с поправкой на wij – на нейроны выхода

  • Результирующие импульсы нейронов выхода сравнивались с фонетической транскрипцией слова; для этого вычислялось среднее квадратичное отклонение

  • («Обратный ход») На этой основе по стандартной формуле корректировались веса, соответствующие связям выходящих и скрытых нейронов

  • В свою очередь исходя из этого корректировались веса, относящиеся к связям скрытых нейронов и нейронов входа40

Результаты обучения авторы описывают следующим образом:


Процент правильных фонем быстро рос вначале, а затем продолжал расти более медленным темпом, достигнув 95% после 50 повторения корпуса (т.е. всех 1024 слов – В.Ш.). Ударения и разделение на слоги были освоены очень быстро для всех слов и стали почти идеальными после 5 повторений. Когда кривые обучения были представлены на двойной логарифмической шкале, они выглядели примерно как прямые, т.е. обучение соответствовало степенному закону, который характерен для обучения человека некоторому навыку. Различение между гласными и согласными произошло рано, однако сеть заменяла все гласные одним и тем же, и все согласные одним согласным, она «бубнила». Вторая стадия началась, когда сеть стала распознавать границы слов, и тогда на выходе стали появляться «псевдослова». Но после всего нескольких «прогонов» многие слова стали различимы, а после 10 повторений текст стал понятным.
Если сеть делала ошибки, это часто состояло в том, что она путала фонемы, звучащие похоже. Например, обычной ошибкой была путаница между звуками th в словах thesis и these, где различие сводится только к звонкости или глухоте согласного. После достаточной тренировки было очень немного таких ошибок, когда смешивались гласные и согласные. Некоторые ошибки представляли собой на самом деле исправления тех нестыковок, которые были в тренировочном корпусе. В целом, разборчивость речи оказалась вполне хорошей.
То есть во многих отношениях сеть воспроизводит поведение человека:
NETtalk может служить иллюстрацией в миниатюре для многих аспектов обучения. Во-первых, когда сеть начинает работать, у нее отсутствует какое-либо априорное знание, которое могло бы быть заложено экспериментаторами в саму форму представления информации на входе или выходе. У нее нет знания именно об английском языке – сеть можно было бы научить любому языку с тем же набором букв и фонем. Во-вторых, сеть приобрела свои навыки из практики, она прошла несколько отдельных стадий и достигла значительного уровня мастерства.


Где накапливает знание сеть?


Для целей нашей книги эксперимент с сетью NETtalk интересен еще и в том отношении, что он помогает понять, каким образом размещается полученное сетью знание. Как оказалось, информация не локализуется, а распределяется по всей сети. Вот как описывала эти результаты газета Нью-Йорк Таймс после интервью с Теренсом Сейновски41:
Он обнаружил, что выбранные наугад 10 нейронов могут быть использованы как «зерно», чтобы воспроизвести всю систему кодирования. В этом смысле сеть похожа на голограмму. Если одно из таких созданных лазером изображений разрезать на две, четыре, восемь или шестнадцать частей, то каждый кусок содержит всё изображение, хотя его резкость будет последовательно ухудшаться.
Используя математический анализ, он начинает раскрывать это скрытое знание. «Оно оказывается очень логичным, - говорит он. – Гласные представлены не так, как согласные. То, что звучит похоже, сгруппировано вместе». Буква «p» расположена рядом с «b», а «a» и «e» имеют каждая свою территорию.
А вот как сами авторы описывают результаты исследование, которое они предприняли для того, чтобы понять, какую роль играют отдельные нейроны и связи между ними в процессе обучения сети:
Стандартная сеть, использованная для анализа, имела 7 групп входных нейронов и 80 скрытых единиц; она была натренирована до уровня 95% точности на массиве в 1000 слов из словаря. Для каждого из этих слов был измерен уровень активации скрытых единиц. В среднем оказалось, что около 20% скрытых единиц имели высокий уровень активации для любого данного слова на входе, а у остальных скрытых единиц активация была небольшой или отсутствовала. Таким образом, систему кодирования информации нельзя описать ни как локальное представление, ни как «голографическое», в котором все скрытые единицы участвовали бы до некоторой степени. Было очевидно даже без применения статистической техники, что многие скрытые единицы были сильно активированы только для некоторых букв, или звуков, или соответствий буква-звук. Некоторым из срытых единиц можно было дать однозначные характеристики, как, например, одной из них, которая «отвечала» только на гласные; но большинство единиц участвовали более, чем в одной регулярности.
Чтобы проверить гипотезу о том, что первичной организующей переменной является соотношение буква-звук, мы вычислили средние уровни активации каждой скрытой единицы для каждого соотношения буква-звук в тренировочном словарном корпусе. Результат состоял из 79 векторов с 80 компонентами каждый, один вектор для каждого соответствия буква-звук. Методом многоуровневого кластерного анализа векторы соответствий буква-звук были сгруппированы в пространстве скрытых единиц, имеющем размерность 80. Общая картина оказалась поразительной: наиболее важным различием было полное разделение согласных и гласных. Однако внутри этих двух групп кластеры имели другое строение. Для гласных следующим по значимости фактором была буква, в то время как согласные группировались по смешанному правилу, которое основывалось больше на сходстве их звучания. Такая же процедура построения кластеров была повторена для трех сетей, начальные состояния которых были выбраны случайным образом. (Получившиеся после обучения сети) распределения весов были совершенно различными, но кластерный анализ обнаружил примерно одни и те же иерархии для всех трех сетей, с небольшими различиями в деталях.
Такое более или менее равномерное распределение информации по всей сети приводит к тому, что сеть оказывается очень устойчивой к повреждениям:
Мы исследовали работу хорошо обученной сети после внесения случайных изменений различной величины в систему весов. …(С)лучайные возмущения весов, единообразно распределенные в интервале [-0.5, 0.5] оказывали слабое воздействие на работу сети, и ухудшение происходило постепенно по мере усиления повреждений. Это повреждение в среднем изменило каждый вес на 0.25; это примерно та ошибка, которую можно терпеть прежде чем работа сети начинает ухудшаться; ее можно использовать, чтобы оценить точность, с которой нужно задавать каждый вес. Веса в среднем имели величину 0.8, и почти все они не превышали 2.
(И)нформация оказалась распределенной в сети таким образом, что ни один какой-то элемент или отдельная связь не является существенной. Как следствие, сеть устойчива к ошибкам, и качество ее работы уменьшается медленно при увеличении повреждений. Более того, восстановление сети после повреждения происходит намного быстрее, чем первоначальное обучение.




Достарыңызбен бөлісу:
1   ...   4   5   6   7   8   9   10   11   ...   40


©kzref.org 2019
әкімшілігінің қараңыз

    Басты бет