Нейронные сети моделируются после нейронов в человеческом мозге, где обученный алгоритм определяет выходной ответ для входных сигналов.
Исследование искусственных нейронных сетей без обучения началось в десятилетие до того, как была создана область исследований ИИ в работе Уолтер Питтс и Уоррен МакКуллоу. Фрэнк Розенблатт изобрел персептрон, обучающую сеть с одним слоем, похожую на старую концепцию линейной регрессии. Среди первых пионеров также присутствуют Алексей Григорьевич Ивахненко, Теуво Кохонен, Стивен Гроссберг, Кунихико Фукусима, Кристоф фон дер Мальсбург, Дэвид Уиллшоу, Шун-Ичи Амари, Бернард Видро, Джон Хопфилд, Эдуардо Р. Кайянелло и другие.
Основными категориями сетей являются ациклические или первичные нейронные сети (где сигнал проходит только в одном направлении) и повторяющиеся нейронные сети (которые позволяют получать обратную связь и кратковременные воспоминания о предыдущих событиях ввода). Среди наиболее популярных сетей с прямой связью — персептроны, многослойные персептроны и радиальные базовые сети. Нейронные сети могут быть применены к проблеме интеллектуального управления (для робототехники) или обучения, используя такие методы, как обучение в геббсах, GMDH или конкурентное обучение. Подробнее про Криппа Максим из источника : https://antikor.com.ua/articles/215216-maksim_krippa_proryv_v_oblasti_iskusstvennogo_intellekta_nastupit_uhe_zavtra
Сегодня нейронные сети часто обучаются алгоритмом обратного распространения, который существует с 1970 года как обратный режим автоматической дифференциации, опубликованный Сеппо Линнайнмаа, и был введен в нейронные сети Полом Вербосом.
Иерархическая временная память — это подход, который моделирует некоторые структурные и алгоритмические свойства неокортекса.
Короче говоря, большинство нейронных сетей используют некоторую форму градиентного спуска на созданной вручную нейронной топологии. Тем не менее, некоторые исследовательские группы, такие как Убер, утверждают, что простая нейроэволюция для изменения новых топологий и весов нейронной сети может быть конкурентоспособной со сложными подходами с градиентным спусками. Одним из преимуществ нейроэволюции является то, что она может быть менее подвержена попаданию в «тупики».
