Нейронные сети: магия машинного обучения

Для меня нейронные сети позволяют сделать кое-что абсолютно неинтересное: заглянуть за изнанку мира. Нейронные сети удивительны. Удивительны тем, чем они являются, тем, что они делают, и тем, что они говорят о нас, людях.

Для демонстрации я выбрал ограниченный одной темой, но крайне наглядный сегмент применения нейронных сетей. Нейронные сети применяются в огромном количестве областей и являются решением многих задач в машинном обучении.

В посте собраны важные научные работы и исследования, примеры и практические имплементации, которые можно использовать без понимания теории.

Сначала несколько определений, а потом магические штуки созданные с помощью нейронных сетей.

Песочница нейронной сети

Google разработал песочницу, которая позволяет поиграться с нейронной сетью. Не разбираясь глубоко понять что-то в песочнице сложно. Но абстрактно структура нейронной сети как-то приблизительно похожа на систему взаимодействующих штук (нейронов) посреди страницы.

Определения

Искусственные нейронные сети (ANN) являются вычислительной моделью, используемой в
информатике и других исследовательских дисциплинах,
которые основаны на большом наборе простых нейронных
единиц (искусственных нейронов), слабо аналогичном
наблюдаемому поведению аксонов биологического мозга.

Источник: Wiki

В искусственных нейронных сетеях ипользуется,
своего рода, мультяшная версия нейрона и сети
нейронов, которые мы собираем вместе для вычисления
различных штук. Они могут быть настроены или изменены
так, что срабатывают при разных условиях и поэтому
вычисляют абсолютно разные вещи. Обучаемы с помощью
тренировочного процесса.

Источник: Udacity 262

Нейронные сети были разработаны для симуляции
нейронов или сетей нейронов, находящихся в головном мозге.

Источник: Coursera Machine Learning

...Теперь искусственные нейроны полностью отличается от
настоящего нейрона. Теперь искусственные нейронные сети полносью отличаются от настоящих. Искусственные намного меньше, они почти не взаимосвязаны. Искусственные нейронные сети могут вычеслять, как калькуляторы, а мы нет.
Но, так или иначе, изначально строились по образу человеческих нейронов. Они могут обрабатывать действительно сложные структуры, с которыми трудно справиться другими методами. Мы даем им тонны и тонны данных и проблему в "компьютерном зрении" и они решают ее.

Источник: edX Microsoft DAT203.2x

Перенос стиля художника

A Neural Algorithm of Artistic Style -- научная работа опубликованная в 2015г., демонстрирующая имплементацию системы нейронных сетей, которая позволяет перенести стиль художника на любые изображения.

Исследовательская работа проведена и описана такими учеными: Leon A. Gatys, Alexander S. Ecker и Matthias Bethge. Все они заняты в области нейронауки - Centre for Integrative Neuroscience - и проживают в Германии в городе Тюбинген.

Практические имплементации:

• Имплементация Neural style for Torch
• Еще одна имплементация Neural style for Torch
• Prisma -- коммерческая имплементация
• Google Inception
• Facebook`s Deep Generative Image Models
• Нейронная анимация

Перенос стиля фотографий

Deep photo style transfer -- научная работа, опубликованная в марте 2017, которая развивает систему переноса стиля и позволяет накладывать стили исходного изображения на фотографии.

На изображениях стиль второй фотографии накладывается на первую.

Практические имплементации:

• Deep Photo Style Transfer

Deep Dream

Алгоритм Deep Dream был создан, чтобы попробовать показать исследователям и разработчикам, ЧТО и КАК "видит" нейронная сеть. Эта нейронная сеть "видит" с помощью алгоритмической пареидолии.
Оказалось, что то, как "видит" эта нейронная сеть очень напоминает то, что видят люди под воздействием психоделических веществ, таких как ЛСД и псилоцибиновые грибы.

Практические имплементации:

• Deep Dream Generator
• Dream Art

Картика в картинку

[Pix2Pix](University of California, Berkeley](https://arxiv.org/pdf/1611.07004.pdf)) -- научная статья, созданная учеными из [Berkley AI Research (BAIR) Laboratory

Данная система работает на примере парного обучения изображений, которая пытается наложить на входящее изображение шаблон заданого первоначально изображения. Например, строит из схематических фасадных блоков фасад здания.

Практические имплементации:

• Affine Layer
• Pix2Pix TensorFlow
• Phillipi

Семантический перенос стиля

Semantic Style Transfer -- научная работа описывающая систему и алгоритм, который позволяет синтезировать изображения по заданной аналогии или шаблону.

На изображении демонстрация работы нейронной сети, генерирующей картину на основании стиля художника и минимально заданной структуры и формы на небольшом изображении слева.

Практические имплементации:

• Neural Doodle

Важные вопросы над которыми стоит подумать

• Что означет экспоненциальное развитие и удешевление для таких технологий?
• Что означает тот факт, что так называемый "стиль художника" может быть частично (пока) экстрагирован и перенесен на другое изображение?
• Что, в таком случае, вообще означает термин "стиль"?
• Почему результат действия искусственной нейронной сети похож на психоделическую галлюцинацию? Является ли это всего лишь проекцией образа мышления людей?
• Что произойдет с представилями творческих профессий? Как изменится рынок труда?
• Что произойдет с пониманием искусства в целом?