Новая энергосберегающая технология "Нейронных сетей" сделает электронные устройства более портативными

Привет. В последние годы наиболее эффективные системы искусственного интеллекта в таких областях, как беспилотный транспорт, распознавание речи и автоматический перевод, получили новый импульс к развитию благодаря программным системам, известным как "нейронные сети".

Но нейронные сети занимают много памяти и потребляют много энергии, поэтому они обычно работают на серверах в облаке и получают данные с настольных или мобильных устройств, а затем отправляют обратно результат своего анализа данных.

В прошлом году, доцент кафедры электротехники и информатики Массачусетского технологического института Вивьен Сэ и его коллеги представили новый, энергоэффективный компьютерный чип, оптимизированный для нейронных сетей, который мог бы позволить мощным системам искусственного интеллекта работать локально на мобильных устройствах.

Теперь исследователи подошли к той же проблеме с противоположной стороны, с новой технологией для аккумуляторных батареей для разработки более энергоэффективных нейронных сетей. Во-первых, они разработали аналитический метод, который может определить, сколько энергии потребляет нейронная сеть при работе на определенном типе аппаратного обеспечения. Затем они используют метод для оценки новых методов для обхода нейронных сетей, чтобы они могли работать более эффективно в мобильных устройствах.

Исследователи сообщают, что их методы, предлагают 73-процентное снижение энергопотребления по сравнению с стандартным внедрением нейронных сетей в устройства.

Оценка необходимой энергии

По принципу организации нейронов в человеческом мозге, электронные нейронные сети состоят из тысяч или даже миллионов простых, но плотно взаимосвязанных узлов обработки информации, обычно организованных в слои. Различные типы сетей различаются в зависимости от количества слоев, количества соединений между узлами и количества узлов в каждом слое.

Соединения между узлами связаны с ними «весами», которые определяют, насколько выход данного узла будет способствовать вычислению следующего узла. Во время обучения для сети представлены примеры вычислений, которые она учится выполнять, эти веса постоянно корректируются, пока результат последнего слоя сети не будет соответствовать результату вычисления.

Первое, что было сделано, был разработан инструмент моделирования энергии, который учитывает транзакции и поток данных. Если этот инструмент получит вводные данные о сетевой архитектуре и ценность ее весов, она вычислит, сколько энергии будет использовать эта нейронная сеть. Один из вопросов, который обычно возникает:« Что является более энергоэффективным - иметь маленькую сеть и больше веса или более глубокую сеть с меньшими весами?» Этот инструмент дает лучшую возможность прогнозирования относительно энергозатрат сети. Второе, что сделали разработчики, это то, что теперь они начал использовать эту модель для управления новым дизайном энергоэффективных нейронных сетей».

Раньше, по словам разработчиков, исследователи, пытающиеся снизить потребление энергии нейронных сетей, использовали технику под названием «обрезка». Узлы с низкими весами просто обрезались, так как соединения между ними оказывают незначительно влияние на конечный результат работы нейронной сети.

Технологичная обрезка 

С помощью своей энергетической модели разработчики варьировали этот подход "обрезки". Хотя удаление даже большого количества соединений с низким весом может незначительно повлиять на работу нейронной сети, большое их сокращение оказало бы, вероятно, негативное влияние на сеть,  поэтому методы обрезки должны иметь некоторый механизм для оптимального решения.

Таким образом, исследователи начинают обрезать те слои сети, которые потребляют больше энергии и имеют меньший вес. Они называют этот метод «энергосберегающей обрезкой».

Веса в нейронной сети могут быть как положительными, так и отрицательными, поэтому метод исследователей также рассматривает случаи, когда соединения с весами противоположного знака имеют тенденцию к взаимному сокращению. Таким образом, только если группы соединений с положительным и отрицательным весами последовательно смещают друг друга, их можно безопасно обрезать. 

Подробней, фото1, фото2