Вам часто приходится работать с нейросетями? Теперь вы можете запускать
алгоритмы машинного обучения на SONM непосредственно из
Docker-контейнеров.
Машинное обучение может использоваться для автоматического выполнения
множества разнообразных задач: например, распознавания изображений, видео,
голоса или текста. Как правило, сложные задачи, такие, как распознавание
изображений, занимают много времени: один ЦП может высчитывать необходимые
алгоритмы целыми днями или даже неделями. Это сказывается на эффективности
приложений, поэтому многие предпочитают использовать несколько видеокарт,
чтобы ускорить выполнение алгоритма. Но где найти дешёвые графические
процессоры в эпоху майнинга?
Платформа SONM предоставляет возможность арендовать оборудование на время,
необходимое для выполнения сложных и дорогостоящих задач.
Возникает вопрос: Можно ли упаковать всё необходимое для обучения нейросети на
графическом процессоре в один Docker-контейнер, чтобы производить вычисления
на SONM одним касанием?
Давайте попробуем!
TensorFlow с поддержкой графических процессоров нуждается в архитектуре CUDA
для проведения вычислений на видеокартах, так что нам потребуется официальный
контейнер с CUDA и библиотеками cuDNN.
Вот официальные системные требования TensorFlow:
Упакуем Nvidia / CUDA в контейнер для запуска приложения:
Возникает проблема...
При запуске алгоритма из контейнера появляется ошибка:
Это означает, что вы неправильно установили библиотеку CUDA.
Обычно в такой ситуации вам пришлось бы самостоятельно искать, чего не хватает в
контейнере Nvidia / CUDA, и исправлять проблему вручную.
Мы уже выполнили эту часть работы за вас. Мы провели похожий эксперимент, и
столкнулись с точно такой же проблемой. Как выяснилось, в контейнере
отсутствовали библиотеки cuDNN, что и приводило к ошибке. Разобравшись в
проблеме, мы поместили необходимые библиотеки в контейнер sonm/cuda:8.0,
который достаточно прописать в вашем DockerFile:
Всё прекрасно работает!
Таким образом, алгоритмы машинного обучения можно запускать из контейнера на
компьютере с шестью графическими процессорами.
Цель SONM – облегчить вашу жизнь. Это мы и решили сделать, обнаружив проблему
с недостающей библиотекой cuDNN! Вы сможете узнать больше о преимуществах
использования для вычислений компьютера с несколькими графическими
процессорами на платформе SONM в нашей следующей статье.
Чтобы не пропустить следующую статью, подписывайтесь на наши каналы!
Твиттер: https://twitter.com/sonmdevelopment
Телеграм: https://t.me/sonm_eng
Facebook: https://www.facebook.com/SONMproject/
Наш сайт: https://sonm.com
MVP: https://mvp.sonm.com
