Чип MIT сократил энергопотребление нейросети на 95%

3 Марта 2018 в 21:00, Илья Хель 8 897 просмотров 7

Нейронные сети — мощные штуки, но очень прожорливые. Инженерам из Массачусетского технологического института (MIT) удалось разработать новый чип, который сокращает энергопотребление нейронной сети на 95%, что может в теории позволить им работать даже на мобильных устройствах с батареями. Смартфоны в наши дни становятся все умнее и умнее, предлагают все больше услуг, подпитанных искусственным интеллектом, вроде виртуальных ассистентов и переводов в реальном времени. Но обычно нейронные сети обрабатывают данные для этих сервисов в облаке, а смартфоны лишь передают данные туда и обратно.

Это не идеально, потому что требует толстый коммуникационный канал и предполагает, что чувствительные данные передаются и хранятся за пределами досягаемости пользователя. Но колоссальные объемы энергии, которая необходима для питания нейросетей, работающих на графических процессорах, невозможно обеспечить в устройстве, работающем на небольшом аккумуляторе.

Инженеры MIT разработали чип, снижающий это энергопотребление на 95%. Чип радикально сокращает потребность в передаче данных туда и обратно между памятью чипа и процессорами.

Нейронные сети состоят из тысяч взаимосвязанных искусственных нейронов, расположенных слоями. Каждый нейрон получает вводные данные от нескольких нейронов в нижележащем слое, и если комбинированный ввод проходит определенный порог, он передает результат нескольким нейронам выше. Сила связи между нейронами определяется весом, который устанавливается в процессе обучения.


Это означает, что для каждого нейрона чип должен извлечь вводные данные для определенного соединения и вес соединения из памяти, умножить их, сохранить результат, а затем повторить процесс для каждого ввода. Много данных передвигаются туда и сюда, тратится много энергии.

Новый чип MIT устраняет это, высчитывая все вводы параллельно в памяти с использованием аналоговых схем. Это значительно уменьшает объем данных, которые необходимо перегнать, и приводит к значительной экономии энергии.

Такой подход требует, чтобы вес соединений был бинарным, а не диапазонным значением, но предыдущие теоретические работы показали, что это не сильно повлияет на точность, и ученые обнаружили, что результаты работы чипа расходились на 2-3% от обычного варианта нейронной сети, работающей на стандартном компьютере.

Уже не в первый раз ученые создают чипы, которые обрабатывают процессы в памяти, снижая энергопотребление нейросети, но в первый раз этот подход был использован для работы мощной нейросети, известной своими обработками изображений.

«Результаты показывают впечатляющие спецификации энергоэффективного внедрения свертки операций в пределах массива памяти», говорит Дарио Джил, вице-президент по искусственному интеллекту в IBM.

«Это определенно открывает возможности использования более сложных сверточных нейронных сетей для классификации изображений и видео в Интернете вещей в будущем».

И это интересно не только группам R&D. Желание устроить ИИ на устройства вроде смартфонов, бытовой техники и всевозможные IoT-устройства толкают многих из Кремниевой долины в сторону чипов с низким энергопотреблением.

Apple уже интегрировала свой Neural Engine в iPhone X, чтобы запитать, например, технологию распознавания лиц, да и Amazon, по слухам, разрабатывает собственные чипы ИИ для следующего поколения цифровых ассистентов Echo.

Крупные компании, производители чипов также все больше начинают полагаться на машинное обучение, что вынуждает их делать свои устройства еще более энергоэффективными. В начале этого года ARM представила два новых чипа: процессор Arm Machine Learning, работающий с задачами общего ИИ, от перевода до распознавания лиц, и процессор Arm Object Detection, определяющий, например, лица на снимках.

Новейший мобильный чип Qualcomm, Snapdragon 845, имеет графический процессор и в значительной степени ориентирован на ИИ. Компания также представила Snapdragon 820E, который должен работать в беспилотниках, роботах и в промышленных устройствах.

Забегая вперед, IBM и Intel разрабатывают нейроморфные чипы, архитектура которых вдохновлена человеческим мозгом и невероятной энергоэффективностью. Это теоретически могло бы позволить TrueNorth (IBM) и Loihi (Intel) проводить мощное машинное обучение, пользуясь лишь небольшой долей энергии обычных чипов, но эти проекты еще сугубо экспериментальны.

Заставить чипы, которые дают жизнь нейросетям, экономить энергию батарей будет очень сложно. Но при нынешних темпах инноваций это «очень сложно» выглядит вполне посильным.

Чип MIT сократил энергопотребление нейросети на 95%

Приложение
Hi-News.ru

Новости высоких технологий в приложении для iOS и Android.

7 комментариев

  1. amd212

    По идее это не MIT должны были делать а Intel, или AMD, или NVIDIA
    Ведь так и просится держать всё в одном флаконе и нейропроцессор и память и шину данных.
    Да в минусе узкоспециализированность, но в плюсе дешевизна, быстродействие и ... на пару лет по всякому хватит, а дольше "игровые" компьютеры(устройства) и не живут . :-)

    • 2511

      amd212, Дядь, а кто поставляет специалистов во всё тобою перечисленное?
      Дядь, а где здесь написано про "игровые" компьютеры?
      Дядь, а перевозочка так ещё к тебе и не приспела?
      Дядь, лучше уже ляг поспи. Завтра меньше сраму будет.

      • amd212

        2511, Тут у вас логики нет. Как связны спецы и конкретный чип разработанный в MIT.
        Бакалавры там работают со всего света в том числе и после MSU и MIPT.
        И Интеллы АМД не аутсортят свои проекты в общеобразовательные колледжи и универы. Воркшоп провести могут, а реальные проекты выполняют на своей научно производственной базе и под страшным пологом секретности.
        П.С. Засёк 30 минут.

  2. Ye Hua

    В мозге миллиарды нейронов, миллиарды электрохимических реакций каждое мгновенье, а энергопотребление в миллиарды раз меньше любого чипа

    • amd212

      Ye, 100% К тому же достаточно маленькому ребёнку один раз на 10 секунд показать фотографию жирафа и тот, никогда не видевший это животное, начнёт безошибочно определять его на фотографиях, рисунках, набросках и видеофильмах в разных ракурсах.
      Это привет ИИ-поклонникам.

  3. Александр

    Старая новость, уже была на этом ресурсе

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.