antony_w (antony_w) wrote,
antony_w
antony_w

Categories:

«Резистивный процессор» IBM может ускорить обучение нейронных сетей в 30 000 раз

Некоторое время назад исследователи, работающие в IBM, представили концептуальную разработку, которую они назвали «резистивным процессором» (Resistive Processing Unit, RPU). Как утверждается, RPU может многократно ускорить обучение глубоких нейронных сетей — разница по сравнению с обычными CPU может достигать 30 000 раз.

Глубокие нейронные сети являются одним из перспективных направлений разработки интеллекта, обладая способностью к совершенствованию многослойной структуры за счет обучения. Например, в декабре прошлого года стало известно, что в Microsoft создана система распознавания образов, по точности превосходящая человека. Однако обучение требует внушительного вычислительного ресурса, поэтому решения, позволяющие ускорить обучение, становятся все более и более востребованными. Неслучайно, рассказывая об архитектуре GPU Pascal, глава компании Nvidia пообещал, что она десятикратно ускорит приложения глубокого обучения.



Что касается RPU, основная идея устройства процессора позаимствована у новых технологий энергонезависимой памяти (NVM), таких как память на эффекте фазового перехода (PCM) и резистивная память (RRAM). Только ее применение, по оценке ученых, дает прирост скорости обучения от 27 до 2140 раз. Исследователи уверены, что оптимизация в виде устранения некоторых ограничений на устройство ячеек NVM позволит увеличить показатель до значения, вынесенного в заголовок.

По сути, сама схема резистивной памяти отражает устройство нейронной сети, что позволяет RPU одновременно хранить и обрабатывать весовые коэффициенты в узлах. Существующие технологии CMOS дают возможность изготавливать процессоры с миллиардами узлов. Например, в обычном процессоре Intel Xeon число транзисторов уже достигло 7,3 млрд штук.

Авторы идеи уточняют, что RPU пока находится в стадии исследований. Более того, поскольку память, которую предполагается в нем использовать, еще не достигла рынка, о практической реализации можно будет говорить не ранее чем через несколько лет.

Tags: процессор
Subscribe

Posts from This Journal “процессор” Tag

promo antony_w august 17, 2014 11:48 18
Buy for 10 tokens
Есть блог, в котором написано много постов про роботов: ссылка И там есть несколько статей о замене рабочих мест человека роботами: Уже к 2018 году роботы отберут у человека часть профессий Рабский труд без зарплаты Армия роботов: зачем она нужна обильной людьми Поднебесной и кому может…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments