Facebook разрабатывает процессоры для глубокого обучения — об этом рассказал руководитель Facebook AI Research Янн ЛеКун (Yann LeCun) в интервью ZDNet. О том, что компания займется подобными исследованиями, было известно еще 4 года назад. Сейчас же, по словам ЛеКуна, разработка идёт полным ходом.
«Такие компании как Google и Facebook работают с очень большими объемами данных и вычислений. Поэтому имеет смысл начать разработку собственного железа, если другие производители отрасли не могут предоставить подходящих решений» — отметил он, и упомянул Google’s Tensor Processing Unit, TPU как пример подобной разработки.
Зачем Facebook понадобились собственные процессоры
ЛеКун отметил, что сейчас существует необходимость в разработке чипов с низким энергопотреблением для работы с данными на мобильных устройствах. Цель — производить обработку данных прямо на устройстве без отправки их в облако.
Традиционное «автономное» обучение нейронных сетей и вывод результата работы в облаке тоже потребляют много энергии, поэтому и здесь нужна более энергоэффективная обработка данных.
В Facebook AI Research есть потребность в создании альтернативных вариантов процессоров, помимо NVIDIA, чьи GPU сейчас доминируют в отрасли.
Вопрос архитектуры
«На самом высоком уровне нам нужны конкуренты доминирующему поставщику. Не потому, что имеющиеся GPU плохо работают, а потому что они создают гипотезы. Хорошо было бы иметь другое аппаратное обеспечение, чье назначение, возможно, было бы другим, или даже дополняло работу существующих процессоров» — сказал ЛеКун.
Вопрос о том, как эти альтернативные чипы должны быть структурированы, остается открытым. Ясно, что в будущем нейронные сети будут больше, например, чтобы взять видеопоток и проанализировать миллионы пикселей для предсказания движений. Матрицы и тензоры — строительные блоки современного искусственного интеллекта, вероятно, не будут идеальным решением.
У исследователей нет ответа, какими будут новые процессоры для глубокого обучения через 5-10 лет. Однако ЛеКун полагает, что независимо от форм новой архитектуры микросхем, компьютеры в будущем станут заниматься в основном глубоким обучением, именно с точки зрения количества операций и FLOPS.
