Previous Entry Share Next Entry
ML наступает
ens_a_se
Пока я не могу найти времени на изучение даже основ Machine Learning, уже вышло 4 фреймворка для Deep Learning: TensorFlow( Google ), Torch ( Facebook ), Chainer, Theano, CNTK (Microsoft).
И они работают на GPU - доклады на GTC2016.
Правда не знаю как слайды скачать. Прикольно бы взять какую-нибудь популярную задачу и решить 4мя фреймворками, а потом сравнить перфоманс в плане вычислений и результата.

  • 1
Я думаю - для начала - написать небольшую статьйку такого рода. Сравнение per node 2-3х различных фреймворков на одной и тоже задаче на NVIDIA Tesla K20X, Intel CPU Haswell, Intel Xeon и в декабре могу еще на NVIDIA k80X. Посмотреть насколько эфеективны различные тулы. Потом посмотреть на скалабилити (1-96 GPU, 1-500 CPU).
Единственное что меня беспокоит - какова метрика для сравнивнение результата работы различных фреймворков.
Такую статейку можно заслать на конференцию по Highe Performance Computations - SC16 или SC17

Из того что я видел - метрикой часто выбирают время обучения какой-нибудь популярной нейронной сети, например AlexNet, GoogleNet, LeNet, etc. Или просто сколько времени требуется для обучения сети до какого-то заданного уровня accuracy, или, как вот здесь https://github.com/soumith/convnet-benchmarks - сколько времени требуется на один forward pass и один backward pass.

Спасибо, изучу бенчмарки существующие. Если у тебя появятся какие-то бенчмарк идеи - дай знать. Как только руки дойдут - поиграю на различном железе и дам тебе знать. Может будут какие-то комменты. У меня тут пока что есть доступ к топовому железу и почти не ограниченное количество нодов с супер быстрым интерконнектом. Поэтому интересно поиграть.

  • 1
?

Log in