Preview

Известия высших учебных заведений. Материалы электронной техники

Расширенный поиск

Вопросы реализации нейросетевых алгоритмов на мемристорных кроссбарах

https://doi.org/10.17073/1609-3577-2019-4-272-278

Аннотация

Присущее мемристорным кроссбарам свойство естественной параллелизации матрично-векторных операций создает возможности для их эффективного использования в нейросетевых вычислениях. Аналоговые вычисления производятся на порядки быстрее по сравнению с вычислениями на центральном процессоре и на графических ускорителях. Кроме того, существенно ниже энергозатраты на проведение математических операций. При этом существенной особенностью аналоговых вычислений является небольшая точность. В связи с этим актуальным является исследование зависимости качества работы нейронной сети от точности задания её весов. В работе рассмотрены две свёрточные нейронные сети, обученные на наборах данных MNIST (рукописные цифры) и CIFAR_10 (самолеты, лодки, машины и тд.). Первая состоит из двух сверточных слоев, одного слоя подвыборки и двух полносвязанных слоев, а вторая из четырех сверточных слоев, двух слоев подвыборки и двух полносвязаных слоев. Вычисления в сверточных и полносвязных слоях выполняются через матрично-векторные операции, которые эффективно реализуются на мемристорных кроссбарах. Слои подвыборки подразумевают операцию нахождения максимального значения из нескольких, которая также может быть реализована на аналоговом уровне. Процесс обучения нейронной сети происходит отдельно от анализа данных. Как правило, на этапе обучения используются градиентные методы оптимизации, реализацию которых целесообразно выполнять на центральном процессоре. Показано, что для получения приемлемого качества распознавания в случае с сетью, обученной на MNIST, требуется 3-4 бита точности при задании её весов, а в случае с сетью, обученной на  CIFAR_10, требуется 6-8 бит.

Об авторах

А. Ю. Морозов
Федеральный исследовательский центр «Информатика и управление» Российской Академии Наук (ФИЦ ИУ РАН), Россия, 119333, г. Москва, Вавилова, д. 44, кор. 2 Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский авиационный институт (национальный исследовательский университет)» (ФГБОУ ВО МАИ), Россия, 125993, г. Москва, Волоколамское шоссе, д. 4
Россия
Морозов Александр Юрьевич


Д. Л. Ревизников
Федеральный исследовательский центр «Информатика и управление» Российской Академии Наук (ФИЦ ИУ РАН), Россия, 119333, г. Москва, Вавилова, д. 44, кор. 2 Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский авиационный институт (национальный исследовательский университет)» (ФГБОУ ВО МАИ), Россия, 125993, г. Москва, Волоколамское шоссе, д. 4
Россия
Ревизников Дмитрий Леонидович


К. К. Абгарян
Вычислительный центр имени А.А. Дородницына ФИЦ ИУ РАН, Москва, Московский авиационный институт (национальный исследовательский университет) МАИ, Москва
Россия
Абгарян Каринэ Карленовна


Список литературы

1. Wong H.-S. P. et al. Metal–oxide RRAM // Proceedings of the IEEE, 2012. V. 100, No. 6, pp. 1951–1970. DOI: 10.1109/JPROC.2012.2190369

2. Yang J. J., Strukov D. B., Stewart D. R., Memristive devices for computing // Nature Nanotechnology, 2013. V. 8, No. 1, pp. 13–24. DOI: 10.1038/nnano.2012.240.

3. Li C., Hu M., Li Y., Jiang H., Ge N., Montgomery E., Zhang J., Song W., Dávila N., Graves C. E., Li Z., Strachan J. P., Lin P., Wang Z., Barnell M., Wu Q., Williams R. S., Yang J. J., Xia Q., Analogue signal and image processing with large memristor crossbars // Nature Electronics, vol. 1, no. 1, Dec. 2017, pp. 52–59. DOI:10.1038/s41928-017-0002-z

4. Hu M, Graves C. E., Li C., Li Y., Ge N., Montgomery E., Davila N., Jiang H., Williams R. S., Yang J. J., Xia O., Strachan J. P. Memristor-Based Analog Computation and Neural Network Classification with a Dot Product Engine // Advanced Materials, vol. 30, no. 9, p. 1705914, Jan. 2018. DOI: 10.1002/adma.201705914

5. Тарков М. С. Реализация нейронной WTA-сети на мемристорном кроссбаре // ПДМ. Приложение, 2015, выпуск 8, c. 151–154.

6. Diehl P., Cook M. Unsupervised learning of digit recognition using spike-timing-dependent plasticity // Frontiers in Computational Neuroscience. 2015. Vol. 9. Art. 99. p. 9. DOI: 10.3389/fncom.2015.00099

7. Ambrogio S. et al., Neuromorphic Learning and Recognition With One-Transistor-One-Resistor Synapses and Bistable Metal Oxide RRAM // IEEE Transactions on Electron Devices, 2016, vol. 63, no. 4, pp. 1508-1515. DOI: 10.1109/TED.2016.2526647

8. Guo Y, Wu H, Gao B, Qian H. Unsupervised Learning on Resistive Memory Array Based Spiking Neural Networks // Front Neurosci. 2019, vol. 13, article 812. DOI: 10.3389/fnins.2019.00812

9. Milo V. et al., Resistive switching synapses for unsupervised learning in feed-forward and recurrent neural networks // 2018 IEEE International Symposium on Circuits and Systems (ISCAS), Florence, 2018, pp. 1-5. DOI: 10.1109/ISCAS.2018.8351824

10. Pedretti G., Bianchi S., Milo V., Calderoni A., Ramaswamy N., Ielmini D. Modeling-based design of brain-inspired spiking neural networks with RRAM learning synapses // 2017 IEEE International Electron Devices Meeting (IEDM), San Francisco, CA, 2017, pp. 28.1.1-28.1.4. DOI: 10.1109/IEDM.2017.8268467

11. Milo V., Ielmini D., Chicca E. Attractor networks and associative memories with STDP learning in RRAM synapses // 2017 IEEE International Electron Devices Meeting (IEDM), San Francisco, CA, 2017, pp. 11.2.1-11.2.4. DOI: 10.1109/IEDM.2017.8268369

12. Li B., Shan Y., Hu M., Wang Y., Chen Y., Yang H., Memristor-based approximated computation // International Symposium on Low Power Electronics and Design (ISLPED), Beijing, 2013, pp. 242-247. DOI: 10.1109/ISLPED.2013.6629302

13. Теплов Г. С., Горнев Е. С. Модель на языке Verilog-A многоуровневого биполярного мемристора с учетом девиаций параметров переключения // Микроэлектроника. 2019. Т. 48, No. 3. c. 163-175.

14. Morozov A. Y., Reviznikov D. L. Adaptive Interpolation Algorithm Based on a kd-Tree for Numerical Integration of Systems of Ordinary Differential Equations with Interval Initial Conditions // Differential Equations, 2018, Vol. 54, No. 7, pp. 945-956., DOI: 10.1134/S0012266118070121.

15. Morozov A. Yu., Reviznikov D. L., Gidaspov V. Yu. Adaptive Interpolation Algorithm Based on a KD-Tree for the Problems of Chemical Kinetics with Interval Parameters // Mathematical Models and Computer Simulations, 2019, Vol. 11, No. 4, pp. 622–633., DOI: 10.1134/S2070048219040100

16. Morozov A.Yu., Reviznikov D.L. Modelling of dynamic systems with interval parameters on graphic processors // Программная инженерия. Т. 10. No. 2. 2019. С. 69–76. DOI: 10.17587/prin.10.69-76

17. Морозов А. Ю., Ревизников Д. Л. Методы компьютерного моделирования динамических систем с интервальными параметрами. М.: Изд-во МАИ, 2019. 160 с.

18. Gulli A., Pal S. Deep learning with Keras: implement neural networks with Keras on Theano and TensorFlow. Birmingham - Mumbai, UK: Packt Publishing Ltd, 2017, 490 p.

19. MNIST CNN. Available at: https://keras.io/examples/mnist_cnn/ (accessed 01.10.2019)

20. Train a simple deep CNN on the CIFAR10 small images dataset. Available at: https://keras.io/examples/cifar10_cnn/ (accessed 01.10.2019)


Для цитирования:


Морозов А.Ю., Ревизников Д.Л., Абгарян К.К. Вопросы реализации нейросетевых алгоритмов на мемристорных кроссбарах. Известия высших учебных заведений. Материалы электронной техники. 2019;22(4):272-278. https://doi.org/10.17073/1609-3577-2019-4-272-278

Просмотров: 72


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 1609-3577 (Print)
ISSN 2413-6387 (Online)