Вопросы реализации нейросетевых алгоритмов на мемристорных кроссбарах

Присущее мемристорным кроссбарам свойство естественной параллелизации матрично-векторных операций создает возможности для их эффективного использования в нейросетевых вычислениях. Аналоговые вычисления производятся на порядки быстрее по сравнению с вычислениями на центральном процессоре и на графических ускорителях. Кроме того, значительно ниже энергозатраты на проведение математических операций. При этом существенной особенностью аналоговых вычислений является небольшая точность. В связи с этим актуальным является исследование зависимости качества работы нейронной сети от точности задания ее весов. Рассмотрены две сверточные нейронные сети, обученные на наборах данных MNIST (рукописные цифры) и CIFAR_10 (самолеты, лодки, машины и т. д.). Первая состоит из двух сверточных слоев, одного слоя подвыборки и двух полносвязанных слоев, а вторая — из четырех сверточных слоев, двух слоев подвыборки и двух полносвязаных слоев. Вычисления в сверточных и полносвязных слоях выполняются через матрично-векторные операции, которые эффективно реализуются на мемристорных кроссбарах. Слои подвыборки подразумевают операцию нахождения максимального значения из нескольких, которая также может быть реализована на аналоговом уровне. Процесс обучения нейронной сети происходит отдельно от анализа данных. Как правило, на этапе обучения используются градиентные методы оптимизации, реализацию которых целесообразно выполнять на центральном процессоре. Показано, что для получения приемлемого качества распознавания в случае с сетью, обученной на MNIST, требуется 3—4 бита точности при задании ее весов, а в случае с сетью, обученной на CIFAR_10, — 6—8 бит.

мемристор, кроссбар, точность, нейросеть, свертка, MNIST, CIFAR_10

1. Wong H.-S. P., Lee H.-Y., Yu S., Chen Y.-S., Wu Y., Chen P.-S., Lee B., Chen F. T., Tsai M.-J. Metal-oxide RRAM // Proceedings of the IEEE. 2012. V. 100, Iss. 6. P. 1951—1970. DOI: 10.1109/JPROC.2012.2190369

2. Yang J. J., Strukov D. B., Stewart D. R., Memristive devices for computing // Nature Nanotechnology. 2013. V. 8, N 1. P. 13—24. DOI: 10.1038/nnano.2012.240

3. Li C., Hu M., Li Y., Jiang H., Ge N., Montgomery E., Zhang J., Song W., Dávila N., Graves C. E., Li Z., Strachan J. P., Lin P., Wang Z., Barnell M., Wu Q., Williams R. S., Yang J. J., Xia Q. Analogue signal and image processing with large memristor crossbars // Nature Electronics. 2018. V. 1, N 1. P. 52—59. DOI: 10.1038/s41928-017-0002-z

4. Hu M, Graves C. E., Li C., Li Y., Ge N., Montgomery E., Dávila N., Jiang H., Williams R. S., Yang J. J., Xia O., Strachan J. P. Memristor-based analog computation and neural network classification with a dot product engine // Advanced Materials. 2018. V. 30, Iss. 9. P. 1705914. DOI: 10.1002/adma.201705914

5. Тарков М. С. Реализация нейронной WTA-сети на мемристорном кроссбаре // ПДМ. Приложение, 2015, Вып. 8. С. 151—154. DOI: 10.17223/2226308X/8/59

6. Diehl P. U., Cook M. Unsupervised learning of digit recognition using spike-timing-dependent plasticity // Front. Comput. Neurosci. 2015. V. 9. Art. No. 99. P. 9. DOI: 10.3389/fncom.2015.00099

7. Ambrogio S., Balatti S., Milo V., Carboni R., Wang Z.-Q., Calderoni A., Ramaswamy N., Ielmini D. Neuromorphic learning and recognition with one-transistor-one-resistor synapses and bistable metal oxide RRAM // IEEE Transactions on Electron Devices. 2016. V. 63, N 4. P. 1508—1515. DOI: 10.1109/TED.2016.2526647

8. Guo Y., Wu H., Gao B., Qian H. Unsupervised learning on resistive memory array based spiking neural networks // Front. Neurosci. 2019. V. 13, Art. No. 812. DOI: 10.3389/fnins.2019.00812

9. Milo V., Pedretti G., Laudato M., Bricalli A., Ambrosi E., Bianchi S., Chicca E., Ielmini D. Resistive switching synapses for unsupervised learning in feed-forward and recurrent neural networks // IEEE International Symposium on Circuits and Systems (ISCAS). Florence (Italy): IEEE, 2018. P. 1—5. DOI: 10.1109/ISCAS.2018.8351824

10. Pedretti G., Bianchi S., Milo V., Calderoni A., Ramaswamy N., Ielmini D. Modeling-based design of brain-inspired spiking neural networks with RRAM learning synapses // IEEE International Electron Devices Meeting (IEDM). San Francisco (CA, USA): IEEE, 2017. P. 28.1.1—28.1.4. DOI: 10.1109/IEDM.2017.8268467

11. Milo V., Ielmini D., Chicca E. Attractor networks and associative memories with STDP learning in RRAM synapses // IEEE International Electron Devices Meeting (IEDM). San Francisco (CA, USA): IEEE, 2017. P. 11.2.1—11.2.4. DOI: 10.1109/IEDM.2017.8268369

12. Li B., Shan Y., Hu M., Wang Y., Chen Y., Yang H., Memristor-based approximated computation // International Symposium on Low Power Electronics and Design (ISLPED). Beijing (China): IEEE, 2013. P. 242—247. DOI: 10.1109/ISLPED.2013.6629302

13. Теплов Г. С., Горнев Е. С. Модель на языке Verilog-A многоуровневого биполярного мемристора с учетом девиаций параметров переключения // Микроэлектроника. 2019. Т. 48, № 3. С. 163—175. DOI: 10.1134/S0544126919030104

14. Morozov A. Yu., Reviznikov D. L. Adaptive interpolation algorithm based on a kd-tree for numerical integration of systems of ordinary differential equations with interval initial conditions // Differential Equations. 2018. V. 54, N 7. P. 945—956. DOI: 10.1134/S0012266118070121

15. Morozov A. Yu., Reviznikov D. L., Gidaspov V. Yu. Adaptive interpolation algorithm based on a kd-tree for the problems of chemical kinetics with interval parameters // Mathematical Models and Computer Simulations. 2019. V. 11, N 4. P. 622—633. DOI: 10.1134/S2070048219040100

16. Morozov A. Yu., Reviznikov D. L. Modelling of dynamic systems with interval parameters on graphic processors // Программная инженерия. 2019. Т. 10, № 2. С. 69—76. DOI: 10.17587/prin.10.69-76

17. Морозов А. Ю., Ревизников Д. Л. Методы компьютерного моделирования динамических систем с интервальными параметрами. М.: Изд-во МАИ, 2019. 160 с.

18. Gulli A., Pal S. Deep learning with Keras: implement neural networks with Keras on Theano and TensorFlow. Birmingham; Mumbai: Packt Publishing Ltd., 2017. 490 p.

19. MNIST CNN. URL: https://keras.io/examples/mnist_cnn/ (дата обращения: 01.10.2019).

20. Train a simple deep CNN on the CIFAR10 small images dataset. URL: https://keras.io/examples/cifar10_cnn/ (дата обращение: 01.10.2019).