Математическое моделирование самообучающейся нейроморфной сети, основанной на наноразмерных мемристивных элементах с 1T1R-кроссбар-архитектурой

Искусственные нейронные сети играют важную роль в современном мире. Основная их область применения это задачи распознавания и обработки изображений, речи, а также робототехника и беспилотные системы. Использование нейронных сетей связано с большими вычислительными затратами. Отчасти именно этот факт сдерживал их прогресс, и только с появлением высокопроизводительных вычислительных систем  началось активное развитие данной области. Тем не менее, вопрос ускорения работы нейросетевых алгоритмов все еще актуален. Одним из перспективных направлений является создание аналоговых реализаций искусственных нейронных сетей, так как аналоговые вычисления производятся на порядки быстрее, чем цифровые. В качестве базового элемента, на котором строятся такие системы, выступает мемристор. Мемристор представляет собой резистор, проводимость которого зависит от суммарного пройденного через него заряда. Объединение мемристоров в матрицу (кроссбар) позволяет реализовать на аппаратном уровне один слой искусственных синапсов. Традиционно в качестве аналогового метода обучения применяется метод STDP, основанный на правиле Хебба. В работе выполняется моделирование двухслойной полносвязной сети с одним слоем синапсов. Мемристивный эффект может проявляться в разных веществах (в основном в разных оксидах), поэтому важно понимать, как характеристики мемристоров будут влиять на параметры нейронной сети. Рассматриваются два оксида: оксид титана (TiO₂) и оксид гафния (HfO₂). Для каждого оксида выполняется параметрическая идентификация соответствующей математической модели для наилучшего согласования с экспериментальными данными. Производится настройка нейронной сети в зависимости от используемого оксида и моделируется процесс ее обучения распознаванию пяти шаблонов.

1. Wong H.-S. P., Lee H. Y., Yu S., Chen Y. S., Wu Y., Chen P. S., Lee B., Frederic T. Metal-oxide RRAM // Proceedings of the IEEE. 2012. V. 100, N 6. P. 1951—1970. DOI: 10.1109/JPROC.2012.2190369

2. Yang J. J., Strukov D. B., Stewart D. R. Memristive devices for computing // Nature Nanotechnology. 2013. V. 8, N 1. P. 13—24. DOI: 10.1038/nnano.2012.240

3. Li C., Hu M., Li Y., Jiang H., Ge N., Montgomery E., Zhang J., Song W., Dávila N., Graves C. E., Li Z., Strachan J. P., Lin P., Wang Z., Barnell M., Wu Q., Williams R. S., Yang J. J., Xia Q. Analogue signal and image processing with large memristor crossbars // Nature Electronics. 2018. V. 1, N 1. P. 52—59. DOI: 10.1038/s41928-017-0002-z

4. Hu M., Graves C. E., Li C., Li Y., Ge N., Montgomery E., Davila N., Jiang H., Williams R. S., Yang J. J., Xia O., Strachan J. P. Memristor-Based Analog Computation and Neural Network Classification with a Dot Product Engine // Advanced Materials. 2018. V. 30. N 9, P. 1705914. DOI: 10.1002/adma.201705914

5. Морозов А. Ю., Ревизников Д. Л., Абгарян К. К. Вопросы реализации нейросетевых алгоритмов на мемристорных кроссбарах // Известия вузов. Материалы электронной техники. 2019. Т. 22, № 4. С. 272—278. DOI: 10.17073/1609-3577-2019-4-272-278

6. Diehl P., Cook M. Unsupervised learning of digit recognition using spike-timing-dependent plasticity // Frontiers in Computational Neuroscience. 2015. V. 9. P. 99. DOI: 10.3389/fncom.2015.00099

7. Ambrogio S., Milo V., Wang Z.-Q., Ramaswamy N., Balatty S., Carboni R., Calderoni A., Lelmibi D. Neuromorphic Learning and Recognition With One-Transistor-One-Resistor Synapses and Bistable Metal Oxide RRAM // IEEE Transactions on Electron Devices. 2016. V. 63, N 4. P. 1508—1515. DOI: 10.1109/TED.2016.2526647

8. Guo Y., Wu H., Gao B., Qian H. Unsupervised learning on resistive memory array based spiking neural networks // Frontiers in Neuroscience. 2019. V. 13, Art. 812. DOI: 10.3389/fnins.2019.00812

9. Milo V., Laudato M., Ambrosi E., Chicca E., Pedretti G., Bricalli A., Bianchi S., Ielmini D. Resistive switching synapses for unsupervised learning in feed-forward and recurrent neural networks // IEEE International Symposium on Circuits and Systems (ISCAS). Florence. 2018. P. 1—5. DOI: 10.1109/ISCAS.2018.8351824

10. Pedretti G., Bianchi S., Milo V., Calderoni A., Ramaswamy N., Ielmini D. Modeling-based design of brain-inspired spiking neural networks with RRAM learning synapses // IEEE International Electron Devices Meeting (IEDM). San Francisco (CA), 2017. P. 28.1.1—28.1.4. DOI: 10.1109/IEDM.2017.8268467

11. Milo V., Ielmini D., Chicca E. Attractor networks and associative memories with STDP learning in RRAM synapses // IEEE International Electron Devices Meeting (IEDM). San Francisco(CA), 2017. P. 11.2.1—11.2.4. DOI: 10.1109/IEDM.2017.8268369

12. Strukov D. B., Snider G. S., Stewart D. R., Williams R. S. The missing memristor found // Nature. 2008. V. 453, N 7191. P. 80—83. DOI: 10.1038/nature06932

13. Yang J. J., Pickett M. D., Xuema L., Ohlberg D. A. A., Stewart D. R., Williams R. S. Memristive switching mechanism for metal/oxide/metal nanodevices // Nature nanotechnology. 2008. V. 3, N 7. P. 429—433. DOI: 10.1038/nnano.2008.160

14. Pickett M. D., Stukov D. B., Borghetti J. L., Yang J. J., Snider G. S., Stewart D. R., Williams R. S. Switching dynamics in titanium dioxide memristive devices // J. Appl. Phys. 2009. V. 106, N 7. Art. 074508. DOI: 10.1063/1.3236506

15. Joglekar Y. N., Wolf S. J. The elusive memristor: properties of basic electrical circuits // European Journal of Physics. 2009. V. 30, N 4. P. 661. DOI: 10.1088/0143-0807/30/4/001

16. Biolek Z., Biolek D., Biolkova V. SPICE Model of memristor with nonlinear dopant drift // Radioengineering. 2009. V. 18, N 2. P. 210—214. URL: https://www.radioeng.cz/fulltexts/2009/09_02_210_214.pdf

17. Prodromakis T., Peh B. P., Papavassiliou C., Toumazou C. A versatile memristor model with nonlinear dopant kinetics // IEEE Transactions on Electron Devices. 2011. V. 58, N 9. P. 3099—3105. DOI: 10.1109/TED.2011.2158004

18. Zha J., Huang H., Liu Y. A novel window function for memristor model with application in programming analog circuits // IEEE Transactions on Circuits and Systems II: Express Briefs. 2015. V. 63, N 5. P. 423—427. DOI: 10.1109/TCSII.2015.2505959

19. Kvatinsky S., Friedman E. G., Kolodny A., Weiser U. C. TEAM: Threshold adaptive memristor model // IEEE Transactions on Circuits and Systems I: Regular Papers. 2012. V. 60, N 1. P. 211—221. DOI: 10.1109/TCSI.2012.2215714

20. Kvatinsky S., Ramadan M., Friedman E. G., Kolodny A. VTEAM: A general model for voltage-controlled memristors // IEEE Transactions on Circuits and Systems II: Express Briefs. 2015. V. 62, N 8. P. 786—790. DOI: 10.1109/TCSII.2015.2433536

21. Yakopcic C., Taha T. M., Subramanyam G., Pino R. E., Rogers S. A memristor device model // IEEE Electron Device Letters. 2011. V. 32, N 10. P. 1436—1438. DOI: 10.1109/LED.2011.2163292

22. Zheng G., Mohanty S. P., Kougianos E., Okobiah O. Polynomial Metamodel integrated Verilog-AMS for memristor-based mixed-signal system design // IEEE 56th International Midwest Symposium on Circuits and Systems (MWSCAS). Columbus (OH), 2013. P. 916—919. DOI: 10.1109/MWSCAS.2013.6674799

23. Mladenov V. Analysis of memory matrices with HfO2 memristors in a PSpice environment // Electronics. 2019. V. 8, N 4. P. 383 (16pp.). DOI: 10.3390/electronics8040383

24. Teplov G. S., Gornev E. S. Multilevel bipolar memristor model considering deviations of switching parameters in the Verilog-A language // Russ. Microelectron. 2019. V. 48, N 3. P. 131—142. DOI: 10.1134/S1063739719030107

25. Morozov A. Y., Reviznikov D. L. Adaptive interpolation algorithm based on a kd-tree for numerical integration of systems of ordinary differential equations with interval initial conditions // Differential Equations. 2018. V. 54, N 7. P. 945—956. DOI: 10.1134/S0012266118070121

26. Morozov A. Yu., Reviznikov D. L., Gidaspov V. Yu. Adaptive interpolation algorithm based on a kd-tree for the problems of chemical kinetics with interval parameters // Mathematical Models and Computer Simulations. 2019. V. 11, N 4. P. 622—633. DOI: 10.1134/S2070048219040100.

27. Morozov A. Y., Abgaryan K. K., Reviznikov D. L. Mathematical model of a neuromorphic network based on memristive elements // Chaos, Solitons & Fractals. 2021. V. 143, Art. 110548. DOI: 10.1016/j.chaos.2020.110548