mateltechИзвестия высших учебных заведений. Материалы электронной техникиIzvestiya Vysshikh Uchebnykh Zavedenii. Materialy Elektronnoi Tekhniki = Materials of Electronics Engineering1609-35772413-6387MISIS10.17073/1609-3577-2020-3-186-195mateltech-400Research ArticleМатематическое моделирование в материаловедении электронных компонентовMATHEMATICAL MODELING IN MATERIALS SCIENCE OF ELECTRONIC COMPONENTSМатематическое моделирование самообучающейся нейроморфной сети, основанной на наноразмерных мемристивных элементах с 1T1R-кроссбар-архитектуройMathematical modeling of a self-learning neuromorphic network based on nanosized memristive elements with 1T1R crossbar architecturehttps://orcid.org/0000-0003-0364-8665МорозовА. Ю.MorozovA. Yu.

ул. Вавилова, д. 44, корп. 2, Москва, 119333;

Волоколамское шоссе, д. 4, Москва, 125993

Морозов Александр Юрьевич —канд. физ.-мат. наук, научный сотрудник

44 Vavilov Str., Moscow 119333;

4 Volokolamskoe shosse, 4, Moscow 125993

Alexander Yu. Morozov: Cand. Sci. (Phys.-Math.), Researcher

morozov@infway.ruhttps://orcid.org/0000-0002-0059-0712АбгарянК. К.AbgaryanK. K.

ул. Вавилова, д. 44, корп. 2, Москва, 119333;

Волоколамское шоссе, д. 4, Москва, 125993

Абгарян Каринэ Карленовна — доктор физ.-мат. наук, доцент, заведующая отделом

44 Vavilov Str., Moscow 119333;

4 Volokolamskoe shosse, 4, Moscow 125993

Karine K. Abgaryan: Dr. Sci. (Phys.-Math.), Associate Professor, Head of Department

kristal83@mail.ruhttps://orcid.org/0000-0003-0998-7975РевизниковД. Л.ReviznikovD. L.

ул. Вавилова, д. 44, корп. 2, Москва, 119333;

Волоколамское шоссе, д. 4, Москва, 125993

Ревизников Дмитрий Леонидович — доктор физ.-мат. наук, профессор

44 Vavilov Str., Moscow 119333;

4 Volokolamskoe shosse, 4, Moscow 125993

Dmitry L. Reviznikov: Dr. Sci. (Phys.-Math.), Professor

reviznikov@mai.ruФедеральный исследовательский центр «Информатика и управление» Российской академии наук; Московский авиационный институт (национальный исследовательский университет)РоссияFederal Research Centre “Information and Control” of the Russian Academy of Sciences; Moscow Aviation Institute (National Research University)Russian Federation202015012021233186195Copyright © Морозов А.Ю., Абгарян К.К., Ревизников Д.Л., 20202020Морозов А.Ю., Абгарян К.К., Ревизников Д.Л.Morozov A.Y., Abgaryan K.K., Reviznikov D.L.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://met.misis.ru/jour/article/view/400

Искусственные нейронные сети играют важную роль в современном мире. Основная их область применения это задачи распознавания и обработки изображений, речи, а также робототехника и беспилотные системы. Использование нейронных сетей связано с большими вычислительными затратами. Отчасти именно этот факт сдерживал их прогресс, и только с появлением высокопроизводительных вычислительных систем  началось активное развитие данной области. Тем не менее, вопрос ускорения работы нейросетевых алгоритмов все еще актуален. Одним из перспективных направлений является создание аналоговых реализаций искусственных нейронных сетей, так как аналоговые вычисления производятся на порядки быстрее, чем цифровые. В качестве базового элемента, на котором строятся такие системы, выступает мемристор. Мемристор представляет собой резистор, проводимость которого зависит от суммарного пройденного через него заряда. Объединение мемристоров в матрицу (кроссбар) позволяет реализовать на аппаратном уровне один слой искусственных синапсов. Традиционно в качестве аналогового метода обучения применяется метод STDP, основанный на правиле Хебба. В работе выполняется моделирование двухслойной полносвязной сети с одним слоем синапсов. Мемристивный эффект может проявляться в разных веществах (в основном в разных оксидах), поэтому важно понимать, как характеристики мемристоров будут влиять на параметры нейронной сети. Рассматриваются два оксида: оксид титана (TiO2) и оксид гафния (HfO2). Для каждого оксида выполняется параметрическая идентификация соответствующей математической модели для наилучшего согласования с экспериментальными данными. Производится настройка нейронной сети в зависимости от используемого оксида и моделируется процесс ее обучения распознаванию пяти шаблонов.

Artificial neural networks play an important role in the modern world. Their main field of application is the tasks of recognition and processing of images, speech, as well as robotics and unmanned systems. The use of neural networks is associated with high computational costs. In part, it was this fact that held back their progress, and only with the advent of high-performance computing systems did the active development of this area begin. Nevertheless, the issue of speeding up the work of neural network algorithms is still relevant. One of the promising directions is the creation of analog implementations of artificial neural networks, since analog calculations are performed orders of magnitude faster than digital ones. The memristor acts as the basic element on which such systems are built. A memristor is a resistance, the conductivity of which depends on the total charge passed through it. Combining them into a matrix (crossbar) allows one layer of artificial synapses to be implemented at the hardware level. Traditionally, the STDP method based on Hebb’s rule has been used as an analog learning method. In this work, we are modeling a two-layer fully connected network with one layer of synapses. The memristive effect can manifest itself in different substances (mainly in different oxides), so it is important to understand how the characteristics of memristors will affect the parameters of the neural network. Two oxides are considered: titanium oxide (TiO2) and hafnium oxide (HfO2). For each oxide, a parametric identification of the corresponding mathematical model is performed to best fit the experimental data. The neural network is tuned depending on the oxide used and the process of training it to recognize five patterns is simulated.

мемристороксид титанаоксид гафниянейроморфная сетьимпульсная нейронная сетьSTDPраспознаваниеmemristortitanium oxidehafnium oxideneuromorphic networkimpulse neural networkSTDPrecognitionРабота выполнена при поддержке гранта РФФИ № 19-29-03051 мк.This work was supported by the RFBR grant No. 19-29-03051 MK.ReferencesWong H.-S. P., Lee H. Y., Yu S., Chen Y. S., Wu Y., Chen P. S., Lee B., Frederic T. Metal-oxide RRAM // Proceedings of the IEEE. 2012. V. 100, N 6. P. 1951—1970. DOI: 10.1109/JPROC.2012.2190369Wong H.-S. P., Lee H. Y., Yu S., Chen Y. S., Wu Y., Chen P. S., Lee B., Frederic T. Metal-oxide RRAM. Proceedings of the IEEE, 2012. vol. 100, no. 6, pp. 1951—1970. DOI: 10.1109/JPROC.2012.2190369Yang J. J., Strukov D. B., Stewart D. R. Memristive devices for computing // Nature Nanotechnology. 2013. V. 8, N 1. P. 13—24. DOI: 10.1038/nnano.2012.240Yang J. J., Strukov D. B., Stewart D. R. Memristive devices for computing. Nature Nanotechnology, 2013, vol. 8, no. 1, pp. 13—24. DOI: 10.1038/nnano.2012.240Li C., Hu M., Li Y., Jiang H., Ge N., Montgomery E., Zhang J., Song W., Dávila N., Graves C. E., Li Z., Strachan J. P., Lin P., Wang Z., Barnell M., Wu Q., Williams R. S., Yang J. J., Xia Q. Analogue signal and image processing with large memristor crossbars // Nature Electronics. 2018. V. 1, N 1. P. 52—59. DOI: 10.1038/s41928-017-0002-zLi C., Hu M., Li Y., Jiang H., Ge N., Montgomery E., Zhang J., Song W., Dávila N., Graves C. E., Li Z., Strachan J. P., Lin P., Wang Z., Barnell M., Wu Q., Williams R. S., Yang J. J., Xia Q. Analogue signal and image processing with large memristor crossbars. Nature Electronics, 2018, vol. 1, no. 1, pp. 52—59. DOI:10.1038/s41928-017-0002-zHu M., Graves C. E., Li C., Li Y., Ge N., Montgomery E., Davila N., Jiang H., Williams R. S., Yang J. J., Xia O., Strachan J. P. Memristor-Based Analog Computation and Neural Network Classification with a Dot Product Engine // Advanced Materials. 2018. V. 30. N 9, P. 1705914. DOI: 10.1002/adma.201705914Hu M., Graves C. E., Li C., Li Y., Ge N., Montgomery E., Davila N., Jiang H., Williams R. S., Yang J. J., Xia O., Strachan J. P. Memristor-based analog computation and neural network classification with a dot product engine. Advanced Materials, 2018, vol. 30, no. 9, pp. 1705914. DOI: 10.1002/adma.201705914Морозов А. Ю., Ревизников Д. Л., Абгарян К. К. Вопросы реализации нейросетевых алгоритмов на мемристорных кроссбарах // Известия вузов. Материалы электронной техники. 2019. Т. 22, № 4. С. 272—278. DOI: 10.17073/1609-3577-2019-4-272-278Morozov A. Yu., Reviznikov D. L., Abgaryan K. K. Issuues of implementing neural network algorithms on memristor crossbars. Izvestiya Vysshikh Uchebnykh Zavedenii. Materialy Elektronnoi Tekhniki = Materials of Electronics Engineering, 2019, vol. 22, no. 4, pp. 272—278. DOI: 10.17073/1609-3577-2019-4-272-278Diehl P., Cook M. Unsupervised learning of digit recognition using spike-timing-dependent plasticity // Frontiers in Computational Neuroscience. 2015. V. 9. P. 99. DOI: 10.3389/fncom.2015.00099Diehl P., Cook M. Unsupervised learning of digit recognition using spike-timing-dependent plasticity. Frontiers in Computational Neuroscience, 2015. vol. 9, pp. 99. DOI: 10.3389/fncom.2015.00099Ambrogio S., Milo V., Wang Z.-Q., Ramaswamy N., Balatty S., Carboni R., Calderoni A., Lelmibi D. Neuromorphic Learning and Recognition With One-Transistor-One-Resistor Synapses and Bistable Metal Oxide RRAM // IEEE Transactions on Electron Devices. 2016. V. 63, N 4. P. 1508—1515. DOI: 10.1109/TED.2016.2526647Ambrogio S., Milo V., Wang Z.-Q., Ramaswamy N., Balatty S., Carboni R., Calderoni A., Lelmibi D. Neuromorphic learning and recognition with one-transistor-one-resistor synapses and bistable metal oxide RRAM. IEEE Transactions on Electron Devices, 2016, vol. 63, no. 4, pp. 1508–1515. DOI: 10.1109/TED.2016.2526647Guo Y., Wu H., Gao B., Qian H. Unsupervised learning on resistive memory array based spiking neural networks // Frontiers in Neuroscience. 2019. V. 13, Art. 812. DOI: 10.3389/fnins.2019.00812Guo Y., Wu H., Gao B., Qian H. Unsupervised Learning on Resistive Memory Array Based Spiking Neural Networks. Frontiers in Neuroscience, 2019, vol. 13, p. 812. DOI: 10.3389/fnins.2019.00812Milo V., Laudato M., Ambrosi E., Chicca E., Pedretti G., Bricalli A., Bianchi S., Ielmini D. Resistive switching synapses for unsupervised learning in feed-forward and recurrent neural networks // IEEE International Symposium on Circuits and Systems (ISCAS). Florence. 2018. P. 1—5. DOI: 10.1109/ISCAS.2018.8351824Milo V. Laudato M., Ambrosi E., Chicca E., Pedretti G., Bricalli A., Bianchi S., Ielmini D. Resistive switching synapses for unsupervised learning in feed-forward and recurrent neural networks. International Symposium on Circuits and Systems. Florence (Italy): IEEE, 2018, pp. 1—5. DOI: 10.1109/ISCAS.2018.8351824Pedretti G., Bianchi S., Milo V., Calderoni A., Ramaswamy N., Ielmini D. Modeling-based design of brain-inspired spiking neural networks with RRAM learning synapses // IEEE International Electron Devices Meeting (IEDM). San Francisco (CA), 2017. P. 28.1.1—28.1.4. DOI: 10.1109/IEDM.2017.8268467Pedretti G., Bianchi S., Milo V., Calderoni A., Ramaswamy N., Ielmini D. Modeling-based design of brain-inspired spiking neural networks with RRAM learning synapses. International Electron Devices Meeting, San Francisco (CA, USA): IEEE, 2017, pp. 28.1.1—28.1.4. DOI: 10.1109/IEDM.2017.8268467Milo V., Ielmini D., Chicca E. Attractor networks and associative memories with STDP learning in RRAM synapses // IEEE International Electron Devices Meeting (IEDM). San Francisco(CA), 2017. P. 11.2.1—11.2.4. DOI: 10.1109/IEDM.2017.8268369Milo V., Ielmini D., Chicca E. Attractor networks and associative memories with STDP learning in RRAM synapses. International Electron Devices Meeting, San Francisco (CA, USA): IEEE, 2017, pp. 11.2.1—11.2.4. DOI: 10.1109/IEDM.2017.8268369Strukov D. B., Snider G. S., Stewart D. R., Williams R. S. The missing memristor found // Nature. 2008. V. 453, N 7191. P. 80—83. DOI: 10.1038/nature06932Strukov D. B., Snider G. S., Stewart D. R., Williams R. S. The missing memristor found. Nature. 2008, vol. 453, no. 7191, pp. 80. DOI: 10.1038/nature06932Yang J. J., Pickett M. D., Xuema L., Ohlberg D. A. A., Stewart D. R., Williams R. S. Memristive switching mechanism for metal/oxide/metal nanodevices // Nature nanotechnology. 2008. V. 3, N 7. P. 429—433. DOI: 10.1038/nnano.2008.160Yang J. J., Pickett M. D., Xuema L., Ohlberg D. A. A., Stewart D. R., Williams R. S. Memristive switching mechanism for metal/oxide/metal nanodevices. Nature nanotechnology, 2008, vol. 3, no. 7, pp. 429—433. DOI: 10.1038/nnano.2008.160Pickett M. D., Stukov D. B., Borghetti J. L., Yang J. J., Snider G. S., Stewart D. R., Williams R. S. Switching dynamics in titanium dioxide memristive devices // J. Appl. Phys. 2009. V. 106, N 7. Art. 074508. DOI: 10.1063/1.3236506Pickett M. D., Stukov D. B., Borghetti J. L., Yang J. J., Snider G. S., Stewart D. R., Williams R. S. Switching dynamics in titanium dioxide memristive devices. J. Appl. Phys., 2009, vol. 106, no. 7, pp. 074508. DOI: 10.1063/1.3236506Joglekar Y. N., Wolf S. J. The elusive memristor: properties of basic electrical circuits // European Journal of Physics. 2009. V. 30, N 4. P. 661. DOI: 10.1088/0143-0807/30/4/001Joglekar Y. N., Wolf S. J. The elusive memristor: properties of basic electrical circuits. European J. Physics, 2009, vol. 30, no. 4, pp. 661. DOI: 10.1088/0143-0807/30/4/001Biolek Z., Biolek D., Biolkova V. SPICE Model of memristor with nonlinear dopant drift // Radioengineering. 2009. V. 18, N 2. P. 210—214. URL: https://www.radioeng.cz/fulltexts/2009/09_02_210_214.pdfBiolek Z., Biolek D., Biolkova V. SPICE model of memristor with nonlinear dopant drift. Radioengineering, 2009, vol. 18, no. 2, pp. 210—214. URL: https://www.radioeng.cz/fulltexts/2009/09_02_210_214.pdfProdromakis T., Peh B. P., Papavassiliou C., Toumazou C. A versatile memristor model with nonlinear dopant kinetics // IEEE Transactions on Electron Devices. 2011. V. 58, N 9. P. 3099—3105. DOI: 10.1109/TED.2011.2158004Prodromakis T., Peh B. P., Papavassiliou C., Toumazou C. A versatile memristor model with nonlinear dopant kinetics. IEEE Transactions on Electron Devices, 2011. vol. 58, no. 9, pp. 3099—3105. DOI: 10.1109/TED.2011.2158004Zha J., Huang H., Liu Y. A novel window function for memristor model with application in programming analog circuits // IEEE Transactions on Circuits and Systems II: Express Briefs. 2015. V. 63, N 5. P. 423—427. DOI: 10.1109/TCSII.2015.2505959Zha J., Huang H., Liu Y. A novel window function for memristor model with application in programming analog circuits. IEEE Transactions on Circuits and Systems II: Express Briefs. 2015. vol. 63, no. 5, pp. 423—427. DOI: 10.1109/TCSII.2015.2505959Kvatinsky S., Friedman E. G., Kolodny A., Weiser U. C. TEAM: Threshold adaptive memristor model // IEEE Transactions on Circuits and Systems I: Regular Papers. 2012. V. 60, N 1. P. 211—221. DOI: 10.1109/TCSI.2012.2215714Kvatinsky S., Friedman E. G., Kolodny A., Weiser U. C. TEAM: ThrEshold adaptive memristor model. IEEE Transactions on Circuits and Systems I: Regular Papers, 2013, vol. 60, no. 1, pp. 211—221. DOI: 10.1109/TCSI.2012.2215714Kvatinsky S., Ramadan M., Friedman E. G., Kolodny A. VTEAM: A general model for voltage-controlled memristors // IEEE Transactions on Circuits and Systems II: Express Briefs. 2015. V. 62, N 8. P. 786—790. DOI: 10.1109/TCSII.2015.2433536Kvatinsky S., Ramadan M., Friedman E. G., Kolodny A. VTEAM: A general model for voltage-controlled memristors. IEEE Transactions on Circuits and Systems II: Express Briefs, 2015, vol. 62, no. 8, pp. 786—790. DOI: 10.1109/TCSII.2015.2433536Yakopcic C., Taha T. M., Subramanyam G., Pino R. E., Rogers S. A memristor device model // IEEE Electron Device Letters. 2011. V. 32, N 10. P. 1436—1438. DOI: 10.1109/LED.2011.2163292Yakopcic C., Taha T. M., Subramanyam G., Pino R. E., Rogers S. A memristor device model. IEEE Electron Device Letters, 2011, vol. 32, no. 10, pp. 1436—1438. DOI: 10.1109/LED.2011.2163292Zheng G., Mohanty S. P., Kougianos E., Okobiah O. Polynomial Metamodel integrated Verilog-AMS for memristor-based mixed-signal system design // IEEE 56th International Midwest Symposium on Circuits and Systems (MWSCAS). Columbus (OH), 2013. P. 916—919. DOI: 10.1109/MWSCAS.2013.6674799Zheng G., Mohanty S. P., Kougianos E., Okobiah O. Polynomial metamodel integrated Verilog-AMS for memristor-based mixed-signal system design. International Midwest Symposium on Circuits and Systems (MWSCAS), Columbus (OH, USA): IEEE, 2013, pp. 916—919. DOI: 10.1109/MWSCAS.2013.6674799Mladenov V. Analysis of memory matrices with HfO2 memristors in a PSpice environment // Electronics. 2019. V. 8, N 4. P. 383 (16pp.). DOI: 10.3390/electronics8040383Mladenov V. Analysis of memory matrices with HfO2 memristors in a PSpice environment. Electronics, 2019, vol. 8, no. 4, p. 383. DOI: 10.3390/electronics8040383Teplov G. S., Gornev E. S. Multilevel bipolar memristor model considering deviations of switching parameters in the Verilog-A language // Russ. Microelectron. 2019. V. 48, N 3. P. 131—142. DOI: 10.1134/S1063739719030107Teplov G. S., Gornev E. S. Multilevel bipolar memristor model considering deviations of switching parameters in the Verilog-A language. Russian Microelectronics, 2019. vol. 48, no. 3, pp. 131—142. DOI: 10.1134/S1063739719030107Morozov A. Y., Reviznikov D. L. Adaptive interpolation algorithm based on a kd-tree for numerical integration of systems of ordinary differential equations with interval initial conditions // Differential Equations. 2018. V. 54, N 7. P. 945—956. DOI: 10.1134/S0012266118070121Morozov A. Y., Reviznikov D. L. Adaptive interpolation algorithm based on a kd-tree for numerical integration of systems of ordinary differential equations with interval initial conditions. Differential Equations, 2018, vol. 54, no. 7, pp. 945—956. DOI: 10.1134/S0012266118070121Morozov A. Yu., Reviznikov D. L., Gidaspov V. Yu. Adaptive interpolation algorithm based on a kd-tree for the problems of chemical kinetics with interval parameters // Mathematical Models and Computer Simulations. 2019. V. 11, N 4. P. 622—633. DOI: 10.1134/S2070048219040100.Morozov A. Yu., Reviznikov D. L., Gidaspov V. Yu. Adaptive interpolation algorithm based on a kd-tree for the problems of chemical kinetics with interval parameters. Mathematical Models and Computer Simulations, 2019, vol. 11, no. 4, pp. 622—633. DOI: 10.1134/S2070048219040100Morozov A. Y., Abgaryan K. K., Reviznikov D. L. Mathematical model of a neuromorphic network based on memristive elements // Chaos, Solitons & Fractals. 2021. V. 143, Art. 110548. DOI: 10.1016/j.chaos.2020.110548Morozov A. Y., Abgaryan K. K., Reviznikov D. L. Mathematical model of a neuromorphic network based on memristive elements. Chaos, Solitons & Fractals, 2021, vol. 143, p. 110548. DOI: 10.1016/j.chaos.2020.110548

The authors declare that there are no conflicts of interest present.