<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">mateltech</journal-id><journal-title-group><journal-title xml:lang="ru">Известия высших учебных заведений. Материалы электронной техники</journal-title><trans-title-group xml:lang="en"><trans-title>Izvestiya Vysshikh Uchebnykh Zavedenii. Materialy Elektronnoi Tekhniki = Materials of Electronics Engineering</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1609-3577</issn><issn pub-type="epub">2413-6387</issn><publisher><publisher-name>MISIS</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.17073/1609-3577-2020-3-241-247</article-id><article-id custom-type="elpub" pub-id-type="custom">mateltech-420</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>Общие вопросы</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>GENERAL ISSUES</subject></subj-group></article-categories><title-group><article-title>Вопросы выбора показателей эффективности функционирования высокопроизводительного вычислительного комплекса на примере ЦКП «Информатика» ФИЦ ИУ РАН</article-title><trans-title-group xml:lang="en"><trans-title>Choice of HPC cluster performance indicators for the example of the "Informatika" Center for Collective Use of the FRC CSC RAS</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-8872-2774</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Зацаринный</surname><given-names>А. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Zatsarinny</surname><given-names>A. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>ул. Вавилова, д. 44, корп. 2, Москва, 119333</p><p>Зацаринный Александр Алексеевич — доктор техн. наук, заместитель директора</p></bio><bio xml:lang="en"><p>44 Vavilov Str., Moscow 119333</p><p>A. A. Zatsarinny</p></bio><email xlink:type="simple">AZatsarinny@ipiran.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Волович</surname><given-names>К. И.</given-names></name><name name-style="western" xml:lang="en"><surname>Volovich</surname><given-names>K. I.</given-names></name></name-alternatives><bio xml:lang="ru"><p>ул. Вавилова, д. 44, корп. 2, Москва, 119333</p><p>Волович Константин Иосифович — канд. техн. наук, старший научный сотрудник</p><p> </p></bio><bio xml:lang="en"><p>44 Vavilov Str., Moscow 119333</p><p>K. I. Volovich</p></bio><email xlink:type="simple">KVolovich@frccsc.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Денисов</surname><given-names>С. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Denisov</surname><given-names>S. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>ул. Вавилова, д. 44, корп. 2, Москва, 119333</p><p>Денисов Сергей Анатольевич — ведущий инженер</p></bio><bio xml:lang="en"><p>44 Vavilov Str., Moscow 119333</p><p>S. A. Denisov</p></bio><email xlink:type="simple">sdenisov@frccsc.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Ионенков</surname><given-names>Ю. С.</given-names></name><name name-style="western" xml:lang="en"><surname>Ionenkov</surname><given-names>Yu. S.</given-names></name></name-alternatives><bio xml:lang="ru"><p>ул. Вавилова, д. 44, корп. 2, Москва, 119333</p><p>Ионенков Юрий Сергеевич — канд. техн. наук, старший научный сотрудник</p></bio><bio xml:lang="en"><p>44 Vavilov Str., Moscow 119333</p><p>Yu. S. Ionenkov</p></bio><email xlink:type="simple">UIonenkov@ipiran.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-1224-1392</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Кондрашев</surname><given-names>В. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Kondrashev</surname><given-names>V. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>ул. Вавилова, д. 44, корп. 2, Москва, 119333</p><p>Кондрашев Вадим Адольфович — канд. техн. наук, заместитель директора</p></bio><bio xml:lang="en"><p>44 Vavilov Str., Moscow 119333</p><p>V. A. Kondrashev</p></bio><email xlink:type="simple">vkondrashev@frccsc.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Федеральный исследовательский центр «Информатика и управление» Российской академии наук</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Federal Research Centre “Information and Control” of the Russian Academy of Sciences</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2020</year></pub-date><pub-date pub-type="epub"><day>11</day><month>02</month><year>2021</year></pub-date><volume>23</volume><issue>3</issue><fpage>241</fpage><lpage>247</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Зацаринный А.А., Волович К.И., Денисов С.А., Ионенков Ю.С., Кондрашев В.А., 2020</copyright-statement><copyright-year>2020</copyright-year><copyright-holder xml:lang="ru">Зацаринный А.А., Волович К.И., Денисов С.А., Ионенков Ю.С., Кондрашев В.А.</copyright-holder><copyright-holder xml:lang="en">Zatsarinny A.A., Volovich K.I., Denisov S.A., Ionenkov Y.S., Kondrashev V.A.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://met.misis.ru/jour/article/view/420">https://met.misis.ru/jour/article/view/420</self-uri><abstract><p>В статье рассматривается методика, позволяющая оценить эффективность высокопроизводительной платформы для научных исследований. Оценка проводится на примере центра коллективного пользования (ЦКП) «Информатика», ФИЦ ИУ РАН, при решении задач синтеза новых материалов. Основной задачей ЦКП «Информатика» является проведение научных исследований с использованием программно-технических средств ЦОД ФИЦ ИУ РАН, в том числе в интересах сторонних организаций и научных коллективов. Представлена общая характеристика ЦКП «Информатика» включая основные характеристики его научного оборудования, организацию работы и его возможности. Гибридный высокопроизводительный вычислительный комплекс ФИЦ ИУ РАН (ГВВК), является составной частью ЦОД ФИЦ ИУ РАН и входит в ЦКП «Информатика». ГВВК предоставляет вычислительные ресурсы в виде облачных услуг «Программное обеспечение как сервис» - SaaS и «Платформа как сервис» - PaaS. С помощью специальных технологий исследователям предоставляется научные сервисы в виде предметно-ориентированных программ. На основе анализа структуры и принципов функционирования ЦКП «Информатика» разработаны базовые показатели эффективности ЦКП, учитывающие его специфику и характеризующий различные аспекты деятельности (развития, деятельности, результативности). Оценка эффективности ЦКП заключается в расчете на основе разработанных показателей некоторых сводных (обобщенных) показателей, которые характеризуют эффективность функционирования ЦКП в различных областях. Также вычисляется интегральный показатель, показывающий эффективность ЦКП в целом. Для получения сводных показателей эффективности и интегрального показателя эффективности предложено использовать методы среднего взвешенного и анализа иерархий. Рассмотрен порядок определения частных показателей эффективности. Отмечены особенности выбора показателей эффективности ЦКП при решении задач синтеза новых материалов, характеризующие возможности вычислительного комплекса по созданию среды виртуализации (пиковая производительность вычислительной системы, реальная производительность вычислительной системы на специализированных тестах, загрузка оборудования прикладными задачами, эффективность программного кода).</p></abstract><trans-abstract xml:lang="en"><p>This article discusses a methodology for assessing the effectiveness of a high-performance research platform. The assessment is carried out for the example of the "Informatika" Center for Collective Use (CCU) established at the Federal Research Center of the Institute of Management of the Russian Academy of Sciences, for solving new materials synthesis problems. The main objective of the "Informatika" Center for Collective Use is to conduct research using the software and hardware of the data center of the FRC IU RAS, including for the benefit of third-party organizations and research teams. The general characteristics of the "Informatika" Center for Collective Use are presented, including the main characteristics of its scientific equipment, work organization and capabilities. The hybrid high-performance computing cluster of the FRC CSC RAS (HHPCC) is part of the data center of the FRC IU RAS and also part of the “Informatika” Center for Collective Use. HHPCC provides computing resources in the form of cloud services as software (SaaS) and platform (PaaS) services. With the aid of special technologies, scientific services are delivered to researchers in the form of subject-oriented applications. Based on the analysis of the structure and operation principles of the Informatika Center, key performance indicators of the Center have been developed taking into account its specific tasks in order to characterize its various activity aspects (development, activities and performance). CCU efficiency evaluation implies calculation, on the basis of the developed indicators, of overall (generalized) indicators that characterize the CCU operation efficiency in various areas. An integral indicator is also calculated showing the overall CCU efficiency. To develop the overall performance indicators and the integral performance indicator, it is suggested to use the methods of weighted average and analysis of hierarchies. The procedure of determining partial performance indicators has been considered. Specific features of the choice of CCU performance indicators for solving new materials synthesis problems have been identified that characterize computing complex capabilities in the creation of a virtualization environment (peak performance of a computing system, real performance of a computing system on specialized tests, equipment loading with applied tasks and program code efficiency).</p></trans-abstract><kwd-group xml:lang="ru"><kwd>центр коллективного пользования</kwd><kwd>эффективность</kwd><kwd>показатель</kwd><kwd>услуга</kwd><kwd>научный сервис</kwd></kwd-group><kwd-group xml:lang="en"><kwd>center for collective use</kwd><kwd>performance</kwd><kwd>indicator</kwd><kwd>service</kwd><kwd>scientific service</kwd></kwd-group><funding-group><funding-statement xml:lang="ru">Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов №18-29-03091 и №19-29-03051мк.</funding-statement><funding-statement xml:lang="en">The study was carried out with the financial support of the Russian Foundation for Basic Research within the framework of research projects No. 18-29-03091 and No. 19-29-03051mk.</funding-statement></funding-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Постановление Правительства РФ от 17 мая 2016 (01 октября 2018 г. с доп. и изм.) г. № 429 «О требованиях к центрам коллективного пользования научным оборудованием и уникальным научным установкам, которые созданы и (или) функционирование которых обеспечивается с привлечением бюджетных средств, и правилах их функционирования». URL: https://base.garant.ru/71402960/</mixed-citation><mixed-citation xml:lang="en">Постановление Правительства РФ от 17 мая 2016 (01 октября 2018 г. с доп. и изм.) г. № 429 «О требованиях к центрам коллективного пользования научным оборудованием и уникальным научным установкам, которые созданы и (или) функционирование которых обеспечивается с привлечением бюджетных средств, и правилах их функционирования». URL: https://base.garant.ru/71402960/</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Центр коллективного пользования «Информатика». URL: http://www.frccsc.ru/ckp</mixed-citation><mixed-citation xml:lang="en">Центр коллективного пользования «Информатика». URL: http://www.frccsc.ru/ckp</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Кондрашев В. А., Волович К. И. Управление сервисами цифровой платформы на примере услуги высокопроизводительных вычислений // Международная научная конференция «Математическое моделирование и информационные технологии в инженерных и бизнес-приложениях». Воронеж, 2018. С. 217—223.</mixed-citation><mixed-citation xml:lang="en">Кондрашев В. А., Волович К. И. Управление сервисами цифровой платформы на примере услуги высокопроизводительных вычислений // Международная научная конференция «Математическое моделирование и информационные технологии в инженерных и бизнес-приложениях». Воронеж, 2018. С. 217—223.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Zatsarinny A. A., Kondrashev V. A., Sorokin A. A. Approaches to the organization of the computing process of a hybrid high-performance computing cluster in the digital platform environment // 5th International Conference on Information Technologies and High-Performance Computing (ITHPC 2019). CEUR Workshop Proceedings, 2019. V. 2426. P. 12—16. URL: http://ceur-ws.org/Vol-2426/paper2.pdf</mixed-citation><mixed-citation xml:lang="en">Zatsarinny A. A., Kondrashev V. A., Sorokin A. A. Approaches to the organization of the computing process of a hybrid high-performance computing cluster in the digital platform environment // 5th International Conference on Information Technologies and High-Performance Computing (ITHPC 2019). CEUR Workshop Proceedings, 2019. V. 2426. P. 12—16. URL: http://ceur-ws.org/Vol-2426/paper2.pdf</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Zatsarinny A. A., Gorshenin A. K., Kondrashev V. A., Volovich K. I., Denisov S. A. Toward high performance solutions as services of research digital platform // 13th International Symposium «Intelligent Systems» (INTELS 2018). St. Petersburg, 2019. P. 622—627.</mixed-citation><mixed-citation xml:lang="en">Zatsarinny A. A., Gorshenin A. K., Kondrashev V. A., Volovich K. I., Denisov S. A. Toward high performance solutions as services of research digital platform // 13th International Symposium «Intelligent Systems» (INTELS 2018). St. Petersburg, 2019. P. 622—627.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Volovich K. I., Denisov S. A., Shabanov A. P., Malkovsky S. I. Aspects of the assessment of the quality of loading hybrid high-performance computing cluster // 5th International Conference on Information Technologies and High-Performance Computing (ITHPC 2019). CEUR Workshop Proceedings, 2019. V. 2426. P. 7—11. URL: http://ceur-ws.org/Vol-2426/paper1.pdf</mixed-citation><mixed-citation xml:lang="en">Volovich K. I., Denisov S. A., Shabanov A. P., Malkovsky S. I. Aspects of the assessment of the quality of loading hybrid high-performance computing cluster // 5th International Conference on Information Technologies and High-Performance Computing (ITHPC 2019). CEUR Workshop Proceedings, 2019. V. 2426. P. 7—11. URL: http://ceur-ws.org/Vol-2426/paper1.pdf</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Ding F., an Mey D., Wienke S., Zhang R., Li L. A study on today's cloud environments for HPC applications // In: Helfert M., Desprez F., Ferguson D., Leymann F. (Eds.) Cloud Computing and Services Science. CLOSER 2013. Cham: Springer, 2014. P. 114—127. DOI: 10.1007/978-3-319-11561-0_8</mixed-citation><mixed-citation xml:lang="en">Ding F., an Mey D., Wienke S., Zhang R., Li L. A study on today's cloud environments for HPC applications // In: Helfert M., Desprez F., Ferguson D., Leymann F. (Eds.) Cloud Computing and Services Science. CLOSER 2013. Cham: Springer, 2014. P. 114—127. DOI: 10.1007/978-3-319-11561-0_8</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Волович К. И., Денисов С. А., Мальковский С. И. Формирование индивидуальной среды моделирования в гибридном высокопроизводительном вычислительном комплексе // Известия вузов. Материалы электронной техники. 2019. Т. 22, № 3. С. 197—201. DOI: 10.17073/1609-3577-2019-3-197-201</mixed-citation><mixed-citation xml:lang="en">Волович К. И., Денисов С. А., Мальковский С. И. Формирование индивидуальной среды моделирования в гибридном высокопроизводительном вычислительном комплексе // Известия вузов. Материалы электронной техники. 2019. Т. 22, № 3. С. 197—201. DOI: 10.17073/1609-3577-2019-3-197-201</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">ГОСТ 34.003-90. Информационная технология (ИТ). Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения. М.: Стандартинформ, 2009. 14 с.</mixed-citation><mixed-citation xml:lang="en">ГОСТ 34.003-90. Информационная технология (ИТ). Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения. М.: Стандартинформ, 2009. 14 с.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Надежность и эффективность в технике: справочник. В 10 т. Т. 3. Эффективность технических систем / Под ред. В. Ф. Уткина. М.: Машиностроение, 1988. 328 с.</mixed-citation><mixed-citation xml:lang="en">Надежность и эффективность в технике: справочник. В 10 т. Т. 3. Эффективность технических систем / Под ред. В. Ф. Уткина. М.: Машиностроение, 1988. 328 с.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">ГОСТ 24.702-85. Единая система стандартов автоматизированных систем управления. Эффективность автоматизированных систем управления. Основные положения. М.: Стандартинформ, 2009. 6 с.</mixed-citation><mixed-citation xml:lang="en">ГОСТ 24.702-85. Единая система стандартов автоматизированных систем управления. Эффективность автоматизированных систем управления. Основные положения. М.: Стандартинформ, 2009. 6 с.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Зацаринный А. А., Ионенков Ю. С. Некоторые методические аспекты выбора показателей эффективности информационных систем // Системы высокой доступности. 2019. Т. 15, № 4. С. 19—26.</mixed-citation><mixed-citation xml:lang="en">Зацаринный А. А., Ионенков Ю. С. Некоторые методические аспекты выбора показателей эффективности информационных систем // Системы высокой доступности. 2019. Т. 15, № 4. С. 19—26.</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Окунев Ю. Б., Плотников В. Г. Принципы системного подхода к проектированию в технике связи. М.: Связь, 1976. 183 с.</mixed-citation><mixed-citation xml:lang="en">Окунев Ю. Б., Плотников В. Г. Принципы системного подхода к проектированию в технике связи. М.: Связь, 1976. 183 с.</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Бомас В. В., Судаков В. А., Афонин К. А. Поддержка принятия многокритериальных решений по предпочтениям пользователя. СППР DSS/UTES: монография / Под общ. ред. В. В. Бомаса. М.: Изд-во МАИ, 2006. 169 с.</mixed-citation><mixed-citation xml:lang="en">Бомас В. В., Судаков В. А., Афонин К. А. Поддержка принятия многокритериальных решений по предпочтениям пользователя. СППР DSS/UTES: монография / Под общ. ред. В. В. Бомаса. М.: Изд-во МАИ, 2006. 169 с.</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993. 278 с.</mixed-citation><mixed-citation xml:lang="en">Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993. 278 с.</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Зацаринный А. А., Ионенков Ю. С., Шабанов А. П. К вопросу о сравнительной оценке эффективности ситуационных центров // Системы и средства информатики. 2013. Т. 23, № 2. С. 170—186. DOI: 10.14357/08696527130212</mixed-citation><mixed-citation xml:lang="en">Зацаринный А. А., Ионенков Ю. С., Шабанов А. П. К вопросу о сравнительной оценке эффективности ситуационных центров // Системы и средства информатики. 2013. Т. 23, № 2. С. 170—186. DOI: 10.14357/08696527130212</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Зацаринный А. А., Ионенков Ю. С. К вопросу оценки эффективности автоматизированных систем с использованием метода анализа иерархий // Системы и средства информатики. 2015. Т. 25, № 3. С. 161—178. DOI: 10.14357/08696527150310</mixed-citation><mixed-citation xml:lang="en">Зацаринный А. А., Ионенков Ю. С. К вопросу оценки эффективности автоматизированных систем с использованием метода анализа иерархий // Системы и средства информатики. 2015. Т. 25, № 3. С. 161—178. DOI: 10.14357/08696527150310</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Зацаринный А. А., Гаранин А. И., Кондрашев В. А., Волович К. И., Мальковский С. И. Оценка надежности гибридного высокопроизводительного вычислительного комплекса при решении научных задач // Системы и средства информатики. 2019. Т. 29, № 2. С. 135—147. DOI: 10.14357/08696527190212</mixed-citation><mixed-citation xml:lang="en">Зацаринный А. А., Гаранин А. И., Кондрашев В. А., Волович К. И., Мальковский С. И. Оценка надежности гибридного высокопроизводительного вычислительного комплекса при решении научных задач // Системы и средства информатики. 2019. Т. 29, № 2. С. 135—147. DOI: 10.14357/08696527190212</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Волович К. И. Оценка загрузки гибридного вычислительного комплекса при выполнении задач моделирования в материаловедении // Материалы II Международной конференции «Математическое моделирование в материаловедении электронных компонентов» (МММЭК-2020). М.: МАКС Пресс, 2020. С. 30—33.</mixed-citation><mixed-citation xml:lang="en">Волович К. И. Оценка загрузки гибридного вычислительного комплекса при выполнении задач моделирования в материаловедении // Материалы II Международной конференции «Математическое моделирование в материаловедении электронных компонентов» (МММЭК-2020). М.: МАКС Пресс, 2020. С. 30—33.</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Саркисян С. А., Голованов Л. В. Прогнозирование развития больших систем. М.: Статистика, 1975. 192 с.</mixed-citation><mixed-citation xml:lang="en">Саркисян С. А., Голованов Л. В. Прогнозирование развития больших систем. М.: Статистика, 1975. 192 с.</mixed-citation></citation-alternatives></ref><ref id="cit21"><label>21</label><citation-alternatives><mixed-citation xml:lang="ru">Соломонов Ю. С., Шахтарин Ф. К. Большие системы: гарантийный надзор и эффективность / Под ред. Ю. С. Соломонова. М.: Машиностроение, 2003. 368 с.</mixed-citation><mixed-citation xml:lang="en">Соломонов Ю. С., Шахтарин Ф. К. Большие системы: гарантийный надзор и эффективность / Под ред. Ю. С. Соломонова. М.: Машиностроение, 2003. 368 с.</mixed-citation></citation-alternatives></ref><ref id="cit22"><label>22</label><citation-alternatives><mixed-citation xml:lang="ru">Зацаринный А. А., Ионенков Ю. С. Метод выбора варианта построения информационно-телекоммуникационной системы // Системы и средства информатики. 2019, Т. 29, № 3. С. 114—126. DOI:10.14357/08696527190310</mixed-citation><mixed-citation xml:lang="en">Зацаринный А. А., Ионенков Ю. С. Метод выбора варианта построения информационно-телекоммуникационной системы // Системы и средства информатики. 2019, Т. 29, № 3. С. 114—126. DOI:10.14357/08696527190310</mixed-citation></citation-alternatives></ref><ref id="cit23"><label>23</label><citation-alternatives><mixed-citation xml:lang="ru">Ларичев О. И. Теория и методы принятия решений. М.: Логос, 2007. 392 с.</mixed-citation><mixed-citation xml:lang="en">Ларичев О. И. Теория и методы принятия решений. М.: Логос, 2007. 392 с.</mixed-citation></citation-alternatives></ref><ref id="cit24"><label>24</label><citation-alternatives><mixed-citation xml:lang="ru">Семенов С. С. Оценка качества и технического уровня сложных систем: практика применения метода экспертных оценок. М.: Ленанд, 2019. 352 с.</mixed-citation><mixed-citation xml:lang="en">Семенов С. С. Оценка качества и технического уровня сложных систем: практика применения метода экспертных оценок. М.: Ленанд, 2019. 352 с.</mixed-citation></citation-alternatives></ref><ref id="cit25"><label>25</label><citation-alternatives><mixed-citation xml:lang="ru">Бомас В. В., Судаков В. А. Поддержка субъективных решений в многокритериальных задачах: монография. М.: Изд-во МАИ, 2011. 173 с.</mixed-citation><mixed-citation xml:lang="en">Бомас В. В., Судаков В. А. Поддержка субъективных решений в многокритериальных задачах: монография. М.: Изд-во МАИ, 2011. 173 с.</mixed-citation></citation-alternatives></ref><ref id="cit26"><label>26</label><citation-alternatives><mixed-citation xml:lang="ru">Зацаринный А. А., Волович К. И., Денисов С. А., Ионенков Ю. С., Кондрашев В. А. Методические подходы к оценке эффективности центра коллективного пользования «Информатика» // Системы высокой доступности. 2020. Т. 16, № 2. С. 44—51. DOI: 10.18127/j20729472-202002-04</mixed-citation><mixed-citation xml:lang="en">Зацаринный А. А., Волович К. И., Денисов С. А., Ионенков Ю. С., Кондрашев В. А. Методические подходы к оценке эффективности центра коллективного пользования «Информатика» // Системы высокой доступности. 2020. Т. 16, № 2. С. 44—51. DOI: 10.18127/j20729472-202002-04</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
