Choice of HPC cluster performance indicators for the example of the "Informatika" Center for Collective Use of the FRC CSC RAS

This article discusses a methodology for assessing the effectiveness of a high-performance research platform. The assessment is carried out for the example of the "Informatika" Center for Collective Use (CCU) established at the Federal Research Center of the Institute of Management of the Russian Academy of Sciences, for solving new materials synthesis problems. The main objective of the "Informatika" Center for Collective Use is to conduct research using the software and hardware of the data center of the FRC IU RAS, including for the benefit of third-party organizations and research teams. The general characteristics of the "Informatika" Center for Collective Use are presented, including the main characteristics of its scientific equipment, work organization and capabilities. The hybrid high-performance computing cluster of the FRC CSC RAS (HHPCC) is part of the data center of the FRC IU RAS and also part of the “Informatika” Center for Collective Use. HHPCC provides computing resources in the form of cloud services as software (SaaS) and platform (PaaS) services. With the aid of special technologies, scientific services are delivered to researchers in the form of subject-oriented applications. Based on the analysis of the structure and operation principles of the Informatika Center, key performance indicators of the Center have been developed taking into account its specific tasks in order to characterize its various activity aspects (development, activities and performance). CCU efficiency evaluation implies calculation, on the basis of the developed indicators, of overall (generalized) indicators that characterize the CCU operation efficiency in various areas. An integral indicator is also calculated showing the overall CCU efficiency. To develop the overall performance indicators and the integral performance indicator, it is suggested to use the methods of weighted average and analysis of hierarchies. The procedure of determining partial performance indicators has been considered. Specific features of the choice of CCU performance indicators for solving new materials synthesis problems have been identified that characterize computing complex capabilities in the creation of a virtualization environment (peak performance of a computing system, real performance of a computing system on specialized tests, equipment loading with applied tasks and program code efficiency).

1. Постановление Правительства РФ от 17 мая 2016 (01 октября 2018 г. с доп. и изм.) г. № 429 «О требованиях к центрам коллективного пользования научным оборудованием и уникальным научным установкам, которые созданы и (или) функционирование которых обеспечивается с привлечением бюджетных средств, и правилах их функционирования». URL: https://base.garant.ru/71402960/

2. Центр коллективного пользования «Информатика». URL: http://www.frccsc.ru/ckp

3. Кондрашев В. А., Волович К. И. Управление сервисами цифровой платформы на примере услуги высокопроизводительных вычислений // Международная научная конференция «Математическое моделирование и информационные технологии в инженерных и бизнес-приложениях». Воронеж, 2018. С. 217—223.

4. Zatsarinny A. A., Kondrashev V. A., Sorokin A. A. Approaches to the organization of the computing process of a hybrid high-performance computing cluster in the digital platform environment // 5th International Conference on Information Technologies and High-Performance Computing (ITHPC 2019). CEUR Workshop Proceedings, 2019. V. 2426. P. 12—16. URL: http://ceur-ws.org/Vol-2426/paper2.pdf

5. Zatsarinny A. A., Gorshenin A. K., Kondrashev V. A., Volovich K. I., Denisov S. A. Toward high performance solutions as services of research digital platform // 13th International Symposium «Intelligent Systems» (INTELS 2018). St. Petersburg, 2019. P. 622—627.

6. Volovich K. I., Denisov S. A., Shabanov A. P., Malkovsky S. I. Aspects of the assessment of the quality of loading hybrid high-performance computing cluster // 5th International Conference on Information Technologies and High-Performance Computing (ITHPC 2019). CEUR Workshop Proceedings, 2019. V. 2426. P. 7—11. URL: http://ceur-ws.org/Vol-2426/paper1.pdf

7. Ding F., an Mey D., Wienke S., Zhang R., Li L. A study on today's cloud environments for HPC applications // In: Helfert M., Desprez F., Ferguson D., Leymann F. (Eds.) Cloud Computing and Services Science. CLOSER 2013. Cham: Springer, 2014. P. 114—127. DOI: 10.1007/978-3-319-11561-0_8

8. Волович К. И., Денисов С. А., Мальковский С. И. Формирование индивидуальной среды моделирования в гибридном высокопроизводительном вычислительном комплексе // Известия вузов. Материалы электронной техники. 2019. Т. 22, № 3. С. 197—201. DOI: 10.17073/1609-3577-2019-3-197-201

9. ГОСТ 34.003-90. Информационная технология (ИТ). Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения. М.: Стандартинформ, 2009. 14 с.

10. Надежность и эффективность в технике: справочник. В 10 т. Т. 3. Эффективность технических систем / Под ред. В. Ф. Уткина. М.: Машиностроение, 1988. 328 с.

11. ГОСТ 24.702-85. Единая система стандартов автоматизированных систем управления. Эффективность автоматизированных систем управления. Основные положения. М.: Стандартинформ, 2009. 6 с.

12. Зацаринный А. А., Ионенков Ю. С. Некоторые методические аспекты выбора показателей эффективности информационных систем // Системы высокой доступности. 2019. Т. 15, № 4. С. 19—26.

13. Окунев Ю. Б., Плотников В. Г. Принципы системного подхода к проектированию в технике связи. М.: Связь, 1976. 183 с.

14. Бомас В. В., Судаков В. А., Афонин К. А. Поддержка принятия многокритериальных решений по предпочтениям пользователя. СППР DSS/UTES: монография / Под общ. ред. В. В. Бомаса. М.: Изд-во МАИ, 2006. 169 с.

15. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993. 278 с.

16. Зацаринный А. А., Ионенков Ю. С., Шабанов А. П. К вопросу о сравнительной оценке эффективности ситуационных центров // Системы и средства информатики. 2013. Т. 23, № 2. С. 170—186. DOI: 10.14357/08696527130212

17. Зацаринный А. А., Ионенков Ю. С. К вопросу оценки эффективности автоматизированных систем с использованием метода анализа иерархий // Системы и средства информатики. 2015. Т. 25, № 3. С. 161—178. DOI: 10.14357/08696527150310

18. Зацаринный А. А., Гаранин А. И., Кондрашев В. А., Волович К. И., Мальковский С. И. Оценка надежности гибридного высокопроизводительного вычислительного комплекса при решении научных задач // Системы и средства информатики. 2019. Т. 29, № 2. С. 135—147. DOI: 10.14357/08696527190212

19. Волович К. И. Оценка загрузки гибридного вычислительного комплекса при выполнении задач моделирования в материаловедении // Материалы II Международной конференции «Математическое моделирование в материаловедении электронных компонентов» (МММЭК-2020). М.: МАКС Пресс, 2020. С. 30—33.

20. Саркисян С. А., Голованов Л. В. Прогнозирование развития больших систем. М.: Статистика, 1975. 192 с.

21. Соломонов Ю. С., Шахтарин Ф. К. Большие системы: гарантийный надзор и эффективность / Под ред. Ю. С. Соломонова. М.: Машиностроение, 2003. 368 с.

22. Зацаринный А. А., Ионенков Ю. С. Метод выбора варианта построения информационно-телекоммуникационной системы // Системы и средства информатики. 2019, Т. 29, № 3. С. 114—126. DOI:10.14357/08696527190310

23. Ларичев О. И. Теория и методы принятия решений. М.: Логос, 2007. 392 с.

24. Семенов С. С. Оценка качества и технического уровня сложных систем: практика применения метода экспертных оценок. М.: Ленанд, 2019. 352 с.

25. Бомас В. В., Судаков В. А. Поддержка субъективных решений в многокритериальных задачах: монография. М.: Изд-во МАИ, 2011. 173 с.

26. Зацаринный А. А., Волович К. И., Денисов С. А., Ионенков Ю. С., Кондрашев В. А. Методические подходы к оценке эффективности центра коллективного пользования «Информатика» // Системы высокой доступности. 2020. Т. 16, № 2. С. 44—51. DOI: 10.18127/j20729472-202002-04