Publication: МЕТОДЫ И СРЕДСТВА ОРГАНИЗАЦИИ АВТОМАТИЧЕСКОГО МАСШТАБИРОВАНИЯ CPU/GPU-ПОТРЕБИТЕЛЕЙ В ПОТОЧНЫХ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ СИСТЕМАХ ОБРАБОТКИ ДАННЫХ
Дата
2020
Авторы
Яковлев, А. А.
Journal Title
Journal ISSN
Volume Title
Издатель
Аннотация
Диссертация посвящена разработке методов и средств организации автоматического масштабирования CPU/GPU-потребителей в поточных высокопроизводительных системах обработки данных. Ключевые слова: DOCKER SWARM, PYTHON, МАШИННОЕ ОБУЧЕНИЕ, ВИРТУАЛИЗАЦИЯ, КОНТЕЙНЕР, БРОКЕР СООБЩЕНИЙ, APACHE KAFKA, АВТОМАТИЧЕСКОЕ МАСШТАБИРОВАНИЕ, УТИЛИЗАЦИЯ РЕСУРСОВ. Пояснительная записка состоит из четырех частей, описывающих проделанную работу. В первой главе проведен обзор инструмента Docker, систем оркестрации и масштабирования контейнеров Docker Swarm. Рассмотрены различные типы брокеров сообщений. Проведен обзор современной разработки алгоритмов автоматического масштабирования на примере работы автоскейлеров в системе Kubernetes. Во второй главе предложена формула расчета зависимости частоты опроса от скорости изменения интенсивности входного потока. В третьей главе описана общая архитектура масштабируемой системы конвейерной обработки, описаны основные взаимодействия между модулями, детально описана структура кластера и рассмотрены все её ключевые компоненты. В четвертой главе описаны выбранные средства разработки, показана реализация комплекса, ключевые её особенности. Разработан сценарий тестирования. Продемонстрированы результаты нагрузочного тестирования системы и проведен их анализ. Пояснительная записка содержит 96 страниц, 4 части. В приложениях приведен исходный код программного обеспечения разработанной системы.
Описание
Уровень образования: магистратура; Код направления/специальности: 09.04.01; Группа: М18-512
Ключевые слова
ВКР , Выпускная квалификационная работа
Цитирование
Яковлев, А. А. МЕТОДЫ И СРЕДСТВА ОРГАНИЗАЦИИ АВТОМАТИЧЕСКОГО МАСШТАБИРОВАНИЯ CPU/GPU-ПОТРЕБИТЕЛЕЙ В ПОТОЧНЫХ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ СИСТЕМАХ ОБРАБОТКИ ДАННЫХ : Выпускная квалификационная работа, магистратура, 09.04.01 / А. А. Яковлев ; рук. работы Ровнягин Михаил Михайлович, 2020