Publication: Разработка высокопроизводительной платформы для выполнения пользовательских вычислений на гетерогенных кластерах с применением технологий GPGPU и Hadoop
Дата
2016
Авторы
Синельников, Д. М.
Journal Title
Journal ISSN
Volume Title
Издатель
Аннотация
Выпускная квалификационная работа на тему: «Разработка высокопроизводительной платформы для выполнения пользовательских вычислений на гетерогенных кластерах с применением технологий GPGPU и Hadoop». Пояснительная записка содержит 73 страницы, 3 части, 21 рисунок, 2 таблицы, 32 источника, 3 приложения. Ключевые слова: Hadoop, YARN, MAPREDUCE, GPGPU, CUDA, ДИНАМИЧЕСКАЯ БАЛАНСИРОВКА НАГРЗУКИ, LZSS, КЛАСТЕР, NOSQL, REDIS, РАЗВЕРТЫВАНИЕ КЛАСТЕРА HADOOP. Дипломный проект посвящен разработке высоконагруженной платформы, предназначенной для проведения вычислений на кластере под управлением Hadoop YARN с использованием вычислений на GPU. Пояснительная записка состоит из трех частей, описывающих проделанную работу. В первой части рассмотрены основные технологии, использующиеся для разработки и реализации высокопроизводительной платформы. При разработке платформы использовались следующие технологии: Hadoop, YARN, CUDA, Weighted Round Robin, WebSocket, Redis, OSPF и LZSS. Кроме того, был проведен анализ работ в данной области и было показано, что требованиям данной работы не удовлетворяют ни одна из рассмотренных работ. Во второй части описана архитектура высокопроизводительной платформы. Разработаны подсистемы и схема платформы. Описан процесс развертывания платформы. Кроме, того было описано два варианта соединения подсистемы балансировки нагрузки с Hadoop YARN. В третьей части показана реализация высокопроизводительной платформы на языке Java и ее ключевые особенности. Продемонстрированы результаты нагрузочного тестирования платформы, построены графики производительности. Нагрузочное тестирование показало, что разработанная платформа на много быстрее управляется со сжатием большого количества фалов, чем обычное сжатие и её можно использовать для выполнения сложных вычислительных задач.
Описание
Уровень образования: бакалавриат; Код направления/специальности: 09.03.01; Группа: К08-123
Ключевые слова
ВКР , Выпускная квалификационная работа
Цитирование
Синельников, Д. М. Разработка высокопроизводительной платформы для выполнения пользовательских вычислений на гетерогенных кластерах с применением технологий GPGPU и Hadoop : Выпускная квалификационная работа, бакалавриат, 09.03.01 / Д. М. Синельников ; рук. работы Ровнягин Михаил Михайлович, 2016