Создание инструмента для конфигурирования логирования - Дипломная работа

Журналирование позволяет сообщать и сохранять сообщения об ошибках, о предупреждающих сообщениях, а также об информационных сообщениях (например, статистика выполнения), аудит логи и др., так что сообщения могут быть позже извлечены и проанализированы. Более сложным считается журналирование в микросервисной архитектуре, когда данная архитектура развернута в Cloud. Когда система растет к нескольким узлам, управление журналами и доступ к ним может усложниться.Дипломная работа разрабатывалась на базе компании NETCRACKER. Netcracker Technology - дочерняя компания корпорации NEC, специализирующаяся на создании, внедрении и сопровождении систем эксплуатационной поддержки (OSS), систем поддержки бизнеса (BSS), а также SDN/NFV-решений для операторов связи, крупных предприятий и государственных учреждений. Компания также предлагает услуги в области профессионального обслуживания (включая консалтинг, внедрение и поддержку) и сервисы по управлению телекоммуникационными процессами. Первая часть - это исследование бизнес-системы в целом на предмет поиска уязвимостей, улучшений, повышения производительности, связанных с логированием, как с необходимым элементом каждого бизнес приложения.В связи с возрастанием популярности облачных технологий компания NETCRACKER планирует разворачивать одну из своих платформ с использованием технологии Cloud. 2.1 Cloud computing Cloud Computing - технология, подразумевающая под собой повсеместный сетевой доступ к ресурсу, который может быть предоставлен и освобожден с минимальными затратами по эксплуатации. Cloud позволяет более гибко и быстро адаптироваться к нагрузке, более эффективно использовать имеющиеся ресурсы, а что касается бизнеса, применение данной системы приводит к уменьшение расходов. Но прежде чем переходить к использованию данной технологии, необходимо оценить ее преимущества и недостатки.Микросервис является простой и независимой службой, которая осуществляет свою точную функцию, и, кроме того, интегрируется с другими аналогичными службами с помощью правильно выбранных интерфейсов. Микросервисный подход считается сравнительно новым термином в области моделей архитектуры программы. Сложность в использовании монолитной архитектуры привела к использованию микросервисной (компонентной) архитектуры. В микросервисах каждая из компонент, которая может быть представлена как сервис, работает в своем собственном независимом процессе. Из выше сказанного следует, что микросервисы имеют немало преимуществ перед монолитной архитектурой, хотя, у них тоже есть свои недостатки: · Удаленные вызовы процедур (remote procedure call) работают медленнее, чем вызовы, которые происходят в рамках процесса в монолитной архитектуре.Централизованное логирование (centralized logging) - это отдельный сервис (процесс), который позволяет собирать логи со всех сервисов в единое центральное хранилище для дальнейшего анализа, фильтрации, ротации, сжатия, чтения, удаления и др. с целью получения информации о работе системы, каких-либо ошибках или некорректной работе, автоматического составления отчета и графиков.Платформа имеет несколько сервисов, каждый из сервисов пишет свои логи, которые хранятся в виде файла внутри компоненты. Логирующий агент (или просто агент), который установлен на каждый сервис, через определенный промежуток времени собирает из определенного места, путь к которым прописан в конфигурационном файле агента, журналы действий и отправляет их по сети в отдельный сервис. При возникновении каких-либо неполадок в работе сервера, нет необходимости идти на каждую компоненту и проверять, какие там возникли проблемы, потому что анализатор логов предоставляет механизм быстрого поиска данных по логам, которые хранятся внутри сервиса логирования.Существует ряд требований, предъявляемых к технологиям, которые будут задействованы при реализации централизованного логирования, а именно: Требования относительно агрегации логов с сервисов (сборщик логов): 1) гибкость технологии; 3) с открытым исходным кодом; 5) возможность добавления собственных/существующих плагинов; Требования относительно анализа логов и поиска информации по ним (анализатор логов): 1) скорость поиска по большим объемам информации; Требования относительно отображения статистики и иной информации после анализа полученной информации (логов) (визуализатор): 1) легкость в конфигурации;В бизнес приложении основной библиотекой логирования является Log4j, а также используется его надстройка - это slf4j. Некоторые компоненты используют такую библиотеку, как commons-logging. Log4j обеспечивает надежный, полностью настраиваемый, легко расширяемой и легко реализуемый фреймворк для логирования Java-приложений. Работа данной библиотеки включает три концепции: logger, appender and layout.

Оглавление

Введение

1. Техническое задание

1.1 Цель и задачи дипломной работы

2. Потребность в централизованном логировании

2.1 Cloud computing

2.2 Микросервисная архитектура

2.3 Централизованное логирование

2.4 Представление централизованного логирования

3. Требования к технологиям для построения централизованного логирования

4. Изучение логирования в системе

5. Исследование интеграции централизованного логирования

5.1 Исследование технологий

6. Создание инструмента для конфигурирования логирования

6.1 Локальное конфигурирование

6.2 Удаленное конфигурирование

7. Установка и конфигурирование централизованного логирования

7.1 Установка Fluentd

7.2 Установка Elasticsearch

7.3 Установка Kibana

Заключение

Список литературы