Сервис агрегации открытых данных и данных из социальных сетей - Дипломная работа

Считается, что человечество уже давно достигло той отметки, когда главным ресурсом на планете является информация. Соответственно, владение информацией представляет собой основную ценность в бизнесе, политике, военных действиях и множестве других сфер. Именно из этих соображений появилась знаменитая крылатая фраза «Кто владеет информацией, тот владеет миром» Н.М. Ротшильда. Низкий порог входа обуславливает распространение этого вида электронного бизнеса, а широкий охват всемирной паутины является преимуществом для простой доставки информации [24]. Поскольку информации с каждым днем становится все больше, а технологии по их обработке все более доступными, становится возможным производить анализ из различных источников информации.Открытые данные определялись как идея о доступной каждому информации в формате, понятном машинам (компьютерам), без ограничений авторского права. Несмотря на широкую популярность в мире темы открытых данных, в России существует немного проектов на их основе. Во-первых, некоторые проекты, использующие открытые данные, не осведомлены, что это именно «открытые данные». Проект «Datatron» представляет собой экспертную систему, в основе которой лежит нейронная сеть, обученная на открытых данных. Открытые данные дают возможность гражданам контролировать свою жизнь и требовать изменений, позволяя принимать более обоснованные решения и новые формы социальной мобилизации, которые, в свою очередь, способствуют новым способам общения и доступа к информации.Одним словом, места, где люди могут проявить свою активность в социальных сетях. Социальная сеть Instagram ориентирована на пользователей с активной жизненной позицией. Принимая во внимание тот факт, что в России, а в частности в Москве, большей популярностью пользуются локальные социальные сети, необходимо рассмотреть все возможные варианты подключения социальных сетей к сервису агрегации. Ежедневно количество сообщений в социальных сетях увеличивается и на сегодняшний день исчисляется миллионами. Чтобы снизить нагрузку на сервис и отсеивать информационный шум в виде нерелевантных сообщений из социальных сетей, необходимо поставить фильтры на пользовательскую активность. Для реализации сервиса агрегации данных из социальных сетей необходимо иметь координаты, которые можно привязать к какому-либо объекту или точке.В результате выполнения выпускной квалификационной работы был реализован сервис агрегации открытых данных и данных из социальных сетей. Данная система состоит из ряда отдельных независимых модулей, выполненных согласно микросервисной архитектуре. Разработанный программный комплекс, сочетающий в себе средства для визуализации и агрегации открытых данных и данных из социальных сетей, не имеет аналогов на момент написания данной работы. Главной особенностью данного проекта является тот факт, что с помощью сервиса можно выявлять зависимости между географическим положением пользовательской активности, ее интенсивностью и объектами из набора открытых данных. С помощью данного сервиса можно выявлять закономерности в расположении объектов города, например парков и музеев, и пользовательской активностью.import com.alexcodes.web.dto.MAPDTO; import com.alexcodes.web.service.MAPSERVICE; import com.alexcodes.web.dto.MAPDTO; import com.alexcodes.common.domain.GEOPOST; import com.google.common.collect.

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ЦЕЛИ И ЗАДАЧИ ИССЛЕДОВАНИЯ

ГЛАВА 1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

ОТКРЫТЫЕ ДАННЫЕ

ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ НА ОСНОВЕ ОТКРЫТЫХ ДАННЫХ

СОЦИАЛЬНЫЕ СЕТИ

АНАЛИЗ ИССЛЕДУЕМОЙ ПРОБЛЕМЫ

ТЕХНОЛОГИИ ОБРАБОТКИ ДАННЫХ

МЕТОДЫ ВИЗУАЛИЗАЦИИ ДАННЫХ

ГЛАВА 2. РАЗРАБОТКА СИСТЕМЫ

ВЫБОР ИСТОЧНИКА ОТКРЫТЫХ ДАННЫХ

ВЫБОР НАБОРОВ ОТКРЫТЫХ ДАННЫХ

СОЦИАЛЬНЫЕ СЕТИ ДЛЯ ИЗВЛЕЧЕНИЯ ДАННЫХ

ОГРАНИЧЕНИЕ ГЕОГРАФИЧЕСКОЙ ЛОКАЦИИ

ФОРМАТ ХРАНЕНИЯ ДАННЫХ

АРХИТЕКТУРА СИСТЕМЫ

ПОСТРОЕНИЕ СИСТЕМЫ

ГЛАВА 3. РЕЗУЛЬТАТЫ

ОПИСАНИЕ И АНАЛИЗ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

ОБОБЩЕНИЕ РЕЗУЛЬТАТОВ И ПРАКТИЧЕСКИЕ РЕКОМЕНДАЦИИ

НОВИЗНА И ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ ИССЛЕДОВАНИЯ

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ. ТЕКСТ ПРОГРАММЫ