Выбор источника и наборов открытых данных. Выбор социальных сетей для извлечения данных. Разработка формата хранения данных. Реализация сервиса агрегации открытых данных и данных из социальных сетей. Визуализация собранных данных методом теплой карты.
Аннотация к работе
Считается, что человечество уже давно достигло той отметки, когда главным ресурсом на планете является информация. Соответственно, владение информацией представляет собой основную ценность в бизнесе, политике, военных действиях и множестве других сфер. Именно из этих соображений появилась знаменитая крылатая фраза «Кто владеет информацией, тот владеет миром» Н.М. Ротшильда. Низкий порог входа обуславливает распространение этого вида электронного бизнеса, а широкий охват всемирной паутины является преимуществом для простой доставки информации [24]. Поскольку информации с каждым днем становится все больше, а технологии по их обработке все более доступными, становится возможным производить анализ из различных источников информации.Открытые данные определялись как идея о доступной каждому информации в формате, понятном машинам (компьютерам), без ограничений авторского права. Несмотря на широкую популярность в мире темы открытых данных, в России существует немного проектов на их основе. Во-первых, некоторые проекты, использующие открытые данные, не осведомлены, что это именно «открытые данные». Проект «Datatron» представляет собой экспертную систему, в основе которой лежит нейронная сеть, обученная на открытых данных. Открытые данные дают возможность гражданам контролировать свою жизнь и требовать изменений, позволяя принимать более обоснованные решения и новые формы социальной мобилизации, которые, в свою очередь, способствуют новым способам общения и доступа к информации.Одним словом, места, где люди могут проявить свою активность в социальных сетях. Социальная сеть Instagram ориентирована на пользователей с активной жизненной позицией. Принимая во внимание тот факт, что в России, а в частности в Москве, большей популярностью пользуются локальные социальные сети, необходимо рассмотреть все возможные варианты подключения социальных сетей к сервису агрегации. Ежедневно количество сообщений в социальных сетях увеличивается и на сегодняшний день исчисляется миллионами. Чтобы снизить нагрузку на сервис и отсеивать информационный шум в виде нерелевантных сообщений из социальных сетей, необходимо поставить фильтры на пользовательскую активность. Для реализации сервиса агрегации данных из социальных сетей необходимо иметь координаты, которые можно привязать к какому-либо объекту или точке.В результате выполнения выпускной квалификационной работы был реализован сервис агрегации открытых данных и данных из социальных сетей. Данная система состоит из ряда отдельных независимых модулей, выполненных согласно микросервисной архитектуре. Разработанный программный комплекс, сочетающий в себе средства для визуализации и агрегации открытых данных и данных из социальных сетей, не имеет аналогов на момент написания данной работы. Главной особенностью данного проекта является тот факт, что с помощью сервиса можно выявлять зависимости между географическим положением пользовательской активности, ее интенсивностью и объектами из набора открытых данных. С помощью данного сервиса можно выявлять закономерности в расположении объектов города, например парков и музеев, и пользовательской активностью.import com.alexcodes.web.dto.MAPDTO; import com.alexcodes.web.service.MAPSERVICE; import com.alexcodes.web.dto.MAPDTO; import com.alexcodes.common.domain.GEOPOST; import com.google.common.collect.
План
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
ЦЕЛИ И ЗАДАЧИ ИССЛЕДОВАНИЯ
ГЛАВА 1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ
ОТКРЫТЫЕ ДАННЫЕ
ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ НА ОСНОВЕ ОТКРЫТЫХ ДАННЫХ