Анализ предметной области. Выбор источника и наборов открытых данных. Сравнение программных интерфейсов социальных сетей. Ограничение географической локации сообщений. Разработка формата хранения данных. Визуализация собранных данных методом теплой карты.
Аннотация к работе
Считается, что человечество уже давно достигло той отметки, когда главным ресурсом на планете является информация. Соответственно, владение информацией представляет собой основную ценность в бизнесе, политике, военных действиях и множестве других сфер. Именно из этих соображений появилась знаменитая крылатая фраза «Кто владеет информацией, тот владеет миром» Н.М. Ротшильда. Низкий порог входа обуславливает распространение этого вида электронного бизнеса, а широкий охват всемирной паутины является преимуществом для простой доставки информации[24]. Поскольку информации с каждым днем становится все больше, а технологии по их обработке все более доступными, становится возможным производить анализ из различных источников информации.Открытые данные определялись как идея о доступной каждому информации в формате, понятном машинам (компьютерам), без ограничений авторского права. Несмотря на широкую популярность в мире темы открытых данных, в России существует немного проектов на их основе. Во-первых, некоторые проекты, использующие открытые данные, не осведомлены, что это именно «открытые данные». Проект «Datatron»представляет собой экспертную систему, в основе которой лежит нейронная сеть, обученная на открытых данных. Открытые данные дают возможность гражданам контролировать свою жизнь и требовать изменений, позволяя принимать более обоснованные решения и новые формы социальной мобилизации, которые, в свою очередь, способствуют новым способам общения и доступа к информации.Одним словом, места, где люди могут проявить свою активность в социальных сетях. Принимая во внимание тот факт, что в России, а в частности в Москве, большей популярностью пользуются локальные социальные сети, необходимо рассмотреть все возможные варианты подключения социальных сетей к сервису агрегации. Ежедневно количество сообщений в социальных сетях увеличивается и на сегодняшний день исчисляется миллионами. Чтобы снизить нагрузку на сервис и отсеивать информационный шум в виде нерелевантных сообщений из социальных сетей, необходимо поставить фильтры на пользовательскую активность. Для реализации сервиса агрегации данных из социальных сетей необходимо иметь координаты, которые можно привязать к какому-либо объекту или точке. В результате сервис должен автоматически приводить время публикации сообщения из разных социальных сетей к общему виду формата UNIXTIMESTAMP.Также у всех социальных сетей разные форматы отображения геолокации пользователя.В результате выполнения выпускной квалификационной работы был реализован сервис агрегации открытых данных и данных из социальных сетей. Разработанный программный комплекс, сочетающий в себе средства для визуализации и агрегации открытых данных и данных из социальных сетей, не имеет аналогов на момент написания данной работы. С помощью данного сервиса можно выявлять закономерности в расположении объектов города, например парков и музеев, и пользовательской активностью. В первую очередь, в систему может быть добавлена автоматическая рекомендательная система, которая способна распознавать тренды активности пользователей в социальных сетях, сопоставлять с наборами открытых данных и делать выводы о том, какие места в данный момент пользуются популярностью. Также стоит отметить, что с помощью добавления в систему новых клиентов для других социальны сетей, точность работы сервиса должна увеличиться.$.get("/map/coordinates", function (response) {var data = response.coordinates; ymaps.modules.require(["Heatmap"], function (Heatmap) {varheatmap = new Heatmap(data, {gradient: gradients[0], radius: radiuses[1], opacity: opacities[2] buttons.opacity.events.add("press", function () {var current = heatmap.options.get("opacity"), index = opacities.INDEXOF(current); buttons.radius.events.add("press", function () {var current = heatmap.options.get("radius"), index = radiuses.INDEXOF(current); buttons.gradient.events.add("press", function () {var current = heatmap.options.