Создание системы предобработки данных; разработка системы классификации на базе методов и алгоритмов машинного обучения, их реализация в программной системе. Предобработка информации, инструкция пользователя, система классификации, машинный эксперимент.
Аннотация к работе
Постановка задачи 1. Методы машинного обучения и алгоритмы машинного обучения 1.1 Задача классификации 1.2 Multiclass классификация 1.2.1 Стратегия One-vs.-rest 1.3 Multi-label классификация Выводы 2. Методы и алгоритмы, реализованные в программной системе 2.1 TF-IDF 2.2 Наивный Байесовский Классификатор 2.3 SVM 2.3.1 Стохастический Градиентый Спуск Выводы 3. Реализация системы 3.1 Предобработка информации 3.1.1 Инструкция пользователя 3.2 Система классификации 3.2.1 Рабочий режим 3.2.2 Тестовый режим 3.2.3 Инструкция пользователя Выводы 4. Машинный эксперимент Выводы Заключение Список использованных ресурсов Приложение 1. Система предобработки информации Program.cs FactMiner.cs Logger.cs Приложение 2. - Почему резко выросла заболеваемость гриппом в определенной стране?. - По какой причине цена некой ценной бумаги резко упала в конкретный день?. Выявить какое из событий вызвало изменение в динамике чрезвычайно сложно. Согласно исследованиям психологов, нормальный человек способен удерживать в зоне своего внимания 7 ± 2 объекта. Пример слома тренда На данном графике явно виден рост цены акций данной компании вплоть до 6.1.2008, который сменился ее стабильным спадом после этого момента времени. В первой главе производится постановка задачи, ее более подробное описание, а также описание исходных данных. Интеллектуальный анализ данных (также известный как Data Mining) - собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Данный термин был введен в обиход Григорием Пятецким-Шапиро в 1989 году. Различают два типа обучения. Задачу машинного обучения можно описать следующим образом. Известна только конечная совокупность прецедентов - пар «объект, ответ», называемая обучающей выборкой. Методы машинного обучения и алгоритмы машинного обучения Задачу, стоящую перед нами, можно отнести к задаче классификации, где в ответ на набор значений параметров (страна, тип бумаг, тип изменения в динамике) система должна возвращать несколько меток классов, которые описывают событие, которое предположительно вызвало данное изменение в динамике. Если - правильный набор меток для данного примера, а - набор предсказанных меток, то можно определить следующие метрики для такого примера: · Hamming loss - доля ошибочных меток во всем наборе меток. Для ускорения обучения мы будем использовать метод под названием Стохастический Градиентный Спуск, который позволяет значительно ускорить обучение классификатора, не сильно жертвуя его точностью. 3.3.1 Стохастический Градиентный Спуск Градиентные методы - это широкий класс оптимизационных алгоритмов, используемых не только в машинном обучении. Приложение вызывается из командной строки, после чего выполняет следующий процесс: 1) Считываются стартовые параметры из xml-файла Config.xml (доступен в Приложении 2).