Значение понятия "скрытые знания". Определение сути методов Data mining. Язык запросов к базам данных. Выявление возможностей для создания, изменения и извлечения хранимых данных. Data mining и искусственный интеллект. Задачи кластеризации и ассоциации.
Аннотация к работе
Область Data Mining началась с семинара, проведеного Григорием Пятецким-Шапиро в 1989 году.Первоначально задача ставится следующим образом: имеется достаточно крупная база данных; Необходимо разработать методы обнаружения знаний, скрытых в больших объемах исходных «сырых» данных.Развитие технологий баз данных сначала привело к созданию специализированного языка - языка запросов к базам данных. Затем возникла необходимость в получении аналитической информации (например, информации о деятельности предприятия за определенный период), и тут оказалось, что традиционные реляционные базы данных, хорошо приспособленные, например, для ведения оперативного учета на предприятии, плохо приспособлены для проведения анализа.Знания, добываемые методами Data mining, принято представлять в виде моделей. В качестве таких моделей выступают: ассоциативные правила;Задачи, решаемые методами Data Mining, принято разделять на описательные (англ. descriptive) и предсказательные (англ. predictive). В описательных задачах самое главное - это дать наглядное описание имеющихся скрытых закономерностей, в то время как в предсказательных задачах на первом плане стоит вопрос о предсказании для тех случаев, для которых данных еще нет.Для задач классификации характерно «обучение с учителем », при котором построение (обучение) модели производится по выборке, содержащей входные и выходные векторы. Supervised learning) - один из способов машинного обучения, в ходе которого испытуемая система принудительно обучается с помощью примеров «стимул-реакция». На основе этих данных требуется восстановить зависимость (построить модель отношений стимул-реакция, пригодных для прогнозирования), то есть построить алгоритм, способный для любого объекта выдать достаточно точный ответ. Для измерения точности ответов, так же как и в обучении на примерах , может вводиться функционал качества. Для задач кластеризации и ассоциации применяется «обучение без учителя », при котором построение модели производится по выборке, в которой нет выходного параметра.Выделяется типичный ряд этапов решения задач методами Data Mining: Формирование гипотезы; Подбор параметров модели и алгоритма обучения;Интеллектуальный анализ данных (Data Mining), [1] - вычислительный процесс обнаружения закономерностей в больших объемах, данных с участием методов на пересечении искусственного интеллекта, машинного обучения, статистики и баз данных. Термин является модным словом [3], и им часто злоупотребляют для обозначения любой формы больших объемов данных или обработки информации (сбор, добычу, хранение, анализ и вычисление статистических характеристик). Термин также ассоциируют с любой компьютерной системой поддержки принятия решений, в том числе искусственного интеллекта, машинного обучения и бизнес - аналитике. Для надлежащего использования этого термина, его следует использовать в тех случаях, когда имеет место "обнаружение чего-нибудь нового". Интеллектуальный анализ данных ведет работы по анализу данных, хранящихся в хранилищах данных.Интеллектуальный анализ данных включает в себя шесть общих классов задач [1]: - обнаружение аномалий (Outlier / изменение / отклонение обнаружение) - идентификация необычных записей данных, которые могут быть интересны или ошибки в данных, которые требуют дальнейшего изучения; Например супермаркет, может собирать данные о привычках клиента в процессе покупки. Использование ассоциативных правил обучения, супермаркет может определить, какие продукты часто покупают вместе и использовать эту информацию в маркетинговых целях. Например, программа электронной почты может попытаться классифицировать электронную почту как "законный" или как "спам"; Чтобы проверить модель, используется тестовый набор данных, на которых алгоритм интеллектуального анализа данных не обучался.