Изучение принципа работы интернет-аукциона (на примере сайта molotok.ru). Способ получения информации с веб-ресурсов. Разработка программного обеспечения с целью создания исходных данных для обучения нейронных сетей и классификации товаров с их помощью.
Аннотация к работе
В наше время коммерческая деятельность в сети интернет стала неотъемлемой частью жизни. Как правило, управляющему таким магазином достаточно заказать товар по оптимальной цене и предоставить информацию о товаре на своем сайте, являясь посредником между конечным покупателем и настоящим продавцом.На сайте представлено порядка 5 000 000 уникальных лотов, все они хорошо структурированы и находятся более чем в 5000 категорий. Рассмотрим принцип работы интернет-аукциона. Продавец выставляет товар на продажу и заявляет начальную цену. Можно сразу оплатить товар и договориться с продавцом о доставке, как это происходит в интернет-магазинах.Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Впоследствии, после разработки алгоритмов обучения, получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др. ИНС представляют собой систему соединенных и взаимодействующих между собой простых процессоров (искусственных нейронов) (рис. Такие процессоры обычно довольно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам.Основная идея этого метода состоит в распространении сигналов ошибки от выходов сети к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Через Y обозначим реальное выходное значение нашей сети, которое в начале практически случайно изза случайности весовых коэффициентов. Обучение состоит в том, чтобы подобрать весовые коэффициенты таким образом, чтобы минимизировать некоторую целевую функцию. Таким образом, с помощью (9) можно выражать величины для нейронов n-го слоя через для нейронов (n 1)-го. Тщательное конструирование функции оценки позволяет на порядок повысить эффективность обучения сети, а также получать дополнительную информацию - «уровень уверенности» сети в даваемом ответе.Разработка приложения будет осуществляться на языке программирования C# с фреймворком.NETFRAMEWORK4.0 в среде разработки MICROSOFTVISUALSTUDIO 2010. MSVISUALSTUDIO 2010 включает в себя полный набор новых и улучшенных функций, упрощающих все этапы процесса разработки от проектирования до развертывания. MICROSOFTVISUALSTUDIO 2010 Ultimate - интегрированная среда инструментальных средств и серверная инфраструктура, упрощающая процесс разработки приложения в целом.В связи с этим в качестве объекта, получающего страницы с сайта, был выбран стандартный для MSVISUALSTUDIOКЛАСС WEBBROWSER, который представляет оболочку для неуправляемого объекта на основе БРАУЗЕРАINTERNET Explorer, версии идентичной установленному в системе. Категории нулевого уровня не содержат товаров, а являются лишь агрегаторами для категорий первого уровня. На веб-странице «Карта категорий» представлены ссылки на все категории интернет-аукциона, каждая категория содержится внутри отдельного html-элемента, а уровень вложенности можно различить только при помощи html-тэгов. Для этого необходимо посетить страницы каждой категории, учитывая, что в категории может быть несколько страниц с товарами, но одновременно на странице отображается не более 25 товаров. Открывать страницы с самими товарами не обязательно, так как вся необходимая информация о товарах содержится в html-элементе , который содержит в себе товары и всю информацию о каждом из них.Для классификации изображений товаров применяются искусственные нейронные сети. Так как количество категорий, на которые необходимо классифицировать товары очень велико, то единая нейронная сеть будет очень ресурсоемкой, поэтому каждой категории соответствует своя нейронная сеть. Процесс обучения нейронных сетей проходит в несколько потоков для уменьшения времени, затрачиваемого на обучение.На первом этапе классификации программе на вход подается изображение товара, после чего изображение подготавливается для подачи на входы нейронных сетей. Для предварительной обработки изображения применяется алгоритм, аналогичный тому, что используются при обработке изображений для обучения нейронных сетей. Так же, если размер изображения отличается от необходимого для подачи на вход нейронной сети, он приводится к требуемому при помощи стандартных алгоритмов для работы с растровыми изображениями, встроенных в платформу.NET.Стоит выделить основные виды данных, используемые в программе: описание дерева категорий, ссылки на изображения товаров, настройки программы, изображения товаров, данные для обучения нейронных сетей, конфигурации нейронных сетей. Для хранения дерева категорий, ссылок на изображения товаров и настроек программы используется реляционная база данных. Хранение изображений товаров осуществляется файловым способом, в структурированных каталогах, по структуре которых можно определить, к какой категории и какому товару принадлежат данные изображения. Каждой категории
План
Оглавление
Введение
Глава 1. Обзор объекта и методов исследования
1.1 Описание объекта исследования
1.2 Описание привлекаемых методов
1.2.1 Искусственные нейронные сети
1.2.2 Метод обратного распространения ошибки
1.3 Среда разработки и причины ее выбора
Глава 2. Методика
2.1 Способ получения информации с веб-ресурсов
2.2 Методика классификации товаров
2.3 Алгоритм классификации товаров
2.4 Принцип хранения данных о товарах
Глава 3. Программная реализация. Апробация методики
3.1 Описание программного обеспечения
3.2 Апробация методики
Заключение
Список использованной литературы
Приложение
Введение
В наше время коммерческая деятельность в сети интернет стала неотъемлемой частью жизни. Ключевым звеном коммерческой деятельности являются интернет-магазины. Как правило, управляющему таким магазином достаточно заказать товар по оптимальной цене и предоставить информацию о товаре на своем сайте, являясь посредником между конечным покупателем и настоящим продавцом. Информация должна быть хорошо структурирована, понятна покупателю, если покупатель не сможет легко найти интересующий его товар, он просто найдет альтернативный магазин.
В связи с этим, при увеличении оборота товаров и их ассортимента возникает потребность в автоматизированной системе классификации товаров.
Целью дипломной работы является разработка программного обеспечения для получения исходных данных для обучения нейронных сетей и классификации товаров с их помощью.