Автоматизация процессов обработки потоков новостей в сети Интернет с целью интеграции контента - Дипломная работа

В настоящее время всё большее количество людей получают доступ во всемирную паутину. Начинают делать заказы в интернет магазинах, пользоваться интернет источниками информации, получать свежие новости через интернет. В данном дипломном проекте автоматизируется одна из функций подобного Интернет ресурса, сайта “zone-x.ru”. Этот сайт специализируется на продаже товаров через Интернет. По этому, в рамках данного дипломного проекта была рассмотрена и реализована автоматизация сбора и обработки новостной информации. Да и точность обрабатываемой информации не очень высока. Это происходит из-за того, что для поступающей информации используется ручная обработка, которая к тому же является довольно дорогостоящей. Задачею данного дипломного проекта является автоматизация обработки новостной информации, с целью повысить производительность и точность обработки. Несмотря на то, что в настоящее время на рынке аналогичных услуг выступает достаточно много организаций предоставляющих подобные услуги таких как OZON.ru, books.ru, balero.ru, предприятие ООО «Зона ИКС» имеет достаточно обширную аудиторию постоянных и новых покупателей, а именно около пятидесяти тысяч человек ежедневно пользуются услугами интернет магазина. В организации так же имеется проект по интеграции новостного контента. Однако в настоящий момент в организации существует трудоёмкий процесс по обработки и связи новостей по содержимому, данным процессом занимаются сотрудник, производя связи полученных новостей вручную. Схема организационной структуры представлена на рисунке № 1.1. Рис. Организационная структура предприятия ООО Зона ИКС Основные виды деятельности организации ООО «Зона ИКС»: · Закупка товаров у поставщиков; · Комплектование товаров; · Обработка почтовых заказов; · Обработка заказов по само вывозу; · Обработка курьерских доставок; · Администрирование интернет представительства; · Автоматизирование систем интернет представительства; · Разработка маркетинговых решений; · Обслуживание клиентов Интернет представительства. В настоящий момент на предприятии функционируют следующие средства информационного обеспечения: · Сервер базы данных (БД) построен на основе MS SQL Server. Используется оборудование со следующими функциями: · Сервер IBM System x3850 o Процессор: Intel Xeon Processor MP up to 3.66 GHz (single-core) and 3.30 GHz (dual-core)/667 MHz front-side bus; o L2 cache: 1MB L2 per processor (single-core) and up to 2x2MB L2 (dual-core) and up to 16MB L3 (dual-core); o Оперативная память: 4GB PC2-3200 DDR II SDRAM; o Дисковые отсеки: 6/6 2.5 Serial Attached SCSI (SAS); o 440.4GB Serial Attached SCSI; o Сетевой интерфейс: Два порта Gigabit Ethernet (GbE); o Блок питания: 1300W; o Поддержка RAID: RAID-0, -1, -5 optional (ServeRAID™-8i); o Операционная система: Microsoft® Windows® Server™ 2003 (Enterprise editions 64-bit). 1.1.2 Краткая характеристика подразделения и видов его деятельности. · Оператор контента o Сбор информации из RSS каналов; o Копирование информации в базу данных; o Рубрицирование информации; o Сопоставление новостей по контенту. Целиком пошагово весь процесс выглядит следующим образом: · Просмотр списка RSS каналов новостей; · Сравнения списка поступивших новостей; · Добавление новостей в базу; · Рубрицирование новости; · Выставление связей между новостями; Производительность труда одного оператора по обработке контента приведена в таблице 1.1. Структурно-функциональная диаграмма процесса обработки новостной информации первого уровне, представлена на Рисунке 1.2. Структурно-функциональная диаграмма процесса обработка новостной информации верхнего уровня Рис. В качестве аппаратного обеспечения для проектируемой системы предполагается использовать следующие средства: · Процессор AMD Athlon X2 5600 2.8GHz; · Оперативная память 4 гигабайта DDR2 SDRAM; · Сетевое соединение минимум 100Mbit/sec Ethernet 802.3ab; · Память RAID массив первого уровня не менее 400 гигабайт · Форм-фактор предполагаемого оборудования должен быть стандартным для размещения в охладительную стойку. Все новости связываются сюжет в отдельной таблице в базе, с названием «тело новости», которое имеет два поля, ключ тела, и время его создания, в качестве ключа тела используется ключ первой новости в данном «теле новости». Ограничение целостности организованно программно, так как выбранный тип базы не позволяет внедрить такую функция непосредственно в СУБД. Так как планируется создание полностью автоматизированной системы, без вмешательства сотрудников какого либо отдела, поставленная задача решается однократно на этапе разработки проекта, и в дальнейшем не требует дополнительных вмешательств, если того не требуют новые задачи поставленные к проекту. 1.3.3 Формализация расчётов подзадач Основываясь на статистике за предыдущие отчётные периоды, была выявлена закономерность количества средств получаемых за демонстрацию рекламы от количества посетителей интернет сайта.