Исследование рынка банковских программ. Анализ эффективности различных рекомендательных алгоритмов. Обзор имеющихся подходов выработки рекомендаций. Архитектура разрабатываемой системы. Методы коллаборативной фильтрации. Использование контентных методов.
Аннотация к работе
Учитывая готовящийся законопроект о приведении чеков в электронный вид, потребности банков и их клиентов, актуально создание проектного решения, обеспечивающего реализацию совместного персонализированного сервиса для клиентов с привлечением данных оффлайн ритейлеров и банков. Осуществить обработку данных посредством использования методов машинного обучения для формирования рекомендаций по продуктам и выбора наилучшего способа предложения, используя коллаборативную фильтрацию, основанную на сходстве пользователей, коллаборативную фильтрацию, основанную на сходстве предметов и алгоритмы классификации для подбора оптимального канала предложения. По требованию покупателя организации и индивидуальные предприниматели дополнительно к кассовому чеку, отпечатанному контрольно-кассовой техникой на бумажном носителе, обязаны передать покупателю его копию в виде электронного документа в незашифрованном виде на предоставленный покупателем адрес электронной почты. Учитывая, что в банках сосредоточена и накоплена огромная экспертиза в области процессинга и обеспечения безопасности платежей, а также то, что многие финансовые организации предоставляют услуги по расчетно-кассовому обслуживанию, и юридические лица обязаны открывать счета в банке при регистрации, кажется вполне закономерным, что роль оператора фискальных данных будет занята банками. Таким образом, банки уже владеют системами по карточному процессингу и могут предоставлять различные способы оплаты товаров: карточкой, через электронный кошелек NFC или barcode.В результате была изучена рыночная ситуация, выделены наиболее перспективные области развития банковских сервисов и продуктов с учетом требований регулятора. Последующая настройка рабочих сред для реализации проекта: развертывание и настройка серверов для хранения данных и анализа, позволили разработать программный продукт для трансформации сырых данных и их обработки средствами интеллектуального анализа. Было произведено сравнение коллаборативных алгоритмов на тестовых данных и разработана контентная модель, основанная на банковских данных о пользователе и результате предыдущих кампаний. Практическая значимость такого сервиса состоит в возможности улучшения пользовательского опыта, расширения знаний о клиенте банка и торговцев, создания открытого сервиса для наилучшей утилизации данных сторонними разработками и экономии на эмиссии банковских карт и карт лояльности.Настройка программной среды. sudo apt-add-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer java-version wget http://www.scala-lang.org/files/archive/scala-2.11.8.deb sudo dpkg-i scala-2.11.8.deb sudo apt-get install scala cd ~ sudo cat >>.bashrc export SCALA_HOME=/usr/local/src/scala/scala-2.11.8 export PATH=$SCALA_HOME/bin:$PATH sudo apt-get install git wget http://apache-mirror.rbc.ru/pub/apache/spark/spark-1.6.0/spark-1.6.0.tgz tar-xvf spark-1.6.0.tgz cd spark-1.6.0 sbt/sbt assemblyКоллаборативная фильтрация. data <-read.csv(file="Data.csv") data$X <-NULL Удаляем столбец с номерами пользователей data.ibs <-(data[,!(names(data) %in% c("X", "user"))]) Сравним между собой сами страницы и составим матрицу их схожести: data.ibs.similarity <-matrix(NA, nrow=ncol(data.ibs), ncol=ncol(data.ibs), dimnames=list(colnames(data.ibs), colnames(data.ibs))) for(i in 1:ncol(data.ibs)) { Fill in placeholder with cosine similarities data.ibs.similarity[i,j] <-GETCOSINE(as.matrix(data.ibs[i]),as.matrix(data.ibs[j])) }} data.ibs.similarity <-as.data.frame(data.ibs.similarity) data.neighbours<-matrix(NA,nrow=ncol(data.ibs.similarity),ncol=11,dimnames=list(colnames(data.ibs.similarity))) for(i in 1:ncol(data.ibs)){ data.neighbours[i,]<-(t(head(n=11,rownames(data.ibs.similarity[order(data.ibs.similarity[,i],decreasing=TRUE),][i])))) } sumproduct(PURCHASEHISTORY, similarities)/sum(similarities). Делаем пустой строкой те колонки, которые пользователь уже купил if(as.integer(data[data$user==user,product]) == 1)//Change labels to numeric ones import org.apache.spark.mllib.linalg.{Vector, Vectors} import org.apache.spark.mllib.regression.LABELEDPOINT def TRANSFORMTONUMERIC( INPUTSTR: String): Vector = {val ATTLIST=INPUTSTR.split(";") val age=ATTLIST(0).TOFLOAT //convert outcome to float val outcome = ATTLIST(16).contains("no") match {case true => 1.0 case false => 0.0 //create indicator variables for single/married val single = ATTLIST(2).contains("single") match {case true => 1.0 case false => 0.0 } val married = ATTLIST(2).contains("married") match {case true => 1.0 case false => 0.0 //create indicator variables for education val primary = ATTLIST(3).contains("primary") match {case true => 1.0 case false => 0.0//Change labels to numeric ones import org.apache.spark.mllib.linalg.{Vector, Vectors} import org.apache.spark.mllib.regression.LABELEDPOINT def TRANSFORMTONUMERIC( INPUTSTR: String): V
Введение
Современный мир динамичен, и степень его динамичности со временем все возрастает. Для любого направления бизнеса чрезвычайно важно следить за возникающими изменениями во внешней среде. В сегодняшней реальности основные драйверы этих изменений - это проникновение технологий во все сферы жизни. Также важную роль играет увеличение общего количества людей на Земле и информации, которую они генерируют. Мы ищем способы анализировать большие объемы информации, которые не только не можем уже анализировать сами, но и даже силами 1 компьютера.
Систематический сбор, отражение, анализ данных чрезвычайно важен для фирм, смысл существования которых - удовлетворение потребностей потребителя. Увеличение количества обрабатываемых данных ведет к лучшему пониманию потребителя, его привычек и, как следствие, к разработке лучших продуктов, услуг и предложений. Последние тенденции в создании банковских продуктов направлены на увеличение интероперабельности систем и созданию сервисов, которые бы соответствовали потребностям потребителей.
Одним из бурно развивающихся направлении совершенствования прикладных информационных технологии является развертывание рекомендательных систем - инструментов автоматической генерации предложении по товарам и услугам на основе изучения персональных потребностей клиентов. Выработка рекомендаций - хорошо изученная научная область, которая имеет успешные приложения в индустрии. Рекомендательные системы уже стали неотъемлемой частью многих современных интернет-приложений, доказав свою эффективность в улучшении пользовательского опыта и повышении продаж фирм. Основные научные исследования в области рекомендательных систем направлены на повышение качества рекомендаций и анализ больших объемов данных.
Учитывая готовящийся законопроект о приведении чеков в электронный вид, потребности банков и их клиентов, актуально создание проектного решения, обеспечивающего реализацию совместного персонализированного сервиса для клиентов с привлечением данных оффлайн ритейлеров и банков. Практическая значимость такого сервиса состоит в возможности улучшения пользовательского опыта, расширения знаний о клиенте банка и торговцев, создания открытого сервиса для наилучшей утилизации данных сторонними разработками и экономии на эмиссии банковских карт и карт лояльности.
В работе рассмотрены алгоритмы подбора наилучшего типа предложения и товара, наиболее релевантных предложений, основываясь на методах коллаборативной фильтрации. Данные алгоритмы реализованы для масштабируемой программной платформы Apache Spark на языке Scala и R. Эксперименты, направленные на оценивание качества и масштабируемости реализованных алгоритмов, проведены на облачном сервисе Microsoft Azure.
Объектом исследования является рынок банковских продуктов, возникающий после вступления в силу законодательного акта.
Предметом исследования являются варианты использования доступных данных о транзакциях пользователей, включая способы их хранения и анализа.
Цель работы: анализ рынка банковских услуг, потребностей банка и их клиентов. Последующее исследование существующих рекомендательных алгоритмов и разработка эффективного их сочетания для применения в системе рекомендаций программы лояльности, позволяющая выбирать рекомендации нужных продуктов с приемлемым уровнем релевантности, уровнем отклика и экономической целесообразностью в условиях большого числа пользователей при неполной или отсутствующей информации об их предпочтениях.
Задачи: 1. Проанализировать потребности банков, клиентов банков и ритейлеров.
2. Изучить готовящийся законопроект и требования регулятора.
3. Выработать решение с наибольшим потенциалом для реализации.
4. Определить основные параметры будущей системы и данные, которые необходимо использовать для создания сервиса.
5. Разработать программный продукт для хранения, трансформации и анализа большого количества данных о транзакциях, генерируемых будущим сервисом.
6. Осуществить обработку данных посредством использования методов машинного обучения для формирования рекомендаций по продуктам и выбора наилучшего способа предложения, используя коллаборативную фильтрацию, основанную на сходстве пользователей, коллаборативную фильтрацию, основанную на сходстве предметов и алгоритмы классификации для подбора оптимального канала предложения.
Методологическая база исследования: Статьи и книги по методикам проведения маркетинговых исследований; статьи и книги по архитектуре высоконагруженных систем и систем, работающих с большим объемом данных, прежде всего систем для массово-параллельной обработки данных; статьи и книги по методам создания рекомендательных сервисов и программ лояльности.
1. Анализ предметной области
Развитие банковской сферы в России во многом определяется государственной политикой. В феврале 2016 года утвердили проект изменений, вносимых в 54-ФЗ «О применении контрольно-кассовой техники при осуществлении наличных денежных расчетов и (или) расчетов с использованием платежных карт». Основные положения предлагаемой системы - это: · Передача информации о расчетах в электронном виде в адрес налоговых органов через оператора фискальных данных.
· Электронная регистрация контрольно-кассовой техники (ККТ) без посещения налогового органа и без физического предоставления ККТ.
· Построение системы гарантированного выявления нарушений на основе автоматизированного анализа информации о расчетах, выявления зон риска совершения правонарушений и проведения точечных результативных проверок.
· Вовлечение покупателей в гражданский контроль.
Следует отметить, что инициатива по внесению данной поправки была принята с учетом результатов внедрения Единой государственной автоматизированной информационной системы (ЕГАИС) - автоматизированной системы, предназначенной для государственного контроля над объемом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. По оценке специалистов, до начала внедрения ЕГАИС доля нелегальной продукции в общем объеме реализации алкогольных напитков на потребительском рынке России достигала 40 - 50%. Полагается, что данная система сделала оборот алкогольной продукции более прозрачным и за счет этого сократило потребление подакцизных товаров. В то же время, цены на акцизы не поднимались c 2014 года, а покупательская способность денег ухудшилась. Система имеет ряд недостатков, среди которых отсутствие балансировки нагрузки, медленный отклик и несовместимость системы с некоторым ПО, ведь данные отправляются в ФНС напрямую.
В рамках поправки ФЗ-54 о контрольно-кассовой технике, новая схема работы включает посредника в лице оператора фискальных данных, который будет накапливать, хранить и передавать эти данные в ФНС. Согласно новому постановлению, новый институт будет обязан: 1. передавать в контрольно-кассовую технику, осуществившую передачу ему в виде электронного документа кассового чека, отчета о фискализации, открытии и закрытии смены, закрытии фискального накопителя, подтверждение о получении указанного документа, подписанное фискальным признаком;
2. осуществлять ежедневную передачу в адрес налогового органа фискальных данных, 3. предоставлять налоговому органу доступ к фискальным данным в режиме реального времени, а также предоставлять эти данные налоговому органу;
4. обеспечивать возможность проверки факта применения контрольно-кассовой техники организацией через интернет, а также возможность проверки достоверности оформленного кассового чека в виде электронного документа;
5. осуществлять в случае, если это предусмотрено договором между оператором фискальных данных и пользователем, передачу копий кассовых чеков в виде электронных документов с указанием в качестве адреса электронной почты отправителя - адреса ОФД;
6. предоставлять по интернету на безвозмездной основе любому лицу, предоставившему номер кассового чека, реквизиты и ФИО, а также адрес места жительства, кассовый чек или бланк строгой отчетности в виде электронного документа, подписанного квалифицированной электронной подписью оператора фискальных данных;
Рис. 1. Схема обмена данными между контрагентами
Передача данных в ОФД будет производиться с использованием фискального признака (уникальной подписи каждого чека). При необходимости, передачу оператору фискальных данных электронных документов с фискальными данными можно осуществлять в зашифрованном виде. В обязанности ОФД также входит хранение данных на протяжении 5 лет.
По требованию покупателя организации и индивидуальные предприниматели дополнительно к кассовому чеку, отпечатанному контрольно-кассовой техникой на бумажном носителе, обязаны передать покупателю его копию в виде электронного документа в незашифрованном виде на предоставленный покупателем адрес электронной почты.
Организации и индивидуальные предприниматели вправе поручить передачу покупателям копий кассовых чеков в виде электронных документов оператору фискальных данных. В этом случае в качестве адреса электронной почты отправителя должен быть указан адрес электронной почты оператора фискальных данных.
Гражданину новая технология дает дополнительную защиту своих прав как потребителя за счет возможности: · получить электронный чек у оператора фискальных данных и (или) в своей электронной почте;
· самостоятельно быстро и удобно проверить легальность кассового чека через бесплатное мобильное приложение и в случае возникновения вопросов тут же направить жалобу в ФНС России;
· Кассовый чек (бланк строгой отчетности) формируется контрольно-кассовой техникой в электронном виде (по требованию покупателя - на бумажном носителе) при осуществлении расчетов;
Плавный и поэтапный переход к новому порядку применения должен произойти до 1 февраля 2017 года. Законопроект никак не регламентирует что либо, кроме произведения налоговых расчетов по каждой позиции и хранения данных. Характер взаимодействия торгово-сервисного предприятия и оператора фискальных данных очень похож на процессинг платежных транзакций. Учитывая, что в банках сосредоточена и накоплена огромная экспертиза в области процессинга и обеспечения безопасности платежей, а также то, что многие финансовые организации предоставляют услуги по расчетно-кассовому обслуживанию, и юридические лица обязаны открывать счета в банке при регистрации, кажется вполне закономерным, что роль оператора фискальных данных будет занята банками.
Чек - простейший документ купли-продажи, обеспечивающий защиту прав потребителя. Вместе с этим, данные, зарегистрированные в памяти ККТ, обеспечивают расчет налога по сумме проданных товаров за покупку. Однако, несмотря на всю ценность, люди хранят чеки только после покупки электротоваров, крупной и малой бытовой техники.
В результате опроса было также выявлено, что в 36% случаев, чек при покупке люди не получали. Это значит, что торговцы осуществили продажу товаров без уплаты налогов. Такая ситуация складывается изза невнимательности населения, непонимание назначения чека, отсутствия удобства хранения и учета, а также надежды на «авось». Помимо всего прочего порядка 43%, забравших чек, сразу его выбрасывают.
31% респондентов готовы сохранить кассовый чек только при определенной сумме покупки. Приобретая тот или иной товар на сумму от 1000 руб. до 5000 руб. чек готовы сохранить - 23%, от 100 руб. до 500 руб. - 27%, от 500 до 1000 руб. - 37%, тогда как 46% участников опросов сохраняют кассовые чеки на любую покупку. В результате тестирования по поводу категорий товаров респонденты показали следующие данные: на продукты питания сохраняют чеки 45% граждан, на товары высокой стоимости (драгоценности, автомобиль и пр.) - 53%, на обувь и одежду - 66%, на бытовую технику и электротовары чаще всего граждане нашей страны сохраняют кассовые чеки - 70%.
Стоит отметить, что люди хранят чеки разное количество времени. Это связано с тем, что возврат и обмен товара можно осуществить в течение 14 дней со дня покупки, гарантия на электронные товары обычно составляет около года. Кроме того, большинство чеков печатаются на термобумаге (термопринтер дешевле и быстрее), поэтому текст со временем выцветает. Чеки можно восстановить в точке продажи товара, но мало кто знает о такой возможности, к тому же это весьма длительный процесс.
Люди, которые хранят чеки длительное время, в основном страхуются от некачественных товаров, домашнюю бухгалтерию, участвуют в акциях при покупке определенного товара, возвращают налог с некоторых операций или отчитываются о покупках.
Действие нового закона обеспечивает хранение электронного чека, но он подразумевает, что человек отсканирует его в мобильном приложении, чтобы получить доступ к электронной копии. QR-код - это уникальный номер чека, но считывать его можно только через официальное приложение. Возникновение программ по хранению чеков пользователя неизбежно. Однако, что-либо сделать с данными пользователи IOS не смогут, потому как у этой операционной системы доступ приложений к файловой системе ограничен. Напрашивается необходимость в открытии этих данных для работы сторонних организаций, поскольку их анализ и использование более интересен, он также обеспечивает большую утилизацию хранящихся данных.
Проверка на легальность - нужная функция при проверке алкоголя в системе ЕГАИС, потому как люди не хотят отравиться фальшивым товаром, интересуются подлинностью в случае покупки дорогой алкогольной продукции. Напротив, человеку нет нужны утруждать себя проверкой чеков на товары повседневного пользования в привычных местах, потому как он склонен считать, что вероятность форс-мажора крайне мала, а люди достаточно инертны в своем образе жизни. Кажется, что мотивация контроля за торговцами со стороны населения недостаточна потому как аудитория тех, кто хранит чеки крайне мала.
В то же время, монетизация банков до широкого проникновения IT состояла только в грамотном управлении финансами. Вместе с информационными технологиями появились карточки - уникальный банковский продукт. Банки стали получать дополнительный доход за счет комиссионных отчислений с размера транзакций в зависимости от денежного перевода или снятия наличных. Многочисленные исследования показывают, что современный потребитель зачастую ставит удобство использования на первое место, все меньше акцентируя внимание на цене. Такая ситуация происходит изза смены мышления: все больше людей начинают понимать цену своего времени, что оттеняет желание экономить на всем подряд. К тому же общеизвестным является факт о том, что люди, использующие безналичный расчет склонны больше тратить, поэтому карточный эквайринг - востребованный банковский продукт, увеличивающий выручку и улучшающий сервис.
По данным Центрального банка, эмиссия карточек, выпущенных кредитными организациями, на 1 января 2016 года составляет 243 929 млн.ед, демонстрируя стабильные темпы выпуска. Безусловно, такой рост складывается не только из новых обращений, но и из перевыпуска карт, у которых истек срок годности. Наряду с данной статистикой, нужно отметить тенденции в карточной эмиссии, связанные с выпуском виртуальных карточек (host card emulation, HCE), которые никак не учитываются статистикой ЦБ. Все меньше становится людей, которые используют карточки для снятия наличности в день выдачи зарплаты, благодаря внедрению программ банковской лояльности с крупными мерчантам, проведению акций международными платежными системами для стимулирования пользования карточками и воспитания культуры использования этого продукта.
Рис. 2. Статистика центрального банка по эмиссии банковских карт
Нельзя отрицать массовое распространение смартфонов, как самых персональных устройств и альтернативного способа оплаты. Таким образом, банки уже владеют системами по карточному процессингу и могут предоставлять различные способы оплаты товаров: карточкой, через электронный кошелек NFC или barcode. Государство активно продвигает систему безналичных платежей, потому что такой способ взаиморасчетов позволяет сделать систему прозрачной и лучше контролировать денежную массу и денежные потоки, что особенно актуально в связи принятием закона «О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма». Государство всецело заинтересовано в переходе в цифру изза прозрачности информационных и финансовых потоков, сокращения расхода бумаги на бланки. Эта ситуация предоставляет благоприятную почву для сопоставления данных о платежах с личностью клиента. Потоки безналичных платежей и обмен фискальной информацией будут происходить параллельно. Банки раньше всех начали заниматься анализом данных, но сейчас они знают, сколько тратят их клиенты и где, но не знают на что и зачем. Задачи, которые банки решают сейчас, используя продвинутую аналитику были выявлены после анализа открытых источников и наблюдений за тенденциями в отрасли.
Сейчас ценовые войны за уменьшение комиссии затухают, банки оптимизируют внутренние процессы и стремятся к интероперабельности с внешними отраслями: об этом сигнализирует появление многочисленных кобрендинговых карт и программ лояльности с cashback.
Происходит смещение роли банка с хранилища денег на хранилище информации с персональными советами по тратам и сбережениям. В соответствии со сложившейся ситуацией о принимаемом законе, банкам выгодно утилизировать имеющиеся данные при согласии сторон и предоставлять на их основе сервисы для мерчантов и конечных клиентов, которые надолго привяжут потребителя к банку. К таким сервисам прежде всего можно отнести персональных финансовых ассистентов (PFM), аналитические панели (BI, Data mart) и программы лояльности.
Создание персонализированного сервиса подразумевает пользу одновременно банкам, мерчантам и клиентам. Всем было бы полезно знать больше о клиенте, включая клиента. Особенно остро эта потребность проявляется в период кризиса. Нужно проводить up-sale, cross-sale не только банковских продуктов, но и продуктов клиентов банка.
Таблица 1. Решаемые задачи в области анализа данных в финансовом секторе
Банк Задачи Планы Технологии
Промсвязьбанк Формирование наиболее актуальной задачи для клиентского менеджера. Единое окно системы как фронт с логикой, но без процесса.
Уральский банк реконструкции и развития Продажа данных другим организациям (hash). Используют соцсети как канал продаж. Полученную и проанализированную информацию из соцсетей о клиентах можно использовать для дальнейшего взаимодействия. In-house решение.
Тинькофф Банк Скоринг, продажа карт и привлечение ипотеки. EMC Greenplum, SAS Visual Analytics и Hadoop.
Сбербанк Риски, сегментация и скоринг, управление персоналом, прогнозирование очередей в отделениях, расчет бонусов сотрудников. Предсказание клиенто-потока в отделениях, предсказание банкротства фирмы. Банк намерен подключить к анализу больше типов своих внутренних данных и задействовать внешние источники (например, данные из соцсетей). В марте Сбербанк купил рекламную платформу Segmento, чтобы использовать ее данные для персонализации предложений своих клиентам и привлечения новых. Банк привлек «Яндекс» в качестве консультанта по анализу больших данных. Teradata, Cloudera Hadoop, Impala, Zettaset, стек продуктов Apache (Hadoop, HBASE, Hive, Mahout, Oozie, Zookeeper, Flume, Solr, Spark и пр.), специализированные базы данных (Neo4j, MONGODB и т.д.) и собственные решения в области data mining, predictive/prescriptive-аналитики, обработки естественного языка.
Альфа-банк Предсказание банкротства. Анализ соцсетей и поведения пользователей сайта, скоринг, отток, персонализация контента и вторичные продажи. Возможности дополнительной монетизации своих массивов данных в рекомендательных системах, анализе линейки продуктов и предиктивном анализе поведения клиентов. Oracle Exadata, Oracle Big Data Appliance и Hadoop.
ВТБ24 Отток, формирование финансовой отчетности, анализ отзывов (соцсети, «Народный рейтинг» и «Банки.ру»). Выявление необоснованного cash back, ложные кредиты. Teradata, SAS Visual Analytics и SAS Marketing Optimizer, CLEVERDATA.
Открытие Анализ поведения клиентов и расчеты в реальном времени. HP Vertica, Oracle GOLDENGATE.
Райффайзенбанк Повышение скорости обработки данных. Развитие аналитического CRM, процессов по распознаванию проблемных заемщиков, процессов предотвращения мошенничеств различного характера. SAS, Oracle.
Ситибанк Управление рисками, противодействие отмыванию доходов, полученных преступным путем, моделирование при разработке новых продуктов. Hadoop, Teradata.
Уралсиб Поиск математически оптимального распределения предложений и коммуникаций по портфелю банка, обеспечивающего максимизацию прибыли или другого целевого показателя по выбору пользователя системы. IBM Contact Optimization.
ОТП Банк Web-маркетинг и аналитика. Сегментация клиентов и подготовка данных для маркетинговых кампаний, целевые маркетинговые коммуникации, составление и управление многоканальными многоволновыми маркетинговыми кампаниями, расширенная аналитика о реакции клиентов на различные предложения. Автоматизация исходящих звонков в колл-центре. IBM Campaign.
Всероссийский банк развития регионов Антифрод.
Бинбанк Отток, целевой маркетинг и cross-sale. CLEVERDATA.
Deutsche Bank Анализ неструктурированных данных. Переход от старой системы к новой, горизонтально масштабируемой. Сокращение времени на аудит и создание отчетов по риску. Привести в порядок свои данные. Hadoop
Лето Банк (Поглощен банком ВТБ24) Целевой маркетинг, слияние риск менеджмента и CRM, управление кредитными рисками. Модификация алгоритмов оценки клиентов и точный расчет целевых сегментов. Сокращение сроков запуска предодобренных кампаний, значительное сокращение времени обработки больших списков клиентов для коммуникации. Концепция Next Best Action. SAS Campaign Management, SAS RTDM
Мерчанты хотят лучше прогнозировать спрос и знать больше о клиенте (включая анализ соцсетей). Сейчас это решается картами лояльности и онлайн-каналами у развитых фирм. Но мерчант не знает, сколько денег у клиента и может ли он купить у него что-то еще; возможно, у мерчанта нет любимого товара постоянных клиентов, вопрос первичного привлечения также актуален. Интересной представляется область ритейлеров FMCG, маленькие мерчанты без уникальных товаров, потому что все товары примерно однородны и оцифрованы (штрих-коды, QR и RFID). В случае операторов фискальных данных, данные чистые (изза того, что по ним платятся налоги), записываются 1 раз, а читаются много раз (что идеально соответствует идеологии BIGDATA).
50% клиентов хотят, чтобы у банков был сервис для контроля бюджета или сервис, помогающий им экономить. Неплохо это работает в Америке. Американцы серьезно относятся к домашней бухгалтерии: начиналось все с записи чеков в тетрадь, потом был переход на электронные программы, затем на сервисы. Интересные продукты, такие как Mint и Quicken агрегируют данные пользователя из всех банков и всех транзакций, делают персональные рекомендации и позволяют выставлять цели (данные по категориям покупок берут из MCC - merchant category code). Это работает хорошо, потому что в Америке почти все пользуются карточками и почти все банки поддерживают OFX формат. За пределами Америки все иначе - нет такого просто решения. Большинство людей финансово не грамотны и вести самому домашнюю бухгалтерию сложно: нужно время выделить, монотонно, не все аналитики, есть человеческий фактор. В этом свете представляется идеальным решение, которое бы незаметно для пользователя сопоставляло детальную информацию по тратам и раскладывала информацию по категориям (потому как разные люди воспринимают траты по-разному), советовала и знакомила с новыми товарами.
Существует огромная пропасть между покупателем и продавцом в сделке по купле-продаже, и сейчас потребитель действует методом проб и ошибок. Товаров и услуг стало слишком много, их сложно все попробовать и выбрать для себя оптимальный. Люди могут помочь друг другу обменом опыта в выборе подходящих товаров через посредника. Сейчас мало только произвести товар, нужно еще наладить связь с потребителем. Торговцы стремятся удержать клиентов, так как привлечение новых обходится гораздо дороже. Поэтому существуют различные маркетинговые кампании и программы лояльности: · распродажа товара
· акции, направленные на привлечение новых покупателей
· запуск собственной дисконтной программы
К долгосрочным программам относятся: 1. Дисконтная программа, по которой покупатель получает скидки - на весь ассортимент или на отдельные группы товаров.
2. Накопительная дисконтная программа, где покупатель стимулируется на более дорогостоящие покупки, чтобы получать высокие скидки на все последующие покупки.
3. Организация объединенных магазинов с созданием единой карты лояльности нескольких магазинов, которые не конкурируют друг с другом напрямую. Магазины привлекают новых покупателей и повышают свою узнаваемость
4. Кобрендинговая программа с банком.
Краткосрочные акции: 1. Упаковка дополнительного товара к уже купленным.
2. Купон со скидкой на отдельный товар или весь чек.
3. Бонусы - внутренняя валюта, которая используется для оплаты товаров наряду с обычными деньгами.
4. Скидки, которые привлекают внимание покупателя и создают у него ощущение, что он не только покупает, но при этом еще и экономит.
5. Подарки при покупке определенного товара.
Учитывая все открывшиеся возможности и потребности сторон, необходимо создание сервиса, который бы максимально соответствовал ожиданиям.
· Предлагал выгодные и экономически обоснованные предложения для всех сторон;
· Уменьшал шаги аутентификации (NFC, barcode) и оплаты пользователя при покупке;
· Позволял однозначно идентифицировать пользователя в CRM;
· Позволял получить верифицированные социально-демографические данные о пользователе без заполнения лишних анкет;
· Расширял пользовательский опыт конечных клиентов;
· Формировал индивидуальные предложения;
· Учитывал контекст и индивидуальную воспринимаемость предложений пользователями;
· Давал мерчантам возможность взаимодействовать с пользователями, экономить на SMS-информировании;
· Позволял экономить мерчантам на эмиссии карт;
· Обеспечивал возможность участия в программе малого и среднего бизнеса;
· Предоставлял просто способ идентификации пользователя на подходе в магазине с персональным информированием с помощью IBEACON;
· Проверял данные дополнительным анкетированием при установке приложения;
· Давал возможность оплачивать покупки через HCE;
· Был хорошо интегрирован с уже имеющейся программой лояльности;
· Предоставлял различные виды аналитических панелей и системы поддержки принятия решений для мерчантов;
· Привлекал новых клиентов;
· Обеспечивал возможность работы с данными сторонним разработчикам;
Мобильный девайс - наиболее персональное устройство, которое всегда под рукой, что делает рекомендации действительно персональными. Нужно стимулировать клиента идентифицироваться сразу на кассе: сделать это можно посредством безналичного расчета (тогда данные о клиенте сразу сопоставляются с его покупкой) или же посредством печати на чеке уникального идентификатора, который клиент должен будет считать через приложение после. В любом случае мотивацией клиента будет выступать желание получить скидку, бонусы при покупке, cashback или дополнительные услуги. По сути, теперь клиенту нет необходимости иметь при себе карточки программы лояльности или какие-то физические купоны.
На сегодняшний день среднестатистический потребитель имеет около 30 различных карт в своем кошельке и их количество постоянно растет. Неудобство хранения приводит к выводу карт лояльности из оборота. В тоже время, еще не охвачены регионы, где нет активной конкуренции за клиента и технической возможности поддерживать такие программы. Доля таких клиентов составляет около 30%, но активно снижается изза развития регионов.
Передача данных от банка к продавцу и насыщение данных не могут происходить без согласия клиента, нужно также учитывать требования закона «О персональных данных», спрашивая разрешение или настраивая безакцептный обмен данными по факту пользования инструментом.
2. Анализ доступных данных и способов их использования
Сведения о расчетах, которые должны содержаться в фискальных документах, хранящихся у операторов фискальных данных, указываются в следующем виде (форме): 1. адрес банковского агента (субагента)
2. адрес оператора по переводу денежных средств
3. адрес платежного агента (субагента)
4. адрес электронной почты покупателя (клиента) в случае передачи ему кассового чека (бланка строгой отчетности) в электронной форме (за исключением контрольно-кассовой техники, применяемой в автономном режиме)
5. место (адрес) осуществления расчета
6. дата, время осуществления расчета
7. идентификационный номер налогоплательщика оператора по переводу денежных средств
8. идентификационный номер налогоплательщика ОФД (за исключением случаев применения контрольно-кассовой техники в автономном режиме)
9. идентификационный номер налогоплательщика пользователя
10. сумма расчета
11. фамилия, имя, отчество (при наличии)
12. идентификационный номер налогоплательщика
13. наименование и место нахождения оператора по переводу денежных средств
14. наименование операции банковского агента (субагента)
15. наименование фискального документа
16. налоги
17. сокращенное наименование налога;
18. ставка налога
19. итоговая сумма налога для всех товаров (работ, услуг, платежей, выплат), указанных в кассовом чеке (бланке строгой отчетности)
20. номер автоматического устройства для расчетов
21. регистрационные номер контрольно-кассовой техники
22. номер смены
23. номер фискального документа
24. номер фискального накопителя
25. порядковый номер кассового чека (бланка строгой отчетности)
26. номер и дата документа-основания корректировки
27. наименование организации
28. признак расчета
29. размер вознаграждения, уплачиваемого плательщиком платежному агенту
30. размер вознаграждения, уплачиваемого физическим лицом в виде общей суммы, включающей в том числе вознаграждение банковского платежного агента (субагента) в случае его взимания
31. реквизиты товара
32. наименование товара (работ, услуг, платежа, выплаты)
33. количество товара (работ, услуг, платежа, выплаты)
34. цена за единицу товара (работы, услуги, платежа, выплаты)
35. общая стоимость товара (работы, услуги, платежа, выплаты) с учетом скидок (наценок)
36. сокращенное наименование налога
37. ставка налога
38. размер налога
39. применяемая система налогообложения при расчете
47. итоговая сумма налогов для всех товаров (работ, услуг, платежей, выплат), указанных в кассовых чеках (бланках строгой отчетности) с момента формирования отчета о фискализации фискального накопителя
48. сумма расчетов за смену
49. сумма налогов за смену
50. сокращенное наименование налога
51. ставка налога
52. итоговая сумма налогов для всех товаров (работ, услуг, платежей, выплат), указанных в кассовых чеках (бланках строгой отчетности) в течение смены
53. номера контактных телефонов платежного агента, поставщика и оператора по приему платежей, а также платежного субагента в случае приема платежа платежным субагентом
54. номера телефонов оператора по переводу денежных средств, банковского платежного агента и банковского платежного субагента (в случае его привлечения банковским платежным агентом)
55. номера телефонов оператора по переводу денежных средств, банковского платежного агента и банковского платежного субагента (в случае его привлечения банковским платежным агентом)
56. тип корректировки
57. фискальный признак документа
58. фискальный признак сообщения
59. фискальный признак подтверждения
60. фискальный признак оператора
Новый законопроект ориентирован на русских потребителей, поэтому крайне важно учитывать особенности менталитета и предпочтения наших граждан. Понимание мотивов потенциального покупателя имеет огромное значение при составлении рекомендации и предложении товаров, которые бы в наибольшей степени соответствовали потребительским ожиданиям касательно баланса стоимости и качества продукции.
С связи с данной интеграцией, следует также учитывать то, что непосредственным потребителем не всегда является тот, на кого оформлена карточка или аккаунт в приложении. К примеру, к одному банковскому счету может быть выпущено несколько карточек. Данные можно частично обновлять за счет того, что в России готовится единая база данных номеров мобильных телефонов, по которой банки смогут установить принадлежность номера мобильного телефона гражданину с соответствующими именем и фамилией.
Мотивов, которыми руководствуются люди при покупке, много, причем, у человека всегда присутствует целая гамма побудительных мотивов, из которых лишь определенные могут иметь существенную значимость и влиять на механизм и результат принятия окончательного решения. Выявив мотивы, можно вырабатывать эффективные приемы, способствующие привлечению пользователя и придания ему статуса постоянного, что, в конечном итоге, прямым или косвенным образом может повлиять на увеличение продаж.
Общий интерес в ряде случаев отличается от потребностей и желаний каждого индивидуума (члена группы). Мотивация покупателей отличается в зависимости от времени, когда принимается решение о покупке и места нахождения человека, поэтому учитывать контекст для формирования предложения крайне важно.
Ритейлеры традиционно занимаются различными видами анализа: · Анализ динамики товарооборота, прибыли, средней суммы покупки и количества покупок по дням недели
· Анализ сумм и структуры чеков
· Анализ структуры товарооборота и прибыли (АВС - анализ)
· Анализ эластичности товарооборота
· XYZ-анализ
· RFM-анализ
· Анализ эффективности использования торговых площадей
· Анализ эластичности площади
Наибольший интерес представляет использование алгоритмов продвинутой аналитики на большом массиве данных. Если оценивать характер возникновения данных и объемы операций, регулярно совершаемых в стране, становится понятно, что необходимо использовать инструменты, специально предназначенные для хранения и анализа большого количества данных. Классические реляционные базы данных в данным случае не подходят изза ограничения по масштабированию, которое требует дорогого вертикального наращивания вычислительных мощностей. Для реализации анализа мною была использована платформа для массово-параллельной обработки данных с открытым исходным кодом Apache Spark. Преимущества использования этого фреймворка заключаются в том, что он: · Оптимизирован для очень большого объема данных (TB, PB)
· Создан для задач, когда данные пишутся один раз, читаются много раз · Отказоустойчив, не нужно создавать резервные копии
· Репликация данных происходит по мере их накопления
· Может исполняться на дешевом аппаратном обеспечении
· Поддерживает интерактивную, пакетную и потоковую обработку данных
· В несколько раз быстрее парадигмы Map Reduce за счет хранения данных в памяти
· Совместим с остальными элементами экосистемы Hadoop
· Поддерживает несколько языков с одинаковым функционалом
· Способен загружать данные из различных источников
· Есть встроенные библиотеки для различного рода анализа
Для анализа отклика на целевое предложение были использованы методы деревьев решений (на основе алгоритма ID3 и использования уровня энтропии) и случайные леса. Такой подход выбран изза того, что этот метод достаточно прост и хорошо интерпретируется, что полезно в выработке маркетинговой стратегии. Алгоритмы случайного леса обычно дают лучший результат и хорошо поддержи
Вывод
банковский программа алгоритм коллаборативный
В результате была изучена рыночная ситуация, выделены наиболее перспективные области развития банковских сервисов и продуктов с учетом требований регулятора. Был произведен анализ данных, к которым получит доступ новый агент и выявлены возможности их использования. Последующая настройка рабочих сред для реализации проекта: развертывание и настройка серверов для хранения данных и анализа, позволили разработать программный продукт для трансформации сырых данных и их обработки средствами интеллектуального анализа. Было произведено сравнение коллаборативных алгоритмов на тестовых данных и разработана контентная модель, основанная на банковских данных о пользователе и результате предыдущих кампаний.
Конкретная техническая реализация заключается в создании автором программы формирования рекомендаций на языке R и дополнении ее результатами контентной модели, реализованной на языке Scala на программной платформе Apache Spark. Практическая значимость такого сервиса состоит в возможности улучшения пользовательского опыта, расширения знаний о клиенте банка и торговцев, создания открытого сервиса для наилучшей утилизации данных сторонними разработками и экономии на эмиссии банковских карт и карт лояльности.
За последние годы был совершен значительный прогресс в развитии рекомендательных систем. Были предложены контентные, коллаборативные и гибридные алгоритмы выработки рекомендаций. Некоторые системы нашли практическое применение в коммерческой индустрии. Тем не менее, несмотря на прогресс, для более эффективной работы в большом списке приложений современное поколение рекомендательных систем требует дальнейших улучшений.
Все еще существуют различные ограничения, с которыми сталкиваются современные рекомендательные методы, для которых описаны необходимые улучшения, способные сделать работу банка и ритейлера более эффективной. К таким улучшениям относятся, в ряду прочих, усовершенствованное моделирование пользователей и товаров, включение контекстной информации в рекомендательный процесс.
Возможно, хранение контекстной информации сделает возможным расширение рекомендательной системы и полноценной реализации концепции customer journey.
Список литературы
1. Big Data Alchemy: How can Banks Maximize the Value of their Customer Data? / Capgemini Consulting, 2014 - 16 стр.
2. D. Jannach, M. Zanker, A. Felfernig, G. Friedrich Recommender Systems. An Introduction. New York: Cambridge University Press 32 Avenue of the Americas, 2011. 352 P.
3. F. Ricci, L. Rokach, B. Shapira, P.B. Kantor Recommender Systems Handbook. Springer, 2011. 842 P.
4. G. Miner, R. Nisbet, J. Elder IV Handbook of Statistical Analysis and Data Mining Applications. - 1 изд. Elsevier Publishing, 2009.
5. GLOWBYTE Consulting внедрила IBM Campaign в ОТП Банке [Электронныи ресурс] / Пресс-центр GLOWBYTE Consulting. Режим доступа: http://gbconsulting.ru/about/press-center/company-news/2015/08/13/glowbyte-vnedril-ibm-campaign-otp-bank/, свободныи. (дата обращения: 13.07.15).
6. Joshua D. Suereth. Scala in Depth// Manning, 2012.
7. Kemp, Simon. «Digital in 2016» We Are Social. N.p., 27 Jan. 2016. Web. / http://wearesocial.com/uk/special-reports/digital-in-2016
8. Mike Frampton. Mastering Apache Spark // Packt Publishing. 2015.
9. P. Melville, V. Sindhwani Recommender systems. Encyclopedia of Machine Learning. 2010.
10. R Graphics Cookbook / Winston Chang. - USA: OREILLY, 2012 - 522 с.
11. Cay Horstmann. Scala for the Impatient, Basic Classifiers// Addison-Wesley 2012.
12. Shalizi С. Categorizing Data Vectors Types of Categorization, Basic Classifiers, Finding Simple Clusters in Data // Data Mining. 2009.
13. Social Link [Электронныи ресурс] /НБКИ. Режим доступа: http://www.nbki.ru/servicescredit/social/connections/ свободныи. (дата обращения: 13.05.15).
14. T. Hastie, R. Tibshirani, J. Friedman The Elements of Statistical Learning: Data Mining, Inference, and Prediction. - Second Edition. Springer, 2009.
15. U. von Luxburg, S. Ben-David Towards a Statistical Theory of Clustering // School of Computer Science, University of Waterloo, Canada. - 2015.
16. Y. Koren Collaborative Filtering with Temporal Dynamics. KDD’09. 2009
17. X. Su, T.M. Khoshgoftaar Survey of Collaborative Filtering Techniques. Advances in Artificial Intelligence. 2009.
18. W.P. Jones, G.W. Furnas Pictures of Relevance: A Geometric Analysis of Similarity Measures. Journal of the American society for information science. 1987.
19. А. Гомзин, А. Коршунов Системы рекомендаций: обзор современных подходов. Препринт. Москва: Труды Института системного программирования РАН. 2012. 20 С.
20. Банк УРАЛСИБ развивает маркетинговую платформу с помощью IBM Contact Optimization [Электронныи ресурс] / Пресс-центр GLOWBYTE Consulting. Режим доступа: http://gbconsulting.ru/about/press-center/company-news/2015/05/12/bank-uralsib-razvivaet-marketingovuyu-platformu-s-ibm-contact-optimization/, свободныи. (дата обращения: 12.03.16).
21. Банк "Открытие" внедрил решение HP Vertica для анализа big data [Электронныи ресурс] / Пресс-центр банка Открытие. Режим доступа: https://www.openbank.ru/about/press/721/, свободныи. (дата обращения: 12.03.16).
22. Бинбанк присоединился к числу пользователей биржи данных [Электронныи ресурс] / CLEVERDATA. Режим доступа: http://cleverdata.ru/binbank-birzha/, свободныи. (дата обращения: 12.03.16).
23. Большие данные не стали мэйнстримом в российских банках [Электронныи ресурс] / Cnews. Режим доступа: http://www.cnews.ru/news/top/bolshie_dannye_ne_stali_mejnstrimom/, свободныи. (дата обращения: 16.02.16).
26. Искусственный интеллект может не только экономить, но и зарабатывать [Электронныи ресурс] / Bankir.ru. Режим доступа: http://bankir.ru/publikacii/20160422/iskusstvennyi-intellekt-mozhet-ne-tolko-ekonomit-no-i-zarabatyvat-10007471/, свободныи. (дата обращения: 1.01.16).
27. Исследование рынка банковских программ лояльности 2015 / Frank Research Group, 2015 - 45 стр.
28. Как устроен рынок big data в России [Электронныи ресурс] / Rusbase. Режим доступа: http://rusbase.com/howto/big-data-in-russia/, свободныи. (дата обращения: 13.03.16).
29. Когда данных слишком много: банки на передовой Big Data [Электронныи ресурс] / Slon. Режим доступа: https://slon.ru/specials/data-economics/articles/bankiri/, свободныи. (дата обращения: 07.02.16).
30. Количество платежных карт, эмитированных кредитными организациями, по типам карт [Электронныи ресурс] / Центральный банк РФ. Режим доступа: http://www.cbr.ru/statistics/p_sys/print.aspx?file=sheet013.htm, свободныи. (дата обращения: 10.01.16).