摘 要： 面对日趋激烈的运输市场竞争, 以及信息化技术的快速发展, 铁路运输及其他运输行业积累了海量信息化数据, 铁路运输部门可以运用大数据技术挖掘运输市场的客户价值, 建立铁路客户关系管理系统, 有助于更好地管理维护运输客户, 优化营销策略。根据铁路客户关系管理的需求分析, 提出以大数据架构为基础的铁路客户关系管理系统设计方案, 包括逻辑架构设计、核心功能设计和关键技术, 为铁路运输部门在客户分类管理、客户流失预警、优化营销方案、实现增运增收等方面提供辅助决策功能。
关键词： 铁路运输; 大数据; 客户关系管理; Hadoop; Spark;
Abstract： Following the fierce competition of transportation market and rapid development of information technology, railway transportation and other transportation industries accumulate massive information data, so based on big data technology, railway departments could find customer value of transportation market and establish customer relationship management (CRM) system, which could help better manage and maintain transport customer and optimize marketing strategies. According to the demand analyses of railway CRM, this paper puts forward the design scheme of railway CRM system based on big data framework, including logic framework design, core functions design and key technologies, so as to provide auxiliary decision-making functions for railway transportation departments from the aspects of customer classification management, customer churn warning, marketing scheme optimization and realization of transport capability and income increasing.
Keyword： Railway Transportation; Big Data; Customer Relationship Management (CRM) ; Hadoop; Spark;
随着供给侧结构性改革的推进, 煤炭、钢铁、金属矿石等大宗商品的运输需求有所下降, 铁路面临着较大的运输缺口。由于铁路运输企业对客户价值的挖掘和管理深度不足, 以及公路、水运、航空等运输市场的竞争压力, 铁路运输行业面临着客户流失的风险。保持核心竞争力的关键是抓住客户, 目前在铁路运输客户管理的研究工作方面, 戴钰桀等[1]根据客户对铁路的贡献程度等指标, 提出铁路客户星级评价系统;郝艳华[2]在铁路货运中心客户关系管理现状的基础上, 提出通过建立客户分级管理, 开发信息平台等方式, 提升铁路货运客户满意度和忠诚度;郑平标等[3]通过建立铁路客户价值评价指标体系, 针对不同客户细分群体提出相应的市场策略, 为铁路客户关系管理与市场营销提供决策参考。随着我国铁路运输的发展及铁路信息化水平的不断提升, 铁路运输信息系统积累了海量的客户信息, 如何有效地对这些信息加以利用, 充分挖掘信息的价值, 成为客户关系管理和营销的关键。运用大数据技术, 可以从海量数据中寻找隐藏其中的关联, 从更深层次去认识和挖掘其中的价值和运行规律。例如, 马小宁等[4]运用大数据技术设计铁路客运大数据平台;单杏花等[5]总结电信、金融及互联网行业开展的大数据应用经验, 提出铁路大数据应用的体系架构。为此, 根据铁路客户关系管理的需求分析, 将传统信息技术与大数据技术相结合, 利用从铁路相关部门获取的海量客户信息和其他运输市场潜在客户信息, 并运用数据挖掘技术, 挖掘客户价值, 进行预测分析, 最终提出基于大数据的铁路客户关系管理系统设计方案, 以提高铁路运输效益。
1、 基于大数据的铁路客户关系管理系统特征及需求分析
1.1、 基于大数据的铁路客户关系管理系统特征分析
大数据是指规模较大且无法通过目前主流软件工具在合理时间实现获取、管理、分析挖掘的数据, 其特征可以归纳为数据量巨大、处理速度快、类型繁多、数据价值高[6,7]。铁路客户关系管理大数据是铁路大数据的一个子集, 包括铁路运输系统、客服系统、投诉建议系统、移动设备、企业管理等诸多领域长期积累的结构性、半结构性、非结构性数据, 其大数据特征体现如下。
(1) 数据量大。随着铁路信息化的全面发展, 以及中国铁路客户服务中心 (12306) 、中国铁路95306网的建立, 铁路运输的业务管理工作逐渐向信息化转型, 积累了海量的运输数据。据初步数据统计, 中国铁路总公司及各铁路局存储的数据总量已经达到10 PB的数量级[8], 这些海量数据可以用于客户关系管理, 同时运用大数据网络爬虫技术, 获取其他运输市场积累的海量客户数据和相关信息。
(2) 处理速度快。随着铁路运输数据量的不断攀升, 需要为铁路运输部门在客户关系管理, 特别是在客户分类和客户流失预测方面提供快速实时的响应和交互, 因而铁路客户关系管理系统对数据处理速度方面提出了较高要求。
(3) 类型繁多。随着铁路运输业务的拓展和信息化的发展, 处理的数据包含网络流数据、视频、图片、交互网络数据等半结构和非结构化数据, 不同的数据具有不同的数据类型, 并且在数据展现及存储等方面差异性较大。
(4) 数据价值高。铁路运输数据对客户关系管理具有巨大的应用潜力和价值, 通过对数据进行挖掘、分析、展现, 可以实现客户的动态分类、客户流失预警、客户忠诚度分析等功能, 从而实现运输产品优化和智能推荐, 达到精准营销的目的。
1.2、 需求分析
随着运输市场的激烈竞争、运输业务的不断拓展, 以及信息化水平的不断提升, 铁路客户关系管理需要对海量数据进行快速处理响应, 提供多种结构类型数据的存储与处理机制, 以及面向多种数据源的数据获取功能;同时, 需要从收集的客户信息中开发客户价值潜力, 不仅是面向铁路既有的运输客户, 也要在其他运输市场中挖掘潜在运输客户, 从而达到提升客户价值, 完善铁路运输营销策略的目的。结合基于大数据的铁路客户关系管理系统的特征分析, 提出以下需求。
(1) 客户信息管理。运用大数据技术, 对多结构类型数据进行存储, 包括传统结构化数据、半结构化数据、非结构化数据, 实现客户信息的整合共享。获取多维度数据, 包括公路、水路、航空等运输方式的市场及客户信息、物流园区综合信息、天气信息、交通路况信息等, 用于对客户进行综合挖掘分析。
(2) 客户动态细分。面对日趋庞大的运输信息量和数据增长速度, 铁路既有的客户细分方法在处理速度和效率方面已经不能满足铁路运输业务的需要, 结合铁路运输业务特征, 运用大数据技术, 对运输客户按照业务需求进行细分, 可以得到不同价值的客户群体, 通过分析客户价值差异原因, 可以针对不同价值的客户提供优化的营销策略, 并挖掘客户价值潜力。
(3) 客户流失预测。随着运输市场竞争日趋激烈, 客户的选择范围越来越广, 面对公路、水路、航空等其他运输方式的竞争压力, 铁路运输行业面临客户流失的风险。运用大数据技术, 可以获取其他运输市场动态信息, 对比铁路运输市场, 结合客户的运输信息, 对客户进行流失预测。通过设定预警阈值, 当客户接近或达到流失阈值, 系统对铁路运输部门进行实时预警, 并利用大数据技术分析客户流失原因, 制订挽留策略, 对客户进行维护, 达到优化营销策略的目的。
(4) 客户营销策略制订。客户关系管理可以更好地辅助铁路运输营销业务, 对客户动态细分和流失预测结果, 结合其他运输市场客户信息分析, 建立多方信息之间的关联, 运用大数据及数据挖掘技术有针对性地对各类客户制定更加高效的、满足客户需求的、符合铁路运输市场规律的营销策略。
(5) 运输客户市场开发。铁路运输行业既应服务好既有的运输客户, 同时还应积极开拓新的客户, 挖掘其他运输市场的成熟客户。运用大数据技术, 获取其他运输市场的客户信息, 结合铁路运输自身优势, 挖掘潜在铁路运输客户, 并进行市场营销, 从而达到增加铁路运输高价值客户, 实现铁路增运增收的目的。
2 基于大数据的铁路客户关系管理系统设计
在新的运输市场形势下, 面对铁路运输行业对客户关系管理在快速处理海量数据、高效存储多样化数据、有效获取多源化数据、加大挖掘数据价值等方面提出的新需求, 在传统信息化技术的基础上, 引入大数据技术用于铁路客户关系管理系统的设计。大数据技术的引入不仅可以高效地管理、挖掘、分析铁路长期积累的海量客户信息, 还可以为收集整理外部运输市场数据提供技术支持, 从而使客户关系管理系统更加及时、全面、客观地对客户进行管理。主要技术路径是以大数据技术为主, 采用Hadoop[9]分布式架构和Spark计算引擎, 同时结合数据挖掘技术, 在客户动态细分、客户流失预警、客户营销制订等方面进行分析及预测, 包括逻辑架构设计、核心功能设计及关键技术, 具体内容如下。
2.1、 逻辑架构设计
铁路客户关系管理系统的设计需要以大数据技术为支撑, 对海量、多结构类型的数据进行收集、处理、存储、分析、应用、使用展现等操作, 从而达到优化客户关系, 提升营销能力的目的, 其逻辑架构设计包括数据采集层、数据预处理层、数据存储层、数据分析层、应用层、展现层、安全保证层和配置管理层。
(1) 数据采集层。基于大数据的铁路客户关系管理系统的数据来源可以分为2部分, 一部分是来自铁路内部信息化建设长期积累的数据, 包括中国铁路客户服务中心 (12306) 、中国铁路95306网、货票系统、货运收入系统、调度系统、投诉建议系统、集装箱系统、大客户管理系统;另一部分来源于铁路外部, 包括公路物流运价、航空物流运价、港口物流运价、天气预报、交通路况、综合物流园信息、大宗价格指数、白货价格指数。采集的信息从数据结构方面又可以分为3类, 分别是结构数据, 如传统的客户信息、运输信息、货票信息等;半结构数据, 如客户提报的报表信息、邮件信息、文件信息等;非结构数据, 包括客服系统获取的客户语音数据、客户图像信息、影像信息、GPS信息等。
(2) 数据预处理层。数据采集层获取的数据, 存在着数据维度大、噪音强、不完整、甚至不一致等问题, 需要对数据对象进行预处理, 通过完善数据质量, 从而获取准确数据挖掘结果。预处理过程包括数据筛选、数据变量转换、缺失值处理、坏数据清洗、数据标准化、主要成分分析、属性选择、数据归一主要步骤。
(3) 数据存储层。对数据采集层获取的多结构类型数据, 根据铁路客户关系管理的不同业务需求和应用场景, 搭建包括关系型数据库、分布式文件、非关系型数据库在内的数据存储架构。
(4) 数据分析层。采用机器学习、统计分析、模式识别等技术对存储层数据进行大数据分析, 将分析结果用于应用层。
(5) 应用层。运用数据分析层结果, 实现对客户动态细分、客户流失预警分析、客户价值挖掘、客户市场拓展、营销策略优化、数据辅助决策、其他商业智能应用等应用的支撑和开发。
(6) 展现层。展现层将应用层所获取的结果展现给铁路运输部门, 其中, 实时监控器用于捕获重要的信息, 并将其实时推送给铁路运输部门, 以提高客户关系管理效率;报告引擎将数据挖掘分析结果生成报表或自助式的分析结果, 用于铁路运输部门辅助决策;推荐引擎通过数据挖掘分析, 为铁路运输部门找到可能流失的客户, 或者推荐外部市场的潜力客户, 也可以为客户推荐更佳的运输产品和优化后的运输方案;可视化引擎提供饼图、雷达图、柱状图等可视化统计分析结果示意图, 可以更加直观地显现客户的分类情况、分布情况、业务开展情况、历史数据比对情况、货源流动情况、各运输市场动态情况等信息, 为运输部门提供辅助决策功能。
(7) 安全保障层。安全保障层在网络安全、应用安全、数据安全、物理安全等方面为基于大数据的客户关系管理系统提供了安全保障。
(8) 配置管理层。配置管理层用于对基于大数据的客户关系管理系统进行监控、配置和管理。
基于大数据的铁路客户关系管理系统逻辑架构设计如图1所示。
2.2、 核心功能设计
针对基于大数据的铁路客户关系管理系统的需求, 系统的核心功能包括客户信息管理、客户分类管理、客户流失预警管理、营销管理4个模块。
(1) 客户信息管理。①信息采集与存储。采集铁路内、外的客户相关数据, 以及其他运输市场的运输数据, 用于数据挖掘工作。②数据查询与编辑。提供对客户信息的综合查询功能, 提供在权限控制和审核流程下的客户信息编辑工作。③数据挖掘与分析。提供客户的数据挖掘和分析功能, 该功能提供了客户多维数据统计分析功能, 以及年、旬、月、周、日等报表分析功能, 从而能够得到客户需求变化分析结果, 以及运输市场的动态信息。
(2) 客户分类管理。①分类规则管理。根据铁路运输部门的要求, 按照运输价格、生命周期、价值潜力等方式设定分类规则, 并提供定义分类数量等功能。②分类模型管理。用户可以从模型库中选择分类模型, 同时可以对模型库进行编辑操作。③分类方法管理。该功能提供了分类算法库, 用户可以从中选择需要的分类算法, 同时可以对算法库进行编辑操作。
(3) 客户流失预警管理。①流失预警阈值管理。铁路运输部门可以根据实际情况, 设定客户流失预警各项参数的阈值, 当有客户对应参数达到或超过阈值, 则表示存在流失的风险, 系统将预警信息实时推送给铁路运输部门。②流失预警模型管理。用户可以从流失预警模型库中选择客户流失模型, 同时可以对模型库进行编辑操作。③流失预警方法管理。该功能提供了流失预警算法库, 用户可以从中选择需要的流失预警算法来计算客户流失模型的结果。
(4) 营销管理。①营销产品智能推送。运用大数据挖掘分析结果, 以及客户动态细分结果, 系统根据客户的行为动态和需求变化, 向客户智能推荐铁路运输产品。②营销产品智能优化。根据大数据分析结果及客户需求变化分析、运输市场动态分析, 系统对现有运输产品进行智能优化, 提供产品价格浮动评估、运输产品组合、新产品模拟评估等功能。③客户跟踪管理。该功能模块提供客户投诉建议管理、客户需求变化追踪等功能, 用于铁路运输部门辅助决策, 为系统的数据挖掘分析提供数据源, 同时通过对外部数据的挖掘和分析, 为挖掘潜在铁路客户提供支撑。④外部潜在客户挖掘。铁路客户关系管理系统运用获取的铁路外部数据, 对其他运输市场进行数据挖掘与分析工作, 发现其他运输市场的潜在客户信息, 从而制定针对外部潜在客户的营销策略。
图1 基于大数据的铁路客户关系管理系统逻辑架构设计
基于大数据的铁路客户关系管理系统核心功能设计如图2所示。
2.3、 关键技术
基于大数据的铁路客户关系管理系统运用Hadoop分布式系统架构, 以Spark作为计算引擎, 使用关系型数据库Oracle、分布式文件存储系统HDFS、非关系型数据库HBase, 采用开源的Chukwa对系统进行监控及日志管理, 使用开源的Zookeeper对系统进行包括配置维护、域名服务、分布式同步、组服务等一致性协调服务管理, 保证系统功能的稳定和性能的高效。运用数据接收设备, 对获取的铁路内部及外部数据进行处理, 并通过应用层结合数据挖掘技术, 建立数据模型, 使用相关算法, 对铁路客户关系数据进行数据分析, 从而得到数据结果, 由展现层利用可视化操作及检索功能为运输部门和客户提供服务。基于大数据的铁路客户关系管理系统关键技术如图3所示。
图2 基于大数据的铁路客户关系管理系统核心功能设计
(1) 数据采集层。基于大数据的铁路客户关系管理系统提供包括互联网、摄像头、GPS、EMAIL多种途径的数据收集机制, 同时采用网络爬虫技术获取其他运输市场的客户信息, 从而获取铁路内部及外部的结构型、半结构型、非结构型的数据。
(2) 数据存储与处理层。预处理层系统对于传统的结构型数据使用SQL查询抽取技术, 对于半结构和非结构的数据运用ETL工具进行抽取、转换, 同时结合Hadoop系统组件和其他预处理方案对数据进行预处理;在存储层提供基于Oracle的关系数据库、基于HDFS[10]的分布式文件存储、基于HBase的非关系型数据库等存储机制;计算层提供基于Hadoop的数据仓库工具Hive和基于内存运算的高性能计算引擎Spark, 提供Map Reduce和Spark DAG批处理工具, 提供Strom和Spark Streaming流式处理方法, 以及Hadoop的图像处理库Graph X。
(3) 应用层。采用统计分析、数据挖掘技术、OLAP技术、Pig语言、R语言等技术, 对数据进行综合应用分析, 并将分析结果用于客户关系管理系统的开发和应用。例如, 采用K-means、模糊聚类、C均值、神经网络等方法对客户进行动态细分;采用人工神经网络、决策树、支持向量机 (JVM) 等数据挖掘算法对客户进行流失预测;采用深度学习、优化算法、智能推荐等对营销策略进行分析等。
(4) 展现层。系统在展现层主要使用了多种可视化技术和检索工具方法, 将系统的功能和大数据统计分析出来的结果展示给铁路运输部门, 为其决策提供一定的参考。
3、 结束语
为适应日趋激烈的运输市场, 更好地利用长期积累的运输客户信息, 铁路运输部门应建立基于大数据的铁路客户关系管理系统, 实现铁路运输市场营销及客户关系管理的目的。通过建立基于大数据的铁路客户关系管理系统, 对客户进行动态细分、流失预警分析、营销管理等操作, 分析得出客户需求变动、行为动态及价值潜力, 在此基础上, 铁路运输部门可以优化营销策略, 达到满足客户需求、挖掘潜力客户、实现增运增收的目的。运用大数据技术, 铁路客户关系管理系统收集整理铁路内外的运输信息, 掌握最新运输市场的价格波动和市场动态, 了解其他运输方式的市场动态, 及时调整铁路运输营销策略, 最大限度地服务好客户, 从而实现精准营销、高效管理运输客户的目标。
图3 基于大数据的铁路客户关系管理系统关键技术
参考文献：
[1]戴钰桀, 张岩, 郑平标, 等.基于客户关系管理的铁路客户星级评价体系研究[J].铁道运输与经济, 2015, 37 (6) :92-96.DAI Yu-jie, ZHANG Yan, ZHENG Ping-biao, et al.Study on Simple Star-rating System of Railway Customers based on Customer Relationship Management[J].Railway Transport and Economy, 2015, 37 (6) :92-96.
[2]郝艳华.铁路货运中心客户关系管理的探讨[J].铁道货运, 2016, 34 (7) :29-32.HAO Yan-hua.Discussion on Customer Relationship Management of Railway Freight Transport Center[J].Railway Freight Transport, 2016, 34 (7) :29-32.
[3]郑平标, 朱克非, 代明睿.基于客户价值分析的铁路客户分类方法探讨[J].铁道运输与经济, 2014, 36 (3) :42-46.ZHENG Ping-biao, ZHU Ke-fei, DAI Ming-rui.Discussion on Railway Customers Classification Method based on Customer Value Analysis[J].Railway Transport and Economy, 2014, 36 (3) :42-46.
[4]马小宁, 李平, 史天运.铁路大数据应用体系架构研究[J].铁路计算机应用, 2016, 25 (9) :7-13.MA Xiao-ning, LI Ping, SHI Tian-yun.System Framework of Railway Big Data Application[J].Railway Transport and Economy, 2016, 25 (9) :7-13.
[5]单杏花, 王富章, 朱建生, 等.铁路客运大数据平台架构及技术应用研究[J].铁路计算机应用, 2016, 25 (9) :14-16.SHAN Xing-hua, WANG Fu-zhang, ZHU Jian-sheng, et al.Architecture and Technology Application of Big Data Platform for Railway Passenger Transport[J].Railway Computer Application, 2016, 25 (9) :14-16.
[6]严宵凤, 张德馨.大数据研究[J].计算机技术与发展, 2013, 23 (4) :168-172.YAN Xiao-feng, ZHANG De-xin.Big Data Research[J].Computer Technology and Development, 2013, 23 (4) :168-172.
[7]陈如明.大数据时代的挑战、价值与应对策略[J].移动通信, 2012 (17) :14-15.CHEN Ru-ming.Challenges, Values and Countermeasures of the Era of Big Data[J].Mobile Communication, 2012 (17) :14-15.
[8]史天运, 刘军, 李平, 等.铁路大数据平台总体方案及关键技术研究[J].铁路计算机应用, 2016, 25 (9) :1-2.SHI Tian-yun, LIU Jun, LI Ping, et al.Overall Scheme and Key Technologies of Big Data Platform for China Railway[J].Railway Computer Application, 2016, 25 (9) :1-2.
[9]宋廷山, 郭思亮, 韩伟.基于HADOOP的大数据描述统计分析[J].统计与信息论坛, 2015, 30 (11) :32-38.SONG Ting-shan, GUO Si-liang, HAN Wei.Description Statistical Analysis of Big Data based on HADOOP[J].Statistics and Information Forum, 2015, 30 (11) :32-38.
[10]马志强, 杨双涛, 闫瑞, 等.S Q L-D F S:一种基于HDFS的海量小文件存储系统[J].北京工业大学学报, 2016, 42 (1) :134-141.MA Zhi-qiang, YANG Shuang-tao, YAN Rui, et al.SQL-DFS:A Massive Small File Storage System based on HDFS[J].Journal of Beijing University of Technology, 2016, 42 (1) :134-141.
