‘壹’ 基于大数据的用户标签体系建设思路和应用
基于大数据的用户标签体系建设思路和应用
在大数据时代，数据在呈现出海量化、多样化和价值化变化的同时，也改变了传统IT行业的市场竞争环境、营销策略和服务模式。
如何在ZB级的海量数据中获取并筛选有价值的信息，是对IT企业的一大挑战。通过构建客户标签，支撑精准营销服务，是应对上述挑战的有效解决方案。
但是怎么设计一个完善的用户标签体系？怎么打标签？打哪些标签？谁来打？怎么使用用户标签创建商业价值？
这些都是产品设计层面需要解决的问题。
掌上医讯一直以来都致力于打造医生的今日头条和智能化的学习平台，通过大数据技术实现医生学习的智能化和个性化，而要构建这样一个学习平台，最基础的就是要建立用户的标签体系。
经过长时间的学习、思考、借鉴和实践，现在已经有了自己的标签构建思路，并且也已经提取出了符合自身业务的标签。我们十分重视用户行为日志的收集，现在已经有了亿万级别的日志数据，正在搭建数据处理和标签计算平台，以下是我们整理的建设思想。
标签系统的结构
标签系统可以分为三个部分：数据加工层、数据服务层和数据应用层。
每个层面向的用户对象不一样，处理事务有所不同。层级越往下，与业务的耦合度就越小。层级越往上，业务关联性就越强。
数据加工层
数据加工层收集、清洗和提取数据。掌上医讯有诸多的学习模块，同时又有网站、APP、小程序等多个产品形式，每个产品模块和产品端都会产生大量的业务数据和行为数据，这些数据极为相似又各不相同，为了搭建完善的用户标签体系，需要尽可能汇总最大范围的数据。收集了所有数据之后，需要经过清洗、去重、去无效、去异常等等。
数据业务层
数据加工层为业务层提供最基础的数据能力，提供数据原材料。业务层属于公共资源层，并不归属某个产品或业务线。它主要用来维护整个标签体系，集中在一个地方来进行管理。
在这一层，运营人员和产品能够参与进来，提出业务要求：将原材料进行切割。
主要完成以下核心任务：
定义业务方需要的标签。创建标签实例。执行业务标签实例，提供相应数据。数据应用层
应用层的任务是赋予产品和运营人员标签的工具能力，聚合业务数据，构建具体的数据应用场景。
（1）标签的类型
从数据提取维度来看，标签可分为：事实标签、模型标签和预测标签。
（2）事实标签
从生产系统获取数据，定性或定量描述用户的自然属性、产品属性、消费属性、资源属性等，以及根据工作人员经验积累的业务规则进行筛选、分析生产的标签，如是否活跃用户、是否是考生等。
（3）模型标签
对用户属性及行为等属性的抽象和聚类，通过剖析用户的基础数据为用户贴上相应的总结概括性标签及指数，标签代表用户的兴趣、偏好、需求等，指数代表用户的兴趣程度、需求程度、购买概率等。
（4）预测标签
基于用户的属性、行为、信令、位置和特征，挖掘用户潜在需求，针对这些潜在需求配合营销策略、规则进行打标，实现营销适时、适机、适景推送给用户。
从数据的时效性来看，标签可分为：静态属性标签和动态属性标签。
（5）静态属性标签
长期甚至永远都不会发生改变。比如性别，出生日期，这些数据都是既定的事实，几乎不会改变。
（6）动态属性标签
存在有效期，需要定期地更新，保证标签的有效性。比如：用户的购买力，用户的活跃情况。
标签的定义
给用户打标签，建立用户画像，最终都是为了去应用，所以我们要站在应用场景上去定义用户的标签体系，每个标签都有最终的用途。比如：我们做考试培训服务，我们需要建立“是否考生”的标签。
另外，不同的行业他们的用户特征也是有显着区别的，比如：医生用户相比普通用户来说，就多了像“科室”、“职称”、“所在医院等级”等特殊含义的标签。
而标签是有层级关系的，既是为了管理，更好的理解，又是为了控制粗细力度，方便最终的应用。标签深度一般控制在四级比较合适，到了第四级就是具体的标签实例。
我们根据公司的业务首先划分了人口属性、行为属性、用户分类和商业属性四个大的分类，下面又分了上网习惯、学习惯、人群属性、消费能力、消费习惯等分类，最末级精确到用户的活跃等级、阅读来源、考试偏好等具体的标签。
标签的维护
每个标签都不会凭空产生的，也不会一成不变，更不会凭空消失。标签的维护需要生成规则，需要定义权重，需要更新策略。
生成规则
如第一部分所说，标签分为事实标签，模型标签和预测标签三大类。对于这三类的标签，生成规则的难度和复杂性也是逐级递增的。事实标签只需要考虑从什么地方提取即可，它即包含明确的标签定义，又包含无法穷举的标签集，比如：关注的病种。
而模型标签需要进行数据的关联和逻辑关系的设计，通过一定的模型对数据进行计算得来。而预测标签相对就非常的复杂，无法从原始数据提取标签，标签的生成准确度就太依赖我们大数据分析和人工智能技术的应用。
定义权重
一个标签会在多个场景下出现，比如：一个疾病标签，它极可能在浏览过程中生成，也有可能在搜索场景下产生，但是对于这两个场景所对应的同一个标签，他们的权重是不同的。浏览相比搜索，权重要小得多，因为搜索的主动需求更大。
更新策略
上文我们从数据的时效性上对标签分为静态属性标签和动态属性标签，对于静态属性标签的处理相对比较简单，就不停的累加即可。但是对于动态属性标签，需要对过期标签进行降权甚至删除处理，比如：医生考试前和考试后，会影响“是否考生”这个标签的，这就需要制定更新策略。
标签建设的技术架构
标签体系的建设涉及很多环节，数据量也十分巨大，需要有一个健壮且高效的技术架构来支持数据的存储及计算，掌上医讯采用了sql数据库和no-sql数据库来满足结构化数据和非结构化数据的存储。
使用hadoop的分布式存储技术及hive和hbase组件作为数据仓库，使用MapRece和spark分布式计算来提高计算速度，使用kylin进行多维分析，通过BI工具和接口对外提供应用，使用sqoop和kettle进行数据的抽取及流程的调用。
更多的应用场景
用户标签建立已经基本应用在掌上医讯的内容智能推荐的学习场景中，但随着标签的完善以及智能化处理的提升，这套标签体系将有更广阔的应用场景。
（1）智能化学习场景的构建
通过用户学习需求的标签的分析进行用户分群，针对不同的用户群在APP的功能和内容上进行个性化展示，满足不同学习需求的用户个性化的学习服务。
（2）精准营销推广的建立
更细粒度的对用户进行筛选，同时能够精准预测可能存在的目标用户进行推广，从而扩大医生覆盖，提升推广的转化率。
（3）KOL用户画像的描绘
基于该标签模型，增加对外部数据的采集分析，更加完整的生成医生360度的用户画像，帮助企业寻找潜在的KOL用户，实现用户洞察，辅助市场决策。
标签的建设是一个看似高大上，其实很繁琐、纠结的过程，需要对业务抽丝剥茧，还要应对运营需求的各种变化，不过对公司发展的影响也是深远的。
‘贰’ 大数据定义、思维方式及架构模式
大数据定义、思维方式及架构模式
一、大数据何以为大
数据现在是个热点词汇，关于有了大数据，如何发挥大数据的价值，议论纷纷，而笔者以为，似乎这有点搞错了原因与结果，就象关联关系，有A的时候，B与之关联，而有B的时候，A却未必关联，笔者还是从通常的4个V来描述一下我所认为的大数据思维。
1、大数据的量，数据量足够大，达到了统计性意义，才有价值。笔者看过的一个典型的案例就是，例如传统的，收集几千条数据，很难发现血缘关系对遗传病的影响，而一旦达到2万条以上，那么发现这种影响就会非常明显。那么对于我们在收集问题时，是为了发现隐藏的知识去收集数据，还是不管有没有价值地收集，这还是值得商榷的。其实收集数据，对于数据本身，还是可以划分出一些标准，确立出层级，结合需求、目标来收集，当然有人会说，这样的话，将会导致巨大的偏差，例如说丧失了数据的完整性，有一定的主观偏向，但是笔者以为，这样至少可以让收集到的数据的价值相对较高。
2、大数据的种类，也可以说成数据的维度，对于一个对象，采取标签化的方式，进行标记，针对需求进行种类的扩充，和数据的量一样，笔者认为同样是建议根据需求来确立，但是对于标签，有一个通常采取的策略，那就是推荐标签和自定义标签的问题，分类法其实是人类文明的一大创举，采取推荐标签的方式，可以大幅度降低标签的总量，而减少后期的规约工作，数据收集时扩充量、扩充维度，但是在数据进入应用状态时，我们是希望处理的是小数据、少维度，而通过这种推荐、可选择的方式，可以在标准化基础上的自定义，而不是毫无规则的扩展，甚至用户的自定义标签给予一定的限制，这样可以使维度的价值更为显现。
3、关于时效性，现在进入了读秒时代，那么在很短的时间进行问题分析、关联推荐、决策等等，需要的数据量和数据种类相比以前，往往更多，换个说法，因为现在时效性要求高了，所以处理数据的方式变了，以前可能多人处理，多次处理，现在必须变得单人处理、单次处理，那么相应的信息系统、工作方式、甚至企业的组织模式，管理绩效都需要改变，例如笔者曾经工作的企业，上了ERP系统，设计师意见很大，说一个典型案例，以往发一张变更单，发出去工作结束，而上了ERP系统以后，就必须为这张变更单设定物料代码，设置需要查询物料的存储，而这些是以前设计师不管的，又没有为设计师为这些增加的工作支付奖励，甚至因为物料的缺少而导致变更单不能发出，以至于设计师工作没有完成，导致被处罚。但是我们从把工作一次就做完，提升企业的工作效率角度，这样的设计变更与物料集成的方式显然是必须的。那么作为一个工作人员，如何让自己的工作更全面，更完整，避免王府，让整个企业工作更具有时间的竞争力，提高数据的数量、种类、处理能力是必须的。
4、关于大数据价值，一种说法是大数据有大价值，还有一种是相对于以往的结构化数据、少量数据，现在是大数据了，所以大数据的单位价值下降。笔者以为这两种说法都正确，这是一个从总体价值来看，一个从单元数据价值来看的问题。而笔者提出一个新的关于大数据价值的观点，那就是真正发挥大数据的价值的另外一个思路。这个思路就是针对企业的问题，首先要说什么是问题，笔者说的问题不是一般意义上的问题，因为一说问题，大家都以为不好、错误等等，而笔者的问题的定义是指状态与其期望状态的差异，包括三种模式，
1）通常意义的问题，例如失火了，必须立即扑救，其实这是三种模式中最少的一种；
2）希望保持状态，
3）期望的状态，这是比原来的状态高一个层级的。
我们针对问题，提出一系列解决方案，这些解决方案往往有多种，例如员工的培训，例如设备的改进，例如组织的方式的变化，当然解决方案包括信息化手段、大数据手段，我们一样需要权衡大数据的方法是不是一种相对较优的方法，如果是，那么用这种手段去解决，那么也就是有价值了。例如笔者知道的一个案例，一个企业某产品部件偶尔会出现问题，企业经历数次后决定针对设备上了一套工控系统，记录材料的温度，结果又一次出现问题时，进行分析认为，如果工人正常上班操作，不应该有这样的数据记录，而经过与值班工人的质询，值班工人承认其上晚班时睡觉，没有及时处理。再往后，同样的问题再没有再次发生。
总结起来，笔者以为大数据思维的核心还是要落实到价值上，面向问题，收集足够量的数据，足够维度的数据，达到具有统计学意义，也可以满足企业生产、客户需求、甚至竞争的时效要求，而不是一味为了大数据而大数据，这样才是一种务实、有效的正确思维方式，是一线大数据的有效的项目推进方式，在这样的思维模式基础上，采取滚雪球方式，把大数据逐步展开，才真正赢来大数据百花齐放的春天。
二、大数据思维方式
大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：
1）人们处理的数据从样本数据变成全部数据；
2）由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；
3）人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。
事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。
1、总体思维
社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。
正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。
在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。
2、容错思维
在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。
舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。
3、相关思维
在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。
通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，转而关注相关关系，人们只需知道“是什么”，而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因，而只需要通过大数据分析获知“是什么”就意义非凡，这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。
4、智能思维
不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。
但是，大数据时代的到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。
“智能、智慧”是大数据时代的显着特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。
舍恩伯格指出，“大数据开启了一个重大的时代转型。就像望远镜让我们感受宇宙，显微镜让我们能够观测到微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发”。
大数据时代将带来深刻的思维转变，大数据不仅将改变每个人的日常生活和工作方式，改变商业组织和社会组织的运行方式，而且将从根本上奠定国家和社会治理的基础数据，彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况，使得国家和社会治理更加透明、有效和智慧。
‘叁’ 什么是“大数据”，如何理解“大数据”
你好，大数据是指巨量的数据，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
当下，大数据技术作为新兴技术被许多互联网大厂所需，以华为为例。
1、华为云推出大数据稽核方案解决偷逃费
很多朋友可能发现,部分省界收费站变少而ETC通道在增加,高速公路的出行体验比以前更加顺畅。然而,在公众体验节省费用、便捷通行等利好的同时,高速公路的管理运营单位却饱受新情况的困扰。
部分车主偷逃费方式多样化,包括换卡逃费、车头挂车分离逃费、倒换电子标签、ETC车道跟车逃费等。同时偷逃费行为向专业化、团伙化演变,给高速运营单位带来大量经济损失和严峻挑战。
以华为为例，华为给1-3年经验的大数据开发工程师开到了高达4万的月薪，在其他大厂的招聘中30k-60k的大数据开发工程师，也只要1-3年工作经验，可以说大数据、云计算仍是当下的红利岗位。
希望我的回答对你有所帮助！
‘肆’ 大数据的定义是什么
大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。