‘壹’ 在WPS中，如何将海量数据中，快速查找删除不需要的，留下想要的
比如：镂空针织衫这个词，你不想要镂空 但是要留下针织衫这个词，那么你直接用替换功能Ctrl+f中的替换，首先点下A这一列全选，再打开替换功能，上面替换词填写 镂空，下面替换为填写空格或者“”就可以把A这一列的镂空全部去掉，留下和镂空组合的词
‘贰’ 如何处理海量数据
在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：
一、数据量过大，数据中什么情况都可能存在。
如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时， 前面还能正常处理，突然到了某个地方问题出现了，程序终止了。
二、软硬件要求高，系统资源占用率高。
对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。
三、要求很高的处理方法和技巧。
这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。
下面我们来详细介绍一下处理海量数据的经验和技巧：
一、选用优秀的数据库工具
现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软 公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要， 例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。
二、编写优良的程序代码
处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。
三、对海量数据进行分区操作
对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不 过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷， 而且还可以将日志，索引等放于不同的分区下。
四、建立广泛的索引
对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应 索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完 毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。
五、建立缓存机制
当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。
六、加大虚拟内存
如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理， 内存为1GB，1个P42.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区 上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为 4096*6 + 1024 =25600 M，解决了数据处理中的内存不足问题。
七、分批处理
海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处 理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还 需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。
八、使用临时表和中间表
数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合 并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作， 可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。
九、优化查询SQL语句
在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储 过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表 结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。
十、使用文本格式进行处理
对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择， 是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者 csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。
十一、定制强大的清洗规则和出错处理机制
海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。
十二、建立视图或者物化视图
视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。
十三、避免使用32位机子（极端情况）
目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。
十四、考虑操作系统问题
海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。
十五、使用数据仓库和多维数据库存储
数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。
十六、使用采样数据，进行数据挖掘
基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样 的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出 400万行，经测试软件测试处理的误差为千分之五，客户可以接受。
还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。
海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。
‘叁’ 怎么在海量数据中找出重复次数最多的一个
以IP为例：
1、以IP % 10000 (ip 是个32位整数) 为文件名 将IP存入文件
2、用HASH统计每个文件中出现最多的IP 记录下来
3、比较每个文件中出现最多的IP 来得到总出现最多的IP
‘肆’ 数据结构怎样从海量数据中找出重复次数最多的那个代码
public class Calcul {
public static void main(String[] args) {
circularArea();
}
public static void circularArea(){
int r=2;
float π=3.14f;
float circularArea = π*r*r;
System.out.println(circularArea);
}
‘伍’ 大数据挖掘常用的方法有哪些
1.基于历史的MBR分析
基于历史(Memory-Based Reasoning)的MBR分析方法最主要的概念是用已知的案例(case)来预测未来案例的一些属性(attribute)，通常找寻最相似的案例来做比较。
MBR中有两个主要的要素，分别为距离函数(distance function)与结合函数(combination function)。距离函数的用意在找出最相似的案例;结合函数则将相似案例的属性结合起来，以供预测之用。
MBR的优点是它容许各种型态的数据，这些数据不需服从某些假设。另一个优点是其具备学习能力，它能借由旧案例的学习来获取关于新案例的知识。较令人诟病的是它需要大量的历史数据，有足够 的历史数据方能做良好的预测。此外记忆基础推理法在处理上亦较为费时，不易发现最佳的距离函数与结合函数。其可应用的范围包括欺骗行为的侦测、客户反应预测、医学诊疗、反应的归类等方面。
2.购物篮分析
购物篮分析(Market Basket Analysis)最主要的目的在于找出什么样的东西应该放在一起?商业上的应用在借由顾客的购买行为来了解是什么样的顾客以及这些顾客为什么买这些产品， 找出相关的联想(association)规则，企业借由这些规则的挖掘获得利益与建立竞争优势。举例来说，零售店可借由此分析改变置物架上的商品排列或是设计 吸引客户的商业套餐等等。
购物篮分析基本运作过程包含下列三点：
1. 选择正确的品项：这里所指的正确乃是针对企业体而言，必须要在数以百计、千计品项中选择出真正有用的品项出来。
2. 经由对共同发生矩阵(co-occurrence matrix)的探讨挖掘出联想规则。
3. 克服实际上的限制：所选择的品项愈多，计算所耗费的资源与时间愈久(呈现指数递增)，此时必须运用一些技术以降低资源与时间的损耗。
购物篮分析技术可以应用在下列问题上：针对信用卡购物，能够预测未来顾客可能购买什么。对于电信与金融服务业而言，经由购物篮分析能够设计不同的服务组合以扩大利润。保险业能借由购物篮分析侦测出可能不寻常的投保组合并作预防。对病人而言，在疗程的组合上，购物篮分析能作为是否这些疗程组合会导致并发症的判断依据。
3.决策树
决策树(Decision Trees)在解决归类与预测上有着极强的能力，它以法则的方式表达，而这些法则则以一连串的问题表示出来，经由不断询问问题最终能导出所需的结果。典型的决策树顶端是一个树根，底部有许多的树叶，它将纪录分解成不同的子集，每个子集中的字段可能都包含一个简单的法则。此外，决策树可能有着不同的外型，例如二元 树、三元树或混和的决策树型态。
4.遗传算法
遗传算法(Genetic Algorithm)学习细胞演化的过程，细胞间可经由不断的选择、复制、交配、突变产生更佳的新细胞。基因算法的运作方式也很类似，它必须预先建立好一个模式，再经由一连串类似产生新细胞过程的运作，利用适合函数(fitness function)决定所产生的后代是否与这个模式吻合，最后仅有最吻合的结果能够存活，这个程序一直运作直到此函数收敛到最佳解。基因算法在群集 (cluster)问题上有不错的表现，一般可用来辅助记忆基础推理法与类神经网络的应用。
5.聚类分析
聚类分析(Cluster Detection)这个技术涵盖范围相当广泛，包含基因算法、类神经网络、统计学中的群集分析都有这个功能。它的目标为找出数据中以前未知的相似群体，在许许多多的分析中，刚开始都运用到群集侦测技术，以作为研究的开端。
6.连接分析
连接分析(Link Analysis)是以数学中之图形理论(graph theory)为基础，借由记录之间的关系发展出一个模式，它是以关系为主体，由人与人、物与物或是人与物的关系发展出相当多的应用。例如电信服务业可藉连结分析收集到顾客使用电话的时间与频率，进而推断顾客使用偏好为何，提出有利于公司的方案。除了电信业之外，愈来愈多的营销业者亦利用连结分析做有利于 企业的研究。
7.OLAP分析
严格说起来，OLAP(On-Line Analytic Processing;OLAP)分析并不算特别的一个数据挖掘技术，但是透过在线分析处理工具，使用者能更清楚的了解数据所隐藏的潜在意涵。如同一些视觉处理技术一般，透过图表或图形等方式显现，对一般人而言，感觉会更友善。这样的工具亦能辅助将数据转变成信息的目标。
8.神经网络
神经网络是以重复学习的方法，将一串例子交与学习，使其归纳出一足以区分的样式。若面对新的例证，神经网络即可根据其过去学习的成果归纳后，推导出新的结果，乃属于机器学习的一种。数据挖掘的相关问题也可采类神经学习的方式，其学习效果十分正确并可做预测功能。
9.判别分析
当所遭遇问题它的因变量为定性(categorical)，而自变量(预测变量)为定量(metric)时，判别分析为一非常适当之技术，通常应用在解决分类的问题上面。若因变量由两个群体所构成，称之为双群体 —判别分析 (Two-Group Discriminant Analysis);若由多个群体构成，则称之为多元判别分析(Multiple Discriminant Analysis;MDA)。
a. 找出预测变量的线性组合，使组间变异相对于组内变异的比值为最大，而每一个线性组合与先前已经获得的线性组合均不相关。
b. 检定各组的重心是否有差异。
c. 找出哪些预测变量具有最大的区别能力。
d. 根据新受试者的预测变量数值，将该受试者指派到某一群体。
10.逻辑回归分析
当判别分析中群体不符合正态分布假设时，逻辑回归分析是一个很好的替代方法。逻辑回归分析并非预测事件(event)是否发生，而是预测该事件的机率。它将自变量与因变量的关系假定是S行的形状，当自变量很小时，机率值接近为零;当自变量值慢慢增加时，机率值沿着曲线增加，增加到一定程度时，曲线协 率开始减小，故机率值介于0与1之间。
‘陆’ 怎样识破麻将作弊
识破麻将作弊注意其常用手法就好，其手法一般如下：
1、鱼目混珠法
作弊者先盯准牌堂中一张对自己极有利的牌，然后将它拨弄到对自己下手最有利的位置，当他摸起一张时，将牌在手中翻开，用手背遮住这个动作，然后把牌沿低空扫过牌堂，当经过那一张牌子上空时，迅速换回想要的牌，整个过程中，几乎不留任何把柄。作弊高手大多将手背遮住换牌的行动，手法极为娴熟，换牌时不出任何声音。
如果碰撞牌面，单是声音就足以使他”走手“，作弊的细节是用拇指、食指与中指摸牌，并将其在手掌下迅速翻转，手拖过牌堂时用食指将牌放下，同时用拇指、无名指、小指夹起要换的牌。
2、”打一还一“法
”打一还一“法是”鱼目混珠“法的一种变型。作弊者在准备阶段先盯准牌堂中的牌，然后与上例手段相仿，将其挪到有利的位置，与”鱼目混珠“法不同的是，利用摸牌的机会在牌堂超低空掠过时，不放下在牌墙上摸到手的那张牌，而是用小指、无名指和拇指肚夹起自己想要的牌，然后用手背遮住所夹带的牌，再拿回来，虽然此时手中会多一张牌，但作弊会伺机将不要的牌抛出。
还有一种情况，就是人选弊者将多出的废牌一直握在手中，等到和牌时将多余的牌推进牌堂。还有一种硬偷牌，即作弊者在洗牌过程中干脆将所需要的牌偷藏在身上，等到和牌时拿出来配成自摸，或者在打牌过程中偷偷拿出来配牌。这种做法相当机械，偷的牌一定要是双数。
3、偷”读“牌
即上家正在考虑，还未打出牌时，作弊者趁机通过对牌子的触摸来判定牌面。这类作弊者往往在牌面不翻过来时假装摸牌，然后迅速放下，再决定是吃进还是碰别人打出的牌，还是摸牌。当然这一系列动作通常是与别人打出牌的同时进行的。
分析一下原因不难发现，牌是能偷”读“的。因为牌面是雕刻而成的，手感极强。作弊者的手法是用拇指与食指起牌，然后用中指在牌面触摸，从而”读“牌。也有作弊者用食指、中指和拇指在牌面触摸”读“牌。
(6)怎样从海量数据中找出作弊者扩展阅读：
打麻将不要到处找牌打，这样你很容易碰到各种各样的骗术。平时的话：不打钱还要跟你作弊的人还是不要交往为妙。打钱的话如果是人品不值得信任的人就别打了何必给自己找不愉快呢麻将本来就是个娱乐活动。
尽量少和陌生人打牌，特别是一张台上如果如果有两个以上你的不认识的人，千万别上台，否则你输钱的概率是90%以上。只是多少的问题。
麻将，起源于中国，粤港澳地区俗称麻雀，由中国古人发明的博弈游戏，娱乐用具，一般用竹子、骨头或塑料制成的小长方块，上面刻有花纹或字样，北方麻将每副136张，南方麻将多八个花牌，分别是春夏秋冬，梅竹兰菊，共计144张。
四人骨牌博戏，流行于华人文化圈中。
在明末清初马吊牌盛行的同时，由马吊牌又派生出一种叫“纸牌”的戏娱用具。纸牌开始共有60张。斗纸牌时，四人各先取十张，以后再依次取牌、打牌。一家打出牌，两家乃至三家同时告知，以得牌在先者为胜。这些牌目及玩法就很像今天的麻将牌了。这种牌戏在玩的过程中始终默不作声，所以又叫默和牌。
2017年4月，国际智力运动联盟宣布，麻将正式成为世界智力运动项目。
网络-麻将
‘柒’ 如何在海量数据中寻找和分析信息
如何在海量数据中寻找和分析信息
虽然大数据这个概念炒的非常火，但是大数据内部运作的逻辑，其实和我们传统行业是比较类似的。比如如果传统行业做实业的话，首先要有地基，你要有厂房，要有原材料，然后做加工，接下来设计成独立的产品，给客户带来独特的体验。我们刚才讲的开放云就是大数据的地基和厂房，原材料就是在线上和线下产生的海量数据。这个是我们现在网络目前每天数据规模，2013年是25PB，这个数字在快速的变化，我们现在处理的能力已经提高一倍，数据上目前是50PB，增长了一倍，这个就是我们目前大数据库要处理的数据的原材料。那么有了原材料接下来该怎么办？
数据存储
稍微看一下我们目前的大数据处理能力的三层架构。首先我们有海量的数据储存能力，然后在这个基础上，我们会做很多智能的分析，在这个基础上我们做很多大数据的产品，我们会逐步的开放这三个方面的能力。先说一下海量数据，做实业的各位领导和专家们，如果你有原材料，最关键的下一步要做两件事，一件事情是物流，第二件事情是原材料的标准化，要把原材料制成毛坯，在这个基础上才能实现你的产能。
在海量数据的处理上是这样的，网络三年前我们的架构是左边这样一个模式，在这个时候我们的数据传输，我们数据的储存都是每个产品线有自己的方式，我们大概用了两年的时间构建现在的数据储存方式，解决两个问题，一是数据的传输。现在网络很多产品线要实时产生大量海量的数据，这些数据都需要被实时的储存一个地方。
但是这些产品线的数据格式都是异构的。我们做了非常多的标准化的工作，在基础上形成了第一个海量数据储存的产品，叫通用的数据仓库。在使用这个通用的数据仓库，我们第一个构建了实时的海量数据的传输平台，那么任何一个产品线产生的数据都能够实时的传送到这个数据仓库里面。另外我们做了实时的数据标准化的工作，无论你的数据是什么样的格式，到我们数据仓库里面都以同样的格式来储存，有了这个物流，有了这个标准化，我们能够在这个基础上对数据进行更多的分析和加工。
那么从这开始，网络的数据就开始在大数据部门进行各种各样的处理过程。
数据分析
这个图有点复杂，这是数据在网络的一个生命周期，这边涉及到很多的技术细节，我会详细一一介绍。这里我想强调的是整个数据的流程是全自动化的，从数据的生成，数据的传输，数据的标准化，到最后数据的归类，数据的分析，都是全自动化的。这里面我是很高兴跟大家宣布，我们这套全自动化的流程，并形成了我们自己的产品。
这个产品我们现在有一个英文名字叫Query Engine，是一套标准的海量数据储存方案，首先无论你的数据是什么样的，经过我们的处理会把它做成数据标准化，当你的数据实时生成，我们有非常好的数据传输框架，保证你的数据上传到网络的开放云，在上面进行建模，进行各种各样可视化分析和决策的过程。我们已经成功了上传分析一家合作企业将近10T的关于新能源方面的一些数据。网络非常欢迎传统企业，如果你有海量的数据，你需要各种各样的分析和操作的话，来接洽我们，来使用我们这款产品。
当这个数据已经被结构化储存以后，我们希望在这个基础上能够进行各种各样的智能化分析。就像传统行业有自己的产品设计中心一样，会对产品进行各种各样的分析、排列组合，做各种各样的实验。在这个实验的基础上能够产生出比较好的产品，能够满足用户的需求。那么在大数据部门也有这样的需求，也需要有大数据产品的设计中心，在这个设计中心需要做很多实验，做出适用于网络，适用于客户的数据产品。所以这个产品经过四个月的努力，我们也已经对外开放。就是之前高级总监朱永忠介绍的，大家可以通过这个域名去访问。
在这上面，我们大数据新产品的设计中心，可以进行很多实时的智能分析，做很多的实验，对产品进行很多排列组合，看哪一种产品能够最适合行业，满足网络的需求。
大数据产品
那么有了这样的开放能力，下面给大家介绍在这个基础上大数据部研发出来的三个大数据产品，希望能够对在座的做实业的朋友有帮助。
第一个产品叫网络司南，专门针对于当企业发展到一定的阶段，有了一定的品牌影响力的企业，能够让企业对自身的品牌有更客观的了解，一共是三个方面。第一个是品牌分析，实际上你应该很想知道你的品牌在那个同行业里它的定位怎么样，周边的人是如何看待你这个品牌的，对你这个品牌的口碑怎么样。而且我们把它做到基本上是实时的，你可以此时此刻知道大家对你品牌的口碑到底怎么样。
另外一方面，关注你的品牌，应该一定有一批已经比较忠实的用户了，那么这些人除了关注你的品牌，像刚才陈总讲的一样，除了关注你的品牌，他还关心什么别的，他还对什么样的东西感兴趣。这些我们通过基于统计的用户画像也能够告诉你。
另外一个这些人是通过什么渠道来了解到你的品牌，他是通过IPAD，是通过手机，通过看电视，还是通过PC、还是移动互联网的浏览，这样以后做营销行为，就知道如何很快的影响到你的受众，什么样的渠道是最有效的。那么通过这几个方式，我们都能够告诉大家你的品牌到底处在什么样的状态。
给大家看两个司南在品牌上的应用。第一个叫代言人。很多品牌到了后期推广的时候，都有找代言人的需求。什么样的代言人在你最想影响的受众是最有号召力。之前是一些拍脑袋的决策，但是通过我们司南，通过海量的数据，通过海量的用户行为分析，可以帮助你做一个决策的科学。实际上我们已经通过大数据的分析，可以产生出超过一千家的企业，他们最合适的代言人到底是哪一位。如果哪位老总也想尝试自己品牌的话，可以和我们合作，我们可以告诉你，通过我们的数据，什么样的代言人，对于你的受众会产生最大的品牌号召力。
另外一个是舆情分析，实际是跟品牌的口碑最像。你的企业里有一系列的产品，每一个产品可能有轻微的差异化，就像我们的化妆品一样，每一款产品在用户中的口碑到底怎么样，用户喜欢这些产品什么样的功能，不喜欢这些产品什么样的功能。在之前，很多公司通过调研公司到各个城市，通过实时的访谈获得一些统计数据。整个过程要耗费一个月左右。通过我们的舆情分析，几乎可以实时告诉你这个答案，到底有多少用户是喜欢这个功能，有多少用户不喜欢这个功能。一个是通过一个月，一个是通过实时，这样的话就有时间差了。这个时间差就是网络大数据能给传统行业带来的竞争力。
这是我们第一款基于大数据的工具，叫网络司南。
另外就是我们的预测平台产品。预测这个产品说的已经比较多了，这次想跟大家说的是，当我们发布了预测产品，并且取得了比较好的效果，很多公司，或者是一些政府部门会跟我们接洽，能不能帮我们也分析一下数据。比如景点希望我们帮他预测下一步七天的人流到底多还是不多。有的企业希望让我们帮他预测下一步季度营业额是否能跟上一个季度匹配。
我们现在非常高兴的把我们的预测平台能力开放出来，你不需要再去接洽网络的产品经理做这样的事情，只要你使用我们的开放平台上传你的数据，我们后面就会基于一系列各种各样的数据分析，智能的算法和网络后台自己的数据帮你做一些决策和分析。希望能够帮助传统企业做决策分析的时候能够多一些科学的决策依据。
另外一个是我们的推荐。我们现在非常高兴把我们这个能力也开放出来，非常可惜我们目前只面对互联网的站长，站长可以定定制到底想用我们推荐的哪一方面的技术和性能、功能，非常灵活的为他的网站做推荐。但实际上我们最想做到的是把我们这套推荐引擎，和传统行业结合起来，和很多实时推荐结合起来，在这块也非常希望传统的行业能跟我们接洽，把我们这种非常先进的线上推荐的技术和线下的场景结合起来，在线下发挥更大的功能。
三个产品只是揭开了冰山一角，在大数据这个方面，产品设计的想象力其实是很多很多的，我们在这方面也非常兴奋，后面我们也会陆续推出一系列的大数据产品，请大家期待。网络愿意与更多的人一起合作，在大数据这个方向上给网络，给行业、给用户带来更多的价值。
‘捌’ 搜索引擎是怎么从海量的数据中找到我们搜索的数据的
搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。
首先是搜索引擎搜集网页信息放到自己的数据库，当用户通过关键词进行查询的时候，搜索引擎会有自己的一个检索机制，通过关键词对比 相关性 历史检索访问数据 来绝对搜索结果展现的排名 理论上讲 排名越靠前 相关性越强。
‘玖’ 如何在海量数据中获取第一条不重复的数据
1、海量日志数据，提取出某日访问网络次数最多的那个IP。
此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。
再详细介绍下此方案：首先是这一天，并且是访问网络的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个
IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。
2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。
假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。
典型的Top
K算法，还是在这篇文章里头有所阐述。
文中，给出的最终算法是：第一步、先对这批海量数据预处理，在O（N）的时间内用Hash表完成排序；然后，第二步、借助堆这个数据结构，找出Top
K，时间复杂度为N‘logK。
即，借助堆结构，我们可以在log量级的时间内查找和调整/移动。因此，维护一个K(该题目中是10)大小的小根堆，然后遍历300万的Query，分别和根元素进行对比所以，我们最终的时间复杂度是：O（N）
+ N'*O（logK），（N为1000万，N’为300万）。ok，更多，详情，请参考原文。
或者：采用trie树，关键字域存该查询串出现的次数，没有出现为0。最后用10个元素的最小推来对出现频率进行排序。
3、有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
‘拾’ 海量数据算法:如何从超过10G的记录IP地址的日志中，较快的找出登录次数最多的一个IP
对于以上问题我们可以把ip地址看成是分布在[0, 2^32]的一批数字。然后统计出这批数字中出现最多的把[0, 2^32] 划分为32个区间，32个区间再细划分，选出最大的一个值，以此类推。虽然理论上IPv4 有42亿个IP地址，但是实际上会来访问服务器并且留下日志的可远没有那么多。
以上就是具体的操作了，希望对大家有帮助，当然有错误也请指出。