【测试】CruiseControl笔记

(1)
背景:
测试是项目生命周期中很重要的一部分。若人工手动的对项目代码进行测试,则比较费时,特别是当项目比较大,升级比较频繁的情况下,人工手动测试显得效率非常低。本案例介绍CruiseControl实现对项目工程进行持续集成测试,从而使项目测试实现自动化,高效率。
 
简介:
CruiseControl(有时我们简称CC)是使用java语言编写的一个持续集成工具,是 一个持续测试(CI Continuous Integration)的服务器CI 服务器。
在CC中,我们可以实现对项目的源码控制,编译,打包,发布及各种测试,如findBugs,pmd,checkStyle,junit,selenium等。而且CC提供了一个web界面使我们更加方便的查看构建项目的当前以及历史状态。
虽然CruiseControl使用java语言编写,但他并不限制你只能构建JAVA项目,你可以通过ant等脚本构建各种语言的持续集成环境。
 
(2)
CruiseControl安装:
2.1 在CuriseControl安装之前,须确保已经安装了Java,SVN,Ant。
安装java,ant,svn,且配置环境变量:
1)
JAVA配置环境变量
须配置JAVA_HOME,及到path中添加%JAVA_HOME%bin;
2)
ANT配置环境变量:
ANT_HOME,,及到path中添加%ANT_HOME%bin;
注意:
必须指向CruiseControl中的ant目录.或系统用的ant的版本要大于等于CC自带ANT版本.
若系统中以前已安装的ant版本低于CC自天带的ANT版本,则CC启动时会出错.
若环境变量中的上面的"用户变量"中定义了path,则系统变量中的path会失效.

3)
安装SVN:
在windows下,可以安装此版本:TortoiseSVN-1.6.2.16344-win32-svn-1.6.2.msi
安装命令行模式下可使用的SVN:Setup-Subversion-1.6.6.msi.
注意:
1.安装的命令行版本,要跟windows大版本相同,如上面都是1.6版本的。否则会出错。
2.须确保在命令行下,svn可以使用.因为CC启动后,会通过svn -update去配置库上更新CC中的项目代码.
  可以用svn --version测试是否在命令行模式下可使用.
2.2
安装CruiseControl
CruiseControl可以在Linux和Windows环境下安装,CruiseControl也是绿色软件,也可下载解压缩后就可以使用。
在windows环境下载,安装CruiseControl.exe方式:
1)
首先安装你的CruiseControl(简称CC),你可以选择exe的文件下载,直接安装就可以.
2)
启动:
第一种方式:
在CC的安装根目录下,双击CruiseControl.bat来启动.或命令行模式到CC根目录,运行bat文件也可.当出现:
wait for next time to build(第一个启动时) 

BuildQueue    - BuildQueue started时表示CC已经启动成功。
注意:
可以在此CruiseControl.bat文件中,配置CC的最大内存,以及启动占用的各个端口。
第二种方式:
安装完成后,我们打开
“开始菜单”->“程序”-> "CruiseControl" 就可以打开CruiseControl的服务。
“开始菜单”->“程序”-> “ReportingApp”是CruiseControl的浏览界面。
3)
查看
打开浏览器在浏览器中输入:
http://localhost:8080/dashboard即可看到当前构建工程(build 项目)总的结果,包括构建成功与失败的工程数量。同时,可以对项目进行编译,build.
http://localhost:8080/cruisecontrol/ 页面中显示了工程构建的列表,构建时间及现在的状态,并且可以对某工程强制重新构建。单击工程名可以看到工程构建的详细信息,包括构建过程中的错误与警告,单元测试的结果以及各种代码检测工具(findBugs,pmd,checkStyle,javancss等)检测结果等
(3)
CruiseControl目录及文件介绍:
apache-ant-1.7.0:CC自带的ant1.7.0.
logs下面包括日志信息,可以通过在config.xml中指定日志路径和名称;
projects:下面放的是需要进行持续集成的项目;
lib目录中放有cruisecontrol.jar和其他运行需要的jar(如运行findBugs,PMD等插件的jar包);
artifacts目录::输出目录,集成后生成的jar就保存在这里。(安装后不存在此目录,第一次运行后才会生成此目录)
webapps:下是cruisecontrol build结果的网站,
可以通过http://127.0.0.1:8080/cruisecontrol/访问;
可以通过http://127.0.0.1:8080/dashboard来进行对你的项目进行编译发布到你指定的web容器上.
(4)
CruiseControl(以下简称 CC) 主要有两个配置文件:
一个是config.xml,是CC初始化、调度等任务参数的配置;
一个是build.xml,ant执行的配置文件,CC借助ant完成指定的任务,如clean,compile,war,junit,findbug,pmd,checkstyle等。
(4.1)
CruiseControl配置文件config.xml分析
cruisecontrol的config文件,CC启动的时候会自动寻找此文件.
所有要集成到CC的项目,都要在config.xml中定义:只须在<cruisecontrol>中添加<project>及定义其子元素即可.
config.xml分析:
<cruisecontrol>    //cc的固有标签,cc中可以有多个project 
<!--这个地方的项目名称要和你的projects目录下的项目名称一样-->    
//监听器,会将当前项目的build状态,记录于status.txt中。 
     <listeners> 
     </listeners> 
//<bootstrappers>用于从svn源码控制程序更新本地版本 
      <bootstrappers> 
           //svn 
           //向ant提供当前信息 
        </bootstrappers> 
//用于检查各个源码控制系统(项目源码)中是否发生变化,如果有,则在web页面显示变化过的文件名。<modificationset>的属性quietperiod(单位为秒)定义了一个时间值。如果CC检查到了变化,会自检查到变化的源码控制系统的最后一次check in 的时间开始等待,等待时间由quietperiod决定,等待结束之后才触发创建(build)过程,主要是防止有人在check in的过程当中就触发创建过程(可能check in只做了一半,这个时候触发创建显然是不正确的).
check in:即是commit,即是将本地数据提交到配置库上;
check out即是将配置库上的数据更新到本地. 
        <modificationset quietperiod="30"
        </modificationset> 
//<schedule >定义build时间间隔为86400秒。若下面的ant标签中定义了time,则此处的时间将会失效。
//<ant>指定ant 的相关信息。buildfile定义build所需要的build.xml文件,time指定build目标的运行时间(这里定义为每天的23点59分执行) 
说明: 
interval="86400": 即是3600秒*24小时=86400秒.说明每隔86400秒,CC便会自动执行当前项目的ant命令. 
time: 若在<ant>中添加time,则上面的interval将会失效.CC会根据time设置的时间来执行ANT命令. time="2359",表示每天的23点59分执行ANT. 
        <schedule interval="86400"
        </schedule> 
//log标签的dir属性指定日志目录。merge标签的dir属性指定需要被合并文件的路径,指定路径下的文件将会与日志文件合并,一般需要合并的文件是测试结果文件,这需要注意的地方是指定路径下的文件都要被合并到日志文件中,也就是说,为了不影响cc的日志文件的准确性,在生成每次的测试结果之前需要先把上次的测试结果删除。 
         <log> 
         </log> 
// publishers的功能主要是发布build结果,我们主要用到的功能是artifactspublisher所定义的功能,也就是cc在build过程中产生的文件发布。在merge标签中我们已经知道,测试日志是cc在build过程中产生的文件,而且我们每次我们都要删除上次的测试结果,这里cc提供了一种机制让你保存测试结果,就是利用artifactspublisher标签。 
Dest定义目标目录,dir定义文件存储的起始目录。所有的文件会被cc从dir目录copy到dest目录。被copy到dest目录的文件会放在以当前时间命名的文件夹中。这里dir定义的是测试日志文件的所在目录。 
          <publishers>    //发布版本 
                <onsuccess> 
                 </onsuccess> 
           </publishers> 
        </project> 
也可以添加失败处理到发布中:如: 
     <onfailure>//失败发送邮件到响应的人员 
         <always address="接收邮件方的邮箱" /> 
     </onfailure>
(5)
CruiseControl项目配置文件build.xml
搭建CruiseControl持续集成测试平台,最主要的工作是配置好config.xml及build.xml。. config.xml:为CruiseControl的配置文件,定义了CC的何时,如何进行项目测试。
Build.xml:即是持续集成测试的项目工程中ant的配置文件。当CC执行项目测试时,将会利用ant来执行所有的逻辑处理。
因此,项目要实现的各种测试,将须到build.xml中进行定义。
5.1
clean操作,如果build之前不执行此操作,build检查到原有的class文件就不再编译。
     <delete file="${CLASS_DIR}/longcon-framework.jar" />
     <delete dir="target" quiet="true" />
  <delete dir="${CLASS_DIR}/source/classes" />
 </target>
(6)
CruiseControl集成各种测试工具:
CruiseControl持续集成测试,常用的测试工具有:findBugs,PMD,checkStyle。
集成时,只须在目标项目的build.xml配置文件中定义findBugs,PMD,checkStyle的实现过程。具体实现及findBugs,PMD,checkStyle相关知识,请参照我以下案例分析
 
(7)
当cc正在build时,不能点击http://localhost:9999/cruisecontrol/中正在build的项目,否则会后台出错,且影响本次编译的结果(有些类编译出错).
 
具体ant的用法,请参考另一个文章:《ant用法》
(8)
每次build目标项目时,在控制台都可以看到SVN更新的信息,如:(D:delete,A:add,U:update)
[cc]一月-29 16:15:07 VNBootstrapper- D    testlibcheckstyle.jar
[cc]一月-29 16:15:10 VNBootstrapper- A    testlibcheckstyle-all-5.0.jar
[cc]一月-29 16:15:10 VNBootstrapper- A    testlibsun_checks.xml
[cc]一月-29 16:15:11 VNBootstrapper- A    testlibcheckstyle-5.0.jar
[cc]一月-29 16:15:15 VNBootstrapper- A    testlibfindbugs.jar
[cc]一月-29 16:15:15 VNBootstrapper- A    testlibcheckstyle-frames.xsl
[cc]一月-29 16:15:22 VNBootstrapper- U    javacomcommonutilEncoderByMd5.java
[cc]一月-29 16:15:22 VNBootstrapper- U    build.xml
[cc]一月-29 16:15:24 VNBootstrapper- 更新到版本 244。
(9)
http://localhost:9999/cruisecontrol/index中,通过Label项可以看到当前项目被build的次数.若build 次数过多,其log会占用硬盘过多空间.可以到CruiseControllogs中,删除对应的项目或进入对应项目,删除以前的log文件.
(10)
在CC的findBug页面:FindBugs was not run against this project. ---说明在CC运行到findbug时,findbug 运行不成功所致.
(11)
JSP页面显示不了报告.-->可以了.config.xml文件中的<log>中没进行配置.

读懂财务报表

好公司:具有持续性竞争优势的公司

 

. 损益表 Income
Statement

1.毛利率:巴菲特认为,只有具备某种可持续性竞争优势的公司才能在长期运营中一直保持盈利,尤其毛利率在40%及以上的公司,我们应该查找公司在过去10年的年毛利率,以确保是否具有"挂线性".

2.销售费用及一般管理费用占销售收入的比例:销售费用及一般管理费用越少越好,其占销售利毛的比例保持在30%以下最好.

3.研发开支:巴菲特总是回避那些必须经常花费巨额研发开支的公司,尤其是高科技公司.巨额研发一旦失败,其长期经营前景将受到很大影响,这意味着公司业务未来长期不稳定,持续性不强.

4.折旧费用:巴菲特发现,那些具有持续性竞争优势的公司相对于那些陷入过度竞争困境的公司而言,其折旧费占毛利率的比例较低.

5.利息费用:具有持续性竞争优势的公司几乎不需要支付利息,甚至没有任何利息支出.在消费品类领域,巴菲特所钟爱的那些具有持续竞争优势的公司,其利息支出均小于其营业利润的15%

6.税前利润:指将所有费用开支扣除之后但在所得税被扣减之前的利润.巴菲特经常谈到税前条件下的公司利润,这使他能在同等条件下将一家公司或投资与另一项投资进行比较,税前利润也是他计算投资回报率常用的一个指标.

7.净利润:净利润是否能保持长期增长态势;净利润占总收入的比例是否明显高于它们的竞争对手;净利润是否一直保持在总收入的20%以上.

8.每股收益:10年的每股收益数据就足以让我们明确判断出公司是否具有长期竞争优势.巴菲特所寻找的是那些每股收益连续10年或者10年以上都表现出持续上涨态势的公司.

具体内容:

毛利润和毛利率:
毛利率/总收入 =
毛利率. 通用规则:
毛利率在40%及以上的公司,一般都具有某种可持续性竞争优势;而毛利率低于40%的公司,则一般都处于高度竞争的行业,因为竞争会削弱行业总利润率.
如果一个行业的毛利率低于20%(20%),显然说明这个行业存在着过度竞争.在这类行业中,没有一家公司能在同行竞争中创造出可持续性的竞争优势.处在过度竞争业行的公司,由于缺乏某种特殊竞争优势,无法为投资者带来财富.必须要注意的是应该查找公司过去10年的年毛利率,以确保其具有持续性.

销售费用及一般管理费用:越少越好,如果一能保持较低的水平(30%以下),那当然最好.也有不少好公司在30%-80%

研究和开发费用:
应该避免投资在研发上花费巨额资金的公司,因为风险巨大。特别是在高科技行业,巨额研发一旦失败,将对企业的发展产生严重的影响.

原因如下:因为对高科技产业而言,显著的特点就是:产品更新速度快,新技术层出不穷;2.该产业具有很强的口碑效应.综上所述.

长期的竞争优势,常常是通过专利权或者技术上的领先地位赋予公司在同行中的相对优势

折旧费用:占毛利率的比例较低,最好小于10%.
那些好公司几乎不需要支付利息,甚至没有任何利息支出(<10%) 

应缴所得税:反映了公司的真实税前利润

净利润:长期来讲,好公司其报告净利润占总收入的比例会明显高于它们的竞争对手.
通用规则:如果一家公司的净利润一直保持在总收入的20%以上,很有可能,这家公司具有某种长期的相对竞争优势.相反,如果一家公司的净利润持续低于其总收入的10%,那么它很可能处于一个高度竞争的行业,在行业中没有一家公司能维持其竞争优势.当然,这种绝对量化的观点会留下一个巨大的灰色地带----就是那些净利润在10%-20%的公司,这一地带抗洪了目前还未被投资者发现,但时机已经成熟,并等待发掘长期投资财富的公司.

每股收益:10年或者10年以下都表现出持续上涨态势的公司,一定要避免忽上忽下的公司!

 

. 资产负债表
Balance Sheet

1.
现金和现金等价物:企业经营遇到困难时,现金越多越好.这时最理想的状况是,有大量的现金库存而几乎没有什么债务,而且没有出售股份或资产,同时公司过去一直保持盈利.

2.
存货:对于制造类企业,要查看其存货增长的同时净利润是否相应增长.
存货在某些年份迅速增加,而其后又迅速减少的制造类公司,它很可能处于高度竞争、时而繁荣,时而衰退的行业,其中没有任何一家公司能让人变得富有。

3.
应收账款:如果一家公司持续显示出比其竞争对手更低的应收账款占总销售的比率,那么它很可能具有某种相对竞争优势。

4.
流动比率=流动资产除以流动负债:很多好公司,其流动比率都小于1,大大异于传统的流动比率指标评判标准。原因是它们的盈利能力足够强劲,融资能力强大,能够轻松自如地运用盈利或融资来偿还其流动负责。

5.
房产、厂房和机器设备:优秀公司的产品经常稳定不变,无需为保持竞争力而耗费巨额资金去更新厂房和设备

6.
无形资产:巴菲特能发现其他人所不能发现的资产负责表之外的无形资产,那就是优秀公司的持续性竞争优势,以及由此产生的长期盈利能力。

7. 资产回报率
净利润除以总资产:大多数分析师认为资产回报率越好越好,但巴菲特却发现,过高的资产回报率可能暗示这个公司的竞争优势在持续性方面是脆弱的。

8.
短期贷款:当投资于金融机构时,巴菲特通常回避那些短期货款比长期货款多的公司。

9.
长期贷款:巴菲特发现,那些好公司通常负担很少的长期贷款,或压根没有长期贷款。这是因为这些公司具有超强的盈利能力,当需要扩大生产规模或进行企业并购时,它们完全有能力自我融资。一般而言,它们的充足的盈余在3-4年时间内偿还所有长期债务。

10.
债务股权比率=总负债除以股东权益:越是好公司,盈利能力越强,股东权益较高,总债务较低。除非我们是在寻找金融机构,债务股权比率低于0.8较好,越低越好。

11.
留存收益:公司留存收益的增长率是判断公司是否得益于某种持续性竞争优势的一项好指标。道理很简单:公司留存的收益越多,它的留存收益增长就越快,而这又将提高公司未来收益的增长率。

12.
库存股票:如果资产负债表上出现了库存股票,表明公司曾经回购股票,那么这家公司很可能具有一种与之有利的持续性竞争优势。但中国法律规定回购股份必须注销,因为不存在此科目。

13.
财务杠杆:财务杠杆是指公司通过借债来进行投资以扩大利润。巴菲特会尽量避开那些靠使用大量杠杆来获取利润的公司

流动资产周转:公司在生产经营过程中:现金用于购买原料并以存货形式存在,经过加工处理的存货又出售给经销商,并变为应收账款,从经销那里收回的应收账款最后又转化为现金。
流程:现金--存货--应收账款--现金
这个循环反复周转的

1.现金和现金等价物:如果我们看到一家公司持有大量现金和有价证券,并且几乎没有什么债务的话,那么很可能,跑片儿公司能顺利渡过这个黑暗的困难时期。但如果这家公司现金紧缺,并且背负着一大夫债务,那么这家公司很可能会倒闭,再有能耐的经理恐怖也救不了它。

2商誉:只要看到商誉连续几年都在增加,我们就可以断定这家公司在不断地并购其他公司。

3.其他负债:对于寻找好公司没有作用。

4.优先股:一个好公司重要的标准就是在公司的酱结构中找不到优先股的身影。

5.
东权益回报率:它等于净利润除以股东权益。有时公司的股东权益会显示为负数,需要警觉的是,那些濒临破产的公司股东权益也为负数。如果公司显示出一贯强劲
的净利润,但却拥有负的股东权益,那么该公司可能是一家具有持续性竞争优势的公司。所以规律就是:高股东权益回报率意味着“近玩”,而低股东权益回报率意
味着“远观”。

. 现金流量表。
Cash Flow Statement

1.
资本开支:指购买厨房和设备等长期资产的现金或现金等价物的支出。我们可以简单地将公司10年来的累计资本开支与该公司同期的累积净利润进行比较,以真实地反映公司的长期发展前景。经验告诉我们,那些好公司,其资本开支占净利润的比率都非常小。巴菲特发现,如果一家公司将净利润用于资本开支的比例一直保持在50%之下,那么你可以把它列入具有持续竞争优势公司的候选者名单。如果该比例保持低于25%的水平,那这家公司就很可能具有与之有利的持续性竞争优势。

2.
购股票:巴菲特发现,一个公司具有持续性竞争优势的特征是公司曾经回购过自身股票。通过使用公司多余的资金用于回购股票,会减少流通股数量,从而提高每股
收益,最终失去公司股票价格上涨。在现金流量表上仔细查看其投资活动产生的现金流。在那里你将看到名为“发行(回购)股票,净值”的一个账户。该账户列出
了公司发行和贺岁股票的净额。如果一家公司每年都进行股票回购,那么很可能这是一家具有持续性竞争优势的公司,因为只有这样的公司才有充裕的资金从事股票
回购。

买入时机:最好是在熊市买入。

卖出时机:当这些好公司达到40倍甚至更高的市盈率的时候,就该卖出了

 

 

让团队和谐的过程

山野、阳台山经验:

  1:纪律

  2:分工

  3:鼓励与沟通

 

去西藏的经验:

  1:先订规则,纪律

  2:团队分工做好,没人都能做自己擅长的事情,千斤重担人人挑

  3:有问题及时沟通,将问题消灭在萌芽状态

  4:尊重别人的意见

沟通经验:

  1.   让别人主动去做,而不是命令,是请求,自己从旁协助

做事态度:

  1. 掌握主动,永远不要被动

怀念

一个人看着外面的夜

圆圆的月
快速飘过的云
海边的风
海边的云
海边的风筝
愚园路的脚步
夜深徐家汇的寂静
崇明岛的单车
自己在哪里
还是在梦里
曾经存在过
又将何去
怀念很多人,来过的,走过的,路过的
都让自己心酸、纪念

这是理想中的女友吧

 
被一个人喜欢,接受她为我花钱,是一种享受

 
我其实中意各种各样的女人,相信大部分男的都是如此。

 
现在我有了女友,不是绯闻女友,是真正意义上的女友。关于她姓甚名谁身高体重职业出身这些东西,我一概不予披露。她未见得有多漂亮,眉眼五官没瑕疵而已,用带点艺术的眼光去打量,会感觉到一种气场,让人情不自禁想多看几眼。

  她就是这种型!

 
我不叫她的名字,简化成一个字———“妞”,这称呼让她很兴奋也让我很满足。遇到妞之前,我心里就有了喜欢的女孩子的标准:乖、懂事、得体,发自内心地喜欢我,还有一点特别重要,要会做好吃的。

 
这些标准,妞全部满足,还附赠了我没来得及列入衡量标准的升级版本:有主见,又不是太有主见;聪明,又不觉得自己聪明。

 
我一直认为养家是男人的事情,一般来说,有这样消费观念的男人是比较讨女人喜欢的,男人大方是美德。

 
妞却不大欣赏我这个美德。她说:如果她没有收入和积蓄,我养她;如果她有收入和积蓄,我养家。基本上,我没在妞身上花过任何专项资金,有时说给你买个什么吧,她会酷得像王菲那样:“我有钱自己买!”有时先斩后奏买了,她也会很高兴,一周之内就会挑个同样档次的礼物回赠我。

 
这样的回礼有点叫板的味道,但我并不反感,喜欢一个人,为她花钱是一种乐趣;被一个人喜欢,接受她为我花钱,是一种享受。

 

                                 
美食不如美器,美器不如美厨娘

 
我是一个对吃很没有讲究的人,我也深知我吃得很不健康,妞出现前,我一直用泡面和盒饭打发自己。

 
妞拯救了我的肠胃。更重要的是,还扭转了我对性感这个词的衡量标准。我竟然发现,妞在厨房里的时候是最性感的。

  一
天早上醒来,口干舌燥,忽然听到一连串清脆的铃声。睡眼蒙眬地望去,有种穿越到印度的错觉:妞端着一个托盘,里面摆着搭配好的米饭、咖喱汁、优格酱、鸡
肉、青瓜汁,还有几片柠檬,她脚上系着一个一走动就会叮叮响的踝铃,摇曳生姿地把托盘搁在我的腿上。然后,拿一块湿纸巾,把我的右手手指一根根擦干净,
说:“吃吧!”

 
没筷子也没勺子?妞冲我一笑,右手伸进盘子,将柠檬汁挤在鸡肉上,一点鸡肉一坨米饭捏实,蘸上咖喱汁,送进我嘴里。

 
妞让我自己试试。当我的手指抓到咖喱,,那种辛辣温热的美味似乎就已经沁人心脾。妞指点我,不要着急将食物放进口里,留在手指尖多感受一会儿。

 
在那之后我专程去吃过多次咖喱,然而不管餐厅多么豪华、厨师多么著名、餐具多么精致,我却始终觉得妞做的、手抓的那份咖喱早餐最美味。

 
别的女人是出门时盛装打扮,将最美丽的一面带出去给外人看。妞则是在进厨房前收拾出自己最漂亮的一面。我曾经给妞买过一件真丝的蝴蝶旗袍,有种诡异冷艳的味道。这件旗袍,如今成了妞的围裙,她盘着个高高的发髻,配一双红缎子绣花鞋,绣着大大的牡丹。

 
这身打扮,去走秀都嫌太花哨,妞却穿着安然地在油盐酱醋间步步莲花地游走。

 
外人看来,这做法太矫情。妞有自己的理论:美食不如美器,美器不如美厨娘。

 

                                     
你来我信你不会走,你走我当你没来过

 
有时我必须写点东西,需要安静独立的时刻,妞绝不会搅扰我。但她也不会把像个局外人,我在书桌前敲键盘,妞偶尔会支个画板远远坐着。我收工的时候,妞递给我一张我侧面的铅笔素描或者是一幅有点凡·高味道的油画。

 
妞不是那种大家闺秀型的老实孩子,她的种种狡黠,透着古灵精怪的味道。

 
她偶尔会给我发个短信,说想失踪几天,让我别去找她。那几天,是绝对找不到她的。基本上在我觉得开始想她的时候,她就回来了,但永远不会一副风尘仆仆的面貌,而是妆容清淡,气味芬芳。

 
与妞在一起几个月了,妞从不问到有关婚嫁的问题。她说:你来我信你不会走,你走我当你没来过。很彪悍。

 
生活上,妞像个姐姐,铺我懒得铺的床,做我爱吃的饭,清洁我没有清洁的家;感情上,妞像个妹妹,时而刁滑时而个性,充分培养出我作为大男人的保护欲和占有欲。

 
一次跟妞玩一个叫真心话大冒险的游戏,她要我给她一个发自内心的评价,我是这么说的:在遇到你之前,我没想过成家;在遇到你之后,想到成家这个事情时,我没想过找别人……

10.4日崇明岛骑车

去的路线:24km 

发件人 link

回来的路线:21KM

发件人 link

乐趣:骑车、偷东西、田间小路

my published paper

@conference{wenchao2009modified,
  title={{ "{{A modified approach to keyword extraction based on word-similarity" }}}},
  booktitle={Intelligent Computing and Intelligent Systems, 2009. ICIS 2009. IEEE International Conference on},
  volume={3},
  pages={388--392},
  year={2009},
  organization={IEEE}
}
@conference{wenchao2010comparative,
  title={{ "{{A comparative study on Chinese word segmentation using statistical models" }}}},
  booktitle={Software Engineering and Service Sciences (ICSESS), 2010 IEEE International Conference on},
  pages={482--486},
  year={2010},
  organization={IEEE}
}

海量数据处理算法

大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯
这样的一些涉及到海量数据的公司经常会问到。

下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论。

1.Bloom filter

适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集

基本原理及要点:


于原理来说很简单,位数组+k个独立hash函数。将hash函数对应的值的位数组置1,查找时如果发现所有hash函数对应位都是1说明存在,很明显这
个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字,因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是
counting Bloom filter,用一个counter数组代替位数组,就可以支持删除了。

还有一个比较重要的 问题,如
何根据输入元素个数n,确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况
下,m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些,因为还要保证bit数组里至少一半为0,则m应
该>=nlg(1/E)*lge
大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。

举个例子我们假设错误率为0.01,则此时m应大概是n的13倍。这样k大概是8个。

注意这里m与n的单位不同,m是bit为单位,而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom
filter内存上通常都是节省的。

扩展:

Bloom
filter将集合中的元素映射到位数组中,用k(k为哈希函数个数)个映射位是否全1表示元素在不在这个集合中。Counting
bloom filter(CBF)将位数组中的每一位扩展为一个counter,从而支持了元素的删除操作。Spectral Bloom
Filter(SBF)将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。

问题实例:给你A,B两个文件,各存放50亿条URL,每条URL占用64字节,内存限制是4G,让你找出A,B文件共同的URL。如果是三个乃至n个文件呢?


据这个问题我们来计算下内存的占用,4G=2^32大概是40亿*8大概是340亿,n=50亿,如果按出错率0.01算需要的大概是650亿个bit。
现在可用的是340亿,相差并不多,这样可能会使出错率上升些。另外如果这些urlip是一一对应的,就可以转换成ip,则大大简单了。

2.Hashing

适用范围:快速查找,删除的基本数据结构,通常需要总数据量可以放入内存

基本原理及要点:

hash函数选择,针对字符串,整数,排列,具体相应的hash方法。

碰撞处理,一种是open hashing,也称为拉链法;另一种就是closed hashing,也称开地址法,opened
addressing。

扩展:

d-left hashing中的d是多个的意思,我们先简化这个问题,看一看2-left hashing。2-left
hashing指的是将一个哈希表分成长度相等的两半,分别叫做T1和T2,给T1和T2分别配备一个哈希函数,h1和h2。在存储一个新的key时,同
时用两个哈希函数进行计算,得出两个地址h1[key]和h2[key]。这时需要检查T1中的h1[key]位置和T2中的h2[key]位置,哪一个
位置已经存储的(有碰撞的)key比较多,然后将新key存储在负载少的位置。如果两边一样多,比如两个位置都为空或者都存储了一个key,就把新key
存储在左边的T1子表中,2-left也由此而来。在查找一个key时,必须进行两次hash,同时查找两个位置。

问题实例:

1).海量日志数据,提取出某日访问百度次数最多的那个IP。

IP的数目还是有限的,最多2^32个,所以可以考虑使用hash将ip直接存入内存,然后进行统计。

3.bit-map

适用范围:可进行数据的快速查找,判重,删除,一般来说数据范围是int的10倍以下

基本原理及要点:使用bit数组来表示某些元素是否存在,比如8位电话号码

扩展:bloom filter可以看做是对bit-map的扩展

问题实例:

1)已知某个文件内包含一些电话号码,每个号码为8位数字,统计不同号码的个数。

8位最多99 999 999,大概需要99m个bit,大概10几m字节的内存即可。

2)2.5亿个整数中找出不重复的整数的个数,内存空间不足以容纳这2.5亿个整数。

将bit-map扩展一下,用2bit表示一个数即可,0表示未出现,1表示出现一次,2表示出现2次及以上。或者我们不用2bit来进行表示,我们用两个bit-map即可模拟实现这个2bit-map。

4.堆

适用范围:海量数据前n大,并且n比较小,堆可以放入内存


本原理及要点:最大堆求前n小,最小堆求前n大。方法,比如求前n小,我们比较当前元素与最大堆里的最大元素,如果它小于最大元素,则应该替换那个最大元
素。这样最后得到的n个元素就是最小的n个。适合大数据量,求前n小,n的大小比较小的情况,这样可以扫描一遍即可得到所有的前n元素,效率很高。

扩展:双堆,一个最大堆与一个最小堆结合,可以用来维护中位数。

问题实例:

1)100w个数中找最大的前100个数。

用一个100个元素大小的最小堆即可。

5.双层桶划分

适用范围:第k大,中位数,不重复或重复的数字

基本原理及要点:因为元素范围很大,不能利用直接寻址表,所以通过多次划分,逐步确定范围,然后最后在一个可以接受的范围内进行。可以通过多次缩小,双层只是一个例子。

扩展:

问题实例:

1).2.5亿个整数中找出不重复的整数的个数,内存空间不足以容纳这2.5亿个整数。

有点像鸽巢原理,整数个数为2^32,也就是,我们可以将这2^32个数,划分为2^8个区域(比如用单个文件代表一个区域),然后将数据分离到不同的区域,然后不同的区域在利用bitmap就可以直接解决了。也就是说只要有足够的磁盘空间,就可以很方便的解决。

2).5亿个int找它们的中位数。

这个例子比上面那个更明显。首先我们将int划分为2^16个区域,然后读取数据统计落到各个区域里的数的个数,之后我们根据统计结果就可以判断中位数落到那个区域,同时知道这个区域中的第几大数刚好是中位数。然后第二次扫描我们只统计落在这个区域中的那些数就可以了。


际上,如果不是int是int64,我们可以经过3次这样的划分即可降低到可以接受的程度。即可以先将int64分成2^24个区域,然后确定区域的第几
大数,在将该区域分成2^20个子区域,然后确定是子区域的第几大数,然后子区域里的数的个数只有2^20,就可以直接利用direct
addr table进行统计了。

6.数据库索引

适用范围:大数据量的增删改查

基本原理及要点:利用数据的设计实现方法,对海量数据的增删改查进行处理。

扩展:

问题实例:

7.倒排索引(Inverted index)

适用范围:搜索引擎,关键字查询

基本原理及要点:为何叫倒排索引?一种索引方法,被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。

以英文为例,下面是要被索引的文本:

T0 = "it is what it is"

T1 = "what is it"

T2 = "it is a banana"

我们就能得到下面的反向文件索引:

"a":      {2}
"banana": {2}

"is":    
{0, 1, 2}

"it":    
{0, 1, 2}

"what":   {0, 1}

检索的条件"what", "is" 和 "it" 将对应集合的交集。


向索引开发出来用来存储每个文档的单词的列表。正向索引的查询往往满足每个文档有序频繁的全文查询和每个单词在校验文档中的验证这样的查询。在正向索引
中,文档占据了中心的位置,每个文档指向了一个它所包含的索引项的序列。也就是说文档指向了它包含的那些单词,而反向索引则是单词指向了包含它的文档,很
容易看到这个反向的关系。

扩展:

问题实例:文档检索系统,查询那些文件包含了某单词,比如常见的学术论文的关键字搜索。

8.外排序

适用范围:大数据的排序,去重

基本原理及要点:外排序的归并方法,置换选择 败者树原理,最优归并树

扩展:

问题实例:

1).有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16个字节,内存限制大小是1M。返回频数最高的100个词。

这个数据具有很明显的特点,词的大小为16个字节,但是内存只有1m做hash有些不够,所以可以用来排序。内存可以当输入缓冲区使用。

9.trie树

适用范围:数据量大,重复多,但是数据种类小可以放入内存

基本原理及要点:实现方式,节点孩子的表示方式

扩展:压缩实现。

问题实例:

1).有10个文件,每个文件1G,
每个文件的每一行都存放的是用户的query,每个文件的query都可能重复。要你按照query的频度排序 。

2).1000万字符串,其中有些是相同的(重复),需要把重复的全部去掉,保留没有重复的字符串。请问怎么设计和实现?

3).寻找热门查询:查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个,每个不超过255字节。

10.分布式处理 mapreduce

适用范围:数据量大,但是数据种类小可以放入内存

基本原理及要点:将数据交给不同的机器去处理,数据划分,结果归约。

扩展:

问题实例:

1).The canonical example application of MapReduce is a process to
count the appearances of

each different word in a set of documents:

  // document: document
contents

  for each word w in
document:

    EmitIntermediate(w,
1);

  

void reduce(String word, Iterator partialCounts):

  // key: a word

  // values: a list of aggregated
partial counts

  int result = 0;

  for each v in
partialCounts:

    result
+= ParseInt(v);

  Emit(result);

Here, each document is split in words, and each word is counted
initially with a "1" value by

the Map function, using the word as the result key. The framework
puts together all the pairs

with the same key and feeds them to the same call to Reduce, thus
this function just needs to

sum all of its input values to find the total appearances of that
word.

2).海量数据分布在100台电脑中,想个办法高效统计出这批数据的TOP10。

3).一共有N个机器,每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。如何找到N^2个数的中数(median)?

经典问题分析

上千万or亿数据(有重复),统计其中出现次数最多的前N个数据,分两种情况:可一次读入内存,不可一次读入。

可用思路:trie树+堆,数据库索引,划分子集分别统计,hash,分布式计算,近似统计,外排序

所 谓的是否能一次读入内存,实际上应该指去除重复后的数据量。如果去重后数据可以放入内存,我们可以为数据建立字典,比如通过
map,hashmap,trie,然后直接进行统计即可。当然在更新每条数据的出现次数的时候,我们可以利用一个堆来维护出现次数最多的前N个数据,当
然这样导致维护次数增加,不如完全统计后在求前N大效率高。

如果数据无法放入内存。一方面我们可以考虑上面的字典方法能否被改进以适应这种情形,可以做的改变就是将字典存放到硬盘上,而不是内存,这可以参考数据库的存储方法。


然还有更好的方法,就是可以采用分布式计算,基本上就是map-reduce过程,首先可以根据数据值或者把数据hash(md5)后的值,将数据按照范
围划分到不同的机子,最好可以让数据划分后可以一次读入内存,这样不同的机子负责处理各种的数值范围,实际上就是map。得到结果后,各个机子只需拿出各
自的出现次数最多的前N个数据,然后汇总,选出所有的数据中出现次数最多的前N个数据,这实际上就是reduce过程。

实际 上可能想直
接将数据均分到不同的机子上进行处理,这样是无法得到正确的解的。因为一个数据可能被均分到不同的机子上,而另一个则可能完全聚集到一个机子上,同时还可
能存在具有相同数目的数据。比如我们要找出现次数最多的前100个,我们将1000万的数据分布到10台机器上,找到每台出现次数最多的前
100个,归并之后这样不能保证找到真正的第100个,因为比如出现次数最多的第100个可能有1万个,但是它被分到了10台机子,这样在每台上只有1千
个,假设这些机子排名在1000个之前的那些都是单独分布在一台机子上的,比如有1001个,这样本来具有1万个的这个就会被淘汰,即使我们让每台机子选
出出现次数最多的1000个再归并,仍然会出错,因为可能存在大量个数为1001个的发生聚集。因此不能将数据随便均分到不同机子上,而是要根据hash
后的值将它们映射到不同的机子上处理,让不同的机器处理一个数值范围。

而外排序的方法会消耗大量的IO,效率不会很高。而上面的分布式方法,也可以用于单机版本,也就是将总的数据根据值的范围,划分成多个不同的子文件,然后逐个处理。处理完毕之后再对这些单词的及其出现频率进行一个归并。实际上就可以利用一个外排序的归并过程。

另外还可以考虑近似计算,也就是我们可以通过结合自然语言属性,只将那些真正实际中出现最多的那些词作为一个字典,使得这个规模可以放入内存。