十一月Mozscape指数推出

作者 Admin 浏览 发布时间 12/11/10

 十一月Mozscape指数的推出,比原定时间晚了几天。最初抓取数据量的计算错误,而事实上,我们的抓取工具是非常有效的,我们的第一个索引尝试这个月的两倍左右大小的77十亿的URL目标。如果我们没有这个计算错误,我们本来可以打我们的原始发布之日起11/5,但重新启动造成的指数发布日期滑了几天。 

打嗝,我们遇到了这个月的七十六亿的URL处理。花多一点的时间比我们以前即月期指,这是只有五十五亿的网址。这离谱明显的在我们的索引处理的一个具体步骤。定期在整个处理,我们检查站已处理的文件,所以我们可以回滚,如果发生一些灾难性的(一台机器出现故障,文件损坏等)。指数本月,这些检查点的步骤明显较长,在某些情况下,一些较大的步骤进行检查点,花了好几天时间。的天才工程师的Mozscape队,  马丁和布兰登能拿出一个解决方案,大大减少所花费的时间检查点。随着马丁的更新处理软件,所花费的时间从数天缩短到短短几分钟内被切断某些步骤!一旦再次,  退后一步  所带来的Mozscape的团队进两步。

Mozscape团队继续完成我们的私有云解决方案在弗吉尼亚州做出一些重大的进步。我们指数在AWS的云和我们自己的私有云年底的轨道上。完成一个成功的测试指标后,第一Mozscape指数是在进步,我们自己的私有云中运行。这是一个令人振奋的成就的Mozscape队!

盐城市高朋网络科技有限公司 公司地址:盐城市亭湖区文港南路悦达新村7幢506室 联系电话:0515-88333351
盐城网络公司 Copyright 2011-2012 www.yccnc.com 版权所有 禁止转载
鄂B2-20030044