第767章 爬虫

在国内做生意,限制比较多。如果是小打小闹的小公司,只要在合理合法的经营、竞争,怎样都没问题。如果是大公司,那就不行了。

如果是国企间展开激烈竞争,当局一统计,发现这种竞争对两家企业的利润都有损害,就会出面协调了。可以把两家企业的老总互换,化干戈为玉帛。再不行,当局谈话,进行问诫。还不行,就有杀手锏了,两家企业直接合并。

民企间的竞争相对自由,可大公司之间也有限制。

每一家成功的民企,经营的都很不容易。

当局在法律法规、政策等方面都有一定的保护。

在美国,一个市值1000多亿美元的公司一旦报出财务造假,3个月内就破产倒闭了,处置得极其严苛。可国内不一样,民企做大,真是太不容易了,因为犯了点小错就直接杀头,太可惜了,罚款几十万引以为戒,意思意思得了。

企业倒了,那么多员工怎么办?损失的GDP怎么办?

这就导致有很多无耻可恶的商人,利用国家对民族经济的呵护和关爱,不好好做企业,天天想着操纵资本、收割韭菜,导致A股假账烂账一大堆。

这里面的水太深,周不器从不参与,哪怕A股现在历史性的大涨,他也不去炒股,免得惹一身腥。

炒股才能赚几个钱啊。

他这种身份的人,只要牌坊正,根本不需要去股市里偷鸡摸狗,官府会敲锣打鼓的主动给他送钱。

要想钱生钱,最好的办法就是把钱集中起来,交给最会赚钱又人品可靠值得信任的人,让他去带领大家共同致富。

周不器现在基本就是这样的人。

郭丹那边已经回馈了,市里针对紫微星总部的事,已经拿出了一个大致性的意见,会给出一个在首都地区对民企来说前所未有的扶持方案。

回到紫微星和百度的竞争上,周不器肯定不能像石婧琳说的那样采取一些过激的行为。

就算是竞争,也要在一定的范围之内。

要是紫微星真的把百度搞死了,这不是牛逼,这是傻逼。同样的,百度要是把紫微星搞死了,李老板也就被请去喝茶了。

3Q大战一度轰轰烈烈,也是当局出面化解纠纷。

第二天,周不器叫上了郭鹏飞、韩乐水、聂才俊、宁雅娴等人,去搜索事业群那边考察工作。场面不小。

紫微星的几大事业群负责人中,王小船的压力是最大的。

前期工程已经做到了完美,可就是拿不到结果,市场份额一直维持在33%-35%之间。所以他才申请了一个建议,要做一个类似百度贴吧的项目。

好在周不器对王小船充满了信任。

“不要急,我早就说过了,短期之内不看份额,只看产品。”

“产品……”

王小船暗暗叹气。

单看产品,微点搜索也不如百度啊!唯一的优势,就是微点的配套设施更多,有浏览器,有导航网,有输入法,有音乐平台等等。

周不器笑了笑,“这点信心都没有?还是说你承认技术不行?”

王小船从小就是计算机天才,在技术方面从未服过谁,摇头道:“搜索引擎的架构高度复杂,有抓取器、渲染器、DNS解析、Redis内存数据库、URL队列、种子队列、响应队列、URL提取、URL过滤、重复URL检测等等,是一个技术性很强的庞大工程。我自认为微点的架构不比百度差,可一些技术细节,还需要时间。”

周不器笑着说:“我知道搜索技术很高端,可随着时间的推移,搜索技术就会走下神坛,变为比较大众的技术。最根本的技术,还是大数据处理。”

在大方向的理论上,周大老板比一些专业人士还强。

王小船深以为然,“是啊,大数据的处理。百度和谷歌的差距,微点和百度的差距,最主要的就是体现在我们在数据处理时的效率问题。按理来说,通过爬虫技术,可以抓取到互联网上所有信息。可相关信息太多了,数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来,是搜索引擎最大的技术难题。”

周不器打了个响指,笑道:“巧了,我这次过来,就是想问问你爬虫的事。”

王小船有些费解。

周大老板这个技术外行,怎么还关心起技术细节来了?

就缓缓的解释道:“爬虫是搜索的基础工具,爬虫搜信息……嗯,就跟使用浏览器上网差不多,都是先向服务器发送请求,获得返回的页面,然后筛选出有价值的内容。如果时间足够长计算量足够大,使用爬虫工具,就可以把互联网上的所有信息都搜索一遍。”

见周大老板似乎很感兴趣的样子。

王小船就拿过纸笔,很快速的写下了一行代码,“假如说我们要爬取微知网的信息,用这行代码就可以实现了。”

周不器拿过代码一看,嗯,是很简单。

headers={‘Use-Agent’:‘ChaiknowsThebot’,}

r=requests.gets(“

html=r.text

print(html)

难怪说3月份的时候,北科有两个计算机系的大学生被开除了。

这技术好像是不太难。

因为大四写论文,可用谷歌、百度、微点等搜索引擎,却搜不到别人写的相关论文。怎么办?就有计算机系的学生,自己写了段爬虫算法。

然后成功的爬取到了几百篇相关论文。

接下来就好办了,摘抄、重组、整合。

如果查重不过关,也简单,用谷歌翻译,先汉译英、再英译汉。再人工地把句子整理通顺,查重就顺利通过。

可能是北科的创业环境被周不器给带起来了,那俩大学生就有了通过技术牟利的心思,玩起了帮同学写论文的生意。

被发现后,俩人都被开除了。

要不是周不器出面力保,上缴了非法所得,并安排到了校内网工作,他俩说不定就要蹲监狱了,前程就全毁了。

王小船接着说:“这是静态网站的爬取,如果是优酷、朋友网的这种动态页面,算法会相对复杂。可不管怎样,这都是很基础的工具。我们做搜索引擎,难点已经从复杂性变为规模量了。”

周不器皱皱眉,“老马……就是阿里的那位。他跟我说,要屏蔽百度对淘宝的爬虫,怎么回事?”

王小船笑道:“这事也简单,爬虫和网站之间有一个爬取协议,业内叫Robot协议。这个协议会声明,该网站的哪些内容可以爬取,哪些内容不能爬取,并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度,只需要把百度的爬虫加到黑名单里就行了。”

“嗯!”

周不器点了点头。

这就是他想要的答案。

爬虫黑名单!

王小船似乎看出了什么,试探着说:“老板,你……你要对百度下手吗?”

周不器道:“我看了一下微知网的数据,过去3个月,有超过1.1亿的访问量,是来自百度。”

王小船没有惊喜,深吸了口气,忧心忡忡的说:“微知的访问量本来就不高,如果屏蔽了百度,流量就更低了。”

周不器并不在乎,“微知不需要流量,微知需要的是优质内容。你都说了,百度的算法不如谷歌,很难通过简单的数据处理完成对一些有深度内容的检索,来爬取微知的内容,是简洁途径。有不少用户都是通过百度来访问微知,我们要断了这条线!”

王小船眨眨眼,“真要屏蔽吗?”

“当然。”

“可Robot协议没有法律效力。”

“啥?”

“这个协议,是一种行业约束,君子协定,不是法律条文。如果百度真想爬取微知的内容,完全可以通过技术手段跳过协议,强行爬取。”

周不器若有所思,“君子协定啊……如果强行爬取,有违商业道德?”

王小船点了点头,“可以这么理解。”

心中深深的不以为然。

商业道德?

这东西是一层窗户纸,一捅就破。

“如果违反了怎么办?”

“国外有过类似的案子,违反了协议,也被处罚了。因为法官认为这个协议虽不是法律条文,但作为广泛被接受的行业规则,就应该被遵守。不过国内好像不太行。就像RSS聚合器似的,可以去各个网站上订阅信息。网站拒绝了RSS订阅,依旧可以通过技术手段强行订阅。”

周不器想了一下,语气轻松,笑着说:“没事,百度在美国上市,不敢玩的太出格。先这么做吧,第一步,微知网屏蔽百度的爬虫。你这边也做准备,我打算一步步的、全面彻底的跟百度切割。”

王小船睁大眼睛,“全都切割?”

周不器淡淡地道:“对!”

“这行吗?”

“你觉得切割了,对谁的危害更大?”

“这……”

王小船有些犹豫,不太好说。

周不器冷冷的道:“紫微星不主动欺负别人,却也不会任人欺负。百度从校内网挖了十几个人,把一个满建制的小组都给挖走了。不亮亮肌肉,李大老板以为我脾气好,好说话呢!”

都屏蔽了,当然对微点搜索最有利。

可王小船格局没这么小,不认为这是个好主意,好心的提示一句,“咱们自身的利益也会受损。百度是最大的搜索引擎,是流量分发平台。”

周不器却很有信心,“平台的优势是轻量级,劣势是容易被人卡脖子。联想电脑品牌这么响,你知道联想最怕什么吗?最怕微软的系统授权和英特尔的芯片断供。每一次发生分歧,都要支付一大笔钱。如果把百度比作联想电脑,紫微星就需要成为最大的零配件供应商。微知、朋友网、校内网,接下来,我们还会有今日头条和微博。比比看!”

(本章完)

第768章 信息孤岛

互联网从PC时代变为移动时代,变化是什么?上网工具从电脑变成了手机,这只是表面的变化。

深层次的是商业模式的改变。

在PC网页时代,网页是基础节点,它是静态的,不能私有,所以搜索引擎就成为了一个非常强势的结构,它是一个典型的树状Index。用户从谷歌或者百度进来,搜索引擎会根据网站的内容相关度、链接权重,给用户做推荐。

而在移动互联网时代,用户通过手机成为基础节点,网络结构以App(半封闭)为主导,节点链接更加复杂,网络去中心化程度非常高。

简单来说,就是在PC时代,用户可以在网页之间不停地跳转,通过这个网页进入另一个网页,不存在任何障碍。

所以搜索引擎就成了至关重要的流量分发平台,搜索引擎的搜索结果,成了用户选择某一个网页的关键因素。

移动时代的模式不一样了,跳转受到限制了。用户不能通过一个App随意地跳转到另一个App,前提是要确保那个App安装到了用户的手机中。

这就导致各大厂商的App很难通过搜索引擎来获得流量了。

所以,百度在移动互联网时代就落后了。

在PC时代,网站们都离不开百度的流量分发。可是在移动时代,百度的流量分发功能受限,互联网公司们对百度的依赖就没那么强了。

然后就发生了一个非常壮观的互联网现象——信息孤岛。

每一家互联网公司的信息,就像是孤岛一般的存在。

信息共享的属性越来越低。

直接原因,就是各大互联网公司开始自我封闭,都希望把用户的时间和数据留在自己的应用里,而不是送给搜索引擎。纷纷对搜索引擎的爬虫进行了屏蔽。

比如,百度中搜不到微信公众号的文章,因为微信屏蔽了百度的爬虫。搜狗却能搜到公众号的文章,因为企鹅并购了搜狗,变成了一家人。

几乎所有的内容平台,都屏蔽了百度的爬虫。

这就导致百度的信息越来越少。

后来没办法了,百度只能自己搞了一个百家号,通过自产内容的方式,来应对用户对内容的搜索需求。

内容的有效获取,对搜索引擎来说至关重要。

所以,周不器对百度的反击,第一步就是把百度的爬虫,加入到微知网的黑名单中!

相比于谷歌的强势,百度的搜索结果中,少量存在的一些有深度的内容,都是来自微知网。这一点,跟微点差不多。

区别是,微点和微知是一家人。

微知屏蔽了百度,就相当于断掉其很重要的一块内容来源。

百度有的微点都有,微点有的百度却不一定有……这将会是微点超过百度,成为国内第一大搜索引擎的重大机会。

周不器的座驾正朝着婕妤传媒的方向行驶。

宁雅娴坐在他大腿上,黑色的丝袜退到了腿弯处,实在有些羞臊。

却奈何不了他,只能调整好坐姿,拿过公文包盖着大腿,以免他的手在自己裙子底下胡闹不小心走了光。

司机的存在,让她很难堪。

动作上已经够大胆了,可不好意思再有语言上的调情,那就太不要脸了。

宁雅娴轻咬着嘴唇,装作若无其事的说:“老板,屏蔽百度爬虫的事,你谋划很久了吧?”

“嗯?”

“我猜的。你应该是早就有这样的想法,可一直找不到合适的理由,冒然屏蔽百度,锋芒太盛,不是你的作风。刚巧,最近百度连续从校内团购挖人,给了你反击的借口。”

周不器一手搂着她的腰,一手在她裙子底下调戏她,笑着说:“差不多吧。”

宁雅娴轻声道:“屏蔽了百度,微知网的流量就更少了。”

周不器道:“微知到现在还是裸奔呢,一条广告都没有。流量再高,不能转化为收益,有什么用?而且,微知的定位就是小众高端的内容平台,流量再高也高不到哪去,还是以内容生产为主。”

微知是紫微星的没有被商业气息腐蚀的净土。

为了这家网站,紫微星每年要花5000万-6000万养着。其中4000千万是给答题手们的答题奖金,每个季度1000万。

宁雅娴的声音有些异样了,“微知屏蔽了爬虫,只……只是第一步吧?”

周不器慢悠悠的说:“紫微星要成为一座信息孤岛,终极目的,是拒绝一切外来的爬虫。在这座孤岛上,我们可以信息共享、互助互利,用户们只要来到了这座孤岛,就可以获取到他们想要的一切。可是在外面,他们却获取不到任何关于这座孤岛的信息,只能上岛。”

宁雅娴脸色微变,“这样太绝决了,不符合你的身份。”

周不器点了点头,“所以要慢慢来,先从微知开始。到了明年,淘宝也会屏蔽百度的爬虫。这就有了趋势性。到时候,紫微星工程院可以再放出一个杀招。”

“杀招?”

“工程院可以把我们的个性化分发系统外包出去,给淘宝,给拍拍、京东、当当、易趣……这些电商网站只要用上了这套系统,就会集体造反,集体屏蔽百度。”

“为什么啊?”

宁雅娴没太理解。

周不器瞪了她一眼,“这都想不明白?个性分发最关键的是什么?是用户的行为数据!如果用户们都是通过百度来搜索商品,那么用户的行为数据就都在百度身上。电商网站拿不到数据,就没法为用户做个性化商品推荐。”

这个年代,搜索引擎就是爹。

用户们网购,根本不需要去各个垂直的电商网站,而是直接上百度,搜索自己喜欢的商品。然后,百度就会把各网站上的商品信息罗列出来。

可随着技术的发展,各大电商网站都用上了个性化的商品和个性化广告的推荐,这套模式就不行了。

电商网站必须掌握到更多的用户数据。

只要淘宝带头屏蔽了百度爬虫,业绩没下滑。当当、拍拍、易趣等电商平台就会集体造反,集体的屏蔽百度爬虫。

前世,造反的时间还要延后两三年。

因为技术不够,他们没有个性化分发算法。

这一世,有了周不器这个大好人,格局大、胸怀广,不想敝帚自珍,愿意把自家的高科技产品分享给国内同行使用!

造反的时间必然会提前。

宁雅娴有些担心,“如果都屏蔽了……会不会连微点的爬虫也屏蔽?”

周不器道:“这是迟早的事,信息孤岛会成为未来互联网公司的主流模式。不过短期内我们不用怕。别忘了,个人分发系统是紫微星卖给他们的!销售协议上就要声明,他们不能屏蔽微点的爬虫。嗯,必要情况下,微点愿意分享一些用户的行为数据给他们。”

宁雅娴扭了身子,轻轻地趴在他怀里,贝齿咬着红唇,“那……那微点之后,接下来校内网、朋友网也会屏蔽百度喽?”

“嗯,先测测百度的反应。我估计……嘿嘿!老李好像要跟我扛,那正好!”

“我用微点,那里面有很多百度百科、百度知道、百度贴吧的内容。”

“我正等着呢!”

“嗯?”

“老李想反击,肯定也是在自家的生态内容上屏蔽微点的爬虫。正巧了!信息孤岛,不仅是外界没法获取孤岛中的信息,孤岛也很难获取外界的信息。你知道洗脑的重要过程是什么吗?是信息封锁。要想用户对紫微星的产品产生洗脑似的迷恋,就要隔离中外。隔离百度,就是强大微点。”

宁雅娴勾着他的脖颈,细语低声,在耳边悄悄的说:“老爷,你好厉害。”

周不器笑笑,“还行吧。”

宁雅娴脸蛋红扑扑的,抛了一个大媚眼,就摆弄了下腰肢,见他没反对,从起身从怀里离开了,拿出纸巾帮他擦手,脸色娇艳的凑过去,低声道:“老爷,你换个女司机吧,你总这样,我怪不好意思的。刚才差点没忍住。”

“女司机……”

周不器皱皱眉。

他的司机可不止是司机,还是保镖。

换个女人……就算再能打,也很难克服先天劣势和生理问题,安全方面就没保障了。

宁雅娴建议道:“你可以招两个女司机,然后准备两部车,让保镖在后面的车里跟着,不就好了?”

周不器略作沉吟,“嗯,也行。”

这么大的老板了,在个人安保方面多花费一些,谁也挑不出毛病。

去了婕妤传媒,见到了徐百卉。

她正在读剧本。

见周不器过来了,就撇撇嘴,一副舅舅不疼姥姥不爱的模样,把剧本扔给他,“剧本搞完了,可是想拍电影基本没戏!”

周不器接过来,简单的翻看了一下,笑着说:“画大饼而已,先许愿着。等过些年了,这里的男女主角都成了比较成功的企业家,到时候就有卖点了。”

徐百卉对这个话题没什么兴趣,往老板椅上一靠,跟个女王似的,优哉游哉的道:“周老大,下周我要去《红楼梦》的剧组谈角色,你去不?”

“我去干啥?”

“你不见见杨蜜?花这么多钱养了放着不用,太浪费了吧?而且,那边的漂亮姑娘可不少呢,去晚了,就被别人抢光了。”

“乌烟瘴气!”

周不器哼了一声。

徐百卉一脸鄙视的模样,“少装纯洁,你去不去?就在首都的影视基地,一个小时就到了。”

周不器叹了口气,“算了,看看还有没有没下水的清白姑娘,我去拯救一下吧。”

(本章完)

重新连接服务器...

连接失败... 将在 秒后重新尝试连接.

连接失败.
请刷新此页面.

此会话被服务器暂停.

恢复会话失败.
请重试或者刷新此页面.