是说,就算加黑名单了,也可以利用技术绕开协议,强行爬取。
那些搜索引擎都是正规公司正规网站,都会遵守君子协议。国内正规企业不遵守的案例,也就是360爬取百度百科的内容了。
盗版网站才不管这些。
这是非法网站。
这伙人连法律都不遵守,会遵守君子协议?
直接绕开协议,强行爬取。就可以很容易地把正版网站上的付费内容,爬取到盗版网站中来。
现在的问题是,站的技术不够,不能利用技术反爬虫。奢望加入黑名单遵守君子协定是不可能的。
可是,紫微星有!
郭鹏飞自信满满的说:“这都是小意思,如果想技术性的反爬虫,咱们这边搞个技术小组,一周就能解决。问题是,有没有这个必要。”
张一明皱皱眉头,“现在的情况有点复杂。头条文学的小说内容,除了在自家网站上,也会在今日头条的小说频道里出现。这没问题,都是紫微星的集团渠道。可问题是,第三(本章未完,请翻页)