- 给各位依然关注小站的朋友们报告下近期数据问题
最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
多访问几次小说目录,就会被ban。
现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
这个“部分小说”的定义是:活跃用户的书架内的书籍。
“活跃用户”的定义则是:近一个月内有登录过的用户。
所以应该对正常用户没啥影响,感谢大家这么多年来的关注。
刚刚启动这个策略,所以之前漏抓的情况虽然不会马上全部修复,但应该会逐渐补齐。
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
最近确实好多书搜不到,还以为停止维护了,doge
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
快过年了,站长依然惦记兄弟们。辛苦了。泪目。
某点貌似又修代码了,UI弹窗都换了。
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
能维持运行就很不容易了,不过起点一直在下坡,有人爬相当于做广告了,起点还不要,估计等到快死了才能改变一下
不会以后只能看番茄的ai文吧,只能希望ai进化的快一点
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
请移步首页,登录后再行发表回复
页面风格借鉴了m.newsmth.net,在此鸣谢