- 给各位依然关注小站的朋友们报告下近期数据问题
最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
多访问几次小说目录,就会被ban。
现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
这个“部分小说”的定义是:活跃用户的书架内的书籍。
“活跃用户”的定义则是:近3天内有登录过的用户。
所以应该对正常用户没啥影响,感谢大家这么多年来的关注。
刚刚启动这个策略,所以之前漏抓的情况虽然不会马上全部修复,但应该会逐渐补齐。
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
最近确实好多书搜不到,还以为停止维护了,doge
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
快过年了,站长依然惦记兄弟们。辛苦了。泪目。
某点貌似又修代码了,UI弹窗都换了。
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
能维持运行就很不容易了,不过起点一直在下坡,有人爬相当于做广告了,起点还不要,估计等到快死了才能改变一下
不会以后只能看番茄的ai文吧,只能希望ai进化的快一点
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
站长辛苦啦。现在各种防盗做的极其恶心。都不怎么看新的,完全就是当书架收藏用了。
感谢
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
spt
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
感谢站长依然坚持用爱发电。ღ( ´・ᴗ・` )比心
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
感谢站长
主要是很多书籍都没能收录采集,经常一搜就需要登记,把本站当历史书架都未能实现。。。
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
现在对于起点的书来说,只要登记时选定起点,填上书号,那么在起点更新列表出现该书籍时,是会补充收录的。
但是我记得一些小众的站点比如息壤有毒啥的好像还不行。
【 在 sos120 的大作中提到: 】
: 主要是很多书籍都没能收录采集,经常一搜就需要登记,把本站当历史书架都未能实现。。。
感谢站长
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
要不要增加一个用户自行添加更新链接的选项
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
这个有风险的,不排除有别有用心的人挂恶意网站上来。
【 在 a13135666548 的大作中提到: 】
: 要不要增加一个用户自行添加更新链接的选项
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
坏了 我成刷新机了 狗头
站长新年快乐
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
【 在 booklink 的大作中提到: 】
: 最近起点部分书籍更新滞后,看了一下,原来是起点对待爬虫的策略貌似变得严格了。
: 多访问几次小说目录,就会被ban。
: 现在的解决方案是:只对起点“最近更新”列表中的部分小说进行抓取。
: ............
很好、这个一定得支持!!!⊙_⊙