2. 开发问题
  3. 数据抓取时出现重复数据

数据抓取时出现重复数据

Charles_99403 2019-12-10 1629

在进行数据翻页抓取时发现末尾存在大量的某页的重复数据，是什么原因造成的呢，要怎么解决

最新回复 (10)
  • 林墨晗 2019-12-10
    2楼

    某页是哪一页啊，要是最后一页就没问题，是否翻页写多了

  • Charles_99403 2019-12-11
    3楼
    林墨晗 某页是哪一页啊，要是最后一页就没问题，是否翻页写多了
    最后一页和倒数第二页
  • 林墨晗 2019-12-11
    4楼
    Charles_99403 最后一页和倒数第二页
    代码截图，或者网站发过来我们去试试
  • 伪装 2020-4-28
    5楼
    我也一样，重复了
  • 深呼吸工作室 2020-5-19
    6楼
    我也一样，重复了
  • 殇夜羽 2020-5-19
    7楼
    数据抓取翻页设置成0 ，用计次循环，和鼠标点击翻页按钮，结合数据抓取，就是每翻一页就抓取当前也的数据就行了。
  • 黄子伟 2020-8-7
    8楼
    殇夜羽 数据抓取翻页设置成0 ，用计次循环，和鼠标点击翻页按钮，结合数据抓取，就是每翻一页就抓取当前也的数据就行了。
    你的这个办法我尝试了，是可以，但是网页的反应速度太慢，需要20秒到30秒才能加载完成。请问有方法判断业务是否加载完成，再去抓取数据吗？
  • lhui 2020-8-7
    9楼
    5.1.1多页抓取还会丢数据呢，搞得我只好一页一页抓。
  • 陈bot 2020-8-10
    10楼
    你设置一下抓取页数，不然最后一页会重复抓直到指定页数
  • 朱钰涛_334110 2020-8-10
    11楼
    你设置一下等待网页加载完成，或者设置一下等待元素出现就好了
返回
发新帖