2. 开发问题
  3. 关于数据抓取的问题，网页没有翻页按钮，默认往下拉显示更多内容，这种情况怎么抓取更多的数据

关于数据抓取的问题，网页没有翻页按钮，默认往下拉显示更多内容，这种情况怎么抓取更多的数据

可爱的皮皮 2020-12-23 639

数据抓取的时候预览上显示了我抓取20条记录，然而实际上返回对象中只有9条记录，这是怎么回事啊？

我以为是没有抓取翻页，但是，这个网页没有翻页按钮啊，默认是下拉就显示更多内容，有没有人遇到过一样的问题？怎么解决的？



最新回复 (5)
  • 王榕星 2020-12-23
    2楼
    下拉的部分是不是网页已经加载默认隐藏折叠了？
  • 王榕星 2020-12-23
    3楼
    王榕星 下拉的部分是不是网页已经加载默认隐藏折叠了？
    如果是在做航班信息抓取的话，用鼠标滚轮或者pagedown
  • 可爱的皮皮 2020-12-23
    4楼
    应该是吧，没有翻页的按钮；我抓取的时候，预览上显示我是把所有的数据都抓到了，结果代码运行时我输出来只有几条记录，我怀疑是分页了，然后我又没找到翻页按钮，卡在这里了
  • 可爱的皮皮 2020-12-24
    5楼
    我在抓取之前用了滚轮，多了几条数据，但还是抓不完
  • 王榕星 2020-12-24
    6楼
    可爱的皮皮 我在抓取之前用了滚轮，多了几条数据，但还是抓不完
    多滚几次试试，哪个站啊
返回
发新帖