爬虫为空_CDA答疑社区

詹惠儿

2019-04-11 阅读量: 647

爬虫为空

问题描述：

在爬取网页下的内容时，却爬取不到，返回为空，如图片所示。

所用的代码如：

import requests

from bs4 import BeautifulSoup #部析网页元素

rqrs=requests.get("https://news.sina.com.cn/china/")

rqrs.encoding="utf-8"

soup=BeautifulSoup(rqrs.text,'lxml')#解析HTML，指定使用普析器 lxml

print(type(soup))

print(soup.select('title'))#将含有 feed-card-item类的内容取出来

print(soup.select('.feed-card-item'))#将含有 feed-card-item类的内容取出来

答案解析：

feed-card-item

是通过 javascript 动态生成的。不是在静态 html 页面。可以直接访问：

https://feed.sina.com.cn/api/roll/get?pageid=121&lid=1356&num=20&versionNumber=1.2.4&page=2&encode=utf-8&callback=feedCardJsonpCallback&_=1543553942869

135.5375

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子