1.登陆网站，开启开发者模式。
可以在浏览器中点击右键检查或者F12打开开发者模式。
2.点选 NetWork，DOC，然后刷新页面。
在 network 中选择 doc，在请求的 headers 中搜索 cookie。
3.获取对应的 cookie 以及 user-agent。
4.在代码中添加到 headers 里面。
def getHTMLText(url):
kv = {
'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
try:
r = requests.get(url, headers=kv, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "gg"
实例扩展：
程序的结构设计
- 提交商品搜索请求，循环获取页面
- 对于每个页面，提取商品名称和价格信息
- 将信息输出
遇到问题
爬取成功，数据有问题
打印 html 文件，返回如下
script type="text/javascript">
TRLang = {
ERROR_NICK_BLANK: "请填写账户名",
ERROR_PASSWORD_BLANK: "请输入密码",
ERROR_NICK_PASSWORD_BLANK: "请输入账户名和密码",
ERROR_CHECKCODE_BLANK: "请输入验证码",
TIPS_REMEMBER_PASSWORD: "记住密码",
TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共计算机记住密码，防止账户被盗"
};
/script>
到此这篇关于Python爬虫爬取商品失败处理方法的文章就介绍到这了,更多相关Python爬虫爬取商品失败内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:- 关于python爬虫应用urllib库作用分析
- python爬虫Scrapy框架:媒体管道原理学习分析
- python爬虫Mitmproxy安装使用学习笔记
- Python爬虫和反爬技术过程详解
- python爬虫之Appium爬取手机App数据及模拟用户手势
- 爬虫Python验证码识别入门
- Python爬虫技术
- Python获取江苏疫情实时数据及爬虫分析
- Python爬虫之Scrapy环境搭建案例教程
- Python爬虫中urllib3与urllib的区别是什么
- 教你如何利用python3爬虫爬取漫画岛-非人哉漫画
- Python爬虫分析汇总
