pythonURL的传参

大家好我是羔羊!今天继续给大家分享网络爬虫中URL传参的两种方式

URL传参的两种方式

在页面里面常见的传参分为两种，一种为get传参，一种为post传参，他们在我们的爬虫中也是需要用不同的方式去进行设置的。

接下来我们继续用豆瓣TOP250来作为例子进行讲解，首先打开网页然后按键盘最上面一排的F12

会出现这样子的画面，我们选择网络，随机选择一个，这个时候我们可以看到在上面很清晰的写着它的传参方式

那么我们为什么要区分URL的传参呢？这里我们可以简单的理解为他们有不同的写法，get传参他是可以直接和网址进行拼接的，他是直接写在网址上面的比如我们点击下一页的时候问号后面的部分就属于get传参

遇到get传参，我们可以这么来构造你的爬虫代码

1、GET传参

import requests

#设置传参
key_dict = { ‘start’ : 25 }

#伪装浏览器
headers={
‘user-agent’:’Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36’,
‘Host’:’movie.douban.com’
}

#发起get请求
r = requests.get(‘https://movie.douban.com/top250',headers=headers ,params=key_dict)

#以文本的方式打开
print(r.text)

POST传参可以理解为吧内容藏起来了，他是单纯的放在外面给你看到，而是藏起来你看不到，这个时候我们一般要去F12找他的传参，来构造你的代码

比如：

我们现在看到的这个post传参，点击请求

在这个地方的就都是他的传参的设置，但是我们在url哪里明显的是看不到这么多东西的

所以一般post传参会用在参数比较多的地方，而参数较少的地方则会用get方法来进行设置。

2、POST传参

import requests

#设置传参
key_dict = { ‘start’ : 25 }

#伪装浏览器
headers={
‘user-agent’:’Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36’,
‘Host’:’movie.douban.com’
}

#发起post请求
r = requests.post(‘https://movie.douban.com/top250',headers=headers ,params=key_dict)

#以文本的方式打开
print(r.text)