请求简介

1import requests
2
3r = requests.get('https://books.toscrape.com/')
4
5print("Request URL: ", r.url)
6print("Request status code: ", r.status_code)
7print("Response headers: ", r.headers)
8
9# 打印包含 HTML DOM 中 <title> 标签的文本块
10print("页面标题: ", r.text[360:425])

1import requests
2
3# 我们以字典形式提供请求头，键值对形式
4headers = {'User-Agent': 'python-requests'} 
5r = requests.get('https://www.shellhacks.com/', headers=headers)
6print(r.text)

1import requests
2
3# 这次我们将其更改为类似浏览器的 User-Agent 值
4headers = {'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"}
5r = requests.get('https://www.shellhacks.com/', headers=headers)
6print(r.status_code)

1import requests
2# 我们以字典形式提供请求头，键值对形式
3headers = {}
4r = requests.get('https://www.scrapethissite.com/pages/advanced/?gotcha=headers', headers=headers)
5if not headers:
6    print(r.text)
7status = r.status_code
8print(status)

1import requests
2
3cookies = {'session':''}
4r = requests.get('http://quotes.toscrape.com', cookies=cookies)
5
6print(r.text[520:2000])
7
8# 输出所有之前访问过的 URL，以及通过登录墙后的当前 URL
9print([obj.url for obj in r.history] + [r.url])

1import requests
2
3# 我们以字典形式提供数据，键值对形式
4# 键必须与服务器使用的名称一致，才能被识别
5# 这些键名可以通过检查网页表单获取
6data = {
7    'username': 'test',
8    'password': 'test'
9}
10r = requests.post('http://quotes.toscrape.com/login', data=data)
11
12print(r.status_code)
13
14# 输出用户到目前为止访问过的所有 URL 历史记录
15print([obj.url for obj in r.history] + [r.url])