requests库

文章目录

• requests库
• • 1. 编码方式
  • 2. 异常
  • 3. 异常处理通用代码框架
  • 4. Requests库的7个主要方法
  • • 4.1 HTML协议
    • • 4.1.1 HTML简介
      • 4.1.2 URL简介
      • 4.1.3 HTTP协议对资源的操作
    • 4.2 Requests7个主要方法
    • • 4.2.1 方法参数
      • • 4.2.1.1 常见参数
        • 4.2.1.2 高级参数

1. 编码方式

• response.encoding: 从HTTP header中猜测的相应内容编码方式【根据header中的charset提取编码方式, 不存在charset，默认为ISO-8859-1,所以准确度低于apparent_encoding】

• response.apparent_encoding: 从内容中分析出的响应内容编码方式（备选编码方式）(apparent_encoding准确度高于encoding;apparent_encoding根据网页内容分析出的编码方式)

2. 异常

3. 异常处理通用代码框架

try:r=requests.get(url,timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept :return '产生异常'

4. Requests库的7个主要方法

4.1 HTML协议

4.1.1 HTML简介

HTML协议：

1. HTTP,Hypertext Transfer Protocol 超文本传输协议
2. HTTP基于“请求与响应”模式的、无状态的应用层协议( 模式：用户请求，服务器响应；无状态：第1次请求与第2次无相关关联；应用层协议：该协议工作在HTTP协议之上)

4.1.2 URL简介

HTTP协议采用URL作为定位网络资源的标识

URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

URL格式 http://host [:port][path]

4.1.3 HTTP协议对资源的操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hRTM8F5I-1678776258704)(requests.assets/image-20230314112042474.png)]

4.2 Requests7个主要方法

4.2.1 方法参数

4.2.1.1 常见参数

requests.request( method, url , **kwargs）

p = {'key1':'value1','key2':'value2'}
re = requests.request('GET','http://www.baidu.com',params=p)
print(re.url)
# http://www.baidu.com?key1=value1&key2=value2

p = {'key1':'value1','key2':'value2'}
re = requests.request('POST','http://www.baidu.com',data=p)body = '主题内容'
re = requests.request('POST','http://www.baidu.com',data=body)

p = {'key1':'value1','key2':'value2'}
re = requests.request('POST','http://www.baidu.com',json=p)

re = requests.request('POST','http://www.baidu.com',timeout=30)

4.2.1.2 高级参数

hds = {'user-agent':'Chrome'}
re = requests.request('POST','http://www.baidu.com',headers=hds)

fs = {'file':open('read.txt','rb')}
re = requests.request('POST','http://www.baidu.com',files=fs)

# 增加用户名密码的设置；如此访问百度所用的就是代理服务器的IP地址;有效隐藏用户爬取源的IP地址信息
prs = {'http':'http://user:pass@10.10.10.1:1234','https':'https://10.10.10.1:4321'}
re = requests.request('GET','http://www.baidu.com',proxies=prs)