Python并发编程之托管对象
admin
2024-02-04 07:00:54
0

什么是托管对象

和线程不同,进程不支持托管对象。尽管可以像前面所述那样可以创建共享值和数组,但这对更高级的python对象(如字典、列表、用户自定义对象等)而言不起作用。但是multiprocessing模块确实提供了一种使用共享对象的途径,但前提是它们运行在所谓的管理器的控制之下、管理器是独立的子进程,其中存在真实的对象,并以服务器的形式运行。其他进程通过使用代理访问共享对象,这些代理作为服务器的客户端运行。

使用简单托管对象的最直观方式是使用Manager()函数。

Manager()
在一个单独的进程中创建运行的管理器。返回值是SyncMsanager类型的实例,SyncManager类型定义在multiprocessing.managers模块中。

Manager()函数返回的SyncManager的实例m具有一系列方法,可用于创建共享对象并返回用于访问这些共享对象的代理。通常,可以创建一个管理器,并在启动任何新进程之前使用这些方法创建共享对象。

  • m.Array(typecode, sequence)
  • m.BoundedSemaphore([value])
  • m.Condition([lock])
  • m.dict([args])
  • m.Event()
  • m.list([sequence])
  • m.Lock()
  • m.Namespace()
  • m.Queue()
  • m.RLock()
  • m.Semaphore()
  • m.Value(typecode, value)

托管对象示例代码

下面的例子说明了如何使用管理器创建一个在进程之间共享的字典

import multiprocessing
import time# 只要设定要传递的事件,就打印d
def watch(d, evt):while True:evt.wait()print(d)evt.clear()if __name__ == '__main__':m = multiprocessing.Manager()d = m.dict()    # 创建一个shared dictevt = m.Event() # 创建一个shared event# 启动监视字典的程序p = multiprocessing.Process(target=watch, args=(d, evt))p.daemon = Truep.start()# 更新字典并通知监视者d['foo'] = 42time.sleep(5)evt.set()time.sleep(5)# 终止进程和管理器p.terminate()m.shutdown()

自定义共享对象

如果需要其他类型的共享对象,比如用户自定义类的实例,则必须创建自定义管理对象。为此,需要创建一个继承自BaseManager类的类,BaseManager类定义在multiprocessing.managers子模块中。

managers.BaseManager([address [, authkey]])

为用户定义对象创建管理器服务器的基类。address是一个可选元组(hostname, port), 用于指定服务器的网络地址。如果省略次参数,操作系统将简单分配一个对应于某些空闲端口号的地址。authkey是一个字符串,用于对连接到服务器的客户端进行身份验证。如果省略此参数,将使用current_process().authkey的值。

如果mgrclass是一个继承自BaseManager的类,可以使用以下类方法来创建返回代理给共享对象的方法。

mgrclass.register(typeid [, callable [, proxytype [, exposed [, method_to_typeid [, create_method]]]]])

使用管理器类注册一种新的数据类型。

  • typeid是一个字符串,用于命名特定类型的共享对象。这个字符串应该是有效的python标识符。
  • callable是创建或返回要共享的实例的可调用对象。
  • proxytype是一个类,负责提供客户端中要使用的代理对象的实现。通常,这些类是默认生成的,因此一般置为none
  • exposed是共享对象上方法名称的序列,它将会公开给代理对象。如果省略此参数,将使用proxytype._exposed_的值,如果proxytype._exposed_未定义,序列将包含所有的公共方法。
  • method_to_typeid 是从方法名称到类型IDS的映射。如果它为none,将使用proxytype._method_to_typeid_的值。
  • create_method是一个布尔标志,用于指定是否在mgrclass中创建名为typeid的方法。默认值是true

从BaseManager类派生的管理器的实例m必须手动启动才能运行。相关属性和方法如下:

  • m.address
  • m.connect()
  • m.serve_forever()
  • m.shutdown()
  • m.start()

自定义托管对象示例代码

下面的例子说明了如何为用户自定义类型创建管理器, 在代理上是无法访问特殊方法和以下划线开头的所有方法的,在更高级的应用程序中,可以自定义代理,从而进行更仔细的控制访问。这是通过定义继承自BaseProxy的类来实现的, 以下代码说明如何为A类自定义代理,从而正确地公开__iadd__方法,并使用属性(property)公开x特性(attribute):

import multiprocessing
from multiprocessing.managers import BaseManager
from multiprocessing.managers import BaseProxyclass A(object):def __init__(self, value) -> None:self.x = valuedef __repr__(self):return "A(%s)" % self.xdef getX(self):return self.xdef setX(self, value):self.x = valuedef __iadd__(self, value):self.x += valuereturn selfclass AProxy(BaseProxy):# referent上公开的所有方法列表_exposed_ = ['__iadd__', 'getX', 'setX']# 实现代理的公共接口def __iadd_proxy__(self, value):self._callmethod('__iadd__', (value, ))return self@propertydef x(self):return self._callmethod('getX', ())@x.setterdef x(self, value):self._callmethod('setX', (value, ))class MyManager(BaseManager):pass
MyManager.register("A", A, proxytype=AProxy)if __name__ == '__main__':m = MyManager()m.start()a = m.A(11)print(a.x)a.x = 22print(a.x)a.__iadd_proxy__(33)print(a.x)

相关内容

热门资讯

【MySQL】锁 锁 文章目录锁全局锁表级锁表锁元数据锁(MDL)意向锁AUTO-INC锁...
【内网安全】 隧道搭建穿透上线... 文章目录内网穿透-Ngrok-入门-上线1、服务端配置:2、客户端连接服务端ÿ...
GCN的几种模型复现笔记 引言 本篇笔记紧接上文,主要是上一篇看写了快2w字,再去接入代码感觉有点...
数据分页展示逻辑 import java.util.Arrays;import java.util.List;impo...
Redis为什么选择单线程?R... 目录专栏导读一、Redis版本迭代二、Redis4.0之前为什么一直采用单线程?三、R...
【已解决】ERROR: Cou... 正确指令: pip install pyyaml
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
Lock 接口解读 前置知识点Synchronized synchronized 是 Java 中的关键字,...
Win7 专业版安装中文包、汉... 参考资料:http://www.metsky.com/archives/350.htm...
3 ROS1通讯编程提高(1) 3 ROS1通讯编程提高3.1 使用VS Code编译ROS13.1.1 VS Code的安装和配置...
大模型未来趋势 大模型是人工智能领域的重要发展趋势之一,未来有着广阔的应用前景和发展空间。以下是大模型未来的趋势和展...
python实战应用讲解-【n... 目录 如何在Python中计算残余的平方和 方法1:使用其Base公式 方法2:使用statsmod...
学习u-boot 需要了解的m... 一、常用函数 1. origin 函数 origin 函数的返回值就是变量来源。使用格式如下...
常用python爬虫库介绍与简... 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库&...
药品批准文号查询|药融云-中国... 药品批文是国家食品药品监督管理局(NMPA)对药品的审评和批准的证明文件...
【2023-03-22】SRS... 【2023-03-22】SRS推流搭配FFmpeg实现目标检测 说明: 外侧测试使用SRS播放器测...
有限元三角形单元的等效节点力 文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数(Nÿ...
初级算法-哈希表 主要记录算法和数据结构学习笔记,新的一年更上一层楼! 初级算法-哈希表...
进程间通信【Linux】 1. 进程间通信 1.1 什么是进程间通信 在 Linux 系统中,进程间通信...
【Docker】P3 Dock... Docker数据卷、宿主机与挂载数据卷的概念及作用挂载宿主机配置数据卷挂载操作示例一个容器挂载多个目...