python进程间通信:队列,grpc, thrift常用的
队列
在python中,多个线程之间的数据是共享的,多个线程进行数据交换的时候,不能够保证数据的安全性和一致性,所以当多个线程需要进行数据交换的时候,队列就出现了,队列可以完美解决线程间的数据交换,保证线程间数据的安全性和一致性。
三种
queue.Queue() 先进先出
queue.LifoQueue() 先进后出
queue.PriorityQueue(maxsize) 优先级
queue.qsuze() 返回当前队列中元素个数
queue.empty() 判断是否为空,返回True or False
queue.full() 判断队列是否满了, 返回boolean
queue.get([block], timeout) 获取队列
queue.put(item, timeout) 写入 队列,
queue.join() 阻塞调用线程,直到队列中所有任务被处理掉
queue.task_done() 向任务已完成的队列发送一个信号
多进程自带的Queue
Queue()方法相当于第三方,把进程A的数据序列化后传给进程B反序列化得到数据。并不是一个共享的变量。而是实现了数据的传递。
from multiprocessing import Process, Queue
import time
def write_task(q):
if not q.full():
for i in range(5):
message = "消息" + str(i)
q.put(message)
print("写入", message)
def read_task(q):
time.sleep(1)
while not q.empty():
print("读取: %s" % q.get(True, 2))
if __name__ == "__main__":
q= Queue()
pw = Process(target=write_task, args=(q,))
pr = Process(target=read_task, args=(q,))
pw.start()
pr.start()
管道通信:
Pipe([duplex]): 在进程之间创建一条管道,并返回元组(conn1, conn2), 其中conn1,conn2表示管道两端的连接对象
from multiprocessing import Process,Pipe
conn1, conn2= Pipe()#默认全双工#如果将duplex射成False,conn1只能用于接收,conn2只能用于发送。
主要方法:
conn.recv(): 如果没有消息可接收,recv方法会一直阻塞。如果连接的另外一端已经关闭,那么recv方法会抛出EOFError。
conn.send(obj): 通过连接发送数据。
版权归原作者 云中烤飞鸟 所有, 如有侵权,请联系我们删除。