0


Python3高并发定时更新任务进程池和线程池的使用

Python3高并发定时更新任务进程池和线程池的使用

  • 背景:需要定时对数据库的某一张表做更新
  • 不管用多线程还是多进程只能利用当前一台机器的计算能力,可以考虑使用celery这样的工具,后期可以横向扩展celery的执行机,也不用考虑生产者消费者模型,celery里面自动都帮我们处理好了,也有消息队列的机制,我们只负责往里面丢任务即可

Django中connections.close_all()的作用

  • 我们链接到mysql的时候,会创建一个链接,这个链接一般都有一个有效期,当新起一个进程的时候会fork父进程里的数据库链接文件,但是这些链接文件可能马上就失效了,万一在我们子进程的任务中突然有一个链接失效就会报错,所以在新起子进程的时候先执行一下这个命令,关闭旧链接,后面用了再创建自己的新链接即可
  • 数据库链接超时的报错不光有mysql gone away,还有各种游标报错,None类型报错等,都可能是由于链接超时或者错误关闭链接导致
  • 如果在子进程里使用了多进程,就会fork出好多链接文件,一不小心就会关闭还需要使用的链接,就会报错,建议传参的时候都穿hash_key,在子进程里再重新查询获取这个对象,这样这个对象的生命周期就可以自己掌控了
  • 但是创建多线程的时候不存在fork,基本不会有断联的情况

进程池的使用

参考:https://www.cnblogs.com/kaituorensheng/p/4465768.html

这个虽然使用的是Python2,但是给的例子里除了print加括号以外,都是可以正常使用的

#coding: utf-8
import multiprocessing
import time

def func(msg):
    print("msg:", msg)
    time.sleep(3)
    print("end")

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes = 3)
    for i in xrange(4):
        msg = "hello %d" %(i)
        pool.apply_async(func, (msg, ))   #维持执行的进程总数为processes,当一个进程执行完毕后会添加新的进程进去

    print("Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~")
    pool.close()
    pool.join()   #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
    print("Sub-process(es) done.")

线程池的使用

参考:https://www.jianshu.com/p/b9b3d66aa0be

  • 注意:进程池创建进程的时候,里面第二个参数是元祖,而创建线程池的时候,里面第二个参数就是普通的参数

本文转载自: https://blog.csdn.net/weixin_43478836/article/details/120675045
版权归原作者 ·如烟· 所有, 如有侵权,请联系我们删除。

“Python3高并发定时更新任务进程池和线程池的使用”的评论:

还没有评论