Python3高并发定时更新任务进程池和线程池的使用

Python3高并发定时更新任务进程池和线程池的使用

• 背景：需要定时对数据库的某一张表做更新
• 不管用多线程还是多进程只能利用当前一台机器的计算能力，可以考虑使用celery这样的工具，后期可以横向扩展celery的执行机，也不用考虑生产者消费者模型，celery里面自动都帮我们处理好了，也有消息队列的机制，我们只负责往里面丢任务即可

Django中connections.close_all()的作用

• 我们链接到mysql的时候，会创建一个链接，这个链接一般都有一个有效期，当新起一个进程的时候会fork父进程里的数据库链接文件，但是这些链接文件可能马上就失效了，万一在我们子进程的任务中突然有一个链接失效就会报错，所以在新起子进程的时候先执行一下这个命令，关闭旧链接，后面用了再创建自己的新链接即可
• 数据库链接超时的报错不光有mysql gone away，还有各种游标报错，None类型报错等，都可能是由于链接超时或者错误关闭链接导致
• 如果在子进程里使用了多进程，就会fork出好多链接文件，一不小心就会关闭还需要使用的链接，就会报错，建议传参的时候都穿hash_key，在子进程里再重新查询获取这个对象，这样这个对象的生命周期就可以自己掌控了
• 但是创建多线程的时候不存在fork，基本不会有断联的情况

进程池的使用

参考：https://www.cnblogs.com/kaituorensheng/p/4465768.html

这个虽然使用的是Python2，但是给的例子里除了print加括号以外，都是可以正常使用的

#coding: utf-8
import multiprocessing
import time

def func(msg):
    print("msg:", msg)
    time.sleep(3)
    print("end")

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes = 3)
    for i in xrange(4):
        msg = "hello %d" %(i)
        pool.apply_async(func, (msg, ))   #维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去

    print("Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~")
    pool.close()
    pool.join()   #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
    print("Sub-process(es) done.")

线程池的使用

参考：https://www.jianshu.com/p/b9b3d66aa0be

• 注意：进程池创建进程的时候，里面第二个参数是元祖，而创建线程池的时候，里面第二个参数就是普通的参数