每天一分钟,python一点通,多线程与多进程

python 多线程

多线程说白了是:指的是一个APP中的不同的任务,可以实现APP的多任务处理

多进程说白了是:指的不同的APP,每个APP互不影响

以上概念可以这样来理解

尽管Python完全支持多线程编程, 但是解释器的C语言实现部分在完全并行执行时并不是线程安全的。 实际上,解释器被一个全局解释器锁保护着,它确保任何时候都只有一个Python线程执行。 GIL最大的问题就是Python的多线程程序并不能利用多核CPU的优势 (比如一个使用了多个线程的计算密集型程序只会在一个单CPU上面运行)。

由于GIL的存在,python的多线程并不能使用多核的CPU,同时并行的处理任务,因此python提供了多进程任务(下期分享)

thread & threading

Python通过两个标准库thread和threading提供对线程的支持。thread提供了低级别的、原始的线程以及简单的锁。

threading 模块提供的其他方法:

  1. threading.currentThread(): 返回当前的线程变量。
  2. threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前,不包括启动前和终止后的线程。
  3. threading.activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果。

Thread类提供了以下方法:

  1. run(): 用以表示线程活动的方法。
  2. start():启动线程活动。
  3. join([time]): 等待至线程中止。这阻塞调用线程直至线程的join() 方法被调用中止-正常退出或者抛出未处理的异常-或者是可选的超时发生。
  4. isAlive(): 返回线程是否活动的。
  5. getName(): 返回线程名。
  6. setName(): 设置线程名。

若多个线程时,需要加入join函数来控制线程的执行,否则若2个线程的任务程度不同,会导致不同的执行结果,也许会不是我们的执行结果,

python多进程

Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。

子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID。

由于Windows没有fork调用,Windows上无法使用,因此python提供了一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

Multiprocessing

多进程 Multiprocessing 和多线程 threading 类似, 都是在 python 中用来并行运算的. 由于python存在GIL全局锁的功能,影响了python的多线程并行计算能力,为了解决此类问题,python提供了多进程的概念

由于每个进程互不影响,为了得到每个进程的计算结果,python提出了队列的概念

Queue

queue的功能是将每个核或线程的运算结果放在队里中, 等到每个线程或核运行完毕后再从队列中取出结果, 继续加载运算。原因很简单, 多线程调用的函数不能有返回值, 所以使用Queue存储多个线程或者进程运算的结果

  1. 直接使用queue.put()来记录每个进程的值
  2. 使用queue.get()来获取每个进程的值