queue库介绍
Queue库是Python标准库中的线程安全的队列(FIFO)实现,提供了一个适用于多线程编程的先进先出的数据结构,即队列,它可用于在生产者和消费者之间线程安全地传递消息或其它数据,因此多个线程可以共享一个Queue实例。
Queue库实现了一个基本的先进先出(FIFO)容器,可以直接import引用,在python2.x中,库名为Queue。python3.x版本库名为queue
为什么要有queue
多个线程进行数据交换的时候,不能够保证数据的安全性和一致性,所以当多个线程需要进行数据交换的时候,队列就出现了,队列可以完美解决线程间的数据交换,保证线程间数据的安全性和一致性。
三种队列及构造函数
-
Python queue模块的FIFO队列先进先出。
class queue.Queue(maxsize)
-
LIFO类似于堆,即先进后出。
class queue.LifoQueue(maxsize)
-
还有一种是优先级队列级别越低越先出来。
class queue.PriorityQueue(maxsize)
FIFO先进先出
FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器,使用方法很简单,maxsize是个整数,指明了队列中能存放的数据个数的上限。一旦达到上限,插入会导致阻塞,直到队列中的数据被消费掉。如果maxsize小于或者等于0,队列大小没有限制。
import Queue
q = Queue.Queue()
for i in range(5):
q.put(i)
while not q.empty():
print q.get()
# 输出
# 0
# 1
# 2
# 3
# 4
LIFO先进先出
LIFO即Last in First Out,后进先出。与栈的类似,使用也很简单,maxsize用法同上。
import Queue
q = Queue.LifoQueue()
for i in range(5):
q.put(i)
while not q.empty():
print q.get()
# 输出
# 4
# 3
# 2
# 1
# 0
优先级队列
构造一个优先队列。maxsize用法同上。
import Queue
import threading
class Job(object):
def __init__(self, priority, description):
self.priority = priority
self.description = description
print 'Job:',description
return
def __cmp__(self, other):
return cmp(self.priority, other.priority)
q = Queue.PriorityQueue()
q.put(Job(3, 'level 3 job'))
q.put(Job(10, 'level 10 job'))
q.put(Job(1, 'level 1 job'))
def process_job(q):
while True:
next_job = q.get()
print 'for:', next_job.description
q.task_done()
workers = [threading.Thread(target=process_job, args=(q,)),
threading.Thread(target=process_job, args=(q,))
]
for w in workers:
w.setDaemon(True)
w.start()
q.join()
# 输出
# Job: level 3 job
# Job: level 10 job
# Job: level 1 job
# for: level 1 job
# for: level 3 job
# for: level 10 job
Queue 模块中的常用方法
简介
方法名 | 含义 |
---|---|
Queue.Queue(maxsize=0) |
FIFO,若是maxsize 小于1就表示队列长度无限 |
Queue.qsize() |
返回队列的大小 |
Queue.empty() |
若是队列为空,返回True,反之False |
Queue.full() |
若是队列满了,返回True,反之False,与maxsize大小对应 |
Queue.get([block, [timeout]]) |
读队列,timeout为等待时间 |
Queue.put(item, [block, [timeout]]) |
写队列,timeout为等待时间 |
Queue.queue.clear() |
清空队列 |
queue.get_nowait() |
相当queue.get(False) |
queue.put_nowait(item) |
相当queue.put(item, False) |
queue.task_done() |
在完成一项工作之后,queue.task_done() 函数向任务已经完成的队列发送一个信号 |
queue.join() |
实际上意味着等到队列为空,再执行别的操作 |
task_done()
意味着之前入队的一个任务已经完成。由队列的消费者线程调用。每一个get()
调用得到一个任务,接下来的task_done()
调用告诉队列该任务已经处理完毕。如果当前一个join()
正在阻塞,它将在队列中的所有任务都处理完时恢复执行(即每一个由put()
调用入队的任务都有一个对应的task_done()调用)。
join()
阻塞调用线程,直到队列中的所有任务被处理掉。只要有数据被加入队列,未完成的任务数就会增加。当消费者线程调用task_done()
,意味着有消费者取得任务并完成任务,未完成的任务数就会减少。当未完成的任务数降到0,join()
解除阻塞。
put(item[, block[, timeout]])
将item放入队列中。
- 如果可选的参数block为True且timeout为空对象(默认的情况,阻塞调用,无超时)。
- 如果timeout是个正整数,阻塞调用进程最多timeout秒,如果一直无空空间可用,抛出Full异常(带超时的阻塞调用)。
- 如果block为False,如果有空闲空间可用将数据放入队列,否则立即抛出Full异常
其非阻塞版本为put_nowait
等同于put(item, False)
。
get([block[, timeout]])
从队列中移除并返回一个数据。block跟timeout参数同put
方法其非阻塞方法为`get_nowait()`相当与get(False)
。
Comments | NOTHING