Queue库

queue库介绍

　　Queue库是Python标准库中的线程安全的队列(FIFO)实现，提供了一个适用于多线程编程的先进先出的数据结构，即队列，它可用于在生产者和消费者之间线程安全地传递消息或其它数据，因此多个线程可以共享一个Queue实例。
　　Queue库实现了一个基本的先进先出（FIFO）容器，可以直接import引用，在python2.x中，库名为Queue。python3.x版本库名为queue

为什么要有queue

　　多个线程进行数据交换的时候，不能够保证数据的安全性和一致性，所以当多个线程需要进行数据交换的时候，队列就出现了，队列可以完美解决线程间的数据交换，保证线程间数据的安全性和一致性。

三种队列及构造函数

Python queue模块的FIFO队列先进先出。class queue.Queue(maxsize)
LIFO类似于堆，即先进后出。class queue.LifoQueue(maxsize)
还有一种是优先级队列级别越低越先出来。class queue.PriorityQueue(maxsize)

FIFO先进先出

　　FIFO即First in First Out，先进先出。Queue提供了一个基本的FIFO容器，使用方法很简单，maxsize是个整数，指明了队列中能存放的数据个数的上限。一旦达到上限，插入会导致阻塞，直到队列中的数据被消费掉。如果maxsize小于或者等于0，队列大小没有限制。

import Queue
q = Queue.Queue()
for i in range(5):
    q.put(i)
while not q.empty():
    print q.get()

# 输出
# 0
# 1
# 2
# 3
# 4

LIFO先进先出

　　LIFO即Last in First Out，后进先出。与栈的类似，使用也很简单，maxsize用法同上。

import Queue

q = Queue.LifoQueue()

for i in range(5):
    q.put(i)

while not q.empty():
    print q.get()

# 输出
# 4
# 3
# 2
# 1
# 0

优先级队列

　　构造一个优先队列。maxsize用法同上。

import Queue
import threading

class Job(object):
    def __init__(self, priority, description):
        self.priority = priority
        self.description = description
        print 'Job:',description
        return
    def __cmp__(self, other):
        return cmp(self.priority, other.priority)

q = Queue.PriorityQueue()

q.put(Job(3, 'level 3 job'))
q.put(Job(10, 'level 10 job'))
q.put(Job(1, 'level 1 job'))

def process_job(q):
    while True:
        next_job = q.get()
        print 'for:', next_job.description
        q.task_done()

workers = [threading.Thread(target=process_job, args=(q,)),
        threading.Thread(target=process_job, args=(q,))
        ]

for w in workers:
    w.setDaemon(True)
    w.start()

q.join()

# 输出
# Job: level 3 job
# Job: level 10 job
# Job: level 1 job
# for: level 1 job
# for: level 3 job
# for: level 10 job

Queue 模块中的常用方法

简介

方法名	含义
`Queue.Queue(maxsize=0)`	FIFO，若是`maxsize`小于1就表示队列长度无限
`Queue.qsize()`	返回队列的大小
`Queue.empty()`	若是队列为空，返回True，反之False
`Queue.full()`	若是队列满了，返回True，反之False，与maxsize大小对应
`Queue.get([block, [timeout]])`	读队列，timeout为等待时间
`Queue.put(item, [block, [timeout]])`	写队列，timeout为等待时间
`Queue.queue.clear()`	清空队列
`queue.get_nowait()`	相当`queue.get(False)`
`queue.put_nowait(item)`	相当`queue.put(item, False)`
`queue.task_done()`	在完成一项工作之后，`queue.task_done()`函数向任务已经完成的队列发送一个信号
`queue.join()`	实际上意味着等到队列为空，再执行别的操作

task_done()

　　意味着之前入队的一个任务已经完成。由队列的消费者线程调用。每一个get()调用得到一个任务，接下来的task_done()调用告诉队列该任务已经处理完毕。如果当前一个join()正在阻塞，它将在队列中的所有任务都处理完时恢复执行（即每一个由put()调用入队的任务都有一个对应的task_done()调用）。

join()

　　阻塞调用线程，直到队列中的所有任务被处理掉。只要有数据被加入队列，未完成的任务数就会增加。当消费者线程调用task_done()，意味着有消费者取得任务并完成任务，未完成的任务数就会减少。当未完成的任务数降到0，join()解除阻塞。

put(item[, block[, timeout]])

将item放入队列中。

如果可选的参数block为True且timeout为空对象（默认的情况，阻塞调用，无超时）。
如果timeout是个正整数，阻塞调用进程最多timeout秒，如果一直无空空间可用，抛出Full异常（带超时的阻塞调用）。
如果block为False，如果有空闲空间可用将数据放入队列，否则立即抛出Full异常

其非阻塞版本为put_nowait等同于put(item, False)。

get([block[, timeout]])

　　从队列中移除并返回一个数据。block跟timeout参数同put方法其非阻塞方法为｀get_nowait()｀相当与get(False)。