python学习01

我会带着你远行 2022-02-23 13:50 241阅读 0赞

#如何线程间通信
    # 1.使用多个DownloadThread线程进行下载（I/O）操作
    # 2.使用一个CovertThread线程进行转换（cpu密集型操作）
    # 3.下载线程把下载数据安全的传给转换线程。
    import csv
    from xml.etree.ElementTree import  Element,ElementTree
    import requests
    from StringIO import StringIO
    from xml_pretty import pretty
    from threading import Thread
    from collections import deque
    from Queue import Queue
    
    #q=deque()全局的也是不良的设计模式 可以通过构造器把queue对象传入进来使用属性来维护它们
    
    class DownloadThread(Thread):
        def __init__(self,sid，queue):
            Thread.__init__(self)
            self.sid=sid
            self.url = 'http:www.baidu.com'
            self.url %= str(sid).rjust(6, '0')
            self.queue=queue
    
        def download(self,url):
            response = requests.get(url, timeout=3)
            if response.ok:
                return StringIO(response.content)
        def run(self):
            #1下载
            data=self.download(self.url)
            #2把数据（sid,data）传给转换线程  队列线程不安全 使用加锁lock或者使用标准库中的Queue.Queue,
            #它是一个线程安全的队列
            #Download线程把下载数据放入队列，Convert线程从队列里提取数据。
            #往队列中中压入数据
            q.append((sid,data))
            self.queue.put((self.sid,data))
            
    class CovertThread(Thread):
        def __init__(self,queue):
            Thread.__init__(self)
            self.queue=queue
        def csvToXml(self,scsv, fxml):
            reader = csv.reader(scsv)
            headers = reader.next()
            headers = map(lambda h: h.replace(' ', ''), headers)
    
            root = Element('Data')
            for row in reader:
                eRow = Element('Row')
                root.append(eRow)
                for tag, text in zip(headers, row):
                    e = Element(tag)
                    e.text = text
                    eRow.append(e)
            pretty(root)
            et = ElementTree(root)
            et.write(fxml)
        def run(self):
            while True:
                #从队列中取数据  每次取出数据是元组，使用元组菜包的形式赋给两个变量
                sid,data=self.queue.get()#给sid发个-1,得到-1后自动退出
                if sid ==-1:
                    break
                if data:
                    # 2.接受哪一个线程传递过来的sid,data(panduan  Long） 对data检测
    
                    fname = str(sid).rjust(6, '0') + '.xml'
                    with open(fname, 'wb') as wf:
                        self.csvToXml(data, wf)
                
    #调用代码
    q=Queue()
    #创建下载线程  使用列表解析
    dThreads=[DownloadThread(i,q) for i in range(1,11)]
    #convert线程
    cThreads=CovertThread(q)
    #开启所有的线程
    for t in dThreads:
        t.start()
    cThreads.start()
    #转换线程是一种死循环  需要一种能力通知它退出循环
    #首先在主线程中等待所有的下载线程
    for t in dThreads:
        t.join()
    q.put((-1,None))