python读取xml文件，并生成可执行sql的text文件

比眉伴天荒 2024-04-17 21:35 58阅读 0赞

**需求相关**

项目中拿到一个新需求，厂家丢给我们一大堆xml文件，大小有四五十兆，总共有40个xml文件。我需要做的工作是读取xml文件里面我们需要的信息，并将其保存在数据库中。

**需求实现**

开发中主要使用的是Node.js，在网上看了几篇关于node读取xml文件的教程，感觉不理想。而自己平时又在自学Python，于是想使用Python来尝试一下读取xml文件，看看效果如何。

from xml.dom.minidom import parse  
import xml.dom.minidom  
import xlwt  
import os

number = 0

def createSqlText(orgArr):  
"""  
创建sql文件  
"""  
temp\_str = ""  
for k in range(0, len(orgArr)):  
sql = "INSERT INTO ycrh\_supplier\_base(supplier\_name,supplier\_md\_code,ou\_name,cnap\_number,account\_number,account\_name)VALUES("  
sql += "\\'" + orgArr\[k\]\['VENDOR\_NAME'\] + '\\'' + ","  
sql += "\\'" + orgArr\[k\]\['MD\_CODE'\] + '\\'' + ","  
sql += "\\'" + orgArr\[k\]\['OU\_NAME'\] + '\\'' + ","  
sql += "\\'" + orgArr\[k\]\['CNAP\_NUMBER'\] + '\\'' + ","  
sql += "\\'" + orgArr\[k\]\['ACCOUNT\_NUMBER'\] + '\\'' + ","  
sql += "\\'" + orgArr\[k\]\['ACCOUNT\_NAME'\] + '\\'' + ");" + "\\r\\n"  
temp\_str += sql  
file\_name = orgArr\[0\]\['VENDOR\_NAME'\] + '.txt'  
path = os.getcwd()  
\#dest = 'D:\\\\xml'  
dest = "D:\\\\xml\\\\txt"  
file = open(os.path.join(dest, file\_name), 'w')  
new\_str = temp\_str.replace(u'\\xa0', u'')  
file.write(str(new\_str))  
file.close()  
global number  
number += 1  
print('sql文件创建成功！',number)

temp\_list = os.listdir('D:\\\\xml\\\\668')\#获取所有的文件  
for item in temp\_list:  
\#print('文件名称' + item)  
DOMTree = xml.dom.minidom.parse(os.path.join('D:\\\\xml\\\\668',item))  
collection = DOMTree.documentElement  
itemArr = collection.getElementsByTagName("ns2:INPUTCOLLECTION\_ITEM")  
\#操作文件  
orgArr = \[\]  
for node in itemArr:  
dict = \{'VENDOR\_NAME': 1, 'MD\_CODE': 1,'OU\_NAME': 1, 'CNAP\_NUMBER': 1, 'ACCOUNT\_NUMBER': 1, 'ACCOUNT\_NAME': 1\}

if node.getElementsByTagName('ns2:VENDOR\_NAME')\[0\]:  
dict\['VENDOR\_NAME'\] = node.getElementsByTagName('ns2:VENDOR\_NAME')\[0\].childNodes\[0\].data  
else:  
dict\['VENDOR\_NAME'\] = "无数据"

if node.getElementsByTagName('ns2:MD\_CODE')\[0\]:  
dict\['MD\_CODE'\] = node.getElementsByTagName('ns2:MD\_CODE')\[0\].childNodes\[0\].data  
else:  
dict\['MD\_CODE'\] = "无数据"

\#ou名称  
if node.getElementsByTagName('ns2:ORG\_NAME')\[0\]:  
dict\['OU\_NAME'\] = node.getElementsByTagName('ns2:ORG\_NAME')\[0\].childNodes\[0\].data  
else:  
dict\['OU\_NAME'\] = "无数据"

if len(node.getElementsByTagName('ns2:CNAP\_NUMBER')) > 0:  
temp = dict\['CNAP\_NUMBER'\] = node.getElementsByTagName('ns2:CNAP\_NUMBER')\[0\].childNodes  
if len(temp) > 0:  
dict\['CNAP\_NUMBER'\] = node.getElementsByTagName('ns2:CNAP\_NUMBER')\[0\].childNodes\[0\].data  
else:  
dict\['CNAP\_NUMBER'\] = "无数据"  
else:  
dict\['CNAP\_NUMBER'\] = "无数据"

if len(node.getElementsByTagName('ns2:ACCOUNT\_NUMBER')) > 0:  
dict\['ACCOUNT\_NUMBER'\] = node.getElementsByTagName('ns2:ACCOUNT\_NUMBER')\[0\].childNodes\[0\].data  
else:  
dict\['ACCOUNT\_NUMBER'\] = "无数据"

if len(node.getElementsByTagName('ns2:ACCOUNT\_NAME')) > 0:  
dict\['ACCOUNT\_NAME'\] = node.getElementsByTagName('ns2:ACCOUNT\_NAME')\[0\].childNodes\[0\].data  
else:  
dict\['ACCOUNT\_NAME'\] = "无数据"  
\#print(dict)  
orgArr.append(dict)  
\#print(orgArr)  
createSqlText(orgArr)

说明：读取时，首先是读取某个文件夹下面的所有文件，然后在遍历读取到的每一个文件。每次读取一个xml文件时使用dom一次性读取文件里面的所有内容，之后再进行遍历操作，获取xml里面的详细内容。如果数据不存在，则设置为无数据。经过不断地调试，修改，最终圆满完成工作。

**存在问题总结**

文件在进行数据读取时，最好不要跨越盘符，比如从D盘读取文件，然后写到E盘。理论上说起来是没有问题的，可实际操作中却出问题了。进行测试时出现问题，去百度里面搜索时才发现问题，至于是什么原因不清楚，网友给出的答案是跨盘符操作文件造成的。

大数据量的插入操作时，最好是分批进行。我在获取到可执行语句后，然后直接执行sql语句，约有10行左右，记得执行了约有半个小时左右，超级慢。然后重新写了一个程序，将数据拆分开，每个文件中的sql设置为10000行左右，执行起来快很多。

import os  
temp\_path = "D:\\\\xml\\\\txt"  
temp\_list = os.listdir(os.path.join(temp\_path))\#获取所有的文件

number = 0  
def write\_content(content):  
global number  
file = open(os.path.join(temp\_path, str(number) + 'final-sql.txt'), 'w')  
number += 1  
file.write(temp\_str)  
file.close()  
print('文件写入完毕！',number)

temp\_str = ''  
temp\_count = 0  
for item in temp\_list:  
f = open(os.path.join(temp\_path, item), 'r')  
lines = f.readlines()  
temp\_count += len(lines)  
f.close()  
print('查看读取的数据行数', temp\_count)  
for single in lines:  
temp\_str += single  
if temp\_count >= 10000 :  
write\_content(temp\_str)  
temp\_count = 0

print('程序执行完毕！')

从这里可以总结出在进行sql批量插入操作时，最好还是分批执行最好，不然执行效率会急剧下降，得不偿失。