Python解析xml文檔實例

使用python

用到的包：xml.dom.minidom

需求：

有一個表，裡面數據量比較大，每天一更新，其字段可以通過配置文件進行配置，即，可能每次建表的字段不一樣。

上游跑時會根據配置從源文件中提取，到入庫這一步需要根據配置進行建表。

解決：

寫了一個簡單的xml，配置需要字段及類型

上游讀取到對應的數據

入庫這一步，先把原表刪除，根據配置建新表

XML文件

1. <?xml version="1.0" encoding="UTF-8"?>
2. <!-- 表名 ,數據庫名 可靈活配置插入哪個庫哪個表 -->
3. <table name="top_query" db_name="evaluting_sys">
4. <!-- 非業務主鍵，自增長,可配名，其他 INTEGER UNSIGNED AUTO_INCREMENT -->
5. <primary_key>
6. <name>id</name>
7. </primary_key>
8. <!-- 字段開始 -->
9. <field>
10. <name>query</name>
11. <type>varchar(200)</type>
12. <is_index>false</is_index>
13. <description>query</description>
14. </field>
15. <field>
16. <name>pv</name>
17. <type>integer</type>
18. <is_index>false</is_index>
19. <description>pv</description>
20. </field>
21. <field>
22. <name>avg_money</name>
23. <type>integer</type>
24. <is_index>false</is_index>
25. <description></description>
26. </field>
27. <!-- 字段配置結束 -->
28. </table>

腳本：

1. #!/usr/bin/python
2. # -*- coding:utf-8 -*-
3. #author: ken
4. #desc: use to read db xml config.
5. #-----------------------
6. #2012-02-18 created
8. #----------------------
10. import sys,os
11. from xml.dom import minidom, Node
13. def read_dbconfig_xml(xml_file_path):
14. content = {}
16. root = minidom.parse(<span style="background-color: rgb(255, 255, 255); ">xml_file_path)</span>
17. table = root.getElementsByTagName("table")[0]
19. #read dbname and table name.
20. tabletable_name = table.getAttribute("name")
21. db_name = table.getAttribute("db_name")
23. if len(table_name) > 0 and len(db_name) > 0:
24. db_sql = "create database if not exists `" + db_name +"`; use " + db_name + ";"
25. table_drop_sql = "drop " + table_name + " if exists " + table_name + ";"
26. content.update({"db_sql" : db_sql})
27. content.update({"table_sql" : table_drop_sql })
28. else:
29. print "Error:attribute is not define well! db_name=" + db_name + " ;table_name=" + table_name
30. sys.exit(1)
31. #print table_name, db_name
33. table_create_sql = "create table " + table_name +"("
35. #read primary cell
36. primary_key = table.getElementsByTagName("primary_key")[0]
37. primary_keyprimary_key_name = primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue
39. table_create_sql += primary_key_name + " INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY,"
41. #print primary_key.toxml()
42. #read ordernary field
43. fields = table.getElementsByTagName("field")
44. f_index = 0
45. for field in fields:
46. f_index += 1
47. name = field.getElementsByTagName("name")[0].childNodes[0].nodeValue
48. type = field.getElementsByTagName("type")[0].childNodes[0].nodeValue
49. table_create_sql += name + " " + type
50. if f_index != len(fields):
51. table_create_sql += ","
52. is_index = field.getElementsByTagName("is_index")[0].childNodes[0].nodeValue
54. table_create_sql += ");"
55. content.update({"table_create_sql" : table_create_sql})
56. #character set latin1 collate latin1_danish_ci;
57. print content
60. if __name__ == "__main__":
61. read_dbconfig_xml(sys.argv[1])

涉及方法：

root = minidom.parse(xml_file_path) 獲取dom對象

root.getElementsByTagName("table") 根據tag獲取節點列表

table.getAttribute("name") 獲取屬性

primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue 獲取子節點的值（<name>id</name> 得到id）

-----------------------------------------------------

簡單的讀取就是這樣，這裡只是簡單使用了下

後續需去了解下python讀取xml的幾個庫

xml.dom.minidom

xml.etree.ElementTree

libxml2

lxml.etree

xpath