Python中利用set去除列表(list)重復元素

如果我們要處理一些數據，需要去除掉重復元素，比如列表a = [5, 2, 5, 1, 4, 3, 4]，可以用如下方式實現

a = [5, 2, 5, 1, 4, 3, 4]  
print list(set(a)) 

Python中set集合對象還支持union(聯合[|])、intersection(交[&])、difference(差[-])和sysmmetric difference(對稱差集^)等數學運算。如下：

a = set('abracadabra')  
b = set('alacazam')  
 
# a包含且b包含的字符  
print a & b  
print a.intersection(b)  
# a包含或b包含的字符  
print a | b  
print a.union(b)  
# a包含且b不包含的字符  
print a - b  
print a.difference(b)  
# a包含且b不包含的字符和b包含且a不包含的字符  
print a ^ b  
print a.symmetric_difference(b) 

當然，Python中關於set的操作類型還有很多，這裡就不一一列舉了。如果一個文本中有重復的元素，我們應該如何去除呢，文本內容如下：

[root@linuxidc ]# cat done.txt   
linuxidc  
linuxidc  
linuxidc  
 
http://www.linuxidc.com/  
http://www.linuxidc.com/ 

Python利用set去除重復元素的方式，如下：

In [1]: print '\n'.join(set(open('done.txt').read().split('\n')))  
 
linuxidc  
http://www.linuxidc.com/  
 
In [2]: print ''.join(set([x for x in open('done.txt').readlines() if x.strip()!='']))  
linuxidc  
http:///www.linuxidc.com/