本文目录一览：
- 1、Python怎么从文件里的数据去重复，去重复后，再保存到文件里，把重复的数据保存出来
- 2、python3检查列表、元组、字符串中的重复元素
- 3、用python找出一个txt文件中的重复数据，并将重复数据输出成另一个txt文件
- 4、python代码查重原理
Python怎么从文件里的数据去重复，去重复后，再保存到文件里，把重复的数据保存出来
内容读出来通过逗号分割成一个列表，再去掉重复的，再写入到文件里面
# -*- coding:utf-8 -*-
filename = 'data.txt'
with open(filename, 'r') as f:
content = f.read()
content = list(set(content.split(',')))
content = ','.join(content)
with open(filename, 'w') as _f:
_f.write(content)
python3检查列表、元组、字符串中的重复元素
人与人相处多一些真诚，少一些套路，不要把别人当傻子，只是别人不想和你计较罢了。
上一篇： python3比较版本号方法封装
下一篇： configobj读写.ini配置文件方法封装
下面封装的方法是用于检查列表、元组、字符串中是否有重复元素，only_show_repeat方法返回一个只有重复元素的列表，show_repeat_count方法返回一个以重复元素为key，重复次数为value的字典，相当于查重。内有注释自己看吧。 -python源文件查重
如果感觉本文对您有帮助可以点个赞哦
本文仅供交流学习，请勿用于非法途径
仅是个人意见，如有想法，欢迎留言
用python找出一个txt文件中的重复数据，并将重复数据输出成另一个txt文件
假设你的文件名是a.txt，写到b.txt
d = {}
for line in open('a.txt'):
d[line] = d.get(line, 0) + 1
fd = open('b.txt', 'w')
for k, v in d.items():
if v 1:
fd.write(k)
fd.close()
python代码查重原理
a=['python',1,2,3,1,6,'a','a',3,3,3,'a','python','3','8']
b=list(set(a))
cf=[]
for i in b:
cf.append(a.count(b))
for i in range(len(b)):
print(b[i],'一共有',cf[i],'个',sep='')
