在线文本去重工具
在线文本去重、按行删除重复内容、保留原有顺序
保留每行第一次出现的位置,顺序不变
关于文本去重
把一份名单里重复的行去掉,只保留第一次出现的那一条,其他行的顺序完全不动。整理邮箱列表、URL 清单、日志去重都用得上。
三个选项的实际影响:勾了「忽略大小写」时,Apple 和 apple 算同一行;勾了「忽略首尾空格」时," abc" 和 "abc" 算同一行——从表格、网页里复制出来的数据经常夹着这种看不见的空格,不勾就会漏掉一批重复;「删除空行」默认开着,因为空行重复本来也没意义。
处理完会告诉你一共移除了多少行。想知道去重到底有没有生效,看这个数字最快。
常见问题
会改变行的顺序吗?
不会。保留每行第一次出现的位置,其余重复的直接删掉。
内容一样但大小写不同,算重复吗?
默认不算。勾选「忽略大小写」之后才会当成同一行。
两行只差首尾的空格呢?
默认算重复,因为「忽略首尾空格」默认是开着的。关掉它就按原样比较。
能处理多少行?
十万行以内都很流畅,因为全程在浏览器本地计算,不上传也不发请求。