主页 > 知识库 > Linux下删除大数据文件中部分字段重复行的方法

Linux下删除大数据文件中部分字段重复行的方法

热门标签:河南语音电销机器人加盟公司 济南智能语音电销机器人加盟 如何找电销机器人 无锡ai智能语音电销机器人厂家 江西意向度高的羿智云外呼系统 无锡真人电销机器人供应商 电销机器人怎么打卡 易联系统外呼营销来回呼 抖音商家地图标注入驻店
最近写的一个数据采集程序生成了一个含有1千多万行数据的文件,数据由4个字段组成,按照要求需要删除第二个字段重复的行,找来找去linux下也没找到合适的工具,sed/gawk等流处理工具只能针对一行一行处理,并无法找到字段重复的行。看来只好自己python一个程序了,突然想起来利用mysql,于是进行乾坤大挪移:

1. 利用mysqlimport --local dbname data.txt导入数据到表中,表名要与文件名一致
2. 执行下列sql语句(要求唯一的字段为uniqfield)


复制代码
代码如下:

use dbname;
alter table tablename add rowid int auto_increment not null;
create table t select min(rowid) as rowid from tablename group by uniqfield;
create table t2 select tablename .* from tablename,t where tablename.rowid= t.rowid;
drop table tablename;
rename table t2 to tablename;

标签:宿州 滨州 江苏 亳州 常德 保山 河源 绥化

巨人网络通讯声明:本文标题《Linux下删除大数据文件中部分字段重复行的方法》,本文关键词  Linux,下,删除,大,数据,文件,;如发现本文内容存在版权问题,烦请提供相关信息告之我们,我们将及时沟通与处理。本站内容系统采集于网络,涉及言论、版权与本站无关。
  • 相关文章
  • 下面列出与本文章《Linux下删除大数据文件中部分字段重复行的方法》相关的同类信息!
  • 本页收集关于Linux下删除大数据文件中部分字段重复行的方法的相关信息资讯供网民参考!
  • 推荐文章