主页 > 知识库 > perl去除重复内容的脚本代码(重复行+数组重复字段)

perl去除重复内容的脚本代码(重复行+数组重复字段)

热门标签:外呼电信系统 惠州龙门400电话要怎么申请 万利达百货商场地图标注 热门电销机器人 河南虚拟外呼系统公司 上海企业外呼系统 智能机器人电销神器 电话机器人哪里有卖 okcc外呼系统怎么调速度

假如有这样的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我们需要得到如下的结果:
1 3 
1 5 
2 1 
4 1
那么,请借助以下的perl脚本来实现。

代码一:

复制代码 代码如下:

#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:\\\\perl\\\\data.txt\n"; 
chomp($filename=STDIN>); 
open(IN,"$filename")||die("can not open"); 
while(IN>) 

   chomp; 
   @information=split/\s+/,$_; 
   if(exists $hash{$information[0]}{$information[1]}) 
   { 
       next; 
   } 
   else 
   { 
       $hash{$information[0]}{$information[1]}='A'; 
    } 
   } 
   close IN; 
   open(IN,"$filename")||die("can not open"); 
   while(IN>) 
   { 
       @information=split/\s+/,$_; 
       if(exists $hash{$information[1]}{$information[0]}) 
       { 
           delete $hash{$information[0]}{$information[1]} 
       } 
       else 
       { 
           next; 
       } 
   } 
   close IN; 
   open(OUT,">f:\\A_B_result.txt")||die("can not open"); 
   foreach $key1 (sort{$a=>$b} keys %hash) 
   { 
       foreach $key2 (sort{$a=>$b} keys %{$hash{$key1}}) 
       { 
           print OUT "$key1 $key2\n"; 
       } 
   } 
close OUT;


代码二:

如果有一个文件data有10G大,但是有好多行都是重复的,需要将该文件中重复的行合并为一行,那么我们需要用什么办法来实现
cat data |sort|uniq > new_data #该方法可以实现,但是你需要花上好几个小时。结果才能出来。
下面是一个使用perl脚本来完成此功能的小工具。原理很简单,创建一个hash,每行的内容为键,值由每行出现的次数来填充,脚本如下;

复制代码 代码如下:

#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;

my %hash;
my $script = $0; # Get the script name

sub usage
{
        printf("Usage:\n");
        printf("perl $script source_file> dest_file>\n");

}

# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 2) {

        usage;
        exit 0;
}


my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows

open (FILE,"$source_file") or die "Cannot open file $!\n";
open (SORTED,">$dest_file") or die "Cannot open file $!\n";

while(defined (my $line = FILE>))
{
        chomp($line);
        $hash{$line} += 1;
        # print "$line,$hash{$line}\n";
}

foreach my $k (keys %hash) {
        print SORTED "$k,$hash{$k}\n";#改行打印出列和该列出现的次数到目标文件
}
close (FILE);
close (SORTED);

代码三:

通过perl脚本,删除数据组中重复的字段

复制代码 代码如下:

#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合条件的元素
@array = grep { ++$hash{$_} 2 } @array;
print join(" ",@array);
print "\n";

您可能感兴趣的文章:
  • PERL脚本 学习笔记
  • Perl5 OOP学习笔记
  • perl脚本实现限制ssh最大登录次数(支持白名单)
  • Perl使用Tesseract-OCR实现验证码识别教程
  • perl与shell获取昨天、明天或多天前的日期的代码
  • 为Java程序员准备的10分钟Perl教程
  • perl批量查询ip归属地的方法代码
  • 在Perl中使用Getopt::Long模块来接收用户命令行参数
  • perl中单行注释和多行注释使用介绍
  • perl脚本学习指南--读书笔记

标签:绵阳 周口 周口 百色 秦皇岛 绥化 合肥 淮安

巨人网络通讯声明:本文标题《perl去除重复内容的脚本代码(重复行+数组重复字段)》,本文关键词  perl,去除,重复,内容,的,;如发现本文内容存在版权问题,烦请提供相关信息告之我们,我们将及时沟通与处理。本站内容系统采集于网络,涉及言论、版权与本站无关。
  • 相关文章
  • 下面列出与本文章《perl去除重复内容的脚本代码(重复行+数组重复字段)》相关的同类信息!
  • 本页收集关于perl去除重复内容的脚本代码(重复行+数组重复字段)的相关信息资讯供网民参考!
  • 企业400电话

    智能AI客服机器人
    15000

    在线订购

    合计11份范本:公司章程+合伙协议+出资协议+合作协议+股权转让协议+增资扩股协议+股权激励+股东会决议+董事会决议

    推荐文章