windows console 에서 텍스트 파일 내용 unique 하게 정렬하기

아래 포스팅에서 파이썬을 이용하여 텍스트 파일의 내용을 unique 하게 sorting 하는 방법에 대해 소개한 적이 있는데요~ 

2013/11/26 - [programming language/Python] - ipython으로 unique 하게 sorting 하기

 

좀더 찾아보니 리눅스 명령어들을 사용하면 훨씬 더 쉽게 할 수 있더군요.

 

리눅스를 사용하시는 분들이라면 그냥 사용하면 되겠지만 윈도우를 사용하시는 분들은 아래 포스팅에서 소개해 드렸던 GNU On Windows (GOW) 를 설치 하시기 바랍니다.

2012/11/11 - [유틸] - GNU On Windows 를 이용하여 Windows 에서 Linux 명령어 사용하기

 

아님~ 윈도우에 Cygwin 을 설치해서 사용하시는 분들이라면 그냥 Cygwin terminal 상에서 하셔도 무방 합니다.

 

unique 한 정렬을 위해 사용하는 명령어는 uniq 인데요~

 

다음과 같은 sampleFile.txt 파일이 있을 때~

 

위에 보이는 바와 같이 sample1 이 3개 sample3 가 2 개가 있고 나머지는 1개씩 있습니다.

 

uniq 명령어는 연달아서 중복된 내용이 있을 때만 중복된 내용을 제거 해 줍니다. 따라서 텍스트 파일의 내용을 unique 하게 정렬하기 위해서는 다음과 같이 sort 를 먼저 한 다음에 uniq 명령어를 통해 중복된 내용들을 제거 해 줄 수 있습니다.

 

uniq 명령어에는 다음과 같은 다양한 옵션들이 있는데~ 제가 사용하는 옵션들은 다음과 같습니다.

 

–c : 개수를 센다.

 

-d : 중복되는 라인만 나오게 한다.

 

-u : unique 한 라인만 나오게 한다.