5 najboljih alata za pronalaženje i brisanje dupliciranih datoteka u Linuxu

Organiziranje vašeg kućnog direktorija ili čak sistema može biti posebno teško ako imate naviku preuzimanja svih vrsta stvari s interneta koristeći svoje menadžere preuzimanja.

Često ćete možda otkriti da ste preuzeli isti mp3, pdf i epub (i sve vrste drugih ekstenzija datoteka) i kopirali ih u različite direktorije. Ovo može uzrokovati da vaši direktoriji postanu pretrpani svim vrstama beskorisnih dupliciranih stvari.

U ovom vodiču ćete naučiti kako pronaći i izbrisati duplicirane datoteke u Linuxu pomoću alata naredbenog retka rdfind, fdupes i rmlint , kao i korištenje GUI alata pod nazivom DupeGuru i FSlint.

Napomena - uvijek pazite šta brišete na svom sistemu jer to može dovesti do neželjenog gubitka podataka. Ako koristite novi alat, prvo ga isprobajte u probnom direktoriju gdje brisanje datoteka neće biti problem.

1. Rdfind – Pronađite duplicirane datoteke u Linuxu

Rdfind dolazi iz pronalaženja redundantnih podataka, što je besplatni alat za naredbene linije koji se koristi za pronalaženje dupliciranih datoteka u više direktorija ili unutar njih. On rekurzivno skenira direktorijume i identifikuje datoteke koje imaju identičan sadržaj, omogućavajući vam da preduzmete odgovarajuće radnje kao što je brisanje ili premještanje duplikata.

Rdfind koristi algoritam za klasifikaciju datoteka i otkriva koji je od duplikata originalni fajl, a ostale smatra duplikatima.

Pravila rangiranja su:

Ako je A pronađen tokom skeniranja ulaznog argumenta prije B, A ima viši rang.
Ako je A pronađen na dubini nižoj od B, A ima viši rang.
Ako je A pronađen prije od B, A je bolje rangiran.

Posljednje pravilo se posebno koristi kada se dvije datoteke nađu u istom direktoriju.

Instalirajte Rdfind na Linux

Da instalirate rdfind u Linux, koristite sljedeću naredbu prema vašoj Linux distribuciji.

sudo apt install rdfind         [On Debian, Ubuntu and Mint]
sudo yum install rdfind         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/rdfind  [On Gentoo Linux]
sudo apk add rdfind             [On Alpine Linux]
sudo pacman -S rdfind           [On Arch Linux]
sudo zypper install rdfind      [On OpenSUSE]

Za pokretanje rdfind u direktoriju jednostavno upišite rdfind i ciljni direktorij.

rdfind /home/user

Kao što vidite rdfind će sačuvati rezultate u fajlu pod nazivom results.txt koji se nalazi u istom direktorijumu odakle ste pokrenuli program. Datoteka sadrži sve duplicirane datoteke koje je rdfind pronašao. Možete pregledati datoteku i ručno ukloniti duplicirane datoteke ako to želite.

Još jedna stvar koju možete učiniti je da koristite -dryrun opciju koja će pružiti listu duplikata bez preduzimanja bilo kakvih radnji:

rdfind -dryrun true /home/user

Kada pronađete duplikate, možete odabrati da ih zamijenite tvrdim vezama.

rdfind -makehardlinks true /home/user

A ako želite da izbrišete duplikate, možete pokrenuti.

rdfind -deleteduplicates true /home/user

Da provjerite druge korisne opcije rdfind možete koristiti rdfind priručnik.

man rdfind

2. Fdupes – Skenirajte duple datoteke u Linuxu

Fdupes je još jedan program na komandnoj liniji koji vam omogućava da identifikujete duple datoteke na vašem sistemu. Rekurzivno pretražuje direktorije, uspoređujući veličine datoteka i sadržaj kako bi identificirao duplikate.

Koristi sljedeće metode za određivanje duplikata datoteka:

Poređenje djelomičnih potpisa md5sum
Upoređivanje potpunih potpisa md5sum
bajt po bajt poređenje verifikacije

Baš kao i rdfind, ima slične opcije:

Pretražujte rekurzivno
Isključite prazne datoteke
Prikazuje veličinu dupliciranih datoteka
Odmah obrišite duplikate
Izuzmite fajlove s drugim vlasnikom

Instalirajte Fdupes u Linux

Da biste instalirali fdupes u Linux, koristite sljedeću naredbu prema vašoj Linux distribuciji.

sudo apt install fdupes         [On Debian, Ubuntu and Mint]
sudo yum install fdupes         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/fdupes  [On Gentoo Linux]
sudo apk add fdupes             [On Alpine Linux]
sudo pacman -S fdupes           [On Arch Linux]
sudo zypper install fdupes      [On OpenSUSE]

Fdupes sintaksa je slična rdfind. Jednostavno upišite naredbu nakon čega slijedi direktorij koji želite skenirati.

fdupes <dir>

Za rekurzivno pretraživanje datoteka, morat ćete specificirati -r opciju poput ove.

fdupes -r <dir>

Također možete odrediti više direktorija i odrediti dir koji će se pretraživati rekurzivno.

fdupes <dir1> -r <dir2>

Da bi fdupes izračunao veličinu duplikata koristite opciju -S.

fdupes -S <dir>

Za prikupljanje sažetih informacija o pronađenim datotekama koristite opciju -m.

fdupes -m <dir>

Konačno, ako želite da obrišete sve duplikate koristite -d opciju poput ove.

fdupes -d <dir>

Fdupes će pitati koji od pronađenih fajlova treba izbrisati. Moraćete da unesete broj fajla:

Rješenje koje se definitivno ne preporučuje je korištenje opcije -N koja će rezultirati očuvanjem samo prve datoteke.

fdupes -dN <dir>

Da biste dobili listu dostupnih opcija za korištenje sa fdupes, pregledajte stranicu pomoći tako što ćete pokrenuti.

fdupes -help

3. Rmlint – Ukloni duple datoteke

Rmlint je alat komandne linije koji se koristi za pronalaženje i uklanjanje duplikata i datoteka sličnih lintima u Linux sistemima. Pomaže u identifikaciji datoteka sa identičnim sadržajem, kao i raznim oblicima redundantnosti ili lint-a, kao što su prazne datoteke, pokvarene simboličke veze i datoteke bez roditelja.

Instalirajte Rmlint na Linux

Da biste instalirali Rmlint u Linux, koristite sljedeću naredbu prema vašoj Linux distribuciji.

sudo apt install rmlint         [On Debian, Ubuntu and Mint]
sudo yum install rmlint         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/rmlint  [On Gentoo Linux]
sudo apk add rmlint             [On Alpine Linux]
sudo pacman -S rmlint           [On Arch Linux]
sudo zypper install rmlint      [On OpenSUSE]

4. dupeGuru – Pronađite duple datoteke u Linuxu

dupeGuru je alat otvorenog koda i više platformi koji se može koristiti za pronalaženje dupliciranih datoteka u Linux sistemu. Alat može skenirati nazive datoteka ili sadržaj u jednoj ili više mapa. Također vam omogućava da pronađete naziv datoteke koji je sličan datotekama koje tražite.

dupeGuru dolazi u različitim verzijama za Windows, Mac i Linux platforme. Njegova funkcija algoritma brzog nejasnog podudaranja pomaže vam da pronađete duplikate datoteka u roku od jedne minute. Prilagodljiv je, možete povući tačne duplikate datoteka koje želite i izbrisati neželjene datoteke iz sistema.

Instalirajte dupeGuru na Linux

Da instalirate dupeGuru u Linux, koristite sljedeću naredbu prema vašoj Linux distribuciji.

sudo apt install dupeguru         [On Debian, Ubuntu and Mint]
sudo yum install dupeguru         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/dupeguru  [On Gentoo Linux]
sudo apk add dupeguru             [On Alpine Linux]
sudo pacman -S dupeguru           [On Arch Linux]
sudo zypper install dupeguru      [On OpenSUSE]

5. FSlint – Duplicate File Finder za Linux

FSlint je besplatni uslužni program koji se koristi za pronalaženje i čišćenje različitih oblika dlačica na sistemu datoteka. Također prijavljuje duple datoteke, prazne direktorije, privremene datoteke, duple/konfliktne (binarne) nazive, loše simboličke veze i još mnogo toga. Ima i komandnu liniju i GUI modove.

Međutim, važno je napomenuti da je do kraja mog znanja u septembru 2022., FSlint posljednji put ažuriran 2013. i možda neće biti aktivno održavan ili kompatibilan s novijim distribucijama Linuxa.

Instalirajte FSlint na Linux

Da instalirate FSlint u Linux, koristite sljedeću naredbu prema vašoj Linux distribuciji.

sudo apt install fslint         [On Debian, Ubuntu and Mint]
sudo yum install fslint         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/fslint  [On Gentoo Linux]
sudo apk add fslint             [On Alpine Linux]
sudo pacman -S fslint           [On Arch Linux]
sudo zypper install fslint      [On OpenSUSE]

Zaključak

Ovo su vrlo korisni alati za pronalaženje dupliciranih datoteka na vašem Linux sistemu, ali trebali biste biti vrlo oprezni kada brišete takve datoteke.

Ako niste sigurni treba li vam datoteka ili ne, bilo bi bolje da napravite sigurnosnu kopiju te datoteke i zapamtite njen direktorij prije nego što je izbrišete. Ako imate bilo kakvih pitanja ili komentara, pošaljite ih u odeljku za komentare ispod.