Cách nhanh nhất để tìm tệp trùng lặp trong Linux

Quản lý lượng lớn dữ liệu đã trở thành một vấn đề phổ biến. Một trong những vấn đề phổ biến nhất là sự hiện diện của các tệp trùng lặp, điều này có thể tiêu tốn dung lượng lưu trữ có giá trị, và khiến việc tìm đúng tệp trở nên khó khăn. Bài viết này sẽ khám phá cách tìm và loại bỏ các tệp trùng lặp trong Linux, bao gồm các lệnh và công cụ giúp bạn hoàn thành nhiệm vụ này một cách nhanh chóng và hiệu quả.

Cách tìm và xóa các tệp trùng lặp trong Linux

Trong khi làm việc với số lượng lớn phương tiện và tài liệu, việc có nhiều phiên bản của cùng một tệp trên máy tính của bạn là điều bình thường. Các tệp trùng lặp cuối cùng sẽ dẫn đến một lượng lớn dữ liệu và giới hạn lưu trữ buộc bạn phải kiểm tra hệ thống của mình để tìm các tệp trùng lặp. Bạn có thể sử dụng nhiều chương trình khác nhau để tìm và xóa các tệp trùng lặp. Bài viết này sẽ hướng dẫn bạn cách xử lý các file trùng lặp bằng 2 phương pháp: Fdupes và DupeGuru.

Điều kiện tiên quyết:

• Một hệ thống dựa trên Linux (Linux server hoặc mua VPS Linux).
• Truy cập thiết bị đầu cuối.
• Tài khoản người dùng có đặc quyền sudo.

Phương pháp 1: Tìm và xóa các tệp trùng lặp trong Linux bằng Fdupes

Một trong những công cụ đơn giản nhất để định vị và loại bỏ các tệp trùng lặp trong thư mục là fdupes. Nó là một công cụ tìm tệp trùng lặp mã nguồn mở và miễn phí và được xuất bản trên GitHub theo giấy phép MIT. Công cụ tìm tệp trùng lặp Linux này sử dụng chữ ký md5sum và xác minh so sánh từng byte để xác định các tệp trùng lặp trong một thư mục. Bạn cũng có thể thực hiện loại trừ các kết quả tìm kiếm cụ thể và hiển thị danh sách các tệp trùng lặp được tìm thấy nếu cần. Với fdupes, bạn có thể xóa các tệp trùng lặp hoặc thay thế chúng bằng các liên kết đến các tệp thực tế sau khi bạn tìm thấy chúng trong một thư mục.

Cài đặt Fdupes cho Linux

• Trên các bản phân phối dựa trên Debian:

sudo apt install fdupes

• Trên các bản phân phối dựa trên RHEL:

sudo yum install fdupes
sudo dnf install fdupes

• Trên Arch Linux và Manjaro:

sudo pacman -S fdupes

Tìm các tệp trùng lặp trong Linux bằng Fdupes

Sau khi cài đặt, bạn có thể sử dụng fdupes để tìm các tệp trùng lặp. Chạy lệnh sau với đường dẫn thư mục của bạn để tìm các tệp trùng lặp. Lệnh này chỉ tìm kiếm các tập tin trùng lặp trong thư mục hiện tại. Nó không tìm kiếm thông qua các thư mục con và những thứ tương tự.

fdupes <directory path>

Chạy lệnh fdupes với tùy chọn -r để tìm các bản sao trong thư mục và thư mục con. Kết quả đầu ra cho thấy tùy chọn “-r” thực hiện tìm kiếm kỹ lưỡng hơn đối với các bản sao trong thư mục và thư mục con.

fdupes -r <directory path>

Bạn cũng có thể tìm kiếm các tệp trùng lặp không trống. Nó sẽ cho phép bạn tập trung vào nhiệm vụ và loại bỏ nhu cầu xử lý các tệp trống. Sử dụng lệnh sau để kích hoạt tùy chọn này.

fdupes -n <directory path>

Để biết thêm thông tin về tập hợp các tệp trùng lặp, hãy sử dụng lệnh fdupes với tùy chọn -m.

fdupes -m <directory path>

Bạn cũng có thể nhập lệnh fdupes này với tùy chọn –S để nhận thông tin kích thước tệp trùng lặp.

fdupes -S <directory path>

Để lưu kết quả đầu ra của lệnh fdupes, hãy thực hiện lệnh sau.

fdupes <directory path> > output.txt

Xóa các tệp trùng lặp trong Linux bằng fdupes

Khi các bản sao trong thư mục đã được thu hẹp, hãy sử dụng lệnh fdupes với tùy chọn -d để xóa chúng.

fdupes -d <directory path>

Bạn sẽ được yêu cầu lưu các phiên bản từ danh sách các tệp trùng lặp. Nhập số tập tin từ danh sách để lưu tập tin.

Lệnh sau sẽ tìm tất cả các tệp không trống trong tất cả các thư mục và thư mục con.

fdupes -n -r <directory path>

Hoặc xem tổng quan về tất cả các tệp trùng lặp trong các thư mục và thư mục con bằng cách nhập lệnh sau.

fdupes -m -r <directory path>

Phương pháp 2: Tìm và xóa các tệp trùng lặp trong Linux bằng dupeGuru

dupeGuru là một chương trình đa nền tảng để định vị và xóa các tệp trùng lặp khỏi máy tính của bạn. Một trong những thuộc tính quan trọng nhất của nó là khả năng điều chỉnh công cụ phù hợp với sở thích của bạn, tăng cơ hội tìm đúng loại tệp trùng lặp trong một thư mục. Và giống như một số chương trình tìm kiếm trùng lặp khác, nó bao gồm giao diện người dùng đồ họa để giúp thao tác dễ dàng hơn.

Về chức năng, dupeGuru sử dụng thuật toán để quét tên tệp hoặc nội dung tệp và tìm thấy các bản sao một cách nhanh chóng và hiệu quả. Nó cũng có khả năng xử lý dữ liệu âm nhạc và hình ảnh cụ thể rất tốt, mang lại lợi thế so với các công cụ tìm tệp trùng lặp khác của Linux. Hơn nữa nếu cần, bạn có thể sửa đổi công cụ khớp của nó để tìm loại tệp trùng lặp mà bạn muốn xóa.

Bạn cũng có thể xóa các tệp trùng lặp bằng dupeGuru. Nó cũng có một hệ thống thư mục tham chiếu để ngăn chặn việc vô tình xóa nhầm các tập tin. Ngoài việc xóa, bạn cũng có thể di chuyển hoặc sao chép chúng đi nơi khác.

Cài đặt DupeGuru cho Linux

• Trên các bản phân phối dựa trên Debian:

sudo add-apt-repository ppa:dupeguru/ppa
sudo apt-get update
sudo apt-get install dupeguru

• Trên Arch Linux:

sudo pacman -S dupeguru

Tìm và xóa các tệp trùng lặp trong Linux bằng dupeGuru

dupeGuru là một chương trình tìm bản sao Linux nhanh chóng và an toàn. Vì vậy, nó sẽ không gây ảnh hưởng xấu gì trên hệ thống của bạn. Tuy nhiên, vì chúng ta vẫn đang thảo luận về việc xóa tệp nên bạn nên hết sức thận trọng, vì vậy cần có một bản sao lưu an toàn.

Sau khi bạn đã thực hiện các biện pháp phòng ngừa, hãy chạy tiến hành theo các bước dưới đây:

Bước 1.

Màn hình chọn thư mục sẽ xuất hiện, nơi bạn có thể thêm các thư mục để quét để chống trùng lặp.

Thêm các thư mục để quét trong Linux

Bước 2.

dupeGuru sẽ hiển thị kết quả của nó bằng cách nhóm các tệp trùng lặp lại với nhau trong danh sách sau khi bạn đã chọn thư mục của mình và khởi chạy quá trình quét.

Kết quả tìm các tệp trùng lặp được hiển thị

Bước 3.

Theo mặc định, dupeGuru khớp các tệp dựa trên nội dung thay vì tên của chúng. Cột so khớp hiển thị độ chính xác của thuật toán so khớp để đảm bảo bạn không vô tình xóa bất kỳ nội dung quan trọng nào. Chọn các tệp trùng lặp mà bạn muốn thực hiện và nhấp vào nút Actions để xem các hành động có sẵn.

Chọn cột Actions thực hiện những thao tác cần thiết với tệp trùng lặp

Bước 4.

Có nhiều tác vụ khác nhau. Bạn có thể xóa các bản sao, di dời, bỏ qua, mở, đổi tên hoặc thậm chí chạy lệnh tùy chỉnh trên chúng. Nếu bạn quyết định xóa bản sao, hãy chọn các tùy chọn xóa có sẵn.

Bạn không chỉ có thể gửi các tệp trùng lặp vào thùng rác hoặc xóa chúng vĩnh viễn mà còn có thể để lại liên kết đến tệp gốc (sử dụng liên kết cứng hoặc liên kết tượng trưng). Các tệp trùng lặp sẽ bị xóa và liên kết đến tệp gốc sẽ được giữ lại, giúp tiết kiệm một lượng dung lượng ổ đĩa đáng kể. Sẽ có lợi nếu bạn nhập các tệp đó vào không gian làm việc của mình hoặc có sự phụ thuộc vào chúng.

Một tùy chọn khác là xuất kết quả dưới dạng tệp HTML hoặc CSV. Nó có thể hữu ích nếu bạn muốn theo dõi các bản sao hơn là sử dụng bất kỳ hành động nào của dupeGuru đối với chúng.

Bước 5.

Cuối cùng, menu tùy chọn sẽ xóa tất cả các tệp trùng lặp của bạn. Bạn có thể chọn quét nội dung hoặc theo tên và đặt ngưỡng trùng lặp để giới hạn số lượng kết quả. Bạn cũng có thể xác định lệnh tùy chỉnh có thể được chọn từ menu. Trong số rất nhiều tùy chọn khác, điều đáng chú ý là dupeGuru bỏ qua các tệp nhỏ hơn 10KB theo mặc định.

Cách khôi phục các tệp đã xóa trong Linux

Việc vô tình xóa các tệp và thư mục trong Linux là điều không thể tránh khỏi. Nhưng nếu điều đó xảy ra với bạn, đừng lo lắng, bạn vẫn có thể phục hồi chúng. Có nhiều quy trình và tùy chọn phần mềm để khôi phục tệp đã xóa trong Linux. Vì lý do này, Wondershare Recoverit là một trong những công cụ khôi phục tốt nhất mà chúng tôi giới thiệu cho tất cả người dùng. Người dùng Linux có thể khôi phục các tệp, thư mục và phân vùng đã xóa bằng công cụ này.

Dưới đây là một số tính năng của Wondershare Recoverit:

• Recoverit có thể giúp bạn khôi phục từ hơn 500 tình huống mất dữ liệu. Bao gồm vô tình xóa, định dạng đĩa, treo hệ điều hành, mất điện, vi rút tấn công, mất phân vùng và nhiều tình huống khác.
• Nó hoạt động với tất cả các bản phân phối Linux chính như Ubuntu, Linux Mint, Debian, Fedora, Solus, opensuse, Manjaro,…
• Recoverit có thể khôi phục hoàn toàn các tệp khác nhau một cách hiệu quả, an toàn và hoàn toàn, chẳng hạn như tài liệu, ảnh, video, nhạc, email và hơn 1000 loại tệp khác.
• Với giao diện đơn giản và trực quan, bạn có thể nhanh chóng khôi phục dữ liệu từ ổ cứng Linux chỉ bằng vài cú nhấp chuột.

Chỉ cần cài đặt Recoverit trên PC của bạn và làm theo video hướng dẫn để tìm hiểu cách khôi phục các tệp bị xóa nhầm khỏi Linux.

=>> Lệnh truncate trong Linux: Cách để xóa hoặc cắt bớt nội dung tệp

Việc tìm và xóa các tệp trùng lặp có thể ngốn dung lượng trên máy tính Linux của bạn sẽ thật dễ dàng bằng các lệnh fdupes và dupeGuru. Nó có thể giúp bạn tiết kiệm dung lượng ổ đĩa, tránh nhầm lẫn và hợp lý hóa quy trình làm việc của bạn. Tuy nhiên, nếu bạn xóa các tập tin và muốn lấy lại chúng, bạn vẫn có thể khôi phục chúng bằng Wondershare Recoverit. Liên hệ với chúng tôi ngay hôm nay qua vpschinhhang.com để biết thêm nhiều thông tin thú vị về VPS Windows/Linux. Chúc các bạn thành công!