Hướng dẫn Backup thư mục lên S3 bằng Rclone
Bài viết này sẽ hướng dẫn các bạn Backup thư mục lên Simple Storage bằng Rclone và chạy tự động bằng cronjob.
Bước 1: Cài đặt rclone.
sudo apt install rclone
Bước 2: Cấu hình rclone kết nối với S3
rclone config
1. Chọn n => để tạo remote mới
2. Đặt tên, ở đây tôi đặt là: my-s3
3. Chọn storage: Nhập 5 vì S3 của Bizflycloud là S3 tùy chỉnh.
4. Chọn 24 để tùy chỉnh remote.
5. Tiếp theo đến bước điền thông tin:
Access key và secret key thì bạn có thể lấy ở trên dashboard.
Sau khi điền xong Key ta tiếp tục điền tới region, ở đây ta điền Hà Nội
(hn) không viết hoa, không dấu.
Tiếp đến ta điền Endpoint cho S3, Endpoint ở đây sẽ là https://hn.ss.bfcplatform.vn
Sau đó ta có thể điền location để ràng buộc phù hợp với khu vực, ta có thể bỏ trống nếu không chắc chắn. Chỉ để sử dụng khi tạo nhóm.
Bước tiếp ta là bảo mật acl có thể chọn tùy theo nhu cầu sử dụng của mình để chọn phương án hợp lý.
Sau khi tạo thành công ta sẽ được output sau đây:
bạn chọn Y để lưu lại config.
Bước 3: Tạo thư mục backup trên bucket trong S3.
Bước 4: sync thử xem đã kết nối được lên S3 chưa.
Ta dùng lệnh sau:
rclone sync [Thư mục local] [config-name:bucket-name/folder]
rclone sync /data/abc.txt my-s3:longnt/backup --progress
dùng --progress để hiển thị tiến trình.
Vậy là đã sync lên thành công.
Hoặc bạn có thể kiểm tra danh sách file trên S3 bằng lệnh:
rclone ls my-s3:my-bucket/my-backup
Bước 5: Thiết lập cronjob để tự động backup.
1. Dùng lệnh crontab -e để xem danh sách crontab cũng như thêm lệnh.
ở đây tôi dùng lựa chọn 2 để có thể chỉnh sửa file bằng trình chỉnh sửa văn bản vim.
Ở đây tôi sẽ cài đặt tự động chạy lệnh sync vào 2 giờ hàng ngày.
và log lỗi tôi sẽ lưu ở /root/rclone.log
Bạn lưu lại là xong rồi.
* * * * * command-to-run
│ │ │ │ │
│ │ │ │ └─── Thứ (0 - Chủ Nhật, 1 - Thứ Hai, ..., 6 - Thứ Bảy)
│ │ │ └───── Tháng (1 - 12)
│ │ └─────── Ngày trong tháng (1 - 31)
│ └───────── Giờ (0 - 23)
└─────────── Phút (0 - 59)
Ví dụ:
| Lệnh Cron | Ý nghĩa |
|---|---|
| 0 * * * * | Chạy mỗi giờ đúng phút thứ 0 |
| 0 0 * * * | Chạy lúc 0h mỗi ngày (nửa đêm) |
| */10 * * * * | Chạy mỗi 10 phút |
| 30 2 * * * | Chạy lúc 2:30 sáng hàng ngày |
| 0 0 * * 0 | Chạy lúc 0h Chủ Nhật hàng tuần |
| @reboot | Chạy 1 lần khi máy khởi động |
Chúc bạn setup thành công.