Usar Rclone con OtterStorage

Rclone es una herramienta de línea de comandos para gestionar archivos en almacenamiento de objetos. Como OtterStorage es compatible con la API de S3, puedes configurar un remote en pocos minutos y usar todos los comandos habituales de rclone para copiar, sincronizar, verificar y montar tus buckets. Esta guía cubre la configuración del remote y los flujos de trabajo más comunes.

Requisitos

• Rclone instalado (versión 1.55 o superior recomendada). Descárgalo desde rclone.org/downloads.
• Un bucket creado en OtterStorage con su par de credenciales: access key y secret key. En OtterStorage las claves se generan por bucket; consulta la documentación para obtenerlas.
• Los datos de conexión: endpoint https://s3.otterstorage.io y región eu-mad.

Configurar el remote con rclone config

El asistente interactivo de rclone config es la forma más sencilla de crear el remote. Ejecútalo y sigue los pasos:

rclone config

Responde a las preguntas del asistente con estos valores:

• n para crear un nuevo remote y asígnale un nombre, por ejemplo otter.
• Tipo de almacenamiento (Storage): selecciona s3 (Amazon S3 Compliant Storage Providers).
• Proveedor (provider): elige Other (cualquier otro proveedor compatible con S3).
• Modo de credenciales (env_auth): false, para introducir las claves manualmente.
• access_key_id: tu access key del bucket.
• secret_access_key: tu secret key del bucket.
• Región (region): eu-mad.
• Endpoint (endpoint): https://s3.otterstorage.io.
• El resto de opciones puedes dejarlas con su valor por defecto. Confirma y guarda.

Cuando el asistente te pregunte por opciones avanzadas, normalmente no necesitas cambiar nada. Si te ofrece configurar location_constraint o acl, déjalos en blanco.

Bloque equivalente en rclone.conf

Si prefieres editar el archivo de configuración directamente, añade este bloque a tu rclone.conf. Puedes localizar la ruta del archivo con rclone config file.

[otter]
type = s3
provider = Other
env_auth = false
access_key_id = TU_ACCESS_KEY
secret_access_key = TU_SECRET_KEY
region = eu-mad
endpoint = https://s3.otterstorage.io

Sustituye TU_ACCESS_KEY y TU_SECRET_KEY por las credenciales de tu bucket. A partir de aquí, el remote se referencia como otter: y los buckets como otter:nombre-del-bucket.

Comprobar la conexión

Antes de mover datos, verifica que el remote responde listando tus buckets y su contenido:

# Lista los buckets disponibles en el remote
rclone lsd otter:

# Lista los objetos dentro de un bucket
rclone ls otter:mi-bucket

El comando rclone ls muestra el tamaño y la ruta de cada objeto. Usa rclone lsl si además quieres la fecha de modificación, o rclone tree otter:mi-bucket para ver una vista jerárquica.

Copiar archivos con rclone copy

rclone copy copia archivos del origen al destino sin borrar nada en el destino. Es la opción más segura para subir o descargar datos.

# Subir una carpeta local a un bucket
rclone copy ./datos otter:mi-bucket/datos --progress

# Descargar un bucket a una carpeta local
rclone copy otter:mi-bucket/datos ./datos --progress

copy solo transfiere los archivos nuevos o modificados, comparándolos por tamaño y fecha (o por checksum si lo indicas). Los archivos que ya existen y coinciden se omiten.

Sincronizar con rclone sync

rclone sync hace que el destino sea idéntico al origen: copia lo que falta y elimina en el destino lo que ya no existe en el origen. Úsalo con cuidado y prueba siempre primero con --dry-run.

# Simulación: muestra qué haría sin tocar nada
rclone sync ./web otter:mi-bucket/web --dry-run

# Sincronización real
rclone sync ./web otter:mi-bucket/web --progress

En OtterStorage no cobramos por peticiones ni por borrados, así que las operaciones de sincronización que eliminan o reescriben muchos objetos no generan ningún coste adicional por esas operaciones. Aun así, recuerda que sync es destructivo en el destino: confirma siempre la dirección origen → destino.

Verificar la integridad con rclone check

rclone check compara origen y destino y reporta diferencias sin transferir datos. Es ideal para validar una migración o una copia de seguridad.

# Compara checksums entre local y el bucket
rclone check ./datos otter:mi-bucket/datos

# Si quieres registrar las diferencias en un archivo
rclone check ./datos otter:mi-bucket/datos --differ differences.txt

Por defecto check compara por checksum cuando ambos lados lo soportan. Como las comprobaciones solo emiten peticiones de listado y metadatos —que en OtterStorage no se facturan— puedes verificar tus datos con tanta frecuencia como necesites.

Montar un bucket con rclone mount

rclone mount expone un bucket como un sistema de archivos local, útil para acceder a los objetos como si fueran ficheros normales.

# Linux / macOS (requiere FUSE)
rclone mount otter:mi-bucket /mnt/otter --vfs-cache-mode writes

# Windows (requiere WinFsp)
rclone mount otter:mi-bucket X: --vfs-cache-mode writes

El flag --vfs-cache-mode writes habilita una caché de escritura que mejora la compatibilidad con aplicaciones que reescriben o hacen seeks sobre los archivos. Para desmontar, detén el proceso de rclone (Ctrl+C) o usa fusermount -u /mnt/otter en Linux. El montaje está pensado para conveniencia y accesos puntuales; para transferencias masivas, copy y sync son más rápidos y fiables.

Flags útiles de rendimiento

Estos flags te permiten ajustar la velocidad y la visibilidad de las operaciones:

• --transfers N: número de archivos que se transfieren en paralelo (por defecto 4). Subirlo acelera lotes con muchos archivos pequeños, por ejemplo --transfers 16.
• --checkers N: número de comprobaciones de existencia/checksum en paralelo (por defecto 8). Aumentarlo agiliza la fase de comparación en directorios grandes, por ejemplo --checkers 32.
• --fast-list: usa menos peticiones de listado recursivo y consume más memoria, lo que acelera mucho las operaciones sobre buckets con muchos objetos.
• --progress (o -P): muestra una barra de progreso en tiempo real con velocidad, ETA y archivos transferidos.

rclone sync ./datos otter:mi-bucket/datos \
  --transfers 16 \
  --checkers 32 \
  --fast-list \
  --progress

Como no facturamos peticiones, puedes usar --fast-list y aumentar --checkers sin preocuparte por el coste de las llamadas a la API; el único límite práctico es tu ancho de banda y la memoria disponible.

Caso de migración

Para migrar datos desde otro proveedor S3 hacia OtterStorage, configura ambos remotes en rclone (por ejemplo, origen: para el proveedor antiguo y otter: para OtterStorage) y transfiere directamente de uno a otro, sin pasar por disco local.

# 1. Copia inicial servidor a servidor
rclone copy origen:bucket-antiguo otter:bucket-nuevo \
  --transfers 16 --checkers 32 --fast-list --progress

# 2. Verifica que todo llegó correctamente
rclone check origen:bucket-antiguo otter:bucket-nuevo --fast-list

# 3. Sincronización final para capturar cambios de última hora
rclone sync origen:bucket-antiguo otter:bucket-nuevo \
  --transfers 16 --fast-list --progress

Recomendaciones para la migración:

• Empieza con copy para la transferencia inicial (no destructivo) y deja sync para el corte final, cuando ya no se escriba en el origen.
• Ejecuta rclone check al terminar para confirmar la integridad por checksum antes de dar de baja el origen.
• Como en OtterStorage no se cobra por peticiones ni por borrados, puedes repetir check y reintentar transferencias tantas veces como haga falta sin coste por operación.

Con esto ya tienes un flujo completo con rclone sobre OtterStorage. Para más detalles sobre buckets, credenciales y la API S3, revisa la documentación.