ZxPowerstore: Item Deduplication/es

From ZeXtras Suite Wiki

Jump to: navigation, search
Idioma: English  • español • português
ZxPowerStore logo box.png
Available since version: 1.3.0
Latest Version: 2.12.2
Released on: January 2nd, 2019
Compatibility List
Admin Guide
FAQ
Troubleshooting
ZspPowerstore logo box.png

¿Qué es la desduplicación?

Es una técnica que permite ahorrar espacio en disco almacenando una sola copia de un elemento, y referenciandolo infinidad de veces en lugar de almacenar múltiples copias del mismo elemento.

Esto puede parecer una mejora poco importante, pero en la práctica es una gran diferencia. Piense en los usuarios que envían archivos adjuntos de 15 Mb a varios destinatarios...

Desduplicación en Zimbra

La Desduplicación es realizada por Zimbra al momento de almacenar un nuevo elemento en el Volumen primario.

Cuando se crea un elemento su "message ID" se compara con una lista de elementos en caché, y en caso de coincidencia se crea una referencia al BLOB del mensaje en caché en vez de un nuevo BLOB para el mensaje.

El caché desduplicado es manejado en Zimbra 8 bajo los siguientes atributos de configuración:

zimbraPrefDedupeMessagesSentToSelf

Usado para establecer el comportamiento de desduplicación para mensajes auto enviados.

<attr id="144" name="zimbraPrefDedupeMessagesSentToSelf" type="enum" value="dedupeNone,secondCopyifOnToOrCC,dedupeAll" cardinality="single" 
optionalIn="account,cos" flags="accountInherited,domainAdminModifiable">
  <defaultCOSValue>dedupeNone</defaultCOSValue>
  <desc>dedupeNone|secondCopyIfOnToOrCC|moveSentMessageToInbox|dedupeAll</desc>
</attr>

zimbraMessageIdDedupeCacheSize

Número de Id. de mensaje en caché.

<attr id="334" name="zimbraMessageIdDedupeCacheSize" type="integer" cardinality="single" optionalIn="globalConfig" min="0">
  <globalConfigValue>3000</globalConfigValue>
  <desc>
    Número de valores de encabezado de ID de mensaje a mantener en la memoria caché de deduplicación LMTP.
    Intentos sucesivos de enviar un mensaje con un ID de mensaje coincidente a la misma cuenta serán ignorados. El valor "0" deshabilita la desduplicación.
  </desc>
</attr>

zimbraPrefMessageIdDedupingEnabled

Gestión de la desduplicación a nivel de cuenta o COS.

<attr id="1198" name="zimbraPrefMessageIdDedupingEnabled" type="boolean" cardinality="single" optionalIn="account,cos" flags="accountInherited"
 since="8.0.0">
  <defaultCOSValue>TRUE</defaultCOSValue>
  <desc>
    Cambio a nivel de cuenta que habilita la desduplicación de mensajes.  Vea zimbraMessageIdDedupeCacheSize para más detalles.
  </desc>
</attr>

zimbraMessageIdDedupeCacheTimeout

Tiempo de espera para cada entrada en el caché de desduplicación.

<attr id="1340" name="zimbraMessageIdDedupeCacheTimeout" type="duration" cardinality="single" optionalIn="globalConfig" since="7.1.4">
  <globalConfigValue>0</globalConfigValue>
  <desc>
    Tiempo de espera para una entrada Message-Id en la caché de desduplicación LMTP. El valor 0 indica que no hay tiempo de espera.
    El límite zimbraMessageIdDedupeCacheSize es ignorado cuando este tiene un valor distinto de cero.
  </desc>
</attr>

(Versiones anteriores de Zimbra pueden usar atributos diferentes o podrían faltar algunos de ellos).

Desduplicación en ZeXtras Powerstore

El módulo ZeXtras Powerstore trae la función "doDeduplicate" que analiza el volumen de destino para hallar y desduplicar cualquier elemento duplicado.

De esta manera ahorrará más espacio, pues mientras que la desduplicación de Zimbra está sujeta a un caché limitado, la desduplicación de ZeXtras Powerstore encontrará y unificará las múltiples copias de ese e-mail sin importar el caché o sincronización.

Es absolutamente recomendable ejecutar la operación "doDeduplicate" después de una migración o la importación de una gran cantidad de datos para optimizar el uso de los dispositivos de almacenamiento.

El comando "doDeduplicate"

La operación de desduplicación de ZeXtras Powerstore solamente está disponible desde la línea de comandos:

zimbra@mailserver:~$ zxsuite powerstore doDeduplicate

El comando doDeduplicate requiere más parámetros

Sintaxis:
   zxsuite powerstore doDeduplicate {volume_name} [attr1 value1 [attr2 value2...]]

LISTA DE PARÁMETROS

NOMBRE            TIPO           VALORES ESPERADOS  DEFAULT
volume_name(M)    String[,..]                       
dry_run(O)        Boolean        true|false         false

(M) == Parámetro obligatorio, (O) == parámetro opcional

Ejemplo de uso:

zxsuite powerstore dodeduplicate secondvolume
Inicia una desduplicación en el volumen secondvolume

Para listar todos los volumenes disponibles puede usar el comando `zxsuite powerstore getAllVolumes`.

Estadísticas "doDeduplicate"

La operación "doDeduplicate" es una entrada válida para el comando "monitor", lo cual significa que se pueden ver las estadísticas del comando mientras se ejecuta mediante el comando `zxsuite powerstore monitor [operationID]`. Ejemplo

Current Pass (Digest Prefix):  63/64
 Checked Mailboxes:             148/148
 Deduplicated/duplicated Blobs: 64868/137089
 Already Deduplicated Blobs:    71178
 Skipped Blobs:                 0
 Invalid Digests:               0
 Total Space Saved:             21.88 GB
  • "Current Pass (Digest Prefix)" - El comando "doDeduplicate" analizará los BLOBs en grupos basado en el primer carácter de su resumen (nombre).
  • "Checked Mailboxes" - El número de mailboxes analizados por el paso actual.
  • "Deduplicated/duplicated Blobs" - Número de BLOBS desduplicados por la operación actual/Número de elementos duplicados en el volúmen.
  • "Already Deduplicated Blobs" - Número de BLOBs desduplicados en el volumen (BLOBs duplicados que fueron desduplicados en una ejecución anterior).
  • "Skipped Blobs" - BLOBs que no fueron analizados, usualmente debido a un error de lectura.
  • "Invalid Digests" - BLOBs con un resumen defectuoso (nombre diferente al resumen real del archivo).
  • "Total Space Saved" - Espacio en disco liberado por la operación doDeduplicate.

Mirando el ejemplo del resultado anterior podemos percibir que:

  • La operación está ejecutando el anteúltimo paso en la última cuenta.
  • Se encontraron 137089 BLOBs duplicados, de los cuales 71178 fueron desduplicados previamente.
  • La operación actual desduplicó 64868 BLOBs, ahorrando un total de espacio en disco de 21.88 Gb.
Personal tools