ZxPowerstore: Item Deduplication/pt

From ZeXtras Suite Wiki

Jump to: navigation, search
Língua: English  • español • português
ZxPowerStore logo box.png
Available since version: 1.3.0
Latest Version: 2.12.2
Released on: January 2nd, 2019
Compatibility List
Admin Guide
FAQ
Troubleshooting
ZspPowerstore logo box.png

O que é a deduplicação?

É uma técnica que permite de poupar espaço em disco armazenando só uma copia dos elementos, e referenciando-o infinidade de vezes em vez de armazenar múltiplas copias do mesmo elemento.

Isto pode parecer uma melhora pouco importante, mas na prática faz uma grande diferença. Pense nos usuários que envíam arquivos anexos de 15 Mb a vários destinatarios...

Deduplicação em Zimbra

A Deduplicação é feita por Zimbra no momento de armazenar um novo elemento no Volume primário.

Quando se cria um elemento, seu "message ID" se compara com uma lista de elementos em caché, e no caso de coincidência se cria uma referência ao BLOB da mensagem em caché, em vez de um novo BLOB para a mensagem.

O caché deduplicado é gerenciado em Zimbra 8 baixo os seguintes atributos de configuração:

zimbraPrefDedupeMessagesSentToSelf

Usado para estabelecer o comportamento de deduplicação para mensagens auto-enviados.

<attr id="144" name="zimbraPrefDedupeMessagesSentToSelf" type="enum" value="dedupeNone,secondCopyifOnToOrCC,dedupeAll" cardinality="single" 
optionalIn="account,cos" flags="accountInherited,domainAdminModifiable">
  <defaultCOSValue>dedupeNone</defaultCOSValue>
  <desc>dedupeNone|secondCopyIfOnToOrCC|moveSentMessageToInbox|dedupeAll</desc>
</attr>

zimbraMessageIdDedupeCacheSize

Número de Id. de mensagem em caché.

<attr id="334" name="zimbraMessageIdDedupeCacheSize" type="integer" cardinality="single" optionalIn="globalConfig" min="0">
  <globalConfigValue>3000</globalConfigValue>
  <desc>
    Número de valores de encabeçado de ID de mensagem a manter na memoria caché de deduplicação LMTP.
    Tentativas sucessivas de enviar uma mensagem com um ID de mensagem coincidente para a mesma conta serão ignoradas. O valor "0" desabilita a deduplicação.
  </desc>
</attr>

zimbraPrefMessageIdDedupingEnabled

Gerenciamento da deduplicação a nivel de conta ou COS.

<attr id="1198" name="zimbraPrefMessageIdDedupingEnabled" type="boolean" cardinality="single" optionalIn="account,cos" flags="accountInherited"
 since="8.0.0">
  <defaultCOSValue>TRUE</defaultCOSValue>
  <desc>
    Mudança a nível de conta que habilita a deduplicação de mensagens. Veja zimbraMessageIdDedupeCacheSize para miores detalhes.
  </desc>
</attr>

zimbraMessageIdDedupeCacheTimeout

Tempo de espera para cada entrada no caché de deduplicação.

<attr id="1340" name="zimbraMessageIdDedupeCacheTimeout" type="duration" cardinality="single" optionalIn="globalConfig" since="7.1.4">
  <globalConfigValue>0</globalConfigValue>
  <desc>
    Tempo de espera para uma entrada Message-Id no caché de deduplicação LMTP. O valor 0 indica que não há tempo de espera.
    O limite zimbraMessageIdDedupeCacheSize é ignorado quando este tem um valor distinto de zero.
  </desc>
</attr>

(Versões anteriores de Zimbra podem usar atributos diferentes ou poderiam faltar alguns deles).

Deduplicação em ZeXtras Powerstore

O módulo ZeXtras Powerstore traz a função "doDeduplicate" que analiza o volume de destino para achar e deduplicar qualquer elemento duplicado.

Desta maneira poupará mais espaço, pois enquanto a deduplicação de Zimbra está sujeita a um caché limitado, a deduplicação de ZeXtras Powerstore encontrará e unificará as múltiplas copias daquele e-mail sem se importar do caché ou da sincronização.

É absolutamente recomendável executar o comando "doDeduplicate" depois de uma migração ou importação de uma grande quantidade de dados para otimizar o uso dos dispositivos de armazenamento.

O comando "doDeduplicate"

A operação de deduplicação de ZeXtras Powerstore somente está disponível desde a linha de comandos:

zimbra@mailserver:~$ zxsuite powerstore doDeduplicate

O comando doDeduplicate requer de mais parâmetros

Sintaxe:
   zxsuite powerstore doDeduplicate {volume_name} [attr1 value1 [attr2 value2...]]

LISTA DE PARÂMETROS

NOME              TIPO           VALORES ESPERADOS  DEFAULT
volume_name(M)    String[,..]                       
dry_run(O)        Boolean        true|false         false

(M) == Parâmetro obrigatório, (O) == parâmetro opcional

Exemplo de uso:

zxsuite powerstore dodeduplicate secondvolume
Inicia uma desduplicação no volume secondvolume

Para listar todos os volumes disponíveis pode usar o comando `zxsuite powerstore getAllVolumes`.

Estatísticas "doDeduplicate"

A operação "doDeduplicate" é uma entrada válida para o comando "monitor", o que significa que se podem ver as estatísticas do comando enquanto se executa mediante o comando `zxsuite powerstore monitor [operationID]`. Exemplo

Current Pass (Digest Prefix):  63/64
 Checked Mailboxes:             148/148
 Deduplicated/duplicated Blobs: 64868/137089
 Already Deduplicated Blobs:    71178
 Skipped Blobs:                 0
 Invalid Digests:               0
 Total Space Saved:             21.88 GB
  • "Current Pass (Digest Prefix)" - O comando "doDeduplicate" analisará os BLOBs em grupos baseado no primeiro caráter do seu resume (nome).
  • "Checked Mailboxes" - O número de mailboxes analisados pelo passo atual.
  • "Deduplicated/duplicated Blobs" - Número de BLOBS desduplicados pela operação atual/Número de elementos duplicados no volúme.
  • "Already Deduplicated Blobs" - Número de BLOBs desduplicados no volume (BLOBs duplicados que foram desduplicados em uma execução anterior).
  • "Skipped Blobs" - BLOBs que não foram analisados, normalmente devido a um erro de leitura.
  • "Invalid Digests" - BLOBs com um resume defeituoso (nome diferente ao resume real do arquivo).
  • "Total Space Saved" - Espaço em disco liberado pela operação doDeduplicate.

Olhando o exemplo do resultado anterior podemos perceber que:

  • A operação está executando o penúltimo passo na última conta.
  • Se encontraram 137089 BLOBs duplicados, dos quais 71178 foram desduplicados previamente.
  • A operação atual desduplicou 64868 BLOBs, poupando um total de espaço em disco de 21.88 Gb.
Personal tools