← Notas de campo
Sistemas distribuídos · aproximadamente 10 min de leitura

Sharding: como bancos de dados distribuem informações entre servidores

Uma introdução visual a particionamento por intervalo, hash, rebalanceamento e hashing consistente.

Rafaela Silva ·

Quando um banco cresce, um único servidor pode deixar de atender ao armazenamento, à quantidade de operações por segundo ou aos dois. Aumentar a máquina ajuda até certo ponto. Distribuir os dados entre servidores permite ampliar a capacidade, mas introduz uma pergunta nova a cada leitura e escrita. Onde está o registro?

Sharding divide horizontalmente um conjunto de dados em partes menores. Para entender as estratégias, vou acompanhar três perguntas.

  • Como decidir onde cada registro será armazenado?
  • Como evitar concentração de carga?
  • O que acontece quando adicionamos ou removemos servidores?

Os diagramas usam dados didáticos. As posições dos anéis e os hashes ilustrativos servem para explicar o mapeamento. Os exemplos de módulo são calculados sobre esses valores.

1. O que é sharding?

Imagine uma tabela com 12 milhões de clientes. Podemos dividir suas linhas em seis grupos e armazená-los em três nós. Cada grupo mantém a estrutura dos registros, mas contém uma parte das linhas. Esse é o particionamento horizontal.

Shard é uma divisão lógica do conjunto de dados. Nó é um servidor ou instância que armazena e processa dados. Um nó pode hospedar vários shards. A atribuição pode mudar durante a operação do cluster.

12 milhões de registros distribuídos em seis shards lógicos.

Nó AShard 0Shard 1
Nó BShard 2Shard 3
Nó CShard 4Shard 5
Vários shards podem estar no mesmo nó. O desenho omite réplicas e não atribui contagens iguais aos shards.

Shard ≠ servidor. Convém distinguir também uma réplica, que é uma cópia dos dados, de uma divisão do conjunto. Particionar distribui grupos de registros. Replicar mantém cópias desses grupos para atender aos requisitos de disponibilidade e durabilidade. A terminologia específica varia entre produtos.

2. Sharding por intervalo de chave

Uma enciclopédia distribui verbetes por faixas do alfabeto. Para encontrar uma palavra, consultamos o volume correspondente. O particionamento por intervalo segue a mesma intuição com valores ordenados de uma chave.

Shard 01–1.000
Shard 11.001–2.000
Shard 22.001–3.000
Espaço ordenado de IDs, dividido em intervalos contíguos. O ID 1.500 e o intervalo 1.200–1.500 pertencem ao Shard 1.
SELECT *
FROM clientes
WHERE cliente_id = 1500;

Com os intervalos do diagrama, o roteador pode enviar essa busca ao Shard 1. A localização depende de conhecer os limites e a atribuição dos intervalos aos nós.

SELECT *
FROM clientes
WHERE cliente_id BETWEEN 1200 AND 1500;

Essa consulta também cabe no Shard 1. Valores próximos permanecem juntos, o que ajuda quando são consultados em conjunto. Um intervalo maior pode atravessar vários shards. O ganho depende da relação entre a chave escolhida e o padrão de acesso.

3. Hot spots

Intervalos do mesmo tamanho podem receber cargas diferentes. Se a chave for um timestamp crescente, novas gravações tendem a chegar ao último intervalo do espaço ordenado.

10:00:01 ↓   10:00:02 ↓   10:00:03 ↓

Shard 0Passado
Shard 1Passado recente
Shard 2Novas escritas ↓↓↓
Com uma chave temporal crescente, as novas gravações se acumulam no intervalo final. Setas indicam carga, sem escala quantitativa.

Um hot spot é um shard ou nó que recebe carga desproporcional aos demais. Mesmo com espaço livre no cluster, o responsável pelas gravações recentes pode atingir seu limite de processamento.

Uma chave composta como (sensor_id, timestamp), ordenada primeiro pelo sensor, cria regiões para sensores distintos e mantém o tempo ordenado dentro de cada um. Isso pode distribuir escritas quando há muitos sensores ativos e seus intervalos estão repartidos entre shards.

Melhor distribuição das escritas, mas consultas que envolvem muitos sensores podem precisar acessar vários shards.

Um sensor muito ativo ainda pode concentrar carga. Cardinalidade, distribuição dos acessos e limites dos shards continuam importantes.

4. Sharding por hash

Em vez de usar a chave diretamente como posição, calculamos hash(chave). Uma função adequada espalha chaves distintas pelo espaço de resultados. Chaves próximas não precisam produzir hashes próximos.

Chavehash(chave)Posição no espaço
cliente_1008.472Distante de 1.203
cliente_1011.203Distante de 9.311
cliente_1029.311Distante de 4.021
cliente_1034.021Outra região
Hashes ilustrativos, sem relação com saídas reais de MurmurHash3. Os destinos ainda dependem da regra de atribuição.

Isso reduz a concentração causada por IDs sequenciais. Uma busca por igualdade pode calcular o mesmo hash e consultar o destino correspondente. Já uma faixa de IDs pode se espalhar pelo cluster, porque a ordem original deixa de ajudar no roteamento.

Uma boa função hash distribui chaves. Se uma única chave recebe quase todos os acessos, ela continua sendo um ponto de concentração. Distribuição uniforme de registros também pode coexistir com tamanhos e custos de consulta muito diferentes.

5. MurmurHash3

MurmurHash3 é uma família de funções hash não criptográficas, criada por Austin Appleby para combinar velocidade e boa distribuição. É determinística para a mesma variante, entrada e seed. Suas variantes podem produzir resultados diferentes.

"cliente_123"
      ↓
  MurmurHash3
      ↓
  token / hash

Pequenas mudanças na entrada, como trocar cliente_123 por cliente_124, podem alterar muitos bits do resultado. Essa mistura ajuda a espalhar chaves. A família não oferece garantias criptográficas para proteger senhas ou sustentar mecanismos de segurança. Os números dos diagramas são ilustrativos. Implementação e testes do autor no SMHasher.

6. Rebalanceamento

Rebalancear é redistribuir shards, intervalos ou responsabilidades quando a capacidade ou a composição do cluster muda. Isso envolve transferências de dados e atualização do mapeamento usado pelos clientes ou roteadores.

Parcela ilustrativa do volume armazenado

Antes                 Depois
Nó A → 50%            Nó A → ~33%
Nó B → 45%            Nó B → ~33%
Nó C →  5%            Nó C → ~33%

O objetivo depende do sistema. Pode ser equilibrar bytes, carga ou uso da capacidade disponível. Nós de tamanhos distintos podem receber parcelas distintas. Copiar dados consome rede, disco e processamento, por isso o rebalanceamento costuma disputar recursos com o tráfego da aplicação.

7. O problema de hash(key) % N

Uma implementação direta usa node = hash(key) % N, em que N é a quantidade de nós. Para hashes não negativos, o resto identifica um dos destinos de 0 a N − 1. Ao passar de três para quatro nós, o divisor muda.

ChaveHash ilustrativoN = 3N = 4Remapeamento
K00Nó ANó APermanece
K11Nó BNó BPermanece
K22Nó CNó CPermanece
K33Nó ANó DMuda
K44Nó BNó AMuda
K55Nó CNó BMuda
K66Nó ANó CMuda
K77Nó BNó DMuda
K88Nó CNó AMuda
K99Nó ANó BMuda
K1010Nó BNó CMuda
K1111Nó CNó DMuda
Módulos calculados sobre hashes ilustrativos de 0 a 11. Neste conjunto, 9 das 12 chaves mudam de nó.

Mesmo que o hash de cada chave não mude, o resultado do módulo pode mudar quando N muda. No exemplo, nove chaves trocam de destino. Para hashes uniformes e nós identificados de forma estável, passar de N para N + 1 com esse módulo tende a remapear uma fração de N / (N + 1).

Isso pode gerar grande movimentação de dados e tráfego interno. Um cluster maior também pode levar mais tempo para convergir para o novo mapa. As próximas estratégias procuram reduzir esse custo ou tornar a unidade de movimentação mais controlável.

8. Número fixo de shards

Podemos separar a quantidade de shards da quantidade de servidores. Com 12 shards lógicos, uma regra estável como hash(chave) % 12 escolhe o shard. Uma tabela de atribuição indica em qual nó ele está.

NóAntes · 12 shards / 3 nósDepois · 12 shards / 4 nós
Nó A0, 1, 2, 30, 1, 2
Nó B4, 5, 6, 74, 5, 6
Nó C8, 9, 10, 118, 9, 10
Nó DFora do cluster3, 7, 11
Somente os shards 3, 7 e 11 passam ao Nó D. A atribuição da chave ao shard lógico permanece estável.

A chave continua pertencendo ao mesmo shard lógico. Apenas o shard muda de nó. No desenho, três shards inteiros vão para D. A transferência real depende do tamanho desses shards e da replicação, que o exemplo omite.

Poucos shards produzem unidades grandes de movimentação e podem limitar a distribuição futura. Shards demais aumentam o custo de metadados, coordenação e gerenciamento. O número precisa considerar o crescimento esperado e a granularidade operacional desejada.

9. Sharding por intervalo de hash

Outra possibilidade combina hash e intervalos. A chave passa pela função hash, ganha uma posição no espaço de resultados e pertence ao intervalo que contém essa posição.

ShardIntervalo de hash de 16 bits
Shard 00–16.383
Shard 116.384–32.767
Shard 232.768–49.151
Shard 349.152–65.535
Timestamp ilustrativoHash ilustrativoShard
10:00:0150.0003
10:00:028.0000
10:00:0325.0001
  1. Shard 1 · 16.384–32.767
  2. Split no limite 24.576
  3. Shard 1A · 16.384–24.575
    Shard 1B · 24.576–32.767
Espaço didático de 0 a 65.535. O split cria dois intervalos sem lacunas ou sobreposição. A movimentação entre nós pode ocorrer depois.

O espaço de 16 bits do exemplo contém 65.536 posições, de 0 a 65.535. Os timestamps consecutivos têm hashes ilustrativos espalhados. O Shard 1 pode ser dividido em 1A e 1B, cada um responsável por uma parte do intervalo anterior.

O hash espalha as chaves. O intervalo permite dividir o espaço conforme ele cresce. O split altera os limites lógicos. Transferir um dos novos intervalos a outro nó é uma operação de atribuição e movimentação que pode ocorrer em seguida.

Essa granularidade adapta o número de unidades ao crescimento dos dados, com mais metadados e operações de manutenção. Consultas por faixa da chave original continuam prejudicadas pela perda da proximidade. Uma chave isolada muito acessada permanece indivisível por esse critério.

10. Hashing consistente

Como mudar a quantidade de nós sem remapear quase todas as chaves? O modelo clássico de hash ring coloca nós e chaves no mesmo espaço circular. A chave pertence ao primeiro nó encontrado no sentido horário, com retorno ao início ao completar a volta.

Anel com nós A, B e C e chaves K1 a K5Nó ANó BNó CK1K2K3K4K5Sentido horário ↻Posições ilustrativasCada arco pertence ao nó que o encerra.
ChavePosição ilustrativaResponsável
K15Nó A
K220Nó B
K335Nó B
K460Nó C
K590Nó A
Cada chave vai ao primeiro nó no sentido horário. A recebe K1 e K5, B recebe K2 e K3, C recebe K4.

O arco termina no nó responsável. No espaço ilustrativo, A está na posição 10, B na 40 e C na 75. A região de A atravessa o fim do espaço, por isso K5 também pertence a ele.

Anel após inserir D entre A e BNó ANó DNó BNó CK1K2K3K4K5Sentido horário ↻Posições ilustrativasCada arco pertence ao nó que o encerra.
ChaveAntesDepois
K1Nó ANó A · permanece
K2Nó BNó D · muda
K3Nó BNó B · permanece
K4Nó CNó C · permanece
K5Nó ANó A · permanece
D entra na posição 30 e assume (10, 30]. K2 muda de B para D. O exemplo mostra um responsável por chave e omite replicação.

Ao inserir D na posição 30, ele assume a região entre A e D. K2 passa de B para D. Os demais exemplos conservam seus responsáveis. Ao remover D, o sucessor volta a assumir sua região.

Em uma distribuição ideal entre nós equivalentes, adicionar um nó a N nós tende a transferir aproximadamente 1 / (N + 1) das chaves. Esse valor depende das posições e da distribuição das chaves. O mapa do cluster precisa permanecer coerente durante a transição.

Intervalos de hash também aparecem no anel, mas o hashing consistente acrescenta uma regra de responsabilidade ligada às posições dos nós. Um particionamento por faixas arbitrárias pode usar outro mecanismo de atribuição. Artigo original de Karger e colaboradores sobre hashing consistente.

11. Virtual nodes

Uma única posição por servidor pode produzir intervalos desiguais. Com virtual nodes, ou vnodes, cada servidor recebe várias posições distribuídas pelo anel.

Três posições por servidor, intercaladas no anelA1B1C1A2B2C2A3B3C3Sentido horário ↻Posições ilustrativasCada arco pertence ao nó que o encerra.
ServidorPosições virtuais
AA1, A2, A3
BB1, B2, B3
CC1, C2, C3
Nove posições lógicas distribuídas entre três servidores. Letras, cores e rótulos repetidos indicam o mesmo servidor.

A responsabilidade de A passa a somar os intervalos que terminam em A1, A2 e A3. Essa multiplicidade reduz a dependência de uma posição isolada e pode melhorar o balanceamento. Entradas e saídas de servidores redistribuem vários intervalos menores.

O benefício depende da alocação dos tokens. Mais posições também ampliam o custo de manutenção e das relações entre réplicas. Vnodes representam responsabilidades virtuais, sem criar servidores adicionais. Vnodes na arquitetura do Cassandra.

12. Comparação das estratégias

As linhas abaixo destacam decisões em níveis diferentes. Hash define uma transformação da chave, enquanto shards fixos definem unidades estáveis de atribuição. Um sistema pode combinar essas escolhas.

EstratégiaVantagemLimitação
Intervalo de chaveRange queries eficientesSusceptível a hot spots
Hash da chaveDistribuição das chavesPerde a ordenação original
Número fixo de shardsUnidades previsíveis de rebalanceamentoQuantidade precisa ser planejada
Intervalo de hashPermite splits dinâmicosRange queries na chave original pioram
Hashing consistenteReduz remapeamento ao mudar nósMapeamento e manutenção mais complexos

13. Exemplo real · Cassandra

No Cassandra, a partition key identifica a partição, um agrupamento de linhas. O particionador calcula seu token. Murmur3Partitioner é o padrão documentado para novos clusters. Murmur3 calcula uma posição, e a responsabilidade depende do mapa de intervalos e da estratégia de replicação. Configuração oficial do particionador.

  1. partition key
  2. Murmur3Partitioner
  3. token
  4. token range
  5. nós responsáveis
  6. réplicas conforme a estratégia
A função calcula a posição. Metadados de intervalos e a estratégia de replicação identificam os nós que armazenam cópias da partição.

Os nós são responsáveis por intervalos de tokens. A estratégia de replicação determina os nós que recebem cópias de cada partição, considerando a configuração do keyspace. Com vnodes, um nó responde por múltiplos intervalos. Particionamento e replicação no Cassandra.

Uma partition key muito concentrada pode criar uma partição quente. Escolher uma chave exige considerar volume por partição, frequência de acesso e consultas. A organização das linhas dentro da partição também participa dessa decisão.

14. Exemplo real · MongoDB

MongoDB oferece ranged sharding e hashed sharding. No primeiro, valores próximos da shard key ocupam regiões próximas. No segundo, o hash de um campo participa da distribuição e reduz a proximidade entre valores originais. Buscas por igualdade podem ser direcionadas, enquanto faixas tendem a consultar mais shards. Hashed sharding na documentação do MongoDB.

  1. shard key
  2. hash do campo configurado
  3. hashed key space
  4. chunks / ranges
  5. shards

Ranged sharding usa os valores ordenados da shard key na etapa de intervalos.

Fluxo conceitual do hashed sharding com um campo. Um shard do MongoDB é um replica set que recebe ranges, e não um servidor isolado.

Os valores da shard key, ou seus hashes, definem faixas associadas a chunks/ranges. Esses intervalos são atribuídos aos shards. Shard keys e intervalos no MongoDB.

A terminologia é importante aqui. Um shard do MongoDB é um replica set que armazena parte da coleção. Chunks são faixas menores atribuídas a ele. Shards e replica sets.

db.clientes.createIndex({ cliente_id: "hashed" })

Esse comando cria um índice hashed. Para distribuir a coleção, ela também precisa ser configurada para sharding em um cluster apropriado, por exemplo com sh.shardCollection(). O balancer migra faixas entre shards para redistribuir dados e respeita condições operacionais da coleção. Essa movimentação tem custos de rede e I/O. Funcionamento do balancer.

15. Como escolher?

Preciso de range queries frequentes?

Considere intervalo de chave e observe quantos shards cada faixa consultada atravessa.

Minha chave cresce sequencialmente?

Investigue a concentração das escritas no intervalo final e a possibilidade de distribuir por uma chave composta adequada às consultas.

Quero distribuir identificadores independentes?

Hash pode ajudar. Meça também acessos por chave e tamanho dos registros para reconhecer concentrações que a contagem de chaves esconde.

Não sei quanto o conjunto crescerá?

Considere uma estratégia que permita splits e avalie o custo de mover os intervalos resultantes.

O cluster muda frequentemente?

Trate o custo do rebalanceamento como uma decisão central. Compare remapeamento de chaves, volume transferido e efeito sobre a latência durante a transição.

Quais propriedades queremos preservar?

Sharding não é apenas dividir dados. É decidir quais propriedades queremos preservar durante a distribuição.

  • Range preserva proximidade.
  • Hash favorece distribuição das chaves.
  • Shards fixos favorecem previsibilidade operacional.
  • Intervalos de hash favorecem crescimento adaptativo.
  • Hashing consistente reduz remapeamento.

A melhor chave de particionamento não é a que distribui apenas os dados de maneira uniforme, mas a que distribui adequadamente a carga para o padrão real de acesso do sistema.

Fontes primárias consultadas em 21 de novembro de 2026. Os exemplos numéricos e diagramas são autorais e didáticos.