Sharding: como bancos de dados distribuem informações entre servidores
Uma introdução visual a particionamento por intervalo, hash, rebalanceamento e hashing consistente.
Quando um banco cresce, um único servidor pode deixar de atender ao armazenamento, à quantidade de operações por segundo ou aos dois. Aumentar a máquina ajuda até certo ponto. Distribuir os dados entre servidores permite ampliar a capacidade, mas introduz uma pergunta nova a cada leitura e escrita. Onde está o registro?
Sharding divide horizontalmente um conjunto de dados em partes menores. Para entender as estratégias, vou acompanhar três perguntas.
- Como decidir onde cada registro será armazenado?
- Como evitar concentração de carga?
- O que acontece quando adicionamos ou removemos servidores?
Os diagramas usam dados didáticos. As posições dos anéis e os hashes ilustrativos servem para explicar o mapeamento. Os exemplos de módulo são calculados sobre esses valores.
1. O que é sharding?
Imagine uma tabela com 12 milhões de clientes. Podemos dividir suas linhas em seis grupos e armazená-los em três nós. Cada grupo mantém a estrutura dos registros, mas contém uma parte das linhas. Esse é o particionamento horizontal.
Shard é uma divisão lógica do conjunto de dados. Nó é um servidor ou instância que armazena e processa dados. Um nó pode hospedar vários shards. A atribuição pode mudar durante a operação do cluster.
12 milhões de registros distribuídos em seis shards lógicos.
Shard ≠ servidor. Convém distinguir também uma réplica, que é uma cópia dos dados, de uma divisão do conjunto. Particionar distribui grupos de registros. Replicar mantém cópias desses grupos para atender aos requisitos de disponibilidade e durabilidade. A terminologia específica varia entre produtos.
2. Sharding por intervalo de chave
Uma enciclopédia distribui verbetes por faixas do alfabeto. Para encontrar uma palavra, consultamos o volume correspondente. O particionamento por intervalo segue a mesma intuição com valores ordenados de uma chave.
SELECT *
FROM clientes
WHERE cliente_id = 1500;
Com os intervalos do diagrama, o roteador pode enviar essa busca ao Shard 1. A localização depende de conhecer os limites e a atribuição dos intervalos aos nós.
SELECT *
FROM clientes
WHERE cliente_id BETWEEN 1200 AND 1500;
Essa consulta também cabe no Shard 1. Valores próximos permanecem juntos, o que ajuda quando são consultados em conjunto. Um intervalo maior pode atravessar vários shards. O ganho depende da relação entre a chave escolhida e o padrão de acesso.
3. Hot spots
Intervalos do mesmo tamanho podem receber cargas diferentes. Se a chave for um timestamp crescente, novas gravações tendem a chegar ao último intervalo do espaço ordenado.
Um hot spot é um shard ou nó que recebe carga desproporcional aos demais. Mesmo com espaço livre no cluster, o responsável pelas gravações recentes pode atingir seu limite de processamento.
Uma chave composta como (sensor_id, timestamp), ordenada primeiro pelo sensor, cria regiões para sensores distintos e mantém o tempo ordenado dentro de cada um. Isso pode distribuir escritas quando há muitos sensores ativos e seus intervalos estão repartidos entre shards.
Melhor distribuição das escritas, mas consultas que envolvem muitos sensores podem precisar acessar vários shards.
Um sensor muito ativo ainda pode concentrar carga. Cardinalidade, distribuição dos acessos e limites dos shards continuam importantes.
5. MurmurHash3
MurmurHash3 é uma família de funções hash não criptográficas, criada por Austin Appleby para combinar velocidade e boa distribuição. É determinística para a mesma variante, entrada e seed. Suas variantes podem produzir resultados diferentes.
"cliente_123"
↓
MurmurHash3
↓
token / hash
Pequenas mudanças na entrada, como trocar cliente_123 por cliente_124, podem alterar muitos bits do resultado. Essa mistura ajuda a espalhar chaves. A família não oferece garantias criptográficas para proteger senhas ou sustentar mecanismos de segurança. Os números dos diagramas são ilustrativos. Implementação e testes do autor no SMHasher.
6. Rebalanceamento
Rebalancear é redistribuir shards, intervalos ou responsabilidades quando a capacidade ou a composição do cluster muda. Isso envolve transferências de dados e atualização do mapeamento usado pelos clientes ou roteadores.
Parcela ilustrativa do volume armazenado
Antes Depois
Nó A → 50% Nó A → ~33%
Nó B → 45% Nó B → ~33%
Nó C → 5% Nó C → ~33%
O objetivo depende do sistema. Pode ser equilibrar bytes, carga ou uso da capacidade disponível. Nós de tamanhos distintos podem receber parcelas distintas. Copiar dados consome rede, disco e processamento, por isso o rebalanceamento costuma disputar recursos com o tráfego da aplicação.
7. O problema de hash(key) % N
Uma implementação direta usa node = hash(key) % N, em que N é a quantidade de nós. Para hashes não negativos, o resto identifica um dos destinos de 0 a N − 1. Ao passar de três para quatro nós, o divisor muda.
Mesmo que o hash de cada chave não mude, o resultado do módulo pode mudar quando N muda. No exemplo, nove chaves trocam de destino. Para hashes uniformes e nós identificados de forma estável, passar de N para N + 1 com esse módulo tende a remapear uma fração de N / (N + 1).
Isso pode gerar grande movimentação de dados e tráfego interno. Um cluster maior também pode levar mais tempo para convergir para o novo mapa. As próximas estratégias procuram reduzir esse custo ou tornar a unidade de movimentação mais controlável.
9. Sharding por intervalo de hash
Outra possibilidade combina hash e intervalos. A chave passa pela função hash, ganha uma posição no espaço de resultados e pertence ao intervalo que contém essa posição.
O espaço de 16 bits do exemplo contém 65.536 posições, de 0 a 65.535. Os timestamps consecutivos têm hashes ilustrativos espalhados. O Shard 1 pode ser dividido em 1A e 1B, cada um responsável por uma parte do intervalo anterior.
O hash espalha as chaves. O intervalo permite dividir o espaço conforme ele cresce. O split altera os limites lógicos. Transferir um dos novos intervalos a outro nó é uma operação de atribuição e movimentação que pode ocorrer em seguida.
Essa granularidade adapta o número de unidades ao crescimento dos dados, com mais metadados e operações de manutenção. Consultas por faixa da chave original continuam prejudicadas pela perda da proximidade. Uma chave isolada muito acessada permanece indivisível por esse critério.
10. Hashing consistente
Como mudar a quantidade de nós sem remapear quase todas as chaves? O modelo clássico de hash ring coloca nós e chaves no mesmo espaço circular. A chave pertence ao primeiro nó encontrado no sentido horário, com retorno ao início ao completar a volta.
O arco termina no nó responsável. No espaço ilustrativo, A está na posição 10, B na 40 e C na 75. A região de A atravessa o fim do espaço, por isso K5 também pertence a ele.
Ao inserir D na posição 30, ele assume a região entre A e D. K2 passa de B para D. Os demais exemplos conservam seus responsáveis. Ao remover D, o sucessor volta a assumir sua região.
Em uma distribuição ideal entre nós equivalentes, adicionar um nó a N nós tende a transferir aproximadamente 1 / (N + 1) das chaves. Esse valor depende das posições e da distribuição das chaves. O mapa do cluster precisa permanecer coerente durante a transição.
Intervalos de hash também aparecem no anel, mas o hashing consistente acrescenta uma regra de responsabilidade ligada às posições dos nós. Um particionamento por faixas arbitrárias pode usar outro mecanismo de atribuição. Artigo original de Karger e colaboradores sobre hashing consistente.
11. Virtual nodes
Uma única posição por servidor pode produzir intervalos desiguais. Com virtual nodes, ou vnodes, cada servidor recebe várias posições distribuídas pelo anel.
A responsabilidade de A passa a somar os intervalos que terminam em A1, A2 e A3. Essa multiplicidade reduz a dependência de uma posição isolada e pode melhorar o balanceamento. Entradas e saídas de servidores redistribuem vários intervalos menores.
O benefício depende da alocação dos tokens. Mais posições também ampliam o custo de manutenção e das relações entre réplicas. Vnodes representam responsabilidades virtuais, sem criar servidores adicionais. Vnodes na arquitetura do Cassandra.
12. Comparação das estratégias
As linhas abaixo destacam decisões em níveis diferentes. Hash define uma transformação da chave, enquanto shards fixos definem unidades estáveis de atribuição. Um sistema pode combinar essas escolhas.
| Estratégia | Vantagem | Limitação |
|---|---|---|
| Intervalo de chave | Range queries eficientes | Susceptível a hot spots |
| Hash da chave | Distribuição das chaves | Perde a ordenação original |
| Número fixo de shards | Unidades previsíveis de rebalanceamento | Quantidade precisa ser planejada |
| Intervalo de hash | Permite splits dinâmicos | Range queries na chave original pioram |
| Hashing consistente | Reduz remapeamento ao mudar nós | Mapeamento e manutenção mais complexos |
13. Exemplo real · Cassandra
No Cassandra, a partition key identifica a partição, um agrupamento de linhas. O particionador calcula seu token. Murmur3Partitioner é o padrão documentado para novos clusters. Murmur3 calcula uma posição, e a responsabilidade depende do mapa de intervalos e da estratégia de replicação. Configuração oficial do particionador.
Os nós são responsáveis por intervalos de tokens. A estratégia de replicação determina os nós que recebem cópias de cada partição, considerando a configuração do keyspace. Com vnodes, um nó responde por múltiplos intervalos. Particionamento e replicação no Cassandra.
Uma partition key muito concentrada pode criar uma partição quente. Escolher uma chave exige considerar volume por partição, frequência de acesso e consultas. A organização das linhas dentro da partição também participa dessa decisão.
14. Exemplo real · MongoDB
MongoDB oferece ranged sharding e hashed sharding. No primeiro, valores próximos da shard key ocupam regiões próximas. No segundo, o hash de um campo participa da distribuição e reduz a proximidade entre valores originais. Buscas por igualdade podem ser direcionadas, enquanto faixas tendem a consultar mais shards. Hashed sharding na documentação do MongoDB.
Ranged sharding usa os valores ordenados da shard key na etapa de intervalos.
Os valores da shard key, ou seus hashes, definem faixas associadas a chunks/ranges. Esses intervalos são atribuídos aos shards. Shard keys e intervalos no MongoDB.
A terminologia é importante aqui. Um shard do MongoDB é um replica set que armazena parte da coleção. Chunks são faixas menores atribuídas a ele. Shards e replica sets.
db.clientes.createIndex({ cliente_id: "hashed" })
Esse comando cria um índice hashed. Para distribuir a coleção, ela também precisa ser configurada para sharding em um cluster apropriado, por exemplo com sh.shardCollection(). O balancer migra faixas entre shards para redistribuir dados e respeita condições operacionais da coleção. Essa movimentação tem custos de rede e I/O. Funcionamento do balancer.
15. Como escolher?
Preciso de range queries frequentes?
Considere intervalo de chave e observe quantos shards cada faixa consultada atravessa.
Minha chave cresce sequencialmente?
Investigue a concentração das escritas no intervalo final e a possibilidade de distribuir por uma chave composta adequada às consultas.
Quero distribuir identificadores independentes?
Hash pode ajudar. Meça também acessos por chave e tamanho dos registros para reconhecer concentrações que a contagem de chaves esconde.
Não sei quanto o conjunto crescerá?
Considere uma estratégia que permita splits e avalie o custo de mover os intervalos resultantes.
O cluster muda frequentemente?
Trate o custo do rebalanceamento como uma decisão central. Compare remapeamento de chaves, volume transferido e efeito sobre a latência durante a transição.
Quais propriedades queremos preservar?
Sharding não é apenas dividir dados. É decidir quais propriedades queremos preservar durante a distribuição.
- Range preserva proximidade.
- Hash favorece distribuição das chaves.
- Shards fixos favorecem previsibilidade operacional.
- Intervalos de hash favorecem crescimento adaptativo.
- Hashing consistente reduz remapeamento.
A melhor chave de particionamento não é a que distribui apenas os dados de maneira uniforme, mas a que distribui adequadamente a carga para o padrão real de acesso do sistema.
Fontes primárias consultadas em 21 de novembro de 2026. Os exemplos numéricos e diagramas são autorais e didáticos.