A página do produto falava em mais de cem milhões de IPs residenciais. Você apontou uma checagem de preços para uma única cidade, enviou 200 requisições pelo gateway e contou os endereços no seu log: pouco mais de 150 diferentes, e alguns apareceram três vezes. O pool era menor do que o prometido? Normalmente não. Você nunca esteve sorteando do pool inteiro, só da fatia que correspondia à sua cidade naquele momento, e sorteios aleatórios dentro de qualquer fatia se repetem mais cedo do que a intuição sugere.
Este artigo explica o que é um pool de proxies, como ele é dividido em fatias e mantido saudável, por que o tamanho anunciado não é o tamanho que você recebe e como estimar e testar o que um trabalho precisa.
O que é um pool de proxies?
Um pool de proxies é uma coleção de endereços IP de saída gerenciada como um único recurso, para que as requisições possam sair por endereços diferentes sem que você precise configurar cada um. O IP de saída é o endereço que o site de destino vê; o pool é o conjunto de todas as saídas que podem ser escolhidas.
Você vai encontrar duas formas. Com um gateway (também chamado de backconnect), você se conecta a um único host:port, como pr.proxynet.io:8000, e o provedor escolhe a saída no pool que está atrás dele. Com uma configuração estática, você recebe uma série fixa de endereços e o seu próprio código distribui as requisições entre eles. As duas são pools; a diferença está em quem faz a escolha.
"Pool de IPs" também designa a faixa de endereços que um servidor DHCP ou um provedor de internet distribui aos próprios clientes. Isso é outra coisa. Aqui um pool é sempre o conjunto de saídas de proxy disponíveis para as suas requisições. Os Proxies residenciais da nossa rede são um exemplo da forma gateway: mais de 140 milhões de IPs, e mais de 160 milhões de IPs somando os móveis, em mais de 190 países.
Como funciona um pool de proxies?
Um pool funciona filtrando primeiro e escolhendo depois: cada nova conexão reduz o pool aos endereços que combinam com a sua requisição e então pega um deles.
- Você se conecta ao gateway por HTTP, HTTPS ou SOCKS5 e se autentica com usuário e senha ou com um IP incluído na lista de permissões.
- O gateway lê os seus parâmetros. País, cidade, rede e configurações de sessão costumam chegar como parâmetros acrescentados ao nome de usuário.
- O pool é filtrado até uma fatia. Só as saídas que atendem a todos os parâmetros continuam como candidatas.
- As saídas com problema são puladas. Ficam de fora os endereços que falharam há pouco, saíram do ar ou estão em pausa depois de erros.
- Uma saída é escolhida. Ou uma saída nova, ou a saída que já está vinculada ao seu identificador de sessão.
- O tráfego é encaminhado. O destino vê o endereço da saída escolhida. Uma conexão que falha ou expira volta a alimentar a etapa 4.
As etapas 3 e 4 são o assunto deste artigo. A etapa 5, as regras que decidem quando a saída muda, é explicada em O que é rotação de IP e como ela funciona?, então aqui só a resumimos mais abaixo.
Pool de proxies ou lista de proxies: qual é a diferença?
Uma lista de proxies é uma série fixa de endereços que você mesmo gerencia; um pool com gateway é um conjunto que muda o tempo todo e que o provedor gerencia por você.
| Lista de proxies | Pool com gateway | |
|---|---|---|
| O que você recebe | Endereços, um por linha | Um único endpoint |
| Quem escolhe a saída | O seu código | O gateway |
| Quem remove as saídas mortas | Você | O gateway |
| Você conhece cada IP? | Sim | Não, só as regras da fatia |
| Cobrança habitual | Por IP | Por GB |
Uma lista dá controle: você pode colocar cada endereço em uma lista de permissões e mantê-lo por meses. Um pool com gateway dá alcance, e o estado dos endereços fica por conta do outro lado.
Como um pool de proxies é dividido?
Um pool é dividido por atributos de cada endereço de saída, e cada filtro que você acrescenta encolhe o conjunto de candidatas. As três fatias comuns são país, cidade e rede.
O país é a fatia de que quase todo trabalho precisa, porque preços, idioma e estoque mudam na fronteira. A cidade estreita a fatia para o que varia por região: prazos de entrega, anúncios locais, disponibilidade em loja. A rede é o sistema autônomo ao qual um endereço pertence. Nos termos do RFC 1930, um sistema autônomo é um grupo de prefixos IP operado por um ou mais operadores com uma política de roteamento única e claramente definida; na prática, a rede de um provedor de internet, identificada por um número de sistema autônomo (ASN).
Na nossa rede você escolhe país e cidade nos proxies residenciais e móveis, e os residenciais acrescentam segmentação por ASN sem custo extra. Cada filtro é uma troca: nos Proxies móveis, a fatia de uma cidade é muito menor que a do país, então um alvo estreito compra precisão com menos endereços diferentes.
Por que o tamanho do pool não é o tamanho que você recebe?
O tamanho anunciado é o total de todos os países e redes; o seu trabalho recebe a fatia correspondente, naquele momento, menos os endereços que estão em pausa. Três coisas encolhem essa fatia.
Primeiro, a própria fatia: um país tem uma fração do pool, e uma cidade, uma fração dessa fração. Depois, o horário: as saídas residenciais e móveis são conexões reais que entram e saem ao longo do dia. Por fim, o estado: endereços que falham ou estão em pausa são pulados até se recuperarem.
Mesmo dentro de uma fatia saudável, o sorteio aleatório se repete. Na nossa máquina de testes simulamos sorteios aleatórios uniformes com um script curto em Node.js: 100 sorteios em uma fatia de 5.000 saídas deram em média cerca de 99 endereços diferentes, e mesmo assim pelo menos um endereço saiu duas vezes em aproximadamente 6 de cada 10 execuções. Em uma fatia de 500, os mesmos 100 sorteios deram cerca de 91 endereços diferentes. É pura probabilidade, não um defeito. Gateways reais não escolhem de forma perfeitamente aleatória, então trate esses números como um modelo, não como uma medição de algum serviço.
O que mantém um pool de proxies saudável?
Um pool se mantém saudável quando as saídas que falham são retiradas rápido e as saídas que um site pediu para desacelerar ganham tempo antes de serem usadas de novo. O gateway cuida da primeira parte; o seu cliente, da segunda.
Do lado do gateway, uma saída que recusa conexões, entra em timeout ou cai da rede sai do conjunto de candidatas e é verificada de novo mais tarde. É por isso que uma sessão fixa também pode mudar: se a saída vinculada desaparece, a sessão passa para outra.
Do seu lado, leia a resposta. Um 429 Too Many Requests significa que o cliente enviou requisições demais em um dado intervalo, e o RFC 6585 observa que o padrão não define como o servidor identifica o usuário nem como conta as requisições. Um site pode contar por conta, cookie ou sessão, então trocar de saída não zera o contador dele.
A resposta respeitosa é uma pausa (cooldown): parar, esperar e voltar mais devagar. Quando a resposta traz um cabeçalho Retry-After, o valor dele, em segundos ou como data, diz quanto tempo esperar. Um pool grande distribui a carga entre endereços; ele não torna aceitável um ritmo total mais alto.
Rotativo ou fixo: como você sorteia do pool?
Você sorteia de um pool com uma saída nova a cada nova conexão (rotativo) ou com a mesma saída durante uma sessão que você nomeia (sessão fixa, ou sticky). A escolha decide quantos endereços diferentes o seu trabalho toca.
Com a seleção rotativa, um trabalho de 1.000 carregamentos de página independentes pode tocar até 1.000 endereços. Com uma sessão fixa, você acrescenta um identificador de sessão ao nome de usuário e o gateway mantém esse identificador em uma única saída; nos nossos proxies residenciais e móveis a duração vai de 1 a 60 minutos. Vinte workers (processos em paralelo) com vinte identificadores de sessão usam vinte saídas ao mesmo tempo. Rotacione para páginas públicas independentes; use sessão fixa para tudo que tem estado, como um login, um carrinho ou uma paginação.
Compartilhado ou dedicado: quem mais sorteia do pool?
De um pool compartilhado sorteiam muitos clientes; um pool dedicado é um conjunto de endereços atribuídos só a você. Os pools com gateway para tráfego residencial e móvel são compartilhados: a saída que você usa agora pode atender outro cliente uma hora depois.
Um endereço carrega o próprio histórico, então um site pode reagir a uma saída por causa do que foi enviado por ela antes. Quando um trabalho precisa de um endereço que responda só pelo seu tráfego, como uma entrada em lista de permissões ou uma conta de longa duração, use um dedicado. Um conjunto desses endereços é o que normalmente se chama de "pool de proxies privado" (private proxy pool).
Quando o seu pool é uma lista de IPs estáticos?
O seu pool é uma lista estática quando você aluga endereços fixos e dedicados e distribui o trabalho entre eles por conta própria. Os nossos proxies ISP estáticos oferecem mais de 240.000 IPs dedicados em mais de 20 países, e os nossos Proxies de datacenter, mais de 2 milhões de endereços IPv4 dedicados em mais de 50 países, hospedados em data centers TIER 3+.
Um pool estático é pequeno e previsível: talvez 10 ou 50 endereços, todos conhecidos, escolhidos em sequência pelo seu código e deixados de lado quando começam a falhar. Dois detalhes entram no planejamento. Esses produtos por IP são entregues para o site de destino que você informa no pedido, e o uso em todos os sites é um complemento pago chamado Access to all websites. A largura de banda dos produtos estáticos é ilimitada, sujeita à política de uso justo.
Quantos IPs um trabalho realmente precisa?
Um trabalho precisa de tantos endereços quantas sessões ele roda ao mesmo tempo, sorteados de uma fatia grande o bastante para que as repetições não afetem o resultado. Veja um exemplo com números supostos:
- O trabalho: verificar todo dia 12.000 páginas públicas de produto de uma loja on-line, como são vistas a partir de um país.
- O ritmo: o site aceita no total cerca de uma requisição sua a cada 7 segundos, mais ou menos 500 páginas por hora. Quem define o ritmo é o site, não o pool.
- As sessões: 4 workers, cada um com uma sessão fixa de 10 minutos. São 4 saídas ao mesmo tempo e 4 × 6 × 24 = 576 sessões por dia.
- A fatia: uma fatia de país com alguns milhares de saídas saudáveis cobre 576 sessões com poucas repetições; uma única cidade talvez não, o que é aceitável para páginas públicas.
- O tráfego: a 1,5 MB por página com seus recursos, o dia movimenta cerca de 18 GB. É esse número, e não a quantidade de IPs, que entra na cobrança por GB.
Para o lado da cobrança, as perguntas a fazer antes de comprar estão em O que observar ao comprar um proxy: 10 perguntas.
Como testar um pool de proxies?
Você testa um pool por amostragem: envie requisições, cada uma em uma nova conexão, para um serviço que devolve o seu IP, depois conte os endereços diferentes e confira a localização deles. Com um alvo de país e seleção rotativa, uma amostra de 50 deve trazer endereços em sua maioria diferentes.
for i in $(seq 1 50); do
curl -s -x http://user:pass@pr.proxynet.io:8000 https://api.ipify.org; echo
done | sort | uniq -c | sort -rnCada chamada do curl abre a própria conexão, então a reutilização de conexões não consegue esconder a rotação, e os endereços repetidos sobem para o topo da saída. Conferimos essa sequência de contagem na nossa máquina de testes com um pequeno servidor de eco local; troque as credenciais de exemplo pelas suas.
O mesmo endereço em quase todas as linhas indica que há um identificador de sessão fixa ou um endereço estático em uso. Algumas repetições em uma fatia estreita de cidade são normais. Para confirmar o país de cada saída e procurar vazamentos, siga Seu proxy está funcionando? Como testar um proxy.
Onde você encontra pools de proxies
Equipes de monitoramento de preços usam fatias de país ou de cidade para ver os preços e o estoque que um comprador local vê. A verificação de anúncios confere se o anúncio e a página de destino certos aparecem em cada mercado, muitas vezes com saídas móveis para posições dentro de aplicativos. Equipes de localização e de teste de aplicativos conferem idioma, moeda e conteúdo regional antes de um lançamento, com sessões fixas para que um fluxo de várias etapas fique em um único endereço. A pesquisa de mercado coleta anúncios públicos em muitas regiões. Já as contas e as APIs com lista de permissões ficam em endereços estáticos dedicados.
Erros comuns
- Julgar o pool pelo número da vitrine. O seu trabalho usa a fatia que você mira, naquele horário, menos os endereços em pausa.
- Mirar uma cidade quando o país bastaria. Uma fatia mais estreita dá menos saídas diferentes.
- Tratar um pool maior como permissão para enviar mais rápido. Quem define o ritmo é o site. Um
429significa desacelerar, qualquer que seja a saída. - Repetir na hora com uma saída nova. Se o site pediu uma pausa, um endereço novo não muda isso.
- Dar o mesmo identificador de sessão a todos os workers. Todos dividem uma única saída e se comportam como um único cliente.
- Usar um pool compartilhado onde uma lista de permissões exige um IP fixo. Uma saída compartilhada muda; uma lista de permissões precisa de um endereço dedicado.
Guia de decisão
| Necessidade | Recomendação |
|---|---|
| Muitas páginas públicas, um país | Pool com gateway, fatia de país, rotativo |
| Login, carrinho ou fluxo de várias etapas | Uma sessão fixa por fluxo |
| O que os clientes de um provedor de internet veem | Pool residencial com segmentação por ASN |
| Anúncios em aplicativos ou conteúdo só para celular | Pool móvel, fatia de país ou de cidade |
| Lista de permissões de API ou conta de longa duração | IP estático dedicado, ISP ou datacenter |
| Poucos endereços fixos que você mesmo gerencia | Lista estática, rotacionada no seu código |
O site devolve 429 | Pausa e ritmo menor, não mais saídas |
Perguntas frequentes
O que significa pool de proxies?
Um pool de proxies é o grupo de endereços IP de saída entre os quais um serviço de proxy ou o seu próprio código pode escolher para as requisições de saída. Em vez de um único endereço de proxy, você tem muitos, e cada requisição ou sessão sai por um deles conforme as regras que você define.
De quantos proxies eu preciso?
Você precisa de tantos endereços quantas sessões roda ao mesmo tempo, vindos de uma fatia grande o bastante para que as repetições não afetem seus resultados. Parta do ritmo que o site de destino aceita e do número de workers em paralelo. Com um pool com gateway você não compra endereços um a um; você escolhe a fatia e paga pelo tráfego.
Um pool de proxies maior é sempre melhor?
Não. Um pool maior só ajuda se a fatia que você mira for maior e estiver saudável nos horários em que você trabalha. Para um site em um país, uma fatia bem mantida costuma importar mais que o total. Para listas de permissões e contas, um único endereço dedicado atende melhor que qualquer pool.
Qual é a diferença entre um pool de proxies e um proxy rotativo?
O pool é o conjunto de endereços; um proxy rotativo é o serviço que escolhe nele um endereço novo a cada nova conexão. A rotação é uma forma de sortear do pool, e a sessão fixa é outra forma de sortear do mesmo pool.
O que é um pool de proxies privado?
Um pool de proxies privado é um conjunto de endereços atribuídos só a você, geralmente endereços ISP estáticos ou de datacenter. Enquanto estão com você, nenhum outro cliente envia tráfego por eles, então o histórico deles é o seu. Servem para contas, listas de permissões e monitoramento de longa duração.
Pools de proxies gratuitos são seguros?
Listas de proxies gratuitos coletadas na internet são uma escolha ruim para qualquer coisa que importe. Você não sabe quem opera os servidores, quem os opera pode ler ou alterar o tráfego não criptografado, e muitos param de funcionar em poucas horas. Use proxies de um provedor com quem você tenha um acordo.
Em resumo
Um pool de proxies é o conjunto de endereços de saída entre os quais um gateway ou o seu próprio código escolhe. O gateway filtra o pool pelo seu país, cidade ou rede, pula as saídas que falham ou estão em pausa e escolhe uma por conexão ou por sessão. Planeje um trabalho a partir da fatia, não do número da vitrine: conte as sessões em paralelo, confira se a fatia é grande o bastante para as repetições que você aceita, respeite o ritmo que o site define e teste com uma amostra de endereços diferentes. Use um pool compartilhado com gateway para trabalho público em muitos lugares e um endereço estático dedicado onde uma identidade não pode mudar.




