O que é um proxy de datacenter? Como funciona e quando usar

Publicado:

17 min de leitura

Acar Diveroli
Autor: Acar Diveroli
Grande servidor iso gravado DC-01, com ventilação e fileira de portas; acima flutuam placas de IP, a de saída em azul

Uma equipe de monitoramento verifica 400 páginas de destino de clientes a cada quinze minutos, a partir de doze países: se a página carrega, se aparece a versão de idioma certa, se o certificado é válido e quanto tempo leva o primeiro byte. Nada disso precisa de uma conexão doméstica de internet. O que precisa são endereços nos países certos, online 24 horas por dia, rápidos e baratos o bastante para manter por um ano. Então alguém aponta os mesmos endereços para a página de busca de um marketplace e recebe uma tela de verificação na terceira requisição. Os dois resultados vêm do mesmo produto funcionando como foi projetado: um proxy de datacenter.

Este artigo explica o que é um proxy de datacenter, como uma requisição passa por ele e como os sites reconhecem o endereço dele. Ele compara endereços compartilhados com dedicados, IPv4 com IPv6 e proxies de datacenter com proxies ISP e residenciais; depois mostra quando ele basta e quando não basta, os preços, sub-redes e reputação, os erros comuns, um guia de decisão e seis respostas curtas.

O que é um proxy de datacenter?

Um proxy de datacenter é um proxy cujo endereço IP público está registrado em nome de um provedor de hospedagem, uma plataforma de nuvem ou uma empresa de servidores e é anunciado a partir de um datacenter. Qualquer proxy, às vezes chamado de proxy de rede, é um servidor que encaminha suas requisições e devolve as respostas; a palavra "datacenter" só descreve de onde vem o endereço.

Já um proxy residencial sai por um endereço que um provedor de internet atribuiu a uma residência, e um proxy móvel, pela rede de uma operadora móvel. Não há assinante por trás de um proxy de datacenter: o endereço fica em um servidor dentro de um rack, com um link de fibra e uma energia que não desliga à noite.

Os nossos Proxies de datacenter funcionam assim: mais de 2.000.000 de endereços IPv4 dedicados em mais de 50 países, hospedados em datacenters TIER 3+. Tier III é o nível do Uptime Institute para uma instalação "com manutenção simultânea" (concurrently maintainable): qualquer componente pode ser desligado para manutenção enquanto os servidores continuam funcionando.

Como funciona um proxy de datacenter?

Um proxy de datacenter repassa sua requisição a partir do próprio endereço, então o site de destino vê o IP do proxy, e não o seu. O caminho tem cinco etapas:

  1. Seu cliente se conecta ao proxy. Um navegador, script ou ferramenta de monitoramento envia a requisição ao host e à porta do proxy por HTTP, HTTPS ou SOCKS5.
  2. O proxy verifica quem é você. Você se autentica com usuário e senha ou adicionando seu próprio IP público a uma lista de permissão de até 10 endereços (IP whitelist).
  3. O proxy abre a conexão. Ele se conecta ao destino a partir do endereço de datacenter. Para uma página HTTPS, monta um túnel e só repassa os bytes criptografados, então o conteúdo da página fica entre o seu cliente e o site.
  4. O site consulta o endereço. Ele vê um IP registrado em nome de uma empresa de hosting em determinado país e aplica as próprias regras à requisição.
  5. A resposta volta pelo mesmo caminho. Ela vai primeiro ao proxy e depois a você.

Um endereço de datacenter é estático: o mesmo IP fica atribuído a você durante todo o aluguel. Quando alguém procura um "proxy de datacenter rotativo", normalmente quer dizer uma lista desses endereços que uma ferramenta ou um gateway percorre em sequência. Os endereços em si não mudam; só muda a ordem em que são usados.

Como os sites reconhecem um IP de datacenter?

Os sites reconhecem um IP de datacenter por registros públicos sobre o endereço, não por algo que a sua requisição contenha. Quatro fontes são usadas, normalmente em conjunto.

O registro. Todo bloco público de endereços é registrado por meio de um registro regional de internet e roteado por uma rede com um número de sistema autônomo (ASN), um número que identifica uma rede com política de roteamento própria. Uma consulta mostra que o bloco pertence à "Example Hosting Ltd", e não a um provedor de banda larga. Explicamos esse número e como consultá-lo em O que é um ASN? Números de sistema autônomo explicados.

Bancos de dados de inteligência de IP. Bancos de dados comerciais transformam esses registros em um tipo. A MaxMind, por exemplo, documenta um campo de tipo de usuário com valores como residential, cellular, business e hosting, e diz que o tipo é derivado das informações de registro e dos padrões de tráfego e de uso. A definição dela para hosting é simplesmente um IP usado por um provedor de hospedagem de sites.

Faixas de nuvem publicadas. As grandes plataformas de nuvem publicam as faixas de endereços que usam. A AWS documenta um arquivo JSON com as suas faixas de endereços IP atuais e afirma que você pode usá-lo para identificar o tráfego vindo da AWS e para permitir ou negar esse tráfego.

DNS reverso. Um registro de DNS reverso (PTR) associa um endereço de volta a um nome de host. Linhas domésticas costumam ter nomes que citam o provedor e o grupo de clientes; endereços de servidor costumam ter nomes como server-203-0-113-7.example-hosting.net ou nenhum nome.

O comportamento acrescenta um quinto sinal, mais fraco: um endereço que envia tráfego constante às três da manhã todos os dias não parece uma residência. Nada disso é um veredito. É um rótulo, e cada site decide o que ele significa para as próprias páginas.

Compartilhado ou dedicado: quem mais usa o endereço?

Um proxy de datacenter compartilhado é usado por vários clientes ao mesmo tempo; um dedicado é atribuído só a você. O compartilhado custa menos; o dedicado é previsível.

Em um endereço compartilhado, você herda o comportamento dos vizinhos. Se outro cliente sobrecarrega um site que você também usa, o site pode bloquear o endereço antes da sua primeira requisição, e você não vai saber por quê. Um endereço compartilhado também não pode entrar em uma lista de permissão, porque o que você libera fica liberado para todos que o usam.

Um endereço dedicado responde só pelo que você faz. É disso que você precisa para uma chave de API restrita ao seu IP, uma regra de firewall no seu próprio servidor ou um trabalho de monitoramento de longa duração. Os nossos endereços de datacenter são dedicados. Como todos os nossos produtos por IP, eles são entregues para o site de destino que você informa no pedido; usá-los em todos os sites é um adicional pago chamado "Acesso a todos os sites".

Proxies de datacenter IPv4 ou IPv6?

Proxies de datacenter IPv4 funcionam com quase todos os sites, mas são escassos e cobrados por endereço; proxies IPv6 são abundantes e baratos, mas só alcançam sites que suportam IPv6.

O IPv4 tem cerca de quatro bilhões de endereços, e os registros já distribuíram quase todos. O RIPE NCC, o registro da Europa, do Oriente Médio e de partes da Ásia Central, esgotou seu espaço IPv4 em 25 de novembro de 2019; membros que nunca receberam IPv4 agora entram em uma lista de espera por um único bloco /24 de 256 endereços devolvidos. Essa escassez é o motivo de um endereço IPv4 ter um preço mensal próprio.

O IPv6 elimina a escassez, mas traz dois limites. Um site sem endereço IPv6 não pode ser alcançado de forma alguma a partir de uma saída só IPv6. E como o padrão IPv6 deixa os últimos 64 bits de um endereço para o dispositivo, um segmento de rede, um /64, contém um número enorme de endereços; por isso, limites de taxa e listas de bloqueio costumam contar um /64 inteiro como um único visitante, do mesmo jeito que contariam um endereço IPv4. Mil endereços de um mesmo /64 parecem um só para esses sites.

Proxy de datacenter, ISP ou residencial: a comparação

Os três tipos diferem em quem é o titular do endereço, e quase toda diferença prática decorre disso.

DatacenterISP (residencial estático)Residencial
IP registrado em nome deEmpresa de hosting ou de nuvemISP para consumidoresISP para consumidores
Máquina por trásServidor em datacenterServidor em datacenterConexão doméstica real
Tipo que os sites veemHostingISP / residencialISP / residencial
Velocidade e disponibilidadeAlta, estávelAlta, estávelDepende da linha
O endereço muda?Não, fixo durante o aluguelNão, fixo durante o aluguelPor requisição ou por sessão
CobrançaPor IPPor IPPor GB
Trabalhos típicosAPIs, sites próprios, monitoramentoContas, listas de permissãoResultados locais em escala

A coluna ISP é o meio-termo: um endereço registrado em nome de um provedor para consumidores, mas hospedado em um servidor, então parece internet doméstica e se comporta como uma linha de datacenter. No nosso catálogo são os Proxies ISP, vendidos por IP como o produto de datacenter.

A comparação completa entre os dois tipos, com os sinais de que um endereço de datacenter não está dando conta em um site, está em Diferença entre proxy residencial e datacenter.

Quando um proxy de datacenter basta?

Um proxy de datacenter basta sempre que o destino aceita tráfego de servidores. Trabalhos típicos:

  • APIs que permitem isso. APIs públicas, APIs de parceiros e feeds de dados se importam com a sua chave e o seu ritmo de requisições, não com o tipo de endereço. Muitas deixam você restringir uma chave a IPs fixos, o que exige um endereço dedicado.
  • Seus próprios sites e ambientes de staging. Verificar o site em produção, um servidor de staging atrás de um firewall ou uma configuração de CDN de fora da rede do escritório.
  • Verificações de disponibilidade e latência em muitas regiões. A página está no ar em Singapura, quanto tempo leva o primeiro byte a partir de Frankfurt, a cadeia de certificados é validada em todo lugar?
  • Transferências de arquivos grandes. Builds, arquivos de mídia e backups trafegam rápido com a largura de banda de um datacenter, e a cobrança por IP não cobra por gigabyte.
  • Rastreamentos de SEO do seu próprio site. Rastrear as próprias páginas para encontrar links quebrados, cadeias de redirecionamento e tags ausentes.
  • Verificações de anúncios e páginas de destino em sites que não filtram. Confirmar que a página de destino, o idioma e os parâmetros de rastreamento certos carregam em cada país.

Em todos os casos, o trabalho é chegar a uma página de forma confiável e rápida, não ser tratado como um tipo específico de visitante.

Quando um proxy de datacenter não basta?

Um proxy de datacenter não basta quando o site pontua o tipo de endereço e trata tráfego de hosting como automatizado. Isso aparece em páginas de login, checkouts, filas de venda de ingressos, resultados de busca, grandes marketplaces e plataformas sociais: o site vê o rótulo de hosting e acrescenta uma etapa de verificação, deixa a requisição mais lenta ou a recusa.

Essa é a política do site, e a resposta respeitosa é aceitá-la. Quando o seu trabalho precisa legitimamente ser visto como um cliente comum, por exemplo para conferir que preços e que estoque um comprador vê em determinada cidade ou para operar todos os dias a sua própria conta de vendedor, escolha um endereço desse tipo: um endereço ISP estático para uma identidade estável, ou os Proxies residenciais para resultados locais em muitos lugares, com segmentação por país e cidade. E quando os termos de um site proíbem o acesso automatizado, nenhum tipo de proxy muda isso.

Como os proxies de datacenter são cobrados?

Proxies de datacenter são cobrados por IP e por período, geralmente um mês, não por gigabyte de tráfego. O principal custo do provedor é o próprio endereço, escasso no IPv4, enquanto a largura de banda dentro de um datacenter é relativamente barata.

Isso deixa a conta simples. Um trabalho que move 2 TB por mês por meio de 20 endereços paga por 20 endereços; o mesmo tráfego, com cobrança por GB, sai como 2.000 GB. Quanto mais dados cada endereço carrega, mais a cobrança por IP favorece você. O contrário também vale: se você precisa de milhares de endereços diferentes para poucas requisições cada, a cobrança por IP vira a opção cara.

Do nosso lado, a largura de banda dos proxies de datacenter é ilimitada, sujeita à política de uso justo, e o preço por IP cai para até R$ 4,1 por mês, conforme o seu saldo. O saldo não expira e não há assinatura.

Por que reputação de IP e sub-redes importam?

Um endereço de datacenter é julgado pelo próprio histórico e pelo dos vizinhos, porque os sites costumam agir sobre blocos inteiros, e não sobre endereços isolados. Uma sub-rede é um bloco de endereços consecutivos; um /24 são os 256 endereços que compartilham os três primeiros números, como de 203.0.113.0 a 203.0.113.255.

Quando um site vê abuso vindo de vários endereços de um mesmo /24, bloquear o bloco inteiro sai mais barato do que perseguir endereço por endereço. Para você, isso significa que um trabalho montado sobre 50 endereços de um único /24 pode parar de uma vez se outra pessoa no bloco se comportou mal. Pergunte como os seus endereços estão distribuídos entre sub-redes antes de planejar um trabalho em torno deles, e mantenha o monitoramento e qualquer tarefa mais pesada em endereços separados.

A reputação também funciona no sentido contrário: o que você envia de um endereço passa a fazer parte do histórico dele. Mantenha taxas de requisição em escala humana, respeite o robots.txt e os limites de taxa, e confira um endereço novo em listas de bloqueio públicas antes de colocá-lo em produção. Como as pontuações são construídas e como se recuperam está explicado em O que é reputação de IP e por que proxies são bloqueados.

Erros comuns

  1. Apontar um endereço de datacenter para um site que pontua o tipo de IP. Um endereço limpo não muda de tipo; para esses sites, o errado é o produto, não o provedor.
  2. Comparar um preço de endereço compartilhado com um de endereço dedicado. As linhas mais baratas de muitas tabelas de preços são endereços compartilhados. Compare o que é comparável.
  3. Comprar todos os endereços em um mesmo /24. Para muitos sites, 50 endereços em um bloco se comportam como um só.
  4. Usar IPv6 para um destino que não tem endereço IPv6. A requisição não consegue chegar ao site. Verifique antes de comprar.
  5. Esquecer a restrição de site de destino. Um endereço de produto por IP, entregue para um site, falha em outro. Contrate "Acesso a todos os sites" se o trabalho abrange muitos sites.
  6. Ler "ilimitado" sem a nota de rodapé. A largura de banda ilimitada segue uma política de uso justo; leia-a antes de planejar uma transferência pesada.

Guia de decisão

NecessidadeRecomendação
Chamadas de API a partir de um IP fixo em lista de permissãoIPv4 dedicado de datacenter
Verificações de disponibilidade e latência em muitos paísesDatacenter, um ou mais IPs por país
Transferências de arquivos grandesDatacenter (por IP, não por GB)
Rastrear o próprio siteDatacenter
Uma identidade estável para uma contaProxy ISP estático
O que compradores veem em muitas cidadesResidencial com segmentação por cidade
Site que exige verificação do tráfego de hostingISP ou residencial, não datacenter
Destino acessível por IPv6, volume enormeDatacenter IPv6

Perguntas frequentes

Um proxy de datacenter pode ser detectado?

Sim, como endereço de datacenter. O registro, os bancos de dados de inteligência de IP e as faixas de nuvem publicadas mostram que o endereço pertence a uma empresa de hosting, e nada na sua requisição muda isso. Se um site age com base nisso depende do site: muitos não se importam, alguns pedem verificação ou recusam tráfego de hosting.

Qual é a diferença entre um proxy de datacenter e um residencial?

Um proxy de datacenter sai por um endereço de servidor registrado em nome de uma empresa de hosting; um proxy residencial sai por um endereço que um ISP atribuiu a uma residência. O de datacenter é mais rápido, estável e cobrado por IP; o residencial é aceito em mais sites de consumo, oferece segmentação por cidade e é cobrado por gigabyte.

Proxies de datacenter são legais?

Sim. Um proxy é uma ferramenta de rede padrão, usada todos os dias para monitoramento, testes e trabalho com APIs. O que torna uma atividade lícita ou não é o que você faz por meio dele: os termos do site, a lei de proteção de dados e as regras do país onde você trabalha continuam valendo.

Devo comprar proxies de datacenter compartilhados ou dedicados?

Compre endereços dedicados quando o trabalho precisa de previsibilidade: uma entrada em lista de permissão, uma sessão longa, um monitoramento em que você confia. Endereços compartilhados são mais baratos, mas carregam o histórico de outros clientes, e você não pode colocar em uma lista de permissão um endereço que outros também usam.

Por que meu IP de datacenter está bloqueado em um site, mas não em outro?

Cada site define as próprias regras. Um pode recusar todos os endereços de hosting, outro pode ter bloqueado a sua sub-rede depois de abuso de um vizinho, e um terceiro pode estar reagindo ao seu próprio ritmo de requisições. Nos produtos por IP, confira também se o endereço foi pedido para aquele site: a restrição de site de destino faz as requisições a outros sites falharem.

Posso escolher o país de um proxy de datacenter?

Sim, você escolhe o país no pedido, porque o endereço fica em um datacenter naquele país. Escolher a cidade não é comum em endereços de datacenter; se você precisa de uma cidade específica, os proxies residenciais e móveis oferecem segmentação por cidade.

Em resumo

Um proxy de datacenter é um endereço de servidor de propriedade de uma empresa de hosting ou de nuvem: rápido, estável, estático e cobrado por IP. Os sites conseguem ver esse tipo em registros públicos, então ele é a ferramenta certa quando o destino aceita servidores (APIs, seus próprios sites, monitoramento, grandes transferências) e a errada quando um site trata tráfego de hosting como automatizado. Escolha endereços dedicados distribuídos entre sub-redes, prefira IPv4, a menos que o destino suporte IPv6, e passe para um proxy ISP ou residencial quando o trabalho precisa ser visto como um visitante comum.