Diferença entre proxy residencial e datacenter

Publicado:

14 min de leitura

Acar Diveroli
Autor: Acar Diveroli
Comparação entre proxy residencial e de datacenter: conexão doméstica e rack de servidor

Os dois tipos de proxy fazem o mesmo trabalho: a sua requisição chega ao site de destino não com o seu endereço, mas com outro IP. A diferença entre eles está em de onde vem esse IP. No proxy residencial, o endereço pertence a uma assinatura de internet doméstica real; no proxy de datacenter, a um servidor dentro de um data center. Essa única diferença determina a velocidade, o preço e, o mais importante, como o site de destino trata você.

Neste artigo explicamos como os dois tipos funcionam, por qual método os sites entendem a diferença, por que os modelos de custo se diferenciam e qual deles escolher em cada trabalho, com cenários concretos. No fim, tratamos de como usar os dois tipos juntos no mesmo projeto e do proxy ISP, que fica entre os dois.

O que é proxy residencial?

O Proxies residenciais usa endereços IP que os provedores de internet distribuem para residências. Quando o site de destino consulta esse endereço, encontra do outro lado o assinante individual de um provedor de acesso, como Vivo, Claro ou Comcast. Ou seja, o tráfego parece vir da conexão doméstica de um usuário comum.

Esses endereços geralmente vêm de um pool amplo e podem mudar a cada requisição ou em intervalos determinados. É possível segmentar por país, cidade e operadora; é a ferramenta ideal para comparar como o mesmo conteúdo aparece em Istambul e em Berlim. Você pode ver os pontos de saída na Turquia na nossa página de localização da Turquia.

Os pools residenciais têm duas variações, e diferenciá-las facilita a sua escolha:

  • Residencial rotativo: o endereço muda a cada requisição ou depois de um determinado tempo. Adequado para capturas de página independentes.
  • Residencial sticky: o mesmo endereço permanece com você por um período determinado. Necessário em fluxos com login, que mantêm carrinho de compras ou que têm várias etapas. Os detalhes dessa opção estão na página de Proxies de sessão fixa.

O que é proxy de datacenter?

O Proxies de datacenter fornece IP de servidores em data centers de provedores de nuvem e empresas de hospedagem. Por trás desses endereços não há um usuário doméstico; há máquinas com conexões potentes e funcionamento ininterrupto.

Como resultado, o proxy de datacenter é rápido, tem baixa latência e o custo unitário é bem menor que o do residencial. Em troca, tem um preço a pagar: fica fácil identificar que o endereço pertence a um data center.

Os endereços de datacenter também são vendidos em duas formas:

  • Compartilhado: o mesmo IP é usado por mais de um cliente. É barato, mas o comportamento de outro usuário pode reduzir a reputação do endereço.
  • Privado (dedicado): o endereço é só seu. Explicamos por que um endereço sem compartilhamento é mais seguro no artigo O que é proxy privado?.

Como o site de destino percebe a diferença?

Todo endereço IP pertence a um ASN (número de sistema autônomo), e o dono desse número aparece em registros públicos. Quando um site olha o ASN de uma requisição recebida, vê em uma única consulta a diferença entre "provedor de internet doméstico" e "empresa de hospedagem". Você pode conferir como os registros de ASN são mantidos na tabela de números AS da IANA.

Para essa consulta, os sites geralmente recorrem a bancos de dados prontos de inteligência de IP. Esses bancos classificam cada bloco de endereços em tipos como "ISP", "hospedagem", "móvel", "corporativo", e o sistema que examina a requisição gera uma decisão em milissegundos. Ou seja, para um IP de datacenter ser "pego", ninguém precisa estar monitorando você; o tipo do bloco de endereços já está registrado.

Muitos sites não bloqueiam diretamente o tráfego de data center; mas o tratam com desconfiança. Em pontos sensíveis, como páginas de login, etapas de carrinho, resultados de busca e listas de preço, IPs de datacenter esbarram com mais frequência em CAPTCHA, limite de taxa ou resposta vazia. Já os IPs residenciais, por virem dos mesmos blocos de endereço que usuários reais, passam por esses filtros com mais facilidade.

Quais são os sinais de bloqueio?

Existem alguns indícios típicos de que um IP de datacenter está se mostrando insuficiente em um determinado alvo. Identificá-los cedo permite basear em dados a decisão de migrar para residencial:

  • Respostas 403 ou 429. O site recusa a requisição de forma explícita ou aplica limite de taxa.
  • 200, mas conteúdo vazio. O código de resposta parece bem-sucedido, mas o corpo da página está vazio, truncado ou é uma página intermediária do tipo "verificando acesso". Essa é a forma de bloqueio mais dissimulada, porque o seu script não recebe erro.
  • Aumento na taxa de CAPTCHA. Em automação de navegador, uma parte das sessões começa a cair em tela de verificação.
  • Conteúdo diferente. A mesma página aparece diferente em um navegador real e diferente via proxy. Essa diferença é comum em informações de preço e estoque.

Se você observa algum desses sinais, o problema pode não estar no seu código, mas no bloco de endereços de onde vem o tráfego.

As diferenças principais em uma tabela

CritérioProxy residencialProxy de datacenter
Origem do IPAssinatura de internet domésticaServidor de data center
Aparência de ASNProvedor de acessoEmpresa de hospedagem/nuvem
Risco de detecçãoBaixoMédio-alto (depende do alvo)
Velocidade e latênciaVariável, depende da linha domésticaAlta velocidade, baixa latência
Continuidade de conexãoO endereço pode mudar com o tempoEndereço fixo e estável
Segmentação por localizaçãoPaís, cidade, operadoraGeralmente país ou região
Tamanho do poolMuito amplo, dinâmicoLimitado, blocos fixos
CobrançaMajoritariamente por tráfego (GB)Majoritariamente por IP e período
Uso típicoSites protegidos, teste de localização, contasDownload em massa, testes, APIs abertas

Por que os modelos de custo são diferentes?

O preço dos dois tipos se diferencia não só em número, mas também na unidade de medida. No proxy residencial, o pagamento costuma ser feito com base no volume de dados transferido, porque por trás de cada endereço do pool existe uma conexão real, e o custo surge conforme o recurso é usado. Já no proxy de datacenter, os endereços estão na própria infraestrutura do provedor; por isso, o pagamento é feito por IP e por período, e o tráfego costuma ser ilimitado.

A consequência prática dessa diferença é: se você baixa arquivos grandes ou busca páginas pesadas milhares de vezes, o custo de tráfego no residencial cresce rápido. Se você busca respostas pequenas de API ou páginas HTML leves, o mesmo orçamento rende muito mais. Ao planejar o orçamento, medir primeiro o tamanho médio de resposta mostra em números qual tipo é mais econômico. Você pode comparar os pacotes atuais nas páginas de preço de residencial e datacenter.

Em que situação escolher proxy residencial?

Se o site de destino fiscaliza rigorosamente o visitante e um bloqueio interrompe o seu fluxo de trabalho, o custo extra do proxy residencial se paga:

  • Coletar dados de sites protegidos. Páginas de e-commerce, ingressos, imóveis e motores de busca sinalizam rapidamente o tráfego de data center. Em projetos de extração de dados, o tipo de IP costuma ser o que determina a taxa de sucesso.
  • Ver conteúdo que muda por localização. Resultados de busca, anúncios e preços variam por cidade. Para SEO e monitoramento de SERP ou verificação de anúncios, você precisa ver o que um usuário real vê.
  • Monitoramento de preços. Marketplaces podem exibir o preço de acordo com a localização e o tipo do visitante. Para equipes de monitoramento de preços, o IP residencial garante que o preço que você vê seja o mesmo que o cliente real vê.
  • Gestão de contas. Contas de redes sociais e marketplaces podem pedir verificação adicional quando o login vem de um endereço de datacenter. Você sente essa diferença diretamente em cenários de proxy para redes sociais.
  • Teste de localização. Verificar como o seu aplicativo ou site aparece para usuários de países diferentes; mais detalhes na nossa página de localização.

Em que situação o proxy de datacenter é suficiente?

Se o site de destino não usa um filtro agressivo contra bots, a velocidade e o preço do proxy de datacenter fazem sentido:

  • Testar os seus próprios sistemas. Teste de carga, verificar a acessibilidade da aplicação a partir de regiões diferentes, ou medir o comportamento do CDN. Em cenários de teste de aplicativos, o que importa não é o tipo do endereço, mas a distribuição geográfica.
  • APIs abertas e páginas sem proteção. Dados públicos, sites de documentação, feeds RSS, portais de dados abertos.
  • Trabalhos em massa em que a velocidade é prioridade. Downloads de arquivos grandes ou sessões longas em que a latência é crítica.
  • Acesso à sua própria infraestrutura. Servidores aos quais você precisa se conectar a partir de um IP fixo diferente, endereços já autorizados na lista branca do firewall.
  • Fase inicial de exploração. Ao testar um alvo pela primeira vez, descobrir de forma barata com datacenter se existe bloqueio, e só então decidir.

Usando os dois tipos juntos no mesmo projeto

A maioria das arquiteturas maduras de coleta de dados não usa um único tipo; usa os dois tipos em camadas. A lógica é simples: torne o barato e rápido o padrão, e acione o caro apenas quando necessário.

  1. Rastreie as páginas de listagem com datacenter. Categorias e resultados de busca costumam ser menos protegidos e exigir muitas requisições.
  2. Capture o sinal de bloqueio. Ao ver 403, 429, corpo vazio ou página de CAPTCHA, marque essa requisição.
  3. Repita apenas as requisições marcadas com residencial. Páginas de detalhe, etapas que exigem login e blocos de preço protegidos ficam nessa camada.
  4. Monitore a proporção. Se a porcentagem de requisições que caem no residencial aumenta com o tempo, significa que o site de destino está reforçando a proteção; a estratégia é atualizada de acordo.

Essa arquitetura reduz o tráfego residencial a uma pequena fração do tráfego total e diminui o orçamento de forma significativa. Do lado do código, o que você precisa fazer é escrever uma camada que tenta novamente com um proxy diferente em caso de erro; você encontra um exemplo disso em Python no artigo Como fazer a rotação de proxies em Python?.

Entre os dois: o proxy ISP

Alguns projetos querem as vantagens dos dois mundos ao mesmo tempo: aparecer com um ASN residencial, mas trabalhar com um endereço fixo e com a estabilidade de um data center. O Proxies ISP oferece exatamente isso. O endereço é registrado a um provedor de acesso, mas, por ser hospedado em infraestrutura de servidor, é rápido e contínuo.

Em cenários em que você precisa manter uma sessão aberta com o mesmo IP por muito tempo, ele costuma ser a opção mais equilibrada:

  • Atribuir um endereço fixo e imutável a cada conta,
  • Manter uma conexão estável e de baixa latência em clientes de jogos,
  • Gerenciar uma loja de marketplace todos os dias a partir do mesmo endereço.

Em contrapartida, as opções de localização do proxy ISP não são tão amplas quanto o pool residencial, e, como o endereço não muda, ele não oferece rotação por requisição. Ou seja, não foi feito para trabalhos que exigem "muitos endereços, troca frequente", e sim para trabalhos que exigem "poucos endereços, longa duração".

Se você quiser comparar o proxy residencial com o proxy móvel, veja nosso artigo Diferença entre proxy residencial e móvel; o uso compartilhado de endereços móveis pela operadora dá a eles uma vantagem diferente.

Guia de decisão

Você pode usar a tabela abaixo para ver rapidamente qual tipo se encaixa na sua necessidade:

Sua necessidadeRecomendação
Alto volume de dados em site sem proteçãoDatacenter
Páginas protegidas de e-commerce ou buscaResidencial (rotativo)
Fluxo com login, de várias etapasResidencial (sticky) ou ISP
IP fixo e de longa duração para cada contaISP
Localização no nível de cidade ou operadoraResidencial
Testar os seus próprios servidoresDatacenter
Orçamento limitado, alvo variadoDatacenter como padrão, residencial como reserva

Perguntas frequentes

Sim. O tipo de proxy não determina a legalidade; o que você faz é que determina. Coletar dados públicos de acordo com os termos de uso do site e com a legislação vigente é possível com os dois tipos. Mais detalhes no artigo A extração de dados é legal?.

O proxy residencial é sempre melhor?

Não. Usar proxy residencial para um alvo sem proteção significa fazer o mesmo trabalho de forma mais lenta e mais cara. Testar primeiro com datacenter e migrar para residencial no ponto em que você encontra um bloqueio é o caminho mais eficiente para a maioria dos projetos.

Posso usar os dois juntos no mesmo projeto?

Pode, e na maioria das vezes faz sentido. Rastrear páginas de listagem rapidamente com IPs de datacenter e migrar para IP residencial só nas páginas de detalhe protegidas reduz bastante o custo. A arquitetura em camadas descrita acima é exatamente isso.

Por que o proxy residencial é mais lento?

Por trás do endereço há uma conexão doméstica; a velocidade depende da capacidade daquela linha e da carga no momento. Já o servidor do data center está ligado a um backbone de alta capacidade. A diferença não se sente na maioria das requisições web, mas fica evidente em downloads de arquivos grandes.

Se um site bloqueou meu IP de datacenter, o que fazer?

Primeiro, reduza a velocidade das requisições e tente de novo; o bloqueio muitas vezes vem não do tipo do endereço, mas da frequência das requisições. Se reduzir a velocidade não resolver, migre para a camada residencial naquele alvo. Insistir no mesmo endereço de datacenter pode fazer o bloqueio se tornar permanente.

Como verifico se um IP é residencial ou de datacenter?

Ferramentas públicas que consultam o ASN do endereço mostram o dono daquele bloco. Se o dono é um provedor de acesso, é residencial; se é uma empresa de hospedagem ou nuvem, é datacenter. O painel do seu provedor de proxy geralmente também indica o tipo do endereço.

Em resumo

Se o seu site de destino não questiona o tráfego recebido, o proxy de datacenter é uma solução rápida e econômica. Se os sites mudam de comportamento conforme o tipo de IP, o proxy residencial, com sua aparência de usuário real, reduz os obstáculos. Quando você precisa de endereço fixo e aparência residencial ao mesmo tempo, entra o proxy ISP. Para a maioria dos projetos, o caminho mais eficiente é tornar o datacenter o padrão e usar o residencial apenas nos pontos em que há bloqueio. Para comparar preços, veja as páginas de residencial e datacenter.