¿Qué es un pool de proxies y cómo funciona?

Publicado:

16 min de lectura

Acar Diveroli
Autor: Acar Diveroli
Bloque isométrico de gateway ante nodos IP sobre baldosas de países; un nodo elegido es azul y dos en pausa van perfilados

La página del producto hablaba de más de cien millones de IP residenciales. Apuntaste una comprobación de precios a una sola ciudad, enviaste 200 peticiones a través del gateway y contaste las direcciones en tu registro: algo más de 150 distintas, y unas cuantas aparecían tres veces. ¿Era el pool más pequeño de lo prometido? Normalmente no. Nunca sacabas direcciones del pool entero, solo de la porción que coincidía con tu ciudad en ese momento, y las elecciones al azar dentro de cualquier porción se repiten antes de lo que dicta la intuición.

Este artículo explica qué es un pool de proxies, cómo se divide en porciones y se mantiene sano, por qué el tamaño anunciado no es el tamaño que tú obtienes y cómo estimar y probar lo que necesita un trabajo.

¿Qué es un pool de proxies?

Un pool de proxies es una colección de direcciones IP de salida gestionada como un único recurso, de modo que las peticiones puedan salir desde direcciones distintas sin que tengas que configurar cada una. La IP de salida es la dirección que ve el sitio web de destino; el pool es el conjunto de todas las salidas que se pueden elegir.

Te encontrarás con dos formas. Con un gateway (también llamado backconnect), te conectas a un único host:port, como pr.proxynet.io:8000, y el proveedor elige la salida del pool que hay detrás. Con un montaje estático, recibes una serie fija de direcciones y tu propio código reparte las peticiones entre ellas. Ambas son pools; se diferencian en quién hace la elección.

«Pool de IP» también designa el rango de direcciones que un servidor DHCP o un proveedor de internet asigna a sus propios clientes. Eso es otra cosa. Aquí un pool es siempre el conjunto de salidas de proxy disponibles para tus peticiones. Los Proxies residenciales de nuestra red son un ejemplo de la forma gateway: más de 140 millones de IP, y más de 160 millones de IP si se suman las móviles, en más de 190 países.

¿Cómo funciona un pool de proxies?

Un pool funciona filtrando primero y eligiendo después: cada conexión nueva reduce el pool a las direcciones que encajan con tu petición y luego toma una de ellas.

  1. Te conectas al gateway por HTTP, HTTPS o SOCKS5 y te autenticas con usuario y contraseña o con una IP incluida en la lista de permitidos.
  2. El gateway lee tus parámetros. País, ciudad, red y ajustes de sesión suelen llegar como parámetros añadidos al nombre de usuario.
  3. El pool se filtra hasta una porción. Solo las salidas que cumplen todos los parámetros siguen siendo candidatas.
  4. Se descartan las salidas que no están sanas. Quedan fuera las direcciones que fallaron hace poco, se desconectaron o están en pausa tras varios errores.
  5. Se elige una salida. O bien una salida nueva, o bien la que ya está ligada a tu identificador de sesión.
  6. Se transmite el tráfico. El destino ve la dirección de la salida elegida. Una conexión fallida o agotada por tiempo vuelve a alimentar el paso 4.

Los pasos 3 y 4 son el tema de este artículo. El paso 5, las reglas que deciden cuándo cambia la salida, se explica en Qué es la rotación de IP y cómo funciona, así que más abajo solo lo resumimos.

Pool de proxies y lista de proxies: ¿en qué se diferencian?

Una lista de proxies es una serie fija de direcciones que gestionas tú; un pool con gateway es un conjunto cambiante que el proveedor gestiona por ti.

Lista de proxiesPool con gateway
Qué recibesDirecciones, una por líneaUn único endpoint
Quién elige la salidaTu códigoEl gateway
Quién retira las salidas caídasTúEl gateway
¿Conoces cada IP?SíNo, solo las reglas de la porción
Facturación habitualPor IPPor GB

Una lista te da control: puedes añadir cada dirección a una lista de permitidos y conservarla durante meses. Un pool con gateway te da alcance, y del estado de las direcciones se ocupa el otro lado.

¿Cómo se divide un pool de proxies?

Un pool se divide según atributos de cada dirección de salida, y cada filtro que añades reduce el conjunto de candidatas. Las tres porciones habituales son país, ciudad y red.

El país es la porción que necesita casi cualquier trabajo, porque los precios, el idioma y el stock cambian en la frontera. La ciudad la estrecha para lo que varía por región: plazos de entrega, anuncios locales, disponibilidad en tienda. La red es el sistema autónomo al que pertenece una dirección. Según el RFC 1930, un sistema autónomo es un grupo de prefijos IP gestionado por uno o varios operadores con una política de enrutamiento única y claramente definida; en la práctica, la red de un proveedor de internet, identificada por un número de sistema autónomo (ASN).

En nuestra red eliges país y ciudad en los proxies residenciales y móviles, y los residenciales añaden segmentación por ASN sin coste adicional. Cada filtro es un intercambio: con los Proxies móviles, la porción de una ciudad es mucho más pequeña que la de su país, así que un objetivo estrecho gana precisión a cambio de menos direcciones distintas.

¿Por qué el tamaño del pool no es el tamaño que obtienes?

El tamaño anunciado es el total de todos los países y redes; tu trabajo recibe la porción que coincide, en ese momento, menos las direcciones que están en pausa. Tres cosas la reducen.

Primero, la porción: un país contiene una fracción del pool, y una ciudad, una fracción de esa fracción. Después, el tiempo: las salidas residenciales y móviles son conexiones reales que aparecen y desaparecen a lo largo del día. Por último, el estado: las direcciones que fallan o están en pausa se saltan hasta que se recuperan.

Incluso dentro de una porción sana, la elección al azar se repite. En nuestra máquina de pruebas simulamos elecciones aleatorias uniformes con un script corto de Node.js: 100 elecciones en una porción de 5.000 salidas dieron de media unas 99 direcciones distintas, y aun así al menos una dirección salió dos veces en aproximadamente 6 de cada 10 ejecuciones. En una porción de 500, las mismas 100 elecciones dieron unas 91 direcciones distintas. Es pura probabilidad, no un fallo. Los gateways reales no eligen de forma perfectamente aleatoria, así que toma estas cifras como un modelo, no como una medición de ningún servicio.

¿Qué mantiene sano un pool de proxies?

Un pool se mantiene sano cuando las salidas que fallan se retiran rápido y las salidas a las que un sitio pidió bajar el ritmo reciben tiempo antes de volver a usarse. El gateway se encarga de lo primero; tu cliente, de lo segundo.

En el lado del gateway, una salida que rechaza conexiones, agota el tiempo de espera o desaparece de la red sale del conjunto de candidatas y se vuelve a comprobar más tarde. Por eso una sesión fija también puede moverse: si la salida ligada desaparece, la sesión pasa a otra.

En tu lado, lee la respuesta. Un 429 Too Many Requests significa que el cliente envió demasiadas peticiones en un tiempo dado, y el RFC 6585 señala que el estándar no define cómo identifica el servidor al usuario ni cómo cuenta las peticiones. Un sitio puede contar por cuenta, cookie o sesión, así que cambiar de salida no reinicia su contador.

La respuesta respetuosa es una pausa (cooldown): parar, esperar y volver más despacio. Cuando la respuesta trae una cabecera Retry-After, su valor, en segundos o como fecha, te dice cuánto esperar. Un pool grande reparte la carga entre direcciones; no hace aceptable un ritmo total más alto.

Rotativo o fijo: ¿cómo sacas direcciones del pool?

Sacas direcciones de un pool con una salida nueva en cada conexión nueva (rotativo) o con la misma salida durante una sesión a la que tú das nombre (sesión fija o sticky). La elección decide cuántas direcciones distintas toca tu trabajo.

Con la selección rotativa, un trabajo de 1.000 cargas de página independientes puede tocar hasta 1.000 direcciones. Con una sesión fija añades un identificador de sesión al nombre de usuario y el gateway mantiene ese identificador en una sola salida; en nuestros proxies residenciales y móviles la duración se ajusta entre 1 y 60 minutos. Veinte workers (procesos en paralelo) con veinte identificadores de sesión usan veinte salidas a la vez. Rota para páginas públicas independientes; usa sesión fija para todo lo que tenga estado, como un inicio de sesión, un carrito o una paginación.

Compartido o dedicado: ¿quién más saca direcciones del pool?

De un pool compartido sacan direcciones muchos clientes; un pool dedicado es un conjunto de direcciones asignadas solo a ti. Los pools con gateway para tráfico residencial y móvil son compartidos: la salida que usas ahora puede atender a otro cliente una hora después.

Una dirección arrastra su propio historial, así que un sitio puede reaccionar ante una salida por lo que se envió antes a través de ella. Cuando un trabajo necesita una dirección que responda solo de tu tráfico, como una entrada en una lista de permitidos o una cuenta de larga duración, usa una dedicada. Un conjunto de direcciones así es lo que suele llamarse un «pool de proxies privado» (private proxy pool).

¿Cuándo es tu pool una lista de IP estáticas?

Tu pool es una lista estática cuando alquilas direcciones fijas y dedicadas y repartes tú mismo el trabajo entre ellas. Nuestros proxies ISP estáticos ofrecen más de 240.000 IP dedicadas en más de 20 países, y nuestros Proxies de centro de datos, más de 2 millones de direcciones IPv4 dedicadas en más de 50 países, alojadas en centros de datos TIER 3+.

Un pool estático es pequeño y predecible: quizá 10 o 50 direcciones, todas conocidas, que tu código elige por turnos y aparta cuando empiezan a fallar. Hay dos detalles que conviene incluir en el plan de trabajo. Estos productos por IP se entregan para el sitio de destino que indicas al hacer el pedido, y el uso en todos los sitios web es un complemento de pago llamado Access to all websites. El ancho de banda de los productos estáticos es ilimitado, sujeto a la política de uso razonable.

¿Cuántas IP necesita de verdad un trabajo?

Un trabajo necesita tantas direcciones como sesiones ejecuta a la vez, sacadas de una porción lo bastante grande para que las repeticiones no afecten al resultado. Aquí tienes un ejemplo con cifras supuestas:

  • El trabajo: revisar cada día 12.000 páginas públicas de producto de una tienda en línea, tal como se ven desde un país.
  • El ritmo: el sitio tolera en total una petición tuya cada 7 segundos aproximadamente, unas 500 páginas por hora. El ritmo lo marca el sitio, no el pool.
  • Las sesiones: 4 workers, cada uno con una sesión fija de 10 minutos. Son 4 salidas a la vez y 4 × 6 × 24 = 576 sesiones al día.
  • La porción: una porción de país con unos cuantos miles de salidas sanas cubre 576 sesiones con pocas repeticiones; una sola ciudad quizá no, lo cual es aceptable para páginas públicas.
  • El tráfico: a 1,5 MB por página con sus recursos, el día mueve unos 18 GB. Esa cifra, y no el número de IP, es lo que se factura en un modelo por GB.

Para la parte de la facturación, las preguntas que conviene hacerse antes de comprar están en Qué tener en cuenta al comprar un proxy: 10 preguntas.

¿Cómo se prueba un pool de proxies?

Un pool se prueba con una muestra: envía peticiones, cada una en una conexión nueva, a un servicio que te devuelva tu IP, y después cuenta las direcciones distintas y comprueba su ubicación. Con un objetivo de país y selección rotativa, una muestra de 50 debería devolver direcciones en su mayoría distintas.

bash
for i in $(seq 1 50); do
  curl -s -x http://user:pass@pr.proxynet.io:8000 https://api.ipify.org; echo
done | sort | uniq -c | sort -rn

Cada llamada a curl abre su propia conexión, de modo que la reutilización de conexiones no puede ocultar la rotación, y las direcciones repetidas suben al principio de la salida. Comprobamos esta cadena de conteo en nuestra máquina de pruebas contra un pequeño servidor de eco local; sustituye las credenciales de ejemplo por las tuyas.

Si casi todas las líneas muestran la misma dirección, hay en uso un identificador de sesión fija o una dirección estática. Unas pocas repeticiones en una porción estrecha de ciudad son normales. Para confirmar el país de cada salida y buscar fugas, sigue ¿Funciona tu proxy? Cómo probar un proxy.

Dónde te encuentras con pools de proxies

Los equipos de monitorización de precios usan porciones de país o de ciudad para ver los precios y el stock que ve un comprador local. La verificación de anuncios comprueba que en cada mercado aparecen el anuncio y la página de destino correctos, a menudo con salidas móviles para las ubicaciones dentro de aplicaciones. Los equipos de localización y de pruebas de aplicaciones revisan idioma, moneda y contenido regional antes de un lanzamiento, con sesiones fijas para que un flujo de varios pasos se quede en una sola dirección. La investigación de mercado recoge anuncios públicos de muchas regiones. Las cuentas y las API con lista de permitidos, en cambio, van sobre direcciones estáticas dedicadas.

Errores comunes

  1. Juzgar el pool por su cifra de portada. Tu trabajo usa la porción a la que apuntas, a esa hora, menos las direcciones en pausa.
  2. Apuntar a una ciudad cuando bastaría el país. Una porción más estrecha da menos salidas distintas.
  3. Tomar un pool más grande como permiso para enviar más rápido. El ritmo lo marca el sitio. Un 429 significa bajar el ritmo, uses la salida que uses.
  4. Reintentar enseguida con una salida nueva. Si el sitio pidió una pausa, una dirección nueva no cambia eso.
  5. Dar el mismo identificador de sesión a todos los workers. Todos comparten una sola salida y se comportan como un único cliente.
  6. Usar un pool compartido donde una lista de permitidos necesita una IP fija. Una salida compartida cambia; una lista de permitidos necesita una dirección dedicada.

Guía de decisión

NecesidadRecomendación
Muchas páginas públicas, un paísPool con gateway, porción de país, rotativo
Inicio de sesión, carrito o flujo de varios pasosUna sesión fija por flujo
Lo que ven los clientes de un proveedor de internetPool residencial con segmentación por ASN
Anuncios dentro de aplicaciones o contenido solo móvilPool móvil, porción de país o de ciudad
Lista de permitidos de una API o cuenta de larga duraciónIP dedicada estática ISP o de centro de datos
Pocas direcciones fijas que gestionas túLista estática, rotada en tu código
El sitio devuelve 429Pausa y un ritmo menor, no más salidas

Preguntas frecuentes

¿Qué significa pool de proxies?

Un pool de proxies es el grupo de direcciones IP de salida entre las que un servicio de proxy o tu propio código puede elegir para las peticiones salientes. En lugar de una sola dirección de proxy tienes muchas, y cada petición o sesión sale por una de ellas según las reglas que fijes.

¿Cuántos proxies necesito?

Necesitas tantas direcciones como sesiones ejecutes a la vez, de una porción lo bastante grande para que las repeticiones no afecten a tus resultados. Parte del ritmo que acepta el sitio de destino y del número de workers en paralelo. Con un pool con gateway no compras direcciones una a una; eliges la porción y pagas por el tráfico.

¿Un pool de proxies más grande siempre es mejor?

No. Un pool más grande solo ayuda si la porción a la que apuntas es mayor y está sana en las horas en que trabajas. Para un sitio en un país, una porción bien mantenida suele importar más que el total. Para listas de permitidos y cuentas, una sola dirección dedicada sirve mejor que cualquier pool.

¿Qué diferencia hay entre un pool de proxies y un proxy rotativo?

El pool es el conjunto de direcciones; un proxy rotativo es el servicio que elige de él una dirección nueva en cada conexión nueva. La rotación es una forma de sacar direcciones del pool, y la sesión fija es otra forma de sacarlas del mismo pool.

¿Qué es un pool de proxies privado?

Un pool de proxies privado es un conjunto de direcciones asignadas solo a ti, normalmente direcciones ISP estáticas o de centro de datos. Mientras son tuyas, ningún otro cliente envía tráfico por ellas, así que su historial es el tuyo. Encajan con cuentas, listas de permitidos y monitorización de larga duración.

¿Son seguros los pools de proxies gratuitos?

Las listas de proxies gratuitos recopiladas en internet son una mala elección para cualquier cosa importante. No sabes quién gestiona los servidores, quien los gestione puede leer o alterar el tráfico sin cifrar, y muchos dejan de funcionar en cuestión de horas. Usa proxies de un proveedor con el que tengas un acuerdo.

En resumen

Un pool de proxies es el conjunto de direcciones de salida entre las que elige un gateway o tu propio código. El gateway filtra el pool por tu país, ciudad o red, descarta las salidas que fallan o están en pausa y elige una por conexión o por sesión. Planifica un trabajo a partir de la porción, no de la cifra de portada: cuenta las sesiones en paralelo, comprueba que la porción es lo bastante grande para las repeticiones que puedes aceptar, respeta el ritmo que marca el sitio y prueba con una muestra de direcciones distintas. Usa un pool compartido con gateway para trabajo público en muchos lugares y una dirección estática dedicada donde una identidad no deba cambiar.