¿Qué es la agregación de datos? Métodos y ejemplos

Publicado:

16 min de lectura

Acar Diveroli
Autor: Acar Diveroli
Muchas tarjetas pequeñas de origen a la izquierda de un fondo oscuro convergen en una tarjeta azul de resumen elevada

Una pequeña tienda online vende en su propio sitio web y en dos marketplaces. El lunes por la mañana, la dueña hace una sola pregunta: ¿cuánto vendimos ayer? La respuesta está repartida en tres exportaciones con tres estructuras de columnas, dos monedas y marcas de tiempo en dos zonas horarias, y un pedido aparece dos veces porque se reembolsó y se volvió a hacer. Convertir esos archivos en una cifra honesta es agregación de datos.

Este artículo explica los dos sentidos del término, los pasos de un trabajo de agregación, las funciones que resumen, la agregación por tiempo y por lugar, ejemplos que van de la comparación de precios a la banca abierta, el punto en que los datos agregados dejan de ser anónimos y los errores que distorsionan un total.

¿Qué es la agregación de datos?

La agregación de datos es combinar datos de varias fuentes o de muchos registros y expresarlos como un resumen. La palabra se usa con dos sentidos relacionados, y la mayoría de los trabajos reales incluyen ambos.

El primer sentido es la recopilación desde muchas fuentes: llevar registros de distintos sistemas, archivos o sitios web a un único conjunto de datos con una sola estructura. Un sitio de viajes que muestra tarifas de muchas aerolíneas es un agregador en este sentido.

El segundo sentido es resumir: reducir muchas filas a unos pocos valores. Miles de líneas de pedido se convierten en «1.284 pedidos, 52.300 euros de ingresos, 40,73 euros por pedido» al día. En estadística y en bases de datos, agregación suele significar este segundo paso, y el resultado se llama datos agregados o datos resumidos.

El glosario del NIST, el instituto de normalización de EE. UU., define la agregación de forma sencilla como la consolidación de información similar o relacionada.

¿Qué diferencia hay entre datos brutos, agregados y desagregados?

Los datos brutos son los registros individuales tal como se capturaron, los datos agregados son un resumen de esos registros y los datos desagregados son un resumen dividido de nuevo en subgrupos. En estadística, los registros individuales también se llaman microdatos.

Una lista de 5.000 compras con hora, producto y tienda son datos brutos. «Ingresos por día» son datos agregados. «Ingresos por día, divididos por tienda y categoría» son datos desagregados: siguen siendo un resumen, pero con un nivel de detalle más fino.

El nivel de detalle, es decir, lo que representa cada fila, es la decisión clave. Si es demasiado grueso, ocultas el patrón que buscabas, como una tienda que arrastra el promedio hacia abajo. Si es demasiado fino, los grupos se vuelven tan pequeños que el resumen revela a personas concretas.

¿Cómo funciona la agregación de datos?

Un trabajo de agregación lleva las fuentes a una misma forma, las limpia y después calcula resúmenes por grupo. Siete pasos cubren la mayoría de los trabajos, tanto si una persona los hace en una hoja de cálculo como si un programador de tareas los ejecuta cada hora:

  1. Define la pregunta y la unidad. «Ingresos por día y país, en euros, según la fecha del pedido en la zona horaria de la tienda» es una definición; «cifras de ventas» no lo es.
  2. Recopila de cada fuente. Exportaciones, consultas a bases de datos, API oficiales o páginas web públicas, anotando en cada caso cuándo se obtuvieron.
  3. Normaliza. Convierte unidades, monedas y zonas horarias, y asigna los distintos nombres de categoría y columnas a un único esquema.
  4. Empareja y deduplica. Decide qué registros describen el mismo pedido, producto o empresa, y conserva uno de cada.
  5. Agrupa y calcula. Elige las claves de agrupación, como día, país o categoría, y aplica las funciones de agregación.
  6. Comprueba el resultado. Compara los totales con una fuente de confianza y revisa algunas filas brutas detrás de cualquier cifra extraña.
  7. Guarda y actualiza. Almacena el resumen con su definición, sus fuentes y su fecha, y vuelve a ejecutarlo cuando lleguen datos nuevos.

Los pasos 3 y 4 se llevan la mayor parte del esfuerzo. Una agregación programada suele formar parte de un pipeline de extracción, transformación y carga; ¿Qué es ETL? muestra cómo se construye un trabajo así.

¿Qué funciones se usan para agregar datos?

Las funciones de agregación básicas son recuento, suma, promedio, mínimo y máximo, a menudo acompañadas de la mediana, el recuento de valores distintos y los percentiles. El manual de PostgreSQL lo resume en una línea: una función de agregación calcula un único resultado a partir de varias filas de entrada (tutorial de PostgreSQL sobre funciones de agregación).

En SQL, la cláusula GROUP BY decide qué filas se resumen juntas. Esta consulta devuelve una fila por día y país, con el número de pedidos y los ingresos:

sql
SELECT order_day, country, COUNT(*) AS orders, SUM(amount_eur) AS revenue
FROM orders
WHERE status = 'paid'
GROUP BY order_day, country;

Hay dos detalles que confunden a mucha gente. WHERE filtra las filas antes de agruparlas, mientras que HAVING filtra los grupos después, por ejemplo para quedarse solo con los países que tienen más de 100 pedidos. Y un promedio de promedios suele estar mal: si una tienda tiene 10 pedidos con un promedio de 80 y otra tiene 1.000 pedidos con un promedio de 20, el promedio combinado es de unos 20,6, no de 50. Vuelve a calcular los promedios a partir de las sumas y los recuentos de origen. Las tablas dinámicas de las hojas de cálculo hacen la misma agrupación con otra interfaz.

¿Cuáles son los principales tipos de agregación de datos?

Los tipos principales se diferencian por el criterio de agrupación: tiempo, lugar, categoría o fuente. Un mismo trabajo suele combinar varios.

TipoAgrupa porEjemploCuidado con
TemporalHora, día, mesIngresos diariosZonas horarias, periodos incompletos
EspacialRegión, ciudad, celda de cuadrículaVentas por regiónLímites, zonas pequeñas
Por categoríaProducto, segmento, canalIngresos por categoríaListas de categorías distintas
Entre fuentesTienda, proveedor, bancoTodas las ofertas en una vistaDuplicados, unidades

La agregación temporal agrupa eventos en periodos: clics por hora, pedidos por día, precios por semana. El periodo cambia lo que ves; los datos diarios muestran los fines de semana y los mensuales los ocultan.

La agregación espacial resume los datos por zona: los puntos de un mapa se convierten en recuentos por distrito postal, ciudad o país. Los mismos clientes agrupados por distrito y por ciudad pueden contar historias distintas, y una zona muy pequeña puede tener tan pocas personas que el resumen describa a un solo hogar.

La agregación por categoría y por fuente agrupa por etiquetas como tipo de producto, canal o proveedor. Lo difícil es ponerse de acuerdo en las etiquetas, porque dos marketplaces rara vez comparten el mismo árbol de categorías.

¿Por qué las zonas horarias cambian los totales agregados?

Las zonas horarias cambian los totales agregados porque «un día» empieza en un momento distinto en cada zona, así que los pedidos cercanos a la medianoche pasan de un día al siguiente. El total de todos los días no cambia, pero las cifras diarias sí.

En nuestra máquina de pruebas metimos seis pedidos con marcas de tiempo UTC en una tabla SQLite en memoria y los sumamos por día dos veces: una según la fecha UTC y otra según la fecha de una tienda que funciona en UTC+3. Las dos versiones sumaban los mismos 240, pero el primer día salía 160 en UTC y 65 en la hora local de la tienda, porque dos pedidos de última hora de la tarde cruzaron la medianoche.

Ninguna de las dos cifras es incorrecta; responden a preguntas distintas. Elige una zona horaria para cada informe, escríbela en la definición y convierte todas las fuentes a ella antes de agrupar.

Agregación manual o automatizada: ¿cuál necesitas?

La agregación manual significa que una persona resume archivos en una hoja de cálculo; la automatizada significa que un trabajo programado ejecuta los mismos pasos. Depende de cuántas veces se repita la pregunta y de cuántas fuentes la alimenten.

Un resumen puntual a partir de cuatro listas de precios se hace más rápido a mano, y una persona detecta los valores raros por el camino. Un panel diario alimentado por veinte fuentes necesita automatización, porque las copias hechas a mano se desvían y se saltan pasos. Eso sí, la automatización repite fielmente una definición equivocada, así que las comprobaciones del paso 6 deben ir dentro del propio trabajo.

¿En qué se diferencia la agregación de datos de la integración y el enriquecimiento?

La agregación resume, la integración conecta y el enriquecimiento completa. A menudo funcionan en el mismo pipeline, pero responden a necesidades distintas.

La integración de datos (a veces llamada consolidación) reúne datos de distintos sistemas en un modelo coherente, registro a registro, sin resumir nada necesariamente. Un registro de cliente que une la entrada del CRM con la cuenta de facturación es integración.

El enriquecimiento de datos añade atributos que faltan a registros que ya tienes, como un código de sector tomado de un registro oficial; ¿Qué es el enriquecimiento de datos? muestra cómo se empareja y se completa un registro. Después, la agregación reduce esos registros a las cifras que necesita un informe.

¿Cuáles son los ejemplos más comunes de agregación de datos?

Los ejemplos más conocidos son los servicios que te muestran muchas fuentes a la vez.

Los comparadores de precios reúnen las ofertas del mismo producto en muchas tiendas, las asocian a un único producto y muestran el precio más bajo, el rango o el historial de precios. El emparejamiento es lo difícil: el mismo teléfono aparece con nombres, packs y capacidades de almacenamiento distintos.

Los metabuscadores de viajes recopilan tarifas de vuelos y precios de habitaciones de aerolíneas, hoteles y agencias, los ordenan en una página y te envían al vendedor para reservar.

La agregación de cuentas financieras muestra saldos y movimientos de varios bancos en una sola app. En la UE es un servicio de pago regulado: la Directiva sobre servicios de pago (PSD2) define el «servicio de información sobre cuentas» como un servicio en línea que facilita información agregada sobre una o varias cuentas de pago de las que es titular el usuario en uno o varios proveedores (PSD2 en EUR-Lex). El artículo 67 permite que ese servicio actúe solo con el consentimiento explícito del usuario, que acceda únicamente a las cuentas que el usuario designe y que use los datos solo para el servicio solicitado.

Las herramientas de logs y monitorización convierten miles de líneas de error idénticas en una sola entrada con un contador. Las estadísticas oficiales hacen lo mismo a escala nacional y publican datos de encuestas y registros en forma de tablas.

¿Los datos agregados son anónimos?

Los datos agregados solo son anónimos cuando no se puede singularizar a ninguna persona a partir de ellos, y resumir no basta para garantizarlo. Según el RGPD de la UE, las normas de protección de datos no se aplican a la información anónima, tampoco con fines estadísticos, pero para saber si los datos son anónimos hay que considerar «todos los medios» que «razonablemente pueda utilizar» el responsable o cualquier otra persona para identificar a alguien (considerando 26 del RGPD en EUR-Lex).

Los grupos pequeños son el problema habitual. «Salario medio de los empleados de 60 años o más en la oficina de Lisboa» es un resumen, pero si solo una persona encaja en esa descripción, es el salario de esa persona. Por eso, las oficinas de estadística suprimen o fusionan las celdas pequeñas antes de publicar una tabla.

Además, muchos resúmenes de los mismos datos pueden combinarse para recuperar las filas que hay detrás. Investigadores de la Oficina del Censo de EE. UU. demostraron que las tablas publicadas del censo de 2010, junto con información pública, bastaban para reconstruir con exactitud 97 millones de registros de personas (Abowd et al. en arXiv). Para 2020, la Oficina pasó a un método de privacidad diferencial, que añade ruido estadístico calibrado a las cifras publicadas.

Las reglas prácticas: fija un tamaño mínimo de grupo antes de publicar, evita muchos desgloses superpuestos de la misma población pequeña y trata como datos personales cualquier resumen que todavía describa a alguien.

¿Qué significa la agregación de datos en OPSEC?

En seguridad de las operaciones (OPSEC), la agregación de datos significa que hechos inofensivos, combinados, pueden revelar algo sensible. Una lista de personal, un calendario de entregas y unas cuantas fotos públicas son inocentes por separado; juntos pueden mostrar quién trabaja dónde y cuándo queda vacía una instalación.

La idea está recogida incluso en normas: la Orden Ejecutiva 13526 de EE. UU. permite clasificar una recopilación de elementos que por separado no están clasificados si la combinación revela una relación que los elementos no muestran por sí solos. Para una empresa, la lección es revisar las ofertas de empleo, los documentos públicos y las publicaciones de los empleados en conjunto, no uno por uno.

¿Qué papel tienen los proxies en la agregación de datos?

Los proxies importan cuando un trabajo de agregación lee fuentes web públicas que se ven distintas según el país. El precio, el stock y las opciones de envío de un minorista dependen a menudo de la ubicación del visitante, así que una comparación hecha desde una sola oficina ve la versión de un único país en cada página; ¿Por qué los precios varían por país? explica los motivos.

Los Proxies residenciales permiten que cada petición salga desde una conexión doméstica del país o la ciudad que describen los datos, a un ritmo que el sitio pueda soportar. Los proxies no cambian las reglas: las condiciones del sitio, el robots.txt y la API oficial, cuando existe, siguen teniendo prioridad.

Para catálogos en marketplaces, nuestros proxies para e-commerce están preparados para leer precios y stock tal como los ve un comprador local.

Los equipos que prefieran no encargarse de la recopilación pueden preguntar a nuestro equipo de ventas por la Web Scraping API, un servicio de extracción gestionada de páginas.

¿Dónde se usa la agregación de datos?

  • Retail y e-commerce: ventas por canal, rangos de precios entre tiendas, stock por almacén.
  • Finanzas: agregación de cuentas en apps bancarias, totales de cartera entre varios brókeres, gasto por categoría.
  • Viajes: tarifas de vuelos y precios de habitaciones de muchos vendedores en una sola página de resultados.
  • Marketing: resultados de campañas sumados entre plataformas publicitarias.
  • Operaciones y TI: eventos de log y tasas de error por servicio y hora.
  • Investigación de mercado: precios y rangos de la competencia resumidos por país.

Errores comunes

  • Contar dos veces. El mismo pedido en dos feeds, o un reembolso y un pedido nuevo contados como dos ventas.
  • Mezclar unidades y monedas. Gramos con kilos, precios con y sin impuestos, euros junto a dólares.
  • Ignorar las zonas horarias. Totales diarios que cambian según el reloj que use el informe.
  • Promediar promedios. Los promedios combinados deben recalcularse a partir de sumas y recuentos.
  • Definiciones distintas en cada fuente. Una tienda cuenta los pedidos al pagar y otra al enviarlos.
  • Comparar periodos incompletos. El mes en curso junto a meses completos sin ninguna indicación.
  • Publicar grupos diminutos. Un resumen de una o dos personas revela sus datos personales.
  • Sin fuente ni fecha por cifra. Más adelante, nadie puede decir con qué datos se obtuvo un número.

Guía de decisión

NecesidadRecomendación
Una respuesta puntual a partir de pocos archivosHoja de cálculo y tabla dinámica
El mismo informe a diario desde muchas fuentesTrabajo programado con comprobaciones integradas
Totales entre zonas horariasFijar una zona en la definición
Promedio combinado de varios gruposRecalcular a partir de sumas y recuentos
Precios que cambian según el paísRecopilar cada uno desde su propio país
Cuentas bancarias en una sola appServicio de información sobre cuentas autorizado
Publicar resúmenes sobre personasTamaño mínimo de grupo; revisar el RGPD

Preguntas frecuentes

¿Qué es la agregación de datos en pocas palabras?

La agregación de datos es reunir datos de distintos lugares y resumirlos, por ejemplo sumando las ventas de tres tiendas en un único total diario. El resultado responde a una pregunta que ninguna fuente puede responder por sí sola.

¿Cuál es un ejemplo de agregación de datos?

Un comparador de precios es un ejemplo habitual: reúne las ofertas del mismo producto en muchas tiendas y muestra el precio más bajo. Un informe diario de ventas de varias tiendas y una app bancaria que muestra varios bancos son otros ejemplos.

¿Qué es la agregación de datos en SQL?

En SQL, la agregación de datos consiste en usar funciones de agregación como COUNT, SUM, AVG, MIN y MAX, normalmente con GROUP BY, para convertir muchas filas en una fila por grupo. Después, HAVING filtra los resultados agrupados.

¿Qué significa la agregación de datos en OPSEC?

En OPSEC, la agregación de datos es el riesgo de que fragmentos de información, inofensivos por sí solos, revelen algo sensible al combinarse. Por eso, las organizaciones revisan lo que publican en conjunto y no elemento por elemento.

¿Los datos agregados son datos personales según el RGPD?

Los datos agregados quedan fuera del RGPD solo si son realmente anónimos, es decir, si no se puede identificar a ninguna persona con los medios que razonablemente puedan utilizarse. Los resúmenes de grupos muy pequeños todavía pueden identificar a personas y entonces siguen siendo datos personales.

¿Qué diferencia hay entre la agregación y la integración de datos?

La integración de datos conecta datos de distintos sistemas en un modelo coherente, registro a registro. La agregación de datos resume los registros en totales, promedios o recuentos. La integración suele ir primero, para que la agregación trabaje con registros ya emparejados y limpios.

En resumen

La agregación de datos convierte muchas fuentes y filas en una sola vista: recopilada, limpiada, agrupada y resumida. Casi todo el trabajo es preparación, porque los duplicados, las unidades mezcladas y las zonas horarias distorsionan los totales sin dar ningún error. Los resúmenes sobre personas no son anónimos de forma automática, así que los grupos pequeños requieren cuidado. Y cuando las fuentes son páginas web públicas que cambian según el país, recopila los datos de cada mercado desde ese mercado, a través de un proxy ubicado allí.