ProxynetProxynet

Web scraping · Blog da Proxynet – Página 3

  1. Publicado

    O que é parsing de dados? Tipos, erros e exemplos

    O parsing de dados transforma HTML, JSON, CSV ou logs em registros estruturados para o seu código. Como um parser funciona, os tipos e os erros mais comuns.

    Autor: Acar Diveroli

  2. Publicado

    O que é ETL? Extração, transformação e carga com Python

    ETL é extrair dados de uma fonte, limpá-los em um formato fixo e carregá-los em um banco de dados. Como funciona, ETL vs. ELT e um job em Python testado.

    Autor: Acar Diveroli

  3. Publicado

    POST com JSON no Python Requests: equivalentes do cURL

    Para enviar JSON via POST no Python Requests, chame requests.post(url, json=data) e o Content-Type é definido para você. Veja data=, params=, headers e o cURL.

    Autor: Acar Diveroli

  4. Publicado

    Como criar um web crawler em Python, passo a passo

    Um web crawler em Python enfileira os links que acha a partir da URL inicial e visita cada página uma vez. Montamos fila, normalização, profundidade e escopo.

    Autor: Acar Diveroli

  5. Publicado

    O que é o BeautifulSoup e como usá-lo em Python?

    O BeautifulSoup é uma biblioteca Python que transforma o HTML baixado em uma árvore pesquisável. Veja a escolha do parser, find_all ou select e tabelas HTML.

    Autor: Acar Diveroli

  6. Publicado

    Como baixar todas as imagens de um site sem código

    Para baixar todas as imagens de uma página, salve-a no Chrome como "Página da Web, completa" ou use uma extensão. Veja também por que algumas saem pequenas.

    Autor: Enver Kaya

  7. Publicado

    Como encontrar o sitemap de um site e ver todas as páginas

    Veja primeiro a linha Sitemap do robots.txt e depois caminhos comuns como /sitemap.xml. Mostramos como ler índices, arquivos .gz e lastmod com Python.

    Autor: Acar Diveroli

  8. Publicado

    Como corrigir JSONDecodeError: Expecting Value no Python

    JSONDecodeError: Expecting Value significa que o parser não achou JSON no primeiro caractere: o corpo está vazio, é HTML ou texto puro. Veja como achar a causa.

    Autor: Acar Diveroli

  9. Publicado

    Max Retries Exceeded With URL: o que é e como resolver

    Max Retries Exceeded With URL é a mensagem que envolve o erro real de conexão no Requests. A causa está na parte Caused by; veja como ler e corrigir.

    Autor: Acar Diveroli

  10. Publicado

    Erros de codificação no Python: acentos e UnicodeDecodeError

    Acentos quebrados no Python vêm de bytes lidos com o codec errado. Veja como corrigir o UnicodeDecodeError em arquivos, no console do Windows e em páginas web.

    Autor: Acar Diveroli

  11. Publicado

    Web scraping vs. web crawling: qual é a diferença?

    O web crawling descobre quais páginas existem seguindo links; o web scraping extrai delas campos como preço ou título. Comparamos os dois com código Scrapy.

    Autor: Acar Diveroli

  12. Publicado

    Cloudflare scraper: por que é bloqueado e o que funciona

    Um scraper é bloqueado quando a Cloudflare classifica as requisições dele como bot. Veja como ler o bloqueio e escolher um caminho legítimo até os dados.

    Autor: Acar Diveroli

  1. O que é parsing de dados? Tipos, erros e exemplos

    Web scraping

    Publicado

  2. O que é ETL? Extração, transformação e carga com Python

    Web scraping

    Publicado

  3. POST com JSON no Python Requests: equivalentes do cURL

    Tutoriais

    Publicado

  4. Como criar um web crawler em Python, passo a passo

    Web scraping

    Publicado

  5. O que é o BeautifulSoup e como usá-lo em Python?

    Web scraping

    Publicado

  6. Como baixar todas as imagens de um site sem código

    Web scraping

    Publicado

  7. Como encontrar o sitemap de um site e ver todas as páginas

    Web scraping

    Publicado

  8. Como corrigir JSONDecodeError: Expecting Value no Python

    Tutoriais

    Publicado

  9. Max Retries Exceeded With URL: o que é e como resolver

    Tutoriais

    Publicado

  10. Erros de codificação no Python: acentos e UnicodeDecodeError

    Web scraping

    Publicado

  11. Web scraping vs. web crawling: qual é a diferença?

    Comparativos

    Publicado

  12. Cloudflare scraper: por que é bloqueado e o que funciona

    Web scraping

    Publicado