Serviços de web scraping e automação de dados

Desenvolvimento web Escalável Seguro Desempenho Fiável Suporte a longo prazo

Desenvolvimento web

Construímos pipelines de recolha de dados - a tarefa agendada que reúne informação publicamente disponível, a limpa e a coloca onde o seu negócio a pode usar, em vez de alguém abrir trinta sites e preencher uma folha de cálculo.

Quando uma fonte disponibiliza uma API, usamo-la, porque o acesso estruturado é mais fiável do que analisar uma página. Quando não disponibiliza, construímos web scraping pensado para ser reparado quando a página mudar, porque mais tarde ou mais cedo vai mudar.

Quando um pipeline de dados à medida é a escolha certa

As ferramentas de web scraping de prateleira são baratas e servem bem para uma lista pontual. Construir o seu próprio compensa quando os dados alimentam uma decisão que toma todos os dias e a recolha tem de ser de confiança.

Vale a pena construir

Os casos em que um pipeline à medida se paga a si próprio:

Alguém passa horas por semana a copiar informação pública para uma folha de cálculo
Preços, promoções ou disponibilidade têm de ser verificados continuamente em muitas fontes
Os dados em bruto precisam de trabalho a sério antes de serem utilizáveis - eliminação de duplicados, normalização, correspondência de produtos, mapeamento de categorias, conversão de moedas e unidades
O resultado tem de aterrar automaticamente num sistema: um ERP, um dashboard, um data warehouse, uma aplicação interna
Precisa de saber quando uma execução falhou ou uma fonte mudou, em vez de o descobrir no relatório do mês seguinte

Não serve

Dizemos-lho se for este o seu caso:

Os dados estão atrás de um login ou de um paywall, ou os termos da fonte não permitem recolhê-los
É uma lista pontual de algumas centenas de linhas - isso é uma tarde de trabalho manual, não é um projeto
Ninguém decidiu para que servem os dados; o pipeline vai ser reconstruído assim que decidirem

O que recebe

Recolha a partir de sites públicos, resultados de pesquisa, diretórios, catálogos de produtos, API públicas e portais governamentais ou setoriais
Limpeza e validação: duplicados removidos, formatos normalizados, valores verificados, registos em falta assinalados
Transformação para a estrutura que os seus sistemas esperam - produtos correspondidos, categorias mapeadas, unidades e moedas convertidas
Execuções agendadas - de hora a hora, diárias, semanais, num horário à medida, ou despoletadas por um evento nos seus próprios sistemas
Monitorização e alertas para tarefas falhadas, registos em falta e qualidade dos dados, para que o pipeline não seja uma caixa negra
Recolha construída para aguentar mudanças de layout, paginação, conteúdo dinâmico e limites de pedidos
O repositório, o alojamento e as contas de serviço - em seu nome e documentados

Onde os dados aterram

Os dados recolhidos valem pouco até chegarem ao sítio onde se toma uma decisão. Entregamo-los em sistemas ERP e CRM, plataformas de comércio eletrónico, ferramentas de business intelligence, data warehouses e bases de dados, aplicações internas, dashboards de relatórios, folhas de cálculo, ou numa API REST sua.

Como o construímos

Partimos da decisão que os dados suportam e depois recuamos até às fontes e a quão recentes têm de ser
As fontes são avaliadas primeiro - uma API disponível ganha sempre a fazer web scraping da página à frente dela
Os pipelines são escritos para serem reparados, porque os sites públicos mudam e há sempre um que muda
As execuções são registadas e monitorizadas, com alertas quando uma fonte deixa de devolver o que devolvia
A entrega nos seus sistemas é construída e testada a par da recolha, e não pendurada no fim
Mantido à medida que as fontes, as integrações e os requisitos mudam

Perguntas frequentes

O web scraping é legal?

Depende do site de origem, dos seus termos de utilização, da lei aplicável e do tipo de dados. A Emporica constrói soluções para recolher dados publicamente disponíveis e incentiva os clientes a verificar os requisitos de conformidade aplicáveis ao seu próprio caso.

Conseguem fazer web scraping de sites que não disponibilizam API?

Sim. Muitos sites não oferecem qualquer API e uma solução à medida consegue extrair informação publicamente disponível diretamente das páginas, onde isso for adequado.

Com que frequência podem os dados ser recolhidos?

Desde quase tempo real, passando por horária, diária e semanal, até intervalos totalmente à medida, consoante o que precisa e o que a fonte aguenta razoavelmente.

O que acontece se um site mudar?

As fontes mudam e isso afeta a recolha. Os pipelines são construídos a contar com isso, para que uma atualização seja uma pequena alteração e não uma reescrita, e a monitorização avisa-nos de que uma fonte mudou em vez de os dados envelhecerem em silêncio.

Os dados recolhidos podem ser integrados com os nossos sistemas internos?

Sim. Os dados recolhidos podem alimentar sistemas ERP, plataformas de CRM, aplicações de comércio eletrónico, ferramentas de business intelligence, bases de dados, data warehouses, software interno e API à medida.

De quem é o pipeline e quem o mantém?

É seu - o código, o repositório, o alojamento e as contas de serviço. A Emporica oferece suporte contínuo para manter a recolha a funcionar à medida que os sites e os requisitos mudam, mas o seu negócio nunca fica preso a nós.

Fale connosco sobre o seu projeto de automação de dados

Diga-nos de que fontes depende, quão recentes têm de ser os dados e onde precisam de aterrar. Vai falar diretamente com o programador que o iria construir.

Comece o seu projeto