Usługi web scrapingu i automatyzacji danych

Tworzenie stron i aplikacji Skalowalne Bezpieczne Wydajność Niezawodne Długoterminowe wsparcie

Tworzenie stron i aplikacji

Budujemy pipeline'y do zbierania danych - cykliczne zadanie, które gromadzi publicznie dostępne informacje, czyści je i umieszcza tam, gdzie firma może z nich korzystać, zamiast kogoś, kto otwiera trzydzieści stron i uzupełnia arkusz.

Jeśli źródło udostępnia API, korzystamy z niego, bo dostęp do ustrukturyzowanych danych jest pewniejszy niż parsowanie strony. Jeśli nie udostępnia, budujemy web scraping zaprojektowany tak, aby dało się go naprawić, gdy strona się zmieni, bo w końcu się zmieni.

Kiedy dedykowany pipeline danych ma sens

Gotowe narzędzia do scrapingu są tanie i w zupełności wystarczą do jednorazowej listy. Budowanie własnego rozwiązania ma sens wtedy, gdy dane zasilają decyzję podejmowaną codziennie, a zbieranie musi być niezawodne.

Warto budować

Przypadki, w których dedykowany pipeline się zwraca:

Ktoś spędza godziny tygodniowo, przeklejając publiczne informacje do arkusza
Ceny, promocje lub dostępność trzeba stale sprawdzać w wielu źródłach
Surowe dane wymagają realnej pracy, zanim będą użyteczne - odduplikowania, normalizacji, dopasowania produktów, mapowania kategorii, przeliczenia walut i jednostek
Wynik musi trafiać automatycznie do systemu: ERP, pulpitu, hurtowni danych, aplikacji wewnętrznej
Muszą Państwo wiedzieć, kiedy uruchomienie się nie powiodło albo źródło się zmieniło, a nie odkrywać to w raporcie za kolejny miesiąc

Nie pasuje

Powiemy to wprost, jeśli trafią Państwo do tej grupy:

Dane są za logowaniem lub płatnym dostępem albo regulamin źródła nie pozwala ich zbierać
To jednorazowa lista kilkuset wierszy - popołudnie pracy ręcznej, a nie projekt
Nikt nie zdecydował, do czego te dane mają służyć; pipeline i tak powstanie od nowa, gdy ktoś to ustali

Co Państwo otrzymują

Zbieranie danych z publicznych stron, wyników wyszukiwania, katalogów firm, katalogów produktowych, publicznych API oraz portali państwowych i branżowych
Czyszczenie i walidacja: usunięte duplikaty, ujednolicone formaty, sprawdzone wartości, oznaczone brakujące rekordy
Przekształcenie do struktury, jakiej oczekują Państwa systemy - dopasowane produkty, zmapowane kategorie, przeliczone jednostki i waluty
Uruchomienia według harmonogramu - co godzinę, codziennie, co tydzień, w dowolnym rytmie albo wyzwalane zdarzeniem w Państwa systemach
Monitoring i alerty o nieudanych zadaniach, brakujących rekordach i jakości danych, żeby pipeline nie był czarną skrzynką
Zbieranie danych przygotowane na zmiany układu strony, stronicowanie, treści dynamiczne i limity zapytań
Repozytorium, hosting i konta serwisowe - na Państwa nazwę, z dokumentacją

Gdzie trafiają dane

Zebrane dane niewiele znaczą, dopóki nie dotrą tam, gdzie zapada decyzja. Dostarczamy je do systemów ERP i CRM, platform e-commerce, narzędzi business intelligence, hurtowni danych i baz danych, aplikacji wewnętrznych, pulpitów raportowych, arkuszy kalkulacyjnych albo do Państwa własnego API w standardzie REST.

Jak to budujemy

Zaczynamy od decyzji, którą dane mają wspierać, a potem cofamy się do źródeł i do tego, jak świeże muszą być
Najpierw oceniamy źródła - dostępne API zawsze wygrywa ze scrapowaniem strony, która przed nim stoi
Pipeline'y piszemy tak, żeby dało się je naprawić, bo publiczne strony się zmieniają i zawsze któraś to zrobi
Uruchomienia są logowane i monitorowane, z alertami, gdy źródło przestaje zwracać to, co wcześniej
Dostarczanie danych do Państwa systemów budujemy i testujemy razem ze zbieraniem, a nie doklejamy później
Utrzymujemy w miarę zmian źródeł, integracji i wymagań

Najczęściej zadawane pytania

Czy web scraping jest legalny?

To zależy od strony źródłowej, jej regulaminu, obowiązującego prawa i rodzaju danych. Emporica buduje rozwiązania do zbierania danych publicznie dostępnych i zachęca klientów do sprawdzenia wymogów zgodności właściwych dla ich zastosowania.

Czy da się pobierać dane ze stron, które nie udostępniają API?

Tak. Wiele stron nie udostępnia API, a dedykowane rozwiązanie potrafi pobrać publicznie dostępne informacje wprost ze stron, tam gdzie jest to dopuszczalne.

Jak często można zbierać dane?

Od niemal czasu rzeczywistego, przez interwały godzinowe, dzienne i tygodniowe, po całkowicie dowolne, zależnie od Państwa potrzeb i od tego, co źródło jest w stanie rozsądnie znieść.

Co się dzieje, gdy strona się zmieni?

Źródła się zmieniają i będzie to wpływać na zbieranie danych. Pipeline'y budujemy z myślą o tym, więc aktualizacja jest drobną zmianą, a nie pisaniem od nowa, a monitoring informuje nas o zmianie źródła, zanim dane po cichu się zestarzeją.

Czy zebrane dane da się zintegrować z naszymi systemami wewnętrznymi?

Tak. Zebrane dane mogą zasilać systemy ERP, platformy CRM, aplikacje e-commerce, narzędzia business intelligence, bazy danych, hurtownie danych, oprogramowanie wewnętrzne i dedykowane API.

Kto jest właścicielem rozwiązania i kto je utrzymuje?

Państwo - kodu, repozytorium, hostingu i kont serwisowych. Emporica oferuje bieżące wsparcie, żeby zbieranie danych działało mimo zmian na stronach i w wymaganiach, ale Państwa firma nigdy nie jest z nami związana.

Omówmy Państwa projekt automatyzacji danych

Proszę napisać, z jakich źródeł Państwo korzystają, jak świeże muszą być dane i gdzie mają trafiać. Rozmawiać będą Państwo z programistą, który to zbuduje.

Zacznijmy projekt