Zamów dane z internetu

Web scraping to zbiór metod pozwalających na automatyczne wydorębnianie danych z treści stron internetowych. Przygotowujemy szyte na miarę boty i wykonujemy kwerendy do badań naukowych i marketingowych.

Wyślij opis swojej kwerendy

Jak web scraper może pomóc w Twoich badaniach?


Czym jest scraper? To program, który automatyzuje przeglądanie stron internetowych oraz pozwala na pobieranie ich treści. Sens wykorzystania scrapera w badaniach polega jednak w tym, że jesteśmy w stanie bardzo dokładnie zaplanować, jakie treści mają zostać pobrane oraz w jakiej formie zostaną udostępnione.

Przykład web scrapingu


Dobrym przykładem byłoby takie oto badanie: wiemy, że książki o historii (literatura faktu) są ważną częścią oferty wydawniczej. Możemy założyć sobie także, że stosunek czytelników i czytelniczek do książek historycznych jest nieco inny niż do beletrystyki - wywołują one inne emocje, podlegają ocenie innego typu itd. Nasze badanie miałoby sprawdzić, czy oceny książek historycznych różnią się w jakiś sposób od ocen beletrystyki.

W serwisie Lubimyczytac.pl znajdziemy oceny i komentarze recenzujące poszczególne tytuły. Moglibyśmy zebrać sobie oceny dla książek historycznych i np. książek z kategorii “fantastyka” i “kryminał” i sprawdzić, czy:

  • średnia ocena książki historycznej jest wyższa lub niższa od średniej oceny książki z kategorii “fantastyka” i “kryminał”;

  • jak ta relacja układa się dla średniej liczby komentarzy;

  • jaka jest relacja między średnią liczbą komentarzy a średnią oceną dla analizowanych kategorii.

To oczywiście projekt badania przygotowany na szybko i bez przeglądu literatury na ten temat. Jak jednak moglibyśmy go zrealizować, skoro w polskim internecie nie znajdziemy lepszego źródła recenzji i ocen niż Lubimyczytac.pl, a serwis ten nie udostępnia swoich danych w żaden uporządkowany sposób? W takim zadaniu przyda nam się scraper. Scraper, napisany w dowolnym języku programowania lub “wyklikany” w jednym z wielu serwisów, pozwalających na konstruowanie takich programów w trybie wizualnym, umożliwiłby nam:

  • zdobycie URLi każdej książki z wybranej do badania kategorii;

  • pobranie z tych URLi podstawowych informacji o książce (tytuł, autor itp.) oraz oceny i komentarzy

  • wyeksportowanie tych danych do CSV do dalszego przetwarzania, liczenia średnich itp.

Mamy więc zadanie, w którym musimy przeglądać witrynę internetową już nie w trybie “użytkownika ludzkiego”, ale “użytkownika maszynowego”. Scraper nie będzie interesował się dizajnem strony, o ile nie będzie on miał dla nas znaczenia (moglibyśmy przecież w zupełnie innym badaniu analizować kolory witryn).

Jak zbudować scraper?


Jak zbudować sobie scraper? Przede wszystkim trzeba mieć koncepcję badania i dokładnie rozpisać, jakie dane i w jaki sposób powinny być zbierane. Należy też wybrać źródła, które będą analizowane. Prześlij opis swojego badania - przygotujemy wycenę wsparcia w pozyskaniu danych.

Kontakt


Skontaktuj się w sprawie wyceny. Nie pobieramy żadnych opłat za konsultację kwerendy.

Marcin Wilkowski
dane@web2data.pl