Web scraping za firme: šta je i kada je dozvoljen
Web scraping znači automatsko prikupljanje informacija s web stranica umjesto ručnog kopiranja. Firme ga koriste za praćenje cijena, obavijesti, javnih oglasa i održavanje vlastitih podataka ažurnim. Koristan je, ali ima pravila. Ovaj vodič objašnjava osnove. Riječ je o općim informacijama, a ne o pravnom savjetu.
Najčešće poslovne primjene
- Praćenje cijena i zaliha kod konkurenata ili dobavljača
- Prikupljanje javnih obavijesti, tendera i konkursa, poput konkursa za stipendije ili obavijesti komunalnih preduzeća
- Usklađivanje kataloga ili imenika s izvorom koji smijete koristiti
- Pretvaranje dokumenata na web stranici u strukturirane podatke za analizu
Pitanja prije početka
- Postoji li službeni API ili izvoz podataka? Ako postoji, koristite njega umjesto scrapinga
- Šta uslovi korištenja i robots.txt stranice kažu o automatskom pristupu?
- Jesu li podaci javni i sadrže li lične podatke? Lični podaci donose GDPR obaveze
- Je li sadržaj zaštićen autorskim pravom ili pravom nad bazom podataka i kako ćete ga ponovo koristiti?
- Hoće li prikupljanje opterećivati stranicu blago, uz ograničenje učestalosti zahtjeva?
Kako izgleda dobar scraping
Pouzdan skraper po rasporedu provjerava izvor, podnosi promjene izgleda stranice, čisti neuredan tekst, sprema rezultat u bazu i upozorava vas kad nešto pukne. Prvo preuzimanje rijetko je najteži dio. Najteže je održati podatke tačnim iz mjeseca u mjesec.
Naš pristup
Gradimo i vodimo skrapere za vlastite proizvode, uključujući javne izvore obavijesti iza nestalo.ba i Scatcha, kao i za klijente. Počinjemo provjerom postoji li službeni izvor, a zatim se dogovaramo šta se smije prikupljati i kako će se koristiti. Ako projekat ne djeluje prikladno, to i kažemo.