Robots.txt: Crawling Legal Magazin Online

Tot mai multe magazine online iau decizia de a-și popula automat catalogul sau de a monitoriza prețurile concurenței prin crawling, dar puține echipe verifică, în prima etapă, un fișier mic care poate influența direct legalitatea proiectului: robots.txt.

Robots.txt este un fișier text public, plasat la rădăcina unui site (ex: exemplu.ro/robots.txt), prin care proprietarul site-ului comunică roboților software ce pagini pot fi accesate și ce pagini nu ar trebui vizitate; respectarea lui nu garantează automat legalitatea unui proiect de crawling, dar ignorarea lui deliberată crește semnificativ riscul ca preluarea de date să fie considerată neautorizată, mai ales dacă intră în conflict și cu Termenii și Condițiile site-ului țintă.

Acest ghid explică ce conține concret un fișier robots.txt, ce înseamnă directivele User-agent, Disallow, Allow și Sitemap, de ce respectarea lui nu echivalează automat cu conformitate legală completă, ce legătură are cu GDPR atunci când sunt colectate date cu caracter personal și cum arată, practic, un checklist de verificare înainte de a lansa un proiect de crawling pentru un magazin online.

Ce este robots.txt și unde găsești fișierul pe un site

Robots.txt face parte din Robots Exclusion Protocol, o convenție tehnică propusă încă din 1994 și formalizată oficial ca standard IETF prin RFC 9309, în 2022. Practic, orice site poate publica acest fișier text la adresa rădăcină a domeniului (de exemplu, https://exemplu.ro/robots.txt), vizibil public pentru oricine, inclusiv pentru roboții motoarelor de căutare și pentru orice script de crawling.

Rolul fișierului este să comunice crawlerelor care vizitează site-ul ce secțiuni pot fi parcurse liber și ce secțiuni proprietarul preferă să nu fie accesate de roboți — de exemplu pagini de administrare, rezultate de căutare internă sau secțiuni cu conținut duplicat.

Conform documentației oficiale Google pentru webmasteri, robots.txt nu este un mecanism de securitate și nu poate garanta că o pagină rămâne complet invizibilă în motoarele de căutare; pentru date cu adevărat sensibile, protecția corectă este autentificarea sau restricționarea de acces, nu robots.txt.

Ce directive conține robots.txt și ce înseamnă fiecare

Un fișier robots.txt este format din blocuri simple de text, fiecare vizând unul sau mai mulți roboți identificați prin numele lor tehnic (user-agent). Directivele cele mai frecvente sunt:

User-agent — identifică robotul căruia i se aplică regulile care urmează (ex: Googlebot, sau * pentru toți roboții).
Disallow — indică o cale (URL sau director) pe care robotul respectiv este rugat să nu o acceseze.
Allow — permite explicit accesul la o cale, folosit de obicei pentru a face o excepție într-un director altfel blocat.
Sitemap — indică locația fișierului sitemap.xml al site-ului, util roboților pentru a descoperi mai eficient paginile disponibile.

Un detaliu important, confirmat de documentația Google: diferite crawlere pot interpreta ușor diferit sintaxa unui fișier robots.txt, iar instrucțiunile nu pot forța din punct de vedere tehnic comportamentul unui robot — rămâne, în cele din urmă, la latitudinea celui care a scris crawlerul dacă respectă sau nu regulile publicate.

Respectarea robots.txt înseamnă automat un crawling legal?

Nu în mod automat. Robots.txt este o convenție tehnică, nu o lege, iar respectarea lui întărește buna-credință a unui proiect de crawling, dar nu înlocuiește verificarea celorlalte reglementări aplicabile — Termenii și Condițiile publicate pe site, drepturile de autor asupra conținutului extras și, dacă e cazul, GDPR.

În practică, un proiect de crawling este cu atât mai apărat legal cu cât respectă simultan mai multe semnale: robots.txt permite accesul la paginile vizate, Termenii și Condițiile nu interzic explicit extragerea automată a datelor, iar datele colectate nu includ informații cu caracter personal fără un temei legal clar.

Invers, ignorarea deliberată a unui robots.txt restrictiv, combinată cu extragerea masivă de conținut protejat prin drepturi de autor sau cu încălcarea explicită a Termenilor și Condițiilor, crește riscul ca proprietarul site-ului țintă să considere accesul neautorizat și să solicite oprirea proiectului sau despăgubiri.

Ce riscuri apar dacă ignori robots.txt sau termenii unui site

Riscurile nu sunt doar teoretice; ele au consecințe directe asupra unui proiect de business bazat pe date colectate din surse externe.

Risc	Ce se poate întâmpla	Cum se reduce
Blocarea IP-ului sau a crawlerului	Site-ul țintă detectează trafic anormal și blochează accesul	Respectă Disallow, folosește un crawl-delay rezonabil
Solicitare de încetare din partea proprietarului site-ului	Somație sau notificare de încălcare a Termenilor și Condițiilor	Verifică Termenii și Condițiile înainte de a lansa proiectul
Expunere legată de date cu caracter personal	Colectarea neintenționată de nume, adrese sau alte date personale	Exclude explicit câmpurile cu date personale din scriptul de crawling
Litigiu privind conținutul protejat prin drepturi de autor	Reproducerea integrală a unor descrieri, imagini sau texte originale	Prelucrează și adaptează datele, nu doar le copiezi identic

Aceste riscuri sunt orientative și depind de contextul fiecărui proiect; pentru situații cu volum mare de date sau surse sensibile, recomandarea este să ceri o opinie juridică de specialitate înainte de a începe colectarea.

Ce legătură are GDPR cu datele colectate printr-un proiect de crawling

Regulamentul General privind Protecția Datelor (GDPR) se aplică oricărei organizații care prelucrează date ale unor persoane din Uniunea Europeană, indiferent de locul unde este stabilită compania. Regulamentul definește datele cu caracter personal larg, ca orice informație care poate identifica, direct sau indirect, o persoană fizică — inclusiv nume, adrese de email sau alte identificatori.

Pentru un magazin online, implicația practică este simplă: faptul că o informație este publică pe un site nu o scoate automat de sub incidența GDPR, dacă acea informație este o dată cu caracter personal. Un proiect de crawling care vizează exclusiv date de produs (titlu, preț, cod, descriere, imagini) are un risc GDPR redus; un proiect care ar extrage, chiar și incidental, nume de persoane, adrese de email sau recenzii semnate cu detalii identificabile ridică o problemă separată, care trebuie tratată explicit înainte de colectare.

Recomandarea practică este ca orice script de crawling destinat unui magazin online să excludă explicit câmpurile care ar putea conține date personale și să colecteze strict informațiile de produs necesare proiectului.

Checklist practic: cum verifici robots.txt înainte de un proiect de crawling

Înainte de a construi un script de crawling pentru orice site sursă, verificarea de mai jos ar trebui parcursă integral:

Deschide direct nume-site.ro/robots.txt și citește regulile aplicabile pentru user-agent-ul * și, dacă e cazul, pentru user-agentul specific pe care îl folosește scriptul tău.
Identifică toate directivele Disallow relevante pentru paginile pe care vrei să le accesezi și exclude-le din planul de crawling.
Verifică dacă există o directivă Sitemap; un sitemap valid ajută la un crawling mai eficient și mai puțin agresiv asupra serverului țintă.
Citește Termenii și Condițiile site-ului țintă, în special secțiunile despre utilizare automată, extragere de date sau reproducerea conținutului.
Stabilește o frecvență de accesare rezonabilă (crawl-delay), pentru a nu suprasolicita serverul site-ului sursă.
Exclude din colectare orice câmp care ar putea conține date cu caracter personal, dacă acestea nu sunt necesare scopului proiectului.
Documentează intern decizia (ce site, ce date, ce reguli au fost verificate), pentru trasabilitate în cazul unei solicitări ulterioare.
Pentru proiecte de volum mare sau surse sensibile, cere o verificare juridică înainte de a lansa colectarea la scară.

Crawling intern vs serviciu extern: cine își asumă verificarea legală

Multe echipe interne de dezvoltare pot construi tehnic un script de crawling, dar nu au întotdeauna timpul sau expertiza de a verifica sistematic robots.txt, Termenii și Condițiile și implicațiile GDPR pentru fiecare sursă nouă. Un serviciu de crawling personalizat tratează această verificare ca parte standard a proiectului, nu ca pas opțional adăugat ulterior.

Diferența practică este că un furnizor specializat construiește scriptul de crawling ținând cont de robots.txt și de riscurile discutate mai sus încă din faza de planificare, în timp ce o soluție internă construită rapid, fără verificare prealabilă, riscă să fie blocată sau contestată după ce proiectul este deja în producție.

Articole conexe despre crawling

Întrebări frecvente despre robots.txt și crawling legal

Este ilegal să ignori robots.txt?

Ignorarea robots.txt nu este, prin ea însăși, automat ilegală, pentru că fișierul nu are statut de lege, ci de convenție tehnică. Riscul real apare atunci când ignorarea robots.txt este combinată cu încălcarea Termenilor și Condițiilor, extragerea masivă de conținut protejat prin drepturi de autor sau colectarea de date cu caracter personal fără temei legal.

Ce se întâmplă dacă un crawler nu respectă robots.txt?

Din punct de vedere tehnic, nimic nu blochează automat un crawler care ignoră robots.txt — instrucțiunile nu pot fi forțate. Site-ul țintă poate însă detecta traficul neobișnuit și poate bloca IP-ul sau user-agentul respectiv, iar proprietarul poate solicita ulterior încetarea colectării.

Robots.txt este suficient pentru conformitate GDPR?

Nu. Robots.txt controlează doar ce pagini pot fi accesate de roboți, nu ce se întâmplă cu datele colectate. Conformitatea GDPR depinde de tipul de date extrase, de temeiul legal al prelucrării și de modul în care sunt stocate și folosite ulterior datele respective.

Cum verific rapid robots.txt al unui site?

Adaugi /robots.txt direct în bara de adrese, după domeniul site-ului țintă (de exemplu exemplu.ro/robots.txt). Fișierul este public și se deschide direct în browser, ca un document text simplu.

Cine își asumă riscul legal într-un proiect de crawling: clientul sau furnizorul?

Depinde de contractul de servicii agreat; de aceea este important ca, încă din faza de ofertă, verificarea robots.txt și a Termenilor și Condițiilor site-ului țintă să fie clar menționată ca etapă a proiectului, iar responsabilitățile fiecărei părți să fie explicite.

Concluzie: robots.txt este primul semnal, nu singura verificare legală

Robots.txt îți spune rapid ce pagini un site își dorește să fie accesate de roboți, dar un proiect de crawling cu adevărat sigur din punct de vedere legal verifică, pe lângă acest fișier, Termenii și Condițiile site-ului țintă și implicațiile GDPR ale datelor colectate. Ignorarea acestor semnale nu oprește tehnic un crawler, dar crește riscul de blocare, contestare sau, în cazuri sensibile, litigiu.

Vezi serviciul complet de preluare date online prin crawling, construit cu verificare legală inclusă în fiecare proiect, sau discută proiectul tău direct cu echipa HappyWeb, pentru o evaluare inclusiv din perspectiva robots.txt și a riscurilor legale specifice sursei tale de date.

Surse

Google Search Central — Introducere în robots.txt: developers.google.com/search/docs/crawling-indexing/robots/intro.
IETF RFC 9309 — Robots Exclusion Protocol: rfc-editor.org/rfc/rfc9309.
GDPR.eu — Ce este GDPR: gdpr.eu/what-is-gdpr.
Serviciul HappyWeb de preluare date online prin crawling: happyweb.ro/servicii/servicii-servicii-preluare-date-online-crawling.

Notă: informațiile despre aspecte legale din acest articol au caracter orientativ și nu constituie consultanță juridică. Pentru proiecte de crawling cu volum mare de date sau surse sensibile, recomandăm verificarea directă a Termenilor și Condițiilor site-ului țintă și, dacă este cazul, consultarea unui specialist juridic.

Imagine generată cu AI, folosită în scop ilustrativ.

Ce este robots.txt și cum influențează crawling-ul legal al unui magazin online