Blokada botów Facebook/Meta

Chciałbym poinformować, że z powodu stosowania przez firmę Meta bandyckich metod szkolenia własnych modeli AI za pomocą hurtowego wydobywania danych z serwisów takich jak nasz, jesteśmy zmuszeni zablokować dostęp do serwisu botom:
- Meta-ExternalAgent
- facebookexternalhit
- facebookcatalog

O ile w wypadku pierwszego bota Meta informuje, że może on być wykorzystywany do takich celów, bot facebookexternalhit służyć miał zbieraniu danych o stronach podlegających linkowaniu na Facebooku. Robot ten powinien pełnić funkcję debugera czytającego przeznaczone dla niego meta-tagi, na żądanie użytkownika polecającego lub linkującego stronę. Niestety - wbrew zasadom publikowanym przez Metę - używany jest do rabunkowego zbierania danych, co przybiera rozmiary regularnych ataków DDoS paraliżujących pracę naszego serwera.

Powtarzające się w ostatnim czasie przypadki spowolnienia serwera były właśnie efektem ataku robotów Mety. Trzeba powiedzieć, że wykorzystywanie w tym procederze bota służącego do linkowania stron jest szczególnie podłym i cynicznym działaniem, ponieważ blokowanie go stwarza wymierny dyskomfort zarówno dla serwisów jak i użytkowników. Niestety firma Meta nie zostawiła nam wyboru - muszę przeprosić za związane z tym niedogodności. Liczymy na to, że ktoś pociągnie wreszcie właścicieli Facebooka do odpowiedzialności za straty jakie powodują tymi atakami i że ta działalność po prostu ustanie.

Tak to wygląda jak się im nie zablokuje dostępu (na obrazku masakrowanie wyszukiwarki na naszej giełdzie):

-----------------
Redakcja Signs.pl

blokada user-agent-ów czy po zakresach ?

-----------------
Nie myli się tylko ten co nic nie robi

Blokujemy user-agenta i na razie jest to skuteczne - obciążenie serwera spada wyraźnie w krótkim czasie od założenia blokady.

-----------------
Redakcja Signs.pl

Musimy przeprosić za kolejną awarię naszych serwerów. Tym razem była to zasługa bota GPTBot. OpenAI jak widać nie przejmuje się żadnymi standardami, podobnie jak Meta. GPTBot tak długo katował wyszukiwarkę na forum aż sam się kilka razy zapętlił, a w końcu doprowadził do kompletnej wywrotki serwera.

Kolejny robot kończy w takim razie karierę na signs.pl.

-----------------
Redakcja Signs.pl

z doświadczenia wiem, że jeszcze te z Aliexpress ostro zarzynają stronę

-----------------
Nie myli się tylko ten co nic nie robi

Na dziś eksperymentujemy z Cloudflare. Ta usługa pozwala ograniczyć obciążenie serwera przejmując zadanie bieżącego serwowania zbuforowanych przez nich stron oraz kontrolując dostęp do serwisu w taki sposób, by ograniczyć automatyczne obciążenia typowe dla botów.

Niestety sam Cloudflare nie jest do końca przewidywalny - ustawienia które początkowo dobrze się sprawdzały, w pewnym momencie i bez wyraźnego powodu zaczęły utrudniać normalne korzystanie ze stron, ograniczając np. dostęp do arkuszy stylów CSS. Jak luzujemy rygory, znowu zdarza się że boty potrafią położyć serwer.

Mechanizm oparty na cache'owaniu stron jest pomysłowy, ale nie pomoże tam gdzie adres strony nie istniał nigdy wcześniej, bo zawiera np. parametr dodawany przez bota. Tak się dzieje głównie w wypadku wykorzystywania serwisu do szkolenia modeli językowych - wówczas baza danych przeszukiwana jest słownikowo - nie według linków istniejących w serwisie i możliwych do uprzedniego zcache'owania, ale według własnych zestawów pojęć (parametrów URL). Więc jest to rozwiązanie połowiczne i musi współpracować z ustawieniami ograniczeń dostępu w Cloudflare, z którymi stale eksperymentujemy.

pozdrowienia
Łukasz

-----------------
Redakcja Signs.pl