AllgroopBot jest robotem sieciowym odpowiedzialnym za indeksowanie polskich stron internetowych na potrzeby wyszukiwarki Allgroop. Jego zadaniem jest odnajdywanie, analizowanie oraz aktualizowanie publicznie dostępnych treści znajdujących się w polskim internecie.
AllgroopBot respektuje standardy obowiązujące w sieci internetowej i szanuje decyzje właścicieli stron. Obsługiwane są między innymi:
Jeżeli nie chcesz, aby Twoja strona była odwiedzana przez AllgroopBot, dodaj do pliku robots.txt:
User-agent: AllgroopBot
Disallow: /
AllgroopBot regularnie odwiedza wcześniej zaindeksowane strony. W przypadku wykrycia zmian stare dane są zastępowane nowymi, dzięki czemu indeks wyszukiwarki pozostaje aktualny.
AllgroopBot nie omija zabezpieczeń, nie próbuje uzyskiwać dostępu do zasobów prywatnych i indeksuje wyłącznie publicznie dostępne treści.
Misją Allgroop jest tworzenie wyszukiwarki skupionej na polskim internecie, polskich domenach oraz zasobach tworzonych przez społeczność i właścicieli stron WWW.
Przejdź do wyszukiwarki