Kontrola botów (robots.txt) 30/10/09

Do wczoraj utworzonego dzialu "ochrona www" w panelu dodaliśmy kolejną opcję - interface do łatwego tworzenia plików robots.txt dla poszczególnych domen (katalogów). Opcja ta nie wprowadza nic nowego, bo plik można było ręcznie tworzyć samodzielnie od zawsze. Dzięki ustawieniom robots.txt można zablokować poszczególne znane roboty internetowe. Najbardziej znane to oczywiście google, msn, yahoo i cuil, ale jest jeszcze szereg innych robotów które można zablokować. Jest to przedewszystkim opcja do oszczędności transferu, ponieważ niektóre z tych robotów nadmiernie wykorzystują transfer na stronach. Dane odnośnie użycia transferu przez roboty można odczytać w generowanych przez nas statystykach awstats/analog/webalizer - dane te mogą być jednak zawyżone, ponieważ istnieje możliwość podrobienia ciągu user-agent w zapytaniach http. Nasz interface także pozwala na ustawienie blokowania dostępu robotów do poszczególnych części stron jeśli jest taka potrzeba.