SiteCrawl - Schutz vor Bots
Die SiteCrawl Suchmaschine speichert zwar keine Server-Logfiles und nutzt auch keine Tracker, allerdings steht der SiteCrawl-Server hinter einer UTM/Firewall mit IP-Blacklist die alle eigenen Server vor Hackerangriffen, DDOS-Attacken, Spam etc. schützt, damit also per se schon bekannte IP-Kreise blockt von denen zumeist keine sinnvollen Zugriffe erfolgen. Da die IP-Blacklist ein Live-System ist werden schon auf dieser Ebene mögliche Angriffe erkannt und ausgefiltert, bevor sie überhaupt an der Suchmaschine ankommen.
Da dieses Verfahren sich über viele Jahre bewährt hat, ist ein zusätzlicher Schutz auf Applikationsebene nicht mehr nötig. Dies würde das System auch unnötig ausbremsen und weitere, zeitaufwändige Administrationstätigkeiten notwendig machen.
Apropos Zeitaufwand: falls Sie einmal bemerken das die Suchmaschine gerade nicht reagiert indem Sie ein Timeout beim Seitenaufruf bekommen, können Sie sicher sein das die Firewall die gleichzeitigen Zugriffe auf die Suchmaschine gerade drosselt um den Service stabil zu halten. Bitte haben Sie dann einen Moment Geduld und laden die Seite nach einigen Sekunden einfach neu.