SiteCrawl - welche Suchmaschinen-Software kommt zum Einsatz?

Wir verwenden die drei Open-Source Suchmaschinen SearX, YaCy und Yioop, getrennt für den Einsatz als Internet-Suchmaschine und als Intranet-Suchmaschine.

Internet

Für die Suche durch das öffentlich erreichbare Internet verwenden wir eine Meta-Suchmaschine mit dem Namen SiteCrawl auf der Basis der Software "SearX", die es ermöglicht fremde und eigene Suchmaschinen gleichzeitig abzufragen. In den Einstellungen der Suchmaschine kann man separat einstellen ob die Intranet-Suche in die Ergebnisse der Internet-Suche integriert werden soll. In den Einstellungen sind dazu die Suchmaschinen "YaCy" und "DokuWiki/Intranet" hinzuzufügen.

Intranet

Im Intranet verwenden wir verschiedene Suchsysteme, basierend auf den jeweiligen Anwendungszweck. Als Crawler nutzen wir hauptsächlich die P2P-Engine "YaCy", die allerdings im Intranet-Modus läuft, sowie die integrierte Suche der DokuWiki-Installation. Diese können auch getrennt abgefragt werden, beispielsweise wenn man sich auf den Intranet-Webseiten auf www.mikebert.de bewegt gibt es oben rechts eine Suchmaske.

Paralell dazu kommt die Crawler-Engine "Yioop" zum Einsatz, die ebenfalls einen eigenen Such-Index erzeugt, auf der Basis einer URL-Liste die systematisch durchsucht wird. Damit die Systemlast nicht zu hoch wird ist diese Search-Engine auf einem anderen pysikalischen Server installiert.