DSB-Websuche goes Google

So eine Suchmaschine ist eine feine Sache. Für das große weite Internet gibt es heute den Marktführer Google und Bing, früher Altavista und Yahoo. Doch Betreiber von Webseiten wollen oder müssen ihre eigene Suchmaschinen anbieten. Bei kleinen Seiten ist das einfach realisiert. Werden die Daten in einer Datenbank gespeichert wird einfach eine Volltextsuche in der Datenbank gemacht. Sind die Webseiten statisch, mußte man sich externer Skripte bedienen. Die klappern alle Links einer Website ab und speichern die Daten in einer Datenbank oder in einer Textdatei. Letzteres machte früher der Indexer (oder Crawler bzw. Robot) des von mir favorisierten phpCMS. Doch man kommt da schnell an Grenzen, weil der Suchindex durch immer neue Seiten immer größer wurde und damit die Suche länger dauerte. Zusätzlich hatte ich mit dem Problem zu kämpfen, das sich viele Indexer irgendwann aufhängten, weil die Indizierung endlos dauerte.