Suchmaschine betreiben - Kennt jemand Software?

[hjmaier]

Hallo alle zusammen,

zuerst meine Idee kurz geschildert:

Für einen eng begrenzten Themenbereich (ca. 15 Seiten im Netz) möchte ich eine Suchmaschine auf meinem Server einrichten. Ich brauche also Eine Software die als Crawler arbeitet, die Ergebnisse verwaltet und dann auch eine Suche per Webinterface vernünftig auswerten und ausgeben kann.

Kennt einer von euch Software empfehlen?

Viele Grüße
hj

[flo]

Schau Dir doch mal htdig an ...

flo.

[hjmaier]

Besten Dank Flo.

Viele Grüße
hj

[Roger Wilco]

Kennt einer von euch Software empfehlen?

Wenn du keine eigene Software installieren möchtest, kannst du auch Google wunderbar dazu "mißbrauchen". Wie das dann aussieht, kannst du an der Apache-Doku sehen.
Wenn du das Ganze dann in deiner Seite verwursteln willst, kannst du die API von Google nutzen, um die Ergebnisse über einen Webservice zu erhalten.

[hjmaier]

Danke für den Hinweis, Roger. Ich habe jetzt trotzdem htdig installiert. Mir ist einfach wohler bei dem Gedanken selbst etwas aufzusetzen.

Die ersten Tests gestern verliefen erfolgreich. Ich habe zwar noch ein paar Basteleien zu erledigen (z.B. merkwürdige Abbrüche beim indizieren, was manuelle Starts von Folgeprogrammen erfordert), aber die ersten Ergebnisse sind vielversprechend.

Viele Grüße und danke nochmal
hj

[flo]

htdig ist auch schon ewig auf dem Markt und sollte demzufolge halbwegs stabil und zuverlässig laufen ...

Freut mich, daß es klappt!

flo.

[Anonymous]

http://www.perlfect.com/freescripts/search/

Kann ich empfehlen, läßt sich schnell integrieren und gut anpassen.

[floschi]

http://www.perlfect.com/freescripts/search/

Kann ich empfehlen, läßt sich schnell integrieren und gut anpassen.

Nutzt du die auch für PDFs, geht das gut? Wie oft indizierst du, frißt das viel Last? Wie groß sind deine Datenbestände?

Ich frag so doof, weil ich genau soetwas suche und htdig noch keine PDFs, Words, OpenOffices usw. kann...

[Anonymous]

Hmm, leider weiss ich das gerade nicht. Sorry.
Einsetzen tu ich das auf der Seite http://www.t-h.de , da kannst ja mal nen Blick reinwerden. Vielmehr hab ich damit auch noch nicht gemacht.
Ob es besser ist als htdig weiss ich nicht, aber poste mal bitte wenn Du mehr darüber rausbekommst.

http://www.perlfect.com/freescripts/search/

"Can index PDF files (requires pdftotext, which is part of xpdf) and MS-Word files (requires antiword)."

Getestet habe ich es aber nicht.

[andreask2]

Noch zwei nette:

http://lucene.apache.org/
http://swish-e.org/

[andreask2]

Ich frag so doof, weil ich genau soetwas suche und htdig noch keine PDFs, Words, OpenOffices usw. kann...

sicher?

http://www.htdig.org/FAQ.html#q4.8
http://www.htdig.org/FAQ.html#q4.9

Funktioniert AFAIK so wie bei den anderen auch, eben mit externer Umwandlung. Der einziger der das evtl. etwas effizienter machen kann, ist vermutlich lucene, hier kann man AFAIR direkt entsprechende Jakarta Bibliotheken verwenden.

[andreask2]

und http://www.xapian.org/

[floschi]

Danke für die Links ;-)