Suchmaschine betreiben - Kennt jemand Software?

Lesenswerte Artikel, Anleitungen und Diskussionen
hjmaier
Posts: 5
Joined: 2005-03-11 17:38

Suchmaschine betreiben - Kennt jemand Software?

Post by hjmaier » 2005-07-16 02:40

Hallo alle zusammen,

zuerst meine Idee kurz geschildert:

Für einen eng begrenzten Themenbereich (ca. 15 Seiten im Netz) möchte ich eine Suchmaschine auf meinem Server einrichten. Ich brauche also Eine Software die als Crawler arbeitet, die Ergebnisse verwaltet und dann auch eine Suche per Webinterface vernünftig auswerten und ausgeben kann.

Kennt einer von euch Software empfehlen?

Viele Grüße
hj

flo
RSAC
Posts: 2297
Joined: 2002-07-28 13:02
Location: Berlin

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by flo » 2005-07-16 07:05

Schau Dir doch mal htdig an ...

flo.

hjmaier
Posts: 5
Joined: 2005-03-11 17:38

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by hjmaier » 2005-07-16 08:26

Besten Dank Flo.

Viele Grüße
hj

Roger Wilco
Administrator
Administrator
Posts: 6001
Joined: 2004-05-23 12:53

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by Roger Wilco » 2005-07-16 11:04

hjmaier wrote:Kennt einer von euch Software empfehlen?
Wenn du keine eigene Software installieren möchtest, kannst du auch Google wunderbar dazu "mißbrauchen". Wie das dann aussieht, kannst du an der Apache-Doku sehen.
Wenn du das Ganze dann in deiner Seite verwursteln willst, kannst du die API von Google nutzen, um die Ergebnisse über einen Webservice zu erhalten.

hjmaier
Posts: 5
Joined: 2005-03-11 17:38

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by hjmaier » 2005-07-18 09:47

Danke für den Hinweis, Roger. Ich habe jetzt trotzdem htdig installiert. Mir ist einfach wohler bei dem Gedanken selbst etwas aufzusetzen.

Die ersten Tests gestern verliefen erfolgreich. Ich habe zwar noch ein paar Basteleien zu erledigen (z.B. merkwürdige Abbrüche beim indizieren, was manuelle Starts von Folgeprogrammen erfordert), aber die ersten Ergebnisse sind vielversprechend.

Viele Grüße und danke nochmal
hj

flo
RSAC
Posts: 2297
Joined: 2002-07-28 13:02
Location: Berlin

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by flo » 2005-07-18 12:01

htdig ist auch schon ewig auf dem Markt und sollte demzufolge halbwegs stabil und zuverlässig laufen ...

Freut mich, daß es klappt!

flo.

Anonymous

Freie Software Perlfect

Post by Anonymous » 2005-07-19 20:03

http://www.perlfect.com/freescripts/search/

Kann ich empfehlen, läßt sich schnell integrieren und gut anpassen.

floschi
Userprojekt
Userprojekt
Posts: 3388
Joined: 2002-07-18 08:13
Location: München

Re: Freie Software Perlfect

Post by floschi » 2005-07-20 21:26

mort wrote:http://www.perlfect.com/freescripts/search/

Kann ich empfehlen, läßt sich schnell integrieren und gut anpassen.
Nutzt du die auch für PDFs, geht das gut? Wie oft indizierst du, frißt das viel Last? Wie groß sind deine Datenbestände?

Ich frag so doof, weil ich genau soetwas suche und htdig noch keine PDFs, Words, OpenOffices usw. kann...

Anonymous

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by Anonymous » 2005-07-20 21:33

Hmm, leider weiss ich das gerade nicht. Sorry.
Einsetzen tu ich das auf der Seite http://www.t-h.de , da kannst ja mal nen Blick reinwerden. Vielmehr hab ich damit auch noch nicht gemacht.
Ob es besser ist als htdig weiss ich nicht, aber poste mal bitte wenn Du mehr darüber rausbekommst.

http://www.perlfect.com/freescripts/search/

"Can index PDF files (requires pdftotext, which is part of xpdf) and MS-Word files (requires antiword)."

Getestet habe ich es aber nicht.

andreask2
RSAC
Posts: 701
Joined: 2004-01-27 14:16
Location: Aachen

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by andreask2 » 2005-07-20 23:36


andreask2
RSAC
Posts: 701
Joined: 2004-01-27 14:16
Location: Aachen

Re: Freie Software Perlfect

Post by andreask2 » 2005-07-20 23:45

olfi wrote:Ich frag so doof, weil ich genau soetwas suche und htdig noch keine PDFs, Words, OpenOffices usw. kann...
sicher?

http://www.htdig.org/FAQ.html#q4.8
http://www.htdig.org/FAQ.html#q4.9

Funktioniert AFAIK so wie bei den anderen auch, eben mit externer Umwandlung. Der einziger der das evtl. etwas effizienter machen kann, ist vermutlich lucene, hier kann man AFAIR direkt entsprechende Jakarta Bibliotheken verwenden.

andreask2
RSAC
Posts: 701
Joined: 2004-01-27 14:16
Location: Aachen

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by andreask2 » 2005-07-21 08:51


floschi
Userprojekt
Userprojekt
Posts: 3388
Joined: 2002-07-18 08:13
Location: München

Re: Suchmaschine betreiben - Kennt jemand Software?

Post by floschi » 2005-07-22 10:08

Danke für die Links ;-)