Page 1 of 1

homepage per cronjob speichern

Posted: 2003-01-13 22:14
by grinch
also folgende situation: ich möchte eine homepage immer pünktlich per cronjob speichern.. besonderheiten: man muss sich erst einloggen (kann man mit GET machen, also direkt per URL, das is das kleinste problem :D) dann bekommt man erstmal nen cookie der die sessionid beinhaltet und kommt zu ner page mit nem frameset mit 2 frames, sodele, jetzt wirds interessant, diese beiden frames sollen jetzt gespeichert werden, man braucht aber um zugriff auf sie zu bekommen den session id cookie! also was tun? was ich schon probiert habe: wget, geht nicht wegen session id! mit lynx: speichert nur die frameseite, bzw. mit crawl die komplette homepage (was ich aber nicht will, nur die startseite, also die 2 frames)

daher meine frage: was für alternativen gibts es um das zu realisieren? bin für alle ideen offen, am einfachsten wär es natürlich die ebenen auf 1 zu stellen bei crawl, aber leider hab ich dazu nichts finden können :(
bin für jede hilfe dankbar!

Re: homepage per cronjob speichern

Posted: 2003-01-14 13:51
by henock
Hallo Grinch,

Frage: Mit was werden die Inhalte der Frames erzeugt? (ich vermute ja mal PHP, wegen SessionID).
Wenn es PHP ist, so kannst du die Session-ID auch in einem GET-Query einbauen. Schaue dazu mal in deine php.ini, da wird der Defaultname für die GET/POST-Variable der Session-ID festgelegt. Wenn Du (wie auch immer) an die Session-ID kommst, dann kannst du theoretisch den Inhalt der Frames mittel GET-Querys der From http://xxx.xxx.de/wo/auch/immer/index.p ... XXXXXXXXXX&.........
Das Speichern der Session-ID in Cookies ist bei PHP nämlich ein KANN, aber kein MUSS. Wenn es ohne Cookies gehen muss/soll passt PHP automatisch relative href's in der obigen Form an (fügt also die Session-ID hinzu).

Re: homepage per cronjob speichern

Posted: 2003-01-14 18:20
by grinch
hm.. nur muss ich die session id ja irgendwie übergeben.. d.h. ich muss den cookie irgendwie zwischenspeichern und dann nachher wieder auslesen, oder wie meinst du das? dann stellt sich nur die frage wie bring ich das lynx bei? weil mit -cookie-file="blubb" (oder so ähnlich) ist die datei zwar nachher da, aber leer.. es gibt auch ne .lynx_cookies datei (oder so ähnlich :D) aber die ist genauso leer..

und das mit meiner php.ini versteh ich nid.. die homepage läuft ja nich bei mir, und in die php.ini hab ich keinen einblick ;) und so wie ich das sehen konnte, wird die session id nur per cookie erkannt.. also keine GET oder POST übergabe.. (aber ich probier gleich mal, ob ich die session id auch per GET oder POST übertragen kann :))

so, ich hoff mal ich hab dich richtig verstanden und laber grad das gegenteil von dem was du wolltest ;) schonmal danke für die hilfe :)

NACHTRAG: das mit GET die sessionid übertragen geht.. also müsste man den cookie nur irgendwie speichern können!

Re: homepage per cronjob speichern

Posted: 2003-01-14 20:58
by majortermi
Schreib in der Skriptsprache deiner Wahl (ich habe soetwas mal in PHP gemacht, das sollte aber auch mit Perl problemlos gehen) einen kleinen Bot, der zum entsprehchenden Server connectet, eine HTTP-Request schickt und die HTTP-Response auswertet. Dann kannst du problemlos sowohl Header als auch Body selbst bestimmen und somit den Header auslesen, der den Cookie setzt, und entsprechend wieder den Header mitschicken, der den Cookie an den Server überträgt.
Das ganze sollte nicht zu aufwendig sein, ich habe etwas in dieser Art innerhalb einer Nacht zusammengecodet.

Re: homepage per cronjob speichern

Posted: 2003-01-14 21:11
by grinch
hast du das evtl noch? :roll: wär doch mal interessant, und ist besser, als wenn ich bei 0 anfangen muss :lol:

Re: homepage per cronjob speichern

Posted: 2003-01-14 21:34
by majortermi
Grinch wrote:hast du das evtl noch? :roll: wär doch mal interessant, und ist besser, als wenn ich bei 0 anfangen muss :lol:
Ja, ich habe es noch, es dürfte allerdings nicht ganz einfach anzupassen, sein, wenn du es trotzdem haben willst, kannst du mich gerne mal per E-Mail kontaktieren.

Re: homepage per cronjob speichern

Posted: 2003-01-15 15:31
by grinch
ok.. habs geschafft.. hab jetzt ne kombinierte lösung, die per php script den cookie sichert und ruf dann die anderen frames per lynx auf und sichere sie unter verwendung des cookies :)
Mir bleibt nur noch mich bei allen beteiligten zu bedanken (vor allem bei MajorTermi für sein script, bei dem ich doch einige tricks abschauen konnte ;))