Shellcommand zum Auslesen von Daten einer Internetseite

Bash, Shell, PHP, Python, Perl, CGI
niklas_
Posts: 122
Joined: 2003-08-13 20:46

Shellcommand zum Auslesen von Daten einer Internetseite

Post by niklas_ »

Hallo,

ich möchte von der Internetseite: https://username:pw@domainname.tld/script.php

eine den Wert hinter "Insgesamt" auslesen:

1.12.2003 xMB
2.12.2002 yMB
(...)
Insgesamt gMB

Im Quellcode sieht es an dieser Stelle so aus:
<tr>
<td class="page" colspan="3"><b>Insgesamt:</b></td>
<td class="alt2" align="right">2908 MB</td>
</tr>

ich suche den korrekten Befehl, um diesen Wert in GB oder MB auszulesen.

Gruß und Dank für eine schnelle Hilfe!
darkspirit
Posts: 553
Joined: 2002-10-05 16:39
Location: D'dorf

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by darkspirit »

Welche Scriptsprache soll es denn sein? Für PHP schau dir die String-Funktionen und dort insbesondere strstr() an. http://www.php.net/manual/de/ref.strings.php
niklas_
Posts: 122
Joined: 2003-08-13 20:46

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by niklas_ »

shell; so wies im topic steht :) also ein einfacher befehl, den ich via linuxconsole eingeben kann :O
darkspirit
Posts: 553
Joined: 2002-10-05 16:39
Location: D'dorf

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by darkspirit »

Ups, Topic halb überlesen, sorry.
dodolin
Posts: 3840
Joined: 2003-01-21 01:59
Location: Sinsheim/Karlsruhe

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by dodolin »

Wenn du die zwei Zeilen mit "Insgesamt" und dem Wert in eine einzelne Zeile machst, könnte z.b. etwas in dieser Art helfen:

Code: Select all

lynx --dump http://seite | grep Insgesamt
Wenn es dann nur der Wert sein soll, noch eine weitere Pipe zu sed hintendran.
niklas_
Posts: 122
Joined: 2003-08-13 20:46

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by niklas_ »

Wenn ich diesen Befehl eingebe:

user@server1:~> lynx --dump https://user:pw@domain.de/datei.php | grep Insgesamt
user@server1:~>

passiert nichts; wie erwartet :)

nochmal, dass es genauer wird: ich möchte einen befehl eingeben und er soll mir lediglich ausspucken, wieviel Traffic insgesamgt gefloßen ist; zb 100MB oder aber 2,34GB....
darkspirit
Posts: 553
Joined: 2002-10-05 16:39
Location: D'dorf

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by darkspirit »

"man lynx": -auth=ID:pass
niklas_
Posts: 122
Joined: 2003-08-13 20:46

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by niklas_ »

ich glaube eher, dass es kein parameter von lynx ist, oder? wenn ich mir das mal überlege - muss zugeben, dass ich von shellscripting nicht soviel ahnung habe, es dennoch bis dato reichte....

lynx ruft doch nur die internetseite auf mittels grep und sed müssen teile dieses aufrufes herausgefiltert werden..... soweit die theorie. ich bekomme es aber leider nicht ohne hilfe hin.
darkspirit
Posts: 553
Joined: 2002-10-05 16:39
Location: D'dorf

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by darkspirit »

Versuch doch einfach mal ein

Code: Select all

lynx -dump -auth=User:Pass https://www.domain.de/datei.php | grep Insgesamt
Wenn da nichts kommt, lass den grep-Teil weg und schau, ob überhaupt was zurück kommt.
niklas_
Posts: 122
Joined: 2003-08-13 20:46

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by niklas_ »

Das ist doch nicht das was ich wissen will? Mit Benutername und Passwort klappt doch alles? Dort liegt das Problem definitv _nicht_!
(http://username:passwort@domain.de/ > "username" und "passwort" werden als daten für den htaccess schutz genommen > das klappt so schon")


problem ist, dass nicht die korrekten daten angezeigt werden - nämlich die "Zahl" ,dh. der Traffic
darkspirit
Posts: 553
Joined: 2002-10-05 16:39
Location: D'dorf

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by darkspirit »

Was gibt lynx denn überhaupt zurück? Fehlermeldung? Anderen Quelltext? Zeichenwirrwarr?
niklas_
Posts: 122
Joined: 2003-08-13 20:46

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by niklas_ »

siehe post von 16. 12. 2003 - 19:59..... keine rückgabe
darkspirit
Posts: 553
Joined: 2002-10-05 16:39
Location: D'dorf

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by darkspirit »

Wenn lynx dir nicht die gewünschten Daten zurückgibt und du diese an grep weiterleitest, bekommst du natürlich keine Ausgabe, weil in der Fehlermeldung der String "Insgesamt" nicht vorkommt. Wie schon geschrieben lass doch bitte mal den grep-Teil (also alles ab "| grep...") weg und schau, was zurück kommt. :roll:
niklas_
Posts: 122
Joined: 2003-08-13 20:46

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by niklas_ »

ok nach ein wenig rumprobieren erhalte ich folgende rückmeldung: Insgesamt: 3007 MB
wie kann ich nun die zahl + MB bzw. GB rausschneiden und einzeln erhalten ?
darkspirit
Posts: 553
Joined: 2002-10-05 16:39
Location: D'dorf

Re: Shellcommand zum Auslesen von Daten einer Internetseite

Post by darkspirit »

Eine Möglichkeit wäre die Ergänzung des Kommandos um folgende Pipe:

Code: Select all

| gawk '{print $2}'