field drop mit into file

[michi123]

guten abend leute,

bin gerade dabei ein kleines shellscript zu schreiben um nur ein feld, wo simple klartext pw´s darin gespeichert sind, einer datenbank in eine text datei zu schreiben.

den query hab ich schon sogut wie raus. txt file wird erstellt und der gewünschte inhalt ist dort auch drin. nur leider nicht nur der gewünschte inhalt, sondern auch ziemlich viel blödsinn, zb. am anfang der txt sind viele "", und die geschriebenen passwörter scheinen doppelt und x fach auf.

hier mal der query:

Code: Select all

SELECT password INTO OUTFILE '/tmp/test.txt' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' FROM entries;

wenn ich mir das field password in phpmyadmin anglotze wird kein pw mehrfach angezeigt und leere "" sind auch nicht zu sehen.

wie krieg ichs nun hin das die text datei genau so aussieht wie die ansicht in phpmyadmin?

hoffe ihr könnt mir weiterhelfen :S

vielen dank schonmal!

lg michi

[michi123]

pw1
pw2
pw3
...
usw

so sollte das aussehen.

was ich aber gerade bemerkt hab ist, das phpmyadmin auch zeilen angibt:

Zeilen password

1080 kein Passwort
500 Kein PW
1653 keins
3 super
usw

ich denke mal, das der drop into file genau diese zeilen mitschreibt.

[michi123]

jo, das hab ich schon versucht! dann werden halt statt den "", leere zeilen geschrieben lol.

[michi123]

jaaa genau das will ich! aneinander vorbei gelabert :P

wie gesagt:

pw1
pw2
pw3
usw...

ich stellte ja die frage, wie ich die leeren zeilen (im 1. post "viel blödsinn" von mir genannt) weg bringe^^. und eben auch das pw´s doppelt erscheinen. das der query genau das file widergibt ist mir klar, und das eben viele pw´s doppelt und dreifach im field stehen auch. nur wie ichs so hinbekomme, wie von mir beschrieben eben nicht.

ich werd ma versuchen das mit den von dir geposteten strings hinzubekommen. vielen dank dafür :)

lg michi

[michi123]

sieht schon sehr gut aus :)! vielen dank matze

Code: Select all

SELECT DISTINCT(password) FROM entries WHERE password IS NOT NULL INTO OUTFILE '/tmp/test.txt';

so funzt das :D
haste eh so gemeint oder?

[dotme]

Um die leeren Passworte rauszufiltern könnte man auch noch den Vergleich mit '' hinzufügen.

Code: Select all

SELECT DISTINCT(password) FROM entries WHERE password IS NOT NULL AND password != '' INTO OUTFILE '/tmp/test.txt';

[dotme]

Von welchen Umständen und welcher Datenbank sprichst Du? ;)

[Joe User]

Um es kurz zu machen:
NULL = Leer, also nicht vorhanden
0 = 0 (Integer, Bool, String, also vorhanden)

[michi123]

hm, hab da noch ne andere frage dazu. naja, eher zu phpmyadmin!
irgendwie scheint der import nicht zu funktionieren. ich weiss, ich kann über die console auch importieren, aber der hp admin eben nicht (weil der keinen ssh zugang besitzt).
es wird immer angezeigt: "Die Datei konnte nicht gelesen werden."
ich hab schon sämtliche sachen probiert, tmp dir verändert, upload_max_filesize geändert (obwohls an dem bestimmt net gelegen hat weil ich zum test mal ne 1kb tabelle probiert hab). die openbasedir restrictions zur gänze aufgehoben, die datei ohne komprimierung verwendet, usw. irgendwie funzte da garnix davon. wisst ihr vlt. an was das liegen könnte? der import über SQL funktoniert ohne probleme.

[Joe User]

Stimmen die Zugriffsrechte? Steht etwas im error.log (PHP/Webserver)?

[michi123]

nene, das outfile versuch ich nicht zu importieren. ist nen ganz einfaches backup das über phpmyadmin im sql.gz format exportiert wurde.

habs aber schon hinbekommen :). hab in der /etc/phpmyadmin/apache.conf bei <IfModule mod_php5.c> die php_admin_value open_basedir angepasst bzw. hinzugefügt - nu funzt das. trotzdem vielen dank.
warum das aber nicht in den logfiles stand wundert mich selber! normalerweise sollte das ja im apache error.log zu sehen sein.

apropos error.log, da tauchen immer wieder sachen wie zb:

Code: Select all

 [error] [client xxx.xxx.xxx.xxx] File does not exist: /var/www/web1/forum/\\"http:, referer: http://meine-domain.de

sind das einbruchsversuche oder sowas in der art?
genau so wie ziemlich viele anfragen auf eine sogenannte robots.txt ankommen die aber nicht existiert.
kann man das nicht irgendwie unterbinden oder das nach kA, 5 versuchen automatisch die ip für xx mins gebannt wird? oder sollte da fail2ban greifen?

[michi123]

rofl, guter vergleich^^!

ich mach mir da immer nur en bisschen sorgen weil unsere foren-software nicht mehr am neuesten stand ist, und besagtes auch nicht mit neuester software löppt (die plugins, template änderungen usw). man müssten also die seite von grund her neu aufbauen, und dazu hat imo keiner lust und zeit (kommt aber irgendwann demnächst mal, eher im winter dann wenn comp wieder etwas interessanter ist lol).

ich denke aber das die ganzen anfragen auf die robots.txt nicht NUR von suchmaschinen passiert. kann man da unfug damit treiben wenn vorhanden?
das absuchen nach ordnern wie zb. phpmyadmin oder cgi-bin usw. ist mir ja im großen und ganzen egal, weil sowieso alles umbenannt wurde. genauso wie ich die ganzen standard ports verändert habe.

[Joe User]

http://www.robotstxt.org/ Du kannst Dir auch gerne die robots.txt vom RootForum ansehen, ist ja kein Geheimnis ;)

[michi123]

hab mir eure jetzt mal angeglotzt. das heisst also, ihr erlaubt alles bis auf die mit disallow versehenen url´s?!

und was genau bedeuten diese zeilen?

Code: Select all

Disallow: /forum/*?sid=
Disallow: /forum/*&sid=
Disallow: /forum/*?sd=
Disallow: /forum/*&sd=
Disallow: /forum/*?sk=
Disallow: /forum/*&sk=
Disallow: /forum/*?sr=
Disallow: /forum/*&sr=
Disallow: /forum/*?st=
Disallow: /forum/*&st=
Disallow: /forum/*?g=
Disallow: /forum/*&g=
Disallow: /forum/*?u=
Disallow: /forum/*&u=

bzw. warum verbietet ihr diese url´s???

[Joe User]

Richtig, Suchmaschinen dürfen Alles abgrasen ausser den Disallows.
Die von Dir aufgeführten Zeilen habe ich definiert, um den Suchmaschinen das Leben etwas zu vereinfachen, indem sie weniger doppelten Inhalt oder für nicht eingeloggte User ohnehin unzugänglichen Inhalt, gar nicht erst abgrasen müssen.
Die Disallows muss man aber für seine Webseiten immer individuell festlegen, da gibt es keine Patentrezepte.

[michi123]

ok supa, danke!

ihr habt da .../adm angegeben. ich hab gelesen das man den admin pfad nicht angeben sollte weils kein öffentlicher link ist und ausserdem wissen dann andere leute den pfad zum admin was ja im normalfall nicht so sein sollte.

und: was sollte man denn alles erlauben?

kann man das so lassen?

Code: Select all

User-agent: *
Disallow: /awmdata
Disallow: /crewimg
Disallow: /gfx
Disallow: /js
Disallow: /log
Disallow: /php
Disallow: /pw
Disallow: /scripts
Disallow: /templates
Disallow: /forum/1
Disallow: /forum/image
Disallow: /forum/images
Disallow: /forum/jscripts
Disallow: /forum/calendar
Disallow: /forum/attachment.php
Disallow: /forum/captcha.php
Disallow: /forum/editpost.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/modcp.php
Disallow: /forum/moderation.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/private.php
Disallow: /forum/printthread.php
Disallow: /forum/ratethread.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/sendthread.php
Disallow: /forum/task.php
Disallow: /forum/usercp.php
Disallow: /forum/usercp2.php

wo bei mybb die sitemap ist weiss ich net, gibts anscheinend keine lol

[rudelgurke]

Im Prinzip sollte man per Disallow alles verbieten, was nicht bei Suchmaschinen auftauchen soll.
Deswegen hängt es davon ab wie euer Webroot gestaltet ist und was dort "privat" bleiben soll. Privat im Sinn von Suchmaschinen.
Und phpMyAdmin oder Ähnliches - dass hängt von der Anzahl der User ab aber, um beim phpMyAdmin Beispiel zu bleiben, dass bekommt eine Auth vor die Nase gesetzt (Basic, Form usw.) woran Bots von Suchmaschinen ohnehin scheitern oder als Alternative ein SSL Vhost mit einem einfachen "Disallow" für Alles.
Persönlich nehme ich in die Robots nichts auf, was nicht ohnehin öffentlich zugänglich ist, z. Bsp. Links wie die die einige Forensysteme generieren sobald sich ein Moderator / Admin anmeldet. Der öffentliche Rest wird dann, je nach Wunsch, erlaubt oder eben nicht.

[Joe User]

Wie rudelgurke schon schrieb sollte in der robots.txt Alles "verboten" werden, was nicht bei Suchmaschinen in den Ergebnissen auftauchen soll.
Bezüglich der Pfade zu den Admin-Bereichen sollte man sich nicht auf security by obscurity verlassen, denn bei nahezu allen WebApps sind diese Pfade ohnehin allgemein bekannt (bei phpBB3 zum Beispiel ./adm) und werden zudem auch irgendwo im öffentlichen Bereich sichtbar verlinkt. Somit kann man diese Pfade auch gleich in die robots.txt aufnehmen und sich beziehungsweise den Suchmaschinen ein paar unnötige Zugriffe auf die Loginseiten ersparen.

Deine robots.txt sieht auf den ersten Blick plausibel aus. Ob sie zu Deinem Projekt passt, musst Du letztendlich aber selbst beurteilen. Bei Bedarf kannst Du die robots.txt ja jederzeit weiter anpassen.

[michi123]

bei uns ist der admin pfad zwar standard, ich hab aber eine htaccess in verbindung mit mod_auth_mysql davorgeschalten die die adm gruppe ausliest und somit nur diese sich anmelden kann. sollte also kein problems ein den adm pfad zu den disallows zu packen?!
wie siehts mit cache files aus? auch disallow?

[rudelgurke]

Wie Joe User schon gesagt hat, die meisten Pfade sind ohnehin bekannt und falls da nicht manuell geändert wurde, ein Disallow.
Wenn eine Auth davorhängt und eine 401 für Bots kommt, kann man es auch weglassen.
Zu den Cache Files - sind damit vom CMS oder Board erstellte CSS / JS Dateien gemeint ?
Speziell JS wird ohnehin nicht geparst, ein Grund warum reine JS und Flash / Java Links vielleicht schön aussehen, aber Suchmaschinen scheitern, und mit CSS verhält es sich ähnlich.
Kurzum, um es Bots etwas einfach zu machen per Disallow untersagen, dann hat der Bot weniger zu tun und versucht nicht Inhalte zu indizieren mit denen er nichts anfagen kann.

[michi123]

nope, im cache ordner sind *.dat files.

alles klar, glaub dann hab ich noch einiges zutun :).

[Joe User]

Da die Cache-Files nirgends im HTML referenziert werden, brauchst Du sie auch nicht mit einem Disallow versehen.

[michi123]

ok gut!

nur ma so nebenbei: phpmyadmin bzw. die url oder besser gesagt der ordner scheint garnicht im www verzeichnis auf. normalerweise (bei früheren versionen) war dort immer ein softlink zu /usr/share/phpmyadmin! bei mir aber nicht. wollte ich nur ma gesagt haben...

[rudelgurke]

Geht auch per alias - Debian macht dass gern Scripte in /usr/share zu installieren, Configs in /etc und dann mit Alias'en und Symlinks alles zusammenzuführen.

[michi123]

jo, symlink und vhost!
aber vhost ohne ordner im www verzeichnis kannte ich eben noch nicht.
in /etc/phpmyadmin/apache.conf isn Alias /phpmyadmin /usr/share/phpmyadmin
angelegt - aber /phpmyadmin existriert garnet im www verzeichnis...