2 x Mysql ?

MySQL, PostgreSQL, SQLite
brenner23
Posts: 13
Joined: 2011-05-11 16:35

2 x Mysql ?

Post by brenner23 » 2018-12-19 15:29

Hallo,
Ich habe 2 Provider, der eine ist Webspace + MySql der andere ist ein VPS server

Auf dem Provider 1 habe ich auf dem Websspace ein php scritpt was irgenwas macht.. und auch sich mit der localen Datenbank verbindet.... Manchmal kommt es auch vor das mal bei Provider 1 die Datenbank abraucht mir der meldung to many connections....

In dieser zeit werden dann keine Daten in die Mysql geschrieben oder gelesen.... Problem ich habe wettersensoren feuchtigkeit etc....Das gibt löcher in der auswertung.....

Meine Idee: auf dem VPS erstelle ich mir eine Datennbank die genauso im aufbau ist wie die vom Provider 1.... wenn denn mal ausfall ist dann soll alles da abgelegt werden, wenn problem weg soll alles dann sysncoronisiert werden ... also eine Backupdatenbank um ausfall zu verhindern....

Ich denke wenn ich in der abgrage des Connectes ein Fail bekome kann ich da ja eine n alternativen connect machen...so der Plan...
Aber das automatische sycronirieren ist ein problem...

hat da jemand ne idee

lg

ddm3ve
Moderator
Moderator
Posts: 1142
Joined: 2011-07-04 10:56

Re: 2 x Mysql ?

Post by ddm3ve » 2018-12-20 10:07

Dein Lösungsweg halte ich für ungeeignet, da gibt es sicherlich bessere Lösungswege.
Sofern Du den Daten immer einen Zeitstempel anfügst, kannst Du auf Basis dessen die Daten syncronisieren.
Zusätzlich davon ein Flag also Binärfeld "syncronisieert" Ja Nein.
Entsprechend kannst Du alle Daten aus Datenbank 1 ohne den Flag zur Datenbank 2 Übertragen und den Flag dabei setzen, das ganze natürlich auch umgekehrt.
Dafür brauchst Du natürlich ein Script, was sich an beide Datenbanken verbindet.
Alternativ wäre auch eine SQL Dump denkbar, denn du selbst erstellen musst und nur mit den erforderlichen nicht syncronisierten Daten versiehst.

Von dem Lösungsansatz halte ich jedoch nichts. Besser wäre wohl das Abstellen der eigentlichen Ursache.

Also, das 1. Problem das ich hier angehen würde:
* to many Connections.
Warum sind es so viele? Bug / Denkfehler in der Anwendung? ggf. Max Connections der Datenbank anpassen / erhöhen?

Statt in eine 2. Datenbank, würde ich im Fehlerfall die Dateien lokale z.B. in einem CVS Format ablegen.
Später die Daten in die Datenbank übernehmen, wenn diese wieder verfügbar ist.

Probleme Deiner angestrebten Lösung:

Wo steht denn die 2. Datenbank in einem abgesicherten Netz? Per VPN anbindbar?
Über das WWW würde ich keine Datenbank frei zugänglich anbieten. Das Risiko von Angriffen und Ausnutzen von Sicherheitslöchern wäre mir zu groß.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

brenner23
Posts: 13
Joined: 2011-05-11 16:35

Re: 2 x Mysql ?

Post by brenner23 » 2018-12-20 13:05

Ich pack mal aus:
Mein "nur" webspace (also kein Root) ist bei Webgo, und der VPS(root mit Debian 9) ist bei bei 1Blu...
Also da ich es schon desöfteren bebachtet habe und gestern zufällig nichts ging hatte ich mich an den Support gewendet... die hatte mir erst "erklärt das meine Datenbankzugiffe zu hoch seien... " Darauf ich meinte " bei den 10 zugriffen in der Minute ( paar Wettrsensoren)"
Das dürfte ja kein Problem sein... Dann frage ich mich was ein Wordpress an Datenbankzugriffen hat... ob das zuvviel ist....???
Als späterer hinweis meinte ich das es öfter vorkomme und das das Hostsystem überlastet wäre... Dies bestätigt mir auch der jenige da er an deer Störung der Überlastung gearbeitet hätte oder es ihm zu Ohren kam .... wie auch immer.... Wenn ich also einen ausfall habe und MySql fällt aus.... dann brauche ich eine ALternative für die Zeit..... und danch muss der kram wieder in die Datenbank eingefügt werden damit die Löcher gestopft werden.... die entstehen...

Eine Datenbank mit freien zugriff ist mir auch zu gefärlich.... sollte also Localhost bleiben....
Für die synconisiereung müsste es doch ein PHP tool geben , was man peer cronjob ansprechen kann .. Sync.php?web123_db... Get Oder Post ist je erst mal egal hauptsache HTTPS und laufen lassen
Und von dem Provider Webgo will ich auch nicht weg weil ich noch einen Alt Tarif habe der leistungsmässig so nicht mehr angeboten wird in der Preisklasse...

lg

ddm3ve
Moderator
Moderator
Posts: 1142
Joined: 2011-07-04 10:56

Re: 2 x Mysql ?

Post by ddm3ve » 2018-12-20 14:11

Eine "synclösung" für Datenbanken auf php Basis gibt es sicherlich, aber halt nicht für Deinen Fall zugeschnitten.
Beispiel findest Du hier:
https://www.php.de/forum/webentwicklung ... ronisieren


Btw. was spricht bei den Daten gegen eine sqlite Datenbank?
Die kannst Du i.d.R. Simpel im Webspace halten.
Ansonsten wäre zu klären, was Dein Script "übles" macht, dass es zu vielen Datenbankzugriffen kommt.
Die Antwort vom Provider ist etwas, dürftig und allgemein. Da sollte schon konkreter sein.

Über eine REST API könntest Du an Deinem anderen Server eine Schnittstelle anbieten und hierüber die Daten ebenfalls hin senden.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

User avatar
rudelgurke
Systemtester
Systemtester
Posts: 407
Joined: 2008-03-12 05:36

Re: 2 x Mysql ?

Post by rudelgurke » 2018-12-21 18:09

Vielleicht mal überlegt ob es nicht besser wäre alles zu konzentrieren auf einer Kiste ? Alles Andere mag technisch vielleicht irgendwie gehen, wird aber "basteln".
Das eigentliche Problem sehe ich eher bei der MySQL Datenbank - die "too many connections" habe primär erstmal nichts mit dem Hostsystem zu tun, es sei denn die verbinden sich auf deine Datenbank. Wenn es sehr langsam geht bis eine Verbindung zu stande kommt, Queries ewig brauchen - dann ja, kann es das Hostsystem sein.
Als 1. kann man auch auf dem MySQL Server einen minütlichen Cronjob laufen lassen, der ein "show full processlist" macht und an eine Datei anhängt (nicht überschreibt natürlich). Das müsste erstmal helfen zu sehen woher die "too many connections" kommen und was klemmt.

brenner23
Posts: 13
Joined: 2011-05-11 16:35

Re: 2 x Mysql ?

Post by brenner23 » 2018-12-26 18:36

Das Problem ist ja das ich da Wo ich den Websapce habe , keinen einfluss auf die Technik habe, also Apache, MySql etc..., heist wenn ich eine "too many connections" meldung bekomme und mir im Supportchat bestätigt wird das mal eine Ansturm auf die gehosteten Webseiten und Domains stattfindet... und die meisten mit WordPress und co arbeiten... ist der Traffic und Connect auf die MySql schon vorprogrammiert...
Ich könnte ja alles auf meinem VPS umleiten und da habe ich das Problem VPS... Wie der name schon sagt ist das ein Stück vom Server ( 120 GB / 6 GB ram / 2 Kerne ) wenn da auf dem Hostsystem mal abraucht bin ich auch nicht sicherer... Bei dem Websapce habe ich noch ne gewisse "garantie" das die irgenwo ein Backup machen wenn es mal brennt.... was die VPS betreiber machen ist nicht ganz klar...
Ob die nur ihr Hostsystem und einstellungen sichern oder nebenbei auch die VPS systeme mit deren Containerinhalteln ???

Wird ja auch drauf hingewiesen... das man ein Backup machen soll...

lg

ddm3ve
Moderator
Moderator
Posts: 1142
Joined: 2011-07-04 10:56

Re: 2 x Mysql ?

Post by ddm3ve » 2018-12-27 13:53

rudelgurke wrote:
2018-12-21 18:09
Das eigentliche Problem sehe ich eher bei der MySQL Datenbank - die "too many connections" habe primär erstmal nichts mit dem Hostsystem zu tun, es sei denn die verbinden sich auf deine Datenbank. Wenn es sehr langsam geht bis eine Verbindung zu stande kommt, Queries ewig brauchen - dann ja, kann es das Hostsystem sein.
Als 1. kann man auch auf dem MySQL Server einen minütlichen Cronjob laufen lassen, der ein "show full processlist" macht und an eine Datei anhängt (nicht überschreibt natürlich). Das müsste erstmal helfen zu sehen woher die "too many connections" kommen und was klemmt.
Bei einem "Webhosting" wird er vermutlich keine eigene Datenbankinstanz haben.
"Too Many Connections" weisst auf ein Problem der Instanz hin. Bei einem "show full processlist", wird er vermutlich gar nicht alles sehen sondern nur seine Verbindungen. Ob das Ursachlich dafür ist? Vielleicht.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

ddm3ve
Moderator
Moderator
Posts: 1142
Joined: 2011-07-04 10:56

Re: 2 x Mysql ?

Post by ddm3ve » 2018-12-27 13:54

brenner23 wrote:
2018-12-26 18:36
Wird ja auch drauf hingewiesen... das man ein Backup machen soll...
Das solltest Du unabhängig auch von Deinem Hoster machen. Niemand ist vor Datenverlust und einem Worstcase gefeit.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

brenner23
Posts: 13
Joined: 2011-05-11 16:35

Re: 2 x Mysql ?

Post by brenner23 » 2018-12-27 19:17

Also mein Webspace hat nen eigenen Container,mit Prozessbegrenzungen etc. je nach Tarif was gewüscht ist , mit ner Sperlicher Shell (ohne MC, also alles zu Fuß) und MySql(MariaDB) ist auf dem nicht als Container sondern shared heist web123_db1 und web321_1 sind auf eine Instants vorhanden.
Wenn es anders wäre hätte ich denke mal eine jeweils eingenen Server mit eigener IP oder MySql port wäre bei jeden Kunden Anders oder IP zur MySql Datenbank...wie auch immer :-)

Es kommt selten vor und innerhalb der Toleranz von 99,99% verfürbarkeit des Servers kommen mal in den Rest mal zu Ausfällen, ist aber trotzdem ärgerlich :-)

User avatar
Joe User
Project Manager
Project Manager
Posts: 11599
Joined: 2003-02-27 01:00
Location: Hamburg

Re: 2 x Mysql ?

Post by Joe User » 2019-01-16 13:34

Deine "Wetterdaten" sind tatsächlich in einer SQLite besser aufgehoben und nebenbei löst Du dadurch auch das "too many connections"-Problem und zum Backup reicht ein simples Kopieren der SQLite-Datei. Da SQLite überall im Dateisystem angelegt werden kann, ist es auch völlig egal ob es ein Webspace, VPS oder Rootserver ist, selbst ein RaspberryPi oder Smartphone wäre ausreichend.

Wenn MySQL, dann auf dem VPS und regelmässig einen MySQLDump auf den Webspace als Backup schieben...
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.