MySQL richtig konfigurieren

MySQL, PostgreSQL, SQLite
User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2012-11-08 16:37

Das Ursprungspost wurde aktualisiert und der Support für MySQL 5.1 und älter hiermit eingestellt. MySQL 5.5 und MySQL 5.6 sind die aktuell unterstützten Versionen.

Die Beispielkonfiguration wurde zudem auf Systeme ab 4096MB RAM ausgelegt, da dies die derzeit marktübliche Mindestausstattung bei RootServern ist.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2012-12-03 14:22

Auf Grund der jüngsten Sicherheitsprobleme wurden die Sicherheitsmassnahmen in der Konfiguration nochmals leicht verschärft.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2012-12-09 21:16

Update 09.12.2012: Bugfixes und InnoDB-Tuning


Wenn möglich, bitte auf die aktuelle my.cnf aus dem ersten Post wechseln.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

ehrgeiz
Posts: 8
Joined: 2013-02-13 11:45

Re: MySQL richtig konfigurieren

Post by ehrgeiz » 2013-02-13 12:24

danke für den thread Joe!Leider ist die Datenbank bei mir immernoch recht langsam. Ich habe einige InnoDB Datenbanken, als auch MyISAM.

Die Datenbank hat 250 Tabellen wobei die größte ~ 32.000 Einträge hat. Wenn ich ein Import Skript ausführe läuft dieses bei genau dieser Tabelle ca. 40 Minuten (ist eine InnoDB Tabelle).

Habe zuerst mit mysql 5.1 von der CentOs 6 repo gearbeitet und jetzt auf mysql 5.5 von remi aktualisiert. Wirklich verändert hat sich aber nichts. Ist sogar eher noch langsamer.

Meine Idee ist jetzt das ich alle Tabellen mit InnoDB verwende und nur die großen mit MyISAM. Bringt mir das schon etwas oder woran kann denn das liegen?

Hier mal noch meine Serverkonfiguration (ist ein 1&1 Server L 4 i)
Intel® Xeon® E3-1220 (4 Cores x 3,1 GHz)
12 GB DDR3 ECC
1TB SATA HDD
CentOs6 Minimalsystem x64

Bringt es vllt. etwas auf Percona umzuseteigen? Habt ihr da Erfahrungen? Oder liegt ein allgemeiner Konfigurationsfehler vor?
Hier noch meine my.cnf

Code: Select all

[client]
port                            = 3306

[mysql]
prompt                          = \u@\h [\d]>\_
no_auto_rehash

[mysqld]
user                            = mysql
port                            = 3306
bind-address                    = 127.0.0.1
basedir                         = /var/lib
datadir                         = /var/lib/mysql
tmpdir                          = /var/tmp/mysql
slave-load-tmpdir               = /var/tmp/mysql
secure-file-priv                = /var/tmp/mysql
log-bin                         = /var/lib/mysql/mysql-bin
relay-log                       = /var/lib/mysql/relay.log
relay-log-index                 = /var/lib/mysql/relay.index
relay-log-info-file             = /var/lib/mysql/relay.info
master-info-file                = /var/lib/mysql/master.info
#master-host                     = <hostname>
#master-user                     = <username>
#master-password                 = <password>
#master-port                     = 3306
#auto_increment_increment        = 10
#auto_increment_offset           = 1
server-id                       = 1
back_log                        = 500
sync_binlog                     = 1
binlog_cache_size               = 4M
binlog_stmt_cache_size          = 4M
binlog-format                   = MIXED
expire_logs_days                = 30
slow-query-log                  = 1
slow-query-log-file             = /var/lib/mysql/slow-query.log
slave_compressed_protocol       = 1
safe-user-create                = 1
delay-key-write                 = ALL
myisam-recover-options          = FORCE,BACKUP
key_buffer_size                 = 256M
max_allowed_packet              = 32M
max_heap_table_size             = 64M
tmp_table_size                  = 64M
thread_stack                    = 192K
table_cache                     = 1024
table_open_cache                = 1024
table_definition_cache          = 1024
net_retry_count                 = 16384
query_cache_type                = 1
query_cache_size                = 64M
query_cache_limit               = 2M
query_cache_min_res_unit        = 4K
thread_cache_size               = 80
max_connections                 = 100
ft_max_word_len                 = 20
ft_min_word_len                 = 3
long_query_time                 = 1
local-infile                    = 0
log-warnings                    = 2
log-slave-updates
log-queries-not-using-indexes
skip-external-locking
skip-symbolic-links
innodb_thread_concurrency       = 8
innodb_buffer_pool_size         = 8G
innodb_additional_mem_pool_size = 16M
innodb_data_home_dir            = /var/lib/mysql
innodb_log_group_home_dir       = /var/lib/mysql
innodb_data_file_path           = ibdata1:2000M;ibdata2:10M:autoextend
innodb_flush_method             = O_DIRECT
innodb_log_file_size            = 128M
innodb_log_buffer_size          = 16M
innodb_log_files_in_group       = 2
innodb_flush_log_at_trx_commit  = 2
innodb_max_dirty_pages_pct      = 90
innodb_file_per_table           = 1
innodb_purge_threads            = 1
innodb_strict_mode              = 1
innodb_old_blocks_time          = 1000
innodb_stats_on_metadata        = 0
innodb_write_io_threads         = 8
innodb_read_io_threads          = 8
innodb_io_capacity              = 200
innodb_open_files               = 8192

[mysqldump]
max_allowed_packet              = 32M
quote_names
quick

[isamchk]
key_buffer_size                 = 256M

[myisamchk]
key_buffer_size                 = 256M

[mysqlhotcopy]
interactive_timeout


Wäre für Hilfe sehr dankbar :)

Grüße

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2013-02-13 12:39

Poste bitte mal die Ausgaben von mysqltuner.pl und tuning-primer.sh (siehe erster Post).
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

ehrgeiz
Posts: 8
Joined: 2013-02-13 11:45

Re: MySQL richtig konfigurieren

Post by ehrgeiz » 2013-02-13 14:13

mysqltuner

Code: Select all

 >>  MySQLTuner 1.2.0 - Major Hayden <major@mhtx.net>
 >>  Bug reports, feature requests, and downloads at http://mysqltuner.com/
 >>  Run with '--help' for additional options and output filtering

-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script
[OK] Currently running supported MySQL version 5.5.30-log
[OK] Operating on 64-bit architecture

-------- Storage Engine Statistics -------------------------------------------
[--] Status: +Archive -BDB -Federated +InnoDB -ISAM -NDBCluster
[--] Data in MyISAM tables: 6M (Tables: 3)
[--] Data in InnoDB tables: 13M (Tables: 95)
[--] Data in PERFORMANCE_SCHEMA tables: 0B (Tables: 17)
[--] Data in MEMORY tables: 124K (Tables: 1)
[!!] Total fragmented tables: 6

-------- Security Recommendations  -------------------------------------------
[OK] All database users have passwords assigned

-------- Performance Metrics -------------------------------------------------
[--] Up for: 15h 45m 0s (411K q [7.255 qps], 3K conn, TX: 289M, RX: 136M)
[--] Reads / Writes: 90% / 10%
[--] Total buffers: 8.4G global + 2.7M per thread (100 max threads)
[OK] Maximum possible memory usage: 8.7G (73% of installed RAM)
[OK] Slow queries: 4% (19K/411K)
[OK] Highest usage of available connections: 44% (44/100)
[OK] Key buffer size / total MyISAM indexes: 256.0M/2.3M
[OK] Key buffer hit rate: 99.1% (272K cached / 2K reads)
[OK] Query cache efficiency: 76.0% (273K cached / 360K selects)
[!!] Query cache prunes per day: 7814
[OK] Sorts requiring temporary tables: 0% (0 temp sorts / 14K sorts)
[OK] Temporary tables created on disk: 22% (7K on disk / 32K total)
[OK] Thread cache hit rate: 98% (44 created / 3K connections)
[!!] Table cache hit rate: 5% (136 open / 2K opened)
[OK] Open file limit used: 0% (12/2K)
[OK] Table locks acquired immediately: 100% (122K immediate / 122K locks)
[OK] InnoDB data size / buffer pool: 13.2M/8.0G

-------- Recommendations -----------------------------------------------------
General recommendations:
    Run OPTIMIZE TABLE to defragment tables for better performance
    MySQL started within last 24 hours - recommendations may be inaccurate
    Increase table_cache gradually to avoid file descriptor limits
Variables to adjust:
    query_cache_size (> 64M)
    table_cache (> 1024)



tuning-primer

Code: Select all

        -- MYSQL PERFORMANCE TUNING PRIMER --
             - By: Matthew Montgomery -

MySQL Version 5.5.30-log x86_64

Uptime = 0 days 15 hrs 46 min 59 sec
Avg. qps = 7
Total Questions = 413289
Threads Connected = 17

Warning: Server has not been running for at least 48hrs.
It may not be safe to use these recommendations

To find out more information on how each of these
runtime variables effects performance visit:
http://dev.mysql.com/doc/refman/5.5/en/server-system-variables.html
Visit http://www.mysql.com/products/enterprise/advisors.html
for info about MySQL's Enterprise Monitoring and Advisory Service

SLOW QUERIES
The slow query log is enabled.
Current long_query_time = 1.000000 sec.
You have 20013 out of 413310 that take longer than 1.000000 sec. to complete
Your long_query_time seems to be fine

BINARY UPDATE LOG
The binary update log is enabled

WORKER THREADS
Current thread_cache_size = 80
Current threads_cached = 27
Current threads_per_sec = 0
Historic threads_per_sec = 0
Your thread_cache_size is fine

MAX CONNECTIONS
Current max_connections = 100
Current threads_connected = 17
Historic max_used_connections = 44
The number of used connections is 44% of the configured maximum.
Your max_connections variable seems to be fine.

INNODB STATUS
Current InnoDB index space = 28 M
Current InnoDB data space = 13 M
Current InnoDB buffer pool free = 98 %
Current innodb_buffer_pool_size = 8.00 G
Depending on how much space your innodb indexes take up it may be safe
to increase this value to up to 2 / 3 of total system memory

MEMORY USAGE
Max Memory Ever Allocated : 8.63 G
Configured Max Per-thread Buffers : 668 M
Configured Max Global Buffers : 8.34 G
Configured Max Memory Limit : 8.99 G
Physical Memory : 11.73 G
Max memory limit seem to be within acceptable norms

KEY BUFFER
Current MyISAM index space = 2 M
Current key_buffer_size = 256 M
Key cache miss rate is 1 : 112
Key buffer free ratio = 81 %
Your key_buffer_size seems to be fine

QUERY CACHE
Query cache is enabled
Current query_cache_size = 64 M
Current query_cache_used = 26 M
Current query_cache_limit = 2 M
Current Query cache Memory fill ratio = 40.76 %
Current query_cache_min_res_unit = 4 K
MySQL won't cache query results that are larger than query_cache_limit in size

SORT OPERATIONS
Current sort_buffer_size = 2 M
Current read_rnd_buffer_size = 256 K
Sort buffer seems to be fine

JOINS
Current join_buffer_size = 132.00 K
You have had 82 queries where a join could not use an index properly
You should enable "log-queries-not-using-indexes"
Then look for non indexed joins in the slow query log.
If you are unable to optimize your queries you may want to increase your
join_buffer_size to accommodate larger joins in one pass.

Note! This script will still suggest raising the join_buffer_size when
ANY joins not using indexes are found.

OPEN FILES LIMIT
Current open_files_limit = 2158 files
The open_files_limit should typically be set to at least 2x-3x
that of table_cache if you have heavy MyISAM usage.
Your open_files_limit value seems to be fine

TABLE CACHE
Current table_open_cache = 1024 tables
Current table_definition_cache = 1024 tables
You have a total of 140 tables
You have 176 open tables.
The table_cache value seems to be fine

TEMP TABLES
Current max_heap_table_size = 64 M
Current tmp_table_size = 64 M
Of 26623 temp tables, 22% were created on disk
Created disk tmp tables ratio seems fine

TABLE SCANS
Current read_buffer_size = 128 K
Current table scan ratio = 2217 : 1
read_buffer_size seems to be fine

TABLE LOCKING
Current Lock Wait ratio = 0 : 413582
Your table locking seems to be fine
Last edited by ehrgeiz on 2013-02-15 15:32, edited 1 time in total.

ddm3ve
Moderator
Moderator
Posts: 1186
Joined: 2011-07-04 10:56

Re: MySQL richtig konfigurieren

Post by ddm3ve » 2013-02-13 16:14

ehrgeiz wrote:Die Datenbank hat 250 Tabellen wobei die größte ~ 32.000 Einträge hat. Wenn ich ein Import Skript ausführe läuft dieses bei genau dieser Tabelle ca. 40 Minuten (ist eine InnoDB Tabelle).

Wäre für Hilfe sehr dankbar :)


Beim Importieren..... dauer es lang. ;-)

Du könntest file per table gesetzt?
Wenn Du Bulk daten importiert z.B. bei einem Restore, dann ist es häufig sehr nützlich, wenn man Indexe und Contraints deaktiviert bzw. mit dem anlegen der Tabelle erst mal raus lässt. Nach dem Import die Constraints und sowie Indexe aktivieren.
Bei den Contrainsts also z.B. Forent Key, Primary Key Uniqe etc. Regeln musst Du die zu importierende Datenbasis im Vorfeld auf "Richtigkeit" prüfen.
Die Datenwuele muss sauber sein,

Bei den Indexen tut sich Datenbank erheblich leichter diese an einem Stück zu erzeugen als die Indexe bei jedem Datensatz der eingefügt wird neu zu berechnen.

Allgemein noch Stichwort Bulk insert / operationen mysql. Sowie:
http://dba.stackexchange.com/questions/ ... statements
http://kvz.io/blog/2009/03/31/improve-m ... rformance/
http://www.mediabandit.co.uk/blog/215_m ... -load-data
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

ehrgeiz
Posts: 8
Joined: 2013-02-13 11:45

Re: MySQL richtig konfigurieren

Post by ehrgeiz » 2013-02-14 15:59

okay danke soweit. leider kenn ich mich nicht so gigantisch mit mysql etc aus :D wie sieht denn meine my.cnf aus? irgendwelche verbesserungsvorschläge? oder können allgemein irgendwelche einstellungen am system probleme bereiten?

wenn ich die links richtig verstehe muss ja schon bei den skripten beachtet werden wie die daten importiert werden. diese sind aber fix vorgegeben und laufen auf lokalen testumgebungen auch innerhalb von sekunden :(

file-per-table - http://dev.mysql.com/doc/refman/5.0/en/innodb-multiple-tablespaces.html - habe ich nicht gesetzt. ist das zu empfehlen? laut der doku von mysql ist das dafür gedacht um tabellen an bestimmten orten zu speichern oder gezieltere backups zu fahren :-|

wie gesagt ich bin blutiger mysql anfänger und wunder mich einfach warum die SELECTs/INSERTs auf dem Server so viel länger laufen.

ddm3ve
Moderator
Moderator
Posts: 1186
Joined: 2011-07-04 10:56

Re: MySQL richtig konfigurieren

Post by ddm3ve » 2013-02-14 16:55

file-per-table hat bei innodb mehrere Vorteile.
Innodb Datenfiles wachsen immer an. Auch wenn man die Daten darin löscht, werden diese nicht mehr Kleiner ein Filesystem Backup wird hier u.U. sehr umständlich weil man wertvollen Plattenplatz verschwendet und grosse Datenmengen bei einer Sicherung transpotieren muss.

Ohne file per Table, Option werden die Daten in "einer" können auch mehrere sein, Datendatei gespeichert. um diese zu verkleiner weil z.B. nur ein Bruchteil der Daten darin bestehen, erfordet das Komplette droppen alle Innodb basierten Datenbanken und neu erstellen.
Import aus einem sql dump z.B.
Das dauet u.U. sehr lange.
Schneller geht es, wenn man bei bedarf eben die Tabellen dropt und neu ein spielt, die eben den höchsten defizit zwischen FS Belegung und Datenmenge aufweisen. Also wenig Daten rieseiges Datenfile.
Denn mit File per Table, hat änhlich wie bei MyIsam jede Tabelle ein eigenes Datafile.

Die Verwaltung der vielen Datendateien wiederum kostet etwas mehr Ressourcen.
Aber wirk sich nicht massiv aus.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

ehrgeiz
Posts: 8
Joined: 2013-02-13 11:45

Re: MySQL richtig konfigurieren

Post by ehrgeiz » 2013-02-15 15:25

ahh okay :) danke für die erklärung! habe auch gesehen das die option bereits aktiviert ist (siehe my.cnf):
innodb_file_per_table = 1

habe dann mal ein dump gezogen und alle tabellen einheitlich auf utf-8 getrimmt und alle tabellen (mit außnahme der "großen") auf InnoDB gesetzt.

hier mal ein auszug aus top

Code: Select all

top - 15:19:53 up 3 days, 21:28,  2 users,  load average: 1.79, 2.07, 2.14
Tasks: 173 total,   1 running, 172 sleeping,   0 stopped,   0 zombie
Cpu(s):  2.6%us,  0.2%sy,  0.0%ni, 77.8%id, 19.4%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  12301552k total, 10986564k used,  1314988k free,   172280k buffers
Swap:  4194288k total,     4008k used,  4190280k free,  7860808k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 2562 tomcat    20   0 5605m 230m  21m S 10.6  1.9  14:22.24 java
  401 root      20   0     0    0    0 S  0.3  0.0   1:22.58 md3_raid1
 2650 apache    20   0  486m  94m 6900 S  0.3  0.8   2:18.00 httpd
19725 root      20   0 15024 1376  992 S  0.3  0.0   0:00.72 top


und free

Code: Select all

             total       used       free     shared    buffers     cached
Mem:      12301552   11009252    1292300          0     172280    7860212
-/+ buffers/cache:    2976760    9324792
Swap:      4194288       4008    4190280


zum zeitpunkt des auszuges lief der index von apache solr. auch dies dauert extreem lange und auch im frontend auf der seite ist das ganze leider sehr langsam. irgendetwas ist doch da grundlegend falsch @-)

habe das ergebnis von mysqltuner und tuning-primer hier oben noch aktualisiert
Last edited by ehrgeiz on 2013-02-15 15:33, edited 1 time in total.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2013-02-15 15:46

19%wa deuted auf hohe Festplattenaktivitäten hin. Entweder es finden gerade wirklich sehr viele Festplattenzugriffe statt, oder es gibt eines oder mehrere der folgenden Probleme:
*) Filesystem ist beschädigt
*) RAID1 ist degraded oder im Rebuild
*) Alignement der Partitionen/Filesysteme passt nicht
*) Festplatte/n ist/sind am Sterben

Die Tools zum weiteren Analysieren der genannten möglichen Ursachen sind in Reihenfolge: fsck mdadm parted smartmontools
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

ehrgeiz
Posts: 8
Joined: 2013-02-13 11:45

Re: MySQL richtig konfigurieren

Post by ehrgeiz » 2013-02-15 16:19

die 19%wa kamen durch die solr indexierung nehme ich an. normal liegt der wert bei 0,0 oder 1,0%.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2013-02-15 23:25

Einen Vorschlag zur Verbesserung Deiner Konfiguration habe ich noch, ob er allerdings auch Dein Ursprungsproblem löst/mildert glaube ich hingegen nicht wirklich.
Bei der kleinen Datenmenge würde ich fast auf ein suboptimales Datenbankschema in Verbindung mit unoptimierten Queries tippen. Das müsste sich dann aber mal ein Fachmann direkt ansehen.


Zuerst die Datenbanken dumpen, dann MySQL stoppen und die InnoDB-Files löschen:

Code: Select all

mysqldump --flush-logs --master-data=2 --lock-all-tables --delete-master-logs --all-databases -uroot -p > /tmp/mysqldump.sql
/etc/init.d/mysql stop
rm /var/lib/mysql/ibdata[0-9] /var/lib/mysql/ib_logfile[0-9]


Die neue my.cnf (alte bitte sichern):

Code: Select all

[client]
port                            = 3306

[mysql]
prompt                          = \u@\h [\d]>\_
no_auto_rehash

[mysqld]
user                            = mysql
port                            = 3306
bind-address                    = 127.0.0.1
basedir                         = /var/lib
datadir                         = /var/lib/mysql
tmpdir                          = /var/tmp/mysql
slave-load-tmpdir               = /var/tmp/mysql
secure-file-priv                = /var/tmp/mysql
log-bin                         = /var/lib/mysql/mysql-bin
relay-log                       = /var/lib/mysql/relay.log
relay-log-index                 = /var/lib/mysql/relay.index
relay-log-info-file             = /var/lib/mysql/relay.info
master-info-file                = /var/lib/mysql/master.info
#master-host                     = <hostname>
#master-user                     = <username>
#master-password                 = <password>
#master-port                     = 3306
#auto_increment_increment        = 10
#auto_increment_offset           = 1
server-id                       = 1
back_log                        = 500
sync_binlog                     = 1
binlog_cache_size               = 4M
binlog_stmt_cache_size          = 4M
binlog-format                   = MIXED
expire_logs_days                = 30
slow-query-log                  = 1
slow-query-log-file             = /var/lib/mysql/slow-query.log
slave_compressed_protocol       = 1
safe-user-create                = 1
delay-key-write                 = ALL
myisam-recover-options          = FORCE,BACKUP
key_buffer_size                 = 32M
max_allowed_packet              = 32M
max_heap_table_size             = 64M
tmp_table_size                  = 64M
thread_stack                    = 192K
table_cache                     = 2048
table_open_cache                = 2048
table_definition_cache          = 2048
query_cache_type                = 1
query_cache_size                = 64M
query_cache_limit               = 2M
query_cache_min_res_unit        = 2K
thread_cache_size               = 80
max_connections                 = 100
ft_max_word_len                 = 20
ft_min_word_len                 = 3
long_query_time                 = 1
local-infile                    = 0
log-warnings                    = 2
log-slave-updates
log-queries-not-using-indexes
skip-external-locking
skip-symbolic-links
innodb_thread_concurrency       = 8
innodb_buffer_pool_size         = 256M
innodb_additional_mem_pool_size = 16M
innodb_data_home_dir            = /var/lib/mysql
innodb_log_group_home_dir       = /var/lib/mysql
innodb_data_file_path           = ibdata1:200M;ibdata2:10M:autoextend
innodb_flush_method             = O_DIRECT
innodb_log_file_size            = 128M
innodb_log_buffer_size          = 16M
innodb_log_files_in_group       = 2
innodb_flush_log_at_trx_commit  = 2
innodb_max_dirty_pages_pct      = 90
innodb_file_per_table           = 1
innodb_purge_threads            = 1
innodb_strict_mode              = 1
innodb_old_blocks_time          = 1000
innodb_stats_on_metadata        = 0
innodb_write_io_threads         = 8
innodb_read_io_threads          = 8
innodb_io_capacity              = 200
innodb_open_files               = 8192

[mysqldump]
max_allowed_packet              = 32M
quote_names
quick

[isamchk]
key_buffer_size                 = 256M

[myisamchk]
key_buffer_size                 = 256M

[mysqlhotcopy]
interactive_timeout


MySQL-Dump einspielen und MySQL starten:

Code: Select all

mysql -uroot -p < /tmp/mysqldump.sql
/etc/init.d/mysql start
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

ehrgeiz
Posts: 8
Joined: 2013-02-13 11:45

Re: MySQL richtig konfigurieren

Post by ehrgeiz » 2013-02-18 09:52

danke JOE - habe ich so umgesetzt. das Datenbankschema und die Queries müssen aber eigentlich passen, da die gleiche Datenbank mit den gleichen Scripts lokal schneller läuft.

//edit
habe jetzt einen baugleichen server neu aufgesetzt und mit CentOS 6.4 inkl. Plesk initialisiert. Ein erster Test hat ergeben das die Skripte jetzt wie gewohnt innerhlab von 2-3 Sekunden durchlaufen. Jetzt würde ich den mysqld aber trotzdem gerne noch etwas tunen damit auch das Frontend der Seite schneller wird.

Habe gleich mal von mysql 5.1 auf 5.5.30 via atomicorp.com aktualisiert und läuft auch. Wenn ich jetzt aber die letzte vorgeschlagene my.cnf einsetze startet der mysqld nicht mehr. Da müssen irgendwelche Parameter nicht zugelassen sein denn die Pfade passen.

Kannst du mir nochmal helfen? :)
Last edited by ehrgeiz on 2013-03-15 13:39, edited 1 time in total.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2013-03-15 15:17

Welche Option/en er nicht versteht, steht im Errorlog in /var/lib/mysql oder /var/log/mysql
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

ehrgeiz
Posts: 8
Joined: 2013-02-13 11:45

Re: MySQL richtig konfigurieren

Post by ehrgeiz » 2013-03-16 16:06

hmm mysql 5.5 installiert automatisch php 5.3.23 mit was aber wieder zu anderen problemen führt - desshalb lasse ich jetzt einfach mal 5.1 drauf - hast du da auch noch eine gute konfiguration? Denn das Frontend ist deutlich langsamer mit der standard konfig :-s
Last edited by ehrgeiz on 2013-03-16 16:08, edited 1 time in total.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2013-03-16 18:37

Für 5.1 kannst Du die zuletzt vorgeschlagene my.cnf ebenfalls nehmen, musst aber per Errorlog prüfen, ob alle Optionen akzeptiert werden und die bemängelten in der my.cnf dann kommentieren (# davor). Nach 48-72 Stunden lässt Du dann mysqltuner und tuning-primer laufen und postest beide Ergebnisse.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

Maestro2k5
Posts: 9
Joined: 2014-11-24 23:12

Re: MySQL richtig konfigurieren

Post by Maestro2k5 » 2014-12-02 13:51

Hallo und guten Tag,

ich würde mich hier gerne mal anschließen. Ich habe den Eindruck das mit meiner Konfiguration die ich selbst nach lesen diverse Seiten / Foren erstellt das eine oder andere nicht stimmt oder ich die Infos falsch interpretiert habe. Leider habe ich kein Backup der my.cnf merh verfügbar so wie sie war. Ich fand da lief das System ein ticken besser, trotz vieler fehler von den tuning scripts

Server-Info:
CPU: E3-1245v2
RAM: 32G
SoftRaid 3x120GB SSD
OS: Debian 7 + Plesk 12

Auf dem Server laufen 2 mittlere Foren und 2-3 kleine Webseiten.

Hier nun meine aktuelle my.cnf
[mysqld]
local-infile=0
#
# * Fine Tuning
#
key_buffer = 16M
max_allowed_packet = 16M
thread_stack = 192K
thread_cache_size = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover = BACKUP
max_connections = 50
table_open_cache = 15000
table_definition_cache = 15000
max_heap_table_size = 512M
tmp_table_size = 512M
key_buffer_size = 384M
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 8M
join_buffer_size = 2M
#
# * Query Cache Configuration
#
query_cache_limit = 16M
query_cache_size = 256M
#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file = /var/log/mysql/mysql.log
#general_log = 1
#
# Error logging goes to syslog due to /etc/mysql/conf.d/mysqld_safe_syslog.cnf.
#
# Here you can see queries with especially long duration
#log_slow_queries = /var/log/mysql/mysql-slow.log
#long_query_time = 2
#log-queries-not-using-indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
# other settings you may need to change.
#server-id = 1
#log_bin = /var/log/mysql/mysql-bin.log
expire_logs_days = 10
max_binlog_size = 100M
#binlog_do_db = include_database_name
#binlog_ignore_db = include_database_name
#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!
#
innodb_flush_log_at_trx_commit = 2
innodb_buffer_pool_size = 768M
#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem
[mysqldump]
quick
quote-names
max_allowed_packet = 16M
[mysql]
#no-auto-rehash # faster start of mysql but no tab completition
[isamchk]
key_buffer = 16M
#
# * IMPORTANT: Additional settings that can override those from this file!
# The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/mysql/conf.d/


Asuwertung von tuning-primer.sh
-- MYSQL PERFORMANCE TUNING PRIMER --
- By: Matthew Montgomery -

MySQL Version 5.5.40-0+wheezy1 x86_64

Uptime = 0 days 13 hrs 43 min 29 sec
Avg. qps = 17
Total Questions = 864730
Threads Connected = 3

Warning: Server has not been running for at least 48hrs.
It may not be safe to use these recommendations

To find out more information on how each of these
runtime variables effects performance visit:
http://dev.mysql.com/doc/refman/5.5/en/ ... ables.html
Visit http://www.mysql.com/products/enterprise/advisors.html
for info about MySQL's Enterprise Monitoring and Advisory Service

SLOW QUERIES
The slow query log is NOT enabled.
Current long_query_time = 10.000000 sec.
You have 0 out of 864751 that take longer than 10.000000 sec. to complete
Your long_query_time seems to be fine

BINARY UPDATE LOG
The binary update log is NOT enabled.
You will not be able to do point in time recovery
See http://dev.mysql.com/doc/refman/5.5/en/ ... overy.html

WORKER THREADS
Current thread_cache_size = 8
Current threads_cached = 4
Current threads_per_sec = 0
Historic threads_per_sec = 0
Your thread_cache_size is fine

MAX CONNECTIONS
Current max_connections = 50
Current threads_connected = 4
Historic max_used_connections = 10
The number of used connections is 20% of the configured maximum.
Your max_connections variable seems to be fine.

INNODB STATUS
Current InnoDB index space = 76 M
Current InnoDB data space = 388 M
Current InnoDB buffer pool free = 7 %
Current innodb_buffer_pool_size = 768 M
Depending on how much space your innodb indexes take up it may be safe
to increase this value to up to 2 / 3 of total system memory

MEMORY USAGE
Max Memory Ever Allocated : 1.52 G
Configured Max Per-thread Buffers : 709 M
Configured Max Global Buffers : 1.39 G
Configured Max Memory Limit : 2.08 G
Physical Memory : 31.31 G
Max memory limit seem to be within acceptable norms

KEY BUFFER
Current MyISAM index space = 39 M
Current key_buffer_size = 384 M
Key cache miss rate is 1 : 336
Key buffer free ratio = 80 %
Your key_buffer_size seems to be fine

QUERY CACHE
Query cache is enabled
Current query_cache_size = 256 M
Current query_cache_used = 122 M
Current query_cache_limit = 16 M
Current Query cache Memory fill ratio = 48.00 %
Current query_cache_min_res_unit = 4 K
MySQL won't cache query results that are larger than query_cache_limit in size

SORT OPERATIONS
Current sort_buffer_size = 2 M
Current read_rnd_buffer_size = 8 M
Sort buffer seems to be fine

JOINS
Current join_buffer_size = 2.00 M
You have had 97 queries where a join could not use an index properly
You should enable "log-queries-not-using-indexes"
Then look for non indexed joins in the slow query log.
If you are unable to optimize your queries you may want to increase your
join_buffer_size to accommodate larger joins in one pass.

Note! This script will still suggest raising the join_buffer_size when
ANY joins not using indexes are found.

OPEN FILES LIMIT
Current open_files_limit = 30060 files
The open_files_limit should typically be set to at least 2x-3x
that of table_cache if you have heavy MyISAM usage.
Your open_files_limit value seems to be fine

TABLE CACHE
Current table_open_cache = 15000 tables
Current table_definition_cache = 15000 tables
You have a total of 964 tables
You have 1346 open tables.
The table_cache value seems to be fine

TEMP TABLES
Current max_heap_table_size = 512 M
Current tmp_table_size = 512 M
Of 6648 temp tables, 41% were created on disk
Perhaps you should increase your tmp_table_size and/or max_heap_table_size
to reduce the number of disk-based temporary tables
Note! BLOB and TEXT columns are not allow in memory tables.
If you are using these columns raising these values might not impact your
ratio of on disk temp tables.

TABLE SCANS
Current read_buffer_size = 2 M
Current table scan ratio = 33 : 1
read_buffer_size seems to be fine

TABLE LOCKING
Current Lock Wait ratio = 1 : 37508
Your table locking seems to be fine


Asuwertung von mysqltuner
>> MySQLTuner 1.1.1 - Major Hayden <major@mhtx.net>
>> Bug reports, feature requests, and downloads at http://mysqltuner.com/
>> Run with '--help' for additional options and output filtering

-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script
[OK] Currently running supported MySQL version 5.5.40-0+wheezy1
[OK] Operating on 64-bit architecture

-------- Storage Engine Statistics -------------------------------------------
[--] Status: +Archive -BDB -Federated +InnoDB -ISAM -NDBCluster
[--] Data in MyISAM tables: 43M (Tables: 63)
[--] Data in InnoDB tables: 388M (Tables: 853)
[--] Data in PERFORMANCE_SCHEMA tables: 0B (Tables: 17)
[--] Data in MEMORY tables: 7M (Tables: 7)
[!!] Total fragmented tables: 858

-------- Security Recommendations -------------------------------------------
[OK] All database users have passwords assigned

-------- Performance Metrics -------------------------------------------------
[--] Up for: 13h 44m 48s (865K q [17.487 qps], 31K conn, TX: 7B, RX: 265M)
[--] Reads / Writes: 57% / 43%
[--] Total buffers: 1.9G global + 14.2M per thread (50 max threads)
[OK] Maximum possible memory usage: 2.6G (8% of installed RAM)
[OK] Slow queries: 0% (0/865K)
[OK] Highest usage of available connections: 20% (10/50)
[OK] Key buffer size / total MyISAM indexes: 384.0M/39.5M
[OK] Key buffer hit rate: 99.7% (14M cached / 43K reads)
[OK] Query cache efficiency: 78.3% (513K cached / 655K selects)
[!!] Query cache prunes per day: 541
[OK] Sorts requiring temporary tables: 0% (0 temp sorts / 6K sorts)
[!!] Temporary tables created on disk: 41% (4K on disk / 11K total)
[OK] Thread cache hit rate: 99% (12 created / 31K connections)
[!!] Table cache hit rate: 13% (1K open / 9K opened)
[OK] Open file limit used: 0% (198/30K)
[OK] Table locks acquired immediately: 99% (337K immediate / 337K locks)
[OK] InnoDB data size / buffer pool: 388.1M/768.0M

-------- Recommendations -----------------------------------------------------
General recommendations:
Run OPTIMIZE TABLE to defragment tables for better performance
MySQL started within last 24 hours - recommendations may be inaccurate
Enable the slow query log to troubleshoot bad queries
Increasing the query_cache size over 128M may reduce performance
Temporary table size is already large - reduce result set size
Reduce your SELECT DISTINCT queries without LIMIT clauses
Increase table_cache gradually to avoid file descriptor limits
Variables to adjust:
query_cache_size (> 256M) [see warning above]
table_cache (> 15000)

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2014-12-02 15:08

Ich habe mal die Chance genutzt und den Ursprungspost aktualisiert.

Mit der dortigen Vorgensweise und my.cnf solltest Du erstmal anfangen. Erfahrungsgemäss sollte das meistens auch ausreichen. Falls nicht, bitte nochmal mysqltuner und tuning-primer ausführen und die Ergebnisse posten, danke.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

Maestro2k5
Posts: 9
Joined: 2014-11-24 23:12

Re: MySQL richtig konfigurieren

Post by Maestro2k5 » 2014-12-02 15:18

Danke, ich werde das versuchen und nötigenfalls mich nochmal melden.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2014-12-02 15:20

Vergiss das frische Backup nicht!
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

Maestro2k5
Posts: 9
Joined: 2014-11-24 23:12

Re: MySQL richtig konfigurieren

Post by Maestro2k5 » 2014-12-02 16:10

Nachtrag mein SQL Server startet erst nachdem ich diese Zeilen auskommentiert hatte

#relay-log = /var/lib/mysql/relay.log
#relay-log-index = /var/lib/mysql/relay.index
#relay-log-info-file = /var/lib/mysql/relay.info
#relay-log-info-repository = TABLE
#relay-log-recovery = 1
#master-info-file = /var/lib/mysql/master.info
#master-info-repository = TABLE

Maestro2k5
Posts: 9
Joined: 2014-11-24 23:12

Re: MySQL richtig konfigurieren

Post by Maestro2k5 » 2014-12-02 16:16

und mein plesk geht auch nicht mehr

ERROR: Zend_Db_Statement_Exception: SQLSTATE[42S02]: Base table or view not found: 1146 Table 'psa.sessions' doesn't exist (Pdo.php:234)

Edit Sorry für das Doppelposting, edit ging leider nicht wie ich wollte.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: MySQL richtig konfigurieren

Post by Joe User » 2014-12-02 16:48

Ich hasse Plesk... Egal, mit dem bootstrapper sollte sich das fixen lassen:

Code: Select all

cd /usr/local/psa/bootstrapper/pp*-bootstrapper
./bootstrapper.sh repair
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

Maestro2k5
Posts: 9
Joined: 2014-11-24 23:12

Re: MySQL richtig konfigurieren

Post by Maestro2k5 » 2014-12-02 17:35

nicht wirklich. Ah ich hasse das ... Danke für deine Geduld

bekomme diesen Fehler:

DATABASE ERROR!!!
Database psa found, but version undefined

ERROR while trying to find psa database
Check the error reason(see log file: /var/log/plesk/install/plesk_12.0.18_repair.log), fix and try again

***** problem report *****
ERROR while trying to find psa database
Check the error reason(see log file: /var/log/plesk/install/plesk_12.0.18_repair.log), fix and try again
root@ns329570:/opt/psa/bootstrapper/pp12.0.18-bootstrapper#

Problem ist auch das die gesichste sql db wie in posting 1 beschrieben ist leer ist. Ich habe natürlich alle dbs gesichert außer die von plesk