Serverneustart 27.10.2004 07:00 Uhr

Neues rund um debianforum.de
Tomek
Beiträge: 254
Registriert: 07.08.2004 10:48:37
Wohnort: Paderborn

Beitrag von Tomek » 28.10.2004 11:48:02

Ich persönlich habe mittlerweile überall Kernel 2.6 drauf und ich habe noch keine schlechten Erfahrungen gemacht. Im Gegenteil, nur gute. Da das Forum nun an die Grenzen des Servers gestoßen ist und auch mal drüber, kannt man nicht konservativ bleiben. Du musst meiner Meinung nach versuchen mit vorhandenen Mitteln die Hardware besser auszunutzen.

Ein Upgrade auf MySQL 4 ist imho Pflicht. Das wird die Performance am spürbarsten erhöhen und die Last senken. Sicherheitsprobleme tauchen bei MySQL 4 eher selten auf. Und backports.org stellen auch Sicherheitsupdates bereit.

Wie gesagt, ich weiss nicht wie es mit Traffic bei Euch aussieht, aber die GZIP-Kompression erhöht deutlich die CPU-Last, was Ihr im Moment überhaupt nicht gebrauchen könnt.

Das Thema persistente Verbindungen bei MySQL und PHP ist häufig diskutiert worden, mit dem Resultat dass sie speziell für Foren nur Nachteile bringen. Zudem blockieren persistente Verbindungen die Datenbank. SIehe dazu z.B. das hier:
http://www.mysql.com/news-and-events/ne ... 00086.html und http://www.vbulletin.com/forum/showthre ... tent+mysql
Gruß,
Tomek

Benutzeravatar
feltel
Webmaster
Beiträge: 10368
Registriert: 20.12.2001 13:08:23
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Leipzig, Germany
Kontaktdaten:

Beitrag von feltel » 28.10.2004 12:26:38

Tomek hat geschrieben:Ich persönlich habe mittlerweile überall Kernel 2.6 drauf und ich habe noch keine schlechten Erfahrungen gemacht. Im Gegenteil, nur gute. Da das Forum nun an die Grenzen des Servers gestoßen ist und auch mal drüber, kannt man nicht konservativ bleiben. Du musst meiner Meinung nach versuchen mit vorhandenen Mitteln die Hardware besser auszunutzen.
Das machen wir ja auch, nur wollen und sollten wir nicht in Aktionismus ausarten. Solche Geschichten wollen wohl überlegt sein, da es ggf. keinen Weg zurück gibt. Ich denke nicht, das ein Wechsel von 2.4 auf 2.6 einen so gravierenden Vorteil bringt. Hab vor ner Weile mal ne Testmaschine sowohl unter 2.4.25 als auch unter 2.6.7 am laufen gehabt und es gab da keine Unterschiede in der Performance.
Ein Upgrade auf MySQL 4 ist imho Pflicht. Das wird die Performance am spürbarsten erhöhen und die Last senken. Sicherheitsprobleme tauchen bei MySQL 4 eher selten auf. Und backports.org stellen auch Sicherheitsupdates bereit.
Ich hab mir mal die Depencies von mysql auf backports.org angeschaut und damit könnte ich leben. Es will nur ne aktuellere debconf-Version haben, die aber zum Glück nicht von weiteren Backports abhängt. Manchmal ist man ja bei solchen Backports gewungen nen Sack voll anderer Pakete (und vorallendingen libs) mit upzudaten, wenn man den Backport nutzen will.
Wie gesagt, ich weiss nicht wie es mit Traffic bei Euch aussieht, aber die GZIP-Kompression erhöht deutlich die CPU-Last, was Ihr im Moment überhaupt nicht gebrauchen könnt.
Momentan brauchen wir so um die 35 GB pro Monat. Uns stehen 50 GB Frei-Traffic zur Verfügung. Ich glaube nicht, das GZip so schlecht arbeiten würde, so das wir bei Abschaltung von GZip unter den 50 GB Traffic bleiben würden. Ich werd aber mal testweise für einen Tag GZip ausschalten und das dann mal Trafficmäßig vergleichen.
Das Thema persistente Verbindungen bei MySQL und PHP ist häufig diskutiert worden, mit dem Resultat dass sie speziell für Foren nur Nachteile bringen. Zudem blockieren persistente Verbindungen die Datenbank. SIehe dazu z.B. das hier:
http://www.mysql.com/news-and-events/ne ... 00086.html und http://www.vbulletin.com/forum/showthre ... tent+mysql
Hmm, was ist nun die beste Lösung? Der eine sagt Persistente Connections an, der andere sagt Off. :?

Tomek
Beiträge: 254
Registriert: 07.08.2004 10:48:37
Wohnort: Paderborn

Beitrag von Tomek » 28.10.2004 12:36:41

feltel hat geschrieben:Das machen wir ja auch, nur wollen und sollten wir nicht in Aktionismus ausarten. Solche Geschichten wollen wohl überlegt sein, da es ggf. keinen Weg zurück gibt. Ich denke nicht, das ein Wechsel von 2.4 auf 2.6 einen so gravierenden Vorteil bringt. Hab vor ner Weile mal ne Testmaschine sowohl unter 2.4.25 als auch unter 2.6.7 am laufen gehabt und es gab da keine Unterschiede in der Performance.
Klar müssen solche Dinge gut überlegt sein. Jedoch sehe ich bei einem Upgrade auf Kernel 2.6 keine Gefahr, sondern potenziell mehr Leistung.
feltel hat geschrieben:Ich hab mir mal die Depencies von mysql auf backports.org angeschaut und damit könnte ich leben. Es will nur ne aktuellere debconf-Version haben, die aber zum Glück nicht von weiteren Backports abhängt. Manchmal ist man ja bei solchen Backports gewungen nen Sack voll anderer Pakete (und vorallendingen libs) mit upzudaten, wenn man den Backport nutzen will.
Stimmt, das ist bei MySQL nicht der Fall. Allerdings wirst du nach dem MySQL-Upgrade, wenn du das PHP von Woody behalten willst, das Paket "libmysqlclient10" von Debian Woody installiert lassen bzw. installieren, da das PHP bei Woody gegen die MySQL 3.23 Libaries gelinkt ist.
feltel hat geschrieben:Hmm, was ist nun die beste Lösung? Der eine sagt Persistente Connections an, der andere sagt Off. :?
Schalte sie ab. :)
Gruß,
Tomek

Benutzeravatar
feltel
Webmaster
Beiträge: 10368
Registriert: 20.12.2001 13:08:23
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Leipzig, Germany
Kontaktdaten:

Beitrag von feltel » 28.10.2004 13:13:01

Ich importier gerade mal spaßeshalber die dfde-Datenbank auf einen gerade zur Installation anstehenden Firmenrechner (P4/2800) und dabei bekomm ich
message from syslogd@skywalker at Thu Oct 28 13:02:48 2004 ...
skywalker kernel: CPU0: Temperature above threshold
Das DB-Dump-File ist kanpp ein halbes Gigabyte groß und der importiert schon knapp 15 Minuten.

Da da steht mir ja was bevor, wenn wir den DB-Server umstricken :P

Tomek
Beiträge: 254
Registriert: 07.08.2004 10:48:37
Wohnort: Paderborn

Beitrag von Tomek » 28.10.2004 13:43:46

Hehe :D

Wenn du allerdings nur ein MySQL-Upgrade auf dem gleichen Server machst, brauchst du die Datenbank nicht neu zu importieren, sondern nur einmal das Tool mysql_fix_privilege_tables laufen lassen.
Gruß,
Tomek

gucki
Beiträge: 338
Registriert: 15.03.2004 09:15:49

Beitrag von gucki » 28.10.2004 13:51:23

Momentan brauchen wir so um die 35 GB pro Monat. Uns stehen 50 GB Frei-Traffic zur Verfügung. Ich glaube nicht, das GZip so schlecht arbeiten würde, so das wir bei Abschaltung von GZip unter den 50 GB Traffic bleiben würden. Ich werd aber mal testweise für einen Tag GZip ausschalten und das dann mal Trafficmäßig vergleichen.
also ich hab das mal bei typo3 verglichen (das Ding schmeisst beide Größen zu Testzwecken raus. waren 8k (ohne GZIP) und 2.3k. Also auf eure Verhältnisse kannst du plötzlich VIEL MEHR Traffic haben, mehr als die 50GB denk ich mal. dfde ist ja auch zeimlich textlastig (was ich gut finde).

Benutzeravatar
Joghurt
Beiträge: 5244
Registriert: 30.01.2003 15:27:31
Wohnort: Hamburg
Kontaktdaten:

Beitrag von Joghurt » 28.10.2004 17:40:21

GZIP mindert doch nur den Traffic beim Backup der Datenbank, oder nicht?

Könntet ihr in diesem Falle nicht einfach die Datenbank per SSH-Tunnel sichern und dabei die GZip-Kompression von SSH nutzen?

Benutzeravatar
feltel
Webmaster
Beiträge: 10368
Registriert: 20.12.2001 13:08:23
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Leipzig, Germany
Kontaktdaten:

Beitrag von feltel » 28.10.2004 18:02:25

Wir nutzen hier Gzip in Form des Pakets libapache-mod-gzip auch zur Komprimierung des Transfers zwischen Webserver und Browser. Die meisten Browser können das mitlerweile und somit bringen wir den Traffic und die Ladezeiten der Webseite drastisch nach unten.

Benutzeravatar
Joghurt
Beiträge: 5244
Registriert: 30.01.2003 15:27:31
Wohnort: Hamburg
Kontaktdaten:

Beitrag von Joghurt » 28.10.2004 18:04:08

Ah! OK.

Benutzeravatar
se8i
Beiträge: 1017
Registriert: 08.11.2002 17:02:20
Wohnort: nähe Karlsruhe
Kontaktdaten:

Beitrag von se8i » 28.10.2004 20:38:58

Muß denn so dringend was gemacht werden?
Also speziell mit den Backports, jetzt wo sarge "so knapp vor dem release" steht.
Jazz is not dead, it just smells funny.

Tomek
Beiträge: 254
Registriert: 07.08.2004 10:48:37
Wohnort: Paderborn

Beitrag von Tomek » 28.10.2004 20:41:12

se8i hat geschrieben:Muß denn so dringend was gemacht werden?
Also speziell mit den Backports, jetzt wo sarge "so knapp vor dem release" steht.
Ja schon, da das Forum akute Probleme mit der Performance hat. Zu dem will feltet sicherlich nicht ein komplettes Distributionsupdate fahren, das nichts in der Hinsicht verbessert.
Gruß,
Tomek

floschi
Beiträge: 791
Registriert: 17.09.2002 14:36:18
Wohnort: München
Kontaktdaten:

Beitrag von floschi » 30.10.2004 22:31:25

Hehe, und noch einen Tick verrückter wäre als ein Kernelupdate von einem gut laufendem 2.4er auf einen 2.6er Entwicklungskernel (zumindest laut Torvalds) ;)

Benutzeravatar
KBDCALLS
Moderator
Beiträge: 22359
Registriert: 24.12.2003 21:26:55
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Dortmund
Kontaktdaten:

Beitrag von KBDCALLS » 31.10.2004 20:16:09

Der Server Neustart scheint wohl nichts an den Performanceproblem geändert zu haben, Ca. 20 Min hat der Server ebend garnicht reagiert.
Selbst eine Neueinwahl des DSL hat nichts geholfen. Ne Lösung schon in Sicht.
Was haben Windows und ein Uboot gemeinsam?
Kaum macht man ein Fenster auf, gehen die Probleme los.

EDV ist die Abkürzung für: Ende der Vernunft

Bevor du einen Beitrag postest:
  • Kennst du unsere Verhaltensregeln
  • Lange Codezeilen/Logs gehören nach NoPaste, in Deinen Beitrag dann der passende Link dazu.

Benutzeravatar
Maikel
Beiträge: 1267
Registriert: 13.04.2004 15:39:25
Wohnort: Gelsenkirchen
Kontaktdaten:

Beitrag von Maikel » 31.10.2004 20:20:17

Bin mir nicht sicher obs das Posting hier Richtig ist, oder ob schon was dazu bekannt ist.
Aber ich habe seit einigen Tagen Probleme auf df.de zu kommen.
Ich kann, bzw der Rechner kann den Host nicht erreichen.
Selbiges Problem ist mir auch von anderen Usern bekannt.


Zeitlich passen diese Probleme in die Zeit der Serverumstellung. Daher poste ich hier...
Cheers, Maikel
------------
BGLUG
------------
Linus Torvalds:
"Only wimps use tape backup: _real_ men just upload their important stuff on ftp, and let the rest of the world mirror it ;)"

fluid
Beiträge: 494
Registriert: 14.11.2003 21:52:49

Beitrag von fluid » 31.10.2004 20:23:04

Ich bin gerade eben auch für ca. 20 Minuten nicht auf die Seite gekommen, weder per https noch http. Auch

Code: Alles auswählen

telnet debianforum.de 80
ging in dieser Zeit nicht.

Benutzeravatar
C_A
Beiträge: 1082
Registriert: 22.04.2004 14:51:01
Lizenz eigener Beiträge: GNU General Public License

Beitrag von C_A » 31.10.2004 20:29:30

Ich bin zwar kurz auf die Seite gekommen, dies aber nur mit der Antwort: "critical error. Couldn't connect to database" o. ä.

Benutzeravatar
blackm
Moderator und Co-Admin
Beiträge: 5921
Registriert: 02.06.2002 15:03:17
Lizenz eigener Beiträge: MIT Lizenz

Beitrag von blackm » 31.10.2004 20:39:59

Ja, wir hatten da ein kleines Problem (das einen Load von etwa 50 und knapp 700 Prozesse verursacht hat). Wir konnten es aber mit iptables loesen 8)

by, Martin
Schöne Grüße

Martin

Neu im Forum? --> https://wiki.debianforum.de/debianforum ... tensregeln
Log- und Konfigurationsdatein? --> pastebin.php
Forum unterstützen? --> https://wiki.debianforum.de/debianforum.de/Spenden

Athlux
Beiträge: 543
Registriert: 16.05.2004 22:15:56

Beitrag von Athlux » 31.10.2004 21:26:01

blackm hat geschrieben:Ja, wir hatten da ein kleines Problem (das einen Load von etwa 50 und knapp 700 Prozesse verursacht hat). Wir konnten es aber mit iptables loesen 8)

by, Martin
Ah es sind ja Ferien und die kleinen Kiddies haben nichts anders zu tun ;)
Gruß Athlux

HorstV
Beiträge: 419
Registriert: 11.10.2003 18:34:22
Wohnort: Grenoble / Recklinghausen

Beitrag von HorstV » 03.11.2004 18:24:58

Ich bin zwar kurz auf die Seite gekommen, dies aber nur mit der Antwort: "critical error. Couldn't connect to database" o. ä.
Gleiches Phänomen bei mir heute zwischen 18:00 Uhr und 18:15 Uhr MEZ. Entweder ging garnichts oder obige Fehlermeldung.

Gruß Horst
SID on IBM T42p kernel 2.6.14.5 ati-8.20.8

Benutzeravatar
feltel
Webmaster
Beiträge: 10368
Registriert: 20.12.2001 13:08:23
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Leipzig, Germany
Kontaktdaten:

Beitrag von feltel » 03.11.2004 18:27:03

Musste den Server leider vor rund 20 Minuten resetten, da der Load wieder mal auf über 30 angestiegen war und MySQL sich partout nicht beenden ließ.

HorstV
Beiträge: 419
Registriert: 11.10.2003 18:34:22
Wohnort: Grenoble / Recklinghausen

Beitrag von HorstV » 03.11.2004 18:49:36

Ursachen?
SID on IBM T42p kernel 2.6.14.5 ati-8.20.8

Benutzeravatar
feltel
Webmaster
Beiträge: 10368
Registriert: 20.12.2001 13:08:23
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Leipzig, Germany
Kontaktdaten:

Beitrag von feltel » 03.11.2004 18:58:03

Wir sind gerade dabei die verschiedenen Logs durchzuarbeiten, um mehr Informationen zu bekommen woran es lag. Es scheint aber so zu sein, das verschiedene Ereignisse zusammentreffen und dann den Load verursachen. Wie es scheint ist es kein einzelnes Ereigniss was zu dem Problem führt.

Benutzeravatar
KBDCALLS
Moderator
Beiträge: 22359
Registriert: 24.12.2003 21:26:55
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Dortmund
Kontaktdaten:

Beitrag von KBDCALLS » 04.11.2004 13:05:07

Schon ein Ergebnis?
Was haben Windows und ein Uboot gemeinsam?
Kaum macht man ein Fenster auf, gehen die Probleme los.

EDV ist die Abkürzung für: Ende der Vernunft

Bevor du einen Beitrag postest:
  • Kennst du unsere Verhaltensregeln
  • Lange Codezeilen/Logs gehören nach NoPaste, in Deinen Beitrag dann der passende Link dazu.

Benutzeravatar
The Torso
Beiträge: 882
Registriert: 13.07.2003 12:46:40
Lizenz eigener Beiträge: MIT Lizenz

Beitrag von The Torso » 04.11.2004 13:49:52

laut [1] gilt:
mysql_pconnect ist besser da die Verbindung nur einmal geöffnet wird und offen bleibt und somit wir das scriptt schneller
Auch wenn ich nicht genau verstehe wie das Funktioniert, aber ich beschäftig mich nur so privat seit ein paar monaten mit php und mysql.

[1] http://www.webmasterpro.de/content_tip-1379.php
Debian GNU/Linux 00101010

Benutzeravatar
feltel
Webmaster
Beiträge: 10368
Registriert: 20.12.2001 13:08:23
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Leipzig, Germany
Kontaktdaten:

Beitrag von feltel » 04.11.2004 13:55:19

KBDCALLS hat geschrieben:Schon ein Ergebnis?
Noch nicht so richtig. :?

Eine Ursache ist (bzw. war) der stündliche mysqldump-Prozess (zur Vorbereitung des DB-Backups). Wir haben dies vorerst auf die Nachtstunden eingeschränkt. Eine weitere Ursache oder besser gesagt die Folge des mysqldunp waren MySQL-Queries, die bis zu 66 Sekunden liefen. Es waren hauptsächlich Suchabfragen wo der/die Suchenden dann während der Minute sicherlich mehrfach den Refresh-Button geklickt hat und damit eine neue Instanz der Suche gestartet hat.

Antworten