Wartungsarbeiten vServer Infrastruktur
Betroffene Dienste:
vServer
----
Liebe Kunden,
wir führen am 01.10.2022 von 22:00 bis 6 Uhr Wartungsarbeiten an unserer vServer Infrastruktur durch
in diesem Wartungszeitraum werden wir einige CPU der Nodes tauschen (gegen neuere Generationen) , und neue Nodes hinzufügen.
für den Tausch der Komponenten müssen einige Nodes heruntergefahren werden. Wir rechnen damit das die Wartungsarbeiten c.a 3 Stunden in Anspruch nehmen werden.
----
Sie können sich auf unserer Status-Seite über den aktuellen Stand der Wartungsarbeiten informieren,
Sie erreichen unsere Stauts-Seite unter: https://ksc.serverdiscounter.com/serverstatus.php
Wartungsarbeiten Ceph Storage Cluster
Betroffene Dienste:
Nextcloud
CloudNAS
Backupserivce
----
Liebe Kunden,
wir führen am 01.10.2022 von 22:00 bis 6 Uhr Wartungsarbeiten an unsere Ceph Storage durch,
in diesem Wartungszeitraum werden die betroffenen Anwendungen für c.a 2 Stunden nicht zur Verfügung stehen.
----
Liebe Kunden,
aktuell erhalten wir einen größeren DDoS Angriff auf unsere vServer Infrastruktur, die von der DDoS Protection wohl nicht gefiltert wird.
Wir versuchen das ganze zu lindern, indem wir die Source-IPs nullrouten.
Liebe Kunden,
aktuell kommt es bei einem der vServer Nodes zu Problemen, daher sind c.a 60 vServer aktuell nicht erreichbar.
Wir analysieren das Problem aktuell.
- Update 13:40 Uhr
- Da sich das Problem leider nicht so schnell wie erhofft lösen lässt, wurden alle Vms auf andere Nodes verteilt, und dort aktuell neu gestartet.
Nach einem Neustart eines der 4 Storage Nodes des vServer Cluster macht dieser aktuell Probleme beim Starten,
wir analysieren dies aktuell.
- 13:15
Die Störung ist behoben, alle Nodes laufen wieder.
Betroffene Dienste:
vServer
Liebe Kunden,
wir tauschen am Node prox-01-sky-nl am Freitag den 05.08 ab 22 Uhr die CPUs gegen eine neuere und leistungsfähigere CPU Generation.
Der Eingriff wird c.a 20 Minuten in Anspruch nehmen.
Alle vServer auf dem Node werden nach dem Eingriff automatisch gestartet.
Update: 06.08 - 2:20 Uhr
CPUs auf dem Node sind getauscht, Vms laufen wieder.
Betroffene Dienste:
Dedicated Server
Liebe Kunden,
wir tauschen am Freitag den 05.08 ab 22 Uhr einige Switche für Dedicated Server,
der Eingriff wird c.a 20 Minuten in Anspruch nehmen, in dieser Zeit kommt es zu einer kurzen Unterbrechung der Netzwerkverbindung, an den betroffenen Dedicated Server.
Problem: Wartungareiten
Server: webmail.serverdiscounter.com
Datum : 28.08.2021
Zeit: 23:00 Uhr - 2:00 Uhr
Liebe Kunden, wir führen dringende Wartungsarbeiten an unserem Webmailer durch. Dieser wird in der Zeit zwischen 23 Uhr und 2 Uhr nicht zur Verfügung stehen.
In dieser Zeit ist es nicht möglich Emails zu versenden. Eingehende Emails werden zwischengespeichert, und nach dem der Server wieder erreichbar ist austomatisch zugestellt.
Liebe Kunden,
wir führen aktuell Wartungsarbeiten an unserem Webmailer durch. Wir erwarten, das diese bis 15 Uhr abgeschlossen sind.
-> Die Migration auf die neue Hardware ist zu 89% abgeschlossen.
wegen interner Gründe werden wir die großen Wartungsarbeiten auf den 28.06.21 4:30 Uhr bis 6:00 Uhr verschieben. Wir upgraden unsere Datacenter-Verbindungen von 10G zu 100GBit.
Wir werden den Coreswitch und den Corerouter austauschen. Die eigentliche Downtime wird voraussichtlich 30 Minuten betragen, kann sich aber verlängern, wenn wir auf Probleme stoßen
Betroffen: Datacenter Nierderlande
Dienste: vServer, Dedicated Server, Nextcloud, NAS.
Liebe Kunden,
unser Vorlieferant für die Anbindung an das Rechenzentrum in den Niederlanden führt am 24.06.2021 in der Zeit zwischen 4:30 Uhr und 6:00 Uhr Wartungsarbeiten an der Anbindung zum Rechenzentrum durch,
dadurch kommt es zu einer Unterbrechung der Internetanbindung von c.a 30 Minuten.
Betroffene System: Tower-Hosuing / Dedicated Tower-Server in Franfurt am Main
Datum: 20.06.2021
Zeit: 3-4 Uhr
Dauer: 15-20 Minuten
Tätigkeit:
Wartungsarbeiten Stromversorgung der Regale / erneuern der PDU
Aktuell gibt es beim Betreiber des Rechenzentrums am Standort in den Niederlanden ein Problem mit der Stromanbindung.
06.04.21 - 16:00 Uhr
Strom ist wieder da, die Systeme fahren so nach und nach wieder hoch.
Liebe Kunden,
bei unserem Dienst Nextcloud kommt es aktuell zu Performanceproblemen.
Nach dem Ausfall eines Nodes in dem Cluster kommt es durch den Resync der Date zu einer starken Beanspruchung der Festplatten, dies wirkt sich leider auf die Performance der Anwendung aus.
Liebe Kunden,
unser Ceph Storage Cluster funktioniert wieder. Aktuell kommt es aber noch zu Extremen Performance-Problemen.
Aktuell wird die Uhrsache analysiert.
31.03 -15:20 Uhr
Aktuell warten wir noch auf das Ergebnis der Analyse um hier weiter fortzufahren.
31.03 - 15:45 Uhr
Aktuell geht man davon aus, das die Probleme von 3 OSD´s verursacht werden.
31.03 - 21:30 Uhr
Die OSD´s wurden getauscht, und die Daten Re-Synced. Da die Performance auf dem Pool allerdings noch nicht zufriedenstellen ist, haben wir zum testen auf dem selben Storage einen neuen Pool angelegt.
Ein Bench brachte hier ein zufriedenes Ergebnis. Weshalb es aber auf dem aktuellen Pool zu solchen Problemen kommt lassen wir morgen noch einmal analysieren.
03.04 - 18:00 Uhr
Das Performance Problem konnte leider trotzt 2 Dienstleister nicht gelöst werden. Grund sind hier wohl 5 Inaktive PGs die nicht wieder hergestellt werden konnten.
Kunden die über unser Portal , oder unseren Kundensupport ein Kostenfreies Backup / Tägliches Backup eingerichtet hatte, wurden inzwischen auf einem andern Pool wiederhergestellt. Kunden die Kein Backup über uns erstellt hatte, werden gebeten sich bei unserem Kundenservice zu melden, um ggf. lokal vorhandene Backups einzuspielen.
Liebe Kunden,
aktuell kommt es zu Problemen mit unserem Ceph-Storage wo sich die Daten der vServer befinden. Wir lassen das Problem morgen von einer darauf spezialisierten Fach-Firma analysieren.
29.03 - 10 Uhr
Nach einer ersten Analyse gibt es ggf. ein Problem mit der MON-Map des Ceph-Clusters ( Die Gelb eingezeichneten "MON" )
15:00 Uhr
Störung ist behoben, wir beobachten das Storage aktuell noch.
16:15 Uhr
Nach aktuellem Stand gibt es keinen Datenverlust, das schaut alles sehr gut aus. Das Cluster macht aktuell noch einen Re-Sync der Daten was noch ein wenig dauern wird.
Zeitfenster Wartungsarbeiten:
Datum: 26.03.2021
Zeit: 11:00 - 16:00 Uhr
Systeme: vServer
Liebe Kunden,
aktuell kommt es zu Performanceeinbrüchen bei unseren vServer, Grund sind hier die eingesetzten SSD Festplatten.
Wir werden bei dieser Gelegenheit einzelne Nodes gegen HP Server tauschen.
Folgende Geräte werden getauscht:
Node: Prox21
Zeit: 11:00 - 11:40 Uhr
Node in dieser Zeit erreichbar ?: nein
Node: Prox20
Zeit: 13:00 - 13:40 Uhr
Node in dieser Zeit erreichbar ?: nein
Node: Prox31
Zeit: 15:00 - 15:40 Uhr
Node in dieser Zeit erreichbar ?: nein
27.03.2021 - 00:10 Uhr
Aktuell fehlen noch 6 Festplatten die getauscht werden müssen, zuvor muss die Daten des Clusters aber erst wieder auf allen Nodes Syncen. Dies wird noch ein paar Stunden dauern.
27.03.2021 7:40 Uhr
Festplatten sind getauscht, das Ceph resynct aktuell noch die Daten. Im Anschluss müssen noch einzelne Cosumer SSD Platten entfernt werden
Aktuell kommt es zu Problemen bei unserem Webmailer, scheinbar in Verbindung mit dem Ldap Server.
Wir werden dies so schnell wie möglich beheben.
Zeitfenster Wartungsarbeiten:
Datum: 26.03.2021
Zeit: Unbekannt
Systeme: JTL WAWI
Liebe Kunden,
wir führen Wartungsarbeiten am Strom durch, dafür muss das Ceph-Cluster inkl. aller JTL WAWI Server heruntergefahren werden
Dieser Eingriff wird c.a 40 Minuten in Anspruch nehmen, in dieser Zeit ist Ihre JTL WAWI nicht erreichbar
27.03.2021 - 00:05
Wartungsarbeiten sind seit c.a 2 Stunden bei den JTL Clustern beendet. Alle Systeme laufen wieder.
Liebe Kunden,
wir führen am Freitag dem 02.04.2021 ab 16 Uhr Umbauarbeiten an der Stromversorgung durch. Dadurch muss das komplette vServer inkl. der darauf befindlichen vServer leider heruntergefahren werden.
Der Eingriff dauert c.a 30-40 Minuten.
Zeitfenster Wartungsarbeiten:
Datum: 02.04.2021
Zeit: 13-13:40 Uhr
Systeme: Nextcloud
Liebe Kunden,
wir führen Wartungsarbeiten am Strom durch, dafür muss das Ceph-Cluster inkl. der Nextcloud Plattform heruntergefahren werden.
Dieser Eingriff wird c.a 40 Minuten in Anspruch nehmen, in dieser Zeit ist Ihre Nextcloud nicht erreichbar.
Zeitfenster Wartungsarbeiten:
Datum: 02.04.2021
Zeit: 14-14:40 Uhr
Systeme: Nextcloud
Liebe Kunden,
wir führen Wartungsarbeiten am Strom durch, dafür muss das Ceph-Cluster inkl. der Nextcloud Plattform heruntergefahren werden.
Dieser Eingriff wird c.a 40 Minuten in Anspruch nehmen, in dieser Zeit ist Ihre Nextcloud nicht erreichbar.
Wir planen am Sonntag ab 22 Uhr einen Umzug der aktuellen Webmailer Plattform auf neue Hardware, die am Samstag den 27.06 im Rechenzentrum verbaut wird.
Der Eingriff dauert c.a von Sonntag 22 Uhr bis Montag 3 Uhr, in dieser Zeit steht der Webmailer nicht zur Verfügung, Emails die in dieser Zeit eingehen werden angehalten und später zugestellt.
29.06 2:42 - Der Umzug auf das neue Cluster war erfolgreich
Email System steht wieder zur Verfügung.
Betroffene Produkte: vServer
Liebe Kunden,
aktuell kommt es zu einem Problem bei unserem Storage-System, erste Hinweise deuten auf ein Last-Problem hin, wir analysieren dies aktuell.
Liebe Kunden,
wir werden heute Abend um 22 Uhr ein Sicherheitsupdate auf unserem Core-Switch installieren, dadurch kommt in der Zeit wo der Switch neu startet zu einer Unterbrechung der Verbindung.
Liebe Kunden,
aktuell kommt es zu einem " freeze " des Betriebssystem des Verwaltungsservers für das Login Center der Nextcloud Instanzen.
Auf ein Reset per Remote reagiert der Server leider nicht. Ein Kollege wird sich den Server morgen in den normalen Geschäftszeiten anschauen.
Liebe Kunden,
aktuell kommt es zu einer Störung im Rack 1.4.1.
Ein Kollege ist ab 10 Uhr vor Ort, und wird sich darum kümmern
Liebe Kunden,
aktuell kommt es auf dem Nextcloud Server web3 zu einer Störung.
Im Detail handelt es sich um eine Festplatte mit I/O Errors, weshalb das Betriebssystem des Server immer wieder " einfriert "
Ein Kollege wird die Platte morgen Vormittag gegen eine neue tauschen.
Aktuell kommt es zu einer Störung beim Server Next1
wir arbeiten an einer Lösung
-> Störung ist behoben, wir entschuldigen uns für die Umstände, und danken für Ihre Geduld.
Aktuell kommt es zu einer Störung auf dem Server Web3.
Aktuell kommt es beim Nextcloud/Webhosting Server Web3 zu Störungen.
-> Wir analysieren das Problem aktuell.
-> Das Problem liegt an einer SSD Festplatte die als Cache für die Temporären Daten verwendet wird. Diese läuft voll.
Wir erweitern die Partition und schieben die Festplatte auf ein anderes Storage, das verschieben wird einige Zeit in Anspruch nehmen, aktuell sind wir bei 76%
Start: 03/01/2013 17:00
End: 03/01/2013 17:30
Duration: 30 Minuten
Location: Frankfurt, Interwerk
Affected customer:
1. vServer Kunden
Work description:
Leider ist ein Umbau der Storage Systeme notwendig, davon betroffen sind alle vServer Kunden.
Das System wird für c.a 30 Minuten nicht zur Verfügung stehen.
Start: 03/01/2013 14:00
End: 03/01/2013 14:30
Duration: 30 Minuten
Location: Frankfurt, Interwerk
Affected customer:
1. Alle Kunden am Standort
Work description:
Wartungsarbeiten am Core-Router, da dieser Rechenzentrum-Intern neu aufgebaut werden muss kommt es zu einer Unterbrechung der Netzanbindung.
Start: 03/01/2013 16:00
End: 03/01/2013 16:10
Duration: 10 Minuten
Location: Frankfurt, Interwerk
Affected customer:
1. Kundencenter / Webseite
Work description:
Wartungsarbeiten an unserem Kundencenter, dieses wird in der oben genannten Zeit nicht zur Verfügung stehen.
Start: 03/01/2013 14:40
End: 03/01/2013 14:60
Duration: 20 Minuten
Location: Frankfurt, Interwerk
Affected customer:
1. Email Kunden
Work description:
Wartungsarbeiten am Mail-Relay ein und ausgehend. Emails in dieser Zeit werden zwischengespeichert, und nach der Wartung ausgeliefert.
Start: 03/01/2013 20:00
End: 03/01/2013 20:10
Duration: 10 Minuten
Location: Frankfurt, Interwerk , Rack 1.4.2
Affected customer:
1. Colocation Kunden im Rack 1.4.2
Work description:
Wartungsarbeiten am Stromnetz Tausch der PDU
Aktuell kommt es auf unserem Webhostingserver web2 zu einer Störung.
wir arbeiten bereits an einer Lösung.
- 29.10 - 18 Uhr: Das Dateisystem ist leider beschädigt eine Reparatur war nicht möglich.
- 29.10 -18:10 Uhr Einspielen des Backups nicht möglich
- 29.10 - 18:20 Mounten des Systems als Read-Only Daten werden aktuell von Hand gesichert.
- 30.10 - 13:58 Datensicherung läuft noch, aktuell sind wir bei c.a 40 %
- 30.10 - 18:05 Datensicherung ist fertig, Im nächsten Schritt werden alle DNS Records auf den neuen Server angepasst, sollten Sie eine eigene Domain haben ( keine .srvcloud.de oder serverdiscounter.com ) so setzen Sie bitte folgenden A und AAAA Record: A -> 185.216.212.95 / AAAA-> 2a0b:bbc0:0:1002::5
- 30.10 - 20:18 Wir haben damit begonnen die ersten Accounts wiederherzustellen. Sie erhalten automatisch eine Email mit den Zugangsdaten sobald Ihr Account wiederhergestellt, und die Daten wieder hochgeladen wurden.
Der Onlyoffice Backend Server steht aktuell nicht zur Verfügung.
Sobald dieser wieder erreichbar ist, werden wir Sie hier informieren.
- 30.10 - Dienst sollte bis heute Abend wieder zur Verfügung stehen.
Liebe Kunden,
auf dem Cpanel / Nextcloud Server kommt es aktuell zu dem Fehler:
"Internal Server Error
The server encountered an internal error and was unable to complete your request. Please contact the server administrator if this error reappears multiple times, please include the technical details below in your report. More details can be found in the server log. "
dies hängt mit einem Verschieben der des Servers auf ein größeres Storage zusammen.
Der Prozess ist bei 99,80 % und sollte gleich abgeschlossen sein.
Im Anschluss werden wir das System einmal neu starten, um die Funktion wieder herzustellen.
Aktuell kann über das Kundencenter kein neuer Benutzer angelegt werden.
Es handelt sich um einen Fehler in der Schnittstelle zwischen Zimbra und dem Kundencenter.
Liebe Kunden,
aktuell kommt es zu einem Ausfall des Nextcloud Storage Systems.
Wir analysieren das Problem aktuell.
- 13:32 Techniker ist unterwegs in das Rechenzentrum
- 14:05 Techniker ist eingetroffen
- 14:35 Das System steht wieder zur Verfügung.
Problem:
Nach Performanceproblemen, wurde das Storage neu gestartet. Diese konnte von der Systemplatte nicht mehr booten.
Nach erster Analyse waren dem Raid-Controller keine Festplatten mehr bekannt, daher war auch kein Booten möglich.
Ein Kaltstart des Systems löste das Problem.
Liebe Kunden,
wir führen Wartungsarbeiten am Dateisystem des Webservers durch.
Dadurch wird dieser 10-15 Minuten nicht erreichbar sein.
Guten Tag,
leider wird das Raid Verbund des Servers: jtlcloud.serverdiscounter.com nicht mehr erkannt.
Datenbankkunden auf dem jtlcloud.serverdiscounter.com haben somit aktuell keinen Zugriff.
- 8:59 Uhr
Kunden die am FTP Backup-Programm teilnehmen bitte wir sich zu melden, wir haben hier die Möglichkeit die Datenbank auf einem anderen Server einzuspielen.
- 9:38
ein Neustart des Storage Systems brachte kein Erfolg.
- 10:23
Beide Festplatten werden nicht mehr erkannt, vor Ort im Rechenzentrum wurde nun ein Ticket eröffnet die Festplatten zu prüfen.
- 11:38
einer der beiden Festplatten wurden getauscht, und geprüft. die Festplatten sind ok.
Es wird nun versucht, ob die Festplatten wieder erkannt werden.
- 11:50
Festplatten werden wieder erkannt. System wird versucht zu starten.
- 12:07
Dienste konnten gestartet werden.
Liebe Kunden,
aktuell kommt es zu einer Störung bei unserem DHCP Server.
Sollte Ihr vServer keine IP Adresse mehr erhalten, wenden Sie sich bitte an unseren Support.
Aktuell werden alle Nextcloud Instanzen auf dem Server web1 auf ein anderes Storagesystem umgezogen,
dadurch ist kommt es aktuell zu längeren Zugriffszeiten.
Wir werden heute Nacht an unseren Onlyoffice Server einige Netzwerkeinstellungen vornehmen,
dieser Eingriff dauert c.a 10 Minuten, in dieser zeit steht der Server nicht zur Verfügung.
Liebe Kunden,
wir werden heute Nacht unser bestehendes Email Gateway austauschen.
Diese Gateway versendet Zentral alle Emails von unseren Systemen und Kunden.
in dieser Zeit können keine Emails versendet werden, diese werden nach dem Eingriff versendet.
Dauer: c.a 30 -45 Minuten.
Liebe Kunden,
wir werden heute Nacht Netzwerkarbeiten an unserem Emailserver vornehmen, dieser Eingriff dauert c.a 10 Minuten. In dieser Zeit wird dieser nicht zur Verfügung stehen.
Liebe Kunden,
wir werden heute Nacht Netzwerkarbeiten an unserem Emailserver vornehmen, dieser Eingriff dauert c.a 10 Minuten. In dieser Zeit wird dieser nicht zur Verfügung stehen.
Liebe Kunden,
wir werden heute Nacht Netzwerkarbeiten an unserem Emailserver vornehmen, in dieser Zeit wird dieser nicht zur Verfügung stehen.
Liebe Kunden,
wir werden heute Nacht kleine Anpassungen an unserem Kundencenter durchführen, unser Kundencenter wird daher für etwa 10 -15 Minuten nicht zu Ihrer Verfügung stehen.
Liebe Kunden,
unser Backupserver wird heute Nacht gewartet, wir werden hier die Netzwerkkarte gegen ein 10Gps Interface tauschen.
Wir führen im obigen Zeitpunkt Wartungsarbeiten an unserer Netzstruktur durch.
Dadurch kann es vorübergehend zu kurzen Unterbrechungen kommen.
Aktuell gibt es Probleme mit dem VMware Storage 2
Betroffene Kunden c.a 45
Auswirkungen: vServer lassen sich nicht mehr neustarten, oder neu installieren.
wir arbeiten bereits an der Lösung
in einem unserer Shared Storage System für unseren root und vServer ist eine Festplatte defekt.
Daher läuft das Storage derzeit im " Notfallmodus " und die Zugriffzeiten sind daher extrem verzoegert.
Wir verlagern die betroffenen Server derzeit auf ein neues Storage.
Alle Kundendaten sind noch vorhanden, nach dem die Server umgezogen sund wird die dekte platte getauscht.
Betroffene Dienste: vServer, Root Server
Betroffene Kunden: 190
Update: 22.05 16:40
Derzeit noch 29 Server betroffen, übrige Systeme laufen wieder.
Derzeit wird unser Mailserver neu gestartet, und steht in etwa 15 Minuten wieder zur Verfügung
Guten Tag,
aktuell werden extern eingebundene Order/ Accounts in open-Xchange nicht mehr angezeigt,
dies liegt an einer falschen DNS Auflösung, sobald die TTL abgelaufen ist werden die Emails automatisch wieder angezeigt.
Betroffene Systeme: Email
Liebe Kunden,
derzeit kommt es im IP Netz 109.230.230.1/24 zu Packet Lost,
wir analysieren das Problem derzeit.
29.01.2017 - 17:35
Wir konnten unsere Komponenten auschließen und haben ein Ticket bei unserem Uplink Provider erstellt.
29.01.2017 - 17:35
Warten auf Antwort.
29.01.2017 - 18:04
Unser RZ Uplink bei unserem Uplink Provider wurde versehentlich auf 10 Mbit/s gedrosselt, dadurch kahm es zu enem Engpass.
Die Störung steht nicht mehr an.
Betroffene Systeme: Vserver und Dedicated Server
Guten Tag,
derzeit gibt es Probleme mit unseren DHCP Server, dieser lehnt bei einzelnen Servern die Lease ab, und vergibt dadurch keine IP Adresse mehr.
Wir empfehlen solange die Störung besteht Ihren Server nicht neuzustarten.
17:40 Uhr
Der Fehler ist behoben, wir werden heute um 21 Uhr alle Vserver neu starten, um die Störung zu abzuschließen.
Liebe Kunden,
wir führen am 08.09.2016 ab Mitternacht bis etwa 3 Uhr Wartungsarbeiten an unserem Storage System durch.
Dadurch kommt es zu einer Unterbrechnung von etwa 30 Minuten.
DDOS - 06.09.2016 ab ca. 22.40 Uhr Aktuell wird ein DDOS-Angriff auf uns ausgeführt, sodass es vereinzelt zu Loss und Timeouts kommt. Wir bitten die Unannehmlichkeiten zu entschuldigen.
Guten Tag,
die Anbindung eines Vserver Nodes an das ISCSI Cluster ist derzeit gestört
alle betroffenen Kunden wurden bis zur Behebung der Störung auf einen anderen Node umgezogen.
