12 Haziran Salı günü şebeke elektrik kesintisinden hemen sonra şebeke şalterinin, şebeke elektriğini devreye iletmemesi nedeniyle TIER II veri merkezinde ve TIER III veri merkezine güç yedekliliği sağlayan B güç hattında elektrik kesintisi yaşandı. Konuyla ilgili detaylı açıklamamızı aşağıda paylaşıyoruz.

Ayrıca, mevcut aksaklıkla ilgili 13.06.2018 günü saat 02:00’da (12 Haziran Salı gününü, 13 Haziran Çarşamba’ya bağlayan bu gece) TIER II veri merkezinde plansız (acil) bir bakım çalışması yapılacaktır.

1. Ne oldu?

02:03 Şebeke elektriği kesildi ve jeneratör devreye girdi.

02:17: Şebeke elektriğindeki kesinti sona erdi ve jeneratör devreden çıktı. Ancak şebeke şalteri şebeke elektriğini güç hattına iletmedi. Bu nedenle yedekli UPS sisteminden güç beslemesi devam etti.

02:37: UPS akülerinin 20 dakika sonunda bitmesiyle birlikte TIER II Veri Merkezi’nde güç kesintisi yaşandı.

02:37 – 05:30: Aksaklığın kök nedeni ile ilgili çalışma başlatıldı. Bu çalışma sonucunda iki kontak rölesinden birinin ve faz kontrol rölelerinden her ikisinin de yanmış olduğu tespit edildi. Arızalı kontak rölesi Radore ekibi tarafından, faz kontrol röleleri alt yükleniciden temin edildi ve montajı yapıldı.

05:30: Transfer otomasyonu manuel pozisyona alınarak test edildi. Ardından devreye enerji verilerek aksaklık giderildi. Vaka sonucunda toplam kesinti süresi 2 saat 53 dakika oldu.

2. Yaşanan teknik aksaklığın sebebi neydi?

Şebeke elektriği kesintisi sonlandıktan sonra faz kontrol ve kontak rölelerinde yanma meydana geldiği için jeneratör devreden çıkmasına rağmen şebeke şalterinin şebeke elektriğini devreye iletmesinde aksaklık yaşanmıştır. Bu nedenle TIER II veri merkezinde ve TIER III veri merkezine güç yedekliliği sağlayan B güç hattında elektrik kesintisi yaşanmıştır.

3. Durum İçin Alınan Aksiyonlar

  • Aksaklığa neden olan kontak rölesi ve faz kontrol rölelerinin yedekleriyle değişimi yapıldı.

4. Bundan sonra ne olacak? 

  • 13.06.2018 günü saat 02:00’da (12 Haziran Salı gününü, 13 Haziran Çarşamba’ya bağlayan bu gece) TIER II veri merkezinde acil bir test çalışması yapılarak jeneratörden şebekeye geçiş otomasyonu kapsamlı bir şekilde test edilecektir. Bu çalışma yedekli ve kesintisiz olarak kurgulandığından müşterilere yansıyacak bir kesinti öngörülmemektedir. Yine de çalışma sırasında olası bir aksaklık ihtimali halinde 30 dakikayı aşmayacak nitelikte bir kesintiye karşı hazırlık yapılması gereklidir.
  • Yapılacak çalışma saatine dek artırılmış nöbetçi ekip uygulamasına devam edilecek ve kesintisizlik sağlanacaktır.

 

Important Notice: TIER II Power Outage Report and Unplanned Maintenance Announcement

On Tuesday, June 12, immediately after the mains power failure, there was a power outage in the TIER II data center and the B power line, which provided power redundancy to the TIER III data center, due to the mains switch not transmitting mains electricity. We share our detailed explanations below.

In addition, an unplanned (urgent) maintenance will be performed at the TIER II data center on 13/06/2018 at 02:00 am (Tuesday, June 12 tonight through Wednesday, June 13).

1. What happened?

02:03 The mains electricity was cut off and the generator was activated.

02:17: The interruption in the mains electricity ended and the generator was deactivated. However, the mains switch did not transfer the mains electricity to the power line. For this reason the power supply from the backup UPS system continued.

2:37 AM: At the end of the 20 minutes, the UPS batteries were drained and TIER II Data Center had a power outage.

02:37 – 05:30: The root cause analysis study of the outage was initiated. As a result of this study, it was found that one of the two contact relays and both of the phase control relays were burnt. The Radore team provided the faulty contact relay and the subcontractor provided the phase control relays. Both components were then assembled.

5:30 AM: The transfer automation was tested by taking it into the manual position. The circuit was then energized and the outage was restored. The total outage time for the case was 2 hours 53 minutes.

2. What caused the technical fault?

Since the phase control and contact relays have been burnt after the mains electricity interruption ended, the mains switch failed to deliver the mains power to the system despite the generator being deactivated. For this reason, there was a power failure in the TIER II data center and the B power line that provided power redundancy to the TIER III data center.

3. Performed Actions

  • The contact relay and phase control relays that caused the problem were replaced with backups.

4. What will happen after that? 

  • Generator-to-mains automation will be extensively tested by an emergency test run at the TIER II data center at 02:00 on Tuesday, June 12 (tonight on Tuesday, June 12, connecting to Wednesday, June 13). As this work is designed as a redundant operation without an interruption, it is not expected to effect the customers. However, it is necessary to prepare for an interruption that will not exceed 30 minutes in case of a possible failure when this work is underway.
  • Increased working hours practice will continue until this work is fully completed and uninterrupted operation ensured.