2016/09/11に発生した回線障害と思われるトラブルについて
2016/09/11に発生したトラブルについて調査の結果、原因が判明いたしましたので、以下のようにご報告させていただきます。
概要と原因
2016/09/10 17:35頃からお客様より「予約配信が実行されない」「メールによる配信に応答がない」等の苦情が数件寄せられ、調査を開始いたしました。
その時点ではシステムのソフトウエアの稼働状況には異常が見受けられなかったが、処理件数が若干少ない時間帯が散見され、通信回線の異常が疑われた。
関連ネットワーク会社にも調査を依頼し、同時進行にて詳細なチェックを行った結果、ネットワークを制御する装置が高い頻度で「接続」と「切断」を繰り返していることが判明。
また、その装置のファームウエアがバージョンアップされており、リリースノートにはまさに「接続・切断を繰り返す場合がある不具合を修正した」との記載があり、回線装置のファームウエアの不具合であることがほぼ確定されました。
また、この事については数日後の2016/09/23の通常点検においてチェックされる予定のものであったことが判明した。
再発防止策
この度のトラブルにおきまして、ご契約者の皆様には多大なるご迷惑をおかけしました。心から深くお詫び申し上げます。
このトラブルはネットワーク装置のファームウエア(制御プログラム)に起因するものであり、またその装置を使用すれば必ず発生するという性質のものでもないため、発見と回復にしばらく時間を要することになってしまいました。マメールのシステムではバックグラウンドで常に迷惑メールやウイルスメールと格闘しており、それらのメールを適切に処理するためにアクセスしておりますが、今回のトラブルではそれらの迷惑メールやウィルスメールの攻撃が激化した際に発生しておりますことから、装置のファームウエアの不具合はある限界を超えた場合に発生する事象であったと想定されます。いずれにしましても装置のファームウエアのアップデートを行ったところピタリと現象がなくなりました。
今回のようなタイプのトラブルはお客様からの通報によって初めて発覚する可能性が多いため、発覚までの時間に場合によっては多くお客様にご迷惑がかかってしまうため、ネットワーク装置をアラームが発生できるタイプものに換装し、異常を弊社側で早く察知できる体制にすることを決定いたしました。このことにより、今回のような接続切断の繰り返しなどの異常な現象の兆候が表れた段階で察知できるものと確信しております。
この度のトラブルにつきまして重ねてお詫び申し上げますとともに、再発防止策を着実に実行していく所存でございます。
現状
この問題は、その後にリリースされたアップデートを適用すれば解決することが確認されました。
- 日本で起きた災害
- BCP(事業継続計画)