システム障害について
有限会社オムニシステム(代表取締役社長:野村良平)が運営する、携帯メール連絡網・携帯メール販促サイト「マメール」では、2018年6月19日(火)~ 7月4日(水)頃まで断続的なシステム障害により、サービスをご利用いただけない、または使いづらい事象が発生いたしました。
お客様ならびに、その会員の皆様、関係者の皆様には、多大なるご不便、ご迷惑をおかけしましたことを、心より深くお詫び申し上げます。
システム障害については7月4日(水)16時45分頃には復旧し、サイト内の各種サービスにおいても通常通りご利用いただけることを、併せてご報告申し上げます。
また今回の障害は弊社が採用しているクラウド基盤を提供・管理しているヤフー株式会社のトラブルに起因するものであり、外部からの攻撃やコンピュータウイルスによるものではないことを確認しております。また、今回のシステム障害による個人情報の漏洩は生じておりません。
障害及びメインテナンス情報の詳細についてはこちら
https://zenlogic.jp/news/status/failure/20180619-1/
高負荷障害に関するお詫びとお知らせについてはこちら
https://zenlogic.jp/news/status/syogai/
今後ともサービスの向上に努めてまいりますので、何卒ご理解賜りますようお願い申し上げます。
なお、システム障害の内容および、お客様への影響、再発防止対策につきましては以下のとおりです。
記
発生事象
6月19日(火)頃から弊社が採用しているYahooの運営するクラウドサーバのストレージ(大規模記憶装置)上に障害が発生し、マメールシステムの情報記録機能の処理に数分の時間(通常は0.001秒以下)がかかるようになり、そのため記録処理の待ち状態が大量に蓄積する状況となりました。そのためログインができず、またメニューが動作しない、メールが処理されないなどの深刻な状況が断続的に続いておりました。
この状況は発生当時から頻度が徐々に増え続け、7月2日頃からは加速度的に発生頻度が増え、発生する症状の重篤さ及び収束するまでの時間も急激に増加していきました。
マメールのシステムは長年にわたって専用サーバーを独占使用する形態で運用してまいりましたが、ハードウエアが耐用年数に近づき、交換パーツの不安もあることから2017年9月よりYahooが運営するクラウド基盤のサーバーを採用し現在に至っています。移行当初はある程度順調に稼働しておりましたが、前述の時期より処理の遅延が発生。Yahooもその問題を認識しており記憶装置の増強や設定の最適化を行うことで改善できるとのことで、弊社としてはその効果を期待しておりました。しかしながら、巨大な記憶装置を数百台のサーバーコンピュータで共用して運用する形態では、記憶装置の一部の不具合を全てのサーバーデータの安全を確保しながらメインテナンスするので、その対応スピードは弊社はもちろんご利用者様にも耐え難い対応スピード(数日)であり、6月25日にサーバー移転を決定。候補を検討しておりました。
そして、移行にかかる時間や費用等を検討した結果、amazonが運用するAWSクラウドの使用を決定し移行方法の検討を行い準備を進めてまいりました。
予定では1週間の移行期間を設け、移行に起因する障害が最小限となるよう計画しておりましたが、3日に続き4日も重篤な症状に陥り、弊社側からもサーバーへのアクセスがまったくできない状況となってしまったため、使えるようにすることを最優先と考え、アクセスできないYahooサーバーを無視し、最新のバックアップデータから新サーバーへの移行を半ば強行に行わせていただきました。現在のところストレスなく稼働しております。
お客様への影響
6月19日(火)~ 7月4日(水)16時45分頃までシステム障害が断続的に発生し、その度にサービスをご利用いただけない状態が発生しておりました。
今後の再発防止対策
今回採用させていただいたAWS(Amazon Web Service)クラウドは仮想専用構造を採用しており、メモリ・CPUのリソースを独占利用できるので、専用サーバーと同等以上の性能を利用できます。さらにAWSサービスの利点を最大限に利用した環境構築が可能なため、複数台構成、複数拠点構成が可能になってきます。弊社でもコストの許す範囲で極力システムの堅牢化ができるよう今後も検討・対処してまいる所存でございます。
この度のトラブルでは大変多くの皆様に多大なるご迷惑をおかけし、非常に重要かつ大切な機会を損失させてしまいましたことはスタッフ一同胸が張り裂ける思いでございます。皆様方には大変なご不信感を持たれたお客様がほとんどであると認識し深く深く反省しております。また、サーバーが反応しなくなると連絡方法が失われ、皆様への現状の連絡等も全くできなくなるため、皆様には大変な不快感を与えることになってしまいました。お詫びしてもお詫びしきれません。本当に申し訳ございませんでした。
今後は信用を一刻も早く回復すべく、スタッフ一同日々努力していく所存でございますので、今後ともどうぞよろしくお願い申し上げます。
有限会社オムニシステム
代表取締役 野村 良平
スタッフ一同
サーバー障害の詳細について(2018/07/18 13:00)
この度発生いたしましたサーバ障害につきましての報告が公開されましたのでご案内させていただきます。皆様には多大なるご迷惑をおかけしましたことを心より深くお詫び申し上げます。
報告ページ
https://zenlogic.jp/news/status/syogai/cause/
報告PDF
https://zenlogic.jp/pdf/report/20180717.pdf
- 日本で起きた災害
- BCP(事業継続計画)