「Jip-Base」大規模障害の経緯

 
12月4日にDell EMC社製ストレージに異常が発生し、日本電子計算株式会社が提供している自治体専用IaaSサービス「Jip-Base」に影響が出ました。この「Jip-Base」は、自治体専用の共同利用型クラウド基盤サービスで、現在、70団体の業務システムが複数の仮想環境上で動作しています。
 
今回のストレージ異常により、LUNとよばれる論理区画が次々とオフライン状態に。サーバー側からアクセスができなくなり、システムが停止状態となりました。翌5日に原因がストレージのファームウェアにあることが判明、夕方にはファームウェアップデートとスクリプト処理でLUNのオンライン化を進めました。しかしその後、仮想OSの業務データへのアクセスに問題があると判明しました。
 
仮想OSごとの復旧作業が進められましたが、16日までに70％のシステムについて問題のストレージから仮想OS情報と業務データの復旧が完了。残りの30％には問題があったものの、うち半分はバックアップからの復旧データを元に仮想OSの立ち上げを確認。ただ、残りの15％はバックアップに不備があり、日本電子計算単独での復旧が不可能となっていました。
 
2019年12月25日の段階で日本電子計算は次のように発表しています。
 

今回の障害で影響を受けた全1,318の仮想OSのうち、90％がIaaSサービスとして復旧を完了いたしました。また、6％が復旧作業中であり、バックアップデータからの復旧、新たなご利用環境の構築などを行っております。なお、「バックアップデータが特定できないためIaaSサービスとして自社のみでの復旧が困難なもの」については、12月16日時点で15％とご報告いたしましたが、お客様保有の業務データによって復旧できたものや新たなご利用環境を構築することで復旧できたものなどあり、現在は4％まで減少しております。引き続きサービスの復旧方法についてお客様との調整を進めてまいります。

 
『53自治体でシステム障害、7割復旧も全面復旧の見通し立たずーー日本電子計算が謝罪』
（出典：2019年12月16日　INTERNET Watch記事より）
 
『「Jip-Base」の障害における復旧状況のご報告（第2報）』
（出典：2019年12月25日　日本電子計算株式会社より）
 

データ消失による影響

 
今回の大規模障害を受け、日本電子計算は12月16日に説明会を開催しています。
 
「Jip-Base」の管理体制としてはストレージ保守をEMCジャパン、ストレージ製品の提供をDell Technologiesが担当。日本電子計算には「Jip-Base」の本番環境とは別のファームウェア更新などに対する検証環境がなく、重要と思しき情報だけをDellから受け取る体制となっていたといいます。さらに、EMCジャパンにとってはファームウェア不具合の認識はありましたが、日本電子計算側に事前に知らされておらず、障害分析の際に告げられていました。ただ、仮にアップデート情報を受け取っていてもアップデートしなかった可能性があったともいいます。
 
当初はファームウエアを修正すれば復旧できると考えていましたが、論理的にデータの不整合が発生している部分があり、バックアップデータなどから復旧が必要なことが判明。結果的に、多くの自治体システムにおいて復旧に手間取ることになりました。
 
このように、ここまで大規模な公的インフラがダウンした場合、生活基盤を揺るがす重大な問題になり得ます。しかしこうした問題は我々の身近にも当てはまり、起こりうることです。企業内のサーバーダウンであったり、個人レベルでも自身のパソコンやスマートフォンなど。いつでも内部データが消失する可能性が潜んでいます。各種ファームウェア更新はもちろん、最低でも定期的（できればデイリー）バックアップと、企業で特に顧客情報を含め重要なデータを取り扱っている場合は、緊急時の対応計画を準備しておくなどの対策が重要です。
 

＞＞ IT管理のアウトソーシングならシーティーエスにおまかせください

 
＊＊＊＊＊＊＊＊＊