東証および富士通は、10月1日に発生した、東京証券取引所が終日売買停止となった障害の原因を発表しました。

発表によると、富士通が納入した株式売買システム「arrowhead」に採用していた他社製(OEM)ストレージで、自動でバックアップのストレージに切り替わるフェイルセーフが「オフ」になっていました。

なお、本来は「オフ」の状態でも、故障が発生すれば必ず自動でバックアップに切り替わる仕様で、ストレージメーカーのマニュアルにも同様の記載がありました。

しかし、同ストレージはOS更新で仕様が変わり、故障が発生しても、同機能が「オン」でなければ、バックアップへ自動で切り替わらなくなっていました。しかし、ストレージメーカーはこの変更をマニュアルに反映せず、また富士通側も仕様変更を発見できなかったため、自動バックアップ切替が「オフ」の状態のまま運用されていました。

富士通は再発防止策として、製品仕様とマニュアル記載の一致、および仕様追加・使用変更の通知徹底等を含め、OEMベンダーとの連携を強化するとしています。

富士通側の発表は下記の通りです。


  1. 東京証券取引所様の株式売買システム「arrowhead」障害の根本原因について

    1. 発生事象について

      • 東京証券取引所様に共有ディスク装置として納入した当社ストレージ製品「ETERNUS(エターナス) NR1000」において、メモリ故障に起因してデータを正しく読みだせない状態が継続する事象(以下、特定事象)が発生いたしました。
        なお、「ETERNUS NR1000」は他の開発・製造メーカーから供給された当社ブランドの製品(OEM製品)です。その出荷品質の責任は当社にあります。

      • 当該共有ディスク装置は一つの筐体内で二重化(1、2号機の2つで構成)されており、1号機においてメモリ故障に起因する特定事象が発生した場合、当該装置の有する障害時の切替機能として、2号機に自動切替が行われるはずでしたが、実際には自動切替が行われませんでした。

    2. 共有ディスク装置の自動切替が行われなかった原因

      • 当該共有ディスク装置のマニュアルには、メモリ故障等に起因する特定事象が発生した場合は、必ず自動切替が行われる旨の記載がありました。

      • 実際の製品では、設定によっては、メモリ故障等に起因する特定事象が発生した場合、自動切替が行われない仕様となっておりました。今回は特定事象発生時に自動切替が行われない設定になっておりました。

      • マニュアルの記載と実際の仕様の齟齬が生じた原因は、当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによるものです。

      • マニュアルの記載が変更されていなかったこと、およびその状況を製品出荷時等の試験で検出できなかったことは当社の試験・確認が不十分であったことによるものです。

      • なお、メモリ部品自体が故障した原因については、当社およびOEMベンダーにて故障部品の診断を実施しており、ロット障害ではなく、偶発的な故障であったと確認できております。

    3. 再発防止策

      • 東京証券取引所様にて稼働中のOEM製品について、製品仕様とマニュアル記載内容の再レビューを実施します。また、製品仕様とマニュアル記述の一致、および仕様追加、仕様変更等の通知徹底等OEMベンダーと連携強化するとともに、当社として、OEM製品の評価プロセスを改善し、確実な再発防止に努めます。

      • 当該共有ディスク装置と同系機種のストレージ製品(*)を納入させていただいている他のお客様において、同様の事象が発生しないよう点検、対応を進めさせていただいております。

  2. お客様システムの更なる安定稼働実現に向けたシステム再点検と品質保証体制の強化

    当社は、今回の事態を踏まえ、以下のとおりお客様システムの更なる安定稼働実現、信頼回復に向けたシステム再点検、および品質保証体制の強化を推進してまいります。

    1. システム再点検の実施

      • このたびのシステム障害の原因となったストレージ製品を含め、お客様システムの更なる安定稼働の実現に向けたシステム再点検を実施します。実施にあたっては、お客様の業務の妨げになることのないよう十分な配慮をさせていただきながら、順次進めてまいります。

    2. 全社的な品質保証体制の強化

      • 当社が提供する製品の品質保証体制を全社的に強化します。これまで以上に高品質・高信頼な製品を提供するため、事業部門ごとの品質保証プロセスに加え、社長直轄の組織として各プロセスの有効性の監視や、部門間でのさらなる知見、ノウハウの共有を可能にする横断的な仕組みを導入します。


Source:東京証券取引所富士通

関連
東証ほかで同時多発システム障害。取り引きは終日とりやめ

(更新)記事中の「自動バックアップ」の表記について、「自動バックアップ切替」に改めました。また、仕様変更についてOEMベンダーがマニュアルに反映させなかったことを追記しました。また、再発防止策について追記しました。