特許 5772911 フォールトトレラントシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5772911

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月2日

(54)【発明の名称】フォールトトレラントシステム

(51)【国際特許分類】

   G06F 11/18 20060101AFI20150813BHJP

【ＦＩ】

   G06F11/18 310A

   G06F11/18 310C

   G06F11/18 310F

【請求項の数】9

【全頁数】34

(21)【出願番号】特願2013-200874(P2013-200874)

(22)【出願日】2013年9月27日

(65)【公開番号】特開2015-69270(P2015-69270A)

(43)【公開日】2015年4月13日

【審査請求日】2013年9月27日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(72)【発明者】

【氏名】白野 康之

【審査官】 田中 幸雄

(56)【参考文献】

【文献】 特開２００６−１７８６１５（ＪＰ，Ａ）

【文献】 特開２０１０−２１８３７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １１／１８

Ｇ０６Ｆ １１／１６

(57)【特許請求の範囲】

【請求項1】

互いに同一のハードウェアで構成された複数のサブシステムを備えたフォールトトレラントシステムであって、
前記複数のサブシステムは、
前記複数のサブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と、
前記プロセッサ部に接続される入出力部と、
前記プロセッサ部および前記入出力部間に接続される制御部と、
前記制御部を介して前記複数のサブシステム間を互いに接続する複数の信号伝送路とを有し、
前記制御部は、自サブシステムおよび他サブシステムの前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行い、他サブシステムの前記プロセッサ部が停止し自サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行い、自サブシステムの前記プロセッサ部が停止し他サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行う
フォールトトレラントシステム。

【請求項2】

前記制御部は、
自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされる前記データの受信時刻と前記データとからチェックサムを生成し、該生成した前記チェックサムを前記誤り検出用データとして出力する誤り検出用データ生成器を有する
請求項１に記載のフォールトトレラントシステム。

【請求項3】

前記制御部は、
自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされる前記データが有するＣＲＣを抽出し、該抽出した前記ＣＲＣを前記誤り検出用データとして出力する誤り検出用データ生成器を有する
請求項１に記載のフォールトトレラントシステム。

【請求項4】

前記制御部は、
自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされる前記データと前記誤り検出用データ生成器から出力された前記誤り検出用データとのうちの何れか一方を選択する第１のセレクタを有する
請求項２または３に記載のフォールトトレラントシステム。

【請求項5】

前記制御部は、
自制御部の前記第１のセレクタの出力と自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータとを同じ一つの前記信号伝送路へ送信する第１の送信部と、
自制御部の前記誤り検出用データ生成器から出力された前記誤り検出用データを一時的に記憶する第１のバッファと、
前記信号伝送路から受信した前記誤り検出用データを一時的に記憶する第２のバッファと、
自サブシステムの前記プロセッサ部から自サブシステムの前記入出力部へアクセスされる前記データを一時的に記憶する第３のバッファと、
前記信号伝送路から受信した他の前記サブシステムの前記プロセッサ部から自サブシステムの前記入出力部へアクセスされる前記データを一時的に記憶する第４のバッファと、
前記第１のバッファに記憶された前記誤り検出用データと前記第２のバッファに記憶された前記誤り検出用データとを比較する比較器と、
自サブシステムおよび他サブシステムの前記プロセッサ部が前記ロックステップ同期の状態にあるときは、前記比較器で一致が検出されることを条件に前記第３のバッファに記憶された前記データを自サブシステムの前記入出力部へ出力し、他サブシステムの前記プロセッサ部が停止し自サブシステムの前記プロセッサ部が前記ロックステップ非同期の状態にあるときは、前記第３のバッファに記憶された前記データを自サブシステムの前記入出力部へ出力し、自サブシステムの前記プロセッサ部が停止し他サブシステムの前記プロセッサ部が前記ロックステップ非同期の状態にあるときは、前記第４のバッファに記憶された前記データを自サブシステムの前記入出力部へ出力する第２のセレクタと
を有する
請求項４に記載のフォールトトレラントシステム。

【請求項6】

同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いる制御装置であって、
自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と前記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する複数の信号伝送路に接続され、
自サブシステムおよび他サブシステムの前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行い、他サブシステムの前記プロセッサ部が停止し自サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行い、自サブシステムの前記プロセッサ部が停止し他サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行う
フォールトトレラントシステムで用いる制御装置。

【請求項7】

互いに同一のハードウェアで構成された複数のサブシステムを備え、前記複数のサブシステムは、前記複数のサブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と、前記プロセッサ部に接続される入出力部と、前記プロセッサ部および前記入出力部間に接続される制御部と、前記制御部を介して前記複数のサブシステム間を互いに接続する複数の信号伝送路とを有するフォールトトレラントシステムの動作方法であって、
前記制御部が、
自サブシステムおよび他サブシステムの前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行い、他サブシステムの前記プロセッサ部が停止し自サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行い、自サブシステムの前記プロセッサ部が停止し他サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行う
フォールトトレラントシステムの動作方法。

【請求項8】

同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いられ、自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と前記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する複数の信号伝送路に接続される制御装置の動作方法であって、
前記制御装置が、自サブシステムおよび他サブシステムの前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行い、他サブシステムの前記プロセッサ部が停止し自サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行い、自サブシステムの前記プロセッサ部が停止し他サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行う
フォールトトレラントシステムで用いる制御装置の動作方法。

【請求項9】

同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いられ、自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と前記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する複数の信号伝送路に接続された制御装置を構成するコンピュータに、
自サブシステムおよび他サブシステムの前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行わせ、
他サブシステムの前記プロセッサ部が停止し自サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から他サブシステムの前記入出力部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行い、自サブシステムの前記プロセッサ部が停止し他サブシステムの前記プロセッサ部がロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のために使用する制御を行わせる
ためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フォールトトレラントシステム、それに用いる制御装置、それらの動作方法、およびプログラムに関する。

【背景技術】

【0002】

可用性を高めた計算機システムとして、フォールトトレラントシステムが知られている。フォールトトレラントシステムでは、アプリケーションやＯＳが特別な処理を必要としないで、透過的にサービスを継続することができる。フォールトトレラントシステムを実現する方式は、ハードウェア方式とソフトウェア方式とに大別される。本発明は、ハードウェア方式のフォールトトレラントシステムの改良に関する。

【0003】

ハードウェア方式のフォールトトレラントシステムは、ＣＰＵ、メモリ、ストレージなどの主要なハードウェアコンポーネントを冗長化し、あるコンポーネントに障害が発生した場合は、そのコンポーネントを切り離して動作を継続する。ＣＰＵやメモリを含むモジュールをＣＰＵサブシステム、各種ＩＯデバイスを含むモジュールをＩＯサブシステムと呼ぶ。コンポーネントを二重化する一般的なフォールトトレラントシステムでは、ＣＰＵサブシステムとＩＯサブシステムとで二重化の方式が異なる。ＣＰＵサブシステムは、クロック単位でハードウェアの動作を完全に一致させる。これをロックステップ同期と呼ぶ。二重化されたＣＰＵサブシステムは、両方とも完全に同じ動作をしているので、障害発生時はその障害が発生したＣＰＵサブシステムを論理的に切り離し、正常なＣＰＵサブシステムに瞬時に処理を切り換えて動作を継続させる。一方、ＩＯサブシステムは、ロックステップ同期こそしていないが、障害が発生した場合、直ちに他方のＩＯサブシステムに切り換える。

【0004】

ロックステップ同期の状態において、ＣＰＵサブシステムの不正な動作を検出する方法として、各ＣＰＵサブシステムからＩＯサブシステムへアクセスするデータを比較する方法がある。その際、各サブシステムが、自サブシステムのＣＰＵで生成したアクセスデータからチェックサムを生成してクロスリンクを介して他サブシステムへ送信する一方、上記生成したチェックサムとクロスリンクを介して他サブシステムから受信したチェックサムとを比較してサブシステム間の処理の不一致を検知することが、本発明に関連する第１の関連技術として提案されている（例えば特許文献１参照）。

【0005】

その他、フォールトトレラントシステムに関して、以下のような先行技術がある。

【0006】

まず、自他システム間でクロックステップ同期により同じタイミングで動作するＣＰＵサブシステムと、これに接続されるＩＯサブシステムと、両者間に接続されるＦＴコントローラとを有する２つのシステムをクロスリンクによって互いに接続したフォールトトレラントシステムにおいて、ＦＴコントローラが、両システムによるフォールトトレラント用のエラー処理、二重化処理、および再同期化処理を行うための複数のシステム動作をこれに対応する複数ステートとして所定のイベント信号に関連付けて管理し、イベント信号に応じて、システム毎にステートを遷移させながら複数のシステム動作を選択してＣＰＵサブシステムに実行させることが、本発明に関連する第２の関連技術として提案されている（例えば特許文献２参照）。

【0007】

また、上記フォールトトレラントシステムにおいて、ＣＰＵサブシステムからＩＯサブシステムへのアクセスパケットに、アクセス元およびアクセス先のＩＤコードと、同期アクセスか否かの同期情報とを含むタグ情報を付与し、各々のシステムのアクセス比較部が、アクセスパケットに付与されたタグ情報に基づいて、複数のＣＰＵサブシステムがロックステップ同期状態にある場合のアクセス処理を行うか、非同期状態に応じたアクセス処理を行うかを決定することが、本発明に関連する第３の関連技術として提案されている（例えば特許文献３参照）。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１０−２１８３７０号公報

【特許文献2】特開２００６−１７８６１６号公報

【特許文献3】特開２００６−１７８６１５号公報

【特許文献4】特開２００６−１７８６１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明に関連する第１の関連技術では、パケットそのものでなくパケットから生成したチェックサムをクロスリンクを介して他サブシステムへ送信する一方、上記生成したチェックサムとクロスリンクを介して他サブシステムから受信したチェックサムとを比較してサブシステム間の処理の不一致を検知している。これにより、パケットそのものをクロスリンクを介して他サブシステムへ送信する場合に比べて、クロスリンクを流れるデータ量を低減することができる。しかしながら、パケットそのものでなくパケットから生成したチェックサムをクロスリンクを介して他サブシステムへ送信する上記第１の関連技術では、フォールトトレラントシステムをロックステップ非同期の状態で動作させるのは困難である。その理由は、パケットから生成したチェックサムをクロスリンクを介して他サブシステムへ送信しても、他サブシステム側にその元となるパケットと同じパケットが存在しないロックステップ非同期の状態では他サブシステムの入出力部をアクセスできないためである。他方、本発明に関連する第３の関連技術では、フォールトトレラントシステムをロックステップ同期の状態およびロックステップ非同期の状態の双方の状態で動作させることが可能であるが、パケットそのものをクロスリンクを介して送信するため、クロスリンクを流れるデータ量を低減することは困難である。

【0010】

本発明の目的は、上述した課題、すなわち、サブシステム間を接続する信号伝送路を流れるデータ量を低減しつつ、フォールトトレラントシステムをロックステップ同期の状態およびロックステップ非同期の状態の双方の状態で動作させるのは困難である、という課題を解決するフォールトトレラントシステムを提供することにある。

【課題を解決するための手段】

【0011】

本発明の第１の観点に係るフォールトトレラントシステムは、
互いに同一のハードウェアで構成された複数のサブシステムを備えたフォールトトレラントシステムであって、
上記複数のサブシステムは、
上記複数のサブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と、
上記プロセッサ部に接続される入出力部と、
上記プロセッサ部および上記入出力部間に接続される制御部と、
上記制御部を介して上記複数のサブシステム間を互いに接続する信号伝送路とを有し、
上記制御部は、上記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、ロックステップ非同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータの他サブシステムへの送信を行う。

【0012】

本発明の第２の観点に係るフォールトトレラントシステムで用いる制御装置は、
同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いる制御装置であって、
自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と上記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する信号伝送路に接続され、
上記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、ロックステップ非同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータの他サブシステムへの送信を行う。

【0013】

本発明の第３の観点に係るフォールトトレラントシステムの動作方法は、
互いに同一のハードウェアで構成された複数のサブシステムを備え、上記複数のサブシステムは、上記複数のサブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と、上記プロセッサ部に接続される入出力部と、上記プロセッサ部および上記入出力部間に接続される制御部と、上記制御部を介して上記複数のサブシステム間を互いに接続する信号伝送路とを有するフォールトトレラントシステムの動作方法であって、
上記制御部が、
上記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、ロックステップ非同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータの他サブシステムへの送信を行う。

【0014】

本発明の第４の観点に係るフォールトトレラントシステムで用いる制御装置の動作方法は、
同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いられ、自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と上記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する信号伝送路に接続される制御装置の動作方法であって、
上記制御装置が、上記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、ロックステップ非同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータの他サブシステムへの送信を行う。

【0015】

本発明の第４の観点に係るプログラムは、
同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いられ、自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と上記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する信号伝送路に接続された制御装置を構成するコンピュータに、
上記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行わせ、
ロックステップ非同期の状態にあるときは、自サブシステムの上記プロセッサ部から上記入出力部へアクセスされるデータの他サブシステムへの送信を行わせる。

【発明の効果】

【0016】

本発明は上述した構成を有するため、サブシステム間を接続する信号伝送路を流れるデータ量を低減しつつ、フォールトトレラントシステムをロックステップ同期の状態およびロックステップ非同期の状態の双方の状態で動作させることができる。

【図面の簡単な説明】

【0017】

【図1】本発明の第１の実施形態のブロック図である。

【図2】本発明の第１の実施形態におけるロックステップ同期状態時の動作の一例を示す図である。

【図3】本発明の第１の実施形態におけるロックステップ同期状態時の動作の他の例を示す図である。

【図4】本発明の第１の実施形態におけるロックステップ非同期状態時の動作の一例を示す図である。

【図5】本発明の第１の実施形態におけるロックステップ非同期状態時の動作の他の例を示す図である。

【図6】本発明の第２の実施形態のブロック図である。

【図7】本発明の第２の実施形態におけるロックステップ同期状態時の動作の一例を示す図である。

【図8】本発明の第２の実施形態におけるロックステップ同期状態時の動作の他の例を示す図である。

【図9】本発明の第２の実施形態におけるロックステップ非同期状態時の動作の一例を示す図である。

【図10】本発明の第２の実施形態におけるロックステップ非同期状態時の動作の他の例を示す図である。

【図11】本発明の第３の実施形態のブロック図である。

【図12】本発明の第４の実施形態のブロック図である。

【図13】本発明に関連する第１のフォールトトレラントシステムにおけるロックステップ同期状態時の動作の一例を示す図である。

【図14】本発明に関連する第１のフォールトトレラントシステムにおけるロックステップ同期状態時の動作の他の例を示す図である。

【図15】本発明に関連する第１のフォールトトレラントシステムにおけるロックステップ非同期状態時の動作の一例を示す図である。

【図16】本発明に関連する第１のフォールトトレラントシステムにおけるロックステップ非同期状態時の動作の他の例を示す図である。

【図17】本発明に関連する第２のフォールトトレラントシステムのブロック図である。

【発明を実施するための形態】

【0018】

次に本発明の実施の形態について図面を参照して詳細に説明する。

【0019】

［第１の実施形態］
図１を参照すると、本発明の第１の実施形態にかかるフォールトトレラントシステム１００００は、互いに同一のハードウェアで構成された２つのサブシステム１１０００、１２０００を備えている。

【0020】

サブシステム１１０００は、プロセッサ部１１１００、このプロセッサ部１１１００に接続される入出力部１１２００、および、プロセッサ部１１１００と入出力部１１２００間に接続される制御部１１３００を有する。また、サブシステム１２０００は、プロセッサ部１２１００、このプロセッサ部１２１００に接続される入出力部１２２００、および、プロセッサ部１２１００と入出力部１２２００間に接続される制御部１２３００を有する。さらに、制御部１１３００、１２３００を介してサブシステム１１０００とサブシステム１２０００間を互いに接続する信号伝送路１３０００が設けられている。

【0021】

プロセッサ部１１１００とプロセッサ部１２１００は、サブシステム１１０００とサブシステム１２０００とがロックステップ動作している状態（ロックステップ同期の状態）で動作可能であると共に、サブシステム１１０００とサブシステム１２０００とがロックステップ動作していない状態（ロックステップ非同期の状態）で動作可能である。

【0022】

制御部１１３００、１２３００は、以下のような機能を有する。

【0023】

まず、制御部１１３００、１２３００は、プロセッサ部１１１００、１２１００がロックステップ同期の状態にあるときは、自サブシステムのプロセッサ部から入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行う。ここで、誤り検出用データの種類およびその生成方法は、任意である。例えば、プロセッサ部から入出力部へアクセスされるデータが本来のデータ以外にＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｏｄｅ）を有する場合、このＣＲＣを上記誤り検出用データとして使用して良い。また、プロセッサ部から入出力部へアクセスされるデータに基づいてチェックサムを算出し、この算出したチェックサムを上記誤り検出用データとして使用して良い。

【0024】

他方、プロセッサ部１１１００、１２１００がロックステップ非同期の状態にあるときは、制御部１１３００、１２３００は、自サブシステムのプロセッサ部から入出力部へアクセスされるデータの他サブシステムへの送信を行う。すなわち、プロセッサ部１１１００、１２１００がロックステップ非同期の状態にあるときは、主として、何れか一方のプロセッサ部が停止している。仮にプロセッサ部１２１００が停止しているとすると、入出力部１１２００、１２２００へのアクセスはプロセッサ部１１１００が担うことになる。このため、制御部１１３００は、プロセッサ部１１１００から入出力部１２２００へアクセスされるデータそのものの他サブシステムへの送信を行う。

【0025】

次に本実施形態に係るフォールトトレラントシステム１００００の動作を説明する。

【0026】

まず、プロセッサ部１１１００、１２１００がロックステップ同期の状態にあるときの動作を説明する。

【0027】

図２は、プロセッサ部１１１００とプロセッサ部１２１００とが入出力部１１２００内の入出力デバイス１１２１０をアクセスするデータを生成したときと、入出力デバイス１１２１０がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ同期の状態にあるので、制御部１１３００は、入出力部１１２００内の入出力デバイス１１２１０宛のデータをプロセッサ部１１１００から受信すると、そのデータから誤り検出用データを作成し、元のデータと上記作成した誤り検出用データとを制御部１１３００内部のバッファに蓄積して一時的に保存する。他方、制御部１２３００は、入出力デバイス１１２１０宛のデータをプロセッサ部１２１００から受信すると、そのデータから誤り検出用データを作成し、信号伝送路１３０００を介して制御部１１３００へ送信する。制御部１１３００は、バッファに蓄積されている誤り検出用データと信号伝送路１３０００を介して制御部１２３００から受信した誤り検出用データとを比較する。そして、双方の誤り検出用データが一致した場合に限り、バッファに保持している入出力デバイス１１２１０宛のデータを入出力部１１２００の入出力デバイス１１２１０へ送信する。これにより、双方の誤り検出用データが一致しないような不正な状況の下で入出力デバイス１１２１０がアクセスされる事態が回避される。

【0028】

入出力デバイス１１２１０は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１１３００へ送信する。ロックステップ同期の状態にあるので、制御部１１３００は、入出力デバイス１１２１０からのデータを受信すると、プロセッサ部１１１００へ転送すると共に、信号伝送路１３０００を介して制御部１２３００へ転送する。制御部１２３００は、この転送されてきたデータをプロセッサ部１２１００へさらに転送する。

【0029】

このように、プロセッサ部１１１００、１２１００がロックステップ同期の状態にある場合、プロセッサ部１２１００から入出力デバイス１１２１０宛のデータは信号伝送路１３０００に送信されず、そのデータから生成された誤り検出用データが信号伝送路１３０００に送信される。その結果、信号伝送路１３０００上のデータ量を削減することができる。

【0030】

図３は、プロセッサ部１１１００とプロセッサ部１２１００とが入出力部１２２００内の入出力デバイス１２２１０をアクセスするデータを生成したときと、入出力デバイス１２２１０がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ同期の状態にあるので、制御部１２３００は、入出力部１２２００内の入出力デバイス１２２１０宛のデータをプロセッサ部１２１００から受信すると、そのデータから誤り検出用データを作成し、元のデータと上記作成した誤り検出用データとを制御部１２３００内部のバッファに蓄積して一時的に保存する。他方、制御部１１３００は、入出力デバイス１２２１０宛のデータをプロセッサ部１１１００から受信すると、そのデータから誤り検出用データを作成し、信号伝送路１３０００を介して制御部１２３００へ送信する。制御部１２３００は、バッファに蓄積されている誤り検出用データと信号伝送路１３０００を介して制御部１１３００から受信した誤り検出用データとを比較する。そして、双方の誤り検出用データが一致した場合に限り、バッファに保持している入出力デバイス１２２１０宛のデータを入出力部１２２００の入出力デバイス１２２１０へ送信する。これにより、双方の誤り検出用データが一致しないような不正な状況の下で入出力デバイス１２２１０がアクセスされる事態が回避される。

【0031】

入出力デバイス１２２１０は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１２３００へ送信する。ロックステップ同期の状態にあるので、制御部１２３００は、入出力デバイス１２２１０からのデータを受信すると、プロセッサ部１２３００へ転送すると共に、信号伝送路１３０００を介して制御部１１３００へ転送する。制御部１１３００は、この転送されてきたデータをプロセッサ部１１１００へさらに転送する。

【0032】

このように、プロセッサ部１１１００、１２１００がロックステップ同期の状態にある場合、プロセッサ部１１１００から入出力デバイス１２２１０宛のデータは信号伝送路１３０００に送信されず、そのデータから生成された誤り検出用データが信号伝送路１３０００に送信される。その結果、信号伝送路１３０００上のデータ量を削減することができる。

【0033】

次に、プロセッサ部１１１００、１２１００がロックステップ非同期の状態にあるときの動作を説明する。例として、プロセッサ部１１１００が障害など何らかの理由で稼働を停止し、プロセッサ部１２１００が稼働している状態を想定する。このとき、入出力部１１２００および入出力部１２２００をアクセスするデータを生成するのは、プロセッサ部１２１００のみである。

【0034】

図４は、プロセッサ部１２１００が入出力部１１２００内の入出力デバイス１１２１０をアクセスするデータを生成したときと、入出力デバイス１１２１０がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ非同期の状態にあるので、制御部１２３００は、入出力部１１２００内の入出力デバイス１１２１０宛のデータをプロセッサ部１２１００から受信すると、受信したデータを信号伝送路１３０００を介して制御部１１３００へ送信する。また制御部１１３００は、受信したデータを入出力部１１２００の入出力デバイス１１２１０へ送信する。

【0035】

入出力デバイス１１２１０は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１１３００へ送信する。プロセッサ部１１１００が稼働していないロックステップ非同期の状態にあるので、制御部１１３００は、入出力デバイス１１２１０からのデータを受信すると、信号伝送路１３０００を介して制御部１２３００へ転送する。制御部１２３００は、この転送されてきたデータをプロセッサ部１２１００へさらに転送する。

【0036】

このように、プロセッサ部１１１００、１２１００がロックステップ非同期の状態にある場合、プロセッサ部１２１００から入出力デバイス１１２１０宛のデータそのものが信号伝送路１３０００に送信される。

【0037】

図５は、プロセッサ部１２１００が入出力部１２２００内の入出力デバイス１２２１０をアクセスするデータを生成したときと、入出力デバイス１２２１０がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。制御部１２３００は、入出力部１２２００内の入出力デバイス１２２１０宛のデータをプロセッサ部１２１００から受信すると、そのデータを入出力部１２２００の入出力デバイス１２２１０へ送信する。プロセッサ部１１１００が稼働していないロックステップ非同期の状態にあるので、制御部１２３００は信号伝送路１３０００への送信は行わない。

【0038】

入出力デバイス１２２１０は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１２３００へ送信する。制御部１２３００は、入出力デバイス１２２１０からのデータを受信すると、プロセッサ部１２１００へ転送する。プロセッサ部１１１００が稼働していないロックステップ非同期の状態にあるので、制御部１２３００は信号伝送路１３０００への送信は行わない。

【0039】

以上説明したように本実施形態によれば、サブシステム間を接続する信号伝送路１３０００を流れるデータ量を低減しつつ、フォールトトレラントシステムをロックステップ同期の状態およびロックステップ非同期の状態の双方の状態で動作させることができる。

【0040】

その理由は、制御部１１３００、１２３００は、プロセッサ部１１１００、１２１００がロックステップ同期の状態にあるときは、自サブシステムのプロセッサ部から入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、他方、プロセッサ部１１１００、１２１００がロックステップ非同期の状態にあるときは、自サブシステムのプロセッサ部から入出力部へアクセスされるデータの他サブシステムへの送信を行うためである。
[第２の実施形態]
次に本発明の第２の実施形態について説明する。まず、本実施形態が解決しようとする課題について説明する。

【0041】

特許文献１〜３に詳細は記載されていないが、例えば特許文献４の図１等に示されるように、フォールトトレラントシステムを構成する冗長化されたサブシステム間を接続するクロスリンクは、例えば本発明に関連する第２のフォールトトレラントシステムの構成図である図１７に示すように、以下の４つの信号伝送路（リンク）で構成されている。

【0042】

（１）モジュール１のＣＰＵサブシステム１０からモジュール２のＩＯサブシステム２１へアクセスするデータを転送するための信号伝送路Ｌ１
（２）モジュール１のＩＯサブシステム１１からモジュール２のＣＰＵサブシステム２０へアクセスするデータを転送するための信号伝送路Ｌ２
（３）モジュール２のＣＰＵサブシステム２０からモジュール１のＩＯサブシステム１１へアクセスするデータを転送するための信号伝送路Ｌ３
（４）モジュール２のＩＯサブシステム２１からモジュール１のＣＰＵサブシステム１０へアクセスするデータを転送するための信号伝送路Ｌ４

【0043】

ＣＰＵサブシステム１０、２０がロックステップ動作している場合、信号伝送路Ｌ１、Ｌ３には、プロセッサ１００、２００からｆｔチップセット１１０、２１０へ送信されるパケット量と同じ量のパケットが流れ、信号伝送路Ｌ２、Ｌ４には、ＩＯデバイス１３０、２３０からｆｔチップセット１１０、２１０を通じてプロセッサ１００、２００へ送信されるパケット量と同じ量のパケットが流れる。即ち、モジュール間リンクの帯域は、プロセッサとｆｔチップセット間のリンクの帯域と同等になるように設計されている。例えば、プロセッサとｆｔチップセットとの間がＰＣＩ−ｅｘｐｒｅｓｓ５．０ＧＴ／ｓｘ４で接続されている場合、自系のＣＰＵサブシステムと他系のＩＯサブシステムの間も、ＰＣＩ−ｅｘｐｒｅｓｓ５．０ＧＴ／ｓｘ４と同等のデータ転送帯域を持つリンクで接続されている。

【0044】

近年、より高いＩＯ性能が要求されるのに従い、プロセッサとｆｔチップセット間のリンクに必要となる帯域も増加している。その結果、モジュール間リンクにもより広い帯域が必要となり、そのためには、モジュール間リンクの転送速度を高速化するか、リンク幅を広げる必要がある。しかし、モジュール間リンクの転送速度を高速化するとシグナルインテグリティの検証のためのコストが増加し、リンク幅を広げるとｆｔチップセットのコストが大きくなる。そのため、コストの増加を抑えるために、モジュール間リンクに必要となる帯域を広げることなく、より高いＩＯ性能を実現する方法が必要となる。

【0045】

本発明に関連する第１の関連技術では、パケットそのものでなくパケットから生成したチェックサムをクロスリンクを介して他サブシステムへ送信する一方、上記生成したチェックサムとクロスリンクを介して他サブシステムから受信したチェックサムとを比較してサブシステム間の処理の不一致を検知している。従って、上記第１の関連技術を図１７の本発明に関連する第２のフォールトトレラントシステムに適用すれば、ＣＰＵサブシステム１０、２０がロックステップ動作している際に信号伝送路Ｌ１、Ｌ３を流れるデータ量を、パケットそのものを送信する場合に比べて低減することが可能である。しかしながら、信号伝送路Ｌ１、Ｌ３は、ＣＰＵサブシステム１０、２０がロックステップ動作している場合に使用される以外に、ロックステップ動作していない場合にも使用される。例えば信号伝送路Ｌ１は、ＣＰＵサブシステム２０が停止している状態で、ＣＰＵサブシステム１０から他系のＩＯサブシステム２３０を制御するために、プロセッサ１００で生成したパケットそのものを流すために使用される。また信号伝送路Ｌ３は、ＣＰＵサブシステム１０が停止している状態で、ＣＰＵサブシステム２０から他系のＩＯサブシステム１３０を制御するために、プロセッサ２００で生成したパケットそのものを流すために使用される。従って、ロックステップ動作時の必要帯域を狭くしただけでは、信号伝送路Ｌ１、Ｌ３に必要となる帯域を削減することはできない。

【0046】

本実施形態の目的は、上述した課題、すなわち、サブシステム間を相互に接続する信号伝送路に必要となる帯域を削減することは困難である、という課題を解決するフォールトトレラントシステムを提供することにある。

【0047】

図６を参照すると、本発明の第２の実施形態にかかるフォールトトレラントシステム１０００は、互いに同一のハードウェアで構成された２つのサブシステム１１００、１２００を備えている。

【0048】

サブシステム１１００は、プロセッサ部１１１０、このプロセッサ部１１１０に接続される入出力部１１２０、および、プロセッサ部１１１０と入出力部１１２０間に接続される制御部１１３０を有する。また、サブシステム１２００は、プロセッサ部１２１０、このプロセッサ部１２１０に接続される入出力部１２２０、および、プロセッサ部１２１０と入出力部１２２０間に接続される制御部１２３０を有する。さらに、制御部１１３０、１２３０を介してサブシステム１１００とサブシステム１２００間を互いに接続する２本の信号伝送路１３００、１４００が設けられている。

【0049】

プロセッサ部１１１０とプロセッサ部１２１０は、サブシステム１１００とサブシステム１２００とがロックステップ動作している状態（ロックステップ同期の状態）で動作可能であると共に、サブシステム１１００とサブシステム１２００とがロックステップ動作していない状態（ロックステップ非同期の状態）で動作可能である。

【0050】

制御部１１３０、１２３０は、以下のような機能を有する。

【0051】

まず、制御部１１３０、１２３０は、プロセッサ部１１１０、１２１０がロックステップ同期の状態にあるときは、制御部１１３０、１２３０を介してサブシステム１１００のプロセッサ部１１１０からサブシステム１２００の入出力部１２２０へアクセスされるデータから制御部１１３０によって生成された誤り検出用データの送信と、サブシステム１１００の入出力部１１２０からサブシステム１２００のプロセッサ部１２１０へアクセスされるデータの送信とで、信号伝送路１３００を共用する制御を行う。同じくプロセッサ部１１１０、１２１０がロックステップ同期の状態にあるときは、制御部１１３０、１２３０を介してサブシステム１２００のプロセッサ部１２１０からサブシステム１１００の入出力部１１２０へアクセスされるデータから制御部１２３０によって生成された誤り検出用データの送信と、サブシステム１２００の入出力部１２２０からサブシステム１１００のプロセッサ部１１１０へアクセスされるデータの送信とで信号伝送路１４００を共用する制御を行う。

【0052】

ここで、誤り検出用データの種類およびその生成方法は、任意である。例えば、プロセッサ部から入出力部へアクセスされるデータが本来のデータ以外にＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｏｄｅ）を有する場合、このＣＲＣを上記誤り検出用データとして使用して良い。また、プロセッサ部から入出力部へアクセスされるデータに基づいてチェックサムを算出し、この算出したチェックサムを上記誤り検出用データとして使用して良い。

【0053】

他方、プロセッサ部１１１０、１２１０がロックステップ非同期の状態にあるときは、制御部１１３０、１２３０は、制御部１１３０、１２３０を介してサブシステム１１００のプロセッサ部１１１０からサブシステム１２００の入出力部１２２０へアクセスされるデータの送信と、サブシステム１１００の入出力部１１２０からサブシステム１２００のプロセッサ部１２１０へアクセスされるデータの送信とのうちの何れか一方で、信号伝送路１３００を使用する制御を行う。同じくプロセッサ部１１１０、１２１０がロックステップ非同期の状態にあるときは、制御部１１３０、１２３０を介してサブシステム１２００のプロセッサ部１２１０からサブシステム１１００の入出力部１１２０へアクセスされるデータの送信と、サブシステム１２００の入出力部１２２０からサブシステム１１００のプロセッサ部１１１０へアクセスされるデータの送信とのうちの何れか一方で、信号伝送路１４００を使用する制御を行う。

【0054】

すなわち、プロセッサ部１１１０、１２１０がロックステップ非同期の状態にあるときは、主として、何れか一方のプロセッサ部が停止している。仮にプロセッサ部１２１０が停止しているとすると、入出力部１１２０、１２２０へのアクセスはプロセッサ部１１１０が担うことになる。このため、信号伝送路１３００は、プロセッサ部１１１０から入出力部１２２０へアクセスするデータの送信に使用され、信号伝送路１４００は、入出力部１２２０からプロセッサ部１１１０へアクセスするデータの送信に使用される。プロセッサ部１２１０は停止しているので、プロセッサ部１２１０から信号伝送路１４００を通じて入出力部１１２０へアクセスするデータを送信することはなく、また入出力部１１２０から信号伝送路１３００を通じてプロセッサ部１２１０へアクセスするデータを送信することはない。

【0055】

次に本実施形態に係るフォールトトレラントシステム１０００の動作を説明する。

【0056】

まず、プロセッサ部１１１０、１２１０がロックステップ同期の状態にあるときの動作を説明する。

【0057】

図７は、プロセッサ部１１１０とプロセッサ部１２１０とが入出力部１１２０内の入出力デバイス１１２１をアクセスするデータを生成したときと、入出力デバイス１１２１がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ同期の状態にあるので、制御部１１３０は、入出力部１１２０内の入出力デバイス１１２１宛のデータをプロセッサ部１１１０から受信すると、そのデータから誤り検出用データを作成し、元のデータと上記作成した誤り検出用データとを制御部１１３０内部のバッファに蓄積して一時的に保存する。他方、制御部１２３０は、入出力デバイス１１２１宛のデータをプロセッサ部１２１０から受信すると、そのデータから誤り検出用データを作成し、信号伝送路１４００を介して制御部１１３０へ送信する。制御部１１３０は、バッファに蓄積されている誤り検出用データと信号伝送路１４００を介して制御部１２３０から受信した誤り検出用データとを比較する。そして、双方の誤り検出用データが一致した場合に限り、バッファに保持している入出力デバイス１１２１宛のデータを入出力部１１２０の入出力デバイス１１２１へ送信する。これにより、双方の誤り検出用データが一致しないような不正な状況の下で入出力デバイス１１２１がアクセスされる事態が回避される。

【0058】

入出力デバイス１１２１は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１１３０へ送信する。ロックステップ同期の状態にあるので、制御部１１３０は、入出力デバイス１１２１からのデータを受信すると、プロセッサ部１１１０へ転送すると共に、信号伝送路１３００を介して制御部１２３０へ転送する。制御部１２３０は、この転送されてきたデータをプロセッサ部１２１０へさらに転送する。

【0059】

このように、プロセッサ部１１１０、１２１０がロックステップ同期の状態にある場合、プロセッサ部１２１０から入出力デバイス１１２１宛のデータは信号伝送路１４００に送信されず、そのデータから生成された誤り検出用データが信号伝送路１４００に送信される。他方、信号伝送路１３００には、入出力デバイス１１２１が生成したデータが送信される。

【0060】

図８は、プロセッサ部１１１０とプロセッサ部１２１０とが入出力部１２２０内の入出力デバイス１２２１をアクセスするデータを生成したときと、入出力デバイス１２２１がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ同期の状態にあるので、制御部１２３０は、入出力部１２２０内の入出力デバイス１２２１宛のデータをプロセッサ部１２１０から受信すると、そのデータから誤り検出用データを作成し、元のデータと上記作成した誤り検出用データとを制御部１２３０内部のバッファに蓄積して一時的に保存する。他方、制御部１１３０は、入出力デバイス１２２１宛のデータをプロセッサ部１１１０から受信すると、そのデータから誤り検出用データを作成し、信号伝送路１３００を介して制御部１２３０へ送信する。制御部１２３０は、バッファに蓄積されている誤り検出用データと信号伝送路１３００を介して制御部１１３０から受信した誤り検出用データとを比較する。そして、双方の誤り検出用データが一致した場合に限り、バッファに保持している入出力デバイス１２２１宛のデータを入出力部１２２０の入出力デバイス１２２１へ送信する。これにより、双方の誤り検出用データが一致しないような不正な状況の下で入出力デバイス１２２１がアクセスされる事態が回避される。

【0061】

入出力デバイス１２２１は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１２３０へ送信する。ロックステップ同期の状態にあるので、制御部１２３０は、入出力デバイス１２２１からのデータを受信すると、プロセッサ部１２１０へ転送すると共に、信号伝送路１４００を介して制御部１１３０へ転送する。制御部１１３０は、この転送されてきたデータをプロセッサ部１１１０へさらに転送する。

【0062】

このように、プロセッサ部１１１０、１２１０がロックステップ同期の状態にある場合、プロセッサ部１１１０から入出力デバイス１２２１宛のデータは信号伝送路１３００に送信されず、そのデータから生成された誤り検出用データが信号伝送路１３００に送信される。他方、信号伝送路１４００には、入出力デバイス１２２１が生成したデータが送信される。

【0063】

現用で使用する入出力デバイスが入出力部１１２０と入出力部１２２０とに分散している場合、図７に示したような動作と図８に示したような動作とが並行して行われる。その結果、信号伝送路１３００、１４００に流れる誤り検出用データのデータ量の最大値をＸ、入出力部で生成されるデータ量の最大値をＹとすると、信号伝送路１３００、１４００に流れるデータ量の最大値はＸ＋Ｙとなる。

【0064】

次に、プロセッサ部１１１０、１２１０がロックステップ非同期の状態にあるときの動作を説明する。例として、プロセッサ部１１１０が障害など何らかの理由で稼働を停止し、プロセッサ部１２１０が稼働している状態を想定する。このとき、入出力部１１２０および入出力部１２２０をアクセスするデータを生成するのは、プロセッサ部１２１０のみである。

【0065】

図９は、プロセッサ部１２１０が入出力部１１２０内の入出力デバイス１１２１をアクセスするデータを生成したときと、入出力デバイス１１２１がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ非同期の状態にあるので、制御部１２３０は、入出力部１１２０内の入出力デバイス１１２１宛のデータをプロセッサ部１２１０から受信すると、受信したデータを信号伝送路１４００を介して制御部１１３０へ送信する。また制御部１１３０は、受信したデータを入出力部１１２０の入出力デバイス１１２１へ送信する。

【0066】

入出力デバイス１１２１は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１１３０へ送信する。プロセッサ部１１１０が稼働していないロックステップ非同期の状態にあるので、制御部１１３０は、入出力デバイス１１２１からのデータを受信すると、信号伝送路１３００を介して制御部１２３０へ転送する。制御部１２３０は、この転送されてきたデータをプロセッサ部１２１０へさらに転送する。

【0067】

このように、プロセッサ部１１１０、１２１０がロックステップ非同期の状態にある場合、プロセッサ部１２１０から入出力デバイス１１２１宛のデータそのものが信号伝送路１４００に送信される。他方、信号伝送路１３００には、入出力デバイス１１２１が生成したデータが送信される。

【0068】

図１０は、プロセッサ部１２１０が入出力部１２２０内の入出力デバイス１２２１をアクセスするデータを生成したときと、入出力デバイス１２２１がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。制御部１２３０は、入出力部１２２０内の入出力デバイス１２２１宛のデータをプロセッサ部１２１０から受信すると、そのデータを入出力部１２２０の入出力デバイス１２２１へ送信する。プロセッサ部１１１０が稼働していないロックステップ非同期の状態にあるので、制御部１２３０は信号伝送路１４００への送信は行わない。

【0069】

入出力デバイス１２２１は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１２３０へ送信する。制御部１２３０は、入出力デバイス１２２１からのデータを受信すると、プロセッサ部１２１０へ転送する。プロセッサ部１１１０が稼働していないロックステップ非同期の状態にあるので、制御部１２３０は信号伝送路１４００への送信は行わない。

【0070】

このように、プロセッサ部１１１０、１２１０がロックステップ非同期の状態にある場合、プロセッサ部１２１０から入出力デバイス１２２１をアクセスする際には信号伝送路１４００は使用されない。また入出力デバイス１２２１がデータを生成した際も、信号伝送路１４００は使用されない。

【0071】

現用で使用する入出力デバイスが入出力部１１２０と入出力部１２２０とに分散している場合、図９に示したような動作と図１０に示したような動作とが並行して行われる。プロセッサ部から入出力部をアクセスするデータのデータ量の最大値は、入出力部で生成されるデータ量の最大値とほぼ同じである。従って、信号伝送路１３００、１４００に流れるデータ量の最大値はＹとなる。

【0072】

次に、比較のために、図１３〜図１６に示すように、サブシステム１１００、１２００間を以下のような４つの信号伝送路で接続した本発明に関連する第１のフォールトトレラントシステムについて説明する。

【0073】

（１）サブシステム１１００のプロセッサ部１１１０からサブシステム１２００の入出力部１２２０へアクセスするデータを転送するための信号伝送路１３１０
（２）サブシステム１１００の入出力部１１２０からサブシステム１２００のプロセッサ部１２１０へアクセスするデータを転送するための信号伝送路１３２０
（３）サブシステム１２００のプロセッサ部１２１０からサブシステム１１００の入出力部１１２０へアクセスするデータを転送するための信号伝送路１４１０
（４）サブシステム１２００の入出力部１２２０からサブシステム１１００のプロセッサ部１１１０へアクセスするデータを転送するための信号伝送路１４２０

【0074】

まず、プロセッサ部１１１０、１２１０がロックステップ同期の状態にあるときの動作を説明する。

【0075】

図１３は、プロセッサ部１１１０とプロセッサ部１２１０とが入出力部１１２０内の入出力デバイス１１２１をアクセスするデータを生成したときと、入出力デバイス１１２１がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ同期の状態にあるので、制御部１１３０は、入出力部１１２０内の入出力デバイス１１２１宛のデータをプロセッサ部１１１０から受信すると、そのデータからチェックサムを作成し、元のデータと上記作成したチェックサムとを制御部１１３０内部のバッファに蓄積して一時的に保存する。他方、制御部１２３０は、入出力デバイス１１２１宛のデータをプロセッサ部１２１０から受信すると、そのデータからチェックサムを作成し、信号伝送路１４１０を介して制御部１１３０へ送信する。制御部１１３０は、バッファに蓄積されているチェックサムと信号伝送路１４１０を介して制御部１２３０から受信したチェックサムとを比較する。そして、双方のチェックサムが一致した場合に限り、バッファに保持している入出力デバイス１１２１宛のデータを入出力部１１２０の入出力デバイス１１２１へ送信する。

【0076】

入出力デバイス１１２１は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１１３０へ送信する。ロックステップ同期の状態にあるので、制御部１１３０は、入出力デバイス１１２１からのデータを受信すると、プロセッサ部１１１０へ転送すると共に、信号伝送路１３２０を介して制御部１２３０へ転送する。制御部１２３０は、この転送されてきたデータをプロセッサ部１２１０へさらに転送する。

【0077】

図１４は、プロセッサ部１１１０とプロセッサ部１２１０とが入出力部１２２０内の入出力デバイス１２２１をアクセスするデータを生成したときと、入出力デバイス１２２１がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ同期の状態にあるので、制御部１２３０は、入出力部１２２０内の入出力デバイス１２２１宛のデータをプロセッサ部１２１０から受信すると、そのデータからチェックサムを作成し、元のデータと上記作成したチェックサムとを制御部１２３０内部のバッファに蓄積して一時的に保存する。他方、制御部１１３０は、入出力デバイス１２２１宛のデータをプロセッサ部１１１０から受信すると、そのデータからチェックサムを作成し、信号伝送路１３１０を介して制御部１２３０へ送信する。制御部１２３０は、バッファに蓄積されているチェックサムと信号伝送路１３１０を介して制御部１１３０から受信したチェックサムとを比較する。そして、双方のチェックサムが一致した場合に限り、バッファに保持している入出力デバイス１２２１宛のデータを入出力部１２２０の入出力デバイス１２２１へ送信する。

【0078】

入出力デバイス１２２１は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１２３０へ送信する。ロックステップ同期の状態にあるので、制御部１２３０は、入出力デバイス１２２１からのデータを受信すると、プロセッサ部１２１０へ転送すると共に、信号伝送路１４２０を介して制御部１１３０へ転送する。制御部１１３０は、この転送されてきたデータをプロセッサ部１１１０へさらに転送する。

【0079】

現用で使用する入出力デバイスが入出力部１１２０と入出力部１２２０とに分散している場合、図１３に示したような動作と図１４に示したような動作とが並行して行われる。その結果、信号伝送路１３１０、１３２０、１４１０、１４２０に流れるデータ量の最大値はＹとなる。

【0080】

次に、プロセッサ部１１１０、１２１０がロックステップ非同期の状態にあるときの動作を説明する。例として、プロセッサ部１１１０が障害など何らかの理由で稼働を停止し、プロセッサ部１２１０が稼働している状態を想定する。このとき、入出力部１１２０および入出力部１２２０をアクセスするデータを生成するのは、プロセッサ部１２１０のみである。

【0081】

図１５は、プロセッサ部１２１０が入出力部１１２０内の入出力デバイス１１２１をアクセスするデータを生成したときと、入出力デバイス１１２１がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。ロックステップ非同期の状態にあるので、制御部１２３０は、入出力部１１２０内の入出力デバイス１１２１宛のデータをプロセッサ部１２１０から受信すると、受信したデータを信号伝送路１４１０を介して制御部１１３０へ送信する。また制御部１１３０は、受信したデータを入出力部１１２０の入出力デバイス１１２１へ送信する。

【0082】

入出力デバイス１１２１は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１１３０へ送信する。プロセッサ部１１１０が稼働していないロックステップ非同期の状態にあるので、制御部１１３０は、入出力デバイス１１２１からのデータを受信すると、信号伝送路１３２０を介して制御部１２３０へ転送する。制御部１２３０は、この転送されてきたデータをプロセッサ部１２１０へさらに転送する。

【0083】

図１６は、プロセッサ部１２１０が入出力部１２２０内の入出力デバイス１２２１をアクセスするデータを生成したときと、入出力デバイス１２２１がそのアクセスデータに対する応答データを生成したときのデータの流れを示している。制御部１２３０は、入出力部１２２０内の入出力デバイス１２２１宛のデータをプロセッサ部１２１０から受信すると、そのデータを入出力部１２２０の入出力デバイス１２２１へ送信する。プロセッサ部１１１０が稼働していないロックステップ非同期の状態にあるので、制御部１２３０は信号伝送路１４１０への送信は行わない。

【0084】

入出力デバイス１２２１は、上記データを受信し、上記データに応じた処理を行い、その処理結果を応答データとして生成し、制御部１２３０へ送信する。制御部１２３０は、入出力デバイス１２２１からのデータを受信すると、プロセッサ部１２１０へ転送する。プロセッサ部１１１０が稼働していないロックステップ非同期の状態にあるので、制御部１２３０は信号伝送路１４２０への送信は行わない。

【0085】

このように、プロセッサ部１１１０、１２１０がロックステップ非同期の状態にある場合、プロセッサ部１２１０から入出力デバイス１２２１をアクセスする際には信号伝送路１４１０は使用されない。また入出力デバイス１２２１がデータを生成した際も、信号伝送路１４２０は使用されない。

【0086】

現用で使用する入出力デバイスが入出力部１１２０と入出力部１２２０とに分散している場合、図１５に示したような動作と図１６に示したような動作とが並行して行われる。従って、信号伝送路１３２０、１４１０に流れるデータ量の最大値はＹとなる。同様に、プロセッサ部１１１０でなくプロセッサ部１２１０が障害等により停止した場合には、信号伝送路１３１０、１４２０に流れるデータ量の最大値はＹとなる。

【0087】

以上の結果、サブシステム１１００、１２００間を図１３〜図１６に示すように４本の信号伝送路で接続したフォールトトレラントシステムにおいては、各信号伝送路に必要となる帯域はＹとなる。従って、サブシステム全体では、サブシステム１１００からサブシステム１２００へデータを送信するために必要となる帯域、および、サブシステム１２００からサブシステム１１００へデータを送信するために必要となる帯域は、それぞれ２Ｙとなる。

【0088】

これに対して、サブシステム１１００、１２００間を図７〜図１０に示すように２本の信号伝送路１３００、１４００で接続し、一方のサブシステムのプロセッサ部から他方のサブシステムの入出力部へアクセスするデータと一方のサブシステムの入出力部から他方のサブシステムのプロセッサ部へアクセスするデータとで同じ信号伝送路を共有する本実施形態に係るフォールトトレラントシステムでは、サブシステム１１００からサブシステム１２００へデータを送信するために必要となる帯域、および、サブシステム１２００からサブシステム１１００へデータを送信するために必要となる帯域は、それぞれＸ＋Ｙとなる。ここで、ＸはＹより十分に小さい。従って、本実施形態によれば、サブシステム間を相互に接続する信号伝送路に必要となる帯域を大幅に削減することができる。

【0089】

なお、プロセッサ部１１１０、１２１０がロックステップ非同期の状態にあるときに、プロセッサ部１１１０、１２１０の双方を独立して稼働させ、プロセッサ部１１１０に他系の入出力部１２２０との間でデータの授受を行わせ、且つ、プロセッサ部１２１０に他系の入出力部１１２０との間でデータの授受を行わせることは、理論的には可能である。そして、その際には信号伝送路１３００、１４００に必要な帯域は２Ｙとなる。従って、信号伝送路１３００、１４００の帯域をＸ＋Ｙに設定した場合、上述したような動作は信号伝送路の帯域不足によって実現困難になるが、実用面では全く問題とはならない。何故ならば、上述したような動作形態は実際の運用では必要性がないためである。

【0090】

[第３の実施形態]
次に本発明の第３の実施形態について詳細に説明する。
[本実施形態が解決しようとする課題]
まず、図１７を参照して本実施形態が解決しようとする課題について説明する。図１７は、２つのモジュールをロックステップ動作させる本発明に関連する第２のフォールトトレラントシステムの構成を示している。このフォールトトレラントシステムでは、自モジュールのＣＰＵサブシステムと他モジュールのＩＯサブシステムとの間、また自モジュールのＩＯサブシステムと他モジュールのＣＰＵサブシステムの間が、モジュール間リンクにより双方向接続されている。このとき、モジュール間リンクの帯域は、プロセッサとｆｔチップセット間のリンクの帯域と同等になるように設計されている。例えば、プロセッサとｆｔチップセットとの間がＰＣＩ−ｅｘｐｒｅｓｓ５．０ＧＴ／ｓｘ４で接続されている場合、自系のＣＰＵサブシステムと他系のＩＯサブシステムの間も、ＰＣＩ−ｅｘｐｒｅｓｓ５．０ＧＴ／ｓｘ４と同等のデータ転送帯域を持つリンクで接続されている。

【0091】

近年、より高いＩＯ性能が要求されるのに従い、プロセッサとｆｔチップセット間のリンクに必要となる帯域も増加している。その結果、モジュール間リンクにもより高い帯域が必要となるが、帯域を高めるためには、転送速度を高速化させるか、リンク幅を増やす必要がある。しかし、転送速度を高速化させるとシグナルインテグリティの検証の為のコストが増加し、リンク幅を増やすとｆｔチップセットのコストが大きくなる。その為、コストの増加を抑えるために、モジュール間リンクに必要となる帯域を増やすことなく、より高いＩＯ性能を実現する方法が必要となる。

【0092】

[本実施形態の概要]
本実施形態では、以下の２つの手段により上記課題を解決する。

【0093】

１つ目の手段として、モジュール間リンクを共用化する。本発明に関連する第２のフォールトトレラントシステムでは、モジュール間リンクはモジュール１のＣＰＵサブシステムからモジュール２のＩＯサブシステムへのリンク、モジュール１のＩＯサブシステムからモジュール２のＣＰＵサブシステムへのリンク、モジュール２のＣＰＵサブシステムからモジュール１のＩＯサブシステムへのリンク、モジュール２のＩＯサブシステムからモジュール１のＣＰＵサブシステムへのリンクの、４つのリンクで構成されていた。一方、本実施形態による構成では、モジュール間リンクをモジュール１からモジュール２へのリンク、モジュール２からモジュール１へのリンクの２つのリンクに再構成し、モジュール１のＣＰＵサブシステムからモジュール２のＩＯサブシステムへのデータ転送と、モジュール１のＩＯサブシステムからモジュール２のＣＰＵサブシステムへのデータ転送でモジュール間リンクを共用する。

【0094】

２つ目の手段として、ＣＰＵサブシステムがロックステップ動作している場合に、反対側のモジュールのＩＯサブシステムへのデータ転送量を削減する。本発明に関連する第２のフォールトトレラントシステムでは、ＣＰＵサブシステムはプロセッサから受信したパケットの宛先を確認し、モジュール１のＩＯサブシステム、またはモジュール２のＩＯサブシステムにパケット全体を転送していた。ＩＯサブシステムはモジュール１のＣＰＵサブシステムから受信したパケットと、モジュール２のＣＰＵサブシステムから受信したパケットが一致していることを確認し、ＩＯデバイスにそのパケットを転送していた。一方、本実施形態による構成では、ＣＰＵサブシステムはプロセッサから受信したパケットの宛先を確認し、宛先が反対側のモジュールのＩＯデバイスであった場合、かつＣＰＵサブシステムがロックステップ動作している場合には、パケット全体を送信せずに、パケットの一部（または後述する実施形態のようにパケット情報やパケットを受信した時刻情報から生成したチェックサム等であってもよい）を送信する。一例としてパケットに含まれるＣＲＣのみを送信する場合、ＩＯサブシステムは、モジュール１のＣＰＵサブシステムから受信したＣＲＣと、モジュール２のＣＰＵサブシステムから受信したＣＲＣとを比較し、一致した場合には、自系のＣＰＵサブシステムから受信したパケットをＩＯデバイスに転送する。一方、パケットの宛先が自系のＩＯサブシステムであった場合、またはＣＰＵサブシステムがロックステップ動作していない場合には、パケット全体をＩＯサブシステムに転送する。

【0095】

[本実施形態の構成]
図１１を参照すると、本発明の第３の実施形態として、モジュール１とモジュール２から構成されるフォールトトレラントシステムが示されている。モジュール１とモジュール２とは、モジュール間リンク３０によって相互に接続されている。モジュール間リンク３０は、モジュール１からモジュール２への送信に使用する信号伝送路３１と、その逆にモジュール２からモジュール１への送信に使用する信号伝送路３２との２つの信号伝送路で構成されている。

【0096】

モジュール１は、プロセッサ１００、ｆｔチップセット１１０、ＩＯデバイス１３０で構成される。プロセッサ１００は、図示しないＣＰＵやメモリ等に加えて、パケット送信部１０１とパケット受信部１０２を有する。ＩＯデバイス１３０は、図示しないＩＯデバイス等に加えて、パケット送信部１３１とパケット受信部１３２を有する。ｆｔチップセット１１０は、パケット受信部１１１、パケット送信部１１２、セレクタ１１３、ＣＲＣ抽出器１１５、送信部１１６、受信部１１７、バッファ１１８、バッファ１１９、バッファ１２０、バッファ１２１、比較器１２２、セレクタ１２３、パケット送信部１２４、パケット受信部１２５から構成される。また、ｆｔチップセット１１０は、モジュール間リンク３０に接続されている。

【0097】

モジュール２は、モジュール１と同じ構成を有する。すなわち、モジュール２は、プロセッサ２００、ｆｔチップセット２１０、ＩＯデバイス２３０で構成される。プロセッサ２００は、図示しないＣＰＵやメモリ等に加えて、パケット送信部２０１とパケット受信部２０２を有する。ＩＯデバイス２３０は、図示しないＩＯデバイス等に加えて、パケット送信部２３１とパケット受信部２３２を有する。ｆｔチップセット２１０は、パケット受信部２１１、パケット送信部２１２、セレクタ２１３、ＣＲＣ抽出器２１５、送信部２１６、受信部２１７、バッファ２１８、バッファ２１９、バッファ２２０、バッファ２２１、比較器２２２、セレクタ２２３、パケット送信部２２４、パケット受信部２２５から構成される。また、ｆｔチップセット２１０は、モジュール間リンク３０に接続されている。

【0098】

モジュール１とモジュール２は同じ構成なので、以下では、主にモジュール１について説明する。

【0099】

プロセッサ１００は、ＩＯデバイス１３０、ＩＯデバイス２３０に対するパケットを生成する。パケットは、例えば、宛先の情報、送信元の情報、データ、ＣＲＣ、およびその他の情報を有する。プロセッサ１００が生成したパケットは、パケット送信部１０１により、パケットの中継を行うｆｔチップセット１１０に送信される。また、パケット受信部１０２は、ｆｔチップセット１１０からパケットを受信する。

【0100】

ＩＯデバイス１３０は、プロセッサ１００、プロセッサ２００に対するパケットを生成する。生成されたパケットは、パケット受信部１３２により、パケットの中継を行うｆｔチップセット１１０に送信される。また、パケット受信部１３１は、ｆｔチップセット１１０からパケットを受信する。

【0101】

ｆｔチップセット１１０は、プロセッサ１００、プロセッサ２００、ＩＯデバイス１３０、ＩＯデバイス２３０から発行されたパケットの中継を行う。

【0102】

パケット受信部１１１は、プロセッサ１００から受信したパケットを出力する。またパケット受信部１１１は、プロセッサ１００から受信したパケットの宛先を確認し、ＩＯデバイス１３０宛てのパケットであった場合にはバッファ１２１に登録する。

【0103】

パケット送信部１１２は、受信部１１７、またはパケット受信部１２５から受信したパケットを、プロセッサ１００に送信する。

【0104】

セレクタ１１３は、ＣＰＵサブシステムがロックステップ動作している場合には、ＣＲＣ抽出器１１５の出力を選択し、ＣＰＵサブシステムがロックステップ動作していない場合には、パケット受信部１１１からの出力を選択する。

【0105】

ＣＲＣ抽出器１１５は、パケット受信部１１１から出力されるパケットからＣＲＣを抽出し、セレクタ１１３に出力する。また、ＣＲＣをバッファ１１８に登録する。

【0106】

送信部１１６は、セレクタ１１３から出力されるＣＲＣまたはパケットを、モジュール間リンク３０の信号伝送路３１を介して、モジュール２のＩＯサブシステム２１に送信する。また、送信部１１６は、パケット受信部１２５から受信したパケットも、信号伝送路３１を介して、モジュール２のＩＯサブシステム２１に送信する。

【0107】

受信部１１７は、モジュール間リンク３０の信号伝送路３２を介してモジュール２のＣＰＵサブシステム２０から受信したＣＲＣをバッファ１１９に登録する。また、受信部１１７は、信号伝送路３２を介してモジュール２のＣＰＵサブシステム２０から受信したパケットをバッファ１２０に登録する。

【0108】

比較器１２２は、バッファ１１８とバッファ１１９から出力されるＣＲＣを比較し、一致した場合には、バッファ１２１にパケットを出力するように指示する。

【0109】

セレクタ１２３は、ＣＰＵサブシステムがロックステップ動作している場合、またＣＰＵサブシステム１０のみが稼働している場合には、バッファ１２１を選択する。ＣＰＵサブシステム２０のみが稼働している場合には、バッファ１２０を選択する。

【0110】

[本実施形態の動作]
ＣＰＵサブシステム１０とＣＰＵサブシステム２０がロックステップ動作している場合と、ロックステップ動作していない場合とで動作が異なる。まず、ＣＰＵサブシステム１０とＣＰＵサブシステム２０がロックステップ動作している場合の動作を説明する。

【0111】

ＣＰＵサブシステムがロックステップ動作している場合には、プロセッサ１００とプロセッサ２００は、同じ時刻に同じパケットを生成する。ここで、生成されたパケットの宛先がＩＯデバイス１３０であるとする。生成されたパケットは、パケット送信部１０１、パケット送信部２０１を経由してパケット受信部１１１とパケット受信部２１１に受信される。パケット受信部１１１は、受信したパケットを出力し、バッファ１２１に登録する。また、ＣＲＣ抽出器１１５は、受信したパケットのＣＲＣを取り出し、バッファ１１８に登録する。

【0112】

一方、パケット受信部２１１は、パケットの宛先がＩＯデバイス１３０宛てである場合には、バッファ２２１にパケットを登録しない。セレクタ２１３にはパケット受信部２１１が受信したパケットと、ＣＲＣ抽出器２１５がパケットから取り出したＣＲＣが入力されているが、ＣＰＵがロックステップ動作しているため、ＣＲＣを送信部２１６に送付する。送信部２１６は、ＣＲＣを信号伝送路３２を介して受信部１１７に送信する。受信部１１７は、受信したＣＲＣをバッファ１１９に登録する。比較器１２２は、バッファ１１８に登録されたＣＲＣと、バッファ１１９に登録されたＣＲＣとを比較し、一致している場合にはバッファ１２１に指示して、バッファ１２１に登録されているパケットを出力させる。セレクタ１２３は、バッファ１２１から受け取ったパケットをパケット送信部１２４に出力する。パケット送信部１２４は、受け取ったパケットをＩＯデバイス１３０に送信する。

【0113】

次に、ＩＯデバイス１３０がパケットを生成した場合の動作を説明する。ＣＰＵサブシステムがロックステップ動作している場合には、このパケットはプロセッサ１００とプロセッサ２００の両方に送信する必要がある。パケット送信部１３２は、ＩＯデバイス１３０が生成したパケットをパケット受信部１２５に送信する。パケット受信部１２５は、受信したパケットをパケット送信部１１２と、送信部１１６に出力する。パケット送信部１１２は、受け取ったパケットをパケット送信部１０２に送信する。送信部１１６は、受け取ったパケットを信号伝送路３１を介して受信部２１７に送信する。受信部２１７は、受信したパケットの宛先を確認し、パケット送信部２１２に出力する。パケット送信部２１２は、受け取ったパケットをパケット送信部２０２に送信する。

【0114】

このように、ＣＰＵサブシステム１０とＣＰＵサブシステム２０がロックステップ動作している場合には、プロセッサからＩＯデバイス宛てのパケットはＣＲＣのみがモジュール間リンク３０上で送信され、ＩＯデバイスからプロセッサ宛てのパケットはパケット全体がモジュール間リンク３０上で送信される。

【0115】

次に、ＣＰＵサブシステム１０とＣＰＵサブシステム２０がロックステップ動作していない場合の動作を説明する。ここでは、ＣＰＵサブシステム１０が稼働しており、ＣＰＵサブシステム２０は稼働していない場合の説明を行う。

【0116】

ＣＰＵサブシステム１０のみが稼働しているため、ＩＯデバイス１３０宛てのパケット、ＩＯデバイス２３０宛てのパケットを発行するのはＣＰＵサブシステム１０のみである。まず、ＣＰＵサブシステム１０がＩＯデバイス１３０宛てのパケットを発行した場合の説明を行う。プロセッサが発行したＩＯデバイス１３０宛てのパケットは、パケット送信部１０１、パケット受信部１１１を経由してバッファ１２１に入力される。ここで、ＣＰＵサブシステム１０とＣＰＵサブシステム２０はロックステップ動作していない為、バッファ１２１に入力されたパケットは、セレクタ１２３、パケット送信部１２４を経由して、パケット受信部１３１により受信される。

【0117】

次に、ＣＰＵサブシステム１０がＩＯデバイス２３０宛てのパケットを発行した場合の説明を行う。同様に、プロセッサが発行したパケットは、パケット送信部１０１、パケット受信部１１１を経由するが、宛先がＩＯデバイス２３０であるため、バッファ１２１には登録されない。その代わりに、ＩＯデバイス２３０宛てのパケットは、セレクタ１１３、送信部１１６を経由して、信号伝送路３１経由で受信部２１７により受信される。受信部２１７は、受信したパケットの宛先を確認し、ＩＯデバイス２３０宛なので、バッファ２２０に登録する。登録されたパケットは、セレクタ２２３、パケット送信部２２４を経由して、パケット受信部２３１により受信される。このように、ＣＰＵサブシステム１０とＣＰＵサブシステム２０がロックステップ動作していない場合、宛先が他系のＩＯデバイスであるパケットは、その全体がモジュール間リンク３０上で送信される。

【0118】

次に、ＩＯデバイス１３０がパケットを生成した場合の動作を説明する。ＣＰＵサブシステム１０のみが稼働しているため、このパケットはプロセッサ１００にのみ送信する必要がある。ＩＯデバイス１３０が生成したパケットは、パケット送信部１３２、パケット受信部１２５、パケット送信部１１２を経由して、パケット送信部１０２に受信される。

【0119】

次に、ＩＯデバイス２３０がパケットを生成した場合の動作を説明する。ＣＰＵサブシステム１０のみが稼働しているため、このパケットもプロセッサ１００にのみ送信する必要がある。ＩＯデバイス２３０が生成したパケットは、パケット送信部２３２、パケット受信部２２５、送信部２１６、信号伝送路３２、受信部１１７、パケット送信部１１２を経由して、パケット送信部１０２に受信される。このように、ＣＰＵサブシステム１０とＣＰＵサブシステム２０がロックステップ動作していない場合、ＩＯデバイスが生成したパケットの宛先が他系のプロセッサである場合、パケット全体がモジュール間リンク３０上で送信される。

【0120】

[本実施形態の効果]
本実施形態の効果として、モジュール間リンクに必要となる帯域を大幅に減少することが可能になる。その理由は以下の通りである。

【0121】

本発明に関連する第２のフォールトトレラントシステムでは、ＣＰＵサブシステムがロックステップ動作しているかどうかにかかわらず、モジュール間リンク上でパケット全体を送信していた。その為、自系のＣＰＵサブシステムから他系のＩＯサブシステムへのモジュール間リンクと、自系のＩＯサブシステムから他系のＣＰＵサブシステムへのモジュール間リンクを独立して用意する必要があった。一方で、本実施形態によるシステムでは、ＣＰＵサブシステムがロックステップ動作している場合には、自系のＣＰＵサブシステムから他系のＩＯサブシステムへはＣＲＣのみを送付すれば良い。パケット全体のデータ量に対して、ＣＲＣのみのデータ量は数十分の一に抑えることが出来るため、自系のＣＰＵサブシステムから他系のＩＯサブシステムへのデータ転送量が大幅に削減できる。一方、ＣＰＵサブシステムがロックステップ動作していない場合には、稼働しているＣＰＵサブシステムから他系のＩＯサブシステムへはパケット全体を送信する必要があるが、稼働していないＣＰＵサブシステムから他系のＩＯサブシステムへのデータ転送が不要である。その為、モジュール１からモジュール２、またはモジュール２からモジュール１全体で見た場合、モジュール間リンク上で転送されるデータ量は、ＣＰＵサブシステムがロックステップ動作している場合よりも、ＣＲＣの送信にかかる分だけ少ない。

【0122】

以上より、本発明に関連する第２のフォールトトレラントシステムではパケット全体の送信に必要となる帯域をＰとした場合、モジュール１からモジュール２へ２Ｐの帯域が、モジュール２からモジュール１へ２Ｐの帯域が必要となっていた。一方で、ＣＲＣのみの送信に必要となる帯域をＣとした場合、モジュール１からモジュール２へＰ＋Ｃの帯域が、モジュール２からモジュール１へＰ＋Ｃの帯域のみがあれば良い。これにより、モジュール１からモジュール２への送信に必要となる帯域、モジュール２からモジュール１への送信に必要となる帯域がＰ−Ｃ削減される。前述の通りＣはＰよりも十分小さいため、大幅にデータ帯域を減らすことが可能になる。

【0123】

[第４の実施形態]

【0124】

図１２は本発明の第４の実施形態を示している。本発明の第４の実施形態では、本発明の第３の実施形態におけるＣＲＣ抽出器１１５、ＣＲＣ抽出器２１５が、チェックサム生成器１２６、チェックサム生成器２２６で置き変わっている。チェックサム生成器１２６とチェックサム生成器２２６は同等であるため、チェックサム生成器１２６を例に動作の説明を行う。

【0125】

チェックサム生成器１２６は、パケット受信部１１１から受け取ったパケットと、パケットを受け取った時刻情報とから、チェックサム情報を生成する。そしてＣＰＵサブシステムがロックステップ動作している場合には、チェックサム情報を他系のＩＯサブシステムに送信する。ＣＲＣを送信する代わりにチェックサムを送信する利点は、チェックサムには時刻情報が付加されている点である。

【0126】

例えば、プロセッサ１００の内部で訂正可能なエラーが発生した場合、プロセッサ１００からｆｔチップセット１１０にパケットが送信される時刻と、プロセッサ２００からｆｔチップセット２１０にパケットが送信される時刻に、若干のズレが発生する場合が多い。しかし、例えばＰＣＩ−Ｅｘｐｒｅｓｓの仕様では、ｆｔチップセット１１０とｆｔチップセット２１０が、各々プロセッサ１００とプロセッサ２００から同じパケットを異なる時刻に受信した場合でも、パケットに含まれるＣＲＣは同じになる。そのため、第３の実施形態では比較器１２２は差分を検出できない。一方、チェックサム情報には時刻情報が含まれるため、ｆｔチップセット１１０とｆｔチップセット２１０が、各々プロセッサ１００とプロセッサ２００から同じパケットを異なる時刻に受信した場合、チェックサム情報が異なる為、比較器１２２が差分を検出することができる。これにより、プロセッサ１００の異常を早期に検出することができる。

【0127】

また、プロセッサとｆｔチップセット間のリンクで転送されるパケットが、ＣＲＣを含まないリンク仕様を採用する場合、ＣＲＣ抽出器を使用する第３の実施形態は動作しない。

【0128】

以上、本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態にのみ限定されず、その他各種の付加変更が可能である。

【産業上の利用可能性】

【0129】

本発明は、フォールトトレラントシステム、特にハードウェアによって実現されるフォールトトレラントシステムに適用することができる。

【0130】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
互いに同一のハードウェアで構成された複数のサブシステムを備えたフォールトトレラントシステムであって、
前記複数のサブシステムは、
前記複数のサブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と、
前記プロセッサ部に接続される入出力部と、
前記プロセッサ部および前記入出力部間に接続される制御部と、
前記制御部を介して前記複数のサブシステム間を互いに接続する信号伝送路とを有し、
前記制御部は、前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、ロックステップ非同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信を行う
フォールトトレラントシステム。
（付記２）
前記信号伝送路は複数の信号伝送路で構成され、
前記制御部は、前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行い、ロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信、自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のうちの何れか一方の送信のために使用する制御を行う
付記１に記載のフォールトトレラントシステム。
（付記３）
前記制御部は、
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データの受信時刻と前記データとからチェックサムを生成し、該生成した前記チェックサムを前記誤り検出用データとして出力する誤り検出用データ生成器を有する
付記２に記載のフォールトトレラントシステム。
（付記４）
前記制御部は、
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データが有するＣＲＣを抽出し、該抽出した前記ＣＲＣを前記誤り検出用データとして出力する誤り検出用データ生成器を有する
付記２に記載のフォールトトレラントシステム。
（付記５）
前記制御部は、
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データと前記誤り検出用データ生成器から出力された前記誤り検出用データとのうちの何れか一方を選択する第１のセレクタを有する
付記３または４に記載のフォールトトレラントシステム。
（付記６）
前記制御部は、
自制御部の前記第１のセレクタの出力と自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータとを同じ一つの前記信号伝送路へ送信する第１の送信部と、
自制御部の前記誤り検出用データ生成器から出力された前記誤り検出用データを一時的に記憶する第１のバッファと、
前記信号伝送路から受信した前記誤り検出用データを一時的に記憶する第２のバッファと、
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データを一時的に記憶する第３のバッファと、
前記信号伝送路から受信した他の前記サブシステムの前記プロセッサ部から自サブシステムの前記入出力部へアクセスされる前記データを一時的に記憶する第４のバッファと、
前記第１のバッファに記憶された前記誤り検出用データと前記第２のバッファに記憶された前記誤り検出用データとを比較する比較器と、
前記プロセッサ部が前記ロックステップ同期の状態にあるときは、前記比較器で一致が検出されることを条件に前記第３のバッファに記憶された前記データを自サブシステムの前記入出力部へ出力し、前記プロセッサ部が前記ロックステップ非同期の状態にあるときは、前記第３のバッファに記憶された前記データまたは前記第４のバッファに記憶された前記データを自サブシステムの前記入出力部へ出力する第２のセレクタと
を有する
付記５に記載のフォールトトレラントシステム。
（付記７）
同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いる制御装置であって、
自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と前記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する信号伝送路に接続され、
前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、ロックステップ非同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信を行う
フォールトトレラントシステムで用いる制御装置。
（付記８）
前記信号伝送路は複数の信号伝送路で構成され、
前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行い、ロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信、自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のうちの何れか一方の送信のために使用する制御を行う
付記７に記載のフォールトトレラントシステムで用いる制御装置。
（付記９）
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データの受信時刻と前記データとからチェックサムを生成し、該生成した前記チェックサムを前記誤り検出用データとして出力する誤り検出用データ生成器を有する
付記８に記載のフォールトトレラントシステムで用いる制御装置。
（付記１０）
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データが有するＣＲＣを抽出し、該抽出した前記ＣＲＣを前記誤り検出用データとして出力する誤り検出用データ生成器を有する
付記８に記載のフォールトトレラントシステムで用いる制御装置。
（付記１１）
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データと前記誤り検出用データ生成器から出力された前記誤り検出用データとのうちの何れか一方を選択する第１のセレクタを有する
付記９または１０に記載のフォールトトレラントシステムで用いる制御装置。
（付記１２）
前記第１のセレクタの出力と自サブシステムの前記入出力部から他サブシステムの前記プロセッサ部へアクセスされるデータとを同じ一つの前記信号伝送路へ送信する第１の送信部と、
前記誤り検出用データ生成器から出力された前記誤り検出用データを一時的に記憶する第１のバッファと、
前記第２の信号伝送路から受信した前記誤り検出用データを一時的に記憶する第２のバッファと、
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データを一時的に記憶する第３のバッファと、
前記信号伝送路から受信した他サブシステムの前記プロセッサ部から自サブシステムの前記入出力部へアクセスされる前記データを一時的に記憶する第４のバッファと、
前記第１のバッファに記憶された前記誤り検出用データと前記第２のバッファに記憶された前記誤り検出用データとを比較する比較器と、
前記プロセッサ部が前記ロックステップ同期の状態にあるときは、前記比較器で一致が検出されることを条件に前記第３のバッファに記憶された前記データを自サブシステムの前記入出力部へ出力し、前記プロセッサ部が前記ロックステップ非同期の状態にあるときは、前記第３のバッファに記憶された前記データまたは前記第４のバッファに記憶された前記データを自サブシステムの前記入出力部へ出力する第２のセレクタと
を有する
付記１１に記載のフォールトトレラントシステムで用いる制御装置。
（付記１３）
互いに同一のハードウェアで構成された複数のサブシステムを備え、前記複数のサブシステムは、前記複数のサブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と、前記プロセッサ部に接続される入出力部と、前記プロセッサ部および前記入出力部間に接続される制御部と、前記制御部を介して前記複数のサブシステム間を互いに接続する信号伝送路とを有するフォールトトレラントシステムの動作方法であって、
前記制御部が、
前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、ロックステップ非同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信を行う
フォールトトレラントシステムの動作方法。
（付記１４）
前記信号伝送路は複数の信号伝送路で構成され、
前記制御部が、前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行い、ロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信、自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のうちの何れか一方の送信のために使用する制御を行う
付記１３に記載のフォールトトレラントシステムの動作方法。
（付記１５）
前記制御部は、
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データの受信時刻と前記データとからチェックサムを生成し、該生成した前記チェックサムを前記誤り検出用データとして使用する
付記１４に記載のフォールトトレラントシステムの動作方法。
（付記１６）
前記制御部は、
自サブシステムの前記プロセッサ部から前記入出力部へアクセスされる前記データが有するＣＲＣを抽出し、該抽出した前記ＣＲＣを前記誤り検出用データとして使用する
付記１４に記載のフォールトトレラントシステムの動作方法。
（付記１７）
同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いられ、自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と前記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する信号伝送路に接続される制御装置の動作方法であって、
前記制御装置が、前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行い、ロックステップ非同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信を行う
フォールトトレラントシステムで用いる制御装置の動作方法。
（付記１８）
前記信号伝送路は複数の信号伝送路で構成され、
前記制御装置が、前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行い、ロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信、自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のうちの何れか一方の送信のために使用する制御を行う
付記１７に記載のフォールトトレラントシステムで用いる制御装置の動作方法。
（付記１９）
同一のハードウェアで構成された複数のサブシステムで構成されるフォールトトレラントシステムの各サブシステムで用いられ、自他サブシステム間においてロックステップ同期の状態および非同期の状態で動作可能なプロセッサ部と前記プロセッサ部に接続される入出力部との間に接続され、また、自他サブシステム間を互いに接続する信号伝送路に接続された制御装置を構成するコンピュータに、
前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信を行わせ、
ロックステップ非同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信を行わせる
ためのプログラム。
（付記２０）
前記信号伝送路は複数の信号伝送路で構成され、
前記コンピュータに、
前記プロセッサ部がロックステップ同期の状態にあるときは、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータから生成した誤り検出用データの他サブシステムへの送信と自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信とで同じ一つの前記信号伝送路を共用する制御を行わせ、ロックステップ非同期の状態にあるときは、前記同じ一つの前記信号伝送路を、自サブシステムの前記プロセッサ部から前記入出力部へアクセスされるデータの他サブシステムへの送信、自サブシステムの前記入出力部から前記プロセッサ部へアクセスされるデータの他サブシステムへの送信のうちの何れか一方の送信のために使用する制御を行わせる
付記１９に記載のプログラム。

【符号の説明】

【0131】

１０００…フォールトトレラントシステム
１１００、１２００…サブシステム
１１１０、１２１０…プロセッサ部
１１２０、１２２０…入出力部
１１２１、１２２１…入出力デバイス
１１３０、１２３０…制御部
１３００、１４００…信号伝送路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】