▶ ストラタス テクノロジーズ アイルランド リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022040028
(43)【公開日】2022-03-10
(54)【発明の名称】リアルタイム耐障害性チェックポインティング
(51)【国際特許分類】
G06F 11/20 20060101AFI20220303BHJP
G06F 9/50 20060101ALI20220303BHJP
G06F 13/36 20060101ALI20220303BHJP
G06F 13/372 20060101ALI20220303BHJP
【ＦＩ】
G06F11/20 628
G06F9/50 120A
G06F13/36 310E
G06F13/372 C
【審査請求】未請求
【請求項の数】29
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2021134612
(22)【出願日】2021-08-20
(31)【優先権主張番号】17/003,808
(32)【優先日】2020-08-26
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521065528
【氏名又は名称】ストラタス テクノロジーズ アイルランド リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】チャールズ ジェイ． ホーバス
(72)【発明者】
【氏名】レイ ツァオ
【テーマコード（参考）】
5B034
5B061
【Ｆターム（参考）】
5B034BB16
5B034CC01
5B061BA01
5B061BC01
5B061QQ01
(57)【要約】
【課題】リアルタイム耐障害性チェックポイントを提供すること
【解決手段】部分的に、本開示は、リアルタイム耐障害性システムに関する。本システムは、第１のコンピューティングデバイスと、第２のコンピューティングデバイスと、ハードウェア相互接続とを含み得る。第１のコンピューティングデバイスは、１つ以上のメモリデバイスと、１つ以上のプロセッサと、タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、第１のリアルタイムチェックポイントエンジンとを含み得る。第２のコンピューティングデバイスは、第１のコンピューティングデバイスと類似するコンポーネントまたは同一のコンポーネントを含み得る。
【選択図】なし
【解決手段】部分的に、本開示は、リアルタイム耐障害性システムに関する。本システムは、第１のコンピューティングデバイスと、第２のコンピューティングデバイスと、ハードウェア相互接続とを含み得る。第１のコンピューティングデバイスは、１つ以上のメモリデバイスと、１つ以上のプロセッサと、タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、第１のリアルタイムチェックポイントエンジンとを含み得る。第２のコンピューティングデバイスは、第１のコンピューティングデバイスと類似するコンポーネントまたは同一のコンポーネントを含み得る。
【選択図】なし
【特許請求の範囲】
【請求項1】
リアルタイム耐障害性コンピューティングシステムであって、
第１のコンピューティングデバイスであって、
１つ以上のメモリデバイスと、
１つ以上のプロセッサと、
タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、前記出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、
第１のリアルタイムチェックポイントエンジンと
を備える、第１のコンピューティングデバイスと、
第２のコンピューティングデバイスであって、
１つ以上のメモリデバイスと、
１つ以上のプロセッサと、
前記タイムスロットベースのバスを経由してデバイスデータを受信するように動作可能な第２のネットワークインターフェースと、
第２のリアルタイムチェックポイントエンジンと
を備える、第２のコンピューティングデバイスと、
前記第１のコンピューティングデバイスと前記第２のコンピューティングデバイスとの間のデータ交換を可能にするように動作可能なハードウェア相互接続と
を備え、
チェックポイントは、前記第１および第２のコンピューティングデバイスへの、またはそれからのいずれのリアルタイム通信への干渉も回避するために、前記タイムスロットベースのバス上に配分されたより低い優先度の通信タイムスロットの間に前記第１または前記第２のリアルタイムチェックポイントエンジンによって発生される、リアルタイム耐障害性コンピューティングシステム。
第１のコンピューティングデバイスであって、
１つ以上のメモリデバイスと、
１つ以上のプロセッサと、
タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、前記出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、
第１のリアルタイムチェックポイントエンジンと
を備える、第１のコンピューティングデバイスと、
第２のコンピューティングデバイスであって、
１つ以上のメモリデバイスと、
１つ以上のプロセッサと、
前記タイムスロットベースのバスを経由してデバイスデータを受信するように動作可能な第２のネットワークインターフェースと、
第２のリアルタイムチェックポイントエンジンと
を備える、第２のコンピューティングデバイスと、
前記第１のコンピューティングデバイスと前記第２のコンピューティングデバイスとの間のデータ交換を可能にするように動作可能なハードウェア相互接続と
を備え、
チェックポイントは、前記第１および第２のコンピューティングデバイスへの、またはそれからのいずれのリアルタイム通信への干渉も回避するために、前記タイムスロットベースのバス上に配分されたより低い優先度の通信タイムスロットの間に前記第１または前記第２のリアルタイムチェックポイントエンジンによって発生される、リアルタイム耐障害性コンピューティングシステム。
【請求項2】
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは、前記第１のコンピューティングデバイスが、故障を被る場合、前記第２のコンピューティングデバイスが、デバイスデータを処理し続け、前記出力データを発生させ、前記タイムスロットベースのバスを使用して前記出力データを伝送するように、受信されたデバイスデータを同時に処理する、請求項１に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項3】
チェックポイント動作は、前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスが、より低い優先度の通信スロットが生じることに先立って、相違する出力データを生成しても、常時、前記より低い優先度の通信スロットの発生まで延期される、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項4】
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、故障が生じた場合に相違する出力データのリリースを回避するために、後続チェックポイント後まで、前記タイムスロットベースのバスと通信する１つ以上のデバイスへの出力データのリリースを遅延させる、請求項３に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項5】
前記第１のコンピューティングデバイスは、低優先度のデータを備える出力データが、低優先度のタイムスロットを使用して伝送されるとき、サイクル毎にチェックポイントを発生させる、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項6】
前記デバイスは、センサであり、前記出力データは、センサデータを備え、前記センサデータは、制御システムのための入力として動作可能である、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項7】
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、前記第１のコンピューティングデバイスが、１つ以上の故障モードを被る場合、第２の処理デバイスが処理を継続するための時間遅延が、ゼロであるように、アクティブにデバイスデータを処理し、出力データを生成している、請求項１に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項8】
１つ以上のタイムスロットの持続時間は、検出周期だけ増加され、前記検出周期は、約１マイクロ秒～約１００マイクロ秒に及ぶ、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項9】
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、一貫しない出力データのリリースを回避するために、次のチェックポイント後まで、前記タイムスロットベースのバスと通信するデバイスへの出力データのリリースを遅延させる、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項10】
前記第１のコンピューティングデバイスが、チェックポイント後に正常に動作している場合、前記第１のコンピューティングデバイスは、いずれの遅延された出力データもリリースする、請求項９に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項11】
前記第１のコンピューティングデバイスは、その出力データの全てを前記第２のコンピューティングデバイスに伝送し、そのような出力データが、前記第１のコンピューティングデバイスの故障の発生に応じてドロップされることを回避する、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項12】
前記第１のコンピューティングデバイスが、故障する場合、前記第２のコンピューティングデバイスは、最後のチェックポイントの間に発生された前記第１のコンピューティングデバイスの出力データのリリースを引き継ぐ、請求項１１に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項13】
前記第１のコンピューティングデバイスのみが、いかなる故障も生じていないときに出力データのリリースを取り扱い、並行して、そのような出力データを前記第２のコンピューティングデバイスと共有する、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項14】
１つ以上のデバイスからの前記デバイスデータは、前記タイムスロットベースのバスを経由して前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスに伝送される、請求項１に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項15】
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは、ブロードキャストまたはマルチキャストを通して直接着信データを受信する、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項16】
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスはそれぞれ、前記１つ以上のメモリデバイス内に記憶され、前記１つ以上のプロセッサのそれぞれの上で実行される個別のネットワークドライバと、チェックポイントシムと、記憶装置ドライバとを備える、個別の非仮想オペレーティングシステム（ＯＳ）を備える、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項17】
前記ネットワークドライバは、リリースコーディネータおよびリリースノーティファイアと通信するリプリケータを備える、請求項１６に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項18】
前記第１および第２のコンピューティングデバイスの１つ以上のメモリデバイス内に記憶される１つ以上のネットワーキングプログラムは、前記ハードウェア相互接続、前記第１のネットワークインターフェース、および前記第２のネットワークインターフェースのうちの１つ以上のものを使用して、出力データの伝送を遅延および協調させる、請求項３に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項19】
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスはそれぞれ、前記１つ以上のメモリデバイス内に記憶され、個別のハイパーバイザを用いて実行される１つ以上の個別のネットワークサポートアプリケーションと、チェックポイントエンジンと、１つ以上の記憶装置サポートアプリケーションとを備える、個別の仮想オペレーティングシステム（ＯＳ）を備える、請求項２に記載のリアルタイム耐障害性コンピューティングシステム。
【請求項20】
リアルタイムで動作システムを制御する方法であって、
一次ノードおよび二次ノードにおいて、タイムスロットベースのバスと電気通信する１つ以上のデバイスからデバイスデータを受信することであって、前記バスは、２つ以上の優先度レベルのタイムスロットに従ってデータを受信するように動作可能である、ことと、
第１のタイムスロットの間に、一次ノードにおいてチェックポイントを発生させ、前記チェックポイントデータを二次ノードに伝送することであって、前記第１のタイムスロットは、より低い優先度のタイムスロットである、ことと、
前記受信されたデバイスデータを処理することに応答して、前記一次ノードおよび前記二次ノードにおいて出力データを発生させることと、
前記一次ノードから、第２のタイムスロットを使用して、前記バスを経由して前記出力データを伝送することであって、前記第２のタイムスロットは、より高い優先度のタイムスロットであり、前記第１のノードおよび前記第２のノードは両方とも、アクティブモードにある、ことと
を含む、方法。
一次ノードおよび二次ノードにおいて、タイムスロットベースのバスと電気通信する１つ以上のデバイスからデバイスデータを受信することであって、前記バスは、２つ以上の優先度レベルのタイムスロットに従ってデータを受信するように動作可能である、ことと、
第１のタイムスロットの間に、一次ノードにおいてチェックポイントを発生させ、前記チェックポイントデータを二次ノードに伝送することであって、前記第１のタイムスロットは、より低い優先度のタイムスロットである、ことと、
前記受信されたデバイスデータを処理することに応答して、前記一次ノードおよび前記二次ノードにおいて出力データを発生させることと、
前記一次ノードから、第２のタイムスロットを使用して、前記バスを経由して前記出力データを伝送することであって、前記第２のタイムスロットは、より高い優先度のタイムスロットであり、前記第１のノードおよび前記第２のノードは両方とも、アクティブモードにある、ことと
を含む、方法。
【請求項21】
より低い優先度のタイムスロットの非チェックポイント部分の間にデータを伝送することをさらに含む、請求項２０に記載の方法。
【請求項22】
出力データが、その状態が現在のチェックポイントに繰り越された前記ノードからリリースされるように、前記一次および前記二次ノードの両方の上で実行される個別のネットワークソフトウェアモジュールを使用してネットワークデータをゲーティングすることをさらに含む、請求項２０に記載の方法。
【請求項23】
出力データの伝送を高優先度のタイムスロットと同期させることをさらに含み、前記出力データは、前記動作システムによって受信される、請求項２２に記載の方法。
【請求項24】
より低い優先度のタイムスロットの非チェックポイント部分の間にデータを伝送することをさらに含む、請求項２２に記載の方法。
【請求項25】
前記一次ノードを使用して、その個別の発信データの全てを前記二次ノードに伝送し、そのような発信データが、前記一次ノードの故障の発生に応じてドロップされないように回避することをさらに含む、請求項２０に記載の方法。
【請求項26】
チェックポイントは、前記ハードウェア相互接続を使用して伝送される、請求項１に記載のシステム。
【請求項27】
一次ノードまたは二次ノードの故障の検出を考慮するために、１つ以上のタイムスロットの持続時間を増加させることをさらに含む、請求項２０に記載の方法。
【請求項28】
１つ以上のタイムスロットの持続時間は、検出周期だけ増加され、前記検出周期は、約１マイクロ秒～約１００マイクロ秒に及ぶ、請求項２７に記載の方法。
【請求項29】
前記チェックポイントデータは、ハードウェア相互接続を使用して伝送される、請求項２０に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
チェックポインティング技術は、コンピュータシステムの耐障害性挙動を達成するための手段である。現在のチェックポインティング技術は、仮想化ベースまたはＯＳベースのいずれかであっても、チェックポイントが、どの時点でも生じるように要求され、それによって、システム応答時間に影響を及ぼし、期限に遅れ得る点において、ハードリアルタイム動作と互換性がない。
【0002】
リアルタイムサポートおよび耐障害性動作の両方を要求するアプリケーションおよびシステムは、現在、カスタムソフトウェアおよび／またはハードウェアを用いて設計されている。それらは、特注品であり、特定の産業および目的のために調整される。これは、そのようなシステムを開発、展開、および保守するために有意な支出および時間を要求する。
【0003】
本開示は、上記のようなチェックポインティングと関連付けられる課題に対処しながら、種々の産業およびサポートレベルにおける使用のために好適なリアルタイム耐障害性を提供するシステムおよび方法を提供する。
【発明の概要】
【課題を解決するための手段】
【0004】
部分的に、本開示は、リアルタイム耐障害性コンピューティングシステムに関する。本システムは、第１のコンピューティングデバイスと、第２のコンピューティングデバイスと、ハードウェア相互接続とを含んでもよい。第１のコンピューティングデバイスは、１つ以上のメモリデバイスと、１つ以上のプロセッサと、タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、第１のリアルタイムチェックポイントエンジンとを含んでもよい。第２のコンピューティングデバイスは、１つ以上のメモリデバイスと、１つ以上のプロセッサと、タイムスロットベースのバスを経由してデバイスデータを受信するように動作可能な第２のネットワークインターフェースと、第２のリアルタイムチェックポイントエンジンとを含んでもよい。一実施形態では、ハードウェア相互接続は、第１のコンピューティングデバイスと第２のコンピューティングデバイスとの間のデータ交換を可能にするように動作可能である。一実施形態では、チェックポイントは、第１および第２のコンピューティングデバイスへの、またはそれからのいずれのリアルタイム通信への干渉も回避するために、タイムスロットベースのバス上に配分されたより低い優先度の通信タイムスロットの間に第１または第２のリアルタイムチェックポイントエンジンによって発生される。
【0005】
一実施形態では、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスは、第１のコンピューティングデバイスが、故障を被る場合、第２のコンピューティングデバイスが、デバイスデータを処理し続け、出力データを発生させ、タイムスロットベースのバスを使用して出力データを伝送するように、受信されたデバイスデータを同時に処理する。一実施形態では、チェックポイント動作は、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスが、より低い優先度の通信スロットが生じることに先立って、相違する出力データを生成しても、常時、より低い優先度の通信スロットの発生まで延期される。一実施形態では、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスは両方とも、故障が生じた場合に相違する出力データのリリースを回避するために、後続チェックポイント後まで、タイムスロットベースのバスと通信する１つ以上のデバイスへの出力データのリリースを遅延させる。
【0006】
一実施形態では、第１のコンピューティングデバイスは、低優先度のデータを含む出力データが、低優先度のタイムスロットを使用して伝送されるとき、サイクル毎にチェックポイントを発生させる。一実施形態では、本デバイスは、センサであり、出力データは、センサデータを含み、センサデータは、制御システムのための入力として動作可能である。一実施形態では、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスは両方とも、第１のコンピューティングデバイスが、１つ以上の故障モードを被る場合、第２の処理デバイスが処理を継続するための時間遅延が、約ゼロまたはゼロであるように、アクティブにデバイスデータを処理し、出力データを生成している。
【0007】
一実施形態では、１つ以上のタイムスロットの持続時間は、検出周期だけ増加され、検出周期は、約１マイクロ秒～約１００マイクロ秒に及ぶ。一実施形態では、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスは両方とも、一貫しない出力データのリリースを回避するために、次のチェックポイント後まで、タイムスロットベースのバスと通信するデバイスへの出力データのリリースを遅延させる。一実施形態では、第１のコンピューティングデバイスが、チェックポイント後に正常に動作している場合、第１のコンピューティングデバイスは、いずれの遅延された出力データもリリースする。一実施形態では、第１のコンピューティングデバイスは、その出力データの全てを第２のコンピューティングデバイスに伝送し、そのような出力データが、第１のコンピューティングデバイスの故障の発生に応じてドロップされることを回避する。
【0008】
一実施形態では、第１のコンピューティングデバイスが、故障する場合、第２のコンピューティングデバイスは、最後のチェックポイントの間に発生された第１のコンピューティングデバイスの出力データのリリースを引き継ぐ。一実施形態では、第１のコンピューティングデバイスのみが、いかなる故障も生じていないときに出力データのリリースを取り扱い、並行して、そのような出力データを第２のコンピューティングデバイスと共有する。一実施形態では、１つ以上のデバイスからのデバイスデータは、タイムスロットベースのバスを経由して第１のコンピューティングデバイスおよび第２のコンピューティングデバイスに伝送される。一実施形態では、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスは、ブロードキャストまたはマルチキャストを通して直接着信データを受信する。
【0009】
一実施形態では、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスはそれぞれ、１つ以上のメモリデバイス内に記憶され、１つ以上のプロセッサのそれぞれの上で実行される、個別のネットワークドライバと、チェックポイントシムと、記憶装置ドライバとを含む、個別の非仮想オペレーティングシステム（ＯＳ）を含む。一実施形態では、ネットワークドライバは、リリースコーディネータおよびリリースノーティファイアと通信するリプリケータを含む。一実施形態では、第１および第２のコンピューティングデバイスの１つ以上のメモリデバイス内に記憶される１つ以上のネットワーキングプログラムは、ハードウェア相互接続、第１のネットワークインターフェース、および第２のネットワークインターフェースのうちの１つ以上のものを使用して、出力データの伝送を遅延および協調させる。一実施形態では、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスはそれぞれ、１つ以上のメモリデバイス内に記憶され、個別のハイパーバイザを用いて実行される、１つ以上の個別のネットワークサポートアプリケーションと、チェックポイントエンジンと、１つ以上の記憶装置サポートアプリケーションとを含む、個別の仮想オペレーティングシステム（ＯＳ）を含む。一実施形態では、チェックポイントは、ハードウェア相互接続を使用して伝送される。
【0010】
部分的に、本開示は、リアルタイムで動作システムを制御する方法に関する。本方法は、一次ノードおよび二次ノードにおいて、タイムスロットベースのバスと電気通信する１つ以上のデバイスからデバイスデータを受信するステップであって、バスは、２つ以上の優先度レベルのタイムスロットに従ってデータを受信するように動作可能である、ステップと、第１のタイムスロットの間に、一次ノードにおいてチェックポイントを発生させ、チェックポイントデータを二次ノードに伝送するステップであって、第１のタイムスロットは、より低い優先度のタイムスロットである、ステップと、受信されたデバイスデータを処理することに応答して、一次ノードおよび二次ノードにおいて出力データを発生させるステップと、一次ノードから、第２のタイムスロットを使用して、バスを経由して出力データを伝送するステップであって、第２のタイムスロットは、より高い優先度のタイムスロットであり、第１のノードおよび第２のノードは両方とも、アクティブモードにある、ステップとを含んでもよい。
【0011】
一実施形態では、本方法はさらに、より低い優先度のタイムスロットの非チェックポイント部分の間にデータを伝送するステップを含む。一実施形態では、本方法はさらに、出力データが、その状態が現在のチェックポイントに繰り越されたノードからリリースされるように、一次および二次ノードの両方の上で実行される個別のネットワークソフトウェアモジュールを使用してネットワークデータをゲーティングするステップを含む。一実施形態では、本方法はさらに、出力データの伝送を高優先度のタイムスロットと同期させるステップを含み、出力データは、動作システムによって受信される。
【0012】
一実施形態では、本方法はさらに、より低い優先度のタイムスロットの非チェックポイント部分の間にデータを伝送するステップを含む。一実施形態では、本方法はさらに、一次ノードを使用して、その個別の発信データの全てを二次ノードに伝送し、そのような発信データが、一次ノードの故障の発生に応じてドロップされないように回避するステップを含む。一実施形態では、チェックポイントデータは、ハードウェア相互接続を使用して伝送される。
【0013】
タイムスロットベースのバスを使用して伝送されるべきデータのものと合致する、または別様にそれと互換性のある優先度レベルを有するタイムスロットと同期されるようにデータを選択的にリリースするステップが、本開示の種々の実施形態において実施される。加えて、例えば、チェックポイントの１つ以上の段階等のプロセッサ／コンピューティングデバイス集約的である、ハードウェア相互接続を使用するデータの伝送は、タイムスロットベースのバス上の低優先度のタイムスロットの間に伝送される。種々の実施形態では、ハードウェア相互接続は、タイムスロットベースのバスとは別個の通信チャネルである。
【0014】
本開示は、異なる側面および実施形態に関するが、本明細書に開示される異なる側面および実施形態が、適宜、組み合わせシステムとして、または部分的に、別個のコンポーネント、デバイス、およびシステムとして、ともに統合される、組み合わせられる、または使用され得ることを理解されたい。したがって、本明細書に開示される各実施形態は、所与の実装に関して適宜、様々な程度で側面のそれぞれに組み込まれることができる。
例えば、本発明は、以下の項目を提供する。
（項目１）
リアルタイム耐障害性コンピューティングシステムであって、
第１のコンピューティングデバイスであって、
１つ以上のメモリデバイスと、
１つ以上のプロセッサと、
タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、前記出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、
第１のリアルタイムチェックポイントエンジンと
を備える、第１のコンピューティングデバイスと、
第２のコンピューティングデバイスであって、
１つ以上のメモリデバイスと、
１つ以上のプロセッサと、
前記タイムスロットベースのバスを経由してデバイスデータを受信するように動作可能な第２のネットワークインターフェースと、
第２のリアルタイムチェックポイントエンジンと
を備える、第２のコンピューティングデバイスと、
前記第１のコンピューティングデバイスと前記第２のコンピューティングデバイスとの間のデータ交換を可能にするように動作可能なハードウェア相互接続と
を備え、
チェックポイントは、前記第１および第２のコンピューティングデバイスへの、またはそれからのいずれのリアルタイム通信への干渉も回避するために、前記タイムスロットベースのバス上に配分されたより低い優先度の通信タイムスロットの間に前記第１または前記第２のリアルタイムチェックポイントエンジンによって発生される、リアルタイム耐障害性コンピューティングシステム。
（項目２）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは、前記第１のコンピューティングデバイスが、故障を被る場合、前記第２のコンピューティングデバイスが、デバイスデータを処理し続け、前記出力データを発生させ、前記タイムスロットベースのバスを使用して前記出力データを伝送するように、受信されたデバイスデータを同時に処理する、上記項目に記載のリアルタイム耐障害性コンピューティングシステム。
（項目３）
チェックポイント動作は、前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスが、より低い優先度の通信スロットが生じることに先立って、相違する出力データを生成しても、常時、前記より低い優先度の通信スロットの発生まで延期される、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目４）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、故障が生じた場合に相違する出力データのリリースを回避するために、後続チェックポイント後まで、前記タイムスロットベースのバスと通信する１つ以上のデバイスへの出力データのリリースを遅延させる、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目５）
前記第１のコンピューティングデバイスは、低優先度のデータを備える出力データが、低優先度のタイムスロットを使用して伝送されるとき、サイクル毎にチェックポイントを発生させる、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目６）
前記デバイスは、センサであり、前記出力データは、センサデータを備え、前記センサデータは、制御システムのための入力として動作可能である、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目７）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、前記第１のコンピューティングデバイスが、１つ以上の故障モードを被る場合、第２の処理デバイスが処理を継続するための時間遅延が、ゼロであるように、アクティブにデバイスデータを処理し、出力データを生成している、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目８）
１つ以上のタイムスロットの持続時間は、検出周期だけ増加され、前記検出周期は、約１マイクロ秒～約１００マイクロ秒に及ぶ、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目９）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、一貫しない出力データのリリースを回避するために、次のチェックポイント後まで、前記タイムスロットベースのバスと通信するデバイスへの出力データのリリースを遅延させる、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１０）
前記第１のコンピューティングデバイスが、チェックポイント後に正常に動作している場合、前記第１のコンピューティングデバイスは、いずれの遅延された出力データもリリースする、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１１）
前記第１のコンピューティングデバイスは、その出力データの全てを前記第２のコンピューティングデバイスに伝送し、そのような出力データが、前記第１のコンピューティングデバイスの故障の発生に応じてドロップされることを回避する、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１２）
前記第１のコンピューティングデバイスが、故障する場合、前記第２のコンピューティングデバイスは、最後のチェックポイントの間に発生された前記第１のコンピューティングデバイスの出力データのリリースを引き継ぐ、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１３）
前記第１のコンピューティングデバイスのみが、いかなる故障も生じていないときに出力データのリリースを取り扱い、並行して、そのような出力データを前記第２のコンピューティングデバイスと共有する、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１４）
１つ以上のデバイスからの前記デバイスデータは、前記タイムスロットベースのバスを経由して前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスに伝送される、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１５）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは、ブロードキャストまたはマルチキャストを通して直接着信データを受信する、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１６）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスはそれぞれ、前記１つ以上のメモリデバイス内に記憶され、前記１つ以上のプロセッサのそれぞれの上で実行される個別のネットワークドライバと、チェックポイントシムと、記憶装置ドライバとを備える、個別の非仮想オペレーティングシステム（ＯＳ）を備える、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１７）
前記ネットワークドライバは、リリースコーディネータおよびリリースノーティファイアと通信するリプリケータを備える、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１８）
前記第１および第２のコンピューティングデバイスの１つ以上のメモリデバイス内に記憶される１つ以上のネットワーキングプログラムは、前記ハードウェア相互接続、前記第１のネットワークインターフェース、および前記第２のネットワークインターフェースのうちの１つ以上のものを使用して、出力データの伝送を遅延および協調させる、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１９）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスはそれぞれ、前記１つ以上のメモリデバイス内に記憶され、個別のハイパーバイザを用いて実行される１つ以上の個別のネットワークサポートアプリケーションと、チェックポイントエンジンと、１つ以上の記憶装置サポートアプリケーションとを備える、個別の仮想オペレーティングシステム（ＯＳ）を備える、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目２０）
リアルタイムで動作システムを制御する方法であって、
一次ノードおよび二次ノードにおいて、タイムスロットベースのバスと電気通信する１つ以上のデバイスからデバイスデータを受信することであって、前記バスは、２つ以上の優先度レベルのタイムスロットに従ってデータを受信するように動作可能である、ことと、
第１のタイムスロットの間に、一次ノードにおいてチェックポイントを発生させ、前記チェックポイントデータを二次ノードに伝送することであって、前記第１のタイムスロットは、より低い優先度のタイムスロットである、ことと、
前記受信されたデバイスデータを処理することに応答して、前記一次ノードおよび前記二次ノードにおいて出力データを発生させることと、
前記一次ノードから、第２のタイムスロットを使用して、前記バスを経由して前記出力データを伝送することであって、前記第２のタイムスロットは、より高い優先度のタイムスロットであり、前記第１のノードおよび前記第２のノードは両方とも、アクティブモードにある、ことと
を含む、方法。
（項目２１）
より低い優先度のタイムスロットの非チェックポイント部分の間にデータを伝送することをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２２）
出力データが、その状態が現在のチェックポイントに繰り越された前記ノードからリリースされるように、前記一次および前記二次ノードの両方の上で実行される個別のネットワークソフトウェアモジュールを使用してネットワークデータをゲーティングすることをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２３）
出力データの伝送を高優先度のタイムスロットと同期させることをさらに含み、前記出力データは、前記動作システムによって受信される、上記項目のいずれか一項に記載の方法。
（項目２４）
より低い優先度のタイムスロットの非チェックポイント部分の間にデータを伝送することをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２５）
前記一次ノードを使用して、その個別の発信データの全てを前記二次ノードに伝送し、そのような発信データが、前記一次ノードの故障の発生に応じてドロップされないように回避することをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２６）
チェックポイントは、前記ハードウェア相互接続を使用して伝送される、上記項目のいずれか一項に記載のシステム。
（項目２７）
一次ノードまたは二次ノードの故障の検出を考慮するために、１つ以上のタイムスロットの持続時間を増加させることをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２８）
１つ以上のタイムスロットの持続時間は、検出周期だけ増加され、前記検出周期は、約１マイクロ秒～約１００マイクロ秒に及ぶ、上記項目のいずれか一項に記載の方法。
（項目２９）
前記チェックポイントデータは、ハードウェア相互接続を使用して伝送される、上記項目のいずれか一項に記載の方法。
（摘要）
部分的に、本開示は、リアルタイム耐障害性システムに関する。本システムは、第１のコンピューティングデバイスと、第２のコンピューティングデバイスと、ハードウェア相互接続とを含み得る。第１のコンピューティングデバイスは、１つ以上のメモリデバイスと、１つ以上のプロセッサと、タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、第１のリアルタイムチェックポイントエンジンとを含み得る。第２のコンピューティングデバイスは、第１のコンピューティングデバイスと類似するコンポーネントまたは同一のコンポーネントを含み得る。ハードウェア相互接続は、第１のコンピューティングデバイスと第２のコンピューティングデバイスとの間のデータ交換を可能にするように動作可能である。チェックポイントは、第１および第２のコンピューティングデバイスへの、またはそれからのいずれのリアルタイム通信への干渉も回避するために、タイムスロットベースのバス上に配分されたより低い優先度の通信タイムスロットの間にチェックポイントエンジンによって発生され得る。
例えば、本発明は、以下の項目を提供する。
（項目１）
リアルタイム耐障害性コンピューティングシステムであって、
第１のコンピューティングデバイスであって、
１つ以上のメモリデバイスと、
１つ以上のプロセッサと、
タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、前記出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、
第１のリアルタイムチェックポイントエンジンと
を備える、第１のコンピューティングデバイスと、
第２のコンピューティングデバイスであって、
１つ以上のメモリデバイスと、
１つ以上のプロセッサと、
前記タイムスロットベースのバスを経由してデバイスデータを受信するように動作可能な第２のネットワークインターフェースと、
第２のリアルタイムチェックポイントエンジンと
を備える、第２のコンピューティングデバイスと、
前記第１のコンピューティングデバイスと前記第２のコンピューティングデバイスとの間のデータ交換を可能にするように動作可能なハードウェア相互接続と
を備え、
チェックポイントは、前記第１および第２のコンピューティングデバイスへの、またはそれからのいずれのリアルタイム通信への干渉も回避するために、前記タイムスロットベースのバス上に配分されたより低い優先度の通信タイムスロットの間に前記第１または前記第２のリアルタイムチェックポイントエンジンによって発生される、リアルタイム耐障害性コンピューティングシステム。
（項目２）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは、前記第１のコンピューティングデバイスが、故障を被る場合、前記第２のコンピューティングデバイスが、デバイスデータを処理し続け、前記出力データを発生させ、前記タイムスロットベースのバスを使用して前記出力データを伝送するように、受信されたデバイスデータを同時に処理する、上記項目に記載のリアルタイム耐障害性コンピューティングシステム。
（項目３）
チェックポイント動作は、前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスが、より低い優先度の通信スロットが生じることに先立って、相違する出力データを生成しても、常時、前記より低い優先度の通信スロットの発生まで延期される、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目４）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、故障が生じた場合に相違する出力データのリリースを回避するために、後続チェックポイント後まで、前記タイムスロットベースのバスと通信する１つ以上のデバイスへの出力データのリリースを遅延させる、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目５）
前記第１のコンピューティングデバイスは、低優先度のデータを備える出力データが、低優先度のタイムスロットを使用して伝送されるとき、サイクル毎にチェックポイントを発生させる、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目６）
前記デバイスは、センサであり、前記出力データは、センサデータを備え、前記センサデータは、制御システムのための入力として動作可能である、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目７）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、前記第１のコンピューティングデバイスが、１つ以上の故障モードを被る場合、第２の処理デバイスが処理を継続するための時間遅延が、ゼロであるように、アクティブにデバイスデータを処理し、出力データを生成している、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目８）
１つ以上のタイムスロットの持続時間は、検出周期だけ増加され、前記検出周期は、約１マイクロ秒～約１００マイクロ秒に及ぶ、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目９）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは両方とも、一貫しない出力データのリリースを回避するために、次のチェックポイント後まで、前記タイムスロットベースのバスと通信するデバイスへの出力データのリリースを遅延させる、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１０）
前記第１のコンピューティングデバイスが、チェックポイント後に正常に動作している場合、前記第１のコンピューティングデバイスは、いずれの遅延された出力データもリリースする、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１１）
前記第１のコンピューティングデバイスは、その出力データの全てを前記第２のコンピューティングデバイスに伝送し、そのような出力データが、前記第１のコンピューティングデバイスの故障の発生に応じてドロップされることを回避する、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１２）
前記第１のコンピューティングデバイスが、故障する場合、前記第２のコンピューティングデバイスは、最後のチェックポイントの間に発生された前記第１のコンピューティングデバイスの出力データのリリースを引き継ぐ、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１３）
前記第１のコンピューティングデバイスのみが、いかなる故障も生じていないときに出力データのリリースを取り扱い、並行して、そのような出力データを前記第２のコンピューティングデバイスと共有する、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１４）
１つ以上のデバイスからの前記デバイスデータは、前記タイムスロットベースのバスを経由して前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスに伝送される、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１５）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスは、ブロードキャストまたはマルチキャストを通して直接着信データを受信する、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１６）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスはそれぞれ、前記１つ以上のメモリデバイス内に記憶され、前記１つ以上のプロセッサのそれぞれの上で実行される個別のネットワークドライバと、チェックポイントシムと、記憶装置ドライバとを備える、個別の非仮想オペレーティングシステム（ＯＳ）を備える、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１７）
前記ネットワークドライバは、リリースコーディネータおよびリリースノーティファイアと通信するリプリケータを備える、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１８）
前記第１および第２のコンピューティングデバイスの１つ以上のメモリデバイス内に記憶される１つ以上のネットワーキングプログラムは、前記ハードウェア相互接続、前記第１のネットワークインターフェース、および前記第２のネットワークインターフェースのうちの１つ以上のものを使用して、出力データの伝送を遅延および協調させる、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目１９）
前記第１のコンピューティングデバイスおよび前記第２のコンピューティングデバイスはそれぞれ、前記１つ以上のメモリデバイス内に記憶され、個別のハイパーバイザを用いて実行される１つ以上の個別のネットワークサポートアプリケーションと、チェックポイントエンジンと、１つ以上の記憶装置サポートアプリケーションとを備える、個別の仮想オペレーティングシステム（ＯＳ）を備える、上記項目のいずれか一項に記載のリアルタイム耐障害性コンピューティングシステム。
（項目２０）
リアルタイムで動作システムを制御する方法であって、
一次ノードおよび二次ノードにおいて、タイムスロットベースのバスと電気通信する１つ以上のデバイスからデバイスデータを受信することであって、前記バスは、２つ以上の優先度レベルのタイムスロットに従ってデータを受信するように動作可能である、ことと、
第１のタイムスロットの間に、一次ノードにおいてチェックポイントを発生させ、前記チェックポイントデータを二次ノードに伝送することであって、前記第１のタイムスロットは、より低い優先度のタイムスロットである、ことと、
前記受信されたデバイスデータを処理することに応答して、前記一次ノードおよび前記二次ノードにおいて出力データを発生させることと、
前記一次ノードから、第２のタイムスロットを使用して、前記バスを経由して前記出力データを伝送することであって、前記第２のタイムスロットは、より高い優先度のタイムスロットであり、前記第１のノードおよび前記第２のノードは両方とも、アクティブモードにある、ことと
を含む、方法。
（項目２１）
より低い優先度のタイムスロットの非チェックポイント部分の間にデータを伝送することをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２２）
出力データが、その状態が現在のチェックポイントに繰り越された前記ノードからリリースされるように、前記一次および前記二次ノードの両方の上で実行される個別のネットワークソフトウェアモジュールを使用してネットワークデータをゲーティングすることをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２３）
出力データの伝送を高優先度のタイムスロットと同期させることをさらに含み、前記出力データは、前記動作システムによって受信される、上記項目のいずれか一項に記載の方法。
（項目２４）
より低い優先度のタイムスロットの非チェックポイント部分の間にデータを伝送することをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２５）
前記一次ノードを使用して、その個別の発信データの全てを前記二次ノードに伝送し、そのような発信データが、前記一次ノードの故障の発生に応じてドロップされないように回避することをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２６）
チェックポイントは、前記ハードウェア相互接続を使用して伝送される、上記項目のいずれか一項に記載のシステム。
（項目２７）
一次ノードまたは二次ノードの故障の検出を考慮するために、１つ以上のタイムスロットの持続時間を増加させることをさらに含む、上記項目のいずれか一項に記載の方法。
（項目２８）
１つ以上のタイムスロットの持続時間は、検出周期だけ増加され、前記検出周期は、約１マイクロ秒～約１００マイクロ秒に及ぶ、上記項目のいずれか一項に記載の方法。
（項目２９）
前記チェックポイントデータは、ハードウェア相互接続を使用して伝送される、上記項目のいずれか一項に記載の方法。
（摘要）
部分的に、本開示は、リアルタイム耐障害性システムに関する。本システムは、第１のコンピューティングデバイスと、第２のコンピューティングデバイスと、ハードウェア相互接続とを含み得る。第１のコンピューティングデバイスは、１つ以上のメモリデバイスと、１つ以上のプロセッサと、タイムスロットベースのバスを経由してデバイスデータを受信し、出力データを伝送するように動作可能な第１のネットワークインターフェースであって、出力データは、デバイスデータを処理することから発生される、第１のネットワークインターフェースと、第１のリアルタイムチェックポイントエンジンとを含み得る。第２のコンピューティングデバイスは、第１のコンピューティングデバイスと類似するコンポーネントまたは同一のコンポーネントを含み得る。ハードウェア相互接続は、第１のコンピューティングデバイスと第２のコンピューティングデバイスとの間のデータ交換を可能にするように動作可能である。チェックポイントは、第１および第２のコンピューティングデバイスへの、またはそれからのいずれのリアルタイム通信への干渉も回避するために、タイムスロットベースのバス上に配分されたより低い優先度の通信タイムスロットの間にチェックポイントエンジンによって発生され得る。
【図面の簡単な説明】
【0015】
本開示の構造および機能は、付随の図と併せた本明細書の説明から最も深く理解されることができる。図は、必ずしも縮尺通りではなく、代わりに、概して、例証的原理に重点が置かれている。図は、全ての側面において例証的と見なされるものであり、本発明を限定することを意図しておらず、その範囲は、請求項によってのみ定義される。
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【発明を実施するための形態】
【0029】
部分的に、本開示は、リアルタイム耐障害性コンピューティングの種々のシステムおよび方法に関する。リアルタイムコンピュータシステムは、保証された応答時間を提供し、すなわち、入力または複数の入力からコンピュータシステムからの出力または応答までの時間は、所定の量を超えないようにシステム設計によって保証される。本所定の時間の量は、多くの場合、期限と呼ばれる。ハードリアルタイムサポートおよびソフトリアルタイムサポートを含む、複数のレベルのリアルタイムサポートが、存在する。本開示の種々の実施形態は、タイムスロットベースのバスと連携してリアルタイムチェックポインティングを実装し、センサおよびコンピューティングデバイス等の他のデバイスから等のデバイスデータを処理し、アクチュエータを制御するための出力データを発生させる、または別様に、所与のユースケースまたは実装のために適用可能であり得るような制御システムおよび他のシステム、デバイス、およびコンポーネントのための入力を発生させる。
【0030】
ハードリアルタイムサポートの文脈では、期限に遅れることは、全体的システム故障をもたらす。ハードリアルタイムサポートは、規定された期限を満たすことができないことが、壊滅的な結果につながり得るときに使用される。実施例は、限定ではないが、化学プラントプロセス、原子力発電所制御、鉄道信号制御、航空電子工学フライバイワイヤ、および自動車機関制御を含む。逆に、ソフトリアルタイムサポートの文脈では、結果の有用性は、その期限後に低下し、それによって、システムのサービスの品質を低下させる。実施例は、限定ではないが、期限に遅れることがある程度のオーディオ歪みを引き起こし得る、コンピュータ音声システム、期限に遅れることがプレーヤアクションにおいてある程度の遅延を引き起こし得る、コンピュータゲーミングシステム、または期限に遅れることが通話の開始の失敗をもたらし得る、電話交換システムを含む。本明細書に開示される種々のシステムおよび方法は、ハードリアルタイムサポートまたはソフトリアルタイムサポートのいずれかのために使用されてもよい。
【0031】
本開示は、標準的（商用）コンピュータシステム上で起動し得るアプリケーション透過リアルタイム耐障害性動作を達成するためのチェックポインティングベースのソリューションを説明する。本システムの使用は、カスタムソフトウェアおよび／またはハードウェアを用いた目的に合わせて設計されたソリューションと比較して、有意な費用および時間の節約を達成する。部分的に、本開示は、標準的（商用）コンピュータシステム上で起動し得るアプリケーション透過ハードリアルタイム耐障害性動作を提供する、種々のチェックポインティングベースのシステムに関する。これらのシステムは、チェックポインティングに関連する種々の改善をもたらす。
【0032】
従来のチェックポインティングは、仮想化ベースである。具体的には、これは、ＶＭを周期的に停止させ、その状態を捕捉し、第１のＶＭが故障する場合に第２のＶＭが動作を継続し得るように、第２のＶＭ上で捕捉された状態を複製することによって、仮想マシン（ＶＭ）レベル耐障害性動作を達成するための手段である。ＶＭを停止させ、その状態を捕捉し、状態を別のＶＭに複製するプロセスは、チェックポイントと呼ばれる。ＶＭのチェックポインティングは、仮想化ベースまたはハイパーバイザベースのチェックポインティングと呼ばれる。
【0033】
また、ＯＳレベルにおいて、すなわち、ハイパーバイザ内ではなく、ＯＳドライバ内でチェックポインティングを実装することも、可能である。本開示に説明される種々のシステム、方法、それらの組み合わせ、および他の実施形態は、仮想化ベースおよびＯＳベースのチェックポインティングに等しく良好に適用される。
【0034】
概して、デバイスデータに関するタイムスロット優先順位付けを使用し、チェックポインティングのために低優先度のタイムスロットを選択することともに、耐障害性システムにおけるチェックポインティングベースのアプローチを改良することが、リアルタイム耐障害性システムおよび方法を実装するために使用される特徴のうちのいくつかである。高レベルの導入としての前述とともに、チェックポインティングをより詳細に考慮することが、有用である。
【0035】
チェックポインティングは、仮想マシン（ＶＭ）またはオペレーティングシステム（ＯＳ）の対を、一方のＶＭまたはＯＳが、故障する場合、他方のＶＭまたはＯＳが、クライアントシステムに本質的に透過的に故障したＶＭまたはＯＳの動作を継続し得るように十分に同一の状態に保つための技法である。耐障害性（ＦＴ）とも呼ばれる、ノンストップサービスを達成するために、チェックポインティングは、１つの物理サーバが、故障する場合、ＶＭまたはＯＳおよびアプリケーションが、残りの物理サーバ上で起動し続けるように、別個の物理サーバ上に冗長ＶＭまたはＯＳの対を展開する。
【0036】
チェックポインティングは、現代のマルチスレッドまたはマルチコアコンピュータシステムが、決定論的に実行されないという事実によって必要とされる。同一の入力データを受信する２つのコンピュータは、同一の命令ストリームを実行せず、したがって、種々の因子に起因して、異なる出力データ（または出力データタイミング）を生成し得る。例えば、両方のコンピュータ上の命令ストリーム内の厳密に同一の時点で受信されないハードウェア割り込みは、最終的に、プロセスが２つのコンピュータの間で異なるようにスケジューリングされることを引き起こし得る。加えて、ディスク応答時間差（回転ドライブに関する回転待ち時間変動およびソリッドステートドライブに関するごみ集め／再マッピングアクティビティ変動）は、最終的に、プロセスが２つのコンピュータ上で異なるようにスケジューリングされることにつながり得る。さらに、サーマルスロットリング、早期の命令／データアクセスに起因する異なるキャッシュヒット／ミス挙動、微細な粒度のクロックおよびカウンタの非精密な整合等の一般的な非決定論的プロセッサ挙動は、最終的に、プロセスが２つのコンピュータ上で異なるようにスケジューリングされることにつながり得る。周期的なチェックポインティングは、（非決定論的）ＯＳまたはＶＭの対を同一の有効な状態に戻し、したがって、ＯＳまたはＶＭが、故障する場合、パートナは、外部クライアントシステムに透過的に他方に関する動作を再開することが可能である。
【0037】
高レベルにおいて、周期的なチェックポインティングは、ＶＭまたはＯＳの起動を停止させ、その状態を捕捉し、状態（または状態変更）をパートナＶＭまたはＯＳに送信し、パートナＶＭまたはＯＳをほぼ同等の状態に保つ。仮想化ベースのチェックポインティングの場合では、チェックポインティング機能性は、大部分がハイパーバイザ内で実装される。ＯＳベースのチェックポインティングの場合では、チェックポインティング機能性は、大部分がオペレーティングシステムドライバ内で実装される。チェックポインティングされるＶＭまたはＯＳが起動している時間は、起動間隔と呼ばれ、チェックポインティングされるＶＭまたはＯＳが状態を捕捉するために停止されている時間は、チェックポイントと呼ばれる。これらの２つの間隔の合計は、エポックと呼ばれる。例示的チェックポイントエポックおよび起動間隔が、本明細書により詳細に議論される、図４、１２Ａ、および１２ＢにおいてＴＳＢ上でリリースのためにデータをスケジューリングする文脈において示される。
【0038】
ＯＳベースのチェックポインティングの場合では、ＯＳは、大部分がチェックポイントの間に停止されるが、チェックポインティングプロセスと関連付けられるＯＳの部分は、チェックポイントの間に起動し続ける。本開示の種々の実施形態は、２０２０年６月１３日に出願され、「ＯＰＥＲＡＴＩＮＧ ＳＹＳＴＥＭ－ＢＡＳＥＤ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＡＣＨＩＥＶＩＮＧ ＦＡＵＬＴ ＴＯＬＥＲＡＮＣＥ」と題された、同時係属中の出願第１６／９００，９０９号（その全開示は、参照することによって本明細書に組み込まれる）に開示される特徴のうちのいくつかを改良する、および／または活用してもよい。
リアルタイム概観
リアルタイム概観
【0039】
リアルタイムコンピュータシステムは、保証された応答時間を提供し、すなわち、入力または複数の入力からコンピュータシステムからの出力または応答までの時間は、所定の量を超えないようにシステム設計によって保証される。本所定の時間の量は、多くの場合、期限と呼ばれる。図１Ａは、本明細書に開示される耐障害性特徴を使用して実装され得る、例示的巡回リアルタイムシステム５の概略図である。多くのリアルタイムシステムは、巡回方式で動作し、すなわち、繰り返しの固定間隔において、入力が、受信され、出力が、供給される。その固定間隔は、サイクル時間（ＣＴ）と呼ばれる。リアルタイム耐障害性システム７ａは、センサを含む、種々のデバイスから等のセンサ入力を受信し、制御出力等の出力を発生させる。制御出力は、アクチュエータおよび他のコントローラ等の種々のデバイスを制御するために使用されることができる。リアルタイム耐障害性システム７ａは、仮想化アプローチまたはオペレーティングシステム（ＯＳ）ベースのアプローチを使用して、リアルタイムチェックポインティングを実装するように動作可能である。
【0040】
産業およびプロセス制御環境では、制御コンピュータシステムおよびセンサ、アクチュエータ、弁、および他の実体を接続する通信媒体は、多くの場合、共有バスである。図１Ｂに示されるように、全体的製造システム１２は、共有バスと通信する種々のデバイスを有する。示される共有バスは、タイムスロットベースのバス（ＴＳＢ）を使用して実装される。種々のデバイスＤ１－Ｄ７は、温度センサ（Ｄ１）、ゲージ（Ｄ２）、弁（Ｄ３）、モータ（Ｄ４）、ロボットアーム（Ｄ５）、コンベヤベルト（Ｄ６）、およびアラーム（Ｄ７）に対応する。デバイスＤ１およびＤ２、すなわち、温度センサおよびゲージは、センサ入力をＲＴ／ＦＴシステム７ｂに提供するセンサとしての役割を果たしてもよい。示されるように、システム７ｂは、典型的には、相互に、かつＴＳＢに接続される、第１のコンピューティングデバイス８ａと、第２のコンピューティングデバイス８ｂとを含む。弁Ｄ３、モータＤ４、ロボットアームＤ５、コンベヤベルトＤ６、およびアラームＤ７は、デバイスＤ１およびＤ２からのセンサ入力に応答して、システム７ｂによって発生される制御出力（出力データ）に基づいて制御されてもよい。順に、アラームＤ７はまた、入力および出力としての役割を果たし、デバイスＤ７のアラーム状態は、他のデバイスを調整するために、または全てのものが許容可能なレベルに従って稼働していることを連続的に示すために、システム７ｂにフィードバックされてもよい。
【0041】
多くのリアルタイム制御システムは、図１Ｂに示されるＴＳＢ実施形態に関してイーサネット（登録商標）等の共有通信媒体を使用する。提示の簡略化のために、図１ＢのＴＳＢは、デバイス（Ｄ１－Ｄ７）に直接接続するように図示されるが、実践では、多くの場合、デバイスとフィールドバスとの間の介在電子コンポーネント、典型的には、ＰＬＣ（プログラマブル論理コントローラ）が、存在する。種々のエッジコンピューティングデバイスもまた、種々の実施形態では、ＴＳＢに接続されてもよい。リアルタイム耐障害性システム７ｂは、仮想化アプローチまたはオペレーティングシステム（ＯＳ）ベースのアプローチを使用して、リアルタイムチェックポインティングを実装するように動作可能である。第１のコンピューティングデバイス８ａおよび第２のコンピューティングデバイス８ｂ等のコンピューティングデバイスは、両方のデバイスが、デバイスＤ１－Ｄ７のうちの１つ以上のもの（または全て）からＴＳＢを通してデバイスデータを受信するように、ネットワーク接続を含む。
【0042】
共有バスを用いてリアルタイム挙動を維持するために、プロセスは、バスにアクセスする種々のコンピューティングデバイスが共有バス上で同時に通信することを防止するように実装される。部分的に、本開示は、共有バスへの同時アクセスまたは別様に高優先度のタイムスロットの間のチェックポイントデータ等のデータの送信を防止するためのプロトコルおよび他の保護手段に関する。そのような保護手段を実装しないことは、非決定論的通信遅延をもたらし、ひいては、リアルタイム期限が違反されることを引き起こし得る。
【0043】
種々の実施形態では、共有バス等の共有媒体上での通信競合を回避することは、通信媒体をタイムスライスすることである。種々の実施形態では、本明細書に開示されるリアルタイム耐障害性システムは、共有バス上の通信エンティティ毎に処理ループサイクルまたは他の周期またはサイクル内で事前割り当てされたタイムスロットを配分する。タイムスライスされた通信バスの実施例は、限定ではないが、ＰｒｏｆｉＮＥＴ ＩＲＴ、ＣＣ－Ｌｉｎｋ ＩＥフィールド、ファウンデーションフィールドバス、およびイーサネット（登録商標）ＰＯＷＥＲＬＩＮＫを含む。種々のＴＳＢは、高、中、および低優先度等の様々な優先度レベルを有するタイムスロットに従ってデータを送信および受信するように動作可能である。他のより一般的な優先度レベルが、デバイスデータがチェックポイントデータに対してスケジューリングされる方法を管理するために使用されてもよい。第１の優先度レベル、第２の優先度レベル、第３の優先度レベル等が、タイムスロットを区別し、リアルタイムチェックポインティングを促進し、リアルタイム動作を妨害するエラーをもたらし得る競合を回避するために使用されてもよい。
【0044】
種々の実装では、タイムスロットベースのバスが、タイムクリティカル通信のために具体的タイムスロットを配分し、非タイムクリティカルまたはあまりタイムクリティカルではない通信のために他のタイムスロットを配分する能力を有する、センサまたは他のデバイスからデータを収集する、種々のリアルタイム耐障害性システムを実装するために使用される。これは、ＴＳＢ等の同一の共有バス上のタイムクリティカル通信に干渉することなく、非決定論的通信のための共有通信媒体フィールドバスの使用を可能にする。
【0045】
いくつかのＴＳＢに関して、低優先度のタイムスライスされた通信バススロットが、非巡回として特徴付けられてもよく、それらのスロットの間の通信が、サイクル時間が促す期限によって制約されないことを意味する。本開示の実施形態を実装するために好適な種々の共有バスは、巡回および非巡回特徴および種々のレベルの優先度を有するタイムスロット等のタイムスロットの組み合わせを含んでもよい。
時間依存ネットワーキング（ＴＳＮ）のスケジューリングされたトラフィック
時間依存ネットワーキング（ＴＳＮ）のスケジューリングされたトラフィック
【0046】
例示として、ＴＳＢは、種々のＴＳＢ構成を実装するために使用され得るＴＳＮ（時間依存ネットワーク）技術を考慮するために有益である。ＴＳＮは、制限付き短待ち時間ネットワークデータトランスポートを達成するためのいくつかの方法論をサポートする。これらは、現在、ＩＥＥＥ ８０２．１Ｑ－２０１８に組み込まれている。ＴＳＮ特徴の実施例は、以下のクレジットベースのシェーパ（以前は８０２．１Ｑａｖ）、プリエンプション（以前は８０２．３ｂｒおよび８０２．１Ｑｂｕ）、スケジューリングされたトラフィック（以前は８０２．１Ｑｂｖ）、巡回待ち行列入れおよび転送（以前は８０２．１Ｑｃｈ）、および非同期シェーピング（以前はＰ８０２．１Ｑｃｒ）のうちの１つ以上のものを含み得る。
【0047】
本開示の種々の実施形態は、リアルタイム挙動を例証するために、ＴＳＮのスケジューリングされたトラフィック（ＩＥＥＥ８０２．１Ｑｂｖ、ＴＳＮ時間認識シェーパとしても公知であり、ＴＳＮ時間認識スケジューラとしても公知である）等の好適なＴＳＢを使用してもよい。ＴＳＮは、種々の実施形態における使用のために好適なＴＳＢの実施例である。
【0048】
ＴＳＮ時間認識スケジューラは、イーサネット（登録商標）機能に基づくタイムスライスされた巡回バスである。ＴＳＮは、イーサネット（登録商標）ベースの非独占的規格である。本明細書に開示されるリアルタイムシステムおよび方法のために共有バスに関してＴＳＮを使用することの言及は、例証的実施例として提供される。本開示は、ＴＳＮベースのネットワークに特有ではなく、任意のタイムスライスされた巡回バスと、およびチェックポイントがリアルタイムアクティビティに干渉することなく行われ得る周期的タイムスロットが存在する他の非巡回リアルタイムソリューションと協働し得る。一般に、本開示の実施形態は、例えば、ＴＳＮベースのバスまたはネットワークおよび本明細書に開示される、または本明細書に開示されるようなリアルタイム機能性を提供するために好適なその他等のタイムスロットベースのバス（ＴＳＢ）を使用して実装されてもよい。
チェックポインティングおよびリアルタイム動作
チェックポインティングおよびリアルタイム動作
【0049】
種々の側面では、本開示は、リアルタイムチェックポインティングおよびリアルタイム耐障害性をサポートする際のその役割に関する。既存の旧来のチェックポインティングソリューションは、２つの分類、すなわち、アクティブ－パッシブチェックポインティングおよびアクティブ－アクティブチェックポインティングにグループ化され得る。これらの既存の旧来のチェックポインティング技術は、下記により詳細に説明される。リアルタイムチェックポインティングは、これらの旧来の技術と異なるタイプのチェックポインティングである。リアルタイムチェックポインティングは、それらをリアルタイム動作のために不適当にするアクティブ－パッシブチェックポインティングまたはアクティブ－アクティブチェックポインティングの欠点に対処する。リアルタイムチェックポインティングは、アクティブ－パッシブチェックポインティングまたはアクティブ－アクティブチェックポインティングと異なるタイプのチェックポインティングである。リアルタイムチェックポインティングは、アクティブ－パッシブチェックポインティングまたはアクティブ－アクティブチェックポインティングの欠点に対処し、したがって、リアルタイム動作のために好適である。
【0050】
リアルタイムシステム７ｃの高レベルの例証的実施例が、全体的制御システム２０の一部としてＴＳＢとともに示される。図２に示される、その実施例では、センサ１および２、すなわち、Ｓ１、Ｓ２は、ＲＴ／ＦＴと標識化される、リアルタイム耐障害性（ＲＴ／ＦＴ）チェックポインティングベースのシステムにリアルタイム（ＲＴ）データを提供しており、ＲＴ／ＦＴシステムは、リアルタイムでアクチュエータＡを制御するために、そのデータを処理している。
【0051】
略図のセンサＳ１、Ｓ２は、種々のデバイス（圧力センサ、流量センサ、速度センサ、流体レベルセンサ、近接センサ等）であり、種々の実装を有することができる。例えば、図１Ｂのシステム５内の種々のデバイスＤ１－Ｄ６は、種々のセンサおよび他のデバイスを含んでもよい。本明細書に開示されるシステムおよび方法と併用するために好適な種々のセンサおよびデバイスは、限定ではないが、スマートネットワーク化センサ、センサまたは複数のセンサに接続されるネットワーク化ＰＬＣ（プログラマブル論理コントローラ）、センサに接続される仮想化ＰＬＣをホストするコンピュータ、分散制御ノード（ＤＣＮ、ＩＯおよび算出能力を伴う産業制御デバイス）、それらの組み合わせ、および本明細書に開示される、または別様に所与の企業の製品およびサービスに適用可能であるようなその他を含み得る。同様に、アクチュエータは、種々のデバイスタイプであり、いくつかの可能性として考えられる実装を有することができる。
【0052】
センサが、ロボットアームと関連付けられる位置、近接、および／または圧力デバイスであり、アクチュエータが、その移動を制御するロボットアームのサーボモータを表した場合、センサは、リアルタイムでデータをＲＴ／ＦＴシステムに供給し、これは、アームのサーボモータを介してロボットアームの運動を制御するために、ＲＴ／ＦＴによって処理される。
【0053】
依然として図２を参照すると、２つの例示的デバイスＳ１、Ｓ２は、アクチュエータＡとともに示される。種々の実施形態では、デバイスＳ１およびＳ２は、制御システム２０によって監視または制御されているシステムまたはプロセスに対するデータを収集するセンサである。センサからのリアルタイムデバイスデータは、１回以上の処理サイクルの間にＲＴ／ＦＴ ７ｃによって処理されており、次いで、リアルタイム制御情報としてアクチュエータに中継される。所与のＲＴ／ＦＴは、デバイスデータ（センサデータ等）を受信し、出力データを伝送するためのネットワークインターフェースを含んでもよい。出力データは、受信されたデバイスデータ、および随意に、制御または監視されているプロセスまたはシステムに特有である他の入力およびパラメータを処理することから発生される。デバイスデータおよび出力データは、典型的には、ＴＳＢを使用して伝送される。図２のシステムでは、ＲＴ／ＦＴは、Ｓ１およびＳ２からのデータを処理し、アクチュエータＡに伝送されるであろうリアルタイム制御情報等の出力データを発生させ、受信された出力データに応答して、これに、特定の様式で応答させる、または所与のタスクを実施させる、または特定のアクションを行わせる。ＲＴ／ＦＴ ７ｃは、処理詳細および１つ以上のコンピューティングデバイスが耐障害性およびリアルタイム実装を提供するように構成される方法の観点から簡略化される。図３は、さらなる詳細を伴う例示的ＲＴ／ＦＴを示し、２つのコンピューティングデバイスを含む。
【0054】
図３のＲＴ／ＦＴシステム７ｄは、一次および二次（または逆もまた同様である）またはＲＴ／ＦＴ１およびＲＴ／ＦＴ２（または逆もまた同様である）として識別され得る、２つのコンピューティングデバイスを含む。ＲＴ／ＦＴシステム７ｄは、ＴＳＢと、Ｓ１と、Ｓ２と、Ａとを含む、全体的制御システム３０の一部である。デバイス／センサＳ１およびＳ２およびアクチュエータＡは、図２のシステムに描写されるものと同一であるが、一次および二次コンピューティングデバイスへのそれらの接続の付加的詳細が、示される。２つのコンピューティングデバイスは、耐障害性リアルタイムチェックポインティングベースのシステム７ｄを実装するために連携して稼動する。これらのコンピューティングデバイスはまた、第１および第２のコンピューティングデバイス、サーバ、ノード、または本明細書に開示されるような他の用語として識別されてもよい。前述にもかかわらず、所与の第１のコンピューティングデバイスは、最初に、第１の役割を有してもよい一方、第２のコンピューティングデバイスは、第２の役割を有してもよい。第１および第２の役割は、コンピューティングデバイスのうちの１つが、エラーまたは故障モードを被る場合、切り替えられる、または他の役割に変更されてもよい。
【0055】
図３のシステムは、ＴＳＢ等の共有バスを含み、また、企業の情報技術（ＩＴ）ネットワーク、インターネット、または他のネットワーク等のネットワークへのネットワーク接続を含んでもよい。コンピューティングデバイスＲＴ／ＦＴ１およびＲＴ／ＦＴ２はそれぞれ、ハードウェア相互接続ＨＩＣによって接続される。センサ、アクチュエータ、およびＲＴ／ＦＴシステムは、細い暗線によって表される冗長共有ネットワーク１７を使用して接続される。例示的データフローが、太い明線１８によって図示される。種々の矢印は、データフローの方向を示す。
【0056】
７ｄまたは２つのコンピューティングデバイスのうちの１つにおける故障を伴わない正常な動作に対応する非故障ケースに関して、データフローは、以下の通りである。センサ／デバイスデータは、両方のＲＴ／ＦＴノードによって受信および処理される（したがって、１つのノードが、故障する場合、いかなる処理時間または状態も、失われない）。したがって、ＲＴ／ＦＴ１が、故障することになる場合、ＲＴ／ＦＴ２は、同一のセンサ／デバイスデータを受信し、制御システム３０およびリアルタイム出力を必要とするコンポーネントがアクチュエータＡ等のリアルタイム動作を維持するために、出力データを発生させることが可能であろう。一実施形態では、一次ノード（上記の略図のＲＴ／ＦＴ２）は、制御出力／出力データをアクチュエータＡに供給する。これは、例示的要件である。他のインスタンスでは、二次ノード（上記の略図のＲＴ／ＦＴ１）が、制御出力／出力データをアクチュエータＡに供給する。別の実施形態では、一次コンピューティングデバイスおよび二次コンピューティングデバイスの両方が、出力データを発生させ、出力データを冗長的に伝送し、アクチュエータは、いくつかの実施形態では、重複性信号を処理し、重複性入力を無視することが可能であるように動作可能であり得る。
チェックポインティング
チェックポインティング
【0057】
種々の実施形態では、チェックポイントは、チェックポイントが、ＴＳＢのより低い優先度（非リアルタイム）の通信タイムスロットのみとリリースのために重複する、または同期されるように、ＴＳＢと協調される。より低い優先度のタイムスロットを使用してチェックポイントおよびチェックポイントデータを協調およびスケジューリングすることは、チェックポイント動作がリアルタイム通信に干渉することを防止する。例えば、チェックポイントデータが、化学エンジニアリングプラントにおいて流体流動のレートを維持するためにアクチュエータによって必要とされる出力データと競合していた場合、チェックポイントデータが、アクチュエータを制御するために必要とされるタイムスロットを使用して送信された場合、悲惨なことになり得る。図４は、例示的ＴＳＢのタイムスロットおよびチェックポインティング動作に対する種々のスケジューリング相互作用を示す、概略図である。一般に、図４は、ＲＴ／ＦＴシステムのチェックポイントをＴＳＢと協調させることに対する例示的アプローチを示す。
【0058】
具体的には、図４に示されるように、ＲＴ／ＦＴシステムは、サイクル毎にセンサからのデバイスデータを処理し、アクチュエータのための出力データを発生させている。ＲＴ／ＦＴの２回の処理サイクルは、ＴＳＢサイクル１およびＴＳＢサイクル２として示される。所与のＴＳＢサイクルが、Ｎ個のタイムスロットを含む。サイクル毎に示される実施例では、４つのタイムスロットが、示され、したがって、Ｎ＝４である。タイムスロットの持続時間は、同一であってもよい、またはそれらは、異なってもよい。示されるように、タイムスロット４が、低優先度のトラフィックのために配分され、タイムスロット１－３よりも長い持続時間を有する。個別のサイクルはそれぞれ、２つの並行したデータ発生イベントに及ぶ。これらのイベントは、チェックポイントスケジューリングおよびＴＳＢネットワークスケジューリングを含む。上記のように、チェックポインティングされるＶＭまたはＯＳが起動している時間は、起動間隔と呼ばれ、チェックポインティングされるＶＭまたはＯＳが状態を捕捉するために停止されている時間は、チェックポイントと呼ばれる。これらの２つの間隔の合計は、エポックと呼ばれる。
【0059】
それらの独自の個別の起動間隔およびＶＭまたはＯＳがタイムスロット４の間に停止されるチェックポイントを伴う第１のチェックポイントエポックおよび第２のチェックポイントエポックが、図４に示される。第１のエポックは、ＴＳＢサイクル１に対応し、第２のエポックは、ＴＳＢサイクル２に対応する。これらの個別の時間周期は、いくつかの実施形態では、異なってもよい。示されるように、ＲＴ／ＦＴの所与のコンピューティングデバイスに関する起動間隔後、チェックポイントが、エポック毎に示される実施例におけるタイムスロット４等のタイムスロットと重複する、またはそれと同期されるようにリリースされる。固定サイクルチェックポイントが、リアルタイムトラフィックへの干渉を回避するために、ＴＳＢ上の低優先度のタイムスロットの間のＴＳＢ（または本実施例に示されるようなＴＳＮ）の間に生じるようにスケジューリングされる。リアルタイムトラフィックの種々の実施例が、ＴＳＢサイクル毎にタイムスロット１、２、および３に関して示される。
【0060】
本開示の別の要素は、ＲＴ／ＦＴのコンピューティングデバイスの両方がアクティブであることである。対照的に、いくつかの耐障害性システムでは、１つのコンピューティングデバイスは、パッシブであり、これが対合されるアクティブなコンピューティングデバイスから効果的に引き継ぐための時間を必要とする。両方のノードをアクティブにさせることによって、いかなる処理時間または状態も、一次が故障するとき／場合に失われず、したがって、リアルタイム期限は、一次ノードが故障するときであっても、維持されることができる。加えて、リアルタイム耐障害性をサポートするために、ネットワークパケットが、次のチェックポイント後までゲーティングされる。図５は、出力データに対応するパケットが保持またはゲーティングされる、一次および二次ＲＴ／ＦＴリアルタイム耐障害性実装のための動作の３回のサイクルを示す、概略図である。図５は、コンピューティングデバイス（一次ＲＴ／ＦＴおよび二次ＲＴ／ＦＴ）がそれぞれ、複数の処理サイクル（サイクル１、サイクル２、およびサイクル３が、示されるが、任意の数のサイクルが、可能性として考えられる）にわたってタイムスロット管理を要求する、図４の実施形態に対するさらなる詳細をもたらす。順に、各サイクルの間、起動間隔およびチェックポイントもまた、生じる。したがって、種々の実施形態では、Ｎ個のサイクルに関して、故障またはある他のイベントの不在下で、Ｎ個のエポックが、存在する。
【0061】
図５に示されるように、ネットワークパケットは、起動間隔の間、２つのノードが、相違し得るため、ゲーティングまたは保持される。起動間隔のそれぞれの間、ＴＳＢを経由して送信されるであろう発信ネットワークパケットが、保持される。故障が、ＲＴ／ＦＴの一部として生じることになり、パケットが、直ちにリリースされていた場合、現在故障しているノードによって先にリリースされたパケットは、以前に二次であり、故障後の現在一次であるノードによってリリースされたパケットと一貫した状態ではない場合がある。パケットをゲーティングすることによって、ＲＴ／ＦＴは、リリースされたパケットが全て、その状態が以前のエポックから繰り越されているノードによって発生されたことを確実にする。種々の実施形態では、パケットのゲーティングはまた、パケットの遅延とも称され得る。ゲーティングされたパケットは、正しいＴＳＮタイムスロットの間にリリースされる。これに従わない場合、所与のリアルタイムシステムは、耐障害性でなくなり、エラーを被り得、これは、ひいては、リアルタイム動作を妨害し得る。以前の起動間隔からの発信パケットは、チェックポイントが低優先度のタイムスロットの間に生じた後にリリースされる。
【0062】
一次ＲＴ／ＦＴからのゲーティングされた発信ネットワークパケットは、二次ＲＴ／ＦＴに送信される。二次ＲＴ／ＦＴは、概して、一次から受信された発信パケットを保持するように動作し、一次が対応するパケットのそのコピーをリリースしているサイクルの間、一次が故障しない場合、それらのパケットを破棄する。非故障サイクルでは、二次ＲＴ／ＦＴは、そのサイクルからのその状態を破棄し、最後の一次チェックポイントから継続する。加えて、非故障ケースでは、二次ＲＴ／ＦＴのパケットは、チェックポイントの完了に応じて破棄される。図５に関して議論される上記の点は、故障ケースを検証することによってより明確に例証され得る。
【0063】
図６は、故障の場合における一次および二次ＲＴ／ＦＴリアルタイム耐障害性実装のための動作の３回のサイクルを示す、概略図である。図５の場合のように、ＴＳＢ上で利用可能なタイムスロットに対してデバイスデータおよび出力データをスケジューリングするためのタイムスロットに分割された３回のサイクルが、存在する。第１のサイクルであるサイクル１では、いかなる故障も、存在せず、一次ＲＴ／ＦＴおよび二次ＲＴ／ＦＴはそれぞれ、タイムスロット１、２、および３内にデバイスデータおよび出力データ（アクチュエータに関する）をスケジューリングし、チェックポイントに対応する低優先度のトラフィックは、タイムスロット４上で取り扱われる。
【0064】
示されるように、サイクル１に先立って、以前のサイクルからのゲーティングされたネットワークパケットは、一次から二次に送信される。サイクル１の一部と整合される起動間隔の間、二次は、最後のチェックポイントに続いて一次から独立して起動している。サイクル１の間、一次からのゲーティングパケットは、二次に送信される。非故障ケースでは、二次は、その状態を破棄し、最後の一次チェックポイントから継続する。
【0065】
図６に示されるように、サイクル２では、一次ＲＴ／ＦＴにおいて故障イベントが、存在し、サイクル３は、故障後の詳細を示す。一次が、サイクル２の間に故障すると、二次は、リリースするために最後のチェックポイントからのゲーティングされたネットワークパケットを有する。加えて、二次は、リリースされたパケットと一貫する状態に基づいて起動している。結果として、二次の実行状態は、有効であり、いかなる実行時間も、失われない。事実上、二次は、処理時間を失うことなく、一次が止まった場所から直ちに続行することができる。いかなるチェックポイントも、故障後に必要とされないが、いくつかの好ましい実施形態では、チェックポインティングが生じたかのようにパケットをゲーティングすることが、望ましい。パケットが、チェックポインティングが依然として生じているかのようにゲーティングされない、いくつかの好ましくない実施形態では、故障後、二次は、最後のチェックポイントからの重要な（高優先度の）タイムスロットおよび現在のチェックポイントからのものの間に２倍も多くのパケットを伝送するように試み得る。パケットが、チェックポインティングが依然として生じているかのようにゲーティングされない、他の好ましくない実施形態では、故障後、二次は、一次が動作に戻るときのサイクルの間にパケットを送信し損ね得、これは、全体的ＲＴ／ＦＴのリアルタイム要件を破り得る。サイクル３では、一次の故障後、二次は、その状態から起動し続け、好ましい実施形態では、続くサイクルでその処理状態と一貫するそのネットワークパケットをリリースする。
発信パケットのネットワーキング特徴および管理
発信パケットのネットワーキング特徴および管理
【0066】
発信ネットワークパケットをドロップすることは、真のリアルタイム動作のために許容可能ではない。これは、より高いレベルのプロトコル回復のための時間不利益が、リアルタイム期限義務を破るであろうためである。さらに、多くのリアルタイムバスは、重要なパケットに関する信頼性のある伝送を仮定し、より高いレベルの回復プロトコルを有していない。例えば、ＴＳＮは、イーサネット（登録商標）レベルにあり、ＴＳＮを用いると、信頼性のあるイーサネット（登録商標）伝送が、全ての衝突が回避されることができるため、重要なパケットに関して達成されることができる。
【0067】
図７は、一次および二次ＲＴ／ＦＴリアルタイム耐障害性実装のための動作の３回のサイクルを示す、概略図である。下記で図７に図示されるように、リアルタイムチェックポインティングソリューションは、下記に説明される機構が、本発明に組み込まれない場合、フェイルオーバに応じて発信パケットをドロップし得る。具体的には、以前のサイクル（サイクル１と標識化される）からのパケットは、サイクル２と標識化される続くサイクルにおけるリリースのために、一次ＲＴ／ＲＴによって待ち行列に入れられている。一次ＲＴ／ＦＴが、サイクル２の間に故障する場合、全てのパケットが、リリースされ得るわけではない。図７に示されるように、サイクル３における一次の故障の間、パケット４０は、アクティブノードが、これが最後のエポックからのパケットの全てをリリースする前に故障するため、伝送されない。
【0068】
部分的に、本開示はまた、フェイルオーバに応じたドロップされる発信パケットの可能性を除去することに関する。これは、一次ＲＴ／ＦＴが、起動間隔の間またはチェックポイント時のいずれかで二次にその発信パケットを送信することによって達成されてもよい。次いで、システム制約に応じて、２つのアルゴリズムまたは方法のうちの１つが、故障が生じるとき、いかなる発信パケットもドロップされないことを確実にするために適用されることができる。第１のアルゴリズムは、本システムが、多数の重複パケットを許容し得る場合、一次および二次ＲＴ／ＦＴの両方が、それらの割り当てられたタイムスロットの間に発信する待ち行列に入れられたパケットを無条件にリリースし得るように動作する。第２のアルゴリズムは、本システムが、多数の重複パケットを許容することができない場合、一次が、リリースされたパケットの進行中のインジケーションを二次に供給し得ることを提供する。一次が、故障する場合、二次は、故障に先立って一次が止まった場所からパケットのリリースを再開するであろう。概して、パケットは、それらの割り当てられたタイムスロットの間にリリースされる。
【0069】
また、上記の第２のアルゴリズムに関して、パケットがリリースされたというインジケーションを二次に提供することに対して、一次のパケットのリリースにおいて遅延が存在し得るという事実が考慮されることに留意されたい。１つのソリューションは、通知が二次によって受信される時間まで、パケットが実際にリリースされたことを確実にするために十分な量だけ二次へのパケットのリリースのインジケーションを遅延させることである。これは、重複パケットの可能性があるタイミングウィンドウを作成し、具体的には、フェイルオーバにおいて、一次によってリリースされたパケットまたは一部のパケットが、二次によって再リリースされることができる。
着信パケット
着信パケット
【0070】
リアルタイムチェックポインティングに関して、両方のノードは、両方のノードが、ＯＳおよびアプリケーションワークロードをアクティブに起動しているため、着信パケットを受信するように動作可能である。これは、それらが両方のノードによって受信されるように、全ての着信パケットを受信し、それらを二次に転送する一次ＶＭを用いて動作し得るアクティブ－アクティブソリューションと対照的である。そのようなアクティブ－アクティブアプローチは、ドロップされた着信パケットをもたらし得る。例えば、一次が故障する時間と、ネットワークパケットが、これが一次になることに応じて二次に再ルーティングされている時間との間に受信されるように意図されるパケットは、ドロップされるであろう。ドロップされたパケットは、真のリアルタイム動作のために許容可能ではなく、したがって、アクティブ－アクティブ実装は、リアルタイム実装のために可能ではない。さらに、フェイルオーバに応じてドロップされる着信パケットを回避するための種々の実施形態では、リアルタイムネットワークパケットの外部送信機は、パケットが、両方のノードによって直接受信されるように、マルチキャストまたはブロードキャストを使用してもよい。
オーバーヘッド考慮事項－チェックポイント間隔およびネットワークゲーティング
オーバーヘッド考慮事項－チェックポイント間隔およびネットワークゲーティング
【0071】
チェックポインティングは、ＯＳまたはゲストＶＭを周期的に停止させることと関連付けられるオーバーヘッドを導入する。これが迅速に行われ得る程度に対する限界が、存在する。さらに、入力から出力までの待ち時間は、チェックポイントを横断して発信パケットをゲーティングする必要性によって影響を受ける。ネットワークタイムスロットがチェックポイントに対して割り当てられる方法に応じて、本追加される待ち時間は、最悪の場合のチェックポイント間隔と同程度に短い、またはチェックポイントサイクル全体と同程度に長くあり得る。
障害検出
障害検出
【0072】
いくつかの実施形態では、タイムスロット持続時間または周期は、障害検出時間を考慮するために増加されてもよい。例えば、あるタイムスロットの間、約１００μ秒相当のデータが、伝送され得る場合、そのタイムスロットに分配される時間は、検出時間ＤＴだけ増加される。検出時間ＤＴは、二次が、一次コンピューティングデバイスが故障したことを検出し、発信データの伝送を再開するまでにかかる時間を可能にする。検出時間ＤＴの包含の不在下では、故障ケースの間、全ての発信データが、タイムスロットの間に伝送されることが可能であるわけではないであろう。種々の実施形態では、検出時間ＤＴは、約０．１マイクロ秒～約１００マイクロ秒に及ぶ。種々の実施形態では、検出時間ＤＴは、約１マイクロ秒～約５００マイクロ秒に及ぶ。
仮想化ベースのチェックポインティング
仮想化ベースのチェックポインティング
【0073】
図８は、本開示のある実施形態による、リアルタイム耐障害性仮想化ベースのチェックポインティングシステムのブロック図である。図８に示されるように、仮想化ベースのリアルタイムＦＴチェックポインティングソリューションは、耐障害性システム７０において実装される。示されるように、リアルタイムＦＴチェックポインティングサポートは、ハイパーバイザ内での修正および追加によって実装される。例えば、仮想化ベースのリアルタイムチェックポインティングシステムが、Ｌｉｎｕｘ（登録商標）上で実装されていた場合、これは、ＫＶＭ／ＱＥＭＵ（一般的なＬｉｎｕｘ（登録商標）ハイパーバイザ）への拡張および／または修正を介して実装され得る。仮想マシン（ＶＭ）の種々の構成が、使用されてもよい。リアルタイムチェックポインティングをサポートする種々のコンポーネントは、影付きである。加えて、非アクティブである種々のコンポーネントまたは経路は、点線で示される。
【0074】
システム７０は、サーバ１と、サーバ２とを含む。サーバは、任意の好適なコンピューティングデバイスであってもよい。一実施形態では、サーバは、仮想化をサポートするＯＳを起動する商用またはカスタムサーバである。図示は、各サーバ上に単一のハイパーバイザ／ＶＭ（単一のリアルタイムＦＴハイパーバイザ／ＶＭ対）を示すが、種々の他の構成も、可能性として考えられる。例えば、システム７０は、各サーバ上に複数のハイパーバイザ／ＶＭを含み、したがって、複数のリアルタイムＦＴハイパーバイザ／ＶＭ対、非リアルタイムハイパーバイザ／ＶＭ対、および非対合（保護されていない）ハイパーバイザ／ＶＭを含んでもよい。システム７０は、示されるように、それぞれ、サーバ１およびサーバ２と関連付けられる、一次ＶＭと、二次ＶＭとを含む。一次ＶＭは、一次ハイパーバイザと通信する。同様に、二次ＶＭは、二次ハイパーバイザと通信する。一般に、サーバ１のコンポーネントは、示されるハイパーバイザ、チェックポイントエンジン、記憶装置サポート、およびネットワークサポート特徴に対して示される機能ブロックおよびソフトウェアコンポーネントの観点から、サーバ２においてミラーリングされる。種々の実施形態では、前述の全ては、ソフトウェアモジュールおよびソフトウェアプログラムの組み合わせを使用して実装される。
【0075】
サーバ１およびサーバ２は、ハードウェア相互接続によって接続またはリンクされる。一実施形態では、ハードウェア相互接続は、それを通してチェックポインティング状態が２つの物理サーバの間で伝達される、ハードウェアバスまたはブリッジ等の物理媒体である。ハードウェア相互接続は、ネットワーク接続、非透過ＰＣＩブリッジ、または任意の他の高性能コンピュータ相互接続であり得る。種々の実施形態では、チェックポイントは、ＴＳＢ上のアクティブなタイムスロットである低優先度のタイムスロットの発生の間にハードウェア相互接続を使用して伝達される。一実施形態では、チェックポイントデータは、全てのタイムスロットの間にハードウェア相互接続上で伝達されてもよい（但し、ハードウェア相互接続上の最終状態の伝送は、ここでは低優先度のタイムスロットの間に生じる）。チェックポイントの「最終段階」は、最もプロセッサ／システム集約的な動作であり、チェックポイントのその他の段階は、リアルタイム機能性に影響を及ぼさない。種々の実施形態では、最終段階等のチェックポイントの１つ以上の段階は、顧客アプリケーションまたはＶＭが、その時点で起動していないため、性能に影響を及ぼす。結果として、目標は、可能な限り迅速にチェックポイントデータを伝達することであり、これは、関連付けられる性能費用を有する。
【0076】
本明細書におけるように、そのような性能費用は、リアルタイム性能に悪影響を及ぼし得る。各コンピューティングデバイスの種々のコンポーネントへのハードウェア相互接続の接続は、使用されるハードウェア相互接続のタイプに応じて変動することができる。例えば、相互接続が、非透過ＰＣＩブリッジである場合、これは、図８の下部に示されるようなネットワークを通して進行しない。ハードウェア相互接続が、ネットワーク接続を使用して実装される場合、これは、ここでは図８の下部に示されるネットワークに接続し、ＯＳネットワーキングサポートと関連付けられるネットワーキングインターフェースから接続し得る。ＴＳＢ上の低優先度の伝達の間にリアルタイム性能に悪影響を及ぼすチェックポイントデータを選択的に伝達することは、所与のサーバに対する付加的負担を回避し、これは、リアルタイム性能を促進する。
【0077】
サーバ１およびサーバ２はそれぞれ、チェックポイントエンジンを含む。サーバ１およびサーバ２毎のハイパーバイザ内に描写されるチェックポイントエンジンおよびコンポーネントの全ては、各個別のハイパーバイザへの追加またはその修正である。チェックポイントエンジンは、ＴＳＢタイミングによって決定されるような周期的チェックポイントを開始する。チェックポイントプロセスの目的は、一次ＶＭを起動するハードウェアが、故障することになる場合、二次ノードが、アプリケーション動作不能状態を伴わずに引き継ぎ得るように、一次ＶＭの状態に合致するように二次ＶＭの状態を更新することである。
【0078】
チェックポイントプロセスのステップは、以下のうちの１つ以上のものを含む。
・一次および二次ＶＭの両方の上でのＯＳ実行を停止させるステップ。
・チェックポイントが開始されることを記憶装置およびネットワークコンポーネントに通知するステップ。
・一次および二次ＶＭの両方によって最後のチェックポイント以降に修正されたＶＭメモリのリストを取得するステップ。これらの２つのリストの結合を計算する。
・修正されたメモリリストの結合を使用して、ハードウェアインターフェースを介して、修正されたＶＭメモリを一次ハイパーバイザから二次ハイパーバイザに送信するステップ。
・一次ＶＭ上で、ＶＭプロセッサおよびデバイスの状態を捕捉するステップ。ハードウェアインターフェースを介して、プロセッサおよびデバイス状態を一次ハイパーバイザから二次ハイパーバイザに送信する。
・一次および二次ハイパーバイザの両方の上で、チェックポイントプロセスが完了し、ＶＭが再開しようとしていることをネットワークサポートおよび記憶装置サポートコンポーネントに知らせるステップ。
・一次および二次ノードの両方の上でＶＭ実行を再開するステップ。
・一次および二次ＶＭの両方の上でのＯＳ実行を停止させるステップ。
・チェックポイントが開始されることを記憶装置およびネットワークコンポーネントに通知するステップ。
・一次および二次ＶＭの両方によって最後のチェックポイント以降に修正されたＶＭメモリのリストを取得するステップ。これらの２つのリストの結合を計算する。
・修正されたメモリリストの結合を使用して、ハードウェアインターフェースを介して、修正されたＶＭメモリを一次ハイパーバイザから二次ハイパーバイザに送信するステップ。
・一次ＶＭ上で、ＶＭプロセッサおよびデバイスの状態を捕捉するステップ。ハードウェアインターフェースを介して、プロセッサおよびデバイス状態を一次ハイパーバイザから二次ハイパーバイザに送信する。
・一次および二次ハイパーバイザの両方の上で、チェックポイントプロセスが完了し、ＶＭが再開しようとしていることをネットワークサポートおよび記憶装置サポートコンポーネントに知らせるステップ。
・一次および二次ノードの両方の上でＶＭ実行を再開するステップ。
【0079】
本システムおよびタイムスロットが、リアルタイムチェックポインティングをサポートするために適切にサイズ決めされることが重要である。タイムスロットは、リアルタイム耐障害性システムが使用されている用途およびユーザによって規定されるサイクル時間に従ってサイズ決めされてもよい。チェックポイントプロセスの間、一次または二次チェックポイントエンジンのいずれかが、チェックポイント持続時間が分配された時間を超え、したがって、可能性として、リアルタイム期限義務に干渉するであろうことを検出する場合、チェックポイントは、中止され、本システムは、リアルタイム期限が満たされることを確実にするために、シンプレックス状態に戻されるであろう。シンプレックス状態に戻されることは、二次および一次がチェックポインティングを停止し、一次が単独で（かつこれがもはやチェックポインティングをしていないため、保護されずに）起動するときを指す。これが、生じる場合、一方のサーバは、ＦＴ動作を復元するために、他方のサーバと再びパートナになるであろう。同様に、一次または二次チェックポイントエンジンのいずれかが、ＴＳＢタイミングによって規定されるタイムスロット以外におけるチェックポイントを実施する必要性を検出する場合、本システムは、リアルタイム期限が満たされることを確実にするために、シンプレックス状態に戻るであろう。これが、生じる場合、本システムは、ＦＴ動作を復元するために、それ自体と再びパートナになるであろう。スケジューリングされていないチェックポイントを引き起こし得るアイテムの実施例は、メモリ追跡と関連付けられるバッファが小さすぎ、チェックポイントの間に生じる全てのメモリ変更を記録することができない、または記憶装置キャッシュが小さすぎ、チェックポイントの間の全ての記憶装置変更をキャッシュすることができない、不適切にサイズ決めされたシステムである。
【0080】
チェックポイントエンジン内に、２つのサブコンポーネント、すなわち、メモリトラッカおよび多方面デバイス状態複製コンポーネントがある。メモリトラッカは、ＶＭによって修正されたメモリを追跡するためのプロセッサハードウェア特徴を利用し、したがって、チェックポインティングエンジンは、チェックポイントにおいてコピーされる必要があるメモリを把握する。順に、多方面デバイス状態複製コンポーネントは、一次ハイパーバイザ内のＶＭデバイス状態を捕捉し、チェックポイントの一部として二次ハイパーバイザ内のＶＭに適用する。
【0081】
サーバ２の二次ハイパーバイザ内のチェックポイントエンジンは、ダーティページデータおよび多方面デバイス状態データを含む、完全なチェックポイントデータが受信されるまで待機し、次いで、そのデータを適用し、新しいチェックポイントの文脈においてＶＭ動作を再開する。
記憶装置サポートコンポーネント
記憶装置サポートコンポーネント
【0082】
記憶装置サポートコンポーネントは、チェックポインティングをサポートするために、ハイパーバイザ記憶装置機能性とインターフェースをとる。具体的なチェックポインティング関連コンポーネントは、キャッシングコンポーネントおよび複製コンポーネントである。キャッシングコンポーネントは、一次および二次ＶＭの両方からの各チェックポイントの間に生じる記憶装置書込をキャッシュする。一次および二次ＶＭは、起動するときに非決定論的である。結果として、これらのＶＭは、同一のデータを記憶装置に書き込まない場合がある。例えば、ＶＭが、非決定論のため、異なる順序でトランザクションを処理している場合、一次の上の記憶装置に書き込まれたトランザクションに関するタイムスタンプは、二次の上の記憶装置に書き込まれたタイムスタンプと異なり得る。本記憶装置相互作用は、記憶装置のビューとして参照され得る。ビューは、チェックポイントまでキャッシュ内にあり、その後（非故障ケースでは）、一次のデータ／ビューは、ディスクに書き込まれ、二次のデータ／ビューは、破棄される。起動間隔内で、ＶＭの記憶装置のビューは、各ＶＭが、独立して動作し、潜在的に、異なる書込要求を発行するため、ＶＭの間で相違することを可能にされる。各チェックポイントに続いて、二次ＶＭの記憶装置は、一次ＶＭの記憶装置と同じにされる。媒体に引き渡されるようにＯＳに書込を提供する代わりにそれらをキャッシュすることは、ある利点を提供する。例えば、１つの利点は、二次キャッシュが、単純に、チェックポイントに続いて破棄され得ることである。また、一次ノードの故障および最終的な二次からの回復の場合では、チェックポイントを行う前に一次書込を媒体に引き渡すことは、問題となり、その場合では、一次キャッシュは、同様に破棄されるであろう。
【0083】
加えて、複製コンポーネントもまた、種々の記憶装置機能性をサポートするために使用される。記憶装置コンポーネントは、一次および二次ＶＭの間で記憶装置を複製することをサポートする。各起動間隔の開始時、ＶＭ記憶装置は、同じである。これは、動作が開始される前に初期完全同期動作を要求する。次いで、記憶装置サポートコンポーネントのキャッシングコンポーネントと協働して、記憶装置修正が、各チェックポイントが行われる際に一次ハイパーバイザから二次ハイパーバイザに複製され、ＯＳを介して二次記憶媒体に引き渡される。記憶装置コンポーネントはそれぞれ、１つ以上のソフトウェアプログラム、方法、またはルーチンとして実装されてもよい。
ネットワークサポートコンポーネント
ネットワークサポートコンポーネント
【0084】
ネットワークサポートコンポーネントは、チェックポインティングおよびリアルタイム動作をサポートするために、ハイパーバイザネットワーク機能性とインターフェースをとる。これらのコンポーネントは、リプリケータと、ローカル発信パケット待ち行列と、リリースコーディネータと、パートナ発信パケット待ち行列と、リリースノーティファイアとを含む。これらはそれぞれ、１つ以上のソフトウェアプログラム、方法、またはルーチンとして実装されてもよい。
【0085】
一次ハイパーバイザでは、リプリケータは、一次ＶＭから発信ネットワークパケットをとるように動作可能であり、パケットを一次のローカル発信パケット待ち行列および二次のパートナ発信パケット待ち行列に送信する。二次ハイパーバイザでは、リプリケータは、非アクティブであり、単純に、二次ゲストから二次のローカル発信パケット待ち行列へのパケットのための通路としての役割を果たす。パケットとともに、リプリケータは、それに各パケットが割り当てられるＴＳＢタイムスロットを識別する情報を渡す。ローカル発信パケット待ち行列は、リリースコーディネータによる可能性として考えられる後のリリースのために、ローカルＶＭインスタンスからのパケットを待ち行列に入れるように動作可能である。パケットとともに、各パケットが割り当てられるＴＳＢタイムスロットを識別する情報が、待ち行列に入れられる。パートナ発信パケット待ち行列コンポーネントは、リリースコーディネータによる可能性として考えられる後のリリースのために、パートナＶＭインスタンスからのパケットを待ち行列に入れるように動作可能である。これは、二次ハイパーバイザ上でのみアクティブである。
【0086】
発信パケットをリリースするための２つの代替が、上記に議論される。これらは、以下を含む。
ａ）本システムが、多数の重複パケットを許容することができる場合、一次および二次ＲＴ／ＦＴは両方とも、待ち行列に入れられた発信パケットを無条件にリリースすることができる。
ｂ）本システムが、多数の重複パケットを許容することができない場合、一次のみが、非故障ケースにおいて待ち行列に入れられた発信パケットをリリースする。
代替ｂが、使用される場合、パートナ発信パケット待ち行列（二次の上でのみアクティブ）は、パケットが、一次からリリースされるとき、一次リリースノーティファイアから通知を受信している。対応するパケットは、次いで、パートナ発信パケット待ち行列から除去される。
ａ）本システムが、多数の重複パケットを許容することができる場合、一次および二次ＲＴ／ＦＴは両方とも、待ち行列に入れられた発信パケットを無条件にリリースすることができる。
ｂ）本システムが、多数の重複パケットを許容することができない場合、一次のみが、非故障ケースにおいて待ち行列に入れられた発信パケットをリリースする。
代替ｂが、使用される場合、パートナ発信パケット待ち行列（二次の上でのみアクティブ）は、パケットが、一次からリリースされるとき、一次リリースノーティファイアから通知を受信している。対応するパケットは、次いで、パートナ発信パケット待ち行列から除去される。
【0087】
リリースコーディネータは、パケットを適切な待ち行列から適切な時間にＯＳにリリースし、したがって、外部ネットワークにリリースするように動作可能である。全ての場合では、パケットは、その割り当てられたＴＳＮタイムスロットの間にリリースされる。
【0088】
非故障ケースでは、以前のエポックからのパケットは、以下のいずれかからリリースされる。
ａ）上記からの代替ａが、使用される場合、一次ハイパーバイザのローカル発信パケット待ち行列および二次ハイパーバイザのパートナ発信パケット待ち行列の両方、
または、
ｂ）上記の代替ｂが、使用される場合、一次ハイパーバイザのローカル発信パケット待ち行列のみ。
上記からの代替ｂが、使用される場合、一次のリリースコーディネータは、リリースされた各パケットを一次のリリースノーティファイアに通知する。パケットが実際にリリースされたことを確実にするための遅延後、リリースノーティファイアは、通知を二次のパートナ発信パケット待ち行列上に渡す。上記からの代替ｂが、使用され、一次ハイパーバイザまたはＶＭが、故障する場合、二次リリースコーディネータは、二次のパートナ発信パケット待ち行列内に残りのパケットをリリースする。
ａ）上記からの代替ａが、使用される場合、一次ハイパーバイザのローカル発信パケット待ち行列および二次ハイパーバイザのパートナ発信パケット待ち行列の両方、
または、
ｂ）上記の代替ｂが、使用される場合、一次ハイパーバイザのローカル発信パケット待ち行列のみ。
上記からの代替ｂが、使用される場合、一次のリリースコーディネータは、リリースされた各パケットを一次のリリースノーティファイアに通知する。パケットが実際にリリースされたことを確実にするための遅延後、リリースノーティファイアは、通知を二次のパートナ発信パケット待ち行列上に渡す。上記からの代替ｂが、使用され、一次ハイパーバイザまたはＶＭが、故障する場合、二次リリースコーディネータは、二次のパートナ発信パケット待ち行列内に残りのパケットをリリースする。
【0089】
リリースノーティファイアは、上記のオプションｂのみにおいて使用され、一次によってリリースされたいずれのパケットも二次に通知するように動作可能である。リリースノーティファイアの主要な機能は、パケットが実際に一次によってリリースされたことを確実にするために、二次への通知に十分な遅延を追加することである。これは、パケットが、これがリリースされていないときにリリースされたと以前の二次が見なすことに起因する、フェイルオーバ後のいずれのドロップされるパケットも回避するためである。
ＯＳベースのチェックポインティング
ＯＳベースのチェックポインティング
【0090】
図９は、リアルタイム耐障害性を実装するためのＯＳベースのブロック図である。ＯＳベースのチェックポインティングが、説明され、これは、図９に関して描写および議論されるような種々のコンポーネントを使用して、リアルタイム動作をサポートする。一次ＯＳを起動する一次ノード／一次サーバが、ハードウェア相互接続によって、二次ＯＳを起動する二次ノード／二次サーバに接続される。示されるように、ＯＳベースのリアルタイムＦＴチェックポインティングサポートは、オペレーティングシステム内またはその下方での修正および追加によって実装される。例えば、Ｌｉｎｕｘ（登録商標） ＯＳベースのチェックポインティングソリューションは、大部分がＬｉｎｕｘ（登録商標）記憶装置ドライバ、Ｌｉｎｕｘ（登録商標）ネットワークドライバ、およびＬｉｎｕｘ（登録商標）チェックポイントドライバ内で実装されるであろう。図９のシステム７５は、サポートがハイパーバイザ追加または修正を介して実装される、図８の前述で議論される仮想化ベースのリアルタイムＦＴチェックポインティングに匹敵する。リアルタイムチェックポインティングをサポートする種々のコンポーネントは、影付きである。加えて、非アクティブである種々のコンポーネントまたは経路は、点線で示される。
【0091】
概念的に、図９のコンポーネントのうちの多くは、図８の同様の名称のコンポーネントと同一の機能を実施する。仮想化アプローチ対オペレーティングシステムベースのアプローチから生じる差異が、存在する。ＯＳベースのチェックポインティングは、システムを（ＶＭレベルに対して）マシンレベルにおいて同期させるため、ＯＳベースのＲＴ／ＦＴに関して実際のハードウェアに対するより厳しい制約が、存在する。一次ノード／サーバおよび二次ノード／サーバは、以下の要件のうちの１つ以上のものを満たす商用またはカスタムサーバである。
・サーバは、同じハードウェア構成を用いて構成される。
・サーバは、チェックポインティングネットワークドライバ、チェックポインティング記憶装置ドライバ、および標的ＯＳに関するチェックポイントシムによってサポートされるハードウェアを含有する。
また、複数のＶＭが、チェックポインティングされ得、両方の物理サーバが、したがって、一次ＶＭおよび二次ＶＭを同時にホストし得る、仮想化ベースのチェックポインティングと異なり、ＯＳベースのチェックポインティングは、一次サーバと、二次サーバとを有する。
・サーバは、同じハードウェア構成を用いて構成される。
・サーバは、チェックポインティングネットワークドライバ、チェックポインティング記憶装置ドライバ、および標的ＯＳに関するチェックポイントシムによってサポートされるハードウェアを含有する。
また、複数のＶＭが、チェックポインティングされ得、両方の物理サーバが、したがって、一次ＶＭおよび二次ＶＭを同時にホストし得る、仮想化ベースのチェックポインティングと異なり、ＯＳベースのチェックポインティングは、一次サーバと、二次サーバとを有する。
【0092】
サーバＯＳは、チェックポインティング技術によって保護され、それを含有する。本サーバＯＳは、標準的ＯＳ（Ｗｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、および／またはＶＭｗａｒｅ）であり得るが、種々のＯＳ特有ドライバの追加および修正が、チェックポインティング機能性をサポートするために必要とされる。
【0093】
一実施形態では、ハードウェア相互接続は、それを通してチェックポインティング状態が２つの物理サーバの間で伝達される、ハードウェアバスまたはブリッジ等の物理媒体である。ハードウェア相互接続は、ネットワーク接続、非透過ＰＣＩブリッジ、または任意の他の高性能コンピュータ相互接続であり得る。種々の実施形態では、ハードウェア相互接続は、ＴＳＢとは別個であり、それに接続しない。ハードウェア相互接続に関するソフトウェアサポートは、チェックポイントエンジンドライバ内にある。ハードウェアインターフェースに関するネイティブＯＳサポートは、チェックポインティング動作が、チェックポインティングするＯＳから独立する必要がある（例えば、チェックポイントアクティビティが、ホストＯＳが、概して、チェックポイントのために一時停止される場合であっても、継続する必要がある）ため、使用されることができない。これは、例えば、ＴＣＰ／ＩＰが、チェックポイントドライバを伝達するためにＮＩＣを経由して使用される場合、ホストＯＳのＴＣＰ／ＩＰスタックとは明確に異なるＴＣＰ／ＩＰスタックが、チェックポイントドライバにおいて実装されることを意味する。
【0094】
図９を参照すると、チェックポイントエンジンは、ＴＳＢタイミングによって決定されるような周期的チェックポイントを開始する。チェックポイントプロセスの目的は、一次ノードが、故障することになる場合、二次ノードが、アプリケーション動作不能状態を伴わずに引き継ぎ得るように、一次ノードの状態に合致するように二次ノードの状態を更新することである。
【0095】
チェックポイントプロセスのステップは、以下である。
・チェックポイントが差し迫っていることをネットワークおよび記憶装置ドライバに知らせるステップ。チェックポイントは、ここでは、記憶装置ドライバが、未処理の記憶装置アクセスが完了されていることを示すコールバックを実施するまで、一時停止される。
・一次および二次ノードの両方の上でのＯＳ実行を停止させるステップ。
・一次および二次ノードの両方の上での最後のチェックポイント以降に修正されたメモリのリストを取得するステップ。これらの２つのリストの結合を計算する。
・修正されたメモリリストの結合を使用して、ハードウェアインターフェースを介して、修正されたメモリを一次ノードから二次ノードに送信するステップ。
・一次ノード上で、プロセッサおよびデバイスの状態を捕捉するステップ。
・ハードウェアインターフェースを介して、プロセッサおよびデバイス状態を一次ノードから二次ノードに送信するステップ。
・一次および二次ノードの両方の上で、チェックポイントプロセスが完了し、ＯＭが再開しようとしていることをネットワークおよび記憶装置ドライバに知らせるステップ。
・一次および二次ノードの両方の上でＯＳ実行を再開するステップ。
・チェックポイントが差し迫っていることをネットワークおよび記憶装置ドライバに知らせるステップ。チェックポイントは、ここでは、記憶装置ドライバが、未処理の記憶装置アクセスが完了されていることを示すコールバックを実施するまで、一時停止される。
・一次および二次ノードの両方の上でのＯＳ実行を停止させるステップ。
・一次および二次ノードの両方の上での最後のチェックポイント以降に修正されたメモリのリストを取得するステップ。これらの２つのリストの結合を計算する。
・修正されたメモリリストの結合を使用して、ハードウェアインターフェースを介して、修正されたメモリを一次ノードから二次ノードに送信するステップ。
・一次ノード上で、プロセッサおよびデバイスの状態を捕捉するステップ。
・ハードウェアインターフェースを介して、プロセッサおよびデバイス状態を一次ノードから二次ノードに送信するステップ。
・一次および二次ノードの両方の上で、チェックポイントプロセスが完了し、ＯＭが再開しようとしていることをネットワークおよび記憶装置ドライバに知らせるステップ。
・一次および二次ノードの両方の上でＯＳ実行を再開するステップ。
【0096】
ＯＳベースのＲＴ／ＦＴの種々の実装では、本システムおよびタイムスロットは、リアルタイムチェックポインティングをサポートするために適切にサイズ決めされるべきである。チェックポイントプロセスの間、一次または二次チェックポイントドライバのいずれかが、チェックポイント持続時間が低優先度の通信に関してＴＳＢ上の分配された時間を超える（したがって、可能性として、リアルタイム期限義務に干渉する）であろうことを検出する場合、チェックポイントは、中止され、本システムは、リアルタイム期限が満たされることを確実にするために、シンプレックス状態に戻されるであろう。これが、生じる場合、本システムは、ＦＴ動作を復元するために、それ自体と再びパートナになるであろう。
【0097】
同様に、一次または二次チェックポイントドライバのいずれかが、ＴＳＢタイミングによって規定されるタイムスロット以外におけるチェックポイントを実施する必要性を検出する場合、本システムは、リアルタイム期限が満たされることを確実にするために、シンプレックス状態に戻るであろう。これが、生じる場合、本システムは、ＦＴ動作を復元するために、それ自体と再びパートナになるであろう。スケジューリングされていないチェックポイントを引き起こし得るアイテムの実施例は、メモリ追跡と関連付けられるバッファが小さすぎ、チェックポイントの間に生じる全てのメモリ変更を記録することができないこと、および記憶装置キャッシュが小さすぎ、チェックポイントの間の全ての記憶装置変更をキャッシュすることができないことである。
【0098】
チェックポイントシムは、ＯＳに透過的であり、メモリトラッカおよび多方面デバイス状態複製のためのコンテナである。本チェックポイントシムコンポーネントは、サーバＯＳによって修正されたメモリを追跡し、したがって、チェックポインティングエンジンは、チェックポイントにおいてコピーされる必要があるメモリを把握する。一実施形態では、チェックポイントシムは、メモリを追跡するために、ＩｎｔｅｌのＰＭＬ（ページ修正ロギング）ハードウェア特徴を利用する。種々の実施形態では、マザーボードまたはプロセッサまたは他のチップセット特有命令および特徴等の他のハードウェア特有特徴が、メモリを追跡するために使用されてもよい。ＶＴ－ｘハードウェア仮想化拡張が、あるシナリオ下でＰＭＬを使用するときに有効化される。ＶＴ－ｘが、有効化される場合、ハードウェアは、仮想マシンモニタ（ＶＭＭ）コードが動作するための物理メモリの連続した面積を確保する。典型的な仮想マシン環境では、ＶＭＭコードは、仮想化ゲストオペレーティングシステムが、割り込み、メモリ障害、ＩＯアクセス、ある特権命令、および修正されたメモリ場所を含むＰＭＬが発生させたリストが点検される必要があるというインジケーション等の特別な取扱を必要とする命令を実行するときに呼び出される。
【0099】
メモリトラッカは、ＰＭＬ ＦＵＬＬ ｖｍｅｘｉｔイベントを取り扱い、確保されたメモリ領域内にダーティページバッファを維持する、主要な機能を有するマイクロＶＭＭシム（最小限のハイパーバイザ）をインストールする。ＶＭＭはまた、ＯＳからのいくつかの他のｖｍｅｘｉｔイベント、主に、ＰＭＬを使用する間にハードウェアにおいて無効化されることができないそれらのｖｍｅｘｉｔを処理する。これらのｖｍｅｘｉｔイベントは、サーバが、ＶＭＭが存在する間にその通常の構成において動作し続けるであろうように、マイクロＶＭＭ内でエミュレートされる。
【0100】
システムワークロードが、ハードウェアＰＭＬログを埋め尽くすほどのダーティページを発生させると、ＰＭＬ ＦＵＬＬ ｖｍｅｘｉｔが、生じ、ページの新しいセットが、追跡され、ワークロード処理が、継続するであろう。これは、メモリトラッカが、以前のチェックポイント以降に各サーバ上で修正された物理メモリページのリストを発生させることを可能にする。メモリ追跡実施形態は、ページレベルにおいてメモリ修正を追跡し、他の実施形態は、異なる粒度においてメモリを追跡してもよい。
【0101】
多方面デバイス状態複製は、チェックポイントシムコンポーネントである。具体的には、本チェックポイントシムコンポーネントは、一方のノード／サーバからのＯＳ常駐コンポーネントによって捕捉されなかったデバイス状態を捕捉し、チェックポイントの一部としてこれを他方のノード／サーバに適用する。
【0102】
一次サーバ上のチェックポイントエンジンは、タイムスタンプカウンタ、プロセッサレジスタ、スタック、および他のデータ等のいくつかのデバイスおよびプロセッサ状態を読み取り、または抽出し、確保されたメモリ領域内にその多方面デバイス状態データを記録する要求をＶＭＭに発行する。本データは、二次サーバに伝達される。
【0103】
二次側上のチェックポイントエンジンは、ダーティページデータおよび多方面デバイス状態データを含む、完全なチェックポイントデータが受信されるまで待機するようにＶＭＭに要求し、次いで、ＶＭＭは、そのデータを適用し、新しいチェックポイントの文脈においてＯＳを再開する。
記憶装置ドライバおよびサブコンポーネント
記憶装置ドライバおよびサブコンポーネント
【0104】
記憶装置ドライバは、チェックポインティングをサポートするように設計される、ＯＳ記憶装置ハードウェアドライバである。チェックポインティングのサポートにおける具体的コンポーネントは、直下に説明される、キャッシングコンポーネントおよび複製コンポーネントである。
【0105】
ＯＳ記憶装置ドライバのキャッシングコンポーネントは、一次および二次ノードの両方の上で、各チェックポイントの間に生じる記憶装置書込をキャッシュする。チェックポイント起動間隔内で、ＯＳの記憶装置のビューは、各ノードが、独立して動作し、潜在的に、異なる書込要求を発行するため、ノードの間で相違することを可能にされる。各チェックポイントに続いて、二次記憶装置は、一次と同じにされる。媒体に書込を引き渡す代わりにそれらをキャッシュすることは、種々の利点を提供する。例えば、二次キャッシュは、単純に、チェックポイントに続いて破棄されることができる。また、一次ノードの故障および最終的な二次からの回復の場合では、チェックポイントを行う前に一次書込を媒体に引き渡すことは、問題となり、その場合では、一次キャッシュは、同様に破棄されるであろう。
【0106】
ＯＳ記憶装置ドライバの複製コンポーネントは、一次および二次ノードの間で記憶装置を複製することをサポートする。各起動間隔の開始時、記憶装置は、同じである。これは、動作が開始される前に初期完全同期動作を要求する。次いで、ドライバのキャッシングコンポーネントと協働して、記憶装置修正が、各チェックポイントが行われる際に一次ノードから二次ノードに複製され、二次記憶媒体に引き渡される。
ネットワークドライバおよびサブコンポーネント
ネットワークドライバおよびサブコンポーネント
【0107】
ネットワークドライバは、リアルタイムＦＴチェックポインティングをサポートするように設計される、ＯＳネットワークハードウェアドライバである。ネットワークドライバのコンポーネントは、リプリケータと、ローカル発信パケット待ち行列と、リリースコーディネータと、パートナ発信パケット待ち行列と、リリースノーティファイアとを含む。これらはそれぞれ、１つ以上のソフトウェアプログラム、方法、またはルーチンとして実装されてもよい。
【0108】
一次ノード上で、リプリケータコンポーネントは、ＯＳネットワークスタックから発信ネットワークパケットをとり、パケットを一次のローカル発信パケット待ち行列および二次のパートナ発信パケット待ち行列に送信する。二次ノード上で、リプリケータコンポーネントは、非アクティブであり、単純に、二次ＯＳネットワークスタックから二次のローカル発信パケット待ち行列へのパケットのための通路としての役割を果たす。パケットとともに、リプリケータは、各パケットが割り当てられるＴＳＢタイムスロットを識別する情報を渡す。
【0109】
ローカル発信パケット待ち行列コンポーネントは、リリースコーディネータによる可能性として考えられる後のリリースのために、ローカルＯＳネットワークスタックからのパケットを待ち行列に入れる。パケットとともに、各パケットが割り当てられるＴＳＢタイムスロットを識別する情報が、待ち行列に入れられる。パートナ発信パケット待ち行列コンポーネントは、リリースコーディネータによる可能性として考えられる後のリリースのために、パートナＯＳネットワークスタックからのパケットを待ち行列に入れる。これは、二次ノード上でのみアクティブである。
【0110】
発信パケットをリリースするための２つの代替が、上記に議論される。これらはまた、ＯＳベースのＲＴ／ＦＴシステムに適用される。これらは、以下を含む。
ａ）本システムが、多数の重複パケットを許容することができる場合、一次および二次ＲＴ／ＦＴは両方とも、待ち行列に入れられた発信パケットを無条件にリリースすることができる。
ｂ）本システムが、多数の重複パケットを許容することができない場合、一次のみが、非故障ケースにおいて待ち行列に入れられた発信パケットをリリースする。
ａ）本システムが、多数の重複パケットを許容することができる場合、一次および二次ＲＴ／ＦＴは両方とも、待ち行列に入れられた発信パケットを無条件にリリースすることができる。
ｂ）本システムが、多数の重複パケットを許容することができない場合、一次のみが、非故障ケースにおいて待ち行列に入れられた発信パケットをリリースする。
【0111】
代替ｂが、使用される場合、パートナ発信パケット待ち行列（二次の上でのみアクティブ）は、パケットが、一次からリリースされるとき、一次リリースノーティファイアから通知を受信している。対応するパケットは、次いで、パートナ発信パケット待ち行列から除去される。
【0112】
リリースコーディネータは、パケットを適切な待ち行列から適切な時間にＯＳにリリースし、したがって、外部ネットワークにリリースする。全ての場合では、パケットは、その割り当てられたＴＳＢタイムスロットの間でのみリリースされる。
【0113】
非故障ケースでは、以前のエポックからのパケットは、上記からの代替ａが、使用される場合、一次ノードのローカル発信パケット待ち行列および二次ノードのパートナ発信パケット待ち行列の両方からリリースされるか、または上記の代替ｂが、使用される場合、一次ハイパーバイザのローカル発信パケット待ち行列のみからリリースされるかのいずれかである。
【0114】
上記からの代替ｂが、使用される場合、一次のリリースコーディネータは、リリースされた各パケットを一次のリリースノーティファイアに通知する。パケットが実際にリリースされたことを確実にするための遅延後、リリースノーティファイアは、通知を二次のパートナ発信パケット待ち行列上に渡す。
【0115】
上記からの代替ｂが、使用され、一次ハイパーバイザまたはＶＭが、故障する場合、二次リリースコーディネータは、二次のパートナ発信パケット待ち行列内に残りのパケットをリリースする。
【0116】
リリースノーティファイアは、上記のオプションｂのみにおいて使用され、一次によってリリースされたいずれのパケットも二次に通知する。リリースノーティファイアの主要な機能は、パケットが実際に一次によってリリースされたことを確実にするために、二次への通知に十分な遅延を追加することである。これは、パケットが、これがリリースされていないときにリリースされたと以前の二次が見なすことに起因する、フェイルオーバ後のいずれのドロップされるパケットも回避するためである。
変形例および代替実施形態
変形例および代替実施形態
【0117】
標準的アクティブ－アクティブチェックポインティング（例えば、ＣＯＬＯ）は、前述の節に説明されるリアルタイムチェックポインティングに対して以下の２つの性能利点を有する。
・ネットワークパケットは、ゲーティングされず、それによって、ネットワーク待ち時間を有意に低減させ、それによって、性能を改良する。
・チェックポイントは、概して、両方のノードによって生成される発信パケットにおける十分な相違が存在する場合のみ呼び出され、殆どのワークロードに関してチェックポイントの数を低減させる。
・ネットワークパケットは、ゲーティングされず、それによって、ネットワーク待ち時間を有意に低減させ、それによって、性能を改良する。
・チェックポイントは、概して、両方のノードによって生成される発信パケットにおける十分な相違が存在する場合のみ呼び出され、殆どのワークロードに関してチェックポイントの数を低減させる。
【0118】
２つのノード（ＯＳベースのチェックポインティング）または２つのＶＭ（仮想化ベースのチェックポインティング）は、どの時点でも十分に相違するパケットを生成し、したがって、どの時点でもチェックポイントを要求し、それによって、リアルタイム期限に遅らせ得るため、アクティブ－アクティブチェックポインティングを使用してリアルタイム耐障害性ソリューションを実装することは、可能ではない。前述にかかわらず、いくつかのトレードオフを犠牲にして上記のような２つの性能利点を緩和し、３つの付加的リアルタイムＦＴチェックポインティング代替を作成することが、可能である。これらの３つの代替または変形は、以下の実施形態を含む。
１）変形１－チェックポイントを低減させる
・必要とされない場合、チェックポイントを省略する
２）変形２－ネットワークゲーティングを低減させる
・不一致が存在しない限り、パケットをゲーティングしない
３）変形３（変形１および２が組み合わせられる）
・不一致が存在しない限り、パケットをゲーティングしない
・必要とされない場合、チェックポイントを省略する
１）変形１－チェックポイントを低減させる
・必要とされない場合、チェックポイントを省略する
２）変形２－ネットワークゲーティングを低減させる
・不一致が存在しない限り、パケットをゲーティングしない
３）変形３（変形１および２が組み合わせられる）
・不一致が存在しない限り、パケットをゲーティングしない
・必要とされない場合、チェックポイントを省略する
【0119】
上記に列挙される３つの変形は、一次および二次ノードの間の発信パケットを比較するための論理の追加を要求する。具体的には、図１０に示される仮想化ベースのリアルタイムチェックポインティングに関して、二次ノードからの発信パケットを一次ノードからのものと比較するための論理が、ネットワークサポートコンポーネントに追加される。具体的には、パケット比較論理が、追加される。本パケット比較論理は、一方のノード上でのみアクティブである必要があるが、両方のノードが、比較の結果を把握する必要がある。同様に、図１１は、追加されるパケット比較論理の追加を伴うＯＳベースのリアルタイムチェックポインティングネットワークドライバの略図を示す。一般に、パートナの言及は、該当する場合、他のコンピューティングデバイスまたは仮想マシン／ハイパーバイザを指す。
変形１－チェックポイントを低減させる
変形１－チェックポイントを低減させる
【0120】
一次および二次の両方によって生成される発信パケットが、事実上、あるサイクルの間に同等である場合、チェックポイントを実施するいかなる必要性も、存在しない。これは、そうでなければチェックポイントに対して費やされるであろう算出サイクルおよびランタイムが、アプリケーションのために利用可能である利点を有する。これは、以下のうちの１つ以上のものを含む不利点を確かに有する。
１）論理が、一次および二次からの発信パケットを比較するために設計に追加される。
２）チェックポイントが、必要とされるとき、これは、平均して、チェックポイントがサイクル毎に行われた場合よりも長いであろう。最小の設計される可能性として考えられるサイクル時間は、したがって、これらのより長いチェックポイントを可能にするために増加される。
３）直下に概説される理由に起因して、パケットは、不一致が、サイクルにおいてチェックポイントを呼び出すことができないほど遅くに生じる場合、最大２サイクル強にわたってゲーティングされる。後で説明されるように、これは、基本実装の規則的な巡回挙動を乱し、また、最小サイクル時間をさらに増加させ得る。
１）論理が、一次および二次からの発信パケットを比較するために設計に追加される。
２）チェックポイントが、必要とされるとき、これは、平均して、チェックポイントがサイクル毎に行われた場合よりも長いであろう。最小の設計される可能性として考えられるサイクル時間は、したがって、これらのより長いチェックポイントを可能にするために増加される。
３）直下に概説される理由に起因して、パケットは、不一致が、サイクルにおいてチェックポイントを呼び出すことができないほど遅くに生じる場合、最大２サイクル強にわたってゲーティングされる。後で説明されるように、これは、基本実装の規則的な巡回挙動を乱し、また、最小サイクル時間をさらに増加させ得る。
【0121】
図１２Ａは、不一致がサイクルにおいてチェックポイントを呼び出すことができないほど遅くに生じる場合のパケットゲーティングの必要性を図示する。図１２Ｂのサイクル３に示されるように、一次と二次との間のパケットが、不一致となる場合、チェックポイントを呼び出すには遅すぎるとき、２つのノードは、一貫しない状態において次のサイクルに入る。結果として、二次が、続くサイクルにおいて（一次の故障に起因して）一次を引き継ぐ必要性がある場合、一貫しない状態が、外界にリリースされる。
【0122】
本問題に対する１つのソリューションは、いったん不一致が生じると、パケットのゲーティングを開始し、続くサイクルでチェックポイントを行い、チェックポイント後までパケットをゲーティングし続けることである。これは、いずれの検出可能な一貫しない状態も外界に伝送されることを防止し、それによって、二次が一次を引き継ぐために十分に一貫した状態にあることを確実にする。一次が、故障する場合、リリースされるものは、二次のパケットである。これは、少なくとも２回の待ち時間のサイクルをパケットに追加し、１つのサイクルは、このように言及された遅延のためのものであり、別のサイクルは、本変形が、基本ソリューションのように、常時、遅延のサイクルを追加するためである。これは、いかなるパケットも伝送されないサイクルと、２サイクル分のパケットが伝送される後続サイクルとを引き起こすであろう。これは、巡回挙動を乱し、あるサイクルにおいて２倍の数のパケットを伝送するステップが、重要なタイミングパス上にある場合、最小の可能性として考えられるサイクル時間に影響を及ぼし得る。
【0123】
変形１は、付加的算出サイクルを提供するが、付加的算出サイクルは、自由裁量の算出サイクルである。本システムは、これが、全サイクルにおけるチェックポイントを仮定して、最小の要求される作業を遂行し得るようにサイズ決めされる。但し、実践では、比較的に短いサイクル時間を仮定して、サイクルの大部分は、チェックポイントを要求しないはずである。
変形２－ネットワークゲーティングを低減させる
変形２－ネットワークゲーティングを低減させる
【0124】
一実施形態では、リアルタイムチェックポインティングソリューションは、起動間隔の度に全ての発信パケットをゲーティングする。これは、いったん不一致が生じるときのみ、パケットのゲーティングを開始するように緩和されることができる。これは、平均ネットワーク待ち時間を低減させる利点を有する。種々の実施形態では、本変形の実装の一部として、ハードウェアまたはソフトウェアモジュール等の論理が、一次および二次からの発信パケットを比較するために、適用可能なシステムおよび方法に追加される。ネットワークトラフィックは、図１２Ｂに図示されるように、もはや厳密には巡回的ではない。具体的には、図１２Ｂを参照すると、いかなるパケットも、サイクル２においてタイムスロット３の間に配信されないであろう一方、サイクル３のタイムスロット３では、サイクル２および３の両方からのパケットが、リリースされるであろう。ネットワーク帯域幅が、最小サイクル時間を決定する際のクリティカルパスであった場合、サイクル時間は、２サイクル分のパケットが、単一のタイムスロットにおいてリリースされる必要性があり得るため、増加される。
【0125】
また、低減されるものは、平均ネットワーク待ち時間のみであり、最悪の場合、待ち時間は、同一のままである、または悪化することに留意されたい。これは、一番最初のパケットが、不一致となり得、サイクル時間が、可能性として、ネットワーク帯域幅が最小サイクル時間を決定する際のクリティカルパスであることに起因して、より長くなるため生じる。
変形３－ネットワークゲーティングおよびチェックポイントを低減させる
変形３－ネットワークゲーティングおよびチェックポイントを低減させる
【0126】
変形１および２は、より短い平均ネットワーク待ち時間およびより自由裁量の算出サイクルを伴うソリューションを生成するために組み合わせられてもよいが、これは、上記に概説される変形１および２の不利点を受ける。
旧来のチェックポインティングに対するリアルタイム耐障害性システムの改良
旧来のチェックポインティングに対するリアルタイム耐障害性システムの改良
【0127】
上記に議論されるリアルタイム耐障害性システムおよび方法は、種々の旧来のチェックポインティングアプローチの特徴を改良および回避する。アクティブ－パッシブチェックポインティングソリューションは、標的ワークロードを起動するアクティブＶＭまたはＯＳと、事実上アイドル状態であり、先行するアクティブＶＭまたはＯＳが、故障する場合、標的ワークロードの起動を続行するために、アクティブＶＭまたはＯＳの状態の周期的スナップショットを受信している、パッシブ（スタンバイ）ＶＭまたはＯＭとを有する。
【0128】
アクティブ－パッシブチェックポインティングソリューションは、高頻度においてＶＭまたはＯＳ状態を同期させ、チェックポイントが完了する（状態捕捉および伝達）まで、各エポックの間に出力ネットワークパケットをバッファリング（ゲーティング）し、外部クライアントがフェイルオーバを横断して機能的に一貫したネットワークパケットを供給されることを確実にする。さらに、アクティブ－アクティブチェックポインティングは、出力類似性に基づいて、チェックポイントの頻度を緩和し、各エポックの間に出力ネットワークパケットをゲーティングする必要性を除去することによって、殆どのワークロードに関してアクティブ－パッシブチェックポインティングに対して性能を改良する。
【0129】
アクティブ－アクティブチェックポインティングシステムでは、ＶＭおよび／またはＯＳインスタンスの両方が、起動しており、発信ネットワークパケットが、インスタンスの間で比較され、それらが十分に類似する場合、直ちにリリースされる。冗長ＶＭまたはＯＳは、それらが、クライアント要求に対して事実上同じ応答を発生させる限り、相違し得る。対応する発信ネットワークパケットが、もはや事実上同じではない場合、チェックポイントが、ＶＭまたはＯＳを再同期させるために呼び出される。
【0130】
アクティブ－パッシブチェックポインティングは、複数の理由からリアルタイム動作のために好適ではない。同様に、アクティブ－アクティブチェックポインティングは、複数の理由からリアルタイム動作のために好適ではない。これらの理由のうちのいくつかが、下記に議論され、そのようなＲＴ／ＦＴ実施形態が、以下の動作モードのうちの１つ以上のものまたは全てを回避するため、旧来のアクティブ－パッシブおよびアクティブ－アクティブチェックポインティングが、本開示の種々のＲＴ／ＦＴ実施形態と異なる理由に関する根拠を提供する。
【0131】
アクティブ－パッシブシステムでは、チェックポイントタイミングは、ＴＳＢタイミングから独立し、リアルタイム期限に遅らせ得る。故障が、生じる場合、本システムは、最後のチェックポイントまで戻り、すなわち、処理時間のエポックまでが、失われ、可能性として、リアルタイム期限に遅らせる。加えて、アクティブ－パッシブチェックポインティングは、故障に応じて発信パケットをドロップし得る。これは、リアルタイム義務を破り、したがって、殆どのリアルタイム用途に関して許容可能ではない。非リアルタイムソリューションは、ドロップされたパケットを補償するために、より高いレベルのネットワークプロトコル（例えば、ＴＣＰ）に依拠する。アクティブ－アクティブチェックポインティングに関して、チェックポイントは、ＴＳＢタイミングから独立して、パケット不一致が生じるときは常に生じ、したがって、リアルタイム期限に遅らせ得る。所与のＲＴ／ＦＴ実施形態は、本明細書に議論されるアクティブ－パッシブおよびアクティブ－アクティブチェックポインティング問題および設計要件を回避する様式で動作する。
【0132】
耐障害性コンピュータシステムは、頻繁に、概して、一次および二次ノードと称される、２つのプロセッササブシステムを含む。これらのノードは、並行して同一のプログラムを実質的に同期的に実行するように動作する（アクティブ－アクティブ）か、１つのシステム、すなわち、一次ノードが有用な算出をアクティブに行い、二次ノードが一次システムの故障を待機してスタンバイ（アクティブスタンバイ）して動作するかのいずれかである。一次システムが、故障する場合、二次は、新しい一次として引き継ぎ、故障している一次の作業を継続し、これが置換されることを可能にする。
一般的および具体的なコンピュータベースの実装および実施形態
一般的および具体的なコンピュータベースの実装および実施形態
【0133】
以下の議論から明白であるように別様に具体的に記載されない限り、説明全体を通して、「～を処理する」または「～を算出する」または「～をチェックポインティングする」または「～を計算する」または「～を遅延させる」または「～を比較する」、「～を発生させる」または「～を決定する」または「～を転送する」または「～を延期する」、「～を引き渡す」または「～を中断する」または「～を取り扱う」または「～を受信する」または「～をバッファリングする」または「～を配分する」または「～を表示する」または「～にフラグを付ける」またはブール論理または他の設定関連動作または同等物等の用語を利用する議論は、コンピュータシステムまたは電子デバイスのレジスタおよびメモリ内の物理（電子）量として表されるデータを操作し、電子メモリまたはレジスタまたは他のそのような情報記憶、伝送、または表示デバイス内の物理量として同様に表される他のデータに変換する、コンピュータシステムまたは電子デバイスのアクションおよびプロセスを指すことを理解されたい。
【0134】
本明細書に提示されるアルゴリズムは、本質的に、任意の特定のコンピュータまたは他の装置に関連しない。種々の汎用システムが、本明細書の教示に従ってプログラムと併用されてもよい、またはこれは、要求される方法ステップを実施するためのより特殊化された装置を構築するために便宜的であることを証明してもよい。種々のこれらのシステムのために要求される構造は、上記の説明から明白である。加えて、本開示は、任意の特定のプログラミング言語を参照して説明されず、種々の実施形態は、したがって、種々のプログラミング言語を使用して実装されてもよい。
【0135】
いくつかの実装が、説明された。それにもかかわらず、種々の修正が、本開示の精神および範囲から逸脱することなく行われ得ることを理解されたい。例えば、上記に示されるフローの種々の形態が、使用され、ステップが、再順序付けられる、追加される、または除去されてもよい。故に、他の実装も、以下の請求項の範囲内である。
【0136】
本明細書に提示される実施例は、本開示の潜在的および具体的実装を例証することを意図している。実施例は、主として、当業者のための本開示の例証の目的のために意図される。実施例の特定の側面または複数の側面は、必ずしも本開示の範囲を限定することを意図しているわけではない。
【0137】
本開示の図および説明は、明確化の目的のために、他の要素を排除しながら、本開示の明確な理解のために関連する要素を例証するために簡略化されている。しかしながら、当業者は、焦点を当てられる議論のこれらの分類が、本開示のより深い理解を促進せず、したがって、そのような要素のより詳細な説明が、本明細書に提供されないことを認識し得る。
【0138】
本実施形態と関連付けられるプロセスは、コンピュータ等のプログラマブル機器によって実行されてもよい。プログラマブル機器にプロセスを実行させるために採用され得るソフトウェアまたは他の命令のセットは、例えば、コンピュータシステム（不揮発性）メモリ、光学ディスク、磁気テープ、または磁気ディスク等の任意の記憶デバイス内に記憶されてもよい。さらに、プロセスのうちのいくつかは、コンピュータシステムが製造されるときに、またはコンピュータ可読メモリ媒体を介してプログラムされてもよい。
【0139】
また、本明細書に説明されるあるプロセス側面が、コンピュータ可読メモリ媒体またはプロセスステップを実施するようにコンピュータまたはコンピュータシステムに指示する媒体上に記憶される命令を使用して実施され得ることを理解されたい。コンピュータ可読媒体は、例えば、ディスケット、読取専用および読取／書込の両方の種類のコンパクトディスク、光学ディスクドライブ、およびハードディスクドライブ等のメモリデバイスを含んでもよい。コンピュータ可読媒体はまた、物理的、仮想的、恒久的、一時的、半恒久的、および／または半一時的であり得るメモリ記憶装置を含んでもよい。
【0140】
本明細書に開示されるコンピュータシステムおよびコンピュータベースのデバイスは、情報を取得、処理、および通信する際に使用される、あるソフトウェアアプリケーションを記憶するためのメモリを含んでもよい。そのようなメモリが、開示される実施形態の動作に関して内部または外部にあり得ることを理解されたい。メモリはまた、ハードディスク、光学ディスク、フロッピー（登録商標）ディスク、ＲＯＭ（読取専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＰＲＯＭ（プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（電気的消去可能ＰＲＯＭ）、および／または他のコンピュータ可読メモリ媒体を含む、ソフトウェアを記憶するための任意の手段を含んでもよい。種々の実施形態では、「ホスト」、「エンジン」、「ローダ」、「フィルタ」、「プラットフォーム」、または「コンポーネント」は、種々のコンピュータまたはコンピュータシステムを含んでもよい、またはソフトウェア、ファームウェア、および／またはハードウェアの合理的な組み合わせを含んでもよい。
【0141】
本開示の種々の実施形態では、所与の機能または複数の機能を実施するために、単一のコンポーネントが、複数のコンポーネントによって置換されてもよく、複数のコンポーネントが、単一のコンポーネントによって置換されてもよい。そのような代用が、本開示の実施形態を実践するために動作的ではないであろう場合を除いて、そのような代用は、本開示の範囲内である。例えば、サーバのうちのいずれかは、協調的機能のために配置および構成される、「サーバファーム」またはネットワーク化サーバの他のグループ化（例えば、サーバブレードのグループ）によって置換されてもよい。サーバファームが、ファームの個々のコンポーネントの間／中でワークロードを分散させる役割を果たし得、複数のサーバの集合的かつ協調的な能力を利用することによってコンピューティングプロセスを迅速化し得ることを理解されたい。そのようなサーバファームは、例えば、異なる機械からの処理能力に関する要求を追跡するステップ、ネットワーク要求に基づいてタスクに優先順位を付け、それをスケジューリングするステップ、および／またはコンポーネント故障または動作性における低減の場合にバックアップ緊急対応を提供するステップ等のタスクを遂行する、負荷分散ソフトウェアを採用してもよい。
【0142】
一般に、本明細書に説明される種々の実施形態またはそのコンポーネントまたは部分が、ソフトウェア、ファームウェア、および／またはハードウェア、またはそのモジュールの多くの異なる実施形態において実装され得ることが、当業者に明白であり得る。本実施形態のうちのいくつかを実装するために使用されるソフトウェアコードまたは特殊化制御ハードウェアは、本開示を限定するものではない。コンピュータソフトウェアおよび他のコンピュータ実装命令のためのプログラミング言語は、実行前にコンパイラまたはアセンブラによって機械言語に翻訳されてもよい、および／またはインタープリタによってランタイム時に直接翻訳されてもよい。
【0143】
アセンブリ言語の実施例は、ＡＲＭ、ＭＩＰＳ、およびｘ８６を含み、高レベル言語の実施例は、Ａｄａ、ＢＡＳＩＣ、Ｃ、Ｃ＋＋、Ｃ＃、ＣＯＢＯＬ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、Ｌｉｓｐ、Ｐａｓｃａｌ、Ｏｂｊｅｃｔ Ｐａｓｃａｌを含み、スクリプト言語の実施例は、Ｂｏｕｒｎｅスクリプト、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ＰＨＰ、およびＰｅｒｌを含む。種々の実施形態が、例えば、Ｌｏｔｕｓ Ｎｏｔｅｓ環境内で採用されてもよい。そのようなソフトウェアは、例えば、磁気または光学記憶媒体等の任意のタイプの好適なコンピュータ可読媒体または複数の媒体上に記憶されてもよい。したがって、実施形態の動作および挙動は、実際のソフトウェアコードまたは特殊化ハードウェアコンポーネントを具体的に参照することなく説明される。そのような具体的参照の不在は、当業者が、合理的な労力のみを用いて、過度の実験を伴わずに、本明細書の説明に基づいて本開示の実施形態を実装するためのソフトウェアおよび制御ハードウェアを設計することが可能であろうことが明確に理解されるため、適している。
【0144】
本明細書に説明されるシステムおよび方法の種々の実施形態は、異なるコンポーネント間の通信を助長する、データを伝達する、またはリソースおよび情報を共有するために、１つ以上の電子コンピュータネットワークを採用してもよい。そのようなコンピュータネットワークは、ネットワーク内のデバイスを相互接続するために使用されるハードウェアおよびソフトウェア技術に従って分類されることができる。
【0145】
コンピュータネットワークは、アクティブネットワーキング、クライアント－サーバ、またはピアツーピア機能アーキテクチャ等のネットワークの要素またはコンポーネント間の機能的関係に基づいて特徴付けられ得る。コンピュータネットワークは、例えば、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、または階層トポロジネットワーク等のネットワークトポロジに従って分類され得る。コンピュータネットワークはまた、デジタルおよびアナログネットワーク等のデータ通信のために採用される方法に基づいて分類され得る。
【0146】
本明細書に説明される方法、システム、およびツールの実施形態は、共通ルーティング技術を通して２つ以上の明確に異なる電子コンピュータネットワークまたはネットワークセグメントを接続するためのインターネットワーキングを採用してもよい。採用されるインターネットワークのタイプは、インターネットワークにおける管理および／または参加に依存し得る。インターネットワークの非限定的実施例は、イントラネット、エクストラネット、およびインターネットを含む。イントラネットおよびエクストラネットは、インターネットへの接続を有する場合とそうではない場合がある。インターネットに接続される場合、イントラネットまたはエクストラネットは、適切な認証技術または他のセキュリティ手段を用いて保護され得る。本明細書に適用されるように、イントラネットは、管理エンティティによる共通制御下で、インターネットプロトコル、ウェブブラウザ、および／またはファイル伝達アプリケーションを採用するネットワークのグループであり得る。そのような管理エンティティは、イントラネットへのアクセスを、例えば、許可されたユーザのみ、または組織または商業団体の別の内部ネットワークに制限し得る。
【0147】
別様に示されない限り、本明細書および請求項に使用される長さ、幅、深さ、または他の寸法等を表す全ての数字は、全てのインスタンスにおいて、示されるような厳密な値および用語「約」によって修飾されるような値の両方を示すものとして理解されるものである。本明細書に使用されるように、用語「約」は、公称値からの±１０％の変動を指す。故に、それと反対に示されない限り、本明細書および添付される請求項に記載される数値パラメータは、取得されることが求められる所望の性質に応じて変動し得る近似値である。少なくとも、均等論の適用を請求項の範囲に限定するための試みとしてではなく、各数値パラメータは、少なくとも、報告された有効桁の数に照らして、かつ通常の丸め技法を適用することによって解釈されるべきである。任意の具体的値は、２０％変動し得る。
【0148】
種々の実施形態では、前述の１つ以上の技法、方法、システム、サブシステム、および組み合わせは、仮想化オペレーティングシステム、コンテナベースのオペレーティングシステム、仮想化環境、およびＶＭｗａｒｅ、ＱＥＭＵ、ＫＶＭ、およびその他等の種々のエミュレータを使用して実装されることができる。
【0149】
本開示は、精神またはその不可欠な特性から逸脱することなく、他の具体的形態において具現化されてもよい。前述の実施形態は、したがって、本明細書に説明される開示に対する限定ではなく、あらゆる点で例証的と見なされるものである。本発明の範囲は、したがって、前述の説明によってではなく、添付される請求項によって示され、請求項と同等の意味および範囲内に該当する全ての変更は、その中に包含されることを意図している。
【0150】
種々の修正および変更が、説明される技術の範囲から逸脱することなく行われ得ることが、当業者によって理解されるであろう。そのような修正および変更は、説明される実施形態の範囲内に該当することを意図している。また、一実施形態に含まれる特徴が、他の実施形態と置換可能であり、描写される実施形態からの１つ以上の特徴が、任意の組み合わせにおいて他の描写される実施形態に含まれ得ることが、当業者によって理解されるであろう。例えば、本明細書に説明される、および／または図に描写される種々のコンポーネントのうちのいずれかは、他の実施形態と組み合わせられる、置換される、またはそれから除外されてもよい。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【外国語明細書】