▶ テキサス インスツルメンツ インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-07
(54)【発明の名称】予測フレーム比較を用いる交互フレーム処理動作
(51)【国際特許分類】
G06T 1/20 20060101AFI20230228BHJP
【ＦＩ】
G06T1/20 B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022540658
(86)(22)【出願日】2020-12-22
(85)【翻訳文提出日】2022-08-30
(86)【国際出願番号】 US2020066539
(87)【国際公開番号】W WO2021138137
(87)【国際公開日】2021-07-08
(31)【優先権主張番号】16/866,647
(32)【優先日】2020-05-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/955,095
(32)【優先日】2019-12-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507107291
【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド
(74)【代理人】
【識別番号】230129078
【弁護士】
【氏名又は名称】佐藤 仁
(72)【発明者】
【氏名】アイシュワルヤ ドゥベイ
(72)【発明者】
【氏名】シャシャンク ダブラル
(72)【発明者】
【氏名】ヴェーランマニカンダン ラジュ
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057AA16
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CH02
5B057CH11
5B057CH20
5B057DA16
5B057DA20
5B057DB02
5B057DB09
(57)【要約】
画像ストリームからのフレームが、独立して動作するデジタル信号プロセッサ（ＤＳＰ）（４０４Ａ、４０４Ｂ）によって処理され、フレームチェッキングマイクロプロセッサ（４０２Ａ、４０２Ｂ）のみがロックステップモードで動作する。一例では二つのＤＳＰは交互フレームに対して動作する。各ＤＳＰはフレームを処理し、次のフレームについて予測値を生成する。ロックステップマイクロプロセッサ（４０２Ａ、４０２Ｂ）はそれ自体の次のフレーム予測を展開する。ロックステップマイクロプロセッサは発行されるフレームと前に展開された予測フレームとを一貫性について比較する。これらの予測が充分に近い場合、発行されたフレームはテストに合格する。次いでロックステップマイクロプロセッサは、同様の一貫性チェックのため、発行されたフレームを先行する二つのフレームと比較する。先行するフレームも充分に近い場合、発行されたフレームは許容可能である。
【特許請求の範囲】
【請求項1】
少なくとも一つの画像ストリームと共に用いるための画像処理システムであって、前記画像処理システムが、前記少なくとも一つの画像ストリームのフレームを受信するための第１のデジタル信号プロセッサ（ＤＳＰ）と、
前記少なくとも一つの画像ストリームのフレームを受信するための第２のＤＳＰであって、前記第１のＤＳＰ及び前記第２のＤＳＰが、前記少なくとも一つの画像ストリームの異なるフレームを受信するためのものである、前記第２のＤＳＰと、
前記第１及び第２のＤＳＰによって処理されるフレームを格納するために前記第１及び第２のＤＳＰに結合されるデータメモリと、
ロックステップで動作するように構成され、前記データメモリに結合される一対のプロセッサと、
前記第１及び第２のＤＳＰに結合されるＤＳＰプログラムメモリであって、前記それぞれのＤＳＰに前記それぞれの少なくとも一つの画像ストリームの受信フレームを処理させる命令を格納する、前記ＤＳＰプログラムメモリと、
前記一対のプロセッサに結合されるロックステッププログラムメモリと、
を含み、
前記ロックステッププログラムメモリが、前記一対のプロセッサに、
前記第１のＤＳＰ及び前記第２のＤＳＰによって処理される各フレームに対して、前記処理されたフレームを代替フレーム情報について評価して、前記処理されたフレームが所与のレベルよりも大きく前記代替フレーム情報と異なるかを判定させ、
前記差が前記所与のレベルより大きい場合、エラー表示を提供させる、
命令を格納する、
画像処理システム。
【請求項2】
請求項１に記載の画像処理システムであって、前記少なくとも一つの画像ストリームが単一画像ストリームであり、前記第１及び第２のＤＳＰが、前記単一画像ストリームの交互フレームを受信する、画像処理システム。
【請求項3】
請求項１に記載の画像処理システムであって、前記少なくとも一つの画像ストリームが二つの関連する画像ストリームであり、前記第１のＤＳＰが一方の関連する画像ストリームのフレームを受信し、前記第２のＤＳＰが他方の関連する画像ストリームのフレームを受信するためのものである、画像処理システム。
【請求項4】
請求項１に記載の画像処理システムであって、前記代替フレーム情報が、前記第１又は第２のＤＳＰと前記一対のプロセッサとの少なくとも一方によって展開されるフレーム予測を含む、画像処理システム。
【請求項5】
請求項４に記載の画像処理システムであって、前記フレーム予測が、前記第１又は第２のＤＳＰと前記一対のプロセッサとの両方によって展開される、画像処理システム。
【請求項6】
請求項４に記載の画像処理システムであって、前記代替フレーム情報が、前記少なくとも一つの画像ストリームの事前に処理されたフレームをさらに含む、画像処理システム。
【請求項7】
請求項１に記載の画像処理システムであって、前記代替フレーム情報が、前記少なくとも一つの画像ストリームの事前に処理されたフレームを含む、画像処理システム。
【請求項8】
請求項１に記載の画像処理システムであって、前記代替フレーム情報が、前記第１及び第２のＤＳＰのレジスタ値を含む、画像処理システム。
【請求項9】
請求項１に記載の画像処理システムであって、前記第１及び第２のＤＳＰの各々のためのスヌープ及びコピーブロックをさらに含み、
各スヌープ及びコピーブロックが、前記第１及び第２のＤＳＰのそれぞれと前記データメモリとに結合され、前記スヌープ及びコピーブロックが、前記処理されたフレームの評価中に前記一対のプロセッサによって用いられるための処理されたフレームをコピーするためのものである、
画像処理システム。
【請求項10】
請求項９に記載の画像処理システムであって、前記スヌープ及びコピーブロックが、前記ＤＳＰプログラムメモリに結合され、前記処理されたフレームの前記評価中に、前記それぞれの第１又は第２のＤＳＰに、前記一対のプロセッサによって使用されるための処理されたフレームをコピーさせるように、前記ＤＳＰプログラムメモリに格納される命令を含む、画像処理システム。
【請求項11】
請求項９に記載の画像処理システムであって、前記スヌープ及びコピーブロックが、前記処理されたフレームの前記評価中に、前記一対のプロセッサによって使用されるための前記処理されたフレームをコピーするためのハードウェアブロックである、画像処理システム。
【請求項12】
請求項９に記載の画像処理システムであって、前記スヌープ及びコピーブロックがさらに、前記処理されたフレームの評価中に、前記一対のプロセッサによって使用されるための前記それぞれの第１又は第２のＤＳＰにおけるレジスタ値を前記データメモリにコピーするためのものである、画像処理システム。
【請求項13】
請求項１に記載の画像処理システムであって、代替フレーム情報が、前記少なくとも一つの画像ストリームの事前に処理されたフレームを含み、前記画像処理システムがさらに、前記第１及び第２のＤＳＰの各々に対するハードウェアチェッカを含み、
各ハードウェアチェッカが、前記一対のプロセッサ及び前記データメモリに結合され、
各ハードウェアチェッカが、処理される各フレームについて、前記処理されたフレームと、前記少なくとも一つの画像ストリームの事前に処理されたフレームとを比較し、前記処理されたフレームが、所与のレベルよりも大きく前記代替フレーム情報と異なるかを判定するために、比較結果を前記一対のプロセッサに提供するように適合される、
画像処理システム。
【請求項14】
請求項１に記載の画像処理システムであって、前記ロックステッププログラムメモリが、前記一対のプロセッサに、前記第１のＤＳＰ及び前記第２のＤＳＰによって処理された各フレームに対して、前記処理されたフレームを代替フレーム情報と比較して、評価されるべき比較結果を展開させる命令をさらに格納する、画像処理システム。
【請求項15】
請求項１４に記載の画像処理システムであって、前記ロックステッププログラムメモリがさらに、前記一対のプロセッサに、前記第１のＤＳＰ及び前記第２のＤＳＰによって処理される各フレームに対して、比較するために用いられる前記代替フレーム情報に含める予測される次のフレームを展開させる命令を格納する、画像処理システム。
【請求項16】
偶数フレーム及び奇数フレームを有する画像ストリームととも用いるための画像処理システムであって、前記画像処理システムが、前記画像ストリームの前記偶数フレームを受信するための第１のＤＳＰと、
前記画像ストリームの前記奇数フレームを受信するための第２のＤＳＰと、
前記第１及び第２のＤＳＰによって処理されるフレームを格納するために前記第１及び第２のＤＳＰに結合されるデータメモリと、
ロックステップで動作するように構成され、前記データメモリに結合される一対のプロセッサと、
前記第１及び第２のＤＳＰに結合されるＤＳＰプログラムメモリであって、前記それぞれのＤＳＰに、
前記画像ストリームの前記偶数及び奇数フレームのそれぞれを処理させ、
前記画像ストリームの前記偶数及び奇数フレームの他方における次のフレームを予測させ、
このような処理されたフレーム及びＤＳＰによって予測された次のフレームを前記データメモリに格納させる、
命令を格納する、前記ＤＳＰプログラムメモリと、
前記一対のプロセッサに結合されるロックステッププログラムメモリであって、前記一対のプロセッサに、
前記画像ストリームの所与の奇数又は偶数フレームについて、次の偶数又は奇数フレームに対してロックステップ予測される次のフレームを展開させ、
前記データメモリから前記次の処理されたフレームを読み出させ、
前記データメモリからの前記次の処理されたフレームに対応する前記ＤＳＰによって予測された次のフレームを読み出させ、
前記ロックステップ予測された次のフレーム、前記ＤＳＰによって予測された次のフレーム、及び前記次の処理されたフレームを比較させて、前記予測された次のフレームと前記次の処理されたフレームとの差が所与のレベルより大きいかを判定させ、
前記予測された次のフレームと前記次の処理されたフレームの前記差が前記所与のレベルより大きい場合にエラー指示を提供させる、
命令を格納する、前記ロックステッププログラムメモリと、
を含む、画像処理システム。
【請求項17】
請求項１６に記載の画像処理システムであって、前記ロックステッププログラムメモリがさらに、前記一対のプロセッサに、前記次の処理されたフレームを前記先行する二つの処理されたフレームと比較して、前記先行する二つの処理されるフレームと前記次の処理されたフレームとの差が所与のレベルより大きいかを判定させ、
前記先行する二つの処理されたフレームと前記次の処理されたフレームの前記差が前記所与のレベルより大きい場合にエラー指示を提供させる、
命令を格納する、
画像処理システム。
【請求項18】
請求項１６に記載の画像処理システムであって、前記第１及び第２のＤＳＰの各々のためのスヌープ及びコピーブロックをさらに含み、
各スヌープ及びコピーブロックが、前記第１及び第２のＤＳＰのそれぞれと前記データメモリとに結合され、前記スヌープ及びコピーブロックが、前記次の処理されたフレームの評価中に、前記一対のプロセッサによって用いられるための処理されたフレームと予測される次のフレームと前記ＤＳＰにおける選択されるレジスタの値とをコピーするためのものである、
画像処理システム。
【請求項19】
偶数フレーム及び奇数フレームを有する画像ストリームととも用いるための画像処理システムであって、前記画像処理システムが、前記画像ストリームの前記偶数フレームを受信するための第１のＤＳＰと、
前記画像ストリームの前記奇数フレームを受信するための第２のＤＳＰと、
前記第１及び第２のＤＳＰによって処理されるフレームを格納するために前記第１及び第２のＤＳＰに結合されるデータメモリと、
ロックステップで動作するように構成され、前記データメモリに結合される一対のプロセッサと、
前記第１及び第２のＤＳＰに結合されるＤＳＰプログラムメモリであって、前記それぞれのＤＳＰに、
前記画像ストリームの前記偶数及び奇数フレームのそれぞれを処理させ、
前記データメモリにこのような処理されたフレームを格納させる、
命令を格納する、前記ＤＳＰプログラムメモリと、
前記第１及び第２のＤＳＰの各々に対するハードウェアチェッカであって、各ハードウェアチェッカが、前記一対のプロセッサ及び前記データメモリに結合され、各ハードウェアチェッカが、処理される各フレームについて、前記処理されたフレームと、前記画像ストリームの事前に処理されたフレームとを比較し、前記処理されたフレームが、所与のレベルよりも大きく前記事前に処理されたフレームと異なるかを判定するために、比較結果を前記一対のプロセッサに提供するように適合される、前記ハードウェアチェックと、
前記一対のプロセッサに結合されるロックステッププログラムメモリと、
を更に含み、
前記ロックステッププログラムメモリが、前記一対のプロセッサに、
前記第１のＤＳＰ及び前記第２のＤＳＰによって処理される各フレームに対して、前記処理されたフレームを事前に処理されたフレームについて評価して、前記処理されたフレームが、所与のレベルよりも大きく前記事前に処理されたフレームと異なるかを判定させ、
前記処理されたフレームと前記事前に処理されたフレームの前記差が前記所与のレベルよりも大きい場合にエラー指示を提供させる、
命令を格納する、
画像処理システム。
【請求項20】
請求項１９に記載の画像処理システムであって、前記第１及び第２のＤＳＰの各々のためのスヌープ及びコピーブロックをさらに含み、
各スヌープ及びコピーブロックが、前記第１及び第２のＤＳＰのそれぞれと前記データメモリとに結合され、
前記スヌープ及びコピーブロックが、前記処理されたフレームの評価中に、前記一対のプロセッサによって用いられるための、処理されたフレームと前記ＤＳＰにおける選択されるレジスタの値とをコピーするためのものである、
画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本分野は、画像処理動作における故障検出に関する。
【0002】
自動車における電子機器の使用が日々増加している。従来のエンジンコントローラ、トランスミッションコントローラ、インフォテインメントユニット、車体コントローラなどに加え、数々の安全システム及び自律システムの登場により、自動車内部においてなされる処理が著しく増加している。例えば、アダプティブクルーズコントロールは、レーダーシステム、エンジンコントローラ、及びトランスミッションコントローラの相互通信を用いる。別の例として、鳥瞰視ディスプレイにおいて、様々な位置に配置される幾つかの異なるカメラからの出力がプロセッサに提供されて、受信したビデオを処理して得られる鳥瞰視画像を展開し、次いでこの画像をインフォテインメントシステムに提供してドライバーに見せる。このように入力センサの数及び種類が増えると、センサデータを受け取るシステムオンチップ（ＳｏＣ）デバイスに大きな負担がかかる。また、センサデータは複数のプロセスによって用いられることが多く、そのためＳｏＣデバイスに対する要求が増大する。センサデータを用いる安全システムには信頼性が要求されるため、少なくとも計算ブロックの二重化が必要になることが多く、負担はさらに複雑になる。
【発明の概要】
【0003】
一つ又は複数の画像ストリームからの画像又はフレームが、独立して動作するデジタル信号プロセッサ（ＤＳＰ）及びハードウェア支援論理によって処理され、フレームチェッキングマイクロプロセッサのみがロックステップモードで動作する。一例において、二つのＤＳＰが或る画像ストリームに対して動作している。各ＤＳＰがロックステップモードで各フレームに対して動作するのではなく、一方のＤＳＰが偶数のフレームに対して動作し、他方のＤＳＰが奇数フレームに対して動作している。各ＤＳＰは、必要に応じて所与の動作についてフレームを処理し、次のフレームについて予測値を生成する。例えば、或るＤＳＰが、フレーム１に対して動作し、フレーム２について予測を生成している。ロックステップマイクロプロセッサは、それら自体の次のフレーム予測、本例ではフレーム２予測を展開する。ＤＳＰがフレーム処理を完了し、フレーム及び次のフレーム予測を発行すると、ロックステッププロセッサは、発行されたフレームと事前に展開された予測フレームとを一貫性について比較する。これらの予測が充分に近い場合、発行されたフレームはテストに合格する。次いで、ロックステッププロセッサは、発行されたフレームを先行する二つのフレームと比較して、同様の一貫性チェックを行う。例えば、ロックステッププロセッサは、フレーム０及び１を発行されたフレーム２と比較し得る。先行するフレームも充分に近い場合、発行されたフレームは許容可能であり、エラーは提示されない。どの比較によってもフレーム同士が異なり過ぎると判定される場合、エラーが提供されて適切な安全性予防措置が取られる。
【0004】
別の例において、フレーム予測は用いられず、より多くの先行フレーム、例えば４つの先行フレームと現在のフレームを比較するために、ハードウェアチェッカが提供される。ハードウェアチェッカは、ロックステッププロセッサに比較結果を提供して、許容可能な変動限界に対して比較する。比較結果が変動限界を超える場合、エラーが提供される。
【0005】
各ＤＳＰはあらゆるフレームを処理せず、一つおきのフレームのみを扱うので、次のフレーム予測を展開する幾つかの例において、特定の画像処理タスクに加えてその他の機能を実施するためにＤＳＰ帯域幅のかなりの部分が開放される。多くのサンプルに対して複数の方法で各フレームがチェックされるが、処理帯域幅を犠牲にしてまで安全性は低減されていない。これにより、所与のＳｏＣについてより大きな能力が可能になるか、又は、他の方式で必要とされるより少ないＳｏＣが用いられ得る。
【図面の簡単な説明】
【0006】
様々な例の詳細な説明について、添付の図面を参照する。
【0007】
【図1】車両及び様々なセンサの視野の図である。
【0008】
【0009】
【図3A】ＡＳＩＬ Ｄモードで動作する従来のＳｏＣのブロック図である。
【0010】
【0011】
【図4A】ＡＳＩＬ Ｄモードで動作するＳｏＣの一例である。
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【発明を実施するための形態】
【0019】
ここで図１を参照すると、車両１００が示されている。車両１００は、一連のカメラ又は光学センサを含む。左カメラ１０２及び右カメラ１０４が、車線逸脱警告、交通標識認識、衝突注意、及びオブジェクト検出のために、車両１００の前方からの画像を提供する。左ＬＩＤＡＲ（光検出及び測距）センサ１０６及び右ＬＩＤＡＲセンサ１０８が、車線及びオブジェクト検出のために車両１００の前方からの画像を提供する。これらのカメラ及びＬＩＤＡＲセンサは、様々な先進運転支援システム（ＡＤＡＳ）への入力を提供する。カメラ及びＬＩＤＡＲセンサは単なる例であり、レーダーや超音波などの多くの他のセンサも用いられ得る。
【0020】
次に図２を参照すると、カメラ１０２及び１０４が、フロントカメラモジュール２０２に接続されている。ＬＩＤＡＲセンサ１０６及び１０８は、ＬＩＤＡＲモジュール２０４に接続される。フロントカメラモジュール２０２及びＬＩＤＡＲモジュール２０４は、他のモジュールによって展開される様々なセンサ出力を統合するセンサフュージョンモジュール２１０に接続される。自律的処理モジュール２１２がセンサフュージョンモジュール２１０に接続されて、車両動作のための自律的処理を実施する。所与のモジュールに接続され得るセンサの数はより多くてもより少なくてもよく、単一モジュールに複数のセンサタイプが提供され得る。
【0021】
自動車応用において、電気システムの多くにおいて安全性が優先される。ＩＳＯ２６２６２は、様々な自動車安全水準（ＡＳＩＬ）を定義している。所与のシステムに対して用いられるＡＳＩＬレベルは、重大度、暴露確率、及び制御可能性に基づいている。暴露確率には、「極低確率」～「高確率」（Ｅ０～Ｅ４）の５つのクラスがある。重大度には、「障害なし」から「生命を脅かす障害（生存可能性不明）、致命的な障害」（Ｓ０～Ｓ３）の４つのクラスがある。車両の電子システムによるものではなく、ドライバーによる制御可能性を意味する「制御可能性」には、「総じて制御可能」から「制御困難又は制御不能」の４つのクラスがある。これらの値が組み合わされて、ＡＳＩＬレベルＡ～Ｄが得られ、Ａが最低レベル、Ｄが最高レベルである。衝突警報、車線逸脱、及び自律運転は、概してＡＳＩＬ Ｄに分類される。
【0022】
図３Ａは、ＡＳＩＬ Ｄ動作のために構成される、モジュール２０２、２０４、２１０、又は２１２などのモジュールにおいて用いられるＳｏＣ３００の例示である。ＳｏＣ３００内の構成要素は、プロセッサ３０２、デジタル信号プロセッサ（ＤＳＰ）３０４、及びハードウェア支援論理３０６の概略分類に分けられる。ＳｏＣ３００において、プロセッサ３０２は、ＡＲＭプロセッサなどの二つのマイクロプロセッサ３０２Ａ、３０２Ｂであり、ロックステップで動作するように構成される。ロックステップ動作において、各プロセッサは、同一ソフトウェアを実行し、同じ入力データに対して動作する。検出ハードウェアが、マイクロプロセッサ３０２Ａ、３０２Ｂの出力の差を監視し、差が検出されるとエラー表示を提供する。同様に、ＤＳＰ３０４は、ロックステップで動作する二つのＤＳＰ３０４Ａ、３０４Ｂを含む。ハードウェア支援論理３０６は、ロックステップで動作する同一ハードウェア支援論理３０６Ａ、３０６Ｂを有する。
【0023】
ロックステップ動作はＡＳＩＬ Ｄ動作を達成するが、その代償としてＳｏＣの必要とされるシリコン面積が実質的に二倍になり、そのためＳｏＣの能力が制限される。
【0024】
図３Ｂは、マイクロプロセッサ３０３Ａ、３０２Ｂ、ＤＳＰ ３０４Ａ、３０４Ｂ、及びハードウェア支援論理３０６Ａ、３０６Ｂなど、各ブロックにおける各デバイスによって各フレームが動作されることを図示する。図３Ｂにおいて、上段がデバイス「Ａ」によって動作されるフレームであり、下段がデバイス「Ｂ」によって動作されるフレームである。これは、各画像ソースからの各フレームが、ロックステップ対の各デバイスによって動作されることを示している。
【0025】
図４Ａは、ＡＳＩＬ Ｄ準拠画像処理システムを形成するためにモジュール２０２、２０４、２１０、又は２１２において用いられ得るＳｏＣ４００の第一の例のブロック図である。ＳｏＣ４００において、プロセッサ４０２のみが、ロックステップマイクロプロセッサ４０２Ａ、４０２Ｂによって形成される。ＤＳＰのＤ０ ４０４Ａ、Ｄ１ ４０４Ｂは独立して動作する。ハードウェア支援論理４０６Ａ、４０６Ｂは独立して動作する。
【0026】
図４Ｂは、ＳｏＣ４００の基本動作を図示する。この例では、ＤＳＰ Ｄ０ ４０４Ａが奇数フレームに対してのみ動作し、ＤＳＰ Ｄ１ ４０４Ｂが偶数フレームにおいてのみ動作し、そのため、ＤＳＰ Ｄ０ ４０４Ａ及びＤＳＰ Ｄ１ ４０４Ｂは、異なるフレームに対して動作する。各ＤＳＰ Ｄ０、Ｄ１ ４０４Ａ、４０４Ｂは、次のフレームをそれが奇数又は偶数フレームなのかとともに予測する。ロックステッププロセッサ４０２は、次のフレームの独自の予測を展開し、次いで、ＤＳＰ及びプロセッサ自体が行った予測を実際のフレームと比較し、さらに、実際のフレームを二つの先行フレームと比較する。例えば、図４Ｂに示すように、フレーム３について、ロックステッププロセッサ４０２は、実際のフレーム３と、先行フレーム２及び１と、フレーム２を用いてなされる予測とを用いて、実際のフレーム３が先行フレームとこれらの予測の許容可能な偏差内にあるかを判定する。次いで、フレーム４について、ロックステッププロセッサ４０２は、実際のフレーム４と、先行フレーム３及び２と、フレーム３を用いてなされる予測とを用いて、実際のフレーム４を評価する。フレームが許容可能偏差外である場合、ロックステッププロセッサ４０２はエラー信号を提供する。
【0027】
各ＤＳＰ Ｄ０、Ｄ１ ４０４Ａ、４０４Ｂについて連続するフレーム間のギャップに留意されたい。このギャップは、ＤＳＰが或るフレームを処理するのに必要とされる時間よりもわずかに短い。ＤＳＰは、この時間をＡＳＩＬ Ｄに準拠するために成されている図示のフレーム処理以外の他の処理タスクに用いることができる。フレーム間に事実上ちょうど名目上のギャップ又は時間がある図３Ｂと比較すると、図４Ｂでは、このギャップはかなり大きく、そのため、重要な他の処理がＤＳＰ Ｄ０ ４０４Ａ、Ｄ１ ４０４Ｂによって実施され得る。図４Ｂに示すように動作させることによって、図３Ｂと比較して、ほぼＤＳＰ一個分の処理が取り戻されている。ＤＳＰは、ＤＳＰの実際の能力に応じて、図３Ｂに示すほぼ１００％のデューティサイクルよりも短い時間でフレーム演算を実施し得、図４Ｂの改善は、或るフレームの処理に要する時間よりもわずかに少ないだけであり、これは、フレーム処理以外の他のタスクを実施する能力の大きな改善である。
【0028】
ここで、図５を参照すると、ＤＳＰ Ｄ０ ５０４Ａが図示されている。ＤＳＰ５０４Ａには、一連の選択される制御レジスタ５０３が存在する。ＤＳＰ Ｄ０ ５０４Ａは、マルチコア共有メモリコントローラ（ＭＳＭＣ）５１０に接続される。ＭＳＭＣ５１０にはＬ３ ＲＡＭ５１２が接続される。Ｌ３ ＲＡＭ５１２には、ＤＳＰ Ｄ０フレームバッファ５５４Ａとともに、診断メモリＤ０ ５５２Ａが位置しており、診断メモリＤ０ ５５２Ａ及びＤＳＰ Ｄ０フレームバッファ５５４Ａは共に、ＤＳＰ Ｄ０ ５０４Ａ及びロックステッププロセッサ４０２Ａ、４０２Ｂなどの他のプロセッサによって実行される命令又はプログラムを格納するプログラムメモリ領域とは異なり、Ｌ３ ＲＡＭ５１２におけるデータメモリ領域とみなされる。診断メモリＤ０ ５５２Ａ及びＤＳＰ Ｄ０フレームバッファ５５４Ａは、動作を簡略化するために既知の位置に位置する。ＤＳＰ Ｄ０フレームバッファ５５４Ａは、特定の対象フレームを展開するためにＤＳＰ Ｄ０ ５０４Ａによって用いられる付加的なスクラッチパッドメモリを含み得る。スヌープ及びコピーブロック５５０Ａが、ＤＳＰ Ｄ０ ５０４Ａにおける選択された制御レジスタ５０３、ＤＳＰ Ｄ０フレームバッファ５５４Ａ、診断メモリＤ０ ５５２Ａ、及び汎用タイマ５９２に接続される。一例におけるスヌープ及びコピーブロック５５０Ａは、読み出し動作及び書き込み動作を実施するハードウェアブロックである。別の例において、スヌープ及びコピーブロック５５０Ａは、ＤＳＰによって実行される命令が読み出し及び書き込み動作を実施するソフトウェアブロックである。スヌープ及びコピーブロック５５０Ａが動作されると、スヌープ及びコピーブロック５５０Ａは、汎用タイマ５９２からタイムスタンプを取り込み、ＤＳＰ Ｄ０ ５０４Ａから選択された制御レジスタ５０３の値と、ＤＳＰ Ｄ０フレームバッファ５５４Ａからのフレームとを診断メモリ５５２にコピーし、そのため、ＤＳＰ Ｄ０ ５０４Ａの動作のタイムスタンプスナップショットが作成される。
【0029】
二つのソースが、スヌープ及びコピーブロック５５０Ａの動作をトリガする。第一のソースはＤＳＰ Ｄ０ ５０４Ａにおいて実行される命令であり、第二のソースは汎用タイマ５９２である。ＤＳＰ Ｄ０ ５０４Ａは、フレーム演算を実施するための命令を実行し得る。一例において、付加的な命令が提供されて、各フレームの完了時に、ＤＳＰ Ｄ０ ５０４Ａにおいて実行されるこれらの付加的命令がスヌープ及びコピーブロック５５０Ａをトリガする。これは、図５において、スヌープ及びコピーブロック５５０Ａに接続されるコンパイラブロック５９０によって示されている。ソフトウェア版のスヌープ及びコピーブロック５５０Ａが実行される一方、レジスタビット等を設定してハードウェア版のスヌープ及びコピーブロック５５０Ａをトリガする。その結果、各フレーム処理完了時に、タイムスタンプ、制御レジスタ値、及びＤＳＰフレームが診断メモリＤ０ ５５２Ａに配置される。このスヌープ及びコピー動作をあらゆるフレームの完了に基づいてトリガすることによって、ＤＳＰの交互フレームスキュー動作が同期されて、診断メモリＤ０ ５５２Ａ、Ｄ１ ５５２Ｂの内容間の比較が一層容易になされ得る。これに加えて、汎用タイマ５９２は、ハードウェア版のスヌープ及びコピーブロック５５０Ａの書き込み事象をトリガするように構成される。好ましくは、汎用タイマ５９２は、これらの書き込み事象がフレーム計算に対して一貫した間隔で生じるように構成され、そのため二つのＤＳＰが同期され得る。スヌープ及びコピーブロック５５０Ａは、汎用タイマ５９２のタイムスタンプを取り込み、選択された制御レジスタ５０３及びＤＳＰ Ｄ０フレームバッファ５５４Ａを読み出し、全ての値が診断メモリＤ０ ５５２Ａに書き込まれる。このようにして、あらゆるフレーム処理完了事象後であって、同期書き込み事象時に、タイムスタンプ、フレーム情報、及び制御レジスタを取り込むことによって、ＤＳＰの交互フレーム動作が効果的に同期されて比較動作が簡略化される。
【0030】
図５Ａは、ＳｏＣ４００として用いられ得るＳｏＣ５００の第一の例のブロック図である。ＡＲＭ Ａ７２又はＡ５３コアなど、一連のより強力なマイクロプロセッサ５０１が、ＳｏＣ５００の主要汎用処理ブロックを形成する。ＡＲＭ Ｒ５Ｆコアなどの個々のマイクロプロセッサ５０２Ａ、５０２Ｂを備えたロックステッププロセッサ５０２が、ロックステッププロセッサ４０２と等価である。ＤＳＰ ０ ５０４Ａ及びＤＳＰ １ ５０４Ｂの二つのＤＳＰは、ＤＳＰ Ｄ０ ４０４Ａ、Ｄ１ ４０４Ｂと等価である。一つ又は複数のＡＲＭ Ｒ５Ｆコアなど、より簡易なマイクロプロセッサ５０６が、ＳｏＣ５００において一般的制御能力を提供する。高速相互接続５０８が、マイクロプロセッサ５０１、ロックステッププロセッサ５０２、ＤＳＰ ０ ５０４Ａ、ＤＳＰ １ ５０４Ｂ、及びマイクロプロセッサ５０６を、ＳｏＣ５００における様々な他の構成要素に接続する。例えば、オンボードメモリ又はＬ３ ＲＡＭ５１２を含むマルチコア共有メモリコントローラ５１０が、高速相互接続５０８に接続されて、ＳｏＣ５００のオンボードＲＡＭ及びコントローラとして動作する。ＤＤＲメモリコントローラシステム５１４が、高速相互接続５０８に接続され、外部ＤＲＡＭメモリに対する外部メモリインタフェースとして動作する。同様に、高速相互接続５０８には、ビデオアクセラレーションモジュール５１６及びレーダー処理アクセラレータ（ＰＡＣ）モジュール５１８が接続される。二つのビジョン処理アクセラレータモジュール５２０Ａ、５２０Ｂが、高速相互接続５０８に接続され、ハードウェア支援論理４０６Ａ、４０６Ｂを表すが、図示しないブロックの組み合わせであるこれらのブロックの多くがハードウェア支援論理由来である。深さ及び動きＰＡＣモジュール５２２が高速相互接続５０８に接続される。グラフィックスアクセラレーションモジュール５２４が高速相互接続５０８に接続される。ディスプレイサブシステム５２６が、高速相互接続５０８に接続され、変換論理５２８及び出力論理５３０を含み、それにより、適当な場合には様々なビデオモニタを用いる動作及びそれらへの接続が可能になる。ＤＭＡコントローラ、メモリ管理ユニット、汎用Ｉ／Ｏ、メールボックスなどの品目を含むシステムサービスブロック５３２が、ＳｏＣ５００の正常動作のために提供される。シリアル接続性モジュール５３４が、高速相互接続５０８に接続され、ＳｏＣに通常あるようなモジュールを含む。車両接続性モジュール５３６が、ＰＣＩｅブロック５３８、ＵＳＢブロック５４０、イーサネットスイッチ５４２などの外部通信インターフェースのための相互接続を提供する。キャプチャ／ＭＩＰＩモジュール５４４が、４レーンＣＳＩ－２準拠の送信ブロック５４６並びに４レーンＣＳＩ－２受信モジュール及びハブを含む。ＣＳＩ－２受信モジュール及びハブの詳細は下記に示される。
【0031】
ＭＣＵアイランド５６０が、二次サブシステムとして提供され、省エネルギーのために他の構成要素の電源がオフされるときに統合ＳｏＣ５００の動作を取り扱う。ＭＣＵ ＡＲＭプロセッサ５６２が、マスターとして動作し、絶縁インターフェース５６１を介して高速相互接続５０８に結合される。ＭＣＵ汎用Ｉ／Ｏ（ＧＰＩＯ）ブロック５６４がスレーブとして動作する。ＭＣＵ ＲＡＭ５６６が、ＭＣＵ ＡＲＭプロセッサ５６２のためのローカルメモリとして動作するように提供される。付加的な外部通信インターフェースであるＣＡＮバスブロック５６８が接続されて、車両１００において従来のＣＡＮバス環境での動作が可能になる。イーサネットＭＡＣ（メディアアクセス制御）ブロック５７０が、車両１００におけるさらなる接続性のために提供される。不揮発性メモリ（ＮＶＭ）（図示せず）が、ＮＶＲＡＭインターフェース５７１を介してＭＣＵ ＡＲＭプロセッサ５６２に接続される。ＭＣＵ ＡＲＭプロセッサ５６２は、安全性プロセッサとして動作し、ＳｏＣ５００の動作を監視してＳｏＣ５００が適切に動作することを保証する。
【0032】
一例では、ハードウェア版のスヌープ及びコピーブロック５５０Ａ、５５０Ｂが、それらの関連するＤＳＰ ０ ５０４Ａ、ＤＳＰ １ ５０４Ｂと協働するように提供される。関連するＤＳＰ ０ ５０４Ａ、ＤＳＰ １ ５０４Ｂと協働する診断メモリＤ０ ５５２Ａ、Ｄ１ ５５２Ｂは、Ｌ３ ＲＡＭ５１２の既知の位置に設けられる。ＤＳＰ ０及びＤＳＰ １フレームバッファ５５４Ａ、５５４Ｂは、Ｌ３ ＲＡＭ５１２の既知の位置に設けられる。ハードウェアチェッカ５０５Ａ及び５０５Ｂが一例として提供されるが、これらはより詳細に下記で説明する。
【0033】
上記は説明のために提供されるＳｏＣの一例であり、プロセッサ、ＤＳＰ、アクセラレータなどの数は様々で、多くの他のＳｏＣの例が可能である。
【0034】
図６は、図５の変形例であり、ＤＳＰ Ｄ０ ５０４Ａ及びＤＳＰ Ｄ１ ５０４Ｂを示す。ＤＳＰ Ｄ０ ５０４Ａ、Ｄ１ ５０４Ｂのそれぞれにおけるスヌープ及びコピーブロック５５０Ａ、５５０Ｂには、共通の汎用タイマ５９２が接続される。図５に示すようにスヌープ及びコピーブロック５５０Ａ、５５０Ｂのトリガがかかると、制御レジスタ値、フレームデータ、及びタイムスタンプがそれぞれの診断メモリＤ０ ５５２Ａ、Ｄ１ ５５２Ｂに渡される。汎用タイマ５９２は、ロックステッププロセッサ５０２にトリガ指示も提供して、ロックステッププロセッサ５０２に診断メモリＤ０ ５５２Ａ、Ｄ１ ５５２Ｂを読み出させ、診断メモリＤ０ ５５２Ａ、Ｄ１ ５５２Ｂのデータを比較させて、ＤＳＰ Ｄ０ ５０４Ａ、Ｄ１ ５０４Ｂの動作が許容可能な量又は所与のレベルを超えて異なっているかを判定し、異なっている場合、エラー割り込み又はメッセージを提供する。
【0035】
一例において、スヌープ及びコピーブロックが転送動作を完了した直後に、この診断メモリの比較動作がトリガされる。これらの診断メモリの比較、及び前述のフレームとフレームの予測演算の双方において、データのすべてが厳密に一致する必要はない。制御レジスタデータなどの幾つかの領域は同一であるべきだが、フレームデータ、特にフレーム演算を実施する展開されたスクラッチメモリ値は、選択される量だけ変化し得るが、なお良好と見なされる。この比較において「充分に近い」ことは、多くの場合、車両１００が移動しており、そのため画像同士がわずかに異なるという事実に基づいている。左右の前方視カメラからの画像ストリームなど、カメラが斜め又はわずかに斜めの注視方向に対して構成されているその他の場合において、一方のＤＳＰが左画像ストリームを処理し、他方のＤＳＰが右画像ストリームを処理すると、これらの画像は異なるものの、比較及び予測が安全性の目的で充分に正確となる程度に充分に近い。フレーム間の車両の動きや注視方向に対処するために、画像の多少の違いは許容可能であり、ＡＳＩＬ Ｄの介在を必要とする構成要素の故障を示すものではない。オブジェクトの位置に対する距離及び角度など、画像に対して算出される様々な寸法において画像が５％以内であれば、その画像は許容可能であり、故障は発生していないと判定されていた。許容値が５％未満になると偽陽性の数が増加し、動作に支障をきたす。概して故障は完全な形で生じ、そのため差が非常に大きくなるので、５％を超える許容値を用い得るが、故障は常に完全な形で生じるとは限らないので、より低い数値が好ましい。５%は偽陽性と偽陰性のバランスが良いと判定されてきた。一例において、画像の移動分散値を展開し、次いで３シグマ値を許容限界として設定することによって、許容差又は許容レベルが判定される。
【0036】
上記の例において、許容可能な差であるかをチェックする値としてオブジェクト距離及び方向角が用いられた。これらは例示の変数であり、画像用につくられる任意の目標変数が用いられ得、そのため、複数の寸法に対して許容差が判定され得る。目標変数のためのこれらの許容差はまた、或る数の先行時間サイクルにわたる計算に対する分散分析により統計的に判定され得る。
【0037】
図６はさらに、スヌープ及びコピーブロック５５０Ａ、５５０Ｂの動作６００を図示する。所与のスヌープ及びコピー動作において、そのスヌープ及びコピー動作のための、幾つかの例において動作のタイムスタンプを含む、トリガーソースを示す事象指示又はハンドラが展開される（６０２）。制御レジスタ情報が読み出される（６０４）。これに続いて、それぞれのフレーム情報のデータパケットが読み出される（６０６）。最後に、これらの展開されて読み出された値が診断メモリに書き込まれる（６０８）。好ましくは、複数のスナップショットを診断メモリに順次格納できるように、循環バッファポインタが増分される。診断メモリにおける各スナップショットのサイズは既知であるため、これにより、ハードウェアチェッカ５０５Ａ、５０５Ｂ又はロックステッププロセッサ５０２が、二つの異なるＤＳＰのためのそれぞれの診断メモリ５５２Ａ、５５２Ｂによって関連フレームを簡単に見つけ得る。
【0038】
一例におけるハードウェア版のスヌープ及びコピーブロック５５０Ａ、５５０Ｂは、事実上、直接メモリアクセス（ＤＭＡ）ブロックであり、ＤＳＰ Ｄ０ ５０４Ａ、Ｄ１ ５０４Ｂから制御レジスタ情報を収集してそれを診断メモリに移動し、フレーム情報を診断メモリにコピーするように構成され、診断メモリの位置は、循環バッファポインタを用いる各動作により進められる。
【0039】
一例において、ソフトウェア版のスヌープ及びコピーブロック５５０Ａ、５５０Ｂは、各ＤＳＰ Ｄ０ ５０４Ａ、Ｄ１ ５０４Ｂの割り込み駆動タスクである。割り込みルーチンにおいて、ＤＳＰは、スタックから所望の制御レジスタ情報を読み出し、フレームバッファから画像情報を読み出し、両方を診断メモリに書き込む。
【0040】
図７に示すように、好ましくは、診断メモリＤ０ ５５２Ａ、Ｄ１ ５５２Ｂは、ＤＳＰ １ ５０４Ｂ及びＤＳＰ ０ ５０４Ａ両方からのフレーム１、３、５、又は２、４、６、すなわちフレームＴＮ、ＴＮ－１、及びＴＮ－２などの、様々なフレームからのデータスナップショットを含む。これにより、ハードウェアチェッカ５０５Ａ、５０５Ｂ及びロックステッププロセッサ５０２は、フレーム１～５又はフレーム２～６を用いてチェックを実施して、特定の対象レジスタ又はフレーム情報が許容可能量を超えて変化したかを判定し得る。これらが許容可能量を超えて変化していた場合、ロックステッププロセッサ５０２はエラー表示を提供する。汎用タイマ５９２がロックステッププロセッサ５０２をトリガする代わりに、ハードウェアチェッカ５０５Ａ、５０５Ｂが汎用タイマ５９２によってトリガされる。ロックステッププロセッサ５０２に比較結果を提供するハードウェアチェッカ５０５Ａ、５０５Ｂは、比較結果を評価するようロックステッププロセッサ５０２をトリガする。
【0041】
スナップショットは診断メモリＤ０ ５５２Ａ、Ｄ１ ５５２Ｂの既知の位置に提供され、診断メモリＤ０ ５５２Ａ、Ｄ１ ５５２Ｂ自体も既知の位置にあるので、それぞれのフレームのチェックはハードウェアチェッカ５０５Ａ、５０５Ｂによってなされ得、ロックステッププロセッサ５０２の負荷が軽減され得る。一例において、ハードウェアチェッカ５０５Ａ、５０５Ｂは、関連するフレーム及びレジスタ値を診断メモリ５５２から読み出し、それらの値を比較するシンプルなＡＬＵを含む。例えば、フレーム６がＴＮであるとすると、ハードウェアチェッカ０ ５０５Ａは、フレーム５（Ｄ１＿ＴＮ－２）、３（Ｄ１＿ＴＮ－１）、4（Ｄ０＿ＴＮ－１）、及び２（Ｄ０＿ＴＮ－２）のためのフレーム及びレジスタデータを読み出し、フレーム６とこれらのフレームの各々とを比較する。比較の結果は、ロックステッププロセッサ５０２に提供される。ロックステッププロセッサ５０２は次いで、その結果を許容可能な差の限界に対してチェックする。比較が許容可能なレベルを超える差を示す場合、ロックステッププロセッサ５０２はエラー表示を提供する。ハードウェアチェッカ５０５Ａ、５０５Ｂを用いることにより、ロックステッププロセッサ５０２に要求される処理が軽減される。ハードウェアチェッカ５０５Ａ、５０５Ｂによってなされる比較は、ロックステッププロセッサ５０２によってなされるソフトウェアチェックのように予測値を含まないが、付加的なフレームを用いることにより、予測値に代わる充分なデータが提供される。
【0042】
ここで図８Ａ～図８Ｄを参照して、ＤＳＰ０、ＤＳＰ１、及び、ハードウェアチェッカを備えないロックステッププロセッサの動作のフローチャートをおおよその時間関係において説明する。ステップ８０２において、ＤＳＰ０は、フレーム１を処理し、フレーム２についての予測を展開する。同時に、ステップ８０４におけるＤＳＰ１は、他の非フレーム処理タスクを実施する。ＤＳＰ０によるステップ８０２のフレーム処理の完了の少し前に図示されるステップ８０６において、ロックステッププロセッサは、診断メモリからＤＳＰ１のフレーム１予測を読み出し、ステップ８０８においてロックステッププロセッサ自体のフレーム１予測を展開する。ステップ８１０において、ＤＳＰ０は、フレーム１と、フレーム２の予測とを発行する。このフレーム１及びフレーム２予測の発行は、スヌープ及びコピーブロックがフレームを診断メモリにコピーすることを含み、ＤＳＰレジスタの値が格納されている場合はそれらの値もコピーする。フレームのこのような発行はいずれも、スヌープ及びコピーブロック動作を含むものとし、下記においてはわかりやすくするために省略する。フレーム１が発行した後、ロックステッププロセッサは、ステップ８１２において診断メモリからフレーム１を読み出し、ステップ８１４においてＤＳＰ１及びロックステッププロセッサのフレーム１予測を実際のフレーム１と比較する。このとき、ステップ８１６において、ＤＳＰ０は、他の非フレーム処理タスクに進んでいる。また、このとき、ステップ８１８において、ＤＳＰ１は、フレーム２の処理を開始し、フレーム３についての予測を展開している。ステップ８１４の比較後、ロックステッププロセッサは、ステップ８２０において、比較結果が実際のフレーム１が予測フレーム１に充分に近かったことを示すかを評価又は判定する。比較結果が充分に近かったことを示さない場合、ステップ８２２においてエラー割り込みが発行されて、より上位の処理によりＡＳＩＬ Ｄの懸念が評価され得る。比較が好結果だった場合、ステップ８２４において、ロックステッププロセッサは、先行する二つのフレーム、フレーム０及びフレーム－１をフレーム１と比較する。ステップ８２６のようにフレームが差の許容可能限界に入らない場合、ステップ８２８においてエラー割り込みが発行される。
【0043】
比較が好結果だった場合、ステップ８２９においてＤＳＰ０のフレーム２予測が読み出され、次いでステップ８３０においてロックステッププロセッサはフレーム２予測を展開する。このとき、ステップ８３２においてＤＳＰ１はフレーム２及びフレーム３予測を発行している。ロックステッププロセッサは、ステップ８３４においてフレーム２を読み出し、ステップ８３６においてＤＳＰ０及びロックステッププロセッサのフレーム２予測を実際のフレーム２と比較する。ステップ８３８で判定されるように差が許容可能限界を超えている場合、ステップ８４０においてエラー割り込みが発行される。差が許容可能限界内であれば、動作はステップ８４２に進み、フレーム０及び１をフレーム２と比較する。このとき、ステップ８４４において、ＤＳＰ０は、フレーム３の処理を開始し、フレーム４についての予測を展開している。ＤＳＰ１は、ステップ８４６において他の処理タスクにかかりきりである。ステップ８４８において３フレーム比較が受け入れられないと判定される場合、ステップ８５０においてエラーが発行される。許容し得る場合、ステップ８５１において、ロックステッププロセッサは、ステップ８３２において発行されたＤＳＰ１のフレーム３予測を読み出す。ステップ８５２において、ＤＳＰ０はフレーム３及びフレーム４予測を発行する。ステップ８５４において、ロックステッププロセッサは、フレーム３についてそのフレーム予測を展開する。ＤＳＰ０はステップ８５６において他のタスクの実施を開始し、ロックステッププロセッサはステップ８５８においてフレーム３を読み出す。
【0044】
ステップ８６０においてロックステッププロセッサは、ＤＳＰ１とロックステッププロセッサのフレーム３予測を実際のフレーム３と比較する。ステップ８６２において判定される許容可能限界外の場合、ステップ８６４においてエラー割り込みが発行される。許容可能である場合、ステップ８６６においてロックステッププロセッサはフレーム１、２、及び３を比較する。このとき、ステップ８６８において、ＤＳＰ１は、フレーム４を処理し、フレーム５についての予測を展開している。ロックステッププロセッサは、ステップ８７０において、３フレーム比較が受け入れ可能であったかを判定する。受け入れ可能でない場合、ステップ８７１において、エラー割り込みが発行される。受け入れられる場合、ステップ８７２においてロックステッププロセッサはＤＳＰ０のフレーム４予測を読み出し、ステップ８７４においてロックステッププロセッサはそれ自体のフレーム４予測を実施する。このとき、ＤＳＰ１は、ステップ８７６において、フレーム４及びフレーム５予測を発行する。これにより、ロックステッププロセッサは、ステップ８７８においてフレーム４を読み出し得る。ＤＳＰ１は、ステップ８８０において、フレーム処理以外の他のタスクに進む。ステップ８８２においてロックステッププロセッサは、ＤＳＰ０及びロックステッププロセッサのフレーム４予測を実際のフレーム４と比較する。ステップ８８４において、ＤＳＰ０は、フレーム５の処理を開始し、フレーム６についての予測を展開している。ステップ８８２の比較がステップ８８６において判定される許容し得ない差を示す場合、ステップ８８８においてエラー割り込みが発行される。
【0045】
ステップ８８６において差が許容し得る限界内である場合、ステップ８９０においてロックステッププロセッサはフレーム２及び３をフレーム４と比較する。ステップ８９２において判定されるようにフレーム同士が違い過ぎる場合、ステップ８９４においてエラー割り込みが発行される。フレーム同士が充分に近い場合、ステップ８９６においてロックステッププロセッサはＤＳＰ１のフレーム５予測を読み、ステップ８９８においてロックステッププロセッサ自体のフレーム５予測を展開する。このとき、ステップ９００においてＤＳＰ０は、フレーム処理を完了しており、フレーム５及びフレーム６予測値を発行する。ステップ９０２においてロックステッププロセッサは、ステップ９０４においてＤＳＰ０が他のタスクに進むのと基本的に同じ時間にフレーム５を読み出す。ステップ９０６においてロックステッププロセッサは、ＤＳＰ１及びＡＲＭのフレーム５予測を実際のフレーム５と比較する。ほぼこの時間に、ステップ９０８においてＤＳＰ１はフレーム６の処理を開始し、フレーム７についての予測を展開している。ステップ９１０において、ロックステッププロセッサは、ステップ９０６の比較が受け入れられなかったかを判定する。受け入れられなかった場合、ステップ９１２においてエラー割り込みが発行される。許容可能である場合、ステップ９１４においてロックステッププロセッサはフレーム３、４、及び５を比較する。ステップ９１６においてロックステッププロセッサは、エラーが許容不能であったかを判定し、その場合、ステップ９１８においてエラー割り込みが発行される。
【0046】
フレーム処理は、それが不要になるまで同様に継続する。
【0047】
図８Ａ～図８Ｄに見られるように、ＤＳＰは、ロックステップフレーム処理を行うのではなく、他のタスクを実施するためにかなりの時間を費やし得る。このため、所与のＤＳＰについてＳｏＣの性能を増加させ得、又は、ＡＳＩＬ Ｄレベルの安全性を維持しながらより非力なＤＳＰを用い得る。
【0048】
上記の説明では、フレーム予測をＤＳＰ及びロックステッププロセッサの両方で実施したが、一例において、ＤＳＰ及びロックステッププロセッサの一方のみがフレーム予測を展開し、それにより、ロックステッププロセッサ又はＤＳＰのいずれかのなんらかの帯域幅が解放される。
【0049】
図９Ａ～図９Ｄは、ＤＳＰ０、ＤＳＰ１、ロックステッププロセッサ、及びハードウェアチェッカの動作をおおよその時間関係において図示するフローチャートである。ステップ９３０において、ＤＳＰ０はフレーム１を処理する。ステップ９３２において、ハードウェアチェッカは、事前にＤＳＰ１フレーム０、－２、及びＤＳＰ０フレーム－１、－３を読み出している。ステップ９３０と同時に、ステップ９３４においてＤＳＰ１は、他の非フレーム処理タスクを実施する。ステップ９３６において、ＤＳＰ０はフレーム１を発行する。フレーム１が発行された後、ステップ９３８において、汎用タイマ５９２に基づいて、ハードウェアチェッカはフレーム１を読み出し、ステップ９４０において、ＤＳＰ０フレーム１をＤＳＰ１フレーム０、－２、及びＤＳＰ０フレーム－１、－３と比較する。このとき、ステップ９４２において、ＤＳＰ０は、他の非フレーム処理タスクに進んでいる。また、同時に、ステップ９４４において、ＤＳＰ１はフレーム２の処理を開始している。ステップ９４０の比較後、ステップ９４６においてハードウェアチェッカは比較結果をロックステッププロセッサに提供する。ステップ９４８において、ロックステッププロセッサは、許される偏差限界に対して比較結果を評価又はチェックする。ステップ９５０において、ロックステッププロセッサは、比較結果が許容限界内であるかを判定する。許容限界内でない場合、ステップ９５２においてエラー割り込みが発行されて、上位の処理がＡＳＩＬ Ｄの懸念を評価し得る。比較が好結果だった場合、ハードウェアチェッカから次の比較結果を受け取るまで、この動作はロックステッププロセッサにおいて終了する。
【0050】
ＤＳＰ１は、フレーム２の処理を終了し、ステップ９５４においてフレーム２を発行し、ステップ９５６において他のタスクに進む。フレーム２が発行された後、ハードウェアチェッカは、ステップ９５８においてフレーム２を読み出し、ステップ９６０においてＤＳＰ１フレーム２をＤＳＰ１フレーム０、－２及びＤＳＰ０フレーム１、－１と比較する。このとき、ステップ９６２において、ＤＳＰ０はフレーム３の処理を開始している。ステップ９６０の比較後、ステップ９６４においてハードウェアチェッカは比較結果をロックステッププロセッサに提供する。ステップ９６６において、ロックステッププロセッサは、許される偏差限界について比較結果をチェックする。ステップ９６８において、ロックステッププロセッサは、比較結果が許容可能限界内であるかを判定する。許容可能限界内でない場合、ステップ９７０においてエラー割り込みが発行されて、上位の処理がＡＳＩＬ Ｄの懸念を評価し得る。比較が好結果だった場合、ハードウェアチェッカから次の比較結果を受け取るまで、この動作はロックステッププロセッサにおいて終了する。
【0051】
ステップ９７２において、ＤＳＰ０はフレーム３を発行し、ステップ９７４において他のタスクに進む。フレーム３が発行された後、ステップ９７６において、ハードウェアチェッカはフレーム３を読み出し、ステップ９７８において、ＤＳＰ０フレーム３をＤＳＰ１フレーム２、０及びＤＳＰ０フレーム１、－１と比較する。このとき、ステップ９８０において、ＤＳＰ１は、フレーム４の処理を開始している。ステップ９７８の比較後、ステップ９８２においてハードウェアチェッカは比較結果をロックステッププロセッサに提供する。ステップ９８４において、ロックステッププロセッサは、許される偏差限界に対して比較結果をチェックする。ステップ９８６において、ロックステッププロセッサは、比較結果が許容し得る限界内であるかを判定する。許容し得る限界内でない場合、ステップ９８８においてエラー割り込みが発行されて、上位の処理がＡＳＩＬ Ｄの懸念を評価し得る。比較が好結果だった場合、ハードウェアチェッカから次の比較結果を受け取るまで、この動作はロックステッププロセッサにおいて終了する。
【0052】
ＤＳＰ１は、ステップ９９０においてフレーム４を発行し、ステップ９９１において他のタスクに進む。フレーム４が発行された後、ハードウェアチェッカは、ステップ９９２においてフレーム４を読み出し、ステップ９９４においてＤＳＰ１フレーム４をＤＳＰ１フレーム２、０及びＤＳＰ０フレーム３、１と比較する。このとき、ステップ９９６において、ＤＳＰ０はフレーム５の処理を開始している。ステップ９９４の比較後、ステップ９９８においてハードウェアチェッカは比較結果をロックステッププロセッサに提供する。ステップ１０００において、ロックステッププロセッサは、許される偏差限界に対して比較結果をチェックする。ステップ１００２において、ロックステッププロセッサは、比較結果が許容可能限界内であるかを判定する。許容可能限界内でない場合、ステップ１００４においてエラー割り込みが発行されて、上位の処理がＡＳＩＬ Ｄの懸念を評価し得る。比較が好結果だった場合、ハードウェアチェッカから次の比較結果を受け取るまで、この動作はロックステッププロセッサにおいて終了する。
【0053】
ステップ１００６において、ＤＳＰ０がフレーム５を発行し、ステップ１００８において他のタスクに進む。フレーム５が発行された後、ハードウェアチェッカは、ステップ１０１０においてフレーム５を読み出し、ステップ１０１２においてＤＳＰ０フレーム５をＤＳＰ１フレーム４、２及びＤＳＰ０フレーム３、１と比較する。このとき、ステップ１０１４において、ＤＳＰ１はフレーム６の処理を開始している。ステップ１０１２の比較後、ステップ１０１６においてハードウェアチェッカは比較結果をロックステッププロセッサに提供する。ステップ１０１８において、ロックステッププロセッサは、許容し得る偏差限界に対して比較結果をチェックする。ステップ１０２０において、ロックステッププロセッサは、比較結果が許容し得る限界内であるかを判定する。許容し得る限界内でない場合、ステップ１０２２においてエラー割り込みが発行されて、上位の処理がＡＳＩＬ Ｄの懸念を評価し得る。比較が好結果だった場合、ハードウェアチェッカから次の比較結果を受け取るまで、この動作はロックステッププロセッサにおいて終了する。
【0054】
フレーム処理が、終了するまで同様に継続する。
【0055】
図９Ａ～図９Ｄは、図８Ａ～図８Ｄと同様に、ＤＳＰが、ロックステップフレーム処理を実施するのではなく、他のタスクの実施にかなりの時間を費やし得ることを図示する。また、ロックステッププロセッサの負荷も軽減され、そのため、他のタスクに一層長い時間を割くことができる。これにより、所与のＤＳＰ及びロックステッププロセッサについてＳｏＣの画像処理システムの性能が増加し得、又は、ＡＳＩＬ Ｄレベルの安全性を維持しながらより非力なＤＳＰ及びロックステッププロセッサが用いられ得る。
【0056】
【0057】
上述のように、処理されたフレームが許容可能であるか、又は、報告され得るエラーが生じたかを判定するために、様々な要素が用いられる。これらの要素は、ＤＳＰ及びロックステッププロセッサによるフレーム予測、事前に処理されるフレーム及びＤＳＰレジスタ値を含む。これらの要素はいずれも、次のフレームにエラーがない場合、次のフレームのためのデータが何に近くなるべきかを示すため、代替フレーム情報とみなされる。フレーム予測、及び事前処理されたフレームは、代替フレームバージョンであり、ＤＳＰレジスタ値は、フレームに関する代替情報、フレームの展開に関連する情報、又は代替フレームバージョンである。そのため、代替フレーム情報は、フレーム予測、事前に処理されたフレーム、及びＤＳＰレジスタ値の三項目すべてを網羅する。
【0058】
上記説明では、単一画像ストリームを用いる動作の説明に焦点を当て、異なるＤＳＰが偶数フレーム及び奇数フレームを扱うことを説明してきた。二つの関連する画像ストリームが処理されており、これらの画像ストリームが充分に関連するか又は重なる場合、一例において、各ＤＳＰは別々の画像ストリームを処理することができ、各ＤＳＰは割り当てられたストリームにおける各画像を処理し、そのため、ＤＳＰは異なるフレームに対して再び動作し、同じフレームに対して動作しない。例えば、画像ストリームが左右の対である場合、一つのＤＳＰが右のストリームを処理し、一つのＤＳＰが左のストリームを処理するが、比較と、予測がなされる場合には予測とが、両方のストリームに対してなされる。別の例において、こういった二画像ストリームの場合、一つのＤＳＰが各画像ストリームからの偶数画像を処理し得、他方のＤＳＰが各画像ストリームからの奇数画像を処理し得る。この例において、予測がなされる場合予測と、比較とが、同じ画像ストリームのフレームに対してなされ、他の画像ストリームのフレームにはなされない。そのため、第一のＤＳＰは、画像ストリーム１のフレーム１を処理し、フレーム２を予測し得、次いで第一のＤＳＰは、画像ストリーム２のフレーム１を処理し、フレーム２を予測し得る。
【0059】
上述の説明において、エラー状態を検出するための付加情報のための比較動作において、ＤＳＰにレジスタ値が含まれている。幾つかの例において、レジスタ値は利用されず、スヌープ及びコピーブロックは、フレームデータを診断メモリにコピーするだけである。
【0060】
上述の説明並びに図８Ａ～図８Ｄ及び図９Ａ～図９Ｄのフローチャートにおいて、許容可能範囲を超えて異なる単一フレームに対してエラーが表示されることを示した。或る設計において、単一フレームを用いる代わりに、三つの連続する失敗フレームが用いられる。第一のフレームが失敗する場合、そのフレームは破棄され、次のフレームが第一のフレームに用いられた基準と比較される。この第二のフレームも失敗する場合、これも破棄し、次のフレームが比較される。この第三のフレームも失敗する場合、エラー表示が提供される。これにより、単一の過渡的なエラーがエラー状態を引き起こすことを回避するための簡単なフィルタリング作用が提供される。
【0061】
上述の説明は画像処理に焦点を当てたが、他のストリームも同様に処理され得る。例えば、レーダー信号処理、ライダー信号処理、及びオブジェクトレベルのセンサフュージョン処理は、どれも同様に成され得、利用可能なＤＳＰ処理帯域幅において同様の改善を達成し得る。許容差の判定は、関連ストリームのために展開される目標変数に基づく。
【0062】
上述の説明は例示であり、限定するものではない。例えば、上述の例は、互いに組み合わせて用いられ得る。多くの他の例が、上述の説明を検討すれば明らになろう。したがって、特許請求の範囲は、添付の請求項を参照し、そのような請求項が権利を有する均等物の全範囲と共に判定されるべきである。添付の特許請求の範囲において、「含む（including）」及び「そこで（in which）」という用語は、それぞれ、「含む（comprising）」及び「そこで（wherein）」という用語の平易な英語の均等物として用いられる。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図5A】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図9A】
【図9B】
【図9C】
【図9D】
【国際調査報告】