特表 2024-535305 画像センサデータの完全性監視

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-30

(54)【発明の名称】画像センサデータの完全性監視

(51)【国際特許分類】

   H04N 17/00 20060101AFI20240920BHJP

   B60R 11/02 20060101ALI20240920BHJP

【ＦＩ】

H04N17/00 L

H04N17/00 200

B60R11/02 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024517457

(86)(22)【出願日】2022-06-22

(85)【翻訳文提出日】2024-05-13

(86)【国際出願番号】 GB2022051587

(87)【国際公開番号】W WO2023047074

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】2113467.1

(32)【優先日】2021-09-21

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】21275132.5

(32)【優先日】2021-09-21

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】390038014

【氏名又は名称】ビ－エイイ－ システムズ パブリック リミテッド カンパニ－

【氏名又は名称原語表記】ＢＡＥ ＳＹＳＴＥＭＳ ｐｌｃ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ミルズ、コリン・リチャード

(72)【発明者】

【氏名】ハリス、リチャード・デイビッド

【テーマコード（参考）】

3D020

【Ｆターム（参考）】

3D020BA04

(57)【要約】

画像センサデータの完全性監視
画像センサデータの完全性を監視するための完全性モニタ。完全性モニタは、画像センサデータを生成するように構成された画像センサを備え、画像センサデータは、シーンを表す画像と、画像に対して予め定められた位置にある複数の光学的暗ピクセルとを含む。完全性モニタは、複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析し（４０３）、欠陥の緩和を可能にするために出力される複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、画像センサデータ内の欠陥の存在を決定する（４０５）ように構成されたコントローラをさらに備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像センサデータの完全性を監視するための完全性モニタであって、
画像センサデータを生成するように構成された画像センサと、ここで、前記画像センサデータは、シーンを表す画像と、前記画像に対して予め定められた位置にある複数の光学的暗ピクセル（３０３）とを含み、
コントローラとを備え、
前記コントローラは、
前記画像センサデータの前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析（４０３）し、
欠陥の軽減を可能にするために出力される前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ内の欠陥の存在を決定（４０５）するように構成されている、完全性モニタ。

【請求項2】

前記コントローラは、
前記画像センサデータにおける欠陥の存在の決定の結果を出力（４０７）するようにさらに構成されている、請求項１に記載の完全性モニタ。

【請求項3】

前記コントローラは、
前記画像センサデータにおける欠陥の存在が受容可能なレベルにあると決定したことに応答して、前記画像センサデータを出力するようにさらに構成されている、請求項１または２に記載の完全性モニタ。

【請求項4】

ユーザに検証画像を提供するように、前記複数の光学的暗ピクセル（３０３）を有する前記画像センサデータを前記ユーザ（１０）に表示するように構成されたディスプレイをさらに備える、請求項１から３のいずれか一項に記載の完全性モニタ。

【請求項5】

前記コントローラは、前記画像センサデータにおける欠陥の存在の前記決定に応答して、前記欠陥を軽減するためのアクションを引き起こすかまたは実行するための信号を出力するように構成される、請求項１から４のいずれか一項に記載の完全性モニタ。

【請求項6】

前記アクションは、
前記画像センサデータを無視することと、
交換用画像センサデータを提供することと、
前記画像センサデータの表示を遅延させることと、
車両の現在の動作を維持することと、
システムの欠陥をユーザ及び／又は前記車両のシステムに警告することとのうちの１つ以上を備える、請求項５に記載の完全性モニタ。

【請求項7】

前記コントローラは、記号または第２の画像センサデータのうちの少なくとも１つを前記画像センサデータに混合するように構成される、請求項１から６のいずれか一項に記載の完全性モニタ。

【請求項8】

前記コントローラは、
前記画像センサデータの１つ以上のピクセル（３０４Ａ、３０４Ｂ）をサンプリングするようにさらに構成され、
前記サンプリングされた１つ以上のピクセル（３０４Ａ、３０４Ｂ）のグレースケールレベルを、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つのグレースケールレベルと比較すること、または
前記サンプリングされた１つ以上のピクセルを、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つに対して対比することのうちの少なくとも１つを実行するように構成されている、請求項１から７のいずれか一項に記載の完全性モニタ。

【請求項9】

前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの１つ以上の特性は、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの位置、又は前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの信号レベルのうちの少なくとも１つを備える、請求項１から８のいずれか一項に記載の完全性モニタ。

【請求項10】

前記コントローラは、
前記複数の光学的暗ピクセル（３０３）から形成される境界（３０１）を決定するように構成され、
前記境界の１つ以上の特性を分析し、
前記欠陥の軽減を可能にするために出力されるべき前記境界の１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ中の欠陥の前記存在を決定するようにさらに構成されている、請求項１から９のいずれか一項に記載の完全性モニタ。

【請求項11】

前記境界（３０１）の１つ以上の特性は、前記境界の位置、前記境界のサイズ、または前記境界における１つ以上の信号レベルのうちの少なくとも１つを備える、請求項１０に記載の完全性モニタ。

【請求項12】

画像センサデータの完全性を監視るための方法であって、前記方法は、
画像センサデータを受信すること（４０１）と、ここで、前記画像センサデータは、シーンを表す画像と、前記画像に対して予め定められた位置にある複数の光学的暗ピクセルとを含み、
前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析すること（４０３）と、
欠陥の軽減を可能にするために出力される前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ内の欠陥の存在を決定すること（４０５）とを備える、方法。

【請求項13】

前記画像センサデータ内の欠陥の存在の決定の結果を出力すること（４０７）をさらに備える、請求項１２記載の方法。

【請求項14】

前記画像センサデータ内の欠陥の存在が受容可能なレベルにあると決定したことに応答して、前記画像センサデータを出力すること、および／または
前記画像センサデータ中の欠陥の存在の決定に応答して、前記欠陥を緩和するためのアクションを実行することとをさらに備える、請求項１３に記載の方法。

【請求項15】

請求項１から１１のいずれか一項に記載の完全性モニタを備える車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、完全性モニタリングに関し、排他的ではないが、特に画像センサからの画像センサデータの完全性モニタリングに関する。

【背景技術】

【0002】

アビオニクスディスプレイ、特にセーフティクリティカル情報を表示するために必要とされるものは、非常に高いレベルの完全性で動作すること、及び完全性に関連する非常に高い基準に進展していることが必要とされる。そのようなシステムの認証は、非常に費用と時間がかかることもある。例えば、光学的刺激をディスプレイシステムに注入して、システムの欠陥を決定し、画像センサデータの完全性を監視することができる。

【発明の概要】

【0003】

本発明の目的は、添付の特許請求の範囲の特徴によって規定される。

【0004】

本発明の一態様によれば、画像センサデータの完全性を監視する完全性モニタが提供される。完全性モニタは、画像センサデータを生成するように構成された画像センサと、ここで、画像センサデータは、シーンを表す画像と、画像に対して予め定められた位置にある複数の光学的暗ピクセルとを含み、コントローラとを備え、コントローラは、複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析し、欠陥の軽減を可能にするために出力されるべき複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、画像センサデータ内の欠陥の存在を決定するように構成されている。

【0005】

このようにして、光学的暗ピクセルは、画像センサデータの送信前または送信中にクロップまたは破棄される代わりに維持され、使用される。その結果、画像センサデータの完全性が検証され、使用のために高い完全性を有する画像センサデータのみを提供することになる。これは、完全性試験および計算のプロセスを簡略化する。

【0006】

好ましくは、コントローラは、画像センサデータにおける欠陥の存在の決定の結果を出力するようにさらに構成される。

【0007】

好ましくは、コントローラは、画像センサデータ内の欠陥の存在が受容可能なレベルであると決定したことに応答して、画像センサデータを出力するようにさらに構成される。このようにして、完全性試験に合格した画像センサデータのみが出力される。

【0008】

好ましくは、完全性モニタは、複数の光学的暗ピクセルを含まない画像センサデータをユーザに表示するように構成されたディスプレイをさらに備える。このように、アクションを実行するために最も関連する画像であるメイン画像のみが表示される。あるいは、完全性モニタは、複数の光学的暗ピクセルを有する画像センサデータをユーザに表示するように構成されたディスプレイをさらに備える。このようにして、必要な高完全性データのみがユーザに送信される。ユーザは、次いで、画像センサデータと対話し、適切な場合にアクションを取る。システム要件または設計要件に応じて、複数の光学的暗ピクセルは、表示されてもされなくてもよく、システム設計および操作性に柔軟性を提供する。

【0009】

好ましくは、コントローラは、画像センサデータ内の欠陥の存在の決定に応答して、画像センサデータ内の欠陥を軽減するためのアクションを引き起こすか、または実行するための信号を出力するように構成される。アクションは、画像センサデータを無視すること、代替画像センサデータを提供すること、画像センサデータの表示を遅延させること、車両の現在の動作を維持すること、システムの欠陥をユーザ及び／又は車両のシステムに警告することのうちの１つ以上を含むことができる。このようにして、システムは、誤解を招く画像センサデータがさらなる処理および／または表示のために使用されることを防止する。誤った画像センサデータの不必要な処理を防止することによって、処理コストが節約される。誤った画像センサデータの表示を防止することによって、潜在的な重大なエラーの潜在的な原因が排除される。誤った画像センサデータの使用を防止することによって、潜在的な重大なエラーの潜在的な原因が排除される。

【0010】

好ましくは、コントローラは、記号または第２の画像センサデータのうちの少なくとも１つを画像センサデータに混合するように構成される。完全性試験のために、記号または第２の画像センサデータを画像センサデータに含めることによって、さらなる基準ピクセルがプロセスに組み込まれる。基準ピクセルは、１つ以上のピクセルを備えてもよい。１つ以上のピクセルは、パターンを形成してもよい。このようにして、完全性試験が強化される。

【0011】

好ましくは、コントローラは、画像センサデータの１つ以上のピクセルをサンプリングするようにさらに構成される。コントローラは、サンプリングされた１つ以上のピクセルのグレースケールレベルを複数の光学的暗ピクセルのうちの少なくとも１つのグレースケールレベルと比較すること、またはサンプリングされた１つ以上のピクセルを複数の光学的暗ピクセルのうちの少なくとも１つに対して対比することのうちの少なくとも１つを実行するようにさらに構成される。このようにして、完全性試験の方法が簡略化される。画像センサデータの選択されたピクセルのうちの任意の１つが、境界を形成する複数の光学的暗ピクセルのうちの任意の１つのグレースケールレベルと比較される。好ましくは、複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性は、複数の光学的暗ピクセルのうちの少なくとも１つの位置、または複数の光学的暗ピクセルのうちの少なくとも１つの信号レベルのうちの少なくとも１つを含む。

【0012】

好ましくは、コントローラは、複数の光学的暗ピクセルから形成される境界を決定するように構成される。コントローラは、境界の１つ以上の特性を分析し、欠陥の緩和を可能にするために出力される境界の１つ以上の特性に少なくとも部分的に基づいて、画像センサデータ内の欠陥の存在を決定するようにさらに構成される。

【0013】

好ましくは、境界の１つ以上の特性は、境界の位置、境界のサイズ、または境界における１つ以上の信号レベルのうちの少なくとも１つを含む。

【0014】

本発明のさらなる態様にしたがうと、画像センサデータの完全性を監視するための方法が提供される。この方法は、画像センサデータを受信することと、ここで、画像センサデータはシーンを表す画像と、画像に対して予め定められた位置にある複数の光学的暗ピクセルとを含み、複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析することと、欠陥の軽減を可能にするために出力されるべき複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、画像センサデータ内の欠陥の存在を決定することとを含む。

【0015】

好ましくは、本方法は、画像センサデータにおける欠陥の存在の決定の結果を出力することをさらに含む。

【0016】

好ましくは、方法は、画像センサデータにおける欠陥の存在が受容可能なレベルであるとの決定に応答して、画像センサデータを出力することをさらに含む。

【0017】

好ましくは、本方法は、複数の光学的暗ピクセルを有する画像センサデータをユーザに表示することをさらに含む。好ましくは、本方法は、複数の光学的暗ピクセルを含まない画像センサをユーザに表示することをさらに含む。

【0018】

好ましくは、本方法は、画像センサデータ内の欠陥の存在の決定に応答して、欠陥を緩和するためのアクションを実行することをさらに含む。好ましくは、アクションは、画像センサデータを無視すること、代替画像センサデータを提供すること、画像センサデータの表示を遅延させること、車両の現在の動作を維持すること、及びシステムの欠陥をユーザ及び／又は車両のシステムに警告することのうちの１つ以上を含む。

【0019】

好ましくは、本方法は、記号または第２の画像センサデータのうちの少なくとも１つを画像センサデータに混合することをさらに含む。

【0020】

好ましくは、画像センサデータにおける欠陥の存在を決定することは、画像センサデータの１つ以上のピクセルをサンプリングすることを含み、サンプリングされた１つ以上のピクセルのグレースケールレベルを複数の光学的暗ピクセルの少なくとも１つのグレースケールレベルと比較すること、またはサンプリングされた１つ以上のピクセルを複数の光学的暗ピクセルの少なくとも１つに対して対比することのうちの少なくとも１つをさらに含む。これにより、処理の精度が向上する。また、このようにして、サンプリングは、隣接するピクセルを見ることによって、潜在的に時間に関連する情報を提供する。

【0021】

好ましくは、複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性は、複数の光学的暗ピクセルのうちの少なくとも１つの位置および画像センサデータの第１のフレームの複数の光学的暗ピクセルのうちの少なくとも１つの位置と画像センサデータの第２のフレームの複数の光学的暗ピクセルのうちの少なくとも１つの位置との比較、または複数の光学的暗ピクセルのうちの少なくとも１つの信号レベルおよび画像のピクセルのうちの１つ以上の信号レベルとの比較のうちの少なくとも１つを含む。

【0022】

好ましくは、本方法は、複数の光学的暗ピクセルで形成された境界を決定することを更に含み、境界の１つ又はそれよりも多くの特性を分析することと、欠陥の軽減を可能にするために出力される境界の１つ以上の特性に少なくとも部分的に基づいて画像センサデータ内の欠陥の存在を決定することとを更に含む。

【0023】

好ましくは、境界の１つ以上の特性は、境界の位置と、画像センサデータの第１のフレームの境界の位置と画像センサデータの第２のフレームの境界の位置との比較と、境界のサイズと、画像センサデータの第１のフレームの境界のサイズと画像センサデータの第２のフレームの境界のサイズと比較することと、または、境界における１つ以上の信号レベルと、境界における１つ以上の信号レベルと画像の１つ以上の信号レベルと比較することとのうちの少なくとも１つを含む。

【0024】

本発明のさらなる態様によれば、先行する段落に記載したような完全性モニタを備える車両が提供される。

【0025】

本発明のさらなる態様によれば、命令が実行されると、１つ以上のプロセッサに、先行する段落による画像センサデータの完全性を監視するための方法を実行させる命令を含むコンピュータ読取可能記憶媒体が提供される。

【0026】

次に、本発明の実施形態が、添付の図面を参照して、単なる例として説明される。

【図面の簡単な説明】

【0027】

【図1】図１は、画像センサデータの完全性を監視するための表示システムを示す図である。

【図2】図２は、画像センサデータの完全性を監視するためのコンピューティングシステムを示す概略図である。

【図3】図３は、画像およびピクセルの概略図を示す。

【図4】図４は、画像センサデータの完全性を監視する動作ステップのフローチャートを示す。

【発明を実施するための形態】

【0028】

本発明は、完全性監視に関する。以下の詳細な説明では、本明細書の一部を形成し、特定の構成または例が例示として示されている、添付の図面に対して参照が行われる。ここで図面を参照すると、いくつかの図面を通して、同様の数字は同様の要素を表す。

【0029】

ある状況では、安全性が重要な情報は、非常に高い基準でシステムまたはユーザに配信される必要がある。例えば、画像センサデータは、車両のパイロット又は運転者などのユーザに表示されるか、又は様々な車両のための自動化システムに送られるかにかかわらず、高い完全性を維持する必要がある。「車両」という用語は、航空機、宇宙船、軍艦、または地上で動作可能な任意の車両を指すために使用される。

【0030】

アビオニクスディスプレイ、特にセーフティクリティカル情報を表示するために必要とされるものの認証は、非常に高いレベルの完全性への進展についての証拠及び非常に高いレベルの完全性への動作についての証拠を必要とする。アプリケーションの受容可能な完全性レベルは、アプリケーションおよびアプリケーションの目的に応じて変化する。例えば、本開示に記載された発明に関連する用途の目的のために、達成されることを目的とした安全度完全性レベルは、センサ画像から誤解を招く情報を提示する確率が少なくとも１０‐７から１０‐９の範囲である。達成されることを目的とし得る安全度完全性レベルは、センサ画像から誤解を招く情報を提示する確率が１０－８未満である。達成されることを目的とし得る安全度完全性レベルは、センサ画像から誤解を招く情報を提示する確率が１０－９未満である。

【0031】

完全性モニタの例については、例示的なアプリケーションディスプレイシステムにおいて以下で説明される。限定されない特定の例において、完全性モニタは、暗視カメラ（ＮＶＣ）によって出力される画像を表示するように構成された表示システムの完全性を監視するために説明される。本発明は、ディスプレイシステムのみへの適用に限定されない。完全性監視は、高度な運転者支援システム又は自動化システムの一部を形成してもよい。また、完全性監視は、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、電荷結合素子（ＣＣＤ）、電子衝撃アクティブピクセルセンサ（electron bombarded active pixel sensor）（ＥＢＡＰＳ）等のような、光学的に暗い基準境界を生成する任意の形態の画像センサに適用されてもよい。特に、「暗基準」ピクセルのセットを含む任意の固体画像センサは、説明される完全性モニタを適用してもよい。

【0032】

検出されてもよい完全性欠陥または他の安全上の危険の例は、以下を含む：フリーズ表示、画像スケーリングエラー、画像振動、位置決めエラー、画像輝度欠陥、期待されるコンテンツに一致しない画像のコンテンツ、およびピクセル同期エラー。そのような欠陥又は危険が検出されるかもしれないディスプレイタイプの例は、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドダウンディスプレイ（ＨＤＤ）、及びヘッドマウントディスプレイ（ＨＭＤ）を含むがこれらに限定されない。そのようなシステムによって表示される画像は、デジタルマイクロミラーデバイス（ＤＭＤ）、液晶オンシリコン（ＬＣｏＳ）デバイス、有機発光ダイオード（ＯＬＥＯ）デバイス、又は他のデジタルディスプレイデバイスタイプなどのディスプレイデバイスによって出力されてもよい。

【0033】

図１は、画像センサデータの完全性を監視するための表示システムを示す図である。図１は、本発明の一実施形態による完全性監視を組み込んだ例示的なヘッドマウントディスプレイシステム１００を示す。

【0034】

ディスプレイシステムは、画像センサを介して外部シーン１１１を感知するためのカメラ１０２を備えるヘッドマウントディスプレイシステム１００を備える。画像センサは、任意の標準的な画像センサであってもよい。画像センサは、専用カメラの一部であってもよい。例えば、カメラは、外部の夜間シーンを感知するための暗視カメラ（ＮＶＣ）であってもよい。画像センサは、暗視画像センサを備えてもよい。ヘッドマウントディスプレイシステム１００は、ヘルメットマウントディスプレイシステムであってもよい。

【0035】

ディスプレイシステムは、センサ画像プロセッサ１０４、ディスプレイ画像プロセッサ／ドライバ１０６、及び画像プロジェクタ１０９Ａを更に有する。画像プロジェクタ１０９Ａは、ユーザ１０が見るために部分的に反射型のバイザー１０９Ｂによる反射のために、当該バイザーに向けて画像を投影するように構成される。

【0036】

このようなディスプレイシステムでは、構成要素１０２、１０４、１０６、１０９Ａ、及び１０９Ｂのいずれか１つにおける構成要素の欠陥又は潜在的な設計の欠陥により欠陥が発生するかもしれず、潜在的に危険な状況につながる。ユーザ１０への画像の生成及び表示に干渉せずにそのような欠陥を検出する目的で、完全性モニタリングが組み込まれてディスプレイシステムと共に機能する。追加的に、または代替的に、完全性監視は、車両の自動化されたまたは高度な運転者／パイロット支援動作の目的のために、ディスプレイシステムと協働するように組み込まれてもよい。そのような目的のための使用において、完全性監視は、自動化されたまたは高度な運転者／パイロットアシスタント動作のために、車両上のコンピューティングシステムのうちのいずれか１つと協働するように組み込まれる。

【0037】

ディスプレイシステムは、完全性監視プロセスを実装するように構成されるコントローラを備える。コントローラは、高完全性プロセッサ１０８を備える。追加的に、または代替的に、完全性監視プロセスを実施するように構成されたコントローラは、センサ画像プロセッサ１０４またはディスプレイ画像プロセッサ１０６であってもよい。本明細書に記載されるコントローラは、それぞれ、１つ以上の電子プロセッサを有する制御ユニットまたは計算デバイスを備えることができることを理解されたい。コントローラは、画像センサから画像センサデータを受信するように構成されている。画像センサデータは、シーンを表す画像を含む。画像センサは、外部シーン１１１をキャプチャするように構成される。画像センサデータは、複数の光学的暗ピクセル３０３を含む。これらの光学的暗ピクセルは、暗い基準ピクセルである。これらの光学的暗ピクセルは、画像センサの光学性能を最適化するために、ＮＶＣアルゴリズムによって黒基準として使用されてもよい。光学的暗ピクセルは、画像センサによってキャプチャされている画像（たとえば、シーン１１１）の周りに作成される。コントローラは、（図３に図示するように）複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性を分析するように構成される。分析は、機械学習アルゴリズムを使用することによって、または任意の他の画像処理アルゴリズムによって実行されてもよい。光学的暗ピクセルの各々は、「グレー」シェード（すなわち、非ゼロ値）を含む。光学的暗ピクセルの各々は、値を含んでいてもよい。光学的暗ピクセルの各々の値は、外部の影響（例えば、温度であるが、これに限定されない）に依存して変動してもよい。光学的暗ピクセルの各々の値は、わずかなオフセットを含み、フレームからフレームへと監視するときに、小さいレベルのノイズを示すことがある。これらのわずかなオフセットおよび小さいレベルのノイズは、完全性モニタによって許容され、画像センサデータにおける受容可能なレベルの欠陥と見なされてもよい。いくつかの例では、光学的暗ピクセルの各々は、最大信号値の予め定められた割合である値を備えてもよい。例えば、光学的暗ピクセルの各々は、最大信号値の５％である値を含んでもよい。

【0038】

コントローラは、画像センサを較正するように構成される。画像センサの較正中に、センサ画像データに適用される補正のレベルがある。

【0039】

コントローラは、複数の光学的暗ピクセル３０３の１つ以上の特性に少なくとも部分的に基づいて、画像センサデータ内の欠陥の存在を決定するように構成される。複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、複数の光学的暗ピクセル３０３のうちの少なくとも１つの位置、複数の光学的暗ピクセル３０３のうちの少なくとも１つの信号レベルのうちの少なくとも１つを含む。信号レベルは、ピクセルのコンテンツ信号レベルを指す。信号レベルは、ピクセルの輝度または強度、ピクセルにおけるノイズレベル、および／またはピクセルのグレースケールレベルのうちの１つ以上を示す。

【0040】

複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、信号レベルを含むことができ、画像センサデータ内の欠陥の存在を決定することは、複数の光学的暗ピクセル３０３のうちの少なくとも１つの信号レベルを、画像３１１のピクセル３０４Ａ、３０４Ｂのうちの１つ以上の信号レベルと比較することを含む。

【0041】

コントローラは、測定値の性質に応じて、行または列のピクセルの信号レベルが、その行または列の光学的暗ピクセルよりも高いか低いかを決定するように構成される。光学的暗ピクセルの信号レベル値に基づいて、最小及び／又は最大閾値が各行／列について計算される。行／列内の各アクティブピクセルは、チェックされているピクセルが計算された閾値を超えることを確実にするためにチェックされる。例えば、信号レベルがピクセルの輝度を示す場合、光学的暗ピクセルの輝度信号レベルに基づいて、最小輝度閾値が各行／列に対して計算される。行／列内の各アクティブピクセルは、比較されているピクセルが最小輝度閾値を超えるかどうかが決定される。代替的に、または追加的に、コントローラは、行または列をプロファイルするように構成される。このプロファイルは、画像センサデータの光学的暗ピクセルからアクティブピクセルへの遷移における勾配応答をチェックするために使用される。このプロファイルは、アクティブピクセルから光学的暗ピクセルへの遷移における勾配応答をチェックするためにも使用される。コントローラによって検査された全ての隣接するアクティブピクセル及び光学的暗ピクセルが、予想される境界プロファイルと一致する場合、エラーは検出されず、欠陥は存在しない。代替的に、または追加的に、コントローラは、画像全体をバッファし、次いで、ある数の最も暗いピクセルを検索し、それらがすべて境界領域に限定されることをチェックするように構成される。コントローラは、画像のエッジにおける勾配を探索するために画像カーネルフィルタを使用し、ピクセルのライン全体をバッファするためにラインバッファを使用し、および／または画像センサデータのフレーム全体をバッファするためにフレームバッファを使用するように構成される。これらの方法を使用して、コントローラは、センサ画像全体について、シフトされた（水平および／または垂直にシフトされたなど）、不正確にスケーリングされた、または欠落したピクセル／ラインを決定することができる。

【0042】

欠陥の存在を決定するとき、コントローラは、シフトされるピクセルの数を決定する。コントローラは、特に、画像のエッジにおける勾配を決定するために、シフトされたピクセルの数を取得する。追加的に、または代替的に、欠陥の存在を決定するとき、コントローラは、行／列において設定された閾値を満たさなかったピクセルの数を決定する。コントローラは、特に、ピクセルの輝度などのピクセルの信号レベルを決定するために、欠陥ピクセルの数を制御する。許容される欠陥ピクセル数は、行／列内の暗ピクセル数よりも少なくなるように設定される。これにより、チェックを効率的に実行できることが保証される。コントローラはまた、これらの欠陥ピクセルをマッピングして、それらをチェックから除外することを可能にするように構成される。欠陥ピクセルのマップは、カメラが初期化され、かつ／または較正されるときに作成される。コントローラは、欠陥の受容可能／許容レベルを設定するように構成される。この受容可能な欠陥レベルは、許容される欠陥ピクセル数及び／又はシフトピクセル数に基づくことができる。受容可能な欠陥は、わずかな異常によって引き起こされる劣化を含むことができる。例えば、ピクセルの位置合わせには、予想される公差が存在してもよい。受容可能な欠陥は、テストに不合格となる限られた数のセンサフレームによって引き起こされる劣化を含むかもしれない。パイロット表示の完全性欠陥を報告するために、通常０.５秒から１秒の間があるので、コントローラは、これらのフレームをフィルタ除去することができる。

【0043】

追加的に、または代替的に、複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、複数の光学的暗ピクセル３０３のうちの少なくとも１つの位置を備えてもよく、画像センサデータにおける欠陥の存在を決定することは、画像センサデータの第１のフレームの複数の光学的暗ピクセル３０３のうちの少なくとも１つの位置を、画像センサデータの第２のフレームの複数の光学的暗ピクセル３０３のうちの少なくとも１つの位置と比較することを備える。画像センサデータは、１つ以上のフレーム３００を備えてもよい。フレームは、２０ｍｓなどの予め定められた期間内に選択されてもよい。コントローラは、ピクセルの予想される位置とアクティブピクセルの同一位置とを光学的暗ピクセルと直接比較するように構成される。

【0044】

追加的に、または代替的に、境界３０１は、画像センサデータの複数の光学的暗ピクセルから形成される。コントローラは、複数の光学的暗ピクセルを含む境界３０１の形成を認識するように構成されてもよい。コントローラは、境界３０１を作成するように構成されてもよい。コントローラは、複数の光学的暗ピクセルのサブセットを用いて境界３０１を作成するように構成されてもよい。境界３０１は、画像センサデータの１つ以上のエッジに対応する。画像センサデータの１つ以上のエッジは、カメラ１０２の１つ以上のエッジによって定義される。境界３０１は、画像３１１の１つ以上のエッジに沿って形成される。境界３０１は、画像センサデータの画像３１１を囲むことができる。コントローラは、境界３０１の１つ以上の特性を分析するように構成される。コントローラは、互いに対して境界３０１を形成する複数の光学的暗ピクセル３０３のうちの２つ以上の１つ以上の特性を分析するように構成される。

【0045】

コントローラは、境界３０１の１つ以上の特性に少なくとも部分的に基づいて、画像センサデータ内の欠陥の存在を決定するように構成される。境界３０１の１つ以上の特性は、境界の位置、境界のサイズ、又は境界における１つ以上の信号レベルのうちの少なくとも１つを含む。画像センサデータは、１つ以上のフレーム３００を備えてもよい。フレームは、２０ｍｓなどの予め定められた期間内に選択されてもよい。各フレームは、画像３１１および境界３０１を含む。

【0046】

境界の１つ以上の特性は、１つ以上の信号レベルを含むことができ、画像センサデータ内の欠陥の存在を決定することは、境界の１つ以上の信号レベルを画像３１１の１つ以上の信号レベルとさらに比較する。光学的暗ピクセルの少なくとも１つを参照して上述した信号レベル比較ステップは、境界の１つ以上の信号レベル及び画像の１つ以上の信号レベルを使用して、同様にコントローラによって適用され、実行される。追加的に、または代替的に、境界３０１の１つ以上の特性は、境界の位置を含み、画像センサデータ内の欠陥の存在を決定することは、境界の位置を画像センサデータの第１のフレーム内の境界の位置と比較することをさらに含む。境界位置は固定されている。境界位置は、センサの物理的特徴に基づく。境界位置は、フレーム毎に固定位置にほぼ一致することが期待される。境界の位置は、アルゴリズムに符号化され、任意の過渡フォールトのチェックを実行するために使用される。いくつかの例では、欠陥が解消される限り、ある数の欠陥フレームが許容されてもよい。例えば、３００フレーム毎に３０の失敗フレームが受容可能であり、６０Ｈｚビデオシステムの場合、任意の５秒間に０.５秒の欠陥が受容可能である。

【0047】

いくつかの例では、コントローラは、ピクセルの基準境界を決定するように構成される。
この決定は、システムの較正中に行われる。コントローラは、センサとは独立して、基準境界の位置などの決定された基準境界の情報を記憶する。基準境界の情報は、パイロット用ヘルメットに記憶されてもよい。境界３０１の１つ以上の特性は、基準境界の位置を含み、画像センサデータ内の欠陥の存在を決定することは、境界を含む複数のピクセル、ならびに基準境界および画像センサデータの各フレーム内のそれらの隣接ピクセルを読み出すこと、ならびにこれらのピクセルを比較することをさらに含む。十分な時間がある場合、コントローラは、画像センサデータのフレームごとにすべてのピクセルを処理するように構成される。処理時間が不十分である場合、コントローラは、選択された数のフレームにわたって「完全性」ピクチャを構築するために異なるピクセルを読み出すように構成される。フレーム数は、処理時間と欠陥報告の許容時間に基づく。典型的には、時間許容範囲は０.５から１秒である。

【0048】

追加的に、または代替的に、境界３０１の１つ以上の特性は、境界のサイズを含み、画像センサデータ内の欠陥の存在を決定することは、境界のサイズを画像の境界のサイズと比較することをさらに含む。上述した欠陥の存在を決定するために境界の位置を決定して使用することに関連する同じ動作は、同じ目的のために境界のサイズを決定して使用することに適用される。境界サイズは固定されている。境界サイズは、センサの物理的特徴に基づく。境界サイズは、フレーム毎に固定サイズに実質的に一致することが期待される。境界のサイズは、アルゴリズムに符号化され、任意の過渡フォールトのチェックを実行するために使用される。境界３０１の１つ以上の特性は、光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性を含んでいてもよい。あるいは、光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、境界３０１に関する情報を含むことができる。

【0049】

コントローラは、画像センサデータにおける欠陥の存在の決定の結果を出力するように構成される。コントローラが画像センサデータ内の欠陥を検出するように構成される場合、コントローラは、欠陥の存在を示す信号を出力するように構成される。欠陥の存在を示す信号は、欠陥の存在が受容可能なレベルおよび／または許容可能なレベルであるか否かの情報を含むことができる。代替的に、または追加的に、コントローラが、画像センサデータ内の受容可能および／または許容可能な欠陥のみを検出しないように構成される場合、コントローラは、受容可能および／または許容可能なレベルで欠陥の存在を示す信号を出力するように構成される。いくつかの例では、コントローラは、画像センサデータ内の欠陥の存在が受容可能および／または許容可能なレベルにあると決定したことに応答して、画像センサデータを出力するように構成される。受容可能な欠陥レベルは、システムの精度要件に応じて構成される。受容可能な欠陥レベルは、欠陥がないことを含む。コントローラは、過渡フォールトを許容するように構成される。過渡フォールトは、動作中に発生したが、画像センサデータを出力する前に解消されることが可能であるフォールトを指すことがある。画像センサデータにおける欠陥の存在は、欠陥（例えば、過渡フォールト）が予め定められた期間後に解消される場合、受容可能および／または許容可能レベルにある。予め定められた期間は、フレームリフレッシュレートであってもよい。例えば、予め定められた期間は、０.５秒であってもよい。いくつかの例では、危険な誤解を招く情報を提供することがある画像センサデータの大きな変形が生成されない限り、単一のピクセル（または小領域）の欠陥は許容されてもよい。いくつかの例では、シフトが読出しに対して発生し（例えば、ピクセルシフトによるラインが読出し中に発生する）、シフトが一時的である場合、誤解を招く情報を提示する可能性は、フレームごとにリフレッシュされるので軽減される。したがって、システムは、光学的暗ピクセルの読み出しの小さなまたは一時的な変動を許容してもよい。受容可能なレベルおよび／または許容可能なレベルの欠陥を有する画像センサデータは、完全性試験に合格することができる。コントローラが、画像センサデータ内のいかなる欠陥も検出しないように構成される場合、コントローラは、欠陥の不在を示す信号を出力するように構成される。いくつかの例では、コントローラは、画像センサデータ内に欠陥がないと決定したことに応答して、画像センサデータを出力するように構成される。画像センサデータが完全性試験に合格した場合、コントローラは、画像センサデータの出力を可能にするように構成される。

【0050】

このような場合、表示システム１００は、画像センサデータを、画像プロジェクタ１０９Ａ及びバイザー１０９Ｂを介してユーザ１０に表示する。画像センサデータは、境界３０１なしで表示されてもよい。境界３０１は、画像センサから画像センサデータを受信すると生成される。境界３０１は、画像センサがシーン１１１をキャプチャするときにキャプチャされる。境界３０１は、画像センサのエッジに対応する。境界３０１は、カメラのエッジに対応する。いくつかの例では、境界は、画像センサデータの表示の前にプロセス全体を通して搬送される。境界３０１に関する情報は、画像センサデータの使用前にプロセス全体を通して搬送される。画像センサデータが表示されるように要求されると、コントローラは、境界３０１を除去するために画像センサデータをトリミングする。

【0051】

コントローラは、画像センサデータにおける欠陥を軽減するためのアクションを引き起こすための信号を出力するように構成される。追加的に、または代替的に、コントローラは、画像センサデータにおける欠陥を緩和するためのアクションを実行するように構成される。画像センサデータ内の欠陥の存在の決定に応答して、コントローラは、欠陥を緩和し、画像センサデータの使用を防止するためのアクションを引き起こすか、または実行するための信号を出力するように構成される。ここで、欠陥の存在は、欠陥が受容できないレベルにあること、および／または許容できないレベルにあること、および／または過渡フォールトではないことを指す。欠陥または他の危険な動作モードを検出すると、完全性監視は、アクションをトリガしてもよい。アクションは、画像センサデータを無視すること、代替画像センサデータを提供すること、画像センサデータの表示を遅延させること、車両の現在の動作を維持すること、システムの欠陥を車両のユーザ及び／又はシステムに警告することのうちの１つ以上を含む。システムの欠陥をユーザに警告する動作は、警告メッセージでディスプレイを消去すること、または欠陥画像センサデータに対処するためにユーザに対して任意の問題をフラグアップすることを含んでいてもよい。アクションは、予め定められた期間にわたって実行されてもよい。コントローラは、予め定められた期間内にディスプレイシステム１００を無効にするように構成されてもよい。例えば、コントローラは、画像センサデータ内の欠陥の存在を決定することに応答して、０.５秒間、ディスプレイシステム１００を無効にするように構成されてもよい。これは、ユーザ１０がディスプレイ上で見るものに影響を及ぼす欠陥を回避し、誤解を招く情報がユーザに提示されることを防止する。追加的に又は代替的に、コントローラは、車両の自動化された又は高度な運転者支援動作を維持することが安全であるかどうかをチェックするように構成される。安全である場合、車両の現在の自動運転を維持する。安全でない場合、車両は、ユーザ１０に動作変更の必要性を警告する。アラートは、触覚、視覚、または聴覚フィードバックのうちの１つ以上を備えてもよい。いくつかの例では、コントローラは、画像センサデータの欠陥を決定すると、車両の動作を引き継ぐようにユーザ１０に要求することを示す信号を出力するように構成されてもよい。

【0052】

コントローラは、記号体系または第２の画像センサデータのうちの少なくとも１つを画像センサデータに混合するように構成されてもよい。コンピューティングシステムは、（図２に図示されるような）信号発生器２２２を備えてもよい。信号発生器２２２は、表示のために表示画像プロセッサ／ドライバ１０６にも入力されてもよい記号及び他のデータなどの画像要素を生成する。記号は、英数字又は様々な方法で表されるデータと共に、三角、丸、又は四角などの形状及び線を備えてもよい。生成された記号は、典型的には、使用時に、カメラ１０２によって供給される画像上にオーバーレイされてユーザ１０にみえるように表示される。追加的に、または代替的に、コンピューティングシステムは、画像センサデータとブレンドするための第２の画像センサデータを生成するためのビデオレコーダ２０２Ｂまたは追加のカメラを備える。第２の画像センサデータは、参照画像センサデータとして機能することができる保存された画像センサデータであってもよい。記号体系および第２の画像センサデータは、画像センサデータ内の欠陥の存在を決定するために、さらなる基準画像センサデータに使用される。このようにして、完全性監視およびその精度をさらに向上させることができる。このようなコンピューティングシステムでは、構成要素２０２Ａ、２０２Ｂ、２０４、２０６、２０９、２０８Ａ、２０８Ｂ、および２２２いずれか１つにおける構成要素の欠陥又は潜在的な設計の欠陥により欠陥が発生するかもしれず、潜在的に危険な状況につながる。コンピューティングシステムによるユーザへの画像の生成に干渉せずにそのような欠陥を検出する目的で、完全性モニタリングが組み込まれてコンピューティングシステムと共に機能する。いくつかの例では、使用は、ユーザ１０に画像を表示することを含む。

【0053】

図２は、コンピューティングシステム２００を示す概略図を図示する。図２のコンピューティングシステム２００は、図１に図示されるディスプレイシステム１００を備えてもよい。コンピューティングシステム２００は、センサ２０２Ａ、画像信号プロセッサ２０４、ディスプレイ画像プロセッサ／ドライバ２０６、およびパイロットディスプレイ２０９を備える。これらの構成要素は、図１のディスプレイシステム１００の構成要素に対応する。図２のコンピューティングシステム２００は、２つのコントローラ２０８Ａ、２０８Ｂを含む。２つのコントローラ２０８Ａ、２０８Ｂは、完全性監視の方法を同時に処理するように構成されてもよい。コントローラのうちの１つは省略されてもよい。図１を参照して説明したように、コンピューティングシステム２００は、画像センサデータの完全性監視のための方法を処理するための信号発生器２２２、ビデオレコーダ２０２Ｂ、および第２のコントローラ２０８Ｂを備えなくてもよい。画像センサは、コントローラ２０８Ａ及び２０８Ｂのうちの少なくとも１つを備えてもよい。コンピューティングシステム２００は、完全性監視方法を処理することができる画像センサを備える。代替的に、コンピューティングシステム２００は、画像センサ及びコントローラを備え、コントローラは、画像センサデータの完全性を監視するように構成され、コントローラは、画像センサに統合されない。画像センサの外部にあるコントローラを用いて画像センサデータを処理することは、カメラの設計保証レベルを低下させる可能性がある。車両は、画像センサデータの完全性を監視するためのコンピューティングシステム２００を備える。

【0054】

コントローラは、（図３に図示される）画像センサデータの１つ以上のピクセル３０４Ａ、３０４Ｂをサンプリングすることによって、画像センサデータ内の欠陥の存在を決定するように構成される。コントローラは、サンプリングされた１つ以上のピクセル３０４Ａ、３０４Ｂのグレースケールレベルを境界３０１のグレースケールレベルと比較するように構成される。１つ以上のピクセル３０４Ａ、３０４Ｂは、画像センサデータの本体３１１から選択される。画像センサデータの本体３１１は、複数のピクセル３０４Ａ、３０４Ｂを含む。いくつかの例では、１つ以上のピクセル３０４Ａ、３０４Ｂは、画像センサデータの本体３１１内のピクセル全体を備えてもよい。そのような例では、ある割合のピクセルがチェックに不合格になることが許容される。いくつかの例では、１つ以上のピクセル３０４Ａ、３０４Ｂは、画像センサデータの本体３１１内の数十のピクセルであってもよい。本体３１１のエッジにおける少数のピクセルが、行／列勾配を決定する目的でサンプリングされる。いくつかの例では、コントローラは、ランダムなピクセルをサンプリングするように構成されてもよい。

【0055】

図３は、画像３１１（例えば、シーン１１１）をキャプチャする画像センサデータのフレーム３００を図示する。画像センサデータはビデオ画像であってもよい。図には示されていないが、フレームは複数のピクセル３０３、３０４Ａ、３０４Ｂを含む。ピクセル３０４Ａ、３０４Ｂは、画像センサデータの本体３１１としてグループ化される。本体３１１は、表示システム１００においてユーザ１０に表示される。本体３１１は、キャプチャされた画像に対応する。キャプチャされた画像は、カメラ１０２の視野に対応する。視野は、例えば、カメラ１０２のレンズ系によって制約される。ピクセル３０３は、境界３０１を形成するようにグループ化される。境界３０１は、画像センサデータが表示されるときに切り取られる。外部シーン１１１の視野からカメラ１０２で受信された任意の光が、カメラの画像センサによって感知され、表示されてもよいように構成されてもよい。あるいは、画像の境界３０１および本体３１１が表示されてもよい。

【0056】

追加的に、または代替的に、コントローラは、（図３に図示される）画像センサデータの１つ以上のピクセル３０４Ａ、３０４Ｂをサンプリングし、サンプリングされた１つ以上のピクセル３０４Ａ、３０４Ｂを、境界３０１の複数の光学的暗ピクセル３０３のうちの少なくとも１つに対するピクセルと対比することによって、画像センサデータにおける欠陥の存在を決定するように構成される。

【0057】

追加的に、または代替的に、コントローラは、画像センサデータの２つ以上のピクセルをサンプリングし、サンプリングされた２つ以上のピクセル３０４Ａの少なくとも１つの隣接するピクセル３０４Ｂをサンプリングすることによって、ピクセル３０４Ａ、３０４Ｂをサンプリングするように構成される。コントローラは、画像センサデータの本体３１１（例えば、画像）から２つ以上のピクセル３０４Ａ、３０４Ｂをサンプリングすることによって、ピクセル３０４Ａ、３０４Ｂをサンプリングするように構成されてもよい。コントローラは、画像センサデータの本体３１１内の全ピクセルをサンプリングするように構成されてもよい。このような場合、ある割合のピクセルがチェックに不合格となることが許容される。コントローラは、画像センサデータの本体３１１内の数十のピクセルをサンプリングするように構成されてもよい。コントローラは、本体３１１のエッジにおいて少数のピクセルをサンプリングするように構成されてもよい。本体３１１のエッジでサンプリングされたピクセルは、行／列勾配を決定するために使用されることができる。コントローラは、境界３０１を形成する光学的暗ピクセル３０３に隣接する１つ以上のピクセル３０４Ａ、３０４Ｂをサンプリングするように構成される。

【0058】

図４は、画像センサデータの完全性を監視するための方法４００の動作ステップのフローチャートを図示する。この方法４００は、画像センサの完全性を監視することができる。方法４００は、ユーザのための表示システムを参照して説明される。しかしながら、方法４００は、任意のコンピューティングシステムにおいて実行されることができ、したがって、本開示で説明される特定の実施形態に限定されない。

【0059】

ステップ４０１において、画像センサデータが受信される。画像センサデータは、画像センサから受信される。画像センサは、カメラ１０２などの画像キャプチャデバイスにおいて使用される任意の標準的な画像センサであってもよい。画像センサは、専用の画像キャプチャデバイスの一部であってもよい。例えば、画像センサは暗視カメラの一部である。画像センサは、暗視画像センサを備えてもよい。画像センサデータは、光学的暗ピクセル３０３を含む。光学的暗ピクセル３０３は、センサのエッジの周りに位置する。光学的暗ピクセル３０３は暗参照ピクセルである。ステップ４０３において、複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性が分析される。複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、複数の光学的暗ピクセルのうちの少なくとも１つの位置、または複数の光学的暗ピクセルのうちの少なくとも１つの信号レベルのうちの少なくとも１つを含む。

【0060】

ステップ４０５において、欠陥の緩和を可能にするために出力されるべき複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、画像センサデータ中の欠陥の存在が決定される。複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、複数の光学的暗ピクセル３０３のうちの少なくとも１つの位置、複数の光学的暗ピクセル３０３のうちの少なくとも１つの信号レベルのうちの少なくとも１つを含む。画像センサデータは、１つ以上のフレーム３００を備えてもよい。フレームは、２０ｍｓなどの予め定められた期間内に選択されてもよい。

【0061】

複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、信号レベルを含むことができ、画像センサデータ内の欠陥の存在を決定することは、複数の光学的暗ピクセル３０３のうちの少なくとも１つの信号レベルを、画像３１１のピクセル３０４Ａ、３０４Ｂのうちの１つ以上の信号レベルと比較することを含む。追加的に、または代替的に、複数の光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、複数の光学的暗ピクセル３０３のうちの少なくとも１つの位置を備えてもよく、画像センサデータにおける欠陥の存在を決定することは、画像センサデータの第１のフレームの複数の光学的暗ピクセル３０３のうちの少なくとも１つの位置を、画像センサデータの第２のフレームの複数の光学的暗ピクセル３０３のうちの少なくとも１つの位置と比較することを備える。

【0062】

境界３０１は、複数の光学的暗ピクセルから形成される。境界３０１の１つ以上の特性が分析され、欠陥の緩和を可能にするために出力される境界の１つ以上の特性に少なくとも部分的に基づいて、画像センサデータ内の欠陥の存在が決定される。境界３０１は、画像センサデータを受信すると、ステップ４０１において認識されてもよい。あるいは、境界３０１は、ステップ４０３で、またはステップ３１０の前に形成されてもよい。境界３０１の１つ以上の特性の分析は、ステップ４０３において、または境界３０１の形成または認識後の別個のステップとして、行われてもよい。境界３０１の１つ以上の特性は、光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性を含んでいてもよい。あるいは、光学的暗ピクセル３０３のうちの少なくとも１つの１つ以上の特性は、境界３０１に関する情報を含むことができる。

【0063】

境界３０１の１つ以上の特性は、境界の位置、境界のサイズ、又は境界における１つ以上の信号レベルのうちの少なくとも１つを含む。

【0064】

ステップ４０５において、境界３０１の１つ以上の特性に少なくとも部分的に基づいてもよい画像センサデータにおける欠陥の存在が決定される。境界の１つ以上の特性は、１つ以上の信号レベルを含むことができ、画像センサデータ内の欠陥の存在の決定は、境界の１つ以上の信号レベルを画像３１１の１つ以上の信号レベルとさらに比較する。追加的に、または代替的に、境界３０１の１つ以上の特性は、境界の位置を含み、画像センサデータ内の欠陥の存在を決定することは、画像センサデータの第１のフレームの境界の位置を画像センサデータの第２のフレームの境界の位置と比較することをさらに含む。追加的に、または代替的に、境界３０１の１つ以上の特性は、境界のサイズを含み、画像センサデータ内の欠陥の存在を決定することは、画像センサデータの第１のフレームの境界のサイズを画像センサデータの第２のフレームの境界のサイズと比較することをさらに含む。

【0065】

任意選択で、画像センサデータ内の欠陥の存在の決定の結果が出力される（ステップ４０７）。画像センサデータにおける欠陥の受容可能および／または許容可能なレベルが決定される場合、それに応答して、画像センサデータが出力される。画像データに欠陥がないと決定された場合、それに応答して、画像データが出力される。例えば、画像センサデータは、複数の光学的暗ピクセル３０３を用いずに、ディスプレイシステムを介してユーザ１０に表示される。あるいは、画像センサデータは、複数の光学的暗ピクセル３０３を有する表示システムを介してユーザ１０に表示される。表示された複数の光学的暗ピクセル３０３は、ユーザ１０に対して追加の完全性機構を提供することができる。このようにして、コントローラは、ユーザが確認画像を表示されることを可能にする。これは、処理経路のより早い段階で画像に特定のテストパターンを挿入する（例えば、画像の１つの角に十字又は同様のものを配置する）ことの代替であってもよく、その後、ユーザ１０に対して可視にされ、ユーザは、画像センサデータ（例えば、ビデオストリーム）が正しく送信されているかどうかをチェックすることができる。画像（例えば、画像センサデータを形成するピクセルの本体３１１）が表示される。表示されている画像センサデータは、本体３１１および境界３０１を含むことができる。

【0066】

画像センサデータ内に欠陥が存在すると決定された場合、それに応答して、欠陥を緩和するためのアクションが実行される。アクションは、画像センサデータを無視すること、代替画像センサデータを提供すること、画像センサデータの表示を遅延させること、車両の現在の動作を維持すること、システムにおける欠陥をユーザ及び／又は車両のシステムに警告することとのうちの１つ以上を備えていてもよい。システムの欠陥をユーザに警告するアクションは、警告メッセージを用いてディスプレイを消去すること、または欠陥のある画像センサデータに対処するためにユーザに問題をフラグアップすることを含んでいてもよい。アクションは、予め定められた期間にわたって継続してもよい。

【0067】

画像センサデータ内の欠陥の存在を決定することは、画像センサデータの１つ以上のピクセル３０４Ａ、３０４Ｂをサンプリングすることを含むことができる。サンプリングされた１つ以上のピクセル３０４Ａ、３０４Ｂのグレースケールレベルは、境界３０１の複数の光学的暗ピクセル３０３のうちの少なくとも１つのグレースケールレベルと比較される。境界３０１が認識されるか、または形成される場合、サンプリングされた１つ以上のピクセル３０４Ａ、３０４Ｂのグレースケールレベルが、境界３０１の複数の光学的暗ピクセル３０３のうちの少なくとも１つのグレースケールレベルと比較される。複数の光学的暗ピクセル３０３のうちの少なくとも１つのグレースケールレベルは、同じであってもよい。追加的に、または代替的に、サンプリングされた１つ以上のピクセル３０４Ａ、３０４Ｂは、複数の光学的暗ピクセル３０３のうちの少なくとも１つに対して対比される。境界３０１が認識または形成される場合、サンプリングされた１つ以上のピクセル３０４Ａ、３０４Ｂのグレースケールレベルは、境界３０１の複数の光学的暗ピクセル３０３のうちの少なくとも１つのグレースケールレベルに対して対比される。

【0068】

ピクセルをサンプリングすることは、画像センサデータの２つ以上のピクセル３０４Ａ、３０４Ｂをサンプリングすることを備えてもよい。サンプリングは、サンプリングされた２つ以上のピクセル３０４Ａ、３０４Ｂのうちの少なくとも１つの隣接ピクセルを選択することを含んでもよい。サンプリングされたピクセル３０４は、画像センサデータの本体３１１（例えば、画像）からのものであってもよい。

【0069】

さらなる基準ピクセルが、画像センサデータに組み込まれてもよい。例えば、記号体系または第２の画像センサデータのうちの少なくとも１つは、画像センサデータにブレンドされてもよい。コントローラは、処理経路のより早い段階で画像センサデータに基準ピクセルを挿入し、次いで、画像センサデータ（例えば、ビデオストリーム）が正しく送信されているかどうかをユーザ１０がチェックできるように、ユーザ１０に見えるようにするように構成される。このステップは、完全性監視を強化する。基準ピクセルは、１つ以上のピクセルを備えてもよい。１つ以上のピクセルは、パターンを形成してもよい。いくつかの例では、コントローラによって動的に制御される基準ピクセルのパターンが、画像センサデータに挿入されてもよい。例えば、パターンは、十字として形成され、画像の１つの角に配置されてもよい。基準ピクセルは、光学的暗ピクセルのうちのいくつかを置換してもよい。この置換は、光学的暗ピクセルが画像センサから抽出された直後に行われる。このようにして、カメラとは独立した高い完全性チェックを有することが可能であり、挿入された基準ピクセル（パターンなど）が出力されるかどうかの直接的な検証を可能にする。これにより、カメラを別個に、カメラのためのより低い完全性開発要件で、より費用効果の高い方法で開発することができる。

【0070】

「フリーズしたディスプレイ」は、ディスプレイがリフレッシュに失敗し、画像コンテンツの変更など間違った画像の表示の際に発生する。コントローラは、複数の光学的暗ピクセルのうちの少なくとも１つの値を分析して、値がノイズによって影響を受ける可能性があるときに変化があるかどうかをチェックするように構成される。画像センサデータの任意のピクセルが、この目的のために使用されてもよい。例えば、２つ以上のフレーム内の同じピクセルをチェックして、その値が変化しているかどうかを決定することができる。いくつかの例では、コントローラは、画像センサのアクティブ領域内からの１つ以上のピクセルを分析して、フリーズ効果を生み出す全体または部分的な領域における欠陥を決定するように構成される。これにより、表示システムは、予め定められた時間内に正しい画像データを表示することができる。予め定められた時間は、２０ｍｓの２つの表示フレーム期間内であってもよい。完全性システムがディスプレイシステムのフレーム期間に同期されている場合、より短い期間が設定されてもよい。いくつかの例では、予め定められた時間は、失敗を報告する性質に応じて設定されてもよい。これは、必要に応じてシステム内に追加の時間を許容することによって、完全性システムにおける柔軟性を保証する。

【0071】

画像スケーリングエラーは、第１のフレームの画像が第２のフレームの画像に対して著しく誤って配置されて見えるように、通常のサイズとは異なるサイズで外部シーン１１１の画像の表示を引き起こすかもしれない。コントローラは、光レベル、または正しく位置決めされた境界から予想される他の特性を検出することによって、画像スケーリングエラーを検出することができる。誤って配置されたピクセルは、正しく配置されたマーカのものと比較して、各位置において異なる感知光レベル又は特性をもたらすことになる。

【0072】

画像振動は、ピクセル輝度（オン／オフ）、グレースケールレベル、ピクセルのカラー又は位置の意図しない振動変化によって特徴付けられてもよい。これらの徴候のいずれも、画像センサデータのそれぞれのフレームの同じ位置で検出された光の感知された特性を分析することによって、コントローラによって検出されてもよい。いくつかのフレーム期間、例えば２０ｍｓの時間期間にわたる、位置、カラー、及び輝度は、画像振動の証拠が検出されることを可能にする。

【0073】

配置エラーは、意図しない位置における画像要素の表示によって特徴付けられる。スケーリングエラーの検出について、正しく配置された画像についてのディスプレイにおいて予期される位置における感知された差が、配置エラーの証拠を提供する。

【0074】

画像輝度欠陥は、ディスプレイの画像エリアの異なる部分において生じる絶対輝度エラー又は相対輝度エラーによって特徴付けられてもよい。画像輝度エラーは、検出されたディスプレイ輝度またはスクリーンに形成された画像の相対輝度を、予想される輝度または複数の輝度と比較することによって検出されてもよい。

【0075】

上述の命令のセットは、機械または電子プロセッサ／計算デバイスによって読み取り可能な形態で情報を記憶するための任意の機構を備えてもよいコンピュータ読取可能記憶媒体（例えば、非一時的コンピュータ読取可能記憶媒体）に埋め込まれてもよく、限定ではないが、磁気記憶媒体（例えば、フロッピー（登録商標）ディスケット）、光学記憶媒体（例えば、ＣＤ－ＲＯＭ）、光磁気記憶媒体、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルメモリ（例えば、ＥＰＲＯＭまたはＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、またはそのような情報／命令を記憶するための電気もしくは他のタイプの媒体を含む。

【0076】

本発明はいくつかの実施形態に関連して説明されたが、本明細書に記載された特定の形態に限定されることは意図されていない。むしろ、本発明の範囲は、付随する特許請求の範囲のみによって限定される。さらに、ある特徴が特定の実施形態に関連して説明されるようにみえるかもしれないが、当業者であれば、説明される実施形態の様々な特徴が本発明にしたがって組み合わされてもよいことを認識するであろう。特許請求の範囲において、「備える」という用語は、他の要素又はステップの存在を除外するものではない。

【0077】

さらに、特許請求の範囲における特徴の順序は、特徴が実行されなければならない特定の順序を暗示するものではなく、特に方法の請求項における個々のステップの順序は、ステップがこの順序で実行されなければならないことを暗示するものではない。むしろ、ステップは任意の好適な順序で実行されてもよい。さらに、単数形の言及は複数を除外するものではない。よって、「a」、「an」、「第１（first）」、「第２（second）」等の言及は複数を排除しない。特許請求の範囲において、「備える」又は「含む」という用語は、他の要素の存在を除外するものではない。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-05-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像センサデータの完全性を監視するための完全性モニタであって、
画像センサデータを生成するように構成された画像センサと、ここで、前記画像センサデータは、シーンを表す画像と、前記画像に対して予め定められた位置にある複数の光学的暗ピクセル（３０３）とを含み、
コントローラとを備え、
前記コントローラは、
前記画像センサデータの前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析（４０３）し、
欠陥の軽減を可能にするために出力される前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ内の欠陥の存在を決定（４０５）するように構成されている、完全性モニタ。

【請求項2】

前記コントローラは、
前記画像センサデータにおける欠陥の存在の決定の結果を出力（４０７）するようにさらに構成されている、請求項１に記載の完全性モニタ。

【請求項3】

前記コントローラは、
前記画像センサデータにおける欠陥の存在が受容可能なレベルにあると決定したことに応答して、前記画像センサデータを出力するようにさらに構成されている、請求項１または２に記載の完全性モニタ。

【請求項4】

ユーザに検証画像を提供するように、前記複数の光学的暗ピクセル（３０３）を有する前記画像センサデータを前記ユーザ（１０）に表示するように構成されたディスプレイをさらに備える、請求項１または２に記載の完全性モニタ。

【請求項5】

前記コントローラは、前記画像センサデータにおける欠陥の存在の前記決定に応答して、前記欠陥を軽減するためのアクションを引き起こすかまたは実行するための信号を出力するように構成される、請求項１または２に記載の完全性モニタ。

【請求項6】

前記アクションは、
前記画像センサデータを無視することと、
交換用画像センサデータを提供することと、
前記画像センサデータの表示を遅延させることと、
車両の現在の動作を維持することと、
システムの欠陥をユーザ及び／又は前記車両のシステムに警告することとのうちの１つ以上を備える、請求項５に記載の完全性モニタ。

【請求項7】

前記コントローラは、記号または第２の画像センサデータのうちの少なくとも１つを前記画像センサデータに混合するように構成される、請求項１または２に記載の完全性モニタ。

【請求項8】

前記コントローラは、
前記画像センサデータの１つ以上のピクセル（３０４Ａ、３０４Ｂ）をサンプリングするようにさらに構成され、
前記サンプリングされた１つ以上のピクセル（３０４Ａ、３０４Ｂ）のグレースケールレベルを、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つのグレースケールレベルと比較すること、または
前記サンプリングされた１つ以上のピクセルを、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つに対して対比することのうちの少なくとも１つを実行するように構成されている、請求項１または２に記載の完全性モニタ。

【請求項9】

前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの１つ以上の特性は、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの位置、又は前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの信号レベルのうちの少なくとも１つを備える、請求項１または２に記載の完全性モニタ。

【請求項10】

前記コントローラは、
前記複数の光学的暗ピクセル（３０３）から形成される境界（３０１）を決定するように構成され、
前記境界の１つ以上の特性を分析し、
前記欠陥の軽減を可能にするために出力されるべき前記境界の１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ中の欠陥の前記存在を決定するようにさらに構成されている、請求項１または２に記載の完全性モニタ。

【請求項11】

前記境界（３０１）の１つ以上の特性は、前記境界の位置、前記境界のサイズ、または前記境界における１つ以上の信号レベルのうちの少なくとも１つを備える、請求項１０に記載の完全性モニタ。

【請求項12】

画像センサデータの完全性を監視るための方法であって、前記方法は、
画像センサデータを受信すること（４０１）と、ここで、前記画像センサデータは、シーンを表す画像と、前記画像に対して予め定められた位置にある複数の光学的暗ピクセルとを含み、
前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析すること（４０３）と、
欠陥の軽減を可能にするために出力される前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ内の欠陥の存在を決定すること（４０５）とを備える、方法。

【請求項13】

前記画像センサデータ内の欠陥の存在の決定の結果を出力すること（４０７）をさらに備える、請求項１２記載の方法。

【請求項14】

前記画像センサデータ内の欠陥の存在が受容可能なレベルにあると決定したことに応答して、前記画像センサデータを出力すること、および／または
前記画像センサデータ中の欠陥の存在の決定に応答して、前記欠陥を緩和するためのアクションを実行することとをさらに備える、請求項１３に記載の方法。

【請求項15】

請求項１または２に記載の完全性モニタを備える車両。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正の内容】

【0077】

さらに、特許請求の範囲における特徴の順序は、特徴が実行されなければならない特定の順序を暗示するものではなく、特に方法の請求項における個々のステップの順序は、ステップがこの順序で実行されなければならないことを暗示するものではない。むしろ、ステップは任意の好適な順序で実行されてもよい。さらに、単数形の言及は複数を除外するものではない。よって、「a」、「an」、「第１（first）」、「第２（second）」等の言及は複数を排除しない。特許請求の範囲において、「備える」又は「含む」という用語は、他の要素の存在を除外するものではない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ 画像センサデータの完全性を監視するための完全性モニタであって、
画像センサデータを生成するように構成された画像センサと、ここで、前記画像センサデータは、シーンを表す画像と、前記画像に対して予め定められた位置にある複数の光学的暗ピクセル（３０３）とを含み、
コントローラとを備え、
前記コントローラは、
前記画像センサデータの前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析（４０３）し、
欠陥の軽減を可能にするために出力される前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ内の欠陥の存在を決定（４０５）するように構成されている、完全性モニタ。
［２］ 前記コントローラは、
前記画像センサデータにおける欠陥の存在の決定の結果を出力（４０７）するようにさらに構成されている、［１］に記載の完全性モニタ。
［３］ 前記コントローラは、
前記画像センサデータにおける欠陥の存在が受容可能なレベルにあると決定したことに応答して、前記画像センサデータを出力するようにさらに構成されている、［１］または［２］に記載の完全性モニタ。
［４］ ユーザに検証画像を提供するように、前記複数の光学的暗ピクセル（３０３）を有する前記画像センサデータを前記ユーザ（１０）に表示するように構成されたディスプレイをさらに備える、［１］から［３］のいずれか一項に記載の完全性モニタ。
［５］ 前記コントローラは、前記画像センサデータにおける欠陥の存在の前記決定に応答して、前記欠陥を軽減するためのアクションを引き起こすかまたは実行するための信号を出力するように構成される、［１］から［４］のいずれか一項に記載の完全性モニタ。
［６］ 前記アクションは、
前記画像センサデータを無視することと、
交換用画像センサデータを提供することと、
前記画像センサデータの表示を遅延させることと、
車両の現在の動作を維持することと、
システムの欠陥をユーザ及び／又は前記車両のシステムに警告することとのうちの１つ以上を備える、［５］に記載の完全性モニタ。
［７］ 前記コントローラは、記号または第２の画像センサデータのうちの少なくとも１つを前記画像センサデータに混合するように構成される、［１］から［６］のいずれか一項に記載の完全性モニタ。
［８］ 前記コントローラは、
前記画像センサデータの１つ以上のピクセル（３０４Ａ、３０４Ｂ）をサンプリングするようにさらに構成され、
前記サンプリングされた１つ以上のピクセル（３０４Ａ、３０４Ｂ）のグレースケールレベルを、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つのグレースケールレベルと比較すること、または
前記サンプリングされた１つ以上のピクセルを、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つに対して対比することのうちの少なくとも１つを実行するように構成されている、［１］から［７］のいずれか一項に記載の完全性モニタ。
［９］ 前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの１つ以上の特性は、前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの位置、又は前記複数の光学的暗ピクセル（３０３）のうちの少なくとも１つの信号レベルのうちの少なくとも１つを備える、［１］から［８］のいずれか一項に記載の完全性モニタ。
［１０］ 前記コントローラは、
前記複数の光学的暗ピクセル（３０３）から形成される境界（３０１）を決定するように構成され、
前記境界の１つ以上の特性を分析し、
前記欠陥の軽減を可能にするために出力されるべき前記境界の１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ中の欠陥の前記存在を決定するようにさらに構成されている、［１］から［９］のいずれか一項に記載の完全性モニタ。
［１１］ 前記境界（３０１）の１つ以上の特性は、前記境界の位置、前記境界のサイズ、または前記境界における１つ以上の信号レベルのうちの少なくとも１つを備える、［１０］に記載の完全性モニタ。
［１２］ 画像センサデータの完全性を監視るための方法であって、前記方法は、
画像センサデータを受信すること（４０１）と、ここで、前記画像センサデータは、シーンを表す画像と、前記画像に対して予め定められた位置にある複数の光学的暗ピクセルとを含み、
前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性を分析すること（４０３）と、
欠陥の軽減を可能にするために出力される前記複数の光学的暗ピクセルのうちの少なくとも１つの１つ以上の特性に少なくとも部分的に基づいて、前記画像センサデータ内の欠陥の存在を決定すること（４０５）とを備える、方法。
［１３］ 前記画像センサデータ内の欠陥の存在の決定の結果を出力すること（４０７）をさらに備える、［１２］記載の方法。
［１４］ 前記画像センサデータ内の欠陥の存在が受容可能なレベルにあると決定したことに応答して、前記画像センサデータを出力すること、および／または
前記画像センサデータ中の欠陥の存在の決定に応答して、前記欠陥を緩和するためのアクションを実行することとをさらに備える、［１３］に記載の方法。
［１５］ ［１］から［１１］のいずれか一項に記載の完全性モニタを備える車両。

【国際調査報告】