特許 7190473 追加のデータを注入する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-07

(45)【発行日】2022-12-15

(54)【発明の名称】追加のデータを注入する方法

(51)【国際特許分類】

   G06F 16/58 20190101AFI20221208BHJP

   H04N 7/083 20060101ALI20221208BHJP

   H04N 7/08 20060101ALI20221208BHJP

   H04N 5/232 20060101ALI20221208BHJP

【ＦＩ】

G06F16/58

H04N7/083

H04N7/08

H04N5/232 290

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2020201620

(22)【出願日】2020-12-04

(65)【公開番号】P2021108113

(43)【公開日】2021-07-29

【審査請求日】2022-01-25

(31)【優先権主張番号】19217338

(32)【優先日】2019-12-18

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】アルム， カール－アクセル

【審査官】酒井 恭信

(56)【参考文献】

【文献】特開平０９－０１８７９０（ＪＰ，Ａ）

【文献】特開平０８－２９４０３３（ＪＰ，Ａ）

【文献】特開平０５－０８３６３２（ＪＰ，Ａ）

【文献】特開２０１２－１３８８７５（ＪＰ，Ａ）

【文献】特許第６４７９２４５（ＪＰ，Ｂ１）

【文献】国際公開第２０１９／０２６３６２（ＷＯ，Ａ１）

【文献】特開平０８－０６３１３６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１２１６７６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／０８ － ７／０８８

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｆ １６／５８

(57)【特許請求の範囲】

【請求項1】

画像センサーデバイス中の１つまたは複数の画像センサーフレーム中に追加のデータを注入する方法であって、前記方法は、
データプロバイダが数列の形態で追加のデータを前記画像センサーデバイス、画像プロセッサ、またはコントローラに与えること（ステップ８０１）と、
前記画像センサーデバイスから前記１つまたは複数の画像センサーフレームを送信する前に、前記数列を表すように、前記画像センサーデバイス中の前記１つまたは複数の画像センサーフレーム中のアクティブな画像センサーデータに後続するブランキング間隔の長さを、前記画像センサーデバイス自体、画像プロセッサ、またはコントローラによって制御すること（ステップ８０２）と、
前記画像センサーデバイスが前記画像プロセッサを介して、前記１つまたは複数の画像センサーフレームを送信すること（ステップ８０７）と
を含む、方法。

【請求項2】

前記追加のデータを表す前記数列を識別するために前記後続するブランキング間隔の前記長さを決定する間、前記送信された１つまたは複数の画像センサーフレームを受信すること（ステップ８０３）と、
前記追加のデータを含めるために、前記受信された１つまたは複数の画像センサーフレーム中のアクティブな画像センサーデータを修正すること（ステップ８０５）と
をさらに含み、
前記ステップ８０３および前記ステップ８０５が前記画像プロセッサによって実行される、請求項１に記載の方法。

【請求項3】

アクティブな画像センサーデータを修正する（ステップ８０５）前に、前記数列を追加のデータのタイプに関連する形式に変換すること（ステップ８０４）をさらに含み、
前記ステップ８０４が前記画像プロセッサによって実行される、請求項２に記載の方法。

【請求項4】

前記受信された１つまたは複数の画像センサーフレーム中のアクティブな画像センサーデータを修正する前記ステップ８０５が、前記追加のデータをオーバーレイ信号としてまたは埋込み信号として含めることを含む、請求項２または３に記載の方法。

【請求項5】

前記追加のデータは、前記１つまたは複数の画像センサーフレームが収集される時点についての現在の条件を示す、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記追加のデータが、時間、日付、または位置を示す、請求項５に記載の方法。

【請求項7】

前記追加のデータが前記画像プロセッサ中に与えられ、前記後続するブランキング間隔の長さが前記画像プロセッサによって制御される、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記数列が２進数列である、請求項１から７のいずれか一項に記載の方法。

【請求項9】

画像センサーフレームの送信が同じ量のクロックサイクルを取るように、補償のための、前記後続するブランキング間隔以外の、１つまたは複数のブランキング間隔の長さを制御することをさらに含む、請求項１から８のいずれか一項に記載の方法。

【請求項10】

数列を表すように、１つまたは複数の画像センサーフレーム中のアクティブな画像センサーデータに後続するブランキング間隔の長さを制御することによって前記１つまたは複数の画像センサーフレーム中に数列の形態で与えられる、追加のデータを注入するように適応された画像プロセッサ（１２、７２）。

【請求項11】

前記追加のデータを表す前記数列を識別するために、前記後続するブランキング間隔の前記長さを決定する間、画像センサーデバイス（１０、７０）から前記１つまたは複数の画像センサーフレームを受信し、
前記追加のデータを含めるために前記受信された１つまたは複数の画像センサーフレーム中のアクティブな画像センサーデータを修正するようにさらに適応された、請求項１０に記載の画像プロセッサ（１２、７２）。

【請求項12】

請求項１１に記載の画像センサーデバイス（１０、７０）と画像プロセッサ（１２、７２）とを備えるシステム（１、７）。

【請求項13】

評価デバイスをさらに備え、
前記画像プロセッサ（１２、７２）が、前記修正されたアクティブな画像センサーデータを前記評価デバイスに送信するようにさらに適応され、前記含められた追加のデータは、前記１つまたは複数の画像センサーフレームが収集されたときについての時間または位置の形態にあり、
前記評価デバイスは、前記追加のデータの前記時間または前記位置が所定のしきい値を超えて現在の時間または現在の位置と異なるかどうかを決定するように適応され、そうである場合、前記受信された修正されたアクティブな画像センサーデータが古いことをユーザに示すためにアラームアクションをトリガする、請求項１２に記載のシステム（１、７）。

【請求項14】

アラームアクションをトリガするステップが、ディスプレイ（７５）上の前記受信された修正されたアクティブな画像センサーデータの表示を控えることまたはキャンセルするアクションと、ディスプレイ（７５）上に光る様式で前記受信された修正されたアクティブな画像センサーデータを表示するアクションと、ディスプレイ（７５）上に指示を表示するアクションと、照明器（７９）をアクティブ化するアクションと、スピーカー（７７）によって音を再生するアクションとのうちの１つまたは複数をトリガすることを含む、請求項１３に記載のシステム（１、７）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像センサーデータに追加のデータを追加する分野に関する。

【背景技術】

【0002】

画像センサーデバイスはイメージングの分野における基本構成要素である。画像センサーデバイスは、ハードウェア構成要素、すなわち画像センサーと、画像センサーからの読出し（readout）を、画像センサーデータを表す信号に変換する処理構成要素とを備える。画像センサーデータからの読出しは画像センサーフレームと呼ばれ、１つの画像センサーフレームが画像センサーの１つの読出しサイクルを表す。電子画像センサーのよく知られている例はＣＣＤセンサーおよびＣＭＯＳセンサーを含む。

【0003】

一般的な標準センサーと、しばしば特定の技術分野に適応された特別に設計されたセンサーとを含む、画像センサーハードウェアの広いバリエーションが存在する。たとえば、画像センサーデバイスが、画像特性に関するデータを追加するために使用し得る、余分のセンサー行または列をもつセンサーハードウェアが存在する。そのような規格外のセンサーの問題は、それらのセンサーが特別にコストがかかり得ること、および処理のための画像センサーフレームを受信する画像プロセッサの適応が、受信されたデータを正しく解釈するために修正される必要があることである。

【0004】

イメージングは、一般に、多くの分野、たとえば監督／監視、診察、および建設において広く使用されているツールである。多くのアプリケーションにおいて、画像センサーデータを信用することが可能であることが重要である。たとえば、ビデオのライブと思われるビューが事実上ライブであり、遅延していないこと、または、画像が、仮定される画像センサーによって記録され、交換されていない、もしくは別の画像センサーから来ていること。この目的で、画像の検証は有用である。画像センサーデータを改ざんする方法がますます一般的になっているとき、この状況について考えることはますます重要になる。その上、画像品質が高まるにつれて、画像センサーデータの処理時間も、より高い遅延危険とともに増加し得る。明らかに、画像センサーデータの検証を助けるための方法およびデバイスが必要である。

【発明の概要】

【0005】

本発明の目的は、画像センサーデータの検証において使用するための方法を提供することである。検証の目的は、ライブビューを検証すること、または画像もしくはビデオの信ぴょう性（authenticity）を検証することであり得る。

【0006】

第１の態様によれば、これらおよび他の目的は、画像センサーデバイス中の１つまたは複数の画像センサーフレーム中に追加のデータを注入する方法によって、完全にまたは少なくとも部分的に達成され、本方法は、
・数列（numeric sequence）の形態で追加のデータを与えることと、
・数列を表すように、画像センサーデバイス中の１つまたは複数の画像センサーフレーム中の後続のブランキング間隔（blanking interval）の長さを制御することと、
・画像センサーデバイスから１つまたは複数の画像センサーフレームを送信することと
を含む。

【0007】

本発明は、したがって、すでに画像センサーデバイスからの１つまたは複数の画像センサーフレームの送信の前を意味する、初期段階において、対応する１つまたは複数の画像センサーフレーム中に追加のデータを注入することによって追加のデータを画像センサーデータと関連付けるための方法である。注入は、アクティブな画像センサーデータを含む１つまたは複数の画像センサーフレーム中の後続のブランキング間隔の長さを制御することによって実現される。アクティブな画像センサーデータとは、画像センサーから読み取られるピクセル値に対応し、シーンから受け取られる光の量に対応するデータを意味する。各画像センサーフレームは、たとえば、マージンピクセル値、同期データ、フレームヘッダ、フレームフッタなどをも含み得る。画像センサーは、画像センサーデータを読み取り、送信するための必要な回路を備える画像センサーデバイス中に位置する。

【0008】

長さの制御は、メッセージ、すなわち、後続のブランキング間隔の長さ変動のシーケンスの意味を定義する所定の通信プロトコルに従って実行される。通信プロトコルの厳密な形態は本発明のために本質的でなく、機能するプロトコルをどのように設計するべきかは当業者によく知られている。

【0009】

したがって、本発明は、注入を可能にするために標準化された技法を利用する。特別に設計されたセンサーハードウェアは必要とされない。その上、アクティブな画像センサーデータは、追加のデータの注入を可能にする目的で修正も拡張もされない。したがって、アクティブな画像センサーデータは、標準様式で、すなわち、アクティブな画像センサーデータをどのように解釈するべきかに関する特殊な設計または適応なしに（画像プロセッサなど）処理または記憶デバイスによって解釈され得る。数列を受信することが可能であることを必要とされる処理または記憶デバイスの適応は、アクティブな画像センサーデータの受信に影響を及ぼさないプロセスである。代わりに、数列は、１つまたは複数の画像センサーフレームを受信するときに後続のブランキング間隔の長さを決定することによって、受信され得る。長さは、各後続のブランキング間隔のクロックサイクルの数をカウントすることによって決定され得、クロックサイクルの数はブランキング間隔の長さに対応する。後続のブランキング間隔の長さを決定する他の方法が可能であり得る。

【0010】

通信プロトコル（すなわち、後続のブランキング間隔の長さにおいてどのように数列が成形され、表されるか）がわかっていれば、処理または記憶デバイスは、数列を受信し、理解することができる。通信プロトコルは画像センサーデバイスと処理または記憶デバイスの両方によって知られ得る。

【0011】

ブランキング間隔は、画像センサーの技術分野内でよく知られている用語である。ブランキング間隔は、アクティブな画像センサーデータの送信の期間の後、および次の行のまたは次の画像センサーフレームの画像センサー読出しを開始する前に生じる遅延期間である。本発明は、後続の水平ブランキング間隔または後続の垂直ブランキング間隔の長さを制御することを含み得る。後続のブランキング間隔とは、互いの後に画像センサーデバイスから送信されるブランキング間隔の単一のグループまたは複数のグループを意味する。後続のブランキング間隔は、１つまたは複数の画像センサーフレーム中に隣接して位置する必要がない。しかしながら、後続のブランキング間隔は、数列と同じ順序で長さ制御され得、すなわち、第１の後続の間隔は、数列中の第１の値に対応する長さを有し、第２の後続の間隔は、数列中の第２の値に対応する長さを有するなどである。

【0012】

後続のブランキング間隔は単一の画像センサーフレーム内に位置し得る。そのような実施形態では、長さの制御は後続の水平ブランキング間隔で行われることが好ましい。代替的に、後続のブランキング間隔は複数の（すなわち２つ以上の）画像センサーフレーム中に位置し得る。そのような実施形態では、後続のブランキング間隔は、異なる画像センサーフレームの間で変動し得、すなわち、第１の画像センサーフレーム中の後続のブランキング間隔の第１のグループは同じ第１の長さを有し、第２の画像センサーフレーム中の後続のブランキング間隔の第２のグループは同じ第２の長さを有するなどである。言い換えれば、各画像センサーフレームについて、ブランキング間隔長さは数列に応じて変動し得る。画像センサーフレームのシーケンスを受信することによって、ブランキング間隔長さの変動、したがって数列も受信され得る。これは、長さの制御が後続の垂直ブランキング間隔で行われるとき、好ましい実施形態である。

【0013】

詳細に開示するように、ブランキング間隔の長さを制御するステップは様々な方法で行われ得る。たとえば、長さは、水平同期または垂直同期のための信号のタイミングを制御することによって制御され得る。

【0014】

一実施形態によれば、１つまたは複数の画像センサーフレームは、画像プロセッサであり得る処理または記憶デバイスによって受信され得る。追加のデータは、数列を識別するために後続のブランキング間隔の長さを決定することによって導出される。長さは、たとえば、たとえば行の最後の画像センサーデータと、次の行の第１の画像センサーデータとの間の遅延期間、いくつのクロックサイクルがあるかをカウントすることによって決定される。画像センサーフレームを送信するためのいくつかのプロトコルでは、ブランキング間隔は、たとえば、事前定義された様式でデータストリーム中に表されることによって認識可能である。

【0015】

画像プロセッサ、または他の処理もしくは記憶デバイスは画像センサーデバイスと同じデバイス中に位置し得る。したがって、１つまたは複数の画像センサーデータを送信することとは、たとえば、共通のデバイスの異なる機能を処理する異なるハードウェアおよび／またはソフトウェア回路間で、同じデバイス内で送信することを意味し得る。共通のデバイスは、画像センサー回路（すなわち画像センサーボード）をもつ画像センサーと画像処理チップの両方を備えるカメラのオプティクス（optics）ユニットであり得、画像フレームが画像センサーボードから画像処理チップに送信される。

【0016】

受信された１つまたは複数の画像センサーフレームのアクティブな画像センサーデータ中に追加のデータを含めることまたは埋め込むことが有益であることがわかっている。追加のデータは、１つまたは複数の画像センサーフレームのすべてまたは選択物のアクティブな画像センサーデータ中に含められ得る。

【0017】

アクティブな画像センサーデータ中に追加のデータを含めることによって、追加のデータは、前方へ送信されているときに、それの関連するアクティブな画像センサーデータとのより強い関連を有し、そのアクティブな画像センサーデータに続く。これらの目的のために、本方法は、
・追加のデータを表す数列を識別するために、後続のブランキング間隔の長さ（すなわちクロックサイクルの数）を決定する間に、送信された１つまたは複数の画像センサーフレームを受信することと、
・追加のデータを含めるために、受信された１つまたは複数の画像センサーフレーム中のアクティブな画像センサーデータを修正することと
をさらに含み得る。

【0018】

開示されるように、処理または記憶デバイスは、追加のデータがどのように挿入されるか、すなわち、追加のデータが読み取られ得るように、１つまたは複数の画像センサーフレームのどのブランキング間隔が長さ制御されるかを定義する、通信プロトコルの知識を持ち得る。処理または記憶デバイスが長さの制御を実行する一実施形態では、処理または記憶デバイスはこのプロトコルの知識を有し、画像センサーデバイスはこのプロトコルの知識を有しないことで十分である。代替的に、別のデバイス（たとえば、画像センサーデバイス）が長さを制御し得る。そのような実施形態では、通信プロトコルは処理または記憶デバイスと共有される。

【0019】

アクティブな画像センサーデータを修正する前に、数列は、追加のデータのタイプと関連する形式に変換され得る。たとえば、追加のデータがタイムスタンプを形成する場合、数列は、［時：分：秒］など、時間形式に変換される。追加のデータがテキストを形成する場合、数列はテキスト形式に変換される。この目的で、本方法の実施形態は、アクティブな画像センサーデータを修正する前に、数列を追加のデータのタイプと関連する形式に変換するステップを含み得る。

【0020】

追加のデータは、どんな表現においても、アクティブな画像センサーデータ中にオーバーレイとしてまたは埋込み信号として含められ得る。たとえば、テキストまたはタイムスタンプの形態の追加のデータが文字／数のオーバーレイとして含められ得る。オーバーレイは、好ましくは、表示されたときにユーザに見える。埋込み信号は、しかしながら、好ましくは、表示されたアクティブな画像センサーデータ中におおよそ隠され得る。埋込み信号は、所定の様式で、アクティブな画像センサーデータの一部の中のピクセル値を変動させることによって達成され得る。埋込み信号は、処理または記憶デバイスから直接または間接的にアクティブな画像センサーデータを受信する評価デバイスによって解釈され得る。

【0021】

代替的に、追加のデータは、アクティブな画像センサーデータの（たとえば、ＪＰＥＧ画像ファイルのヘッダ中の）メタデータとして含められ、たとえば、ディスプレイデバイスなどの評価デバイスに送信され得る。

【0022】

追加のデータに関して、これらは、１つまたは複数の画像センサーフレームが収集される時点についての現在の状態を示し得る。たとえば、時間、日付、画像センサーデバイスの位置、または（固有の画像センサーフィンガープリント、または画像センサーのソフトウェア／ハードウェアバージョンを含む）画像センサー特性。現在の状態は、時間および位置のように、頻繁に変化し、静的であるか、またはソフトウェアバージョン（まれに変化する）、画像センサー通し番号（静的）、および画像センサー特性（静的またはまれに変化する）のように、まれに変化し得る。

【0023】

追加のデータは、処理または記憶デバイス、たとえば画像プロセッサ中に与えられ得る。そのような実施形態では、後続のブランキング間隔の長さは処理または記憶デバイスによって制御される。この実施形態における利点は、画像センサーデバイスの修正が必要とされないこと、および上記で説明した通信プロトコルが処理または記憶デバイスの外側で共有される必要がないことである。これらの利点の各々は、低複雑で容易に実装されるソリューションに寄与する。

【0024】

画像プロセッサが処理または記憶デバイスとして働き得る特定の実施形態では、後続のブランキング間隔は、たとえば、制御信号、水平同期信号、または垂直同期信号を介して制御され得る。これらの信号は、知られており、画像プロセッサによって画像センサーデバイス制御の様々な標準実装形態において実装される。

【0025】

代替実施形態では、追加のデータは画像センサーデバイス中に与えられ、後続のブランキング間隔の長さは画像センサーデバイスによって制御される。

【0026】

追加のデータがどのデバイス中に与えられるかにかかわらず、追加のデータは、グローバルもしくはローカルシステムクロック、または（ＧＰＳデバイスなど）ＧＮＳＳデバイスによって供給されるか、またはそれからフェッチされ得る。

【0027】

数列に関して、これは２進数列として与えられ得る。この実施形態の利点は、後続のブランキング間隔の長さが、互いに対して、１クロックサイクルである、１長さ単位を超えて変動させられないことである。これにより、ブランキング間隔の長さへの影響を最小にすることが可能になり、完全な画像センサーフレームの送信が取るクロックサイクルの総量の影響が最小になる。画像センサーフレームの送信は同数のクロックサイクルを取ることが好ましいことがある。したがって、本方法によってブランキング間隔の長さ変動のサイズを低減することが有益である。

【0028】

画像センサーフレームの各送信当たりの必要とされる一定数のクロックサイクルを与える目的で、本方法は、補償のために、後続のブランキング間隔以外の、１つまたは複数のブランキング間隔の長さを修正することをさらに含み得る。言い換えれば、（追加の情報を注入する目的で修正されない）いくつかのブランキング間隔は補償目的で修正される。補償ブランキング間隔は、好ましくは、（追加の情報を注入する目的で修正される）後続のブランキング間隔の間に位置し、好ましくは、後続のブランキング間隔の変動を徐々に補償するように適応される。

【0029】

本発明の第２の態様によれば、数列を表すように１つまたは複数の画像センサーフレーム中の後続のブランキング間隔の長さを制御することによって、１つまたは複数の画像センサーフレーム中に数列の形態で与えられた追加のデータを注入するように適応された画像プロセッサが提供される。第２の態様の画像プロセッサは、一般に、付随する利点をもつ第１の態様の方法と同様に実施され得る。たとえば、画像プロセッサは、さらに、追加のデータを表す数列を識別するために後続のブランキング間隔の長さを決定する間、画像センサーデバイスから１つまたは複数の画像センサーフレームを受信し、追加のデータを含めるために、受信されたアクティブな画像センサーデータを修正し、追加のデータを含めるために、受信された１つまたは複数の画像センサーフレーム中のアクティブな画像センサーデータを修正するように適応され得る。

【0030】

本発明の第３の態様によれば、画像センサーデバイスと画像プロセッサとを備えるシステムが提供され、画像プロセッサは第２の態様に従って構成される。画像センサーデバイスおよび画像プロセッサは、単一のデバイス（たとえばカメラデバイス）の一部であるか、または別個の、通信可能に結合されたデバイスの一部であり得る。

【0031】

本システムは、たとえばディスプレイデバイスの形態の評価デバイスをさらに備え得る。画像プロセッサは、１つまたは複数の画像センサーフレームの（修正された）アクティブな画像センサーデータを評価デバイスに送信するように適応され得、含められた追加のデータは、１つまたは複数の画像センサーフレームが収集された時間またはその時間における位置の形態である。評価デバイスは、追加のデータの時間または位置が所定のしきい値を超えて現在の時間または現在の位置と異なるかどうかを決定するように適応され、そうである場合、受信されたアクティブな画像フレームデータが古い、すなわち所定の寿命（たとえば１秒）よりも古いことをユーザに示すためにアラームアクションをトリガするように適応され得る。これは、画像センサーデバイス（たとえばカメラデバイス）によってキャプチャされた画像またはビデオに基づいてセーフティクリティカルな決定を行うときに、セキュリティを高めるために好適である特定のシステム構成である。そのようなシステムの非限定的な例は、バスドア制御、車両カメラ（特にリアカメラ）、および診察を含む。

【0032】

アラームアクションをトリガするステップは、ディスプレイ上の受信された修正されたアクティブな画像センサーデータの表示を控えるまたはキャンセルするアクションと、ディスプレイ上に、光る様式で、受信された修正されたアクティブな画像センサーデータを表示するアクションと、ディスプレイ上に指示を表示するアクションと、照明器をアクティブ化するアクションと、スピーカーによって音を再生するアクションとのうちの１つまたは複数をトリガすることを含む。ディスプレイ、照明器、および／またはスピーカーは評価デバイスの一部であり得る。

【0033】

以下で与えられる詳細な説明から、本発明の利用可能性のさらなる範囲が明らかになろう。しかしながら、詳細な説明および具体的な例は、本発明の範囲内の様々な変更および改変がこの詳細な説明から当業者に明らかになるので、本発明の好ましい実施形態を示しながら、単に例として与えられることを理解されたい。

【0034】

したがって、本発明は、説明されたデバイスおよび説明された方法は変動し得るので、そのようなデバイスまたは方法のステップの特定の構成部分に限定されないことを理解されたい。また、本明細書で使用する用語は、特定の実施形態のみについて説明する目的であり、限定的なものではないことを理解されたい。本明細書および添付の請求項において使用する際、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「前記」は、コンテキストが別段に明示しない限り、要素のうちの１つまたは複数があることを意味するものであることに留意しなければならない。したがって、たとえば、「物体（an object）」または「物体（the object）」への言及はいくつかの物体などを含み得る。さらに、「備える」という単語は他の要素またはステップを除外しない。

【0035】

次に、例として、付随する概略図を参照しながら、本発明についてより詳細に説明する。

【図面の簡単な説明】

【0036】

【図1】画像センサーデバイスと画像プロセッサとをもつシステムの概観の図である。

【図2】画像センサーフレームを示す図である。

【図3】画像センサーフレームがどのように送信され得るかを示す図である。

【図4】画像センサーフレームがどのように送信され得るかを示す図である。

【図5】画像センサーフレームがどのように送信され得るかを示す図である。

【図6】異なる実施形態による、含められた追加のデータをもつアクティブな画像センサーデータを示す図である。

【図7】バス中に実装される一実施形態によるシステムを示す図である。

【図8】本発明の一実施形態による方法を示す図である。

【発明を実施するための形態】

【0037】

図に示されているように、領域のサイズは、説明の目的で誇張され得、したがって、一般的な構造を示すために与えられる。

【0038】

次に、図１および図８を参照しながら、本発明の一般的な概念の概観を開示する。

【0039】

図１は、画像センサーデバイス１０と、画像プロセッサ１２と、随意のコントローラ１４と、随意の外部データプロバイダ１６とを含む、画像キャプチャシステム１の一部を示す。図８は、画像センサーデバイス、たとえば、画像センサーデバイス１０中の１つまたは複数の画像センサーフレーム中に追加のデータを注入する方法８を示す。

【0040】

本発明は、初期段階において、画像センサーフレームの１つのまたはグループに追加のデータを追加することが有益であり得、追加のデータが、１つまたは複数の画像センサーフレームのブランキング間隔を修正することによって注入され得るという認識に基づく。次に、これがどのように行われ得るかを開示する。

【0041】

最初に、追加のデータが与えられる（８０１）。追加のデータは数列の形態である。このステップ（８０１）の前には、元の形態、たとえば時間形式または日付形式で追加のデータを与えるステップと、追加のデータをそれの元の形式から数列に変換するステップとが行われ得る。これらの先行するステップはシステム１の好適な一部によって実行され得る。追加のデータは、画像センサー１０、画像プロセッサ１２、またはコントローラ１４の中に与えられる（８０１）。より詳細には、追加のデータは、１つまたは複数の画像センサーフレーム中への追加のデータの注入を制御すべき、画像キャプチャシステム１の一部中に与えられる（８０１）。制御は、画像センサー１０、画像プロセッサ１２によって、または、ここではコントローラ１４によって表される外部デバイスによって実行され得る。

【0042】

追加のデータの供給８０１と並行して、画像センサーデバイス１０の通常動作に従って、アクティブな画像センサーデータが画像センサーデバイス１０中の画像センサーによってキャプチャされる。画像センサーは従来の構造および機能のものである。したがって、画像センサーは、視界からの受信された光を、アクティブな画像センサーデータを形成する電気信号に変換する。画像センサーは一般に矩形形状を有し、それの行および列の数が画像センサーのサイズを定義する。画像センサーの主要部は、アクティブな画像センサーデータを生成するように構成され得、画像センサーは、視界中のシーンを示すこと以外の目的のために使用される１つまたは複数のマージンエリアをも含み得る。

【0043】

図２は、水平（Ｈ）軸および垂直（Ｖ）軸の座標系において提示された画像センサーフレーム２０の例を示す。画像センサーフレーム２０はいくつかの水平行および垂直列から形成される。画像センサーフレーム２０は、アクティブな画像センサーデータをもつ主エリア２２と、マージンエリア２４とを備える。主エリア２２は、後で対応する画像フレームの視覚部を形成するピクセル値を備え、（たとえば）Ｈ１９２０×Ｖ１０８０のサイズを有し得る。マージンエリア２４は、カラー補償、光分析、イメージスタビライゼーションなどのために使用され得るピクセル値を備える。画像センサーフレーム２０はまた、水平ブランキング間隔のエリアおよび垂直ブランキング間隔のエリア（それぞれ、ＨＢＬＡＮＫおよびＶＢＬＡＮＫ）を備えるブランキングエリア２６を備える。この一般的な例の画像センサーフレーム２０は画像センサーフレーム２０の従来の構造に従う。画像センサーフレームの他の従来の形態が可能であることに留意されたい。たとえば、マージンエリア２４は、異なるサイズを有し得、および／または上記で与えられた例以外の情報を備え得る。

【0044】

図１に戻ると、画像センサーの読出しの生成物である画像センサーフレーム２０は、１００によって示されているように、画像センサーデバイス１０から画像プロセッサ１２に送信される。本発明の一般的な概念は、画像センサーフレーム２０を送信する前に、画像センサーを読み取るときに画像センサーフレーム２０中に追加のデータを含めることである。これは、画像センサーフレーム２０中に追加のデータの表現を注入することによって行われ、それについては後でより詳細に開示する。そのような初期段階において追加のデータを（主エリア２２の）アクティブな画像センサーデータと関連付けることによって、画像センサーデータの、特にアクティブな画像センサーデータの検証および信ぴょう性検査を支援するための強力なツールが与えられる。異なるタイプの追加のデータが目的に応じて注入され得、それについて本明細書で例示する。

【0045】

画像センサーフレーム２０を形成することのより詳細にわたって、図３～図５をさらに参照しながらこの部分について説明する。画像センサーフレーム２０を形成することは、画像センサーデバイス１０の画像センサーを読み取ることによって実行される。

【0046】

図３は、画像センサーからの完全な読出しのための、すなわち、完全な画像センサーフレーム２０を読み取るためのサイクルを示す。画像センサーデバイスの従来の構造によれば、ピクセル値は、（水平方向の）行ごとに読み取られ、たとえば、画像センサー特性、光データなどに関するデータと一緒に画像プロセッサ１２に送信される。送信は信号制御される。第１の信号ＶＳＹＮＣは、垂直読出しを制御し、読出しサイクルをトリガする。第２の信号ＨＳＹＮＣは、垂直読出しサイクル内での行の読出しを制御する。各ＨＳＹＮＣ信号は次の行の読出しをトリガする。したがって、図３に示されているように、複数のＨＳＹＮＣサイクルが１つのＶＳＹＮＣサイクル中に存在する。ＨＳＹＮＣサイクルの第１の部分３１中に、（光特性または色特性など）フレームレベルデータが読み取られ、送信され得る。ＨＳＹＮＣサイクルの第２の部分３２中に、アクティブなセンサーピクセル値の形態の画像センサーデータが読み取られ、送信される。ＨＳＹＮＣサイクルの最後の部分３３は、垂直ブランクまたはＶＢＬＡＮＫとしても知られる垂直ブランキング間隔を形成する。垂直ブランキング間隔は、フレームの最後のライン（すなわち画像センサーデバイス１０からのデータ出力の最終値）と次の画像センサーフレームの第１のラインの開始との間の遅延時間期間を形成する。

【0047】

図４は、単一のＨＳＹＮＣサイクル中に、たとえば、第２の周期３２のＨＳＹＮＣサイクルのうちの１つの間に送信されるものを示す。ＨＳＹＮＣサイクルはクロック（ＣＬＫ）サイクルの数の間続く。ＣＬＫサイクルの長さは、従来の構成による、画像センサーデバイス１０のピクセルクロックによって定義される。ＣＬＫサイクルの第１の周期４１中に、同期および／またはダミーデータが読み取られ、送信される。ＣＬＫサイクルの第２の周期４２中に、画像センサーの単一の行のアクティブなピクセル値が読み取られ、送信される。読出しは、各行についていくつの画像センサーピクセルが読み取られるべきであるか、および各画像センサーフレームについていくつの行が読み取られるべきであるかを示す、画像センサーデバイス１０中のレジスタによって制御される。レジスタは従来の様式で実装され、使用され得る。

【0048】

各ＨＳＹＮＣサイクルのＣＬＫサイクルの最後の周期４３は、上記で説明した垂直ブランキング間隔と同様の機能を有する、水平ブランクまたはＨＢＬＡＮＫとしても知られる、水平ブランキング間隔を形成する。水平ブランキング間隔は、１つの行の最後の画像センサーピクセルの読出しと、次の行の第１の画像センサーピクセルとの間に形成される。最後の画像センサーピクセルおよび第１の画像センサーピクセルはアクティブまたは非アクティブであり得る。次の行の開始は、次のＨＳＹＮＣサイクルの開始を示す信号によって示され得る。

【0049】

図５は、画像センサーデバイス１０の複数の画像センサーフレームの読出しおよび画像プロセッサ１２への送信をより高いレベルで示す。画像センサーフレーム１、２、３、および４が示されている。フレームの間には、垂直ブランキング間隔５１、５２、５３が存在する。

【0050】

すでに、画像センサーフレームの読出しの構造を開示したので、次に、画像センサーフレーム中の追加のデータの注入の詳細を開示する。図８に示されているように、本方法の次のステップは、追加のデータを表す、数列を表すように１つまたは複数の画像センサーフレームの後続のブランキング間隔の長さを制御すること（８０２）である。言及されるブランキング間隔は垂直ブランキング間隔３３または水平ブランキング間隔４３であり、本発明の異なる実施形態を形成し得る。

【0051】

後続の水平ブランキング間隔の長さが制御される実施形態のより詳細にわたって、これは、数列が１つのＶＳＹＮＣサイクル中に、すなわち単一のフレームの送信中に送信され得る実施形態である。制御は、画像センサーデバイス１０自体によって、（従来のＨＳＹＮＣ制御信号、または図１中の１０３、１０４によって示されている他の制御信号を介して）画像プロセッサ１２または外部コントローラ１４によって実行され得る。後続の水平ブランキング間隔の長さを制御することとは、事前決定された後続のＨＳＹＮＣサイクル中のＣＬＫサイクルの各最後の周期４３が、特定の長さ、すなわち、ＣＬＫサイクルの特定の数を有するように制御されることを意味する。後続のＨＳＹＮＣサイクルとは、互いの後に来るが、必ずしも隣接して来るとは限らないサイクルを意味する。たとえば、水平ブランキング間隔は、単一のＶＳＹＮＣサイクル内で、ＨＳＹＮＣサイクル数５、１０、１５、２０などについて、すなわち第５の行ごとに制御され得る。後続のブランキング間隔の間の中間行の数は同じである必要がない。たとえば、水平ブランキング間隔は、単一のＶＳＹＮＣサイクル内で、ＨＳＹＮＣサイクル数４７、４８、１０５、３２８、３５０などについて制御され得る。どの水平ブランキング間隔が制御されるべきであるかは、それの構成および目的について上記で説明した通信プロトコルによって定義される、すなわち事前決定される。制御される後続のブランキング間隔のシーケンスは、単一の画像センサーフレームの場合と同じ原理に従って、複数の画像センサーフレームにわたって延び得ることを理解されたい。

【0052】

水平ブランキング間隔は、数列を表すように制御される。たとえば、２進数列［１１１１１００１１１０１０００１００００１０１０］の形態の数列を用いると、後続の水平ブランキング間隔は、数列に従ってＣＬＫサイクルの数を追加することによって数列を表すように長さ制御され得る。言い換えれば、５つの第１の後続の水平ブロッキング間隔については、１つの余分のＣＬＫサイクルを追加し、次の２つについては、余分のＣＬＫサイクルを追加しないなどである。したがって、数列は、この例示的な実施形態では、単一の画像センサーフレーム内で、後続の水平ブロッキング間隔の長さを修正することによって画像センサーフレーム中に注入される。

【0053】

後続のブランキング間隔の長さ制御は、基数値に対するブランキング間隔長さの変動として実行され得る。たとえば、１０クロックサイクルの基数値を用いると、第１および第２の後続のブランキング間隔を、それぞれ＋１クロックサイクル、すなわち１０＋１＝１１クロックサイクルを有するように制御し、第３および第４の後続のブランキング間隔をそれぞれ＋０クロックサイクル、すなわち１０＋０＝１０クロックサイクルを有するように制御することによって、［１１００］の数列が注入され得る。基数値は、一実施形態では０であり得る。基数値は、他の実施形態では、場合によっては、他の長さ変動機構により、ブランキング間隔の間で変動し得る。当業者は、発明的概念を実装するときに、そのような状況をどのように処理するかについての知識を持っている。

【0054】

後続の水平ブロッキング間隔の制御を実装する１つの方法は、ＨＳＹＮＣ信号が、いつ画像センサーデバイス１０に送られるか、したがって次の行の読出しの開始を示すかを制御することである。ＨＳＹＮＣサイクルを遅延させることによって、水平ブロッキング間隔４３を構成する遅延期間は延長される。したがって、ＨＳＹＮＣ信号のタイミング、すなわち、次の行の読出しを開始するインジケータのタイミングは、水平ブロッキング間隔の長さを制御するように制御される。

【0055】

後続の垂直ブランキング間隔３３が長さ制御される他の実施形態に移ると、これは、数列が、好ましくは、複数の画像センサーフレーム中に注入される実施形態である。各フレームについて、それの中の垂直ブランキング間隔３３は、送信される画像センサーフレームの一部分にわたる後続のブランキング間隔が数列に対応するような、特定の長さを有するように制御される。図５では、垂直ブランキング間隔５１、５２、５３が、この実施形態によれば、異なる長さを有することが認められ得る。

【0056】

垂直ブランキング間隔は、水平ブロッキング間隔の場合と同じ様式で、すなわち、次の画像センサーフレームの読出しの開始をトリガするＶＳＹＮＣ信号のタイミングを制御することによって、制御され得る。

【0057】

水平ブロッキング間隔および垂直ブランキング間隔の制御は、同時に、すなわち単一の実施形態内で利用され得る。いくつかの急速に変化する追加のデータ（たとえばタイムスタンプ）は、より速く送信することが有益であり得、水平ブロッキング間隔の長さ制御が好適であるが、他のよりゆっくり変化するまたは静的な追加のデータは、垂直ブランキング間隔の長さ制御によって注入するのに十分であり得る。たとえば、上記の数（２進）列が例示するタイムスタンプは、水平ブロッキング間隔を長さ制御することによって注入され得るが、たとえば１８１２２０２０（２０２０年１２月１８日）の数列によって表される日付スタンプは、垂直ブランキング間隔を長さ制御することによって注入され得る。

【0058】

一実施形態では、本方法は、追加のデータを送信する目的で長さ制御される後続のブランキング間隔以外の、本明細書で補償ブランキング間隔と呼ばれる、長さ制御ブランキング間隔をさらに含む。補償ブランキング間隔は、異なる画像センサーフレーム間の合計クロックサイクルの差を補償する、言い換えれば、異なるフレームを送信するのにどのくらいのクロックサイクルを要するかを補償するために長さ制御される。画像センサーフレーム当たりのクロックサイクルの総数を一定に保つこと、または、少なくとも、画像センサーフレーム当たりのクロックサイクルの総数の最小変動に向けて努力することは有益である。この目的で、補償ブランキング間隔の長さ制御は導入される。補償ブランキング間隔は、後続のブランキング間隔のシーケンスの後に位置し、そのシーケンスの全修正を補償するために長さ制御され得る。一実施形態では、補償ブランキング間隔は、画像センサーフレーム中のすべての後続のブランキング間隔の後に位置し、その画像センサーフレーム中のすべての後続のブランキング間隔が引き起こすクロックサイクルの累積された変化を補償するために長さ制御される。代替実施形態では、複数の補償ブランキング間隔が実装される。好ましくは、それらは、後続のブランキング間隔の間に位置し、後続のブランキング間隔の変動を徐々に補償するように適応される。言い換えれば、各後続のブランキング間隔には、その後続のブランキング間隔の長さの変化を補償するために長さ制御される補償ブランキング間隔が続く。この実施形態を用いれば、異なる画像センサーフレーム間の実質的に一定のレベルで画像センサーフレームのフレームセグメント当たりのクロックサイクルの数を維持する、漸進的補償が達成される。

【0059】

前へ進むと、方法８の次のステップは、画像センサーフレーム２０の送信を受信すること（８０３）である。送信（図１中の１００）は、従来の伝送プロトコル、たとえばＭＩＰＩプロトコルに従って実行され得る。追加のデータを受信するために、画像プロセッサ１２は、上記で説明した通信プロトコルによって知られている、後続のブランキング間隔の長さを決定する。決定は、処理のための画像センサーフレーム２０の画像センサーデータを受信し、記憶する間に、後続のブランキング間隔の各々中のクロック信号の数をカウントすることによって実行される。後続のブランキング間隔の長さを決定する他の従来の方法が適用され得る。

【0060】

決定された長さ、すなわち、数列は専用プロセッサメモリに記憶され得る。したがって、数列は画像処理デバイス１２によって送信され、アクティブに受信されている。

【0061】

次に、画像プロセッサ１２は、数列を追加のデータの形式、たとえばテキストまたは数値表現に変換し得る（８０４）。形式は、たとえば、通信プロトコル中で事前定義されることによって、あらかじめ知られ得る。

【0062】

次に、画像プロセッサ１２は、従来の画像処理デバイスの通常動作に従って、アクティブな画像センサーデータ、場合によっては他の受信データを処理する。処理は、追加のデータを含めるためにアクティブな画像センサーデータを修正すること（８０５）をさらに備え得る。追加のデータは、それの元のまたは変換された形式で数列によって表され得る。追加のデータは、したがって、アクティブな画像センサーデータの一体部分になる。追加のデータは、図６を参照しながら以下で例示する、様々な知られている方法で含められ得る。

【0063】

第１の例では、追加のデータは、アクティブな画像センサーデータによって形成された画像６２へのオーバーレイ６３として含められる。オーバーレイ６３は、この例では、対応するアクティブな画像センサーデータが収集されたときの日付スタンプとタイムスタンプとを示すテキストフィールドである。画像６２は、アクティブな画像センサーデータの検証のためにまたは他の目的のために、オーバーレイ６３中に与えられた情報を読み取り、使用することができるユーザのために表示され得る。

【0064】

第２の例では、追加のデータは２進コードインジケータ６５として含められる。追加のデータは２進形式に変換され、アクティブな画像センサーデータ中のピクセル値６８は、２進の追加のデータを表すように修正される。ピクセル値６８は、たとえば、黒ピクセル（各々が２進０を表す）および白ピクセル（各々が２進１を表す）として２進形式で追加のデータを表すように修正され得る。修正されたピクセル値６８は２進コードインジケータ６５を形成する。２進コードインジケータ６５は、たとえば、単一の行の２５個のピクセルの面積を占有し得る。図６中の２進コードインジケータ６５のサイズは説明の目的で誇張されていることに留意されたい。追加のデータは、したがって、アクティブな画像センサーデータによって形成された画像６４中に、埋め込まれる形で挿入され、極めて離散的で、さらには人間の眼によって知覚できなくされ得る。

【0065】

追加のデータをどのように含めるかの第３の例が、画像６６の強度シフトされたピクセル６９によって示されている。画像６６のインジケータエリア６７では、追加のデータのコードまたは視覚表現を形成するためにピクセルの強度値（たとえば、グレースケール強度のまたはＲＧＢ値の強度シフト）がシフトされる。

【0066】

他の実施形態では、追加のデータは、アクティブな画像センサーデータのメタデータとして（たとえば、ＪＰＥＧ画像ファイルのヘッダ中に）含められ得る。

【0067】

オーバーレイをどのように形成するか、ピクセル値をどのように修正するか、インジケータエリアをどのように形成するか、およびメタデータまたは同様のデータとして、追加のデータをどのように追加するかは、それ自体知られており、当業者によって実装され得る。追加のデータを含めることのさらなる詳細については、したがって与えない。

【0068】

図８に戻ると、次のステップは、図１中の１０２によって示されているように、修正されたアクティブな画像センサーデータを別のデバイスに送信すること（８０７）である。修正されたアクティブな画像センサーデータは、符号化されたまたは符号化されていない形式であり得る。修正された画像センサーデータには、画像処理から得られた画像データなど、他のデータが付随し得る。したがって、画像プロセッサ１２は、さらなる伝送の前に、修正されたアクティブな画像センサーデータを符号化するための符号化機能を有し得る。代替的に、修正されたアクティブな画像センサーデータは、画像プロセッサ１２から、符号化するためのエンコーダ（図示せず）に送信され得る。

【0069】

最終的に、符号化された修正されたアクティブな画像センサーデータは、場合によっては他のデータと一緒に、この実施形態ではディスプレイデバイスの形態の評価デバイスに送信される（８０７）。評価デバイスは、修正されたアクティブな画像センサーデータを復号するためのデコーダと他のプロセッサとを備え、修正されたアクティブな画像センサーデータをユーザのために表示し得る。アプリケーションに応じて、評価デバイスは異なって構成され得る。

【0070】

代替的に、符号化された修正されたアクティブな画像センサーデータは、後で検査のビューの可能性を与えるためにメモリに記憶され得る。検査は評価デバイスによって実行され得る。

【0071】

修正されたアクティブな画像センサーデータが画像プロセッサ１２の後にどのように処理されるかにかかわらず、追加のデータは、図示の実施形態では、修正されたアクティブな画像センサーデータ中に含められ、したがって、アクティブな画像センサーデータおよび追加のデータは、アクティブに分離されない場合、互いの後に続く。アクティブな画像センサーデータの任意の可能な変換、縫合、修正、または他の処理が、その中の追加のデータの情報を失うことなしに実行され得る。

【0072】

修正されたアクティブな画像センサーデータがディスプレイデバイスの形態の評価デバイスに送信される（８０７）実施形態に戻ると、次のステップは、ディスプレイデバイスが、入力として追加のデータを用いて分析を実行し、分析の結果に基づいて適切なアクションを取ることであり得る。たとえば、分析は、たとえば伝送遅延により、データが古すぎないこと、またはデータが予想される画像センサーから来ることを検証するためのアクティブな画像センサーデータの検証であり得る。最初に与えられる（８０１）追加のデータの種類は、実行されるべき分析のために適応させられる。分析は、たとえば、仮定されるライブビューが事実上ライブであり、ビューが、重大な決定を行うために使用され得ない程度まで遅延されないことを検証するために、アクティブな画像センサーデータが古すぎないことを検証するために適応させられる場合、追加のデータは、当該のアクティブな画像センサーデータを備えた画像センサーフレームを収集する時間に与えられた（８０１）タイムスタンプの形態であり得る。ディスプレイデバイスにおいて、タイムスタンプは、それを（タイムスタンプと同じ時間プロバイダ、たとえば、ローカルまたはグローバルクロックから発する）現在の時間と比較することによって分析され得、タイムスタンプが所定のしきい値を超えて異なる場合、ユーザにその状態を警告または通知するためのアクションを取る（８０８）。代替的に、追加のデータは、画像センサーフレームを収集する時間に与えられる位置の形態であり得る。そのような実施形態では、ディスプレイデバイスは、その中の位置を、外部データプロバイダから受信または要求され得る現在の位置と比較することによって、追加のデータを分析し得る。比較された位置の間の距離が所定のしきい値を超える場合、ユーザにその状態を警告または通知するためのアクションが取られ得る。

【0073】

別の実施形態では、追加のデータは画像センサーの通し番号を示し得る。ディスプレイデバイスは、通し番号を、受信された修正されたアクティブな画像センサーデータの信ぴょう性を検証するために、画像データを収集したと予想される画像センサーの通し番号と比較することによって、追加のデータを分析し得る。この実施形態は、アクティブな画像センサーデータを検証するために、静的な（変化しない）情報を表す追加のデータを用いて同様の実施形態に変換され得る。追加のデータが、予想されるものからずれている場合、ユーザにそのずれを警告するためにアラームアクションがトリガされ得る。

【0074】

上記で開示した例のすべてにおいて、追加のデータは、１０６によって示されているように、画像センサーデバイス１０に、画像プロセッサ１２に、および／またはコントローラ１４に、外部データプロバイダ１６によって与えられ得る。ある実施形態では、追加のデータはまた、受信された修正されたアクティブな画像センサーデータを評価するために、上記で説明したディスプレイデバイスなどのデバイスに通信される。したがって、追加のデータは、アプリケーションに応じて異なるデバイス中に与えられる。外部データプロバイダ１６は、特定の実装によって必要とされる追加のデータを与えるように適応される。追加のデータをタイムスタンプの形態で与えるために、外部データプロバイダ１６はクロックデバイスであり得る。追加のデータを位置の形態で与えるために、外部データプロバイダ１６はＧＮＳＳデバイスであり得る。静的な情報を与えるために、外部データプロバイダ１６は、追加のデータを与えるためのデータベースと処理機能とを備え得る。追加のデータは、外部データプロバイダ１６によって開始すると、または画像センサーデバイス１０、画像プロセッサ１２、またはコントローラ１４から外部データプロバイダ１６において要求を受信すると、与えられ得る。外部データプロバイダ１６の代替は、画像センサーデバイス１０、画像プロセッサ１２、またはコントローラ１４の中に備えられるデータプロバイダ（図示せず）である。

【0075】

次に、バスドライバーのための、特にバス７８のバスドア７１を閉める状況のためのカメラベースサポートシステム７を示す図７を参照しながら、特定の実施形態について開示する。このシナリオは、セキュリティ上の理由で、各画像が所定の許容できる最大遅延周期内に表示されるという意味で、ライブビューが事実上ライブであることを検証することが重要である、様々なシナリオのうちの１つを表す。バスのためのドアカメラおよび車中の後方カメラを含む、車両ドライバーのためのカメラベースサポートシステムはより一般的になりつつある。ドライバーが、他の人々を傷つける危険を冒すことがないアクションに関する決定を行うことが可能であるために、カメラからの表示された画像を信用することができることが、セキュリティのために不可欠である。図７に示された実施形態では、ドライバーのシート７３に位置するバスドライバーは、バスドア７１の周りのエリアに人々および障害物がなく、誰かを傷つけるかまたは他の損傷を引き起こすことなしにバスドア７１が閉められ得るときを決定するために、サポートシステム７を使用する。

【0076】

本実施形態によれば、画像センサーデバイス７０を含むカメラデバイスは、バスドア７１に位置し、バスドアエリアの画像を収集するように適応される。カメラデバイスは、画像プロセッサとエンコーダとを備える画像処理デバイス７２に接続される。クロックデバイス７４から、７０４によって示されているように、画像処理デバイス７２に時間信号が与えられ得る。クロックデバイス７４はローカルまたはグローバルであり得る。システム７のデバイス内の接続は、従来のデータ通信構造によれば、有線または無線であり得る。

【0077】

発明的概念によれば、タイムスタンプの形態の追加のデータがクロックデバイス７４からの時間信号によって収集される。タイムスタンプは、画像センサーフレームを収集する時間に対応するために収集される。（タイムスタンプを備える）追加のデータは、１つまたは複数の画像センサーフレーム中に注入され、画像センサーデバイス７０から画像処理デバイス７２に送信される（７０１によって示されている）。追加のデータは、受信され、アクティブな画像センサーデータを修正することによってアクティブな画像センサーデータ中に含められる。修正されたアクティブな画像センサーデータは、７０２によって示されているように、符号化の後に、画像処理デバイス７２からディスプレイデバイス７６に送信される。ディスプレイデバイス７６はデコーダを備える。復号の後に、追加のデータは、随意に、ドライバーによって閲覧されるためにディスプレイ７５上に表示されることと平行して、分析される。ディスプレイデバイス７６は、追加のデータがどのように、修正されたアクティブな画像センサーデータ中に含められるかに気付き、含められたデータを解釈する機能を有する。この知識は、場合によっては、修正されたアクティブな画像センサーデータが（７０２によって示されているように）ディスプレイデバイス７６に送信されるときに画像処理デバイス７２によってディスプレイデバイス７６に与えられ得るか、またはさらには、修正されたアクティブな画像センサーデータの一部である情報として、画像処理デバイス７２によってディスプレイデバイス７６に与えられ得る。

【0078】

この実施形態では、追加のデータのタイムスタンプは、クロックデバイス７４から（随意に要求に応じて）受信される現在のタイムスタンプと比較される。追加のデータの時間と、所定のしきい値を超える現在の時間との間の差に基づいて、ディスプレイデバイス７６は、受信された修正されたアクティブな画像センサーデータが古いことをドライバーに示すためのアラームアクションをトリガする。古いとは、この実施形態では１秒または約１秒の１０分の１のオーダーであり得る、所定の寿命を超えることを意味する。アラームアクションは、
・修正されたアクティブな画像センサーデータの画像を表示することを控えるアクションと、
・修正されたアクティブな画像センサーデータの画像の表示をキャンセルするアクションと、
・光る様式で、または特定の色のオーバーレイ、たとえば半透明の赤いオーバーレイを用いて、受信された修正された画像センサーデータを表示するアクションと、
・修正されたアクティブな画像センサーデータの画像が現在ライブでないことを示す指示をディスプレイ７５上に表示するアクションと、
・ディスプレイデバイス７６に接続されたスピーカー７７によって音を再生するアクションと、
・ディスプレイデバイス７３に接続された照明器７９をアクティブ化するアクションと
の、非限定的な例のうちの１つまたはそれらの組合せを備え得る。

【0079】

したがって、バス７８のドライバーには、セキュリティを高め、クリティカルな決定を行うためのより信頼できるシステムを与える、サポートシステム７が与えられる。システム７は、他の実施形態では、画像センサーデバイスを備える後方カメラ７７など、２つ以上の画像センサーデバイスを含み得る。そのようなシステムでは、ディスプレイデバイス７３は、たとえばディスプレイ７５上の複数のビューとして、ドライバーに表示するための異なる画像センサーデバイスソースからの画像センサーデータを受信し、検証し得る。

【0080】

図示の実施形態はディスプレイデバイス７６を示すが、これは、本発明を限定するものとして解釈されるべきでない。他の実施形態は、ディスプレイがない評価デバイスを含み、評価デバイスは、関連する画像センサーデータが有効であるか否かを決定するために、追加のデータを分析するように適応される。したがって、そのような評価を実行するためにディスプレイは必要でない。追加のデータがメタデータとして処理または記憶デバイスから送られる一実施形態では、評価デバイスは、評価を実行するためにメタデータのみを受信する必要がある。したがって、アクティブな画像センサーデータは、除外されるか、または表示のための（ディスプレイデバイスなど）別のデバイスに送られ得る。評価デバイスは、したがって、ディスプレイデバイスとは別個のデバイスであり得る。

【0081】

システム７の一般的な構造、または本発明の他の実施形態は、同じセキュリティ課題をもつシナリオのための他のシステムに変換され得る。本明細書での説明、および一般的な知識に基づいて、当業者は、そのような変換を達成することが可能である。

【0082】

本発明が有益であり得るアプリケーションの非限定的な例は、
・遠隔医療（telemedical）アプリケーションと、
・リモート治療／手術／検査と、
・搬送アプリケーション、たとえば、橋梁のリモート制御またはエアタワー機能のリモート制御と、
・リモート技術支援および技術サービス、たとえば技術機器の保守のためのリモート支援と、
・たとえば追加の情報中の位置座標を研究することによって仮定される物体の画像が撮られることを検証することによる画像文書化の検証と、
・胃カメラ検査（gastroscopy）または結腸内視鏡検査（colonoscopy）などの健康診断と
を含む。

【0083】

上記では、限られた数の例を参照しながら、主に発明的概念について説明した。しかしながら、当業者によって容易に諒解されるように、上記で開示した例以外の例が、添付の特許請求の範囲によって定義されているように、発明的概念の範囲内で等しく可能である。

【符号の説明】

【0084】

１ システム
７ サポートシステム、システム
１０ 画像センサーデバイス
１２ 画像プロセッサ、画像処理デバイス
１４ 随意のコントローラ、外部コントローラ
１６ 随意の外部データプロバイダ
２０ 画像センサーフレーム
２２ 主エリア
２４ マージンエリア
２６ ブランキングエリア
３３ 垂直ブランキング間隔
４１ ＣＬＫサイクルの第１の周期
４２ ＣＬＫサイクルの第２の周期
４３ 各ＨＳＹＮＣサイクルのＣＬＫサイクルの最後の周期、水平ブランキング間隔
５１ 垂直ブランキング間隔
５２ 垂直ブランキング間隔
５３ 垂直ブランキング間隔
６２ 画像
６３ オーバーレイ
６４ 画像
６５ ２進コードインジケータ
６６ 画像
６７ インジケータエリア
６８ ピクセル値
７０ 画像センサーデバイス
７１ バスドア
７２ 画像処理デバイス、画像プロセッサ
７３ ドライバーのシート、ディスプレイデバイス
７４ クロックデバイス
７５ ディスプレイ
７６ ディスプレイデバイス
７７ スピーカー、後方カメラ
７８ バス
７９ 照明器 ＨＢＬＡＮＫ 水平ブランキング間隔
ＨＳＹＮＣ 第２の信号
ＶＢＬＡＮＫ 垂直ブランキング間隔
ＶＳＹＮＣ 第１の信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】