知財求人 - 知財ポータルサイト「IP Force」
▶ アイデミア・アイデンティティ・アンド・セキュリティー・フランスの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024076342
(43)【公開日】2024-06-05
(54)【発明の名称】画像処理装置及び方法
(51)【国際特許分類】
H04N 23/74 20230101AFI20240529BHJP
H04N 23/76 20230101ALI20240529BHJP
H04N 23/56 20230101ALI20240529BHJP
G06V 40/19 20220101ALI20240529BHJP
G06V 10/143 20220101ALI20240529BHJP
【ＦＩ】
H04N23/74
H04N23/76
H04N23/56
G06V40/19
G06V10/143
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023166717
(22)【出願日】2023-09-28
(31)【優先権主張番号】FR2212301
(32)【優先日】2022-11-24
(33)【優先権主張国・地域又は機関】FR
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
２．Ｌｉｎｕｘ
３．ＦＲＥＥＲＴＯＳ
(71)【出願人】
【識別番号】519110386
【氏名又は名称】アイデミア・アイデンティティ・アンド・セキュリティー・フランス
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】シヴェク， ジャン－フランソワ
(72)【発明者】
【氏名】アモーシェ， カリム
(72)【発明者】
【氏名】エル フェキ， ジェド
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA19
5C122EA12
5C122FF01
5C122FF15
5C122FF18
5C122FF23
5C122FH14
5C122GA34
5C122GG04
5C122GG28
5C122HA29
5C122HB01
5C122HB02
(57)【要約】 （修正有）
【課題】動く物体を認識できるようにしなから製造コストを限定する高パフォーマンスの画像処理装置及び方法を提供する。
【解決手段】画像処理装置１は、画像取得システム（ＳＡ）及び少なくとも１つの画像取得セットポイントを含むセットポイント（ＣＯＮＳ）を受信し、セットポイントの少なくとも１つに応じて、取得システムの調整データを特定する同期データ処理システム（ＳＳＹ）を含む。取得時に、取得システムの調整データの１つにタイムスタンプを押す同期タイムスタンピング手段を含む。画像処理装置はまた、ＳＡのタイムスタンプの押された調整データのうちの１つを画像の取得の瞬間に取得した画像（ＩＭＧ）にメタデータを追加することによってメタデータの関連付けられた画像（ＩＭＧ＿Ｍ）を処理する非同期システム（ＳＡＳ）を含む。ＳＡＳは、ＣＯＮＳを生成し、ＳＳＹに送信する。画像取得セットポイントは、ＩＭＧ＿Ｍに基づいて特定される。
【選択図】図１
【解決手段】画像処理装置１は、画像取得システム（ＳＡ）及び少なくとも１つの画像取得セットポイントを含むセットポイント（ＣＯＮＳ）を受信し、セットポイントの少なくとも１つに応じて、取得システムの調整データを特定する同期データ処理システム（ＳＳＹ）を含む。取得時に、取得システムの調整データの１つにタイムスタンプを押す同期タイムスタンピング手段を含む。画像処理装置はまた、ＳＡのタイムスタンプの押された調整データのうちの１つを画像の取得の瞬間に取得した画像（ＩＭＧ）にメタデータを追加することによってメタデータの関連付けられた画像（ＩＭＧ＿Ｍ）を処理する非同期システム（ＳＡＳ）を含む。ＳＡＳは、ＣＯＮＳを生成し、ＳＳＹに送信する。画像取得セットポイントは、ＩＭＧ＿Ｍに基づいて特定される。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像処理装置（１）において、
－画像取得システム（ＳＡ）と、
－少なくとも１つの画像取得セットポイントを含む少なくとも２つのセットポイント（ＣＯＮＳ）を受信し、前記セットポイントの少なくとも幾つかに応じて、前記画像取得システムの調整データ（ＰＩＬ）を特定する同期データ処理システム（ＳＳＹ）であって、前記画像の取得の瞬間に前記画像取得システムの前記調整データの少なくとも１つにタイムスタンプを押す同期タイムスタンピング手段（ＨＷ＿ＴＳ、ＳＷ＿ＦＣ）を含む同期システムと、
－前記画像取得システムの前記調整データのうちの前記タイムスタンプの押された少なくとも１つを前記画像の取得の瞬間に取得した前記画像（ＩＭＧ）に、前記取得画像にメタデータを追加することによって関連付ける手段と、
－前記メタデータの関連付けられた取得画像（ＩＭＧ＿Ｍ）を処理する非同期システム（ＳＡＳ）であって、前記少なくとも２つのセットポイント（ＣＯＮＳ）を生成し、前記同期データ処理システム（ＳＳＹ）に送信し、少なくとも前記画像取得セットポイントは、前記メタデータの関連付けられた取得画像（ＩＭＧ＿Ｍ）の少なくとも１つと、特に前記少なくとも１つの取得画像（ＩＭＧ）に関連付けられる前記画像取得システムの前記調整データ（ＰＩＬ）のうちの前記タイムスタンプの押された少なくとも１つに基づいて特定される非同期データ処理システム（ＳＡＳ）と、
を含む画像処理装置。
－画像取得システム（ＳＡ）と、
－少なくとも１つの画像取得セットポイントを含む少なくとも２つのセットポイント（ＣＯＮＳ）を受信し、前記セットポイントの少なくとも幾つかに応じて、前記画像取得システムの調整データ（ＰＩＬ）を特定する同期データ処理システム（ＳＳＹ）であって、前記画像の取得の瞬間に前記画像取得システムの前記調整データの少なくとも１つにタイムスタンプを押す同期タイムスタンピング手段（ＨＷ＿ＴＳ、ＳＷ＿ＦＣ）を含む同期システムと、
－前記画像取得システムの前記調整データのうちの前記タイムスタンプの押された少なくとも１つを前記画像の取得の瞬間に取得した前記画像（ＩＭＧ）に、前記取得画像にメタデータを追加することによって関連付ける手段と、
－前記メタデータの関連付けられた取得画像（ＩＭＧ＿Ｍ）を処理する非同期システム（ＳＡＳ）であって、前記少なくとも２つのセットポイント（ＣＯＮＳ）を生成し、前記同期データ処理システム（ＳＳＹ）に送信し、少なくとも前記画像取得セットポイントは、前記メタデータの関連付けられた取得画像（ＩＭＧ＿Ｍ）の少なくとも１つと、特に前記少なくとも１つの取得画像（ＩＭＧ）に関連付けられる前記画像取得システムの前記調整データ（ＰＩＬ）のうちの前記タイムスタンプの押された少なくとも１つに基づいて特定される非同期データ処理システム（ＳＡＳ）と、
を含む画像処理装置。
【請求項2】
前記画像取得システム（ＳＡ）とは異なる他のシステム（ＳＥ）を含み、前記２つのセットポイント（ＣＯＮＳ）の少なくとも一方は、前記他のシステム（ＳＥ）用とされるセットポイントであり、前記同期データ処理システム（ＳＳＹ）は、前記セットポイント（ＣＯＮＳ）の少なくとも幾つかに応じて、前記他のシステム（ＳＥ）の調整データ（ＰＩＬ）を特定し、前記同期タイムスタンピング手段（ＨＷ＿ＴＳ、ＳＷ＿ＴＣ）は、前記画像（ＩＭＧ）の取得の瞬間において、前記他のシステム（ＳＥ）の前記調整データ（ＰＩＬ）のうちの少なくとも１つにタイムスタンプを押し、
－前記関連付ける手段は、前記他のシステム（ＳＥ）の前記タイムスタンプの押された調整データの少なくとも１つを、前記画像の取得の瞬間に取得された前記画像に、メタデータを前記取得画像に追加することによって関連付け、
－前記メタデータの関連付けられた取得画像（ＩＭＧ＿Ｍ）を処理する前記非同期システム（ＳＡＳ）は、前記少なくとも２つのセットポイント（ＣＯＮＳ）を生成して、前記非同期データ処理システムに送信し、前記他のシステム（ＳＥ）用とされる前記セットポイントは前記取得画像の少なくとも１つと、前記他のシステムの、及び／又は前記少なくとも１つの取得画像に関連付けられる前記画像取得システムの前記調整データのうちの前記タイムスタンプの押された少なくとも１つに基づいて特定される、
ことを特徴とする、請求項１に記載の画像処理装置（１）。
－前記関連付ける手段は、前記他のシステム（ＳＥ）の前記タイムスタンプの押された調整データの少なくとも１つを、前記画像の取得の瞬間に取得された前記画像に、メタデータを前記取得画像に追加することによって関連付け、
－前記メタデータの関連付けられた取得画像（ＩＭＧ＿Ｍ）を処理する前記非同期システム（ＳＡＳ）は、前記少なくとも２つのセットポイント（ＣＯＮＳ）を生成して、前記非同期データ処理システムに送信し、前記他のシステム（ＳＥ）用とされる前記セットポイントは前記取得画像の少なくとも１つと、前記他のシステムの、及び／又は前記少なくとも１つの取得画像に関連付けられる前記画像取得システムの前記調整データのうちの前記タイムスタンプの押された少なくとも１つに基づいて特定される、
ことを特徴とする、請求項１に記載の画像処理装置（１）。
【請求項3】
前記他のシステムは照明システム（ＳＥ）であり、前記他のシステム用とされる前記セットポイント（ＣＯＮＳ）は照明セットポイントであることを特徴とする、請求項２に記載の画像処理装置（１）。
【請求項4】
前記照明システム（ＳＥ）は赤外光源を含むことと、前記照明システム（ＳＥ）又は画像取得システム（ＳＡ）は赤外感受センサを含むことを特徴とする、請求項３に記載の画像処理装置（１）。
【請求項5】
前記画像取得システム（ＳＡ）は、照準線を調整するための少なくとも１つの電動機構（ＳＡ４）と、少なくとも１つのイメージセンサを含み、前記少なくとも１つのイメージセンサは好ましくは虹彩認識カメラ（ＳＡ２）を含むことを特徴とする、請求項１に記載の画像処理装置（１）。
【請求項6】
前記同期データ処理システム（ＳＳＹ）はリアルタイムコプロセッサ（ＰＲＯＣ＿ＴＲ）であり、前記非同期データ処理システム（ＳＡＳ）は非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）であることを特徴とする、請求項１に記載の画像処理装置（１）。
【請求項7】
前記リアルタイムコプロセッサ（ＰＲＯＣ＿ＴＲ）は、前記画像取得システム（ＳＡ）により取得された前記画像を受信し、これらを、各々、関連する前記画像取得システムの前記調整データ（ＰＩＬ）のうちの前記タイムスタンプの押された少なくとも１つと共に、前記取得画像の各々にメタデータが追加された形態で前記非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）に送信し、前記リアルタイムコプロセッサ（ＰＲＯＣ＿ＴＲ）は前記関連付け手段を含み、前記同期タイムスタンピング手段（ＨＷ＿ＴＳ）は特に、前記リアルタイムコプロセッサ（ＰＲＯＣ＿ＮＴＲ）のソフトウェアカウンタであることを特徴とする、請求項６に記載の画像処理装置（１）。
【請求項8】
前記非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）は、前記画像取得システムにより取得された前記画像（ＩＭＧ）を受信し、前記同期タイムスタンピング手段（ＨＷ＿ＴＳ、ＳＷ＿ＦＣ）は特に、
－前記リアルタイムコプロセッサ（ＰＲＯＣ＿ＴＲ）と前記非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）との間で共有される物理カウンタ（ＨＷ＿ＴＳ）
又は
－前記非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）内のソフトウェアカウンタ（ＳＷ＿ＦＣ）及び前記リアルタイムコプロセッサ（ＰＲＯＣ＿ＴＲ）内のソフトウェアカウンタ（ＳＷ＿ＦＣ）であって、前記取得画像の前記タイムスタンプは前記非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）によって前記取得画像に関連付けられるソフトウェアカウンタ
を含むことを特徴とする、請求項６に記載の画像処理装置（１）。
－前記リアルタイムコプロセッサ（ＰＲＯＣ＿ＴＲ）と前記非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）との間で共有される物理カウンタ（ＨＷ＿ＴＳ）
又は
－前記非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）内のソフトウェアカウンタ（ＳＷ＿ＦＣ）及び前記リアルタイムコプロセッサ（ＰＲＯＣ＿ＴＲ）内のソフトウェアカウンタ（ＳＷ＿ＦＣ）であって、前記取得画像の前記タイムスタンプは前記非リアルタイムプロセッサ（ＰＲＯＣ＿ＮＴＲ）によって前記取得画像に関連付けられるソフトウェアカウンタ
を含むことを特徴とする、請求項６に記載の画像処理装置（１）。
【請求項9】
請求項１～８の何れか１項に記載の画像処理装置（１）を含むバイオメトリックシステムにおいて、前記取得画像（ＩＭＧ）は顔及び／又は虹彩の画像であるバイオメトリックシステム。
【請求項10】
画像処理方法において、
－画像（ＩＭＧ）を取得するステップと、
－前記画像の取得の瞬間に、画像取得システム（ＳＡ）の少なくとも１つの調整データ（ＰＩＬ）にタイムスタンプを押す同時タイムスタンピングを実行するステップ（Ｅ＿ＨＯＲ）と、
－前記画像取得システムの前記少なくとも１つのタイムスタンプの押された調整データを、前記画像の取得の瞬間に取得された前記画像に、前記取得画像にメタデータを追加することによって関連付けるステップ（Ｅ＿ＡＳＳ）と、
－前記メタデータの関連付けられた画像（ＩＭＧ＿Ｍ）について非同期処理を実行して、前記取得画像及び、前記取得画像に関連付けられる前記画像取得システムの前記タイムスタンプの押された少なくとも１つの調整データに基づいて特定される、少なくとも１つの画像取得セットポイントを含む少なくとも２つのセットポイント（ＣＯＮＳ）を出力として生成するステップ（Ｅ＿ＴＲＡ）と、
－前記同期データ処理を実行し、前記同期処理の入力データは、前記画像取得セットポイントを含む前記少なくとも２つのセットポイントを含み、出力として、前記セットポイント（ＣＯＮＳ）の少なくとも幾つかに基づいて、新しい画像（ＩＭＧ）を取得するために、前記画像取得システムを調整する前記画像取得システム（ＳＡ）の新しい調整データ（ＰＩＬ）を生成するステップ（Ｅ＿ＰＩＬ）と、
を含む画像処理方法。
－画像（ＩＭＧ）を取得するステップと、
－前記画像の取得の瞬間に、画像取得システム（ＳＡ）の少なくとも１つの調整データ（ＰＩＬ）にタイムスタンプを押す同時タイムスタンピングを実行するステップ（Ｅ＿ＨＯＲ）と、
－前記画像取得システムの前記少なくとも１つのタイムスタンプの押された調整データを、前記画像の取得の瞬間に取得された前記画像に、前記取得画像にメタデータを追加することによって関連付けるステップ（Ｅ＿ＡＳＳ）と、
－前記メタデータの関連付けられた画像（ＩＭＧ＿Ｍ）について非同期処理を実行して、前記取得画像及び、前記取得画像に関連付けられる前記画像取得システムの前記タイムスタンプの押された少なくとも１つの調整データに基づいて特定される、少なくとも１つの画像取得セットポイントを含む少なくとも２つのセットポイント（ＣＯＮＳ）を出力として生成するステップ（Ｅ＿ＴＲＡ）と、
－前記同期データ処理を実行し、前記同期処理の入力データは、前記画像取得セットポイントを含む前記少なくとも２つのセットポイントを含み、出力として、前記セットポイント（ＣＯＮＳ）の少なくとも幾つかに基づいて、新しい画像（ＩＭＧ）を取得するために、前記画像取得システムを調整する前記画像取得システム（ＳＡ）の新しい調整データ（ＰＩＬ）を生成するステップ（Ｅ＿ＰＩＬ）と、
を含む画像処理方法。
【請求項11】
－前記２つのセットポイント（ＣＯＮＳ）の一方は、特に赤外線照明セットポイントを含む光度セットポイントを含む照明セットポイントであることと、
－前記同期データ処理（Ｅ＿ＰＩＬ）は、出力として、前記セットポイントの少なくとも幾つかに基づいて、前記照明システム（ＳＥ）を調整するための前記照明システムの調整データ（ＰＩＬ）を生成すること、
を特徴とする、請求項１０に記載の画像処理方法。
－前記同期データ処理（Ｅ＿ＰＩＬ）は、出力として、前記セットポイントの少なくとも幾つかに基づいて、前記照明システム（ＳＥ）を調整するための前記照明システムの調整データ（ＰＩＬ）を生成すること、
を特徴とする、請求項１０に記載の画像処理方法。
【請求項12】
前記画像取得セットポイント（ＣＯＮＳ）は画像取得の光学視野内に存在する物体の推測経路を含み、前記物体は特に、虹彩及び／又は顔等の個人のバイオメトリック特性であることを特徴とする、請求項１０及び１１の何れか１項に記載の画像処理方法。
【請求項13】
前記画像取得システム（ＳＡ）の前記調整データ（ＰＩＬ）は、前記物体の前記推測経路を辿るように特定されることを特徴とする、請求項１２に記載の画像処理方法。
【請求項14】
前記同期データ処理を実行するステップ（Ｅ＿ＰＩＬ）において、少なくとも最後に取得された画像（ＩＭ）の前記タイムスタンプの押された調整データ（ＰＩＬ）を含む表（ＴＡＢ）が作成されることを特徴とする、請求項１０に記載の画像処理方法。
【請求項15】
前記非同期処理を実行するステップ（Ｅ＿ＴＲＡ）は、１つのフレームから次のフレームへと異なるアルゴリズム、特に偶数フレームには１つのアルゴリズム、奇数フレームには他のアルゴリズムを実行することを含むことを特徴とする、請求項１０に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特にバイオメトリックデータを認識することを目的とした、例えば個人の認証若しくは識別又はある場所若しくはある情報に立ち入り、若しくはアクセスするその個人の権利の検証のための画像処理の分野に関する。
【背景技術】
【0002】
従来、画像処理装置は、少なくとも１つのイメージセンサを含む画像取得システムと、通常、例えば赤外光源及び／又は白色発光ダイオード（ＬＥＤ）を含む照明システムを含む。イメージセンサの、例えば露光時間及びゲインの調整及び、照明システムの、例えばＬＥＤｓの強度の調整は、それが環境の照明条件に合ったものとなるように常に制御しなければならない。このダイナミックな制御は、オートゲインコントロール（ＡＧＣ）と呼ばれる。
【0003】
特定の画像処理装置はまた、特にバイオメトリック特性、例えば個人の虹彩等を取得する電動カメラも含む。
【0004】
ＡＧＣの目的は特に、画像取得システムの、特に照明システムの調整データをリアルタイムで制御して、事前に取得した画像の明るさの解析によって画像中の特定の明るさ値を最適化することである。
【0005】
ＡＧＣアルゴリズムは典型的に、取得した画像の統計、すなわち関心対象の１つ又は複数の領域／ゾーン内の平均明るさ等の統計と、前記画像中の明るさのヒストグラムを、前記画像の取得の瞬間における調整データ、すなわちこの特定の画像が取得された瞬間の画像取得システムの、特に照明システムの正確な構成に照らして解析する。この解析により、ＡＧＣアルゴリズムは目標によりよく標的を絞る新たな構成を計算する。このアルゴリズムは、これらのパラメータを繰り返し制御して、最終的にパラメータの安定性が得られるようにする。
【0006】
一般に、新たな構成が画像取得システム及び／又は照明システムにより採用されるまでに遅延、例えば２画像分の遅延があり、これは特に画像取得システム及び／又は照明システムの内部アーキテクチャによる。したがって、ＡＧＣアルゴリズムは、画像の解析を正確なものとするためには、この遅延を考慮に入れなければならない。
【0007】
したがって、パラメータと画像との同期がうまくいっていないと、その結果であるＡＧＣ解析の品質も落ち、それがフラッシュや画像の明るさの過調整につながる可能性があり、収束が劣化して、個人が画像の被写体である物体である場合に不都合が生じかねない。
【0008】
画像処理装置、特にバイオメトリック画像処理装置の分野では、画像の特定の部分（例えば、顔認証装置の場合は顔）の画像の統計をなるべく短時間で最適化することにより、個人の認識を可及的速やかに行うことが目標とされる。
【0009】
通常、画像取得システムは、ハードウェアの特性をリアルタイムで変更して、ＡＧＣアルゴリズムにより計算されたパラメータを適用する画像信号プロセッサ（ＩＳＰ）により調整される。しかしながら、特定の具体的な使用のケースでは、この動作モードは、例えば顔及び／又はＱＲコード等の特定の物体の画像を最適化する場合は不適当であり、また、非標準的画像取得システムの場合、例えば（特許文献１）等に記載されているようなＲＧＢ－ＩＲセンサのような特定の専用の調整を必要とする非標準的光センサが使用される場合も不適当である。
【0010】
ＡＧＣアルゴリズムにより計算されるパラメータを標準的なＩＳＰにより実装できない場合、これらは一般に非リアルタイムソフトウェア（例えば、Ｌｉｎｕｘオペレーティングシステム）を介して適用され、これは、この種のオペレーティングシステムによって装置に他の多くの機能を提供するからである。しかしながら、この場合、入力フレームの構成パラメータを正確に知ることは不可能であり、なぜなら、非リアルタイムのソフトウェアが構成をいつ送信するかは、例えばオペレーティングシステムにおけるより優先度の高いタスクによる先取りのために正確にはわからないからだけでなく、取得した画像がおそらく、複数の画像を含む先入れ先出しのバッファメモリの中に格納されるからである。
【0011】
この場合、最も容易な解決策は、非リアルタイムソフトウェアの数フレームの遅延を、新たな構成がセンサに送信された時から最初の画像が解析されるまでの間に追加して、構成がイメージセンサ及び／又は光源によりそれまでに確実に適用されるようにすることである。具体的には、この場合、複数のフレーム、すなわち画像が過ぎてからでなければ、計算を実行できず、これによって複数の時間間隔の待ち時間が生じる。その結果、ＡＧＣループははるかに遅くなり、これがより長い収束時間及びより遅い装置応答時間につながる。さらに、高解像度カメラを動く物体に向けるために使用されるアルゴリズムの場合、この待ち時間によって追跡パフォーマンスが低下し、高速で動く個人を特定できず、それを追跡できなくなる。
【0012】
この長い収束時間を回避するために、１つの解決策は、画像取得センサのメタデータ機能を有効にすることであり、メタデータには１つの特定画像の露光／ゲインパラメータが含まれ、リアルタイムの同期を行わないことを含め、これらのパラメータを各画像について知り得るようにすることができる。しかしながら、全てのセンサがこの機能を有するとはかぎらず、また、それによってある画像の中で適用される照明を知る必要をメタデータだけで満たすことはできず、したがってこのニーズに応えるには不十分である。
【0013】
さらに、イメージセンサの、例えば露光時間及び／又はゲインの点での調整だけでなく、照明システムの、すなわち光源の、特に発せられた赤外光及び／又は白色光の強度の点での調整を必要とする装置の場合、一方でイメージセンサに対する、他方で光源の制御に固有の新たなパラメータが初めて適用されるのはいつかを把握して、画像取得又は非リアルタイムプロセッサでの処理時のイメージセンサの、及び光源のこれらの構成パラメータは何かがわかるようにすることが必要であり、これは、このような光源にはメタデータ機能がなく、遅延を追加することによって収束が顕著に低速となり、最終的に装置のパフォーマンスが低下するため、問題である。
【0014】
最後に、同期エラー（及びしたがって、タイミングエラー）は、動く物体の場合、位置エラーの原因となる。非同期画像に基づいて３Ｄ位置を推測するシステムはしたがって、その高解像度カメラの位置を正確に特定できない。したがって、同期エラーにより、動く物体が追跡できず、これは、それらによって、例えば動く個人の虹彩の取得に関して、コンテキスト捕捉カメラにより取得された３次元位置と、高解像度カメラの位置等の画像取得システムの位置構成を正確に同期させることが不可能となるからである。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】仏国特許第１９１１６９５号明細書
【発明の概要】
【発明が解決しようとする課題】
【0016】
本発明の目的の１つは、動く物体を認識できるようにしなから、その製造コストを限定する高パフォーマンスの画像処理装置を提供することによって、上述の欠点の少なくとも幾つかを改善することである。
【課題を解決するための手段】
【0017】
そのために、本発明によれば、画像処理装置が提供され、これは、
－画像取得システムと、
－少なくとも１つの画像取得セットポイントを含む少なくとも２つのセットポイントを受信し、前記セットポイントの少なくとも幾つかに応じて、画像取得システムの調整データを特定する同期データ処理システムであって、画像の取得の瞬間に画像取得システムの調整データの少なくとも１つにタイムスタンプを押す同期タイムスタンピング手段を含む同期システムと、
－画像取得システムの調整データのうちのタイムスタンプの押された少なくとも１つを画像の取得の瞬間に取得した前記画像に、前記取得画像にメタデータを追加することによって関連付ける手段と、
－メタデータの関連付けられた前記取得画像を処理する非同期システムであって、少なくとも２つのセットポイントを生成し、同期データ処理システムに送信し、その少なくとも画像取得セットポイントは、メタデータの関連付けられた取得画像の少なくとも１つと、特に前記少なくとも１つの取得画像に関連付けられた画像取得システムの調整データのうちのタイムスタンプの押された少なくとも１つに基づいて特定される非同期システムと、
を含む。
－画像取得システムと、
－少なくとも１つの画像取得セットポイントを含む少なくとも２つのセットポイントを受信し、前記セットポイントの少なくとも幾つかに応じて、画像取得システムの調整データを特定する同期データ処理システムであって、画像の取得の瞬間に画像取得システムの調整データの少なくとも１つにタイムスタンプを押す同期タイムスタンピング手段を含む同期システムと、
－画像取得システムの調整データのうちのタイムスタンプの押された少なくとも１つを画像の取得の瞬間に取得した前記画像に、前記取得画像にメタデータを追加することによって関連付ける手段と、
－メタデータの関連付けられた前記取得画像を処理する非同期システムであって、少なくとも２つのセットポイントを生成し、同期データ処理システムに送信し、その少なくとも画像取得セットポイントは、メタデータの関連付けられた取得画像の少なくとも１つと、特に前記少なくとも１つの取得画像に関連付けられた画像取得システムの調整データのうちのタイムスタンプの押された少なくとも１つに基づいて特定される非同期システムと、
を含む。
【0018】
この装置によって、画像処理の待ち時間を回避できるが、他方で完全にリアルタイムではなく、また、画像の損失に対するロバスト性を保障でき、画像処理に同期の必要性という制約を受けないようにすることができる。
【0019】
有利な態様として、装置は、画像取得システムとは異なる他のシステムを含み、２つのセットポイントの少なくとも一方は、この、他のシステム用とされるセットポイントであり、同期データ処理システムは、前記セットポイントの少なくとも幾つかに応じて、この、他のシステムの調整データを特定し、前記同期タイムスタンピング手段は、画像の取得の瞬間において、この、他のシステムの調整データのうちの少なくとも１つにタイムスタンプを押し、
－この、他のシステムのタイムスタンプの押された調整データの少なくとも１つを、画像の取得の瞬間に取得された前記画像に、メタデータを前記取得画像に追加することによって関連付ける手段と、
－メタデータの関連付けられた前記取得画像を処理する非同期システムは、少なくとも２つのセットポイントを生成して、同期データ処理システムに送信し、その、他のシステム用とされるセットポイントは取得画像の少なくとも１つ及びその、他のシステムの、及び／又は前記少なくとも１つの取得画像に関連付けられる画像取得システムの取得データのうちのタイムスタンプの押された少なくとも１つに基づいて特定され、それによって、取得が他の独立したシステムと同期されて、特に、ただしこれだけではないが、最後に取得された画像に基づいて調整された状態に保持できる。
－この、他のシステムのタイムスタンプの押された調整データの少なくとも１つを、画像の取得の瞬間に取得された前記画像に、メタデータを前記取得画像に追加することによって関連付ける手段と、
－メタデータの関連付けられた前記取得画像を処理する非同期システムは、少なくとも２つのセットポイントを生成して、同期データ処理システムに送信し、その、他のシステム用とされるセットポイントは取得画像の少なくとも１つ及びその、他のシステムの、及び／又は前記少なくとも１つの取得画像に関連付けられる画像取得システムの取得データのうちのタイムスタンプの押された少なくとも１つに基づいて特定され、それによって、取得が他の独立したシステムと同期されて、特に、ただしこれだけではないが、最後に取得された画像に基づいて調整された状態に保持できる。
【0020】
有利な態様として、他のシステムは照明システムであり、その、他のシステム用とされるセットポイントは照明セットポイントであり、これによって特に、同じタイムスタンピング手段で、取得システム及び照明システムを同期させ、調整された状態に保つことが可能となる。それゆえ、この装置は照明システムを含み、２つのセットポイントの少なくとも一方は照明セットポイントであり、同期データ処理システムは、前記セットポイントの少なくとも幾つかに応じて、照明システムの調整データを特定し、前記同期タイムスタンピング手段は、画像の取得の瞬間に、照明システムの調整データのうちの少なくとも１つにタイムスタンプを押し、
－関連付け手段は、照明システムの時間スタンプの押された調整データのうちの少なくとも１つを画像の取得の瞬間に取得された前記画像に、前記取得画像にメタデータを追加することによって関連付け、
－メタデータの関連付けられた前記取得画像を処理する非同期システムは、少なくとも２つのセットポイントを生成し、同期データ処理システムに送信し、そのうちの少なくとも照明セットポイントは、取得画像の少なくとも１つ及び照明システムの、及び／又は前記少なくとも１つの取得画像に関連付けられた画像取得システムの調整データのタイムスタンプの押された少なくとも１つに基づいて特定される。
－関連付け手段は、照明システムの時間スタンプの押された調整データのうちの少なくとも１つを画像の取得の瞬間に取得された前記画像に、前記取得画像にメタデータを追加することによって関連付け、
－メタデータの関連付けられた前記取得画像を処理する非同期システムは、少なくとも２つのセットポイントを生成し、同期データ処理システムに送信し、そのうちの少なくとも照明セットポイントは、取得画像の少なくとも１つ及び照明システムの、及び／又は前記少なくとも１つの取得画像に関連付けられた画像取得システムの調整データのタイムスタンプの押された少なくとも１つに基づいて特定される。
【0021】
有利な態様として、照明システムは赤外放射源を含み、照明又は画像取得システムは赤外感受性センサを含み、それによって標的の検出を、周囲の光条件とは関係なく改善することが可能となり、及び／又は装置を不正行為に対してよりロバストとし、及び／又はバイオメトリック認識の目的を達成しながら、赤外線の発出を最適化し、安全にすることが可能となる。
【0022】
有利な態様として、画像取得システムは、照準線を調整するための少なくとも１つの電動機構と少なくとも１つのイメージセンサを含み、少なくとも１つのイメージセンサは好ましくは虹彩認識カメラを含み、これによってゲイン及び強度等の調整データだけでなく、１つ又は複数の（特にパノラマ／傾斜）モータの位置を適切に調整して、移動する標的の経路が確実に追跡されるようにし、それゆえ１つ又は複数のカメラを標的に素早く向け、それゆえ特に、バイオメトリクスの取得をオンザフライで行えるようにすることが可能となる。
【0023】
有利な態様として、画像取得システムは、少なくとも２つのイメージセンサと、特にマルチプレクサを含み、これによって例えば、より小さい視野の複数のカメラを使ってパノラマ画像を獲得／取得でき、マルチプレクサにより、タイムスタンピングを実行するために、イメージセンサにつき１つではなく、１つのカウンタ（又はクロック）をその中に組み込むことが可能となる。
【0024】
有利な態様として、同期データ処理システムはリアルタイムコプロセッサであり、非同期データ処理システムは非リアルタイムプロセッサであり、これによって非リアルタイムプロセッサを、システムの待ち時間を不利な状態にすることなく、メインプロセッサとして使用することが可能となり、このアーキテクチャによって装置のパフォーマンスは向上し、それはより経済的となる。
【0025】
有利な態様として、リアルタイムコプロセッサは、画像取得システムにより取得された画像を受信し、これらを、各々、関連する画像取得システムの調整データのうちのタイムスタンプの押された少なくとも１つと共に、前記取得画像の各々にメタデータが追加された形態で非リアルタイムプロセッサに送信し、リアルタイムコプロセッサは関連付け手段を含み、同期タイムスタンピング手段は特に、リアルタイムコプロセッサのソフトウェアカウンタであり、これによって取得システム及び他のシステムを、標的を追跡するために、特にその経路を画像及び各画像の取得の瞬間における構成に関する情報であって、メタデータによって前記画像に関連付けられる情報に基づいて調整することが可能となり、リアルタイムプロセッサにおけるタイムスタンピングは、非リアルタイムプロセッサ内の他の時間ベースと組み合わせて、リアルタイムプロセッサのタイムスタンプの押されたデータと取得画像との間の関連付けを行うことができる。
【0026】
有利な態様として、非リアルタイムプロセッサは、画像取得システムにより取得された画像を受信し、同期タイムスタンピング手段は特に、
－リアルタイムコプロセッサと非リアルタイムプロセッサとの間で共有される物理カウンタ
又は
－非リアルタイムプロセッサ内のソフトウェアカウンタ及びリアルタイムコプロセッサ内のソフトウェアカウンタであって、取得画像のタイムスタンプは非リアルタイムプロセッサによって前記取得画像に関連付けられ、これによってその中でリアルタイムコプロセッサが取得画像を受信しなくなり、タイムスタンピングのために、アーキテクチャを最適化する１つのデュアルアクセスカウンタ等の共有手段か、プロセッサ及びコプロセッサ内で２つの時間ベースで複製される手段及びリアルタイムプロセッサのタイムスタンプの押されたデータと取得画像を関連付ける手段の何れかが使用される装置を提供することが可能となるソフトウェアカウンタ
を含む。
－リアルタイムコプロセッサと非リアルタイムプロセッサとの間で共有される物理カウンタ
又は
－非リアルタイムプロセッサ内のソフトウェアカウンタ及びリアルタイムコプロセッサ内のソフトウェアカウンタであって、取得画像のタイムスタンプは非リアルタイムプロセッサによって前記取得画像に関連付けられ、これによってその中でリアルタイムコプロセッサが取得画像を受信しなくなり、タイムスタンピングのために、アーキテクチャを最適化する１つのデュアルアクセスカウンタ等の共有手段か、プロセッサ及びコプロセッサ内で２つの時間ベースで複製される手段及びリアルタイムプロセッサのタイムスタンプの押されたデータと取得画像を関連付ける手段の何れかが使用される装置を提供することが可能となるソフトウェアカウンタ
を含む。
【0027】
有利な態様として、第二の画像から始まり、非リアルタイムプロセッサが受信する後続の各画像について、非リアルタイムプロセッサは関連するメタデータを含む画像のタイムスタンプＴＳを検索し、丸め（ＴＳ－先行画像のＴＳ）を画像が取得された設定期間Ｔで割ることにより画像番号ｐを計算し、このメタデータの読み出しを通じたこのペアワイズタイムスタンプ比較によって画像に番号を付けることができ、それゆえプロセスはドリフト及び１つ又は複数の画像の損失（送信不良、送信エラー）の影響を受けないものとなる。
【0028】
さらに、本発明の他の主題は、本発明による画像処理装置を含むバイオメトリックシステムであり、取得した画像は顔及び／又は虹彩の画像であり、これによって追跡される移動する個人の、特にオンザフライでのバイオメトリック認識が可能となる。
【0029】
さらに、本発明の他の主題は画像処理方法であり、これは、
－画像を取得するステップと、
－画像の取得の瞬間に、画像取得システムの少なくとも１つの調整データにタイムスタンプを押す同時タイムスタンピングを実行するステップと、
－画像取得システムの少なくとも１つのタイムスタンプの押された調整データを、画像の取得の瞬間に取得された前記画像に、前記取得画像にメタデータを追加することによって関連付けるステップと、
－前記メタデータの関連付けられた画像について非同期処理を実行して、取得画像及び、前記取得画像に関連付けられた画像取得システムのタイムスタンプの押された少なくとも１つの調整データに基づいて特定される、少なくとも１つの画像取得セットポイントを含む少なくとも２つのセットポイントを出力として生成するステップと、
－同期データ処理を実行し、同期処理の入力データは、画像取得セットポイントを含む少なくとも２つのセットポイントを含み、出力として、前記セットポイントの少なくとも幾つかに基づいて、新しい画像を取得するために、本発明による画像処理装置と同じ利点を有する前記画像取得システムを調整する画像取得システムの新しい調整データを生成するステップと、
を含む。
－画像を取得するステップと、
－画像の取得の瞬間に、画像取得システムの少なくとも１つの調整データにタイムスタンプを押す同時タイムスタンピングを実行するステップと、
－画像取得システムの少なくとも１つのタイムスタンプの押された調整データを、画像の取得の瞬間に取得された前記画像に、前記取得画像にメタデータを追加することによって関連付けるステップと、
－前記メタデータの関連付けられた画像について非同期処理を実行して、取得画像及び、前記取得画像に関連付けられた画像取得システムのタイムスタンプの押された少なくとも１つの調整データに基づいて特定される、少なくとも１つの画像取得セットポイントを含む少なくとも２つのセットポイントを出力として生成するステップと、
－同期データ処理を実行し、同期処理の入力データは、画像取得セットポイントを含む少なくとも２つのセットポイントを含み、出力として、前記セットポイントの少なくとも幾つかに基づいて、新しい画像を取得するために、本発明による画像処理装置と同じ利点を有する前記画像取得システムを調整する画像取得システムの新しい調整データを生成するステップと、
を含む。
【0030】
有利な態様として、
－２つのセットポイントの一方は、特に赤外線照明セットポイントを含む光度セットポイントを含む照明セットポイントであり、
－同期データ処理は、出力として、前記セットポイントの少なくとも幾つかに基づいて、前記照明システムを調整するための照明システムの調整データを生成し、
これによって取得システムと照明システムといった別々のシステムを、メタデータによってそれらを輸送する画像と融合されるそれらの特定の調整データの外挿に基づいて調整された状態に保持することが可能となる。
－２つのセットポイントの一方は、特に赤外線照明セットポイントを含む光度セットポイントを含む照明セットポイントであり、
－同期データ処理は、出力として、前記セットポイントの少なくとも幾つかに基づいて、前記照明システムを調整するための照明システムの調整データを生成し、
これによって取得システムと照明システムといった別々のシステムを、メタデータによってそれらを輸送する画像と融合されるそれらの特定の調整データの外挿に基づいて調整された状態に保持することが可能となる。
【0031】
有利な態様として、画像取得セットポイントは画像取得の光学視野内に存在する物体の推測経路を含み、この物体は特に、虹彩及び／又は顔等の個人のバイオメトリック特性であり、これによって物体又は個人を、特にバイオメトリクスを用いてオンザフライで追跡して認識することが可能となる。
【0032】
有利な態様として、画像取得システムの調整データは、物体の前記推測経路を辿るように特定され、これによって特に、電動パノラマ／傾斜機構を調整することが可能となる。
【0033】
有利な態様として、同期データ処理を実行するステップにおいて、少なくとも最後に取得された画像のタイムスタンプの押された調整データを含む表が作成され、これによって調整データの情報をロバストに、装置全体に共通する時間ベースのそれらのタイムスタンプにリンクさせるか、又は装置の他のタイムベースに関連付けることが可能となる。
【0034】
有利な態様として、非同期処理を実行するステップは、１つのフレームから次のフレームへと異なるアルゴリズム、特に偶数フレームには１つのアルゴリズム、奇数フレームには他のアルゴリズムを実行することを含み、これによって１つのカメラで２つのカメラを人工的に作成することが可能となる。１つは例えば物体の画像を処理し、もう一方は個人の顔の画像を処理し得る。
【0035】
本発明のその他の特徴及び利点は、本発明の非限定的な特定の実装モードに関する以下の説明を読めば明らかになるであろう。
【図面の簡単な説明】
【0036】
【図1】本発明の１つの実施形態による画像処理装置のアーキテクチャの一例を示す。
【図2】本発明による画僧処理装置の第一の実施形態を示す。
【図3】本発明による画像処理装置の第二の実施形態を示す。
【図4】第二の実施形態の第一の代替型による画像処理装置の一例を示す。
【図5】第二の実施形態の第一の代替型による画像処理装置のアーキテクチャと各種のコンポーネント間の交換を示す。
【図6】第二の実施形態の第一の代替型による画像処理装置に適用されている本発明による方法のタイミング図の一例である。
【図7】第二の実施形態の第二の代替型による画像処理装置の一例を示す。
【図8】第二の実施形態の第二の代替型による画像処理装置の同期機構を示す。
【図9】第二の実施形態の第二の代替型による、マルチプレクサを含む画像処理装置の同期機構を示す。
【発明を実施するための形態】
【0037】
図１に関して、画像処理装置１のアーキテクチャは、
－照明システムＳＥと、
－特に２つのサブシステムを含み、第一のサブシステムはイメージセンサＳＡ１、例えば１つの（又は複数の）カメラ、特にコンテキスト捕捉カメラ（又は、特に立体検査鏡用の複数のこれら）及び虹彩認証カメラ等の高解像度カメラであり、第二のサブシステムはイメージセンサの高解像度カメラの電動機構ＳＡ４を含む画像取得システムＳＡと、
－同期データ処理システムＳＳＹと、
－非同期データ処理システムＡＳＹと、
を含む。
－照明システムＳＥと、
－特に２つのサブシステムを含み、第一のサブシステムはイメージセンサＳＡ１、例えば１つの（又は複数の）カメラ、特にコンテキスト捕捉カメラ（又は、特に立体検査鏡用の複数のこれら）及び虹彩認証カメラ等の高解像度カメラであり、第二のサブシステムはイメージセンサの高解像度カメラの電動機構ＳＡ４を含む画像取得システムＳＡと、
－同期データ処理システムＳＳＹと、
－非同期データ処理システムＡＳＹと、
を含む。
【0038】
関連付け手段は、ここでは、図を見やすくするために図示されていないことに留意されたく、したがって、関連付けステップＥ＿ＡＳＳは図２及び３において同期システムＳＳＹの下に示されている。
【0039】
前記システムの動作方法に関して、画像処理方法は、
－フレームＮで、画像ＩＭＧを取得システムＳＡによって例えば調整データＰＩＬ、特に初期化時に採用される特定のデフォルト構成にしたがって取得する第一のステップを実行し、前記画像ＩＭＧを同期システムＳＳＹに送信し、画像ストリームは好ましくは、物理トランスポート層を介して、画像処理システムのプロセッサにより読み取られる揮発性メモリに書き込まれ、
－（画像ＩＭＧの）取得と同じフレームＮの中で、同期システムＳＳＹによって、前記画像の取得の瞬間に適用された画像取得システムＳＡの調整データＰＩＬのうちの少なくとも１つ、例えば、イメージセンサＳＡ１のゲイン及び／若しくは露光時間並びに／又は電動機構ＳＡ４の１つ又は複数のモータの位置及び好ましく移動速度と、好ましくはここでは前記画像の取得の瞬間に適用された照明システムＳＥの調整データ（パラメータとも呼ばれる）ＰＩＬのうちの少なくとも１つの同期タイムスタンピング、例えば赤外及び／又は白色光の強度に対する同期タイムスタンピングを実行し、
－前記同期システムＳＳＹによって、前記画像ＩＭＧの取得の瞬間に適用された前記タイムスタンプの押された特定の調整データＰＩＬを前記取得画像に、これらの調整データＰＩＬを含むメタデータを前記取得画像に追加することによって関連付け、フレームＮ内で（すなわち、時間ｎに）取得された画像ＩＭＧのデータＰＩＬの、フレームＮ内で（すなわち、時間ｎに）生成された画像ＩＭＧとのこの関連付けはおそらく逐次的に実行され、メタデータの関連付けられた画像ＩＭＧ＿Ｍを非同期システムＳＡＳに送信し、
－非同期システムＳＡＳによるメタデータに関連付けられた画像ＩＭＧ＿Ｍの受信と同じ又はその後の時間に、非同期システムＳＡＳによって前記メタデータの関連付けられた画像ＩＭＧ＿Ｍに対して非同期処理を実行し、出力として、同期データ処理システムＳＳＹに送信されるセットポイントＣＯＮＳ、すなわちメタデータの関連付けられた画像ＩＭＧ＿Ｍに基づいて、すなわち前記取得画像ＩＭＧ及びフレームＮ内に取得された前記画像ＩＭＧに関連付けられた画像取得システムＳＡのタイムスタンプの押された調整データに基づいて特定された少なくとも１つの画像取得セットポイントＣＯＮＳ（例えば、露光及び／又はゲイン及び／又は位置若しくは経路）のほか、ここでは追加的に、同じくメタデータの関連付けられた画像ＩＭＧ＿Ｍに基づいて特定された照明セットポイントＣＯＮＳを生成し、セットポイントは特に画像及びメタデータによってそれに関連付けられた１つ又は複数のテータに基づいて特定され、
－その後の、又は後続のフレームＮ＋１において、前記同期システムＳＳＹにより、ここでは前記２つのセットポイントＣＯＮＳを含む同期処理動作の入力データに対して同期処理を実行し、出力として、前記セットポイントの少なくとも幾つかに基づいて、画像取得システムＳＡの新しい調整データＰＩＬを生成し、これらは前記画像取得システムを新しい画像を取得するために調整する。
－フレームＮで、画像ＩＭＧを取得システムＳＡによって例えば調整データＰＩＬ、特に初期化時に採用される特定のデフォルト構成にしたがって取得する第一のステップを実行し、前記画像ＩＭＧを同期システムＳＳＹに送信し、画像ストリームは好ましくは、物理トランスポート層を介して、画像処理システムのプロセッサにより読み取られる揮発性メモリに書き込まれ、
－（画像ＩＭＧの）取得と同じフレームＮの中で、同期システムＳＳＹによって、前記画像の取得の瞬間に適用された画像取得システムＳＡの調整データＰＩＬのうちの少なくとも１つ、例えば、イメージセンサＳＡ１のゲイン及び／若しくは露光時間並びに／又は電動機構ＳＡ４の１つ又は複数のモータの位置及び好ましく移動速度と、好ましくはここでは前記画像の取得の瞬間に適用された照明システムＳＥの調整データ（パラメータとも呼ばれる）ＰＩＬのうちの少なくとも１つの同期タイムスタンピング、例えば赤外及び／又は白色光の強度に対する同期タイムスタンピングを実行し、
－前記同期システムＳＳＹによって、前記画像ＩＭＧの取得の瞬間に適用された前記タイムスタンプの押された特定の調整データＰＩＬを前記取得画像に、これらの調整データＰＩＬを含むメタデータを前記取得画像に追加することによって関連付け、フレームＮ内で（すなわち、時間ｎに）取得された画像ＩＭＧのデータＰＩＬの、フレームＮ内で（すなわち、時間ｎに）生成された画像ＩＭＧとのこの関連付けはおそらく逐次的に実行され、メタデータの関連付けられた画像ＩＭＧ＿Ｍを非同期システムＳＡＳに送信し、
－非同期システムＳＡＳによるメタデータに関連付けられた画像ＩＭＧ＿Ｍの受信と同じ又はその後の時間に、非同期システムＳＡＳによって前記メタデータの関連付けられた画像ＩＭＧ＿Ｍに対して非同期処理を実行し、出力として、同期データ処理システムＳＳＹに送信されるセットポイントＣＯＮＳ、すなわちメタデータの関連付けられた画像ＩＭＧ＿Ｍに基づいて、すなわち前記取得画像ＩＭＧ及びフレームＮ内に取得された前記画像ＩＭＧに関連付けられた画像取得システムＳＡのタイムスタンプの押された調整データに基づいて特定された少なくとも１つの画像取得セットポイントＣＯＮＳ（例えば、露光及び／又はゲイン及び／又は位置若しくは経路）のほか、ここでは追加的に、同じくメタデータの関連付けられた画像ＩＭＧ＿Ｍに基づいて特定された照明セットポイントＣＯＮＳを生成し、セットポイントは特に画像及びメタデータによってそれに関連付けられた１つ又は複数のテータに基づいて特定され、
－その後の、又は後続のフレームＮ＋１において、前記同期システムＳＳＹにより、ここでは前記２つのセットポイントＣＯＮＳを含む同期処理動作の入力データに対して同期処理を実行し、出力として、前記セットポイントの少なくとも幾つかに基づいて、画像取得システムＳＡの新しい調整データＰＩＬを生成し、これらは前記画像取得システムを新しい画像を取得するために調整する。
【0040】
それゆえ、その後の取得（できるだけ早く、遅延は後述のように装置の設計に依存する）に使用される調整データＰＩＬは、先行画像の取得中に適用された取得構成に応じて特定される。構成が適用されたことを確認するまでに幾つかの画像分と等しい遅延が経過するまで待つ必要がなく、これは、構成データが、前記画像にメタデータを追加することによって画像に関連付けられるからであり、メタデータは調整データＰＩＬを含み、画像と、前記画像に対応するメタデータの調整データＰＩＬとの間のリンクがタイムスタンピングプロセスによって生成される。
【0041】
メタデータの一部はすでに存在していて、画像取得システムＳＡに固有のものであり得、メタデータのこの部分は上述の調整データＰＩＬとは異なるデータ、例えばカメラＳＡ１のシリアル番号又はイメージセンサＳＡ１の状態若しくは健全さの指標であり得、この場合、このメタデータは、イメージセンサＳＡ１に応じて、取得システムにより取得された画像ＩＭＧに直接組み込まれる。
【0042】
タイムスタンピングプロセスを実行するために、同期システムＳＳＹは同期タイムスタンピング手段を含み、同期システムＳＳＹはイメージセンサＳＡ１をトリガし、
－それゆえ、同期システムＳＳＹには、露光の瞬間と露光時間が正確にわかる。代替的に、イメージセンサＳＡ１はそれ自体をトリガし、同期信号を同期システムに送信する。トリガは、同期システムＳＳＹがトリガを生成する所定のインタバルで行われても行われなくてもよいが、イメージセンサＳＡ１がそれ自体をトリガする場合は所定のインタバルで行われることが好ましい。
－それゆえ、同期システムＳＳＹには、露光の瞬間と露光時間が正確にわかる。代替的に、イメージセンサＳＡ１はそれ自体をトリガし、同期信号を同期システムに送信する。トリガは、同期システムＳＳＹがトリガを生成する所定のインタバルで行われても行われなくてもよいが、イメージセンサＳＡ１がそれ自体をトリガする場合は所定のインタバルで行われることが好ましい。
【0043】
本明細書に記載の実施形態において、同期システムＳＳＹは画像取得システムＳＡの、調整データとも呼ばれる構成パラメータをその（又は複数の）カメラＳＡ１に送信し、取得画像の各々に関するこれらのパラメータの記録をメモリ内に保持する。好ましくは、ここで使用されるメモリは揮発性（すなわち、ランダムアクセスメモリ、すなわちＲＡＭ）であり、保存は短期間であり、保存されたデータは特に数フレーム分の時間が経過すると無効となる。
【0044】
同様に、同期システムＳＳＹは照明システムＳＥを調整して、取得画像の各々に関するこれらの調整データ及び、特に（各）カメラＳＡ１の露光の瞬間における光度の記録をメモリ内に保持する。同様に、好ましくは、ここで使用されるメモリは揮発性ＲＡＭであり、保存は短期間であり、保存されたデータは特に数フレーム分の時間が経過すると無効となる。
【0045】
有利な点として、同期システムＳＳＹはイメージセンサＳＡ１の電動機構ＳＡ４を調整して、それを非同期システムＳＡにより送達され、計算された経路セットポイントＣＯＮＳにしたがって必要な瞬間に予想される位置にそれを位置付ける。
【0046】
同期システムＳＳＹは特に、各フレームに関する以下の調整データＰＩＬをメモリ内に記録し得る：
－取得システムＳＡ１の露光及び／又はゲイン、
－照明システムＳＥの露光中の光の強度、
－電動機構ＳＡ４の位置（ｘ，ｙ，ｚ又はティップ／ティルト／フォーカス）、ショット時のその速度。
－取得システムＳＡ１の露光及び／又はゲイン、
－照明システムＳＥの露光中の光の強度、
－電動機構ＳＡ４の位置（ｘ，ｙ，ｚ又はティップ／ティルト／フォーカス）、ショット時のその速度。
【0047】
有利な態様として、同期システムＳＳＹは、イメージセンサＳＡ１の高解像度カメラを、その電動機構ＳＡ４が経路ＣＯＮＳ上に位置した時、すなわちそれが経路に到達した時のみトリガし得て、それによって高解像度カメラによって関連する画像のみが取得される。
【0048】
同期システムＳＳＹは、全ての調整データＰＩＬを対応する画像に、メタデータ、可能であれば前記画像に含すでに含まれているメタデータを追加することによって関連付け、取得画像ストリームの各画像についてそれを行い、それによって同期は失われなくなる。
【0049】
それゆえ、非同期システムＳＡＳは、前記画像の取得の瞬間に特定の取得システムＳＡの調整データＰＩＬを含むメタデータの関連付けられた取得画像ＩＭＧを受信する。
【0050】
非同期システムＳＡＳはすると、リアルタイムの制約を受けずに受信したデータを処理し得て、
－強度解析はＡＧＣアルゴリズムにより、特に画像のうちユーザの顔を含む部分等の関心対象領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）について行われる。ＡＧＣアルゴリズムから出力として生成される結果は、新しい調整セットポイントＣＯＮＳ群であり、そこから、（同期システムＳＳＹにより選択される、適用の時間での）新しい調整データＰＩＬ群が導き出され、これは特にイメージセンサＳＡ１の（例えば、新しい露光時間及び／又はゲイン）、及び照明システムＳＥの構成パラメータの形態をとり、
－眼の検出は、眼検出アルゴリズムによって複数の、好ましくは少なくとも２つの連続する画像、好ましくは最も新しい画像に基づいて実行され、出力として、イメージセンサＳＡ１の電動機構ＳＡ４のための局所的追跡回路セットポイントＣＯＮＳを生成する。
－強度解析はＡＧＣアルゴリズムにより、特に画像のうちユーザの顔を含む部分等の関心対象領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）について行われる。ＡＧＣアルゴリズムから出力として生成される結果は、新しい調整セットポイントＣＯＮＳ群であり、そこから、（同期システムＳＳＹにより選択される、適用の時間での）新しい調整データＰＩＬ群が導き出され、これは特にイメージセンサＳＡ１の（例えば、新しい露光時間及び／又はゲイン）、及び照明システムＳＥの構成パラメータの形態をとり、
－眼の検出は、眼検出アルゴリズムによって複数の、好ましくは少なくとも２つの連続する画像、好ましくは最も新しい画像に基づいて実行され、出力として、イメージセンサＳＡ１の電動機構ＳＡ４のための局所的追跡回路セットポイントＣＯＮＳを生成する。
【0051】
これらのセットポイントＣＯＮＳが生成されるとすぐに、これらは非同期システムＳＡＳによって同期システムＳＳＹに伝送される。
【0052】
システムアーキテクチャの物理的実施形態の２つの代替的な例を以下に説明する：
コプロセッサは取得画像ＩＭＧを直接受け取ることができ、するとコプロセッサは、メタデータの形態をとる調整データＰＩＬを各画像に関連付け、プロセッサに前記メタデータの関連付けられた画像ＩＭＧ＿Ｍを伝送し、
又はコプロセッサは、特にそのアーキテクチャによる限界によって、取得画像ＩＭＧを受け取ることができず、すると、取得画像ＩＭＧは取得システムＳＡによってプロセッサに直接伝送される。この場合、新しい取得画像とメタデータの調整データＰＩＬとの間の関連付けは、プロセッサにより、取得画像ＩＭＧがプロセッサに到達した時にプロセッサにより記録されたタイムスタンプを使って行われ得る。具体的には、プラットフォームとも呼ばれる非リアルタイムプロセッサを用いた場合でも、タイムスタンプを記録するタスクに非常に高い優先度が付与され得て、それによってタイムスタンプは、プロセッサにより取得された画像ＩＭＧが受信されるとすぐに記録され、タイムスタンプはすると、コールバック割り込みを受け取った時に非常に短い、優先度の高いタスクを介して保存され、この割り込みはプロセッサに対し、画像がメモリにコピーされていて、処理に利用できることを通知する役割を果たす。
コプロセッサは取得画像ＩＭＧを直接受け取ることができ、するとコプロセッサは、メタデータの形態をとる調整データＰＩＬを各画像に関連付け、プロセッサに前記メタデータの関連付けられた画像ＩＭＧ＿Ｍを伝送し、
又はコプロセッサは、特にそのアーキテクチャによる限界によって、取得画像ＩＭＧを受け取ることができず、すると、取得画像ＩＭＧは取得システムＳＡによってプロセッサに直接伝送される。この場合、新しい取得画像とメタデータの調整データＰＩＬとの間の関連付けは、プロセッサにより、取得画像ＩＭＧがプロセッサに到達した時にプロセッサにより記録されたタイムスタンプを使って行われ得る。具体的には、プラットフォームとも呼ばれる非リアルタイムプロセッサを用いた場合でも、タイムスタンプを記録するタスクに非常に高い優先度が付与され得て、それによってタイムスタンプは、プロセッサにより取得された画像ＩＭＧが受信されるとすぐに記録され、タイムスタンプはすると、コールバック割り込みを受け取った時に非常に短い、優先度の高いタスクを介して保存され、この割り込みはプロセッサに対し、画像がメモリにコピーされていて、処理に利用できることを通知する役割を果たす。
【0053】
コプロセッサが取得画像ＩＭＧを受信し、それらを再送信する第一の実施形態は図２に示されている。
【0054】
プロセッサとコプロセッサとは、ここでは、一方の他方に対する依存性についていかなる指示も行われず、これらの２つの用語は単に区別するために使用されている。この図に示されている実施形態において、同期システムＳＳＹはリアルタイムプロセッサＰＲＯＣ＿ＴＲであり、ここではコプロセッサとも呼ばれ、非同期システムＳＡＳは非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲであり、ここではプロセッサとも呼ばれる。この実施形態において、リアルタイムコプロセッサＰＲＯＣ＿ＴＲは関連付け手段を含む。
【0055】
同期システムＳＳＹの全てのステップは、この第一の実施形態では、リアルタイムプロセッサにより行われ、これは調整ＣＯＮＳを受け取り、
－調整ステップＥ＿ＰＩＬで、そのＰＲＯＣ＿ＴＲはセットポイントＣＯＮＳにしたがって調整データＰＩＬを生成し、それと同時に取得システムＳＡ（イメージセンサＳＡ１及び電動機構ＳＡ４）と照明システムＳＥを、そこに調整データＰＩＬをセットポイントＣＯＮＳにしたがって適用することによって調整し、すると、画像ＩＭＧが取得システムＳＡにより取得され、リアルタイムプロセッサＰＲＯＣ＿ＴＲに伝送され、
－次に、ステップＥ＿ＨＯＲで、リアルタイムプロセッサＰＲＯＣ＿ＴＲは、受け取った取得画像ＩＭＧに関するタイムスタンプの押された調整データの表を作成し、
－ステップＥ＿ＡＳＳで、リアルタイムプロセッサＰＲＯＣ＿ＴＲはメタデータの形態のタイムスタンプの押されたデータを前記画像ＩＭＧに追加し、そのようにしてメタデータの関連付けられた画像ＩＭＧ＿Ｍを生成する。
－調整ステップＥ＿ＰＩＬで、そのＰＲＯＣ＿ＴＲはセットポイントＣＯＮＳにしたがって調整データＰＩＬを生成し、それと同時に取得システムＳＡ（イメージセンサＳＡ１及び電動機構ＳＡ４）と照明システムＳＥを、そこに調整データＰＩＬをセットポイントＣＯＮＳにしたがって適用することによって調整し、すると、画像ＩＭＧが取得システムＳＡにより取得され、リアルタイムプロセッサＰＲＯＣ＿ＴＲに伝送され、
－次に、ステップＥ＿ＨＯＲで、リアルタイムプロセッサＰＲＯＣ＿ＴＲは、受け取った取得画像ＩＭＧに関するタイムスタンプの押された調整データの表を作成し、
－ステップＥ＿ＡＳＳで、リアルタイムプロセッサＰＲＯＣ＿ＴＲはメタデータの形態のタイムスタンプの押されたデータを前記画像ＩＭＧに追加し、そのようにしてメタデータの関連付けられた画像ＩＭＧ＿Ｍを生成する。
【0056】
非同期システムＳＡの全てのステップは破線の枠で囲まれ、この第一の実施形態では、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲにより行われ、このＰＲＯＣ＿ＮＴＲは前記メタデータの関連付けられた画像ＩＭＧ＿Ｍを受け取り、
－ステップＥ＿ＴＲＡで、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲは受け取ったデータ、すなわちメタデータの関連付けられた画像ＩＭＧ＿Ｍを、それを解析することによって、より具体的には前記メタデータの関連付けられた画像ＩＭＧ＿Ｍの中の眼の強度及び／又は位置の統計的解析を行うことによって処理し、
－ステップＥ＿ＣＯＮで、露光及び／若しくは照明並びに／又は眼の経路の作成／更新に関するパラメータの形態の新しいセットポイントパラメータＣＯＮＳを、次の画像取得のために特定する。
－ステップＥ＿ＴＲＡで、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲは受け取ったデータ、すなわちメタデータの関連付けられた画像ＩＭＧ＿Ｍを、それを解析することによって、より具体的には前記メタデータの関連付けられた画像ＩＭＧ＿Ｍの中の眼の強度及び／又は位置の統計的解析を行うことによって処理し、
－ステップＥ＿ＣＯＮで、露光及び／若しくは照明並びに／又は眼の経路の作成／更新に関するパラメータの形態の新しいセットポイントパラメータＣＯＮＳを、次の画像取得のために特定する。
【0057】
コプロセッサＰＲＯＣ＿ＴＲが取得画像ＩＭＧを受け取らない第二の実施形態が図３に示されており、画像ＩＭＧは非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲに直接送達され、それゆえ、
－１つ前の実施形態と同様に、調整ステップＥ＿ＰＩＬで、そのＰＲＯＣ＿ＴＲはセットポイントＣＯＮＳにしたがって調整データＰＩＬを生成し、それと同時に取得システムＳＡ（イメージセンサＳＡ１及び電動機構ＳＡ４）と照明システムＳＥを、そこに調整データＰＩＬをセットポイントＣＯＮＳにしたがって適用することによって、セットポイントにしたがって調整し、
－次に、１つ前の実施形態と同様に、ステップＥ＿ＨＯＲで、リアルタイムプロセッサＰＲＯＣ＿ＴＲは受け取った取得画像ＩＭＧに関するタイムスタンプの押された調整データの表を作成する。
－１つ前の実施形態と同様に、調整ステップＥ＿ＰＩＬで、そのＰＲＯＣ＿ＴＲはセットポイントＣＯＮＳにしたがって調整データＰＩＬを生成し、それと同時に取得システムＳＡ（イメージセンサＳＡ１及び電動機構ＳＡ４）と照明システムＳＥを、そこに調整データＰＩＬをセットポイントＣＯＮＳにしたがって適用することによって、セットポイントにしたがって調整し、
－次に、１つ前の実施形態と同様に、ステップＥ＿ＨＯＲで、リアルタイムプロセッサＰＲＯＣ＿ＴＲは受け取った取得画像ＩＭＧに関するタイムスタンプの押された調整データの表を作成する。
【0058】
第二の実施形態において、画像ＩＭＧはその後、取得システムＳＡによって取得され、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲに伝送され、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲは破線の枠で囲まれたステップを実行し、これらはすなわち、同期システムＳＳＹ（同期システムＳＳＹの下に関連付けステップが示されている）と非同期システムＳＡＳのステップであり、非同期システムＳＡＳのステップは全て破線の枠で囲まれており、
－ステップＥ＿ＡＳＳで、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲは画像ＩＭＧをタイムスタンプＴＳによって正しいメタデータに関連付け、このようにして、メタデータの関連付けられた画像ＩＭＧ＿Ｍを生成し、
－１つ前の実施形態と同様に、ステップＥ＿ＴＲＡで、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲは受け取ったデータ、すなわちメタデータの関連付けられた画像ＩＭＧ＿Ｍを、それを解析することによって、より具体的には、前記メタデータの関連付けられた画像ＩＭＧ＿Ｍの中の眼の明るさ及び／又は位置の統計的解析を行うことによって処理し、
－ステップＥ＿ＣＯＮで、露光及び／若しくは照明並びに／又は眼の経路の作成／更新に関するパラメータの形態をとる新しいセットポイントパラメータＣＯＮＳを、次の画像取得のために特定する。
－ステップＥ＿ＡＳＳで、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲは画像ＩＭＧをタイムスタンプＴＳによって正しいメタデータに関連付け、このようにして、メタデータの関連付けられた画像ＩＭＧ＿Ｍを生成し、
－１つ前の実施形態と同様に、ステップＥ＿ＴＲＡで、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲは受け取ったデータ、すなわちメタデータの関連付けられた画像ＩＭＧ＿Ｍを、それを解析することによって、より具体的には、前記メタデータの関連付けられた画像ＩＭＧ＿Ｍの中の眼の明るさ及び／又は位置の統計的解析を行うことによって処理し、
－ステップＥ＿ＣＯＮで、露光及び／若しくは照明並びに／又は眼の経路の作成／更新に関するパラメータの形態をとる新しいセットポイントパラメータＣＯＮＳを、次の画像取得のために特定する。
【0059】
この第二の実施形態について、ここでは２つの異なる代替型が説明され、それゆえ：
－第一の代替型は、リアルタイムコプロセッサＰＲＯＣ＿ＴＲと非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲとの間で共有される物理カウンタからなり、すると、タイムスタンプＴＳは両方のプロセッサＰＲＯＣ＿ＴＲとＰＲＯＣ＿ＮＴＲの両方に同時に送信され、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲはすると、リアルタイムコプロセッサＰＲＯＣ＿ＴＲに受け取ったタイムスタンプＴＳに対応する調整データを求め、
－第二の代替型は共有の物理カウンタを含まず、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲの中のソフトウェアカウンタと、リアルタイムコプロセッサＰＲＯＣ＿ＴＲ内の、第一のカウンタとは独立した他のソフトウェアカウンタからなり、取得画像ＩＭＧのタイムスタンプＴＳは、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲによって前記取得画像に関連付けられる。非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲにはすると、２つの独立したタイムスタンプＴＳ間のオフセットがわからなければならない。このオフセットは、第一の画像ＩＭＧの受信時に、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲのタイムスタンプＴＳとリアルタイムコプロセッサＰＲＯＣ＿ＴＲのタイムスタンプＴＳを比較することによって測定され得て、これは前記第一の画像のメタデータの形態で記録される。具体的には、２つのタイムスタンプＴＳ間にオフセット、特に時間によるドリフトがあるようにすることができ、この特定モードによって、装置がオンにされた後の最初の画像取得時に、このオフセットを特定でき、それによって一連の取得全体について、それを知り得て、好ましくは、これは各作業セッションを通じて一体のままであると考えられる。さらに、このドリフトは、フィルタを適用して、最後に測定されたオフセットに基づいてオフセットを連続的に調整することによって補償され得る。
－第一の代替型は、リアルタイムコプロセッサＰＲＯＣ＿ＴＲと非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲとの間で共有される物理カウンタからなり、すると、タイムスタンプＴＳは両方のプロセッサＰＲＯＣ＿ＴＲとＰＲＯＣ＿ＮＴＲの両方に同時に送信され、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲはすると、リアルタイムコプロセッサＰＲＯＣ＿ＴＲに受け取ったタイムスタンプＴＳに対応する調整データを求め、
－第二の代替型は共有の物理カウンタを含まず、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲの中のソフトウェアカウンタと、リアルタイムコプロセッサＰＲＯＣ＿ＴＲ内の、第一のカウンタとは独立した他のソフトウェアカウンタからなり、取得画像ＩＭＧのタイムスタンプＴＳは、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲによって前記取得画像に関連付けられる。非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲにはすると、２つの独立したタイムスタンプＴＳ間のオフセットがわからなければならない。このオフセットは、第一の画像ＩＭＧの受信時に、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲのタイムスタンプＴＳとリアルタイムコプロセッサＰＲＯＣ＿ＴＲのタイムスタンプＴＳを比較することによって測定され得て、これは前記第一の画像のメタデータの形態で記録される。具体的には、２つのタイムスタンプＴＳ間にオフセット、特に時間によるドリフトがあるようにすることができ、この特定モードによって、装置がオンにされた後の最初の画像取得時に、このオフセットを特定でき、それによって一連の取得全体について、それを知り得て、好ましくは、これは各作業セッションを通じて一体のままであると考えられる。さらに、このドリフトは、フィルタを適用して、最後に測定されたオフセットに基づいてオフセットを連続的に調整することによって補償され得る。
【0060】
図４は、本発明による、より詳しくは第二の実施形態の第一の代替型による画像処理装置を示し、以下のコンポーネントを含む：
－リアルタイム処理用に設計されていないオペレーティングシステムを実行する非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲ、ここではメインプロセッサ、例えばＬｉｎｕｘを実行するＡＲＭ Ｃｏｒｔｅｘ Ａ５３と、
－リアルタイムデータ処理用に設計されたオペレーティングシステムを実行するリアルタイムコプロセッサＰＲＯＣ＿ＴＲ、例えばＣｏｒｔｅｘ Ｍ７＋ＦｒｅｅＲＴＯＳと、
－非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲとリアルタイムコプロセッサＰＲＯＣ＿ＴＲとの間で共有される共通のタイムスタンピングカウンタと、
－非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲとリアルタイムコプロセッサＰＲＯＣ＿ＴＲとの間の通信チャネルと、
－リアルタイムコプロセッサＰＲＯＣ＿ＴＲと画像取得システムＳＡとの間の通信チャネル。
－リアルタイム処理用に設計されていないオペレーティングシステムを実行する非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲ、ここではメインプロセッサ、例えばＬｉｎｕｘを実行するＡＲＭ Ｃｏｒｔｅｘ Ａ５３と、
－リアルタイムデータ処理用に設計されたオペレーティングシステムを実行するリアルタイムコプロセッサＰＲＯＣ＿ＴＲ、例えばＣｏｒｔｅｘ Ｍ７＋ＦｒｅｅＲＴＯＳと、
－非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲとリアルタイムコプロセッサＰＲＯＣ＿ＴＲとの間で共有される共通のタイムスタンピングカウンタと、
－非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲとリアルタイムコプロセッサＰＲＯＣ＿ＴＲとの間の通信チャネルと、
－リアルタイムコプロセッサＰＲＯＣ＿ＴＲと画像取得システムＳＡとの間の通信チャネル。
【0061】
コプロセッサＰＲＯＣ＿ＴＲは、画像取得システムＳＡのイメージセンサと照明システムＳＥ、より正確には照明システムＳＥの発光ダイオード（ＬＥＤｓ）に直接接続される。
【0062】
コプロセッサＰＲＯＣ＿ＴＲは以下を制御する：
－画像取得システムがトリガされる正確な瞬間（それゆえ、画像が取得／捕捉される正確な時間）、
－調整データＰＩＬ（例えば、露光及びゲイン）が適用される正確な時間及びおそらくはその適用持続時間、
－おそらくは各フレームで、照明システムＳＥのＬＥＤｓの強度が更新される正確な時間。
－画像取得システムがトリガされる正確な瞬間（それゆえ、画像が取得／捕捉される正確な時間）、
－調整データＰＩＬ（例えば、露光及びゲイン）が適用される正確な時間及びおそらくはその適用持続時間、
－おそらくは各フレームで、照明システムＳＥのＬＥＤｓの強度が更新される正確な時間。
【0063】
この例において、ＩＭＸ８ＭＰＬＵＳチップが使用され、チップの中には、メイン非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲ：Ａ５３、及びリアルタイムコプロセッサＰＲＯＣ＿ＴＲ：Ｃｏｒｔｅｘ Ｍ７、及び１つの物理クロック又はカウンタがある。ＨＷ＿ＴＳはチップの中にあり、それがＡ５３プロセッサＰＲＯＣ＿ＮＴＲとＭ７コプロセッサＰＲＯＣ＿ＴＲの両方からアクセス可能であるため、共有される。
【0064】
図５は、このアーキテクチャの動作の一部に示しており、明瞭にするために、全てのステップが示されているとはかぎらず、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲにより実行されるコンポーネント又はステップは破線の枠で囲まれ、リアルタイムプロセッサＰＲＯＣ＿ＴＲにより実行されるコンポーネント又はステップは実線の枠で囲まれ、物理コンポーネントは影付き領域により表されている。
【0065】
コンポーネントＢＩＯは初期化及び停止信号によって、画像取得システムのカメラを調整するために使用されるプログラムＰ＿ＳＡを初期化し、その後停止させ、－プログラムＰ＿ＳＡはセットポイントをＭ７のＰ＿Ｉ２Ｃに通信する。プログラムＰ＿Ｉ２Ｃは画像取得システムＳＡのイメージセンサと、特にＩ２Ｃプロトコルによって通信する。次に、第一の取得画像ＩＭＧ及び、より一般的には画像ＩＭＧのストリームは、受信コンポーネントＭＩＰ１を通過してから非リアルプロセッサＰＲＯＣ＿ＮＴＲに送られ、それと並行して、リアルタイムコプロセッサＰＲＯＣ＿ＴＲは、画像が取得された瞬間における共有カウンタＨＷ＿ＴＳの現在の値をサンプリングし、すなわち検索し、その後、プロセッサＰＲＯＣ＿ＮＴＲは短時間後に、それが画像を受け取るとすぐに、コールバック割り込みを介して共有カウンタＨＷ＿ＴＳをサンプリングし、それゆえこれが、前記画像の取得の、及びその受信の瞬間に対応するタイムスタンプが由来するものであり、プロセッサはそのタイムスタンプをローカルメモリの中に表ＴＡＢの形態で記録し、これは特に、取得システムの赤外線センサの場合は、各画像ＩＭＧの取得の瞬間の調整データ、又は構成パラメータ、すなわち前記画像の取得の瞬間のタイムスタンプＴＳ、前記画像ＩＭＧの露光時間、前記画像ＩＭＧのゲイン、前記画像ＩＭＧの取得の瞬間の赤外光源のパルス幅変調、及び取得システムの赤緑青（ＲＧＢ）光センサの場合は、各画像ＩＭＧの取得の瞬間における調整データ、又は構成パラメータ、すなわち前記画像ＩＭＧの取得の瞬間のタイムスタンプＴＳ、前記画像ＩＭＧの露光時間、前記画像ＩＭＧのゲイン、前記画像ＩＭＧの取得の瞬間の白色光源のパルス幅変調を含み、Ｍ７リアルタイムプロセッサＰＲＯＣ＿ＴＲのこの表ＴＡＢはそれゆえ、非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲにより実行される関連付けステップＥ＿ＡＳＳにより必要とされるデータを提供し、これはすると、時間ＴＳで取得された受信画像ＩＭＧを前記タイムスタンプの時間ＴＳにおいて適用された調整データに、ＩＭＧにメタデータを追加することによって同期し得て、それによってメタデータの関連付けられた画像ＩＭＧ＿Ｍを作成する。各画像について、及びイメージセンサについて、関連付けられたメタデータはすると、ここでは、露光時間、ゲイン、赤外線センサのパルス幅変調、白色光源のパルス幅変調、及び画像の中で捕捉される物体までの距離（とりわけ、３Ｄ解析により、及び／又は瞳孔間距離に基づいて特定される）である。
【0066】
非リアルタイムプロセッサＰＲＯＣ＿ＮＴＲはすると、ステップＥ＿ＴＲＡで、メタデータの関連付けられたこの画像ＩＭＧ＿Ｍ（又は、複数の、例えば最後の２つの画像）を、ＡＧＣアルゴリズムを用いて処理する。
【0067】
次に、プロセッサＰＲＯＣ＿ＮＴＲは、コプロセッサＰＲＯＣ＿ＴＲに、将来の取得のためのセットポイントＣＯＮＳを送信し、これは特に露光時間、ゲイン、赤外光源のパルス幅変調、及び白色光源のパルス幅変調を含む。変形型として、セットポイントＣＯＮＳは、将来の偶数取得フレーム及び将来の奇数取得フレームについて同じパラメータ（露光、ゲイン）からなり得る。
【0068】
次に、ステップＥ＿ＰＩＬで、取得システムＳＡのセンサ及び照明システムＳＥのＬＥＤ光源の将来のトリガは、新しい、同期された調整データＰＩＬに応じてコプロセッサＰＲＯＣ＿ＴＲによって制御され、これらのデータはここでは、セットポイントＣＯＮＳと同じであり、追加の処理は不要である。それと並行して、前述のように、コプロセッサＰＲＯＣ＿ＴＲはこれらの新しいデータをクロックＨＷ＿ＴＳのそれらのタイムスタンプと共にコプロセッサＰＲＯＣ＿ＴＲのローカルメモリに記録する。
【0069】
次に、プロセスは繰り返し継続される。
【0070】
捕捉された各画像（画像フレーム番号Ｎ）について、コプロセッサＰＲＯＣ＿ＴＲは以下のステップを実行する：
１－各センサのゲインと露光を、センサが新しい調整データ群をフレーム番号Ｎに正確に適用するのに必要な正確な遅延を考慮して構成するステップ。
２－照明システムＳＥのＬＥＤｓを、フレーム番号Ｎの取得時間全体に必要な正確な強度に対応する調整データＰＩＬにしたがって調整するステップであり、その取得の瞬間は正確にわかっている。赤外線ＬＥＤ光源（光は見えない）の場合、光源は、光レベルの急激な変化により不快感が持たれることを防止するために、継続的に発光し得る。
３－メモリ、好ましくはローカルメモリに、以下のデータを表として記録するステップ：
－タイムスタンプＴＳ、すなわちフレーム番号Ｎの画像の取得の瞬間におけるクロック（カウンタ）時間のタイムスタンプの押された値、
－フレーム番号Ｎの取得の瞬間に適用される調整データ（ゲイン、露光）、
－（赤外及び／又は白色）ＬＥＤｓの強度。
４－取得システムＳＡを次の画像、すなわち画像フレーム番号Ｎ＋１を捕捉するためにトリガする（信号送信）ステップ。
１－各センサのゲインと露光を、センサが新しい調整データ群をフレーム番号Ｎに正確に適用するのに必要な正確な遅延を考慮して構成するステップ。
２－照明システムＳＥのＬＥＤｓを、フレーム番号Ｎの取得時間全体に必要な正確な強度に対応する調整データＰＩＬにしたがって調整するステップであり、その取得の瞬間は正確にわかっている。赤外線ＬＥＤ光源（光は見えない）の場合、光源は、光レベルの急激な変化により不快感が持たれることを防止するために、継続的に発光し得る。
３－メモリ、好ましくはローカルメモリに、以下のデータを表として記録するステップ：
－タイムスタンプＴＳ、すなわちフレーム番号Ｎの画像の取得の瞬間におけるクロック（カウンタ）時間のタイムスタンプの押された値、
－フレーム番号Ｎの取得の瞬間に適用される調整データ（ゲイン、露光）、
－（赤外及び／又は白色）ＬＥＤｓの強度。
４－取得システムＳＡを次の画像、すなわち画像フレーム番号Ｎ＋１を捕捉するためにトリガする（信号送信）ステップ。
【0071】
図６のタイミング図は、その様々な行で信号の経時的分布を示す：
－ＳＡ＿ｔ：トリガされた取得システムＳＡのカメラ
－ＣＯＭＭ１＿ｔ：プロセッサＰＲＯＣ＿ＮＴＲからコプロセッサＰＲＯＣ＿ＴＲに通信されるメッセージ（セットポイントＣＯＮＳ）
－ＣＯＭＭ２＿ｔ：プロセッサＰＲＯＣ＿ＮＴＲから取得システムＳＡに通信されるメッセージ（調整データＰＩＬ）
－ＳＥ＿ｔ：照明システムＳＥにより生成される光度
－Ｅｘｐ＿ｔ：露光される取得システムＳＡ
－ＩＭＧ＿ｔ：プロセッサＰＲＯＣ＿ＮＴＲが受け取る画像ＩＭＧ
－ＨＷ＿ＴＳ＿ｔ：クロック（カウンタ）によるタイムスタンプ。
－ＳＡ＿ｔ：トリガされた取得システムＳＡのカメラ
－ＣＯＭＭ１＿ｔ：プロセッサＰＲＯＣ＿ＮＴＲからコプロセッサＰＲＯＣ＿ＴＲに通信されるメッセージ（セットポイントＣＯＮＳ）
－ＣＯＭＭ２＿ｔ：プロセッサＰＲＯＣ＿ＮＴＲから取得システムＳＡに通信されるメッセージ（調整データＰＩＬ）
－ＳＥ＿ｔ：照明システムＳＥにより生成される光度
－Ｅｘｐ＿ｔ：露光される取得システムＳＡ
－ＩＭＧ＿ｔ：プロセッサＰＲＯＣ＿ＮＴＲが受け取る画像ＩＭＧ
－ＨＷ＿ＴＳ＿ｔ：クロック（カウンタ）によるタイムスタンプ。
【0072】
それゆえ、最初の５つの行において、取得システムＳＡのフレーム移行を表す行Ｓａ＿ｔの中にあるディラック関数が再現される。
【0073】
行ＣＯＭＭ１＿ｔにおいて、影付き領域はフレーム番号Ｎに固有のメッセージを受信できる時間範囲を表し、色の濃い縦の線はゲインと露光、及び適用されるＬＥＤの強度、すなわちＣＯＮＳを含むメッセージが送信される瞬間を表し、その線から２つの点線の矢印が出ており、一方は、その結果としての調整データＰＩＬの送信を指し示し（行ＣＯＭＭ２＿ｔにおいて、影付き領域の終わりに対応する時間の色の濃い縦の線により表され、これは、考慮されるためには、ＣＯＭＭ１＿ｔは最も遅くともＣＯＭＭ２＿ｔの開始時に、特に同じフレーム内で絶対的に到達しなければならないからである）、もう一方は、行Ｓｅ＿ｔにおいて照明システムＳＥによる新しい光度調整データの適用を指し示し、その際、新しい構成の適用までの遅延がここでは設定され、既知であり（２フレーム分の長さ）、したがって、新しい強度及び新しい露光（行ＣＯＭＭ２＿ｔにおける色の濃い縦の線から出ている矢印）が２フレーム後に、フレームＮ中に適用されることがわかっている。
【0074】
行Ｓｅ＿ｔにおいて、四角Ｎは新しい強度が適用される時間範囲を示し、行Ｅｘｐ＿ｔにおいて、各フレームについて、各フレームに固有の露光時間を表す１つの時間範囲Ｎ－２、Ｎ－１、Ｎ及びコプロセッサＰＲＯＣ＿ＮＴＲへの画像の転送期間を表す１つの時間範囲Ｏ＿Ｎ－２、Ｏ＿Ｎ－１、Ｏ＿Ｎが示されている。
【0075】
ここで、取得システムＳＡに送信され、フレームＮに関して考慮されるのはコマンドＣＯＭＭ２＿ｔであることがわかるかもしれず、それは、取得システムＳＡがＣＯＭＭ１＿ｔを直接受信せず、照明システムＳＥはＰＲＯＣ＿ＴＲによって直接調整され、したがってそれに関するコマンドはＣＯＭＭ１＿ｔの中で直接受信されるものであるからである。
【0076】
行ＩＭＧ＿ｔでは、縦の線は割り込み信号の送信を示しており、それによってプロセッサＰＲＯＣ＿ＮＴＲによる画像ｎの受信が可能となる。
【0077】
行ＨＴ＿ＴＳ＿ｔにおいて、行ＣＯＭＭ２＿ｔの色の濃い縦の線により表される調整データＰＩＬの送信から出ている縦の矢印は、プロセッサＰＲＯＣ＿ＴＲにより生成されるタイムスタンプに対応する最初の縦の線を指し示す。２つ目の縦の線は、割り込み信号から下方に延び、プロセッサＰＲＯＣ＿ＮＴＲによる画像ｎの受信の瞬間にプロセッサＰＲＯＣ＿ＮＴＲが生成したタイムスタンプに対応する縦の矢印により指し示され、これら２つのフレームがわかることにより、画像Ｎを画像Ｎの取得時における取得システムＳＡ及び照明システムＳＥの調整に固有の構成パラメータに関連付けることができる。２つのタイムスタンプ間の時間の長さΔは一定で、既知であり、画像取得装置の設計により規定される。
【0078】
それゆえ、取得画像がプロセッサＰＲＯＣ＿ＮＴＲにより受信されると、クロック（物理カウンタ）の時間増分が読み取られ、取得画像に関連付けられる。これら２つの情報は、プロセッサＰＲＯＣ＿ＮＴＲについて実行されるＡＧＣアルゴリズムに送られ、すると、アルゴリズムはデータの表を得るためにメッセージをコプロセッサＰＲＯＣ＿ＴＲに送信する。表の中のタイムスタンプを含む欄を参照することにより、ＡＧＣアルゴリズムは取得画像を、その画像の取得の瞬間にセンサに適用された調整データＰＩＬにより規定される構成パラメータに関連付けることができる。それゆえ、ＡＧＣアルゴリズムに対するリアルタイムの制約はなく、ソフトウェアが動き続けてＣＰＵの負荷が増大しても、ＡＧＣは依然として機能状態のままで、エラーのリスクをなくすことができる。ＡＧＣの目的は画像を最適化するために、先行する画像に応じて露光及び／又はゲイン及び／又はＬＥＤ強度のパラメータを変化させることであるため、解析される画像と、新しいセットポイントＣＯＮＳを考慮に入れる次の画像との間の待ち時間（例えば、２又は３フレーム分）があるため、中間画像のパラメータを変化させる意味はなく、それでもなお、それが有利な以下の２つのケースにおいては、ＡＧＣは各フレームについて露光及び／又はゲイン及び／又はＬＥＤの強度を変化させることができる：
－２つのＡＧＣｓが並行して動作し、一方は偶数フレームを処理し、他方は奇数フレームを処理し、２つのＡＧＣアルゴリズムが完全に独立しており、取得システムＳＡによりとられるショットの調整を２つの異なるタイプの物体に適用することができる実装。
－２つのＡＧＣｓが並行して動作し、一方は偶数フレームを処理し、他方は奇数フレームを処理し、２つのＡＧＣアルゴリズムが完全に独立しており、取得システムＳＡによりとられるショットの調整を２つの異なるタイプの物体に適用することができる実装。
【0079】
例えば、一方のＡＧＣはクイックレスポンスすなわちＱＲコード、特に印刷されるかスクリーン上に表示され、建物への立ち入り又は情報へのアクセスを可能にするＱＲコードを検出し、読み取るように最適化され、他方はユーザの顔を検出するように最適化され、それゆえそれによって１つの物理的なカメラのみを利用しながら２つの仮想カメラを作ることができるものであり、例えば、露光時間の調整によって一方のＡＣＧは明るい写真をとり、他方は暗い写真をとる（好ましくは、明るい写真は顔取得用、暗い写真はＱＲコード取得用であり、これは、ＱＲコードは通常、より明るいからである）。
－それによって露光／ゲイン／ＬＥＤ強度のパラメータが、特に、真っ暗から真昼まで、何れの光レベルであっても顔又は他の物体を検出するように、例えば露光を増大させることによって、特に顔が「確保される」まで、フレームごとに変化され得る露光スキャンＡＧＣ方式の実装。この種類のＡＧＣアルゴリズムにより、顔は非常に難しい条件下でも、例えば非常に明るいバックライトが当てられた時、又は小さい顔の周囲が非常に暗い背景である時でも、顔を検出することができる。
－それによって露光／ゲイン／ＬＥＤ強度のパラメータが、特に、真っ暗から真昼まで、何れの光レベルであっても顔又は他の物体を検出するように、例えば露光を増大させることによって、特に顔が「確保される」まで、フレームごとに変化され得る露光スキャンＡＧＣ方式の実装。この種類のＡＧＣアルゴリズムにより、顔は非常に難しい条件下でも、例えば非常に明るいバックライトが当てられた時、又は小さい顔の周囲が非常に暗い背景である時でも、顔を検出することができる。
【0080】
図７は、本発明による、より詳しくは第二の実施形態の第二の代替型による画像処理装置の一例を示しており、そのアーキテクチャは、
その上でメインアプリケーションと画像処理が実行されるプロセッサＰＲＯＣ＿ＮＴＲであって、非リアルタイム（Ｌｉｎｕｘ）オペレーティングシステムによりオーケストレートされるプロセッサと、
例えばステレオビジョンシステム（又は、それと等しいものとして飛行時間カメラ、又は構造化光３Ｄビジョンシステム）を介してユーザを３Ｄ空間内に位置付けることができ、ここでは２つのカメラを含み、そのように生成された画像ストリームはＥＮＶで示される「コンテキスト捕捉カメラ」システムＳＡ１と、
虹彩画像ＩＭＧのストリームを生成する高解像度虹彩認識カメラシステムＳＡ２と、
虹彩認識カメラのピントを合わせて、このカメラの焦点面の位置を変更できるようにするシステムＳＡ３と、
照準を調整し、ここではパノラマ／傾斜調整を行い、すなわちパン／ティルトモータと呼ばれるものであり、虹彩認識カメラを、ユーザの眼を標的とするために、捕捉体積の何れかのＸ／Ｙ方向に向けることができるようにする電動機構ＳＡ４と、
ショットの間に虹彩に照明を当てることのできる照明システムＳＥ又は照明器と、
リアルタイムプロセッサＰＲＯＣ＿ＴＲと、
を含む。
その上でメインアプリケーションと画像処理が実行されるプロセッサＰＲＯＣ＿ＮＴＲであって、非リアルタイム（Ｌｉｎｕｘ）オペレーティングシステムによりオーケストレートされるプロセッサと、
例えばステレオビジョンシステム（又は、それと等しいものとして飛行時間カメラ、又は構造化光３Ｄビジョンシステム）を介してユーザを３Ｄ空間内に位置付けることができ、ここでは２つのカメラを含み、そのように生成された画像ストリームはＥＮＶで示される「コンテキスト捕捉カメラ」システムＳＡ１と、
虹彩画像ＩＭＧのストリームを生成する高解像度虹彩認識カメラシステムＳＡ２と、
虹彩認識カメラのピントを合わせて、このカメラの焦点面の位置を変更できるようにするシステムＳＡ３と、
照準を調整し、ここではパノラマ／傾斜調整を行い、すなわちパン／ティルトモータと呼ばれるものであり、虹彩認識カメラを、ユーザの眼を標的とするために、捕捉体積の何れかのＸ／Ｙ方向に向けることができるようにする電動機構ＳＡ４と、
ショットの間に虹彩に照明を当てることのできる照明システムＳＥ又は照明器と、
リアルタイムプロセッサＰＲＯＣ＿ＴＲと、
を含む。
【0081】
プロセッサＰＲＯＣ＿ＴＲは、ここではコプロセッサとも呼ぶが、リアルタイムタスクを担当し、これに関して、（特に受け取ったセットポイントＣＯＮＳに基づく）調整データＰＩＬを送信し、それゆえ、
－これは、一定間隔で（例えば、１５Ｈｚの周波数で）コンテキスト捕捉カメラＳＡ１の画像の捕捉をトリガし、
－これは、パン／ティルトモータＳＡ４の動きを（例えば、位置及び／又は速度のサーボ制御により）調整し、
－これは、虹彩認識カメラの焦点合わせのためにシステムＳＡ３のフォーカスモータの動きを調整し、
－これは、正しい時間に虹彩認識カメラＳＡ２により捕捉される画像をトリガし、
－照明器ＳＥを作動させて、ショットと同時に虹彩照明を行う。
－これは、一定間隔で（例えば、１５Ｈｚの周波数で）コンテキスト捕捉カメラＳＡ１の画像の捕捉をトリガし、
－これは、パン／ティルトモータＳＡ４の動きを（例えば、位置及び／又は速度のサーボ制御により）調整し、
－これは、虹彩認識カメラの焦点合わせのためにシステムＳＡ３のフォーカスモータの動きを調整し、
－これは、正しい時間に虹彩認識カメラＳＡ２により捕捉される画像をトリガし、
－照明器ＳＥを作動させて、ショットと同時に虹彩照明を行う。
【0082】
プロセッサＰＲＯＣ＿ＮＴＲは、ここではメインプロセッサと呼ぶが、コンテキスト画像のストリームを受け取る。これらの画像の中で、これは考え得る顔の存在を検出し、この場合、それは装置の「コンテキスト捕捉カメラ」システムＳＡ１の視野内の個人の眼を３次元中に位置付ける。
【0083】
これらの３次元座標に基づいて、メインプロセッサＰＲＯＣ＿ＮＴＲは眼の経路を推測し、その後、この経路の説明をコプロセッサに送信する。
【0084】
コプロセッサＰＲＯＣ＿ＴＲは、パン／ティルトモータＳＡ４の位置と速度をサーボ制御して、メインプロセッサＰＲＯＣ＿ＮＴＲによりそこに送信されたセットポイント経路ＣＯＮＳにできるだけ速く到達させる。
【0085】
パン／ティルトモータＳＡ４が理想的な経路を「確保する」と、コプロセッサＰＲＯＣ＿ＴＲは周期的に虹彩画像捕捉をトリガする。
【0086】
コプロセッサＰＲＯＣ＿ＴＲが経路のアップデートを頻繁に受け取るほど、それは眼の実際の経路により近づく。
【0087】
図８に関して詳細に記した図の同期機構の利点は、メインプロセッサＰＲＯＣ＿ＮＴＲによるコマンドの送信がリアルタイムの制約を受けないことであり、これによってマルチタスクの非リアルタイムオペレーティングシステムを使用することが可能となる。
【0088】
例えば、眼の推測経路はモータを調整するためのコマンドとなるが、経路の推測とモータのコマンドとの間に、追加のフィルタリングステップ等を設け、２つの情報が必ずしも同じでないようにすることもできる。
【0089】
リアルタイム同期は以下のようにして確実に行われる：
－コプロセッサＰＲＯＣ＿ＴＲは、２つのコンテキスト捕捉カメラＳＡ１による画像捕捉をトリガする。毎回、それはそのソフトウェアフレームカウンタＳＷ＿ＦＣをインクリメントし、特に以下のデータペアをローカルで保存する：Ｔｌａｓｔ＝現在のフレームカウンタ値とＴＳｌａｓｔ＝トリガ信号ＤＥＣＬのタイムスタンプＴＳ。
－各コンテキスト捕捉カメラＳＡ１は、出力として、各トリガ信号ＤＥＣＬに対して１つのみの画像を生成し、前記コンテキスト捕捉カメラＳＡ１はスレーブモードで動作するように構成される。
－各コンテキスト捕捉カメラＳＡ１はハードウェアカウンタＨＷ＿ＴＳを処理し、各画像にタイムスタンプＴＳでタイムスタンプを押すことができるようにする。
－このタイムスタンプＴＳは、各コンテキスト捕捉カメラＳＡ１によってメタデータにより各画像に関連付けられ、それゆえそれらのメタデータの関連付けられた画像ＩＭＧ＿ＭがメインプロセッサＰＲＯＣ＿ＮＴＲに送信される。
－メインプロセッサＰＲＯＣ＿ＮＴＲは、コンテキスト捕捉カメラＳＡ１のための１つの画像ソフトウェアカウンタＳＷ＿ＦＣ１、ＳＷ＿ＦＣ２を有する。
－コプロセッサＰＲＯＣ＿ＴＲは、２つのコンテキスト捕捉カメラＳＡ１による画像捕捉をトリガする。毎回、それはそのソフトウェアフレームカウンタＳＷ＿ＦＣをインクリメントし、特に以下のデータペアをローカルで保存する：Ｔｌａｓｔ＝現在のフレームカウンタ値とＴＳｌａｓｔ＝トリガ信号ＤＥＣＬのタイムスタンプＴＳ。
－各コンテキスト捕捉カメラＳＡ１は、出力として、各トリガ信号ＤＥＣＬに対して１つのみの画像を生成し、前記コンテキスト捕捉カメラＳＡ１はスレーブモードで動作するように構成される。
－各コンテキスト捕捉カメラＳＡ１はハードウェアカウンタＨＷ＿ＴＳを処理し、各画像にタイムスタンプＴＳでタイムスタンプを押すことができるようにする。
－このタイムスタンプＴＳは、各コンテキスト捕捉カメラＳＡ１によってメタデータにより各画像に関連付けられ、それゆえそれらのメタデータの関連付けられた画像ＩＭＧ＿ＭがメインプロセッサＰＲＯＣ＿ＮＴＲに送信される。
－メインプロセッサＰＲＯＣ＿ＮＴＲは、コンテキスト捕捉カメラＳＡ１のための１つの画像ソフトウェアカウンタＳＷ＿ＦＣ１、ＳＷ＿ＦＣ２を有する。
【0090】
初期化は以下のように行われる：
－コンテキスト捕捉カメラＳＡ１からストリームはまず停止され、コプロセッサＰＲＯＣ＿ＴＲは何れのトリガ信号ＤＥＣＬも生成しない。
－メインプロセッサＰＲＯＣ＿ＮＴＲはコプロセッサＰＲＯＣ＿ＴＲにそのフレームソフトウェアカウンタＳＷ＿ＦＣを０に設定するように指示する。
－メインプロセッサは自分のカウンタをゼロに設定する。
－メインプロセッサＰＲＯＣ＿ＮＴＲは、トリガ信号ＤＥＣＬの生成を開始するためにコプロセッサＰＲＯＣ＿ＴＲにコマンドを送信し、設定期間Ｔ（秒の単位、例えば１／１５ｓ）で画像をトリガする。
－各コンテキストストリームの第一の画像ＩＭＧ＿ＭがメインプロセッサＰＲＯＣ＿ＮＴＲに送達されると、これは画像ＩＭＧ＿Ｍの中に含まれるタイムスタンプＴＳを保存し、画像番号０をこの第一の画像ＩＭＧ＿Ｍに、新しい追加的なメタデータによって関連付ける。
－コンテキスト捕捉カメラＳＡ１からストリームはまず停止され、コプロセッサＰＲＯＣ＿ＴＲは何れのトリガ信号ＤＥＣＬも生成しない。
－メインプロセッサＰＲＯＣ＿ＮＴＲはコプロセッサＰＲＯＣ＿ＴＲにそのフレームソフトウェアカウンタＳＷ＿ＦＣを０に設定するように指示する。
－メインプロセッサは自分のカウンタをゼロに設定する。
－メインプロセッサＰＲＯＣ＿ＮＴＲは、トリガ信号ＤＥＣＬの生成を開始するためにコプロセッサＰＲＯＣ＿ＴＲにコマンドを送信し、設定期間Ｔ（秒の単位、例えば１／１５ｓ）で画像をトリガする。
－各コンテキストストリームの第一の画像ＩＭＧ＿ＭがメインプロセッサＰＲＯＣ＿ＮＴＲに送達されると、これは画像ＩＭＧ＿Ｍの中に含まれるタイムスタンプＴＳを保存し、画像番号０をこの第一の画像ＩＭＧ＿Ｍに、新しい追加的なメタデータによって関連付ける。
【0091】
第二の画像から始まり、メインプロセッサＰＲＯＣ＿ＮＴＲが受信するその後の画像の各々について、
－メインプロセッサＰＲＯＣ＿ＮＴＲは画像ＩＭＧ＿ＭのタイムスタンプＴＳを検索し、ｐ＝丸めの結果（（ＴＳ－先行画像のＴＳ）／Ｔ）を計算し、画像に番号を付与するためのこのペアワイズ（最後の２つの画像）タイムスタンプ比較によって、それゆえ、プロセスはドリフト及び１つ又は複数の画像の損失（送信不良、送信エラー）の影響を受けなくなる。
－これはそこから値ｐの画像ＩＭＧ＿Ｍが得られるカメラＳＡ１に関連付けられたそのフレームカウンタＳＷ＿ＦＣ１、ＳＷ＿ＦＣ２をインクリメントする。
－メインプロセッサＰＲＯＣ＿ＮＴＲは画像ＩＭＧ＿ＭのタイムスタンプＴＳを検索し、ｐ＝丸めの結果（（ＴＳ－先行画像のＴＳ）／Ｔ）を計算し、画像に番号を付与するためのこのペアワイズ（最後の２つの画像）タイムスタンプ比較によって、それゆえ、プロセスはドリフト及び１つ又は複数の画像の損失（送信不良、送信エラー）の影響を受けなくなる。
－これはそこから値ｐの画像ＩＭＧ＿Ｍが得られるカメラＳＡ１に関連付けられたそのフレームカウンタＳＷ＿ＦＣ１、ＳＷ＿ＦＣ２をインクリメントする。
【0092】
この方法の利点は、画像ＩＭＧ＿Ｍに含まれるタイムスタンプＴＳによってプロセッサＰＲＯＣ＿ＮＴＲの負荷が高い場合、その結果として画像ＩＭＧ＿Ｍが損失するかもしれないが、フレームカウンタＳＷ＿ＦＣ１、ＳＷ＿ＦＣ２の同期が損なわれないことである。
【0093】
したがって、メインプロセッサＰＲＯＣ＿ＮＴＲにどれだけの負荷がかかろうと、同期が問題になることはない。
【0094】
同じ同期はまた、３つ以上のコンテキスト捕捉カメラＳＡ１が使用される場合にも当てはまり、するとカウンタＨＷ＿ＴＳ及びＳＷ＿ＦＣを複製すればよい。
【0095】
図９を参照すると、２つの（又はそれより多い）コンテキスト捕捉カメラＳＡ１が多重化される場合でも原則に変わりはないことがわかるはずである。マルチプレクサＭＵＬＴ（例えば、ＭＩＰＩ ＣＳＩマルチプレクサ）はここでは、コプロセッサＰＲＯＣ＿ＴＲがトリガ信号ＤＥＣＬ（調整データＰＩＬと同等）を受信すると、両方のコンテキスト捕捉カメラＳＡ１による画像捕捉を同時にトリガする。
【0096】
この場合、タイムスタンプＴＳを画像ＩＭＧ＿Ｍのメタデータに挿入するのは、マルチプレクサＭＵＬＴである。
【0097】
本発明の要点は、リアルタイムプロセッサＰＲＯＣ＿ＴＲを使って、捕捉され、すなわち取得された画像ＩＭＧ、ＥＶ、及び調整データＰＩＬ、すなわちこの画像の取得パラメータ、すなわち捕捉のパラメータ、すなわち前記画像の取得／捕捉がトリガされた時点でのセンサの構成パラメータ、照度、カメラ等を方向付けるモータの機械的位置と速度との間の関連付けを正確に保持することにある。システムの複雑さは比較的高いか、又は低いかもしれず（例えば、これは照明システム、又は電動カメラ方向付け機構を含むか、又は含まないかもしれない）、同様に、問題のデータの数は比較的多いか、又は低いかもしれず、これらのデータは例えば、露光時間／ゲイン及び照度、又は例えば経路管理位置決めデータのみ、又はさらにはこれらのデータの全部又は一部の混合であり、他のデータを必要に応じて、用途に応じてそこに追加し得る。
【符号の説明】
【0098】
１ 画像処理装置
ＣＯＮＳ セットポイント
ＨＷ＿ＴＳ 同期タイムスタンピング手段
ＩＭＧ 画像
ＩＭＧ＿Ｍ メタデータの関連付けられた画像
ＰＩＬ 調整データ
ＰＲＯＣ＿ＮＴＲ 非リアルタイムプロセッサ
ＰＲＯＣ＿ＴＲ リアルタイムコプロセッサ
ＳＡ 画像取得システム
ＳＡ１ イメージセンサ
ＳＡ２ 虹彩認識カメラ
ＳＡ４ 電動機構
ＳＥ 他のシステム
ＳＳＹ 同期データ処理システム
ＳＷ＿ＦＣ 同期タイムスタンピング手段
ＴＡＢ 表
ＣＯＮＳ セットポイント
ＨＷ＿ＴＳ 同期タイムスタンピング手段
ＩＭＧ 画像
ＩＭＧ＿Ｍ メタデータの関連付けられた画像
ＰＩＬ 調整データ
ＰＲＯＣ＿ＮＴＲ 非リアルタイムプロセッサ
ＰＲＯＣ＿ＴＲ リアルタイムコプロセッサ
ＳＡ 画像取得システム
ＳＡ１ イメージセンサ
ＳＡ２ 虹彩認識カメラ
ＳＡ４ 電動機構
ＳＥ 他のシステム
ＳＳＹ 同期データ処理システム
ＳＷ＿ＦＣ 同期タイムスタンピング手段
ＴＡＢ 表
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【外国語明細書】