知財求人 - 知財ポータルサイト「IP Force」
▶ ツェットエフ、フリードリッヒスハーフェン、アクチエンゲゼルシャフトの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-15
(45)【発行日】2024-05-23
(54)【発明の名称】高更新率を有するカメラシステム
(51)【国際特許分類】
G01B 11/00 20060101AFI20240516BHJP
G01S 17/89 20200101ALI20240516BHJP
G01C 3/06 20060101ALI20240516BHJP
【ＦＩ】
G01B11/00 H
G01S17/89
G01C3/06 120Q
【請求項の数】
6
(21)【出願番号】P 2021535860
(86)(22)【出願日】2019-12-18
(65)【公表番号】
(43)【公表日】2022-02-17
(86)【国際出願番号】 EP2019085887
(87)【国際公開番号】W WO2020127444
(87)【国際公開日】2020-06-25
【審査請求日】2022-11-21
(31)【優先権主張番号】102018222518.4
(32)【優先日】2018-12-20
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】500045121
【氏名又は名称】ツェットエフ、フリードリッヒスハーフェン、アクチエンゲゼルシャフト
【氏名又は名称原語表記】ＺＦ ＦＲＩＥＤＲＩＣＨＳＨＡＦＥＮ ＡＧ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100186716
【弁理士】
【氏名又は名称】真能 清志
(72)【発明者】
【氏名】クリスチャン シャーレ
(72)【発明者】
【氏名】シュテフェン ブッハー
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特開２０１０－００２３２６（ＪＰ，Ａ）
【文献】特開２００９－０７９９８７（ＪＰ，Ａ）
【文献】特表２０１１－５２０１１６（ＪＰ，Ａ）
【文献】Real-Time Motion Artifact Compensation for PMD-ToF Images，Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications，2013年
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０１Ｓ １７／００－１７／９５
Ｇ０１Ｃ ３／００－３／３２
(57)【特許請求の範囲】
【請求項1】
プロセッサ（２５）を備える装置であって、前記プロセッサ（２５）は、動きベクトル（５３）を生成するために、受信光と変調信号（φ０、φ１）との間の交差相関により得られた第１原画像（ＡＱ、ＡＩ）と、受信光と反転された変調信号（φ２、φ３）との間の交差相関により得られた第２原画像（ＢＱ、ＢＩ）と、を含む飛行時間カメラ（２１）の原画像（ＡＱ、ＢＱ、ＡＩ、ＢＩ）の加算によって計算された強度画像（ＡＱ＋ＢＱ、ＡＩ＋ＢＩ）に基づいて動き推定を実行するように設計されており、
前記プロセッサ（２５）は、位相画像（Ａ Ｑ －Ｂ Ｑ 、Ａ Ｉ －Ｂ Ｉ ）および前記動きベクトル（５３）に基づいて、動き補償のもとでデプス画像（６３）の再構成を実行するように設計されており、
前記プロセッサ（２５）は、動き補償のもとで前記デプス画像（６３）の再構成をする際に、２つの対応する画素(x,y), (x´,y´)からの距離情報（ｄ）を、前記位相画像（Ａ Ｑ －Ｂ Ｑ 、Ａ Ｉ －Ｂ Ｉ ）の位相情報から決定するように設計されており、
２つの対応する前記画素(x,y), (x´,y´)は、前記動きベクトル（５３）の対応する動きベクトルを介して相互に関連付けられる、装置。
【請求項2】
請求項１に記載の装置であって、前記プロセッサ（２５）は、前記距離情報（ｄ）を以下の関係に基づいて決定するように設計され、【数1】
ここで、（(x,y), (x´,y´)）は、前記位相画像（ＡＱ－ＢＱ、ＡＩ－ＢＩ）の２つの対応する画素であり、ｆは変調周波数、ｃは光の速度、ｔは光の飛行時間であり、
【数2】
【請求項3】
請求項１又は２に記載の装置であって、前記強度画像（ＡＱ＋ＢＱ、ＡＩ＋ＢＩ）は、１つまたは複数の第１強度画像（ＡＱ＋ＢＱ）および１つまたは複数の第２強度画像（ＡＩ＋ＢＩ）を含み、前記第１強度画像（ＡＱ＋ＢＱ）および前記第２強度画像（ＡＩ＋ＢＩ）は、異なる露光期間（ｔ１、ｔ２、ｔ３、ｔ４）において決定された、装置。
【請求項4】
請求項１に記載の装置であって、前記デプス画像（６３）は、車両（１）の室内を検出するために使用される、装置。
【請求項5】
請求項１に記載の装置であって、前記プロセッサ（２５）は、第１露光期間（ｔ１）の強度画像（ＡＱ１＋ＢＱ１）および位相画像（ＡＱ１－ＢＱ１）に基づいて、また第２露光期間（ｔ２）の強度画像（ＡＩ１＋ＢＩ１）および位相画像（ＡＩ１－ＢＩ１）に基づいて、第１デプス画像を生成し、ならびに第２露光期間（ｔ２）の強度画像（ＡＩ１＋ＢＩ１）および位相画像（ＡＩ１－ＢＩ１）に基づいて、また第３露光期間（ｔ３）の強度画像（ＡＱ２＋ＢＱ２）および位相画像（ＡＱ２－ＢＱ２）に基づいて、第２デプス画像を生成するように設計されている、装置。
【請求項6】
プロセッサ（２５）によって、動きベクトル（５３）を生成するために、受信光と変調信号（φ０、φ１）との間の交差相関により得られた第１原画像（ＡＱ、ＡＩ）と、受信光と反転された変調信号（φ２、φ３）との間の交差相関により得られた第２原画像（ＢＱ、ＢＩ）と、を含む飛行時間カメラ（２１）の原画像（ＡＱ、ＢＱ、ＡＩ、ＢＩ）の加算によって計算された強度画像（ＡＱ＋ＢＱ、ＡＩ＋ＢＩ）に基づいて動き推定を実行することと、
前記プロセッサ（２５）によって、位相画像（Ａ Ｑ －Ｂ Ｑ 、Ａ Ｉ －Ｂ Ｉ ）および前記動きベクトル（５３）に基づいて、動き補償のもとでデプス画像（６３）の再構成を実行することと、
前記プロセッサ（２５）によって、動き補償のもとで前記デプス画像（６３）の再構成をする際に、２つの対応する画素(x,y), (x´,y´)からの距離情報（ｄ）を、前記位相画像（Ａ Ｑ －Ｂ Ｑ 、Ａ Ｉ －Ｂ Ｉ ）の位相情報から決定することと
を含み、
２つの対応する前記画素(x,y), (x´,y´)は、前記動きベクトル（５３）の対応する動きベクトルを介して相互に関連付けられる、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、カメラシステム、特に飛行時間カメラシステムの分野に関する。
【背景技術】
【0002】
飛行時間カメラは、飛行時間法（Time of Flight、略称ＴｏＦ）で距離を測定する３Ｄカメラシステムである。飛行時間カメラシステムは、視野内の物体までの距離を測定するために、能動パルス式光源を使用する。パルス光は、固定周波数で放射される。
【0003】
イメージセンサは、反射された光を受光する。その感光面は、小さな受光ユニットである「画素」に基づく格子状構造で構築されている。光が感光面に入射すると、電子‐正孔対が生成される。次いで、画素内で、これらの電荷が各容量部（電荷蓄積部）に蓄積される。露光時間（「積分時間」とも称される）経過後の容量部の電荷は、読み出され、各画素に入射する光に比例する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のことから、本発明は、ＴｏＦカメラシステムを改良することを課題とする。
【課題を解決するための手段】
【0005】
この課題は、請求項１に記載の装置および請求項１０に記載の方法によって解決される。本発明の更なる有利な実施形態は、従属請求項および本発明の好適な実施形態の以下の記載から明らかになる。
【0006】
実施形態は、動きベクトルを生成するために、飛行時間カメラの強度画像に基づいて動き推定を実行するように設計されたプロセッサを備える装置を示す。
【0007】
装置は、例えばイメージセンサ、例えば間接的な飛行時間カメラ（ＴｏＦ）のイメージセンサとすることができる。間接的なＴｏＦカメラ（ｉＴＯＦ：indirekte Time-of-Flight Kamera）は、例えば反射された赤外光（ＩＲ）の位相遅れを測定することができる。位相データは、反射された信号を基準信号（照明信号）と相関させることによって取得できる。
【0008】
好適には、プロセッサは、位相画像および動きベクトルに基づいて、動き補償のもとでデプス画像の再構成を実行するように設計されている。
【0009】
距離情報が得られる強度画像および位相画像を、例えば、物体を追跡するために使用することができる。例えば、得られた強度画像および位相画像のそれぞれを使用して、標準的な作動と比較してフレームレートを高めることができる。
【0010】
好適には、プロセッサは、動き補償のもとでデプス画像の再構成をする際に、２つの対応する画素からの距離情報を、位相画像の位相情報から決定するように設計されている。
【0011】
ＴＯＦカメラの画素は、典型的に、１つまたは複数の感光素子（例えばフォトダイオード）を含む。感光素子は、入射光を電流に変換する。フォトダイオードに接続されたスイッチ（例えば、トランスファゲート）は、電流を１つまたは複数の蓄積素子（例えばキャパシタ）に導くことができる。蓄積素子は、蓄電素子として作用し、電荷を収集および蓄積する。
【0012】
好適には、強度画像は、飛行時間カメラのセンサによって提供される、またはセンサが原画像を提供する場合には、原画像の加算によって計算される。
【0013】
一実施形態によれば、原画像は、変調信号で得られた第１原画像と、反転された変調信号で得られた第２原画像と、を含む。第１原画像は、例えば、飛行時間画素の第１タップ、Ｔａｐ－Ａを介して提供することができる。第２原画像は、例えば、飛行時間画素の第２タップ、Ｔａｐ－Ｂを介して提供することができる。第２タップ、Ｔａｐ－Ｂは、第１タップ、Ｔａｐ－Ａに対して反転された、すなわち１８０度位相がシフトされた基準信号を受信する。「タップ」とは、変調信号に基づいて光電荷が収集される飛行時間画素内の位置を称する。Ｔａｐ－Ａにおける変調信号およびＴａｐ－Ｂにおける反転された変調信号は、ＤＭＩＸ０およびＤＭＩＸ１とも称される。いわゆる２タップ／４相画素において、例えば、変調器は電気光学式２タップ変調器である。２タップ／４相画素の利点は、光子によって生成されるすべての電子が利用されることである。本明細書の実施形態は、２タップ／４相画素に基づいているが、１タップシステムおよび異なる数の相を有するシステム等の他のシステムも、代替的な実施形態において使用することができる。
【0014】
好適には、強度画像は、１つまたは複数の第１強度画像、および１つまたは複数の第２強度画像を含む。第１強度画像および第２強度画像は、異なる変調期間において決定されたものである。
【0015】
一実施形態によれば、プロセッサは、第１変調期間の強度画像および位相画像に基づいて、また第２変調期間の強度画像および位相画像に基づいて、第１デプス画像を生成し、ならびに第２変調期間の強度画像および位相画像に基づいて、また第３変調期間の強度画像および位相画像に基づいて、第２デプス画像を生成するように設計されている。一実施形態によれば、第１変調期間、第２変調期間、および第３変調期間は、相互に直接して続く。
【0016】
デプス画像を、例えば、車内の人と物体の位置および動きを識別するために、車両の室内を検出するために使用することができる。
【0017】
さらに、実施形態は方法も開示する。この方法において、動きベクトルを生成するために、飛行時間カメラの強度画像に基づいて動き推定を実行する。方法は、本明細書で示される態様を有する。方法は、プロセッサ内で実行するコンピュータに実装された方法とすることができる。
【0018】
次に、例示的に添付の図面を参照して、実施形態が説明される。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施形態による、乗員安全システム用制御ユニットおよび飛行時間カメラシステムを備える車両の構成を概略的に示すブロック図である。
【図3】飛行時間カメラシステム（ＴｏＦカメラシステム）２１の概略図である。
【図5】ＴｏＦカメラシステム２１で動きベクトルを決定する例示的なフロー図である
【図6】動き補償のもとで２つの位相画像からデプス画像を再構成するプロセスの図である。
【図7】複数の部分露光フレームのそれぞれに基づいて車両室内のデプス画像のシーケンスを取得するプロセスを示すブロック図である。
【図8】車両室内のデプス画像を取得するためのＴｏＦカメラシステム２１の３つの変調期間の概略図である。
【図9】車両室内を監視するためのＴｏＦ監視システムを備える車両の概略図である。
【発明を実施するための形態】
【0020】
図１は、本発明の一実施形態による、乗員安全システムのための制御ユニットおよび飛行時間カメラシステムを備える車両の構成を概略的に示すブロック図を示す。この実施形態による車両は、人間の運転者の影響を受けずに、道路交通において完全にまたは部分的に作動することもできる車両である。自律走行の場合、車両の制御システムは、完全にまたは可及的に運転者の役割を担う。自律（または半自律）車両は、様々なセンサを使用してその周囲を知覚し、得られた情報からその位置および他の道路ユーザを決定し、車両の制御システムおよびナビゲーションソフトウェアを使用して目的地までナビゲートし、道路交通において対応して作動することができる。
【0021】
車両１は、車両通信ネットワーク２８を介して相互に接続された複数の電子部品を備える。車両通信ネットワーク２８は、例えば、ＣＡＮバス（controller area network：コントローラエリアネットワーク）、ＬＩＮバス（local interconnect network：ローカルインターコネクトネットワーク）、イーサネット（登録商標）ベースのＬＡＮバス（local area network：ローカルエリアネットワーク）、ＭＯＳＴバス、ＬＶＤＳバス等の、車両に搭載される標準的な車両通信ネットワークとすることができる。
【0022】
図１に示す例では、車両１は、ステアリングシステムを制御する制御ユニット１２（ＥＣＵ１）を備える。この場合、ステアリングシステムは、車両の方向制御を可能にする構成要素を指す。車両１は、ブレーキシステムを制御する制御ユニット１４（ＥＣＵ２）をさらに備える。この場合、ブレーキシステムは、車両がブレーキをかけることを可能にする構成要素を指す。車両１は、ドライブトレインを制御する制御ユニット１６（ＥＣＵ３）をさらに備える。この場合、ドライブトレインは、車両の駆動構成要素を指す。ドライブトレインは、原動機、変速機、ドライブシャフト／プロペラシャフト、差動装置、および車軸駆動装置を含むことができる。
【0023】
車両１は、乗員安全システムを制御する制御ユニット１７（ＥＣＵ６）をさらに備える。この場合、乗員安全システム１７は、事故の場合に運転者を保護するように意図された、例えばエアバック等の構成要素を指す。
【0024】
車両１は、自律走行（または部分的自律走行）のための制御ユニット１８（ＥＣＵ４）をさらに備える。自律走行のための制御ユニット１８は、車両１が、人間の運転者の影響を受けずに、道路交通において完全にまたは部分的に作動することができるよう車両１を制御するように設計されている。自律走行のための制御ユニット１８は、車両１が自律モードで運転されている間に、１つまたは複数の車両サブシステム、すなわちブレーキシステム１４、ステアリングシステム１２、乗員安全システム１７、および駆動システム１４を制御する。この目的のために、自律走行のための制御ユニット１８は、例えば車両通信ネットワーク２８を介して、対応する制御ユニット１２、１４、１７および１６と通信することができる。
【0025】
制御ユニット１２、１４、１７および１６は、上述の車両サブシステムから車両作動パラメータを受信することができる。車両サブシステムは、これらの車両作動パラメータを１つまたは複数の車両センサによって検出する。車両センサは、好適には、車両の状態または車両部品の状態、特にそれらの移動状態を検出するセンサである。センサは、車速センサ、ヨーレートセンサ、加速度センサ、ハンドル角センサ、車両荷重センサ、温度センサ、圧力センサ等を含むことができる。例えば、ブレーキラインに沿ってセンサを配置し、油圧ブレーキラインに沿った様々な位置でのブレーキ液圧を示す信号を出力することもできる。車輪の近傍に、車輪速度および車輪に加えられるブレーキ圧力を検出する他のセンサを設けることもできる。
【0026】
さらに、車両１は、ＧＰＳ／位置センサユニット２２を備える。ＧＰＳ／位置センサユニット２２は、測地基準系（地球座標）に対する自律車両１の絶対位置決定を可能にする。位置センサは、例えば、加速度、回転運動、または位置の変化に反応するジャイロセンサ等とすることができる。
【0027】
さらに、車両１は、環境監視のために設計された１つまたは複数のセンサユニット２３を備える。さらなるセンサユニット２３は、例えば、レーダシステム、ライダシステム、超音波センサ、ＴｏＦカメラ、または他のユニットとすることができる。距離測定および速度測定からのデータは、これらのさらなるセンサユニット２３によって検出され、例えば、中央制御ユニット２５（または、代替的に自律走行のための制御ユニット１８、ＥＣＵ４）に送信される。これらのセンサユニット２３のデータに基づいて、車両１と、１つまたは複数の物体との間の距離が決定される。中央制御ユニット２５は、受信された情報を自ら評価することができる、または、例えば自律走行のための制御ユニット１８に送信することができる。
【0028】
車両１は、特に、車両室内の３次元画像を検出するように設計されたＴｏＦカメラシステム２１を備える。ＴｏＦカメラシステム２１は、例えば、図６により詳細に示されるように、車両の室内に配置されている。ＴｏＦカメラシステム２１は、画像データを検出し、これらを中央制御ユニット２５（または、代替的に自律走行のための制御ユニット１８、ＥＣＵ４）に送信する。画像データに加えて、ＴｏＦカメラシステム２１は、例えば、画像領域内の１つまたは複数の物体に関する位置情報、移動情報、および／または距離情報等のメタ情報を決定し、中央制御ユニット２５（または、代替的に自律走行のための制御ユニット１８、ＥＣＵ４）に送信することができる。中央制御ユニット２５は、受信された情報を自ら評価することができる、または、例えば自律走行のための制御ユニット１８にさらに送信することができる。
【0029】
ＴｏＦカメラシステム２１からの情報に基づいて、車両の室内は、異なる事象に反応することができるように検出される。そのため、例えば事故の場合、乗員の着座位置に応じて、対応する１つまたは複数のエアバッグを、正しくトリガすること、またはトリガしないことができる。
【0030】
自律走行のための運転状態が制御側または運転者側で作動されると、制御ユニット１８は、自律走行のために、所定の走行距離にわたって利用可能なデータに基づいて、センサユニット２３から受信されるデータに基づいて、ＴｏＦカメラシステムを用いて記録されるデータに基づいて、ならびに制御ユニット１２、１４、１７および１６から制御ユニット１８に供給される、車両センサを用いて検出される車両運転パラメータに基づいて、車両の自律運転のためのパラメータ（例えば、目標速度、目標トルク、先行車までの距離、道路縁までの距離、ステアリング操作等）を決定する。
【0031】
図２は、制御ユニット（図１のＥＣＵ１、２、３、４、５および６）の構成例を示すブロック図である。制御ユニットは、例えば、制御装置（電子制御ユニットElectronic Control Unit：ＥＣＵまたは電子制御モジュールElectrnic Control Module：ＥＣＭ）とすることができる。制御ユニットは、プロセッサ２１０を備える。プロセッサ２１０は、例えば、プログラム命令を実行する中央処理ユニット（ＣＰＵ＝Central Processing Unit）のような計算ユニットとすることができる。制御ユニットは、プログラムメモリ領域およびデータメモリ領域として機能する、リードオンリーメモリ、ＲＯＭ２３０（ＲＯＭ＝Read-only Memory）、およびランダムアクセスメモリ、ＲＡＭ２２０（ＲＡＭ＝Rndom Access Memory）（例えば、ダイナミックＲＡＭ（「ＤＲＡＭ」）、同期ＤＲＡＭ（「ＳＤＲＡＭ」）等）をさらに備える。制御ユニットは、データおよびプログラムを保存するために、例えば、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、フラッシュメモリドライブ、または不揮発性ソリッドステートドライブ（Solid State Drive：ＳＳＤ）等のストレージドライブ２６０をさらに備える。制御ユニットは、車両通信ネットワークインターフェイス２４０をさらに備える。これを介して、制御ユニットが、車両通信ネットワーク（図１の２８）と通信することができる。制御ユニットの各ユニットは、通信ネットワーク２５０を介して接続されている。特に、図２の制御ユニットは、図１の中央制御ユニット２５、ＥＣＵ５の実装として機能することができる。
【0032】
図３は、飛行時間カメラシステム２１（ＴｏＦカメラシステム）を概略的に示す。ＴｏＦカメラシステム２１は、４相信号発生器Ｇと、照明Ｂと、１画素あたりのフォトセンサＰと、ミキサＭと、１画素あたりの電荷蓄積部Ｃとを備える。４相信号発生器Ｇは、ミキサＭに送信される４つの変調信号φ０、φ1、φ２、φ３を生成する。変調信号φ０は、照明Ｂに送信される。この実施形態によれば、変調信号φ０は１０～１００ＭＨｚの周波数を有する矩形波関数である。変調信号φ１は、変調信号φ０に対して位相が９０度ずれている信号である。変調信号φ２は、変調信号φ０に対して位相が１８０度ずれている信号である。変調信号φ３は、変調信号φ０に対して位相が２７０度ずれている信号である。４相信号発生器Ｇで生成された変調信号φ１に基づいて、照明Ｂは光信号Ｓ１を生成する。光信号Ｓ１は物体Ｏに入射する。光信号Ｓ１の部分Ｓ２はカメラシステムに後方散乱される。後方散乱光信号Ｓ２は、ＴｏＦカメラシステム２１の画素のフォトセンサＰによって受信される。ミキサＭでは、受信された光信号Ｓ２がそれぞれの変調信号φ０、φ１、φ２、φ３で復調される。復調は、例えば、受信された光信号Ｓ２とそれぞれの変調信号φ０、φ１、φ２、φ３との間の交差相関（積分）に基づく。復調された信号は、画素の電荷蓄積部Ｃに蓄積される。物体ＯとＴｏＦカメラシステム２１との間の距離ｄを取得するために、４つの変調信号φ１、φ２、φ３、φ４に対応する４つの画像が１つの変調期間内に検出される。
【0033】
図４は、図３のＴｏＦカメラシステム２１が、車両室内の強度画像および位相画像を取得するための電荷積分プロセスおよび読み出しプロセスの概略図を示す。時間は右軸にプロットされている。部分露光フレームＱ、Ｉは、それぞれ、積分フェーズおよび読み出しフェーズを含む。部分露光フレームＱおよび部分露光フレームＩフェーズは、繰り返される。部分露光フレームＱおよび部分露光フレームＩは、９０度の位相差を有する。積分フェーズにおいて、受光された光信号（図３のＳ２）は、それぞれの変調信号φ０、φ１、φ２、φ３と積分される。読み出しフェーズにおいて、積分フェーズの結果が画素に読み出される。
【0034】
積分プロセスは、一度に２つの原画像を供給する。部分露光フレームＱの積分フェーズにおいて、受信光と変調信号φ０との積分の結果である原画像ＡＱ＝c(φ０)が取得され、また受信光と反転された変調信号φ２との積分の結果である原画像ＢＱ＝c(φ２)が取得される。原画像ＡＱおよび原画像ＢＱは、強度画像ＡＱ＋ＢＱを取得するために加算される。これは動き推定の基礎として機能する（図５および対応する説明を参照されたい）。原画像ＡＱおよび原画像ＢＱは、位相画像ＡＱ－ＢＱを取得するためにさらに減算される。この位相画像ＡＱ－ＢＱは、デプス画像を生成するために使用される（図６および対応する説明を参照されたい）。部分露光フレームＩの積分フェーズにおいて、受信光と変調信号φ１との積分の結果である原画像ＡＩ＝ｃ（φ１）が得られ、また受信光と変調信号φ３との積分の結果である原画像ＢＩ＝ｃ（φ３）が取得される。原画像ＡＩおよび原画像ＢＩは、強度画像ＡＩ＋ＢＩを取得するために加算される。これは動き推定の基礎として機能する。原画像ＡＱおよび原画像ＢＱは、位相画像ＡＱ－ＢＱを取得するためにさらに減算される。この位相画像ＡＱ－ＢＱは、デプス画像を生成すために使用される。
【0035】
図５は、連続する強度画像ＡＱ＋ＢＱおよびＡＩ＋ＢＩから動きベクトルを決定する動き推定のプロセスを示す。動き推定のプロセスは、例えば、中央制御ユニット（図１の２５）において、またはＴｏＦカメラシステム（図１の２１）のプロセッサにおいて実行することができる。ステップＳ５２において、動きベクトル５３を生成するために、２つの強度画像ＡＱ＋ＢＱおよびＡＩ＋ＢＩに基づいて動き推定が実行される。動き推定（モーションエスティメーション）は、ある２Ｄ画像から別の２Ｄ画像への変換を記述する動きベクトルを決定するプロセスである。動きベクトル５３は、画像ＡＱ＋ＢＱまたはＡＩ＋ＢＩの画素に関連し、２つの画像ＡＱ＋ＢＱおよびＡＩ＋ＢＩの間の動きを表す。動きベクトルは、当業者に既知の方法のうちの１つの方法で、例えば並進モデル、例えば画素再帰的アルゴリズム、オプティカルフロー決定法等によって、取得され、表示される。
【0036】
図６は、動き補償のもとで２つの位相画像ＡＱ－ＢＱおよびＡｉ－Ｂｉからデプス画像を再構成するプロセスを示す。ステップＳ６２において、デプス画像６３が再構成される。動き推定のプロセスは、例えば、中央制御ユニット（図１の２５）またはＴｏＦカメラシステム（図１の２１）のプロセッサで実行することができる。デプス画像６３は、位相画像ＡＱ－ＢＱ、位相画像Ａｉ－Ｂｉおよび動き補償に基づいて取得される。動き補償は、対応する強度画像ＡＱ＋ＢＱおよびＡＩ＋ＢＩから図５のプロセスを用いて決定された動きベクトル５３に基づく。
【0037】
式１は、２つの対応する画素(x,y), (x´,y´)からの距離情報（移動反射物体とＴｏＦカメラシステム２１との間の距離）が、位相情報からどのようにして取得されるかを示す。
ここで、ｆは変調周波数、ｃは光の速度、ｔは光の飛行時間である。
数２は、画素Ｐにおけるそれぞれの位相情報である。２つの対応する画素(x,y), (x´,y´)は、動きベクトル（５３）の対応する動きベクトルを介して相互に関連付けられる。
【数1】
【数2】
【0038】
動き補償のもとでデプス画像を再構成する上述のプロセス（ステップＳ６２）によって、モーションアーチファクト（「動きぼけ」）が低減または補償される。モーションアーチファクトは、典型的には、物体が動いているとき、またはＴｏＦカメラシステム２１自体が動いているときに生じる。
【0039】
図７は、複数の部分露光フレームのそれぞれに基づいて車両室内のデプス画像のシーケンスを取得するプロセスを示すブロック図である。第１デプス画像６３－１は、第１部分露光フレームＱ１および第１部分露光フレームＩ１に基づいて取得される。第２デプス画像６３－２は、第１部分露光フレームＩ１および第２部分露光フレームＱ２に基づいて取得される。第３デプス画像６３－３は、第２部分露光フレームＱ２および第２部分露光フレームＩ２に基づいて取得される。
【0040】
図８は、車両室内のデプス画像を取得するためのＴｏＦカメラシステム２１の３つの変調期間の概略図を示す。図４と同様に、時間は右軸にプロットされている。第１変調期間Ｔ１において、部分露光期間ｔ１およびｔ２で得られた強度画像ＡＱ１＋ＢＱ１およびＡＩ１＋ＢＩ１と、位相画像ＡＱ１－ＢＱ１およびＡＩ１－ＢＩ１と、に基づいて、デプス画像が決定される。第１部分露光期間ｔ１は部分露光フレームＱに関し、第２部分露光期間ｔ２は部分露光フレームＩに関する。第２変調期間Ｔ２において、部分露光期間ｔ２およびｔ３で得られた強度画像ＡＱ２＋ＢＱ２およびＡＩ１＋ＢＩ１と、位相画像ＡＱ２－ＢＱ２およびＡＩ１－ＢＩ１と、に基づいて、デプス画像が決定される。第１部分露光期間ｔ３は部分露光フレームＱ１に関し、第２部分露光期間ｔ２は部分露光フレームＩに関する。第３変調期間Ｔ３において、部分露光期間ｔ３およびｔ４で得られた強度画像ＡＱ２＋ＢＱ２およびＡＩ２＋ＢＩ２と、位相画像ＡＱ２－ＢＱ２およびＡＩ２－ＢＩ２と、に基づいて、デプス画像が決定される。第１部分露光期間ｔ３は部分露光フレームＱ２に関し、第２部分露光期間ｔ４は部分露光フレームＩ２に関する。部分露光期間ｔ１、ｔ２、ｔ３およびｔ４のそれぞれにおいてデプス画像が生成されることによって、ＴｏＦカメラシステム２１は高い画像更新率を達成する。
【0041】
図９は、車両室内を監視するためのＴｏＦ監視システムを備える車両を概略的に示す。車両１には、４つの座席Ｓ１～Ｓ４と、１０台のＴｏＦカメラシステムＴＦ１～ＴＦ１０とが装備されている。前部座席Ｓ１、Ｓ２は運転者Ｆまたは前部乗客のために設けられている。後部座席Ｓ３、Ｓ４は車両１の乗客のために設けられている。運転者Ｆは、座席Ｓ１に座る。
【0042】
ＴｏＦカメラシステムＴＦ１、ＴＦ２はダッシュボードにある。ＴｏＦカメラシステムＴＦ３、ＴＦ５、ＴＦ８およびＴＦ１０はドアにある。ＴｏＦカメラシステムＴＦ６、ＴＦ７は後部荷物棚にある。ＴｏＦカメラシステムＴＦ４、ＴＦ１０は前部座席Ｓ１、Ｓ２の背もたれにある。
【0043】
さらに、図９においては、車両１の後方に衝撃が発生し、運転者の頭部が位置Ｐ１から位置Ｐ２に移動された例を示している。ＴｏＦカメラシステムＴＦ１、ＴＦ２およびＴＦ１０は、車両室内のデプス画像を検出し、これらデプス画像を車両１の中央制御ユニット（図１の２５）に送信する。検出されたデプス画像に基づいて、中央制御ユニットは、当業者に既知の画像認識アルゴリズムを使用して、運転者の頭部運動を決定する。中央制御ユニットは、受信された運転者の頭部運動情報に基づいて、例えばシートベルトテンショナー、エアバッグ等である対応する乗員安全システム（図１の１７）のトリガを制御することができる。
【0044】
これらの実施形態は、方法のステップの例示的な順序を有する方法を示すことに留意されたい。方法のステップの特定の順序が例示の目的のためにのみ提供されているが、拘束力があると解釈されるべきではない。
【0045】
本明細書に記載の機能は、集積回路ロジックとして、例えばチップ上に実装することができる。特に明記しない限り、記載した機能は、ソフトウェアによって実装することもできる。上述の実施形態が、ソフトウェア制御プロセッサを使用して少なくとも部分的に実装される限り、そのようなソフトウェア制御を提供するコンピュータプログラムおよび対応する記憶媒体もまた、本開示の態様とみなされる。
【符号の説明】
【0046】
１ 車両
１２ ステアリングシステム（ＥＣＵ１）
１４ ブレーキシステム（ＥＣＵ２）
１６ 駆動システム（ＥＣＵ３）
１７ 乗員安全システム（ＥＣＵ６）
１８ 自律走行のための制御ユニット（ＥＣＵ４）
２１ 飛行時間カメラシステム
２２ ＧＰＳ／位置センサ
２３ センサユニット
２５ 中央制御ユニット（ＥＣＵ５）
２８ 車両通信ネットワーク
２１０ ＣＰＵ
２２０ ＲＡＭ
２３０ ＲＯＭ
２４０ 車両通信ネットワークインターフェイス
２５０ 通信ネットワーク
２６０ メモリ（ＳＳＤ／ＨＤＤ）
Ｇ ４相信号発生器
Ｂ 照明
Ｅ レシーバ
Ｍ ミキサ
Ｐ 画素のフォトセンサＰ
Ｃ 画素の電荷蓄積部Ｃ
φ０、φ１、φ２、φ３ 変調信号
ＡＱ＋ＢＱ、ＡＩ＋ＢＩ 強度画像
ＡＱ－ＢＱ、ＡＩ－ＢＩ 位相画像
ＡＱ、ＢＱ、ＡＩ、ＢＩ 原画像
Ｏ 物体
ｄ 距離
Ｓ１ 光信号
Ｓ２ 後方散乱光信号
Ｔ 変調期間
ｔ１、ｔ２ 部分露光期間
ｆ 変調周波数
ｃ 光の速度
１２ ステアリングシステム（ＥＣＵ１）
１４ ブレーキシステム（ＥＣＵ２）
１６ 駆動システム（ＥＣＵ３）
１７ 乗員安全システム（ＥＣＵ６）
１８ 自律走行のための制御ユニット（ＥＣＵ４）
２１ 飛行時間カメラシステム
２２ ＧＰＳ／位置センサ
２３ センサユニット
２５ 中央制御ユニット（ＥＣＵ５）
２８ 車両通信ネットワーク
２１０ ＣＰＵ
２２０ ＲＡＭ
２３０ ＲＯＭ
２４０ 車両通信ネットワークインターフェイス
２５０ 通信ネットワーク
２６０ メモリ（ＳＳＤ／ＨＤＤ）
Ｇ ４相信号発生器
Ｂ 照明
Ｅ レシーバ
Ｍ ミキサ
Ｐ 画素のフォトセンサＰ
Ｃ 画素の電荷蓄積部Ｃ
φ０、φ１、φ２、φ３ 変調信号
ＡＱ＋ＢＱ、ＡＩ＋ＢＩ 強度画像
ＡＱ－ＢＱ、ＡＩ－ＢＩ 位相画像
ＡＱ、ＢＱ、ＡＩ、ＢＩ 原画像
Ｏ 物体
ｄ 距離
Ｓ１ 光信号
Ｓ２ 後方散乱光信号
Ｔ 変調期間
ｔ１、ｔ２ 部分露光期間
ｆ 変調周波数
ｃ 光の速度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】