(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-07
(45)【発行日】2024-06-17
(54)【発明の名称】画像センサーと対象領域との間の距離決定
(51)【国際特許分類】
G01C 3/06 20060101AFI20240610BHJP
G01B 11/24 20060101ALI20240610BHJP
【FI】
G01C3/06 120S
G01B11/24 A
(21)【出願番号】P 2022519232
(86)(22)【出願日】2020-09-22
(86)【国際出願番号】 EP2020076370
(87)【国際公開番号】W WO2021058455
(87)【国際公開日】2021-04-01
【審査請求日】2023-07-24
(32)【優先日】2019-09-26
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】522087707
【氏名又は名称】スマート、アイ、アクチボラグ
【氏名又は名称原語表記】SMART EYE AB
(74)【代理人】
【識別番号】100091487
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100118843
【氏名又は名称】赤岡 明
(72)【発明者】
【氏名】アンデシュ、エリアソン
【審査官】山▲崎▼ 和子
(56)【参考文献】
【文献】特開2018-151931(JP,A)
【文献】特開2017-097608(JP,A)
【文献】特開2007-285778(JP,A)
【文献】特開昭62-291509(JP,A)
【文献】特開2012-141964(JP,A)
【文献】特開2014-181907(JP,A)
【文献】特開2011-257270(JP,A)
【文献】米国特許出願公開第2002/0024593(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 3/00-3/32
G01B 11/00-11/30
G06T 7/00-7/90
G06V 10/00-20/90
30/418、40/16、40/20
(57)【特許請求の範囲】
【請求項1】
画像センサーと車両の運転者の対象領域との間の距離D
sensorを決定する方法であって、
前記車両のステアリングホイールが少なくとも時折、前記対象領域中に影を投じるように、点光源を前記画像センサーに対して既知の幾何学的関係になるように配置することと、
前記画像センサーによって取得される前記影を含む前記対象領域の画像、および、前記点光源と前記ステアリングホイールとの間の幾何学的関係に基づいて、前記点光源と前記対象領域との間の距離D
light
sourceを決定することと、
前記距離D
light
source、および、前記点光源と前記画像センサーとの間の前記既知の幾何学的関係に基づいて、前記距離D
sensorを決定することとを含み、
前記距離D
light
sourceは、
-前記画像中から前記ステアリングホイールの特定の部分の影の幅(R)を検出することと、
-前記距離D
light
sourceを、該距離D
light
source=d×R/rとして計算することであって、dは前記点光源と前記ステアリングホイールとの間の既知の距離、rは前記部分の既知の幅、Rは検出された前記幅である、によって決定されるか、あるいは、
-前記画像中から前記ステアリングホイールの部分の特定の輪郭の影の位置Pを検出することと、
- 前記距離D
light
sourceを、該距離D
light
source=d×
距離P
e/
距離p
cとして計算することであって、dは前記点光源と前記ステアリングホイールとの間の既知の距離、
前記距離p
cは前記輪郭の既知の位置
pと前記点光源の光軸上の第1位置cとの距離であり、
前記距離P
eは検出された前記位置
Pと前記点光源の光軸上の第2位置eとの距離である、
によって決定されるかのいずれかである、方法。
【請求項2】
前記部分は、前記ステアリングホイールのリムまたはスポークである、請求項1に記載の方法。
【請求項3】
前記画像センサーと前記ステアリングホイールとの間の距離を決定することと、
前記画像センサーと前記ステアリングホイールとの間の前記距離、および、前記点光源と前記画像センサーとの間の前記既知の幾何学的関係に基づいて、前記点光源と前記ステアリングホイールとの間の距離dを決定することとをさらに含む、請求項1または2に記載の方法。
【請求項4】
前記画像センサーと前記ステアリングホイールとの間の前記距離は、前記画像センサーによって取得される画像中で識別される
不変のパラメータの値、および、既知の距離における前記
不変のパラメータの事前に識別された値に基づいて、決定される、請求項3に記載の方法。
【請求項5】
前記画像センサーと前記ステアリングホイールとの間の前記距離は、前記画像センサーによって取得される画像中におけるマーカーのセットの位置に基づいて決定され、前記マーカーは、前記
ステアリングホイールの所定の位置に配置される、請求項3に記載の方法。
【請求項6】
前記画像センサーによって取得される画像から、前記画像センサーと前記
ステアリングホイールとの間の前記距離に基づいて、前記ステアリングホイールの形状を決定することをさらに含む、請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記ステアリングホイールの角度位置を検出することをさらに含む、請求項1~6のいずれか一項に記載の方法。
【請求項8】
画像センサーと車両の運転者の対象領域との間の距離D
sensorを決定する装置であって、
前記車両のステアリングホイールが少なくとも時折、前記対象領域中に影を投じるように、前記画像センサーに対して既知の幾何学的関係になるように配置される点光源と、
処理回路であって、
前記画像センサーによって取得される前記影を含む前記対象領域の画像、および、前記点光源と前記ステアリングホイールとの間の幾何学的関係に基づいて、前記
点光源と前記対象領域との間の距離D
light
sourceを決定し、前記距離D
light
source、および、前記点光源と前記画像センサーとの間の前記既知の幾何学的関係に基づいて、前記距離D
sensorを決定するように構成される処理回路とを備え、
前記距離D
light
sourceは、
-前記画像中から前記ステアリングホイールの特定の部分の影の幅(R)を検出することと、
-前記距離D
light
sourceを、該距離D
light
source =d×R/rとして計算することであって、dは前記点光源と前記ステアリングホイールとの間の既知の距離、rは前記部分の既知の幅、Rは検出された前記幅である、によって決定されるか、あるいは、
-前記画像中から前記ステアリングホイールの部分の特定の輪郭の影の位置Pを検出することと、
- 前記距離D
light
sourceを、該距離D
light
source=d×
距離P
e/
距離p
cとして計算することであって、dは前記点光源と前記ステアリングホイールとの間の既知の距離、
前記距離p
cは前記輪郭の既知の位置
pと前記点光源の光軸上の第1位置cとの距離であり、
前記距離P
eは検出された前記位置
Pと前記点光源の光軸上の第2位置eとの距離である、
によって決定されるかのいずれかである、装置。
【請求項9】
前記ステアリングホイールの角度位置を検出するための角度センサーをさらに備える、請求項8に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に視線追跡システムにおいて、単一の画像センサーと対象領域との間の距離を決定することに関する。
【0002】
伝統的に、車両の乗員識別装置のような車両の監視システム、あるいは視線追跡システムにおいて、センサーデバイスと車両の乗員との間の距離を決定する技術は、例えば運転者の頭部または顔のような、車両の乗員の体の部位の位置を識別することに注力してきた。
【0003】
大部分の頭部または目の追跡システムでは、ユーザーの顔は中心波長が可視スペクトル外の光源によって照らされ、1つまたは複数の画像センサーによって顔の画像が取得される。2つの画像センサー(「ステレオイメージング」)の場合、顔までの距離は三角測量によって決定することができる。しかしながら、単一のカメラのシステムでは、顔までの距離を決定することは困難になり得る。
【0004】
1つのアプローチは、(画像中の)瞳孔間距離または他の類似のパラメータを測定し、パラメータの期待値に基づいて距離を推定することである。この距離決定アプローチにおける1つの主要な問題は、測定されたパラメータの天性の分布に起因する推定の不確かさであり、これは約10%の距離推定誤差をもたらす。虹彩のサイズまたは角膜の曲率のようなパラメータの別の選択は、測定の不確かさを最小限にし得るが、例えば眼鏡をかけることによって運転者の目が覆われるとすぐに、これらの特徴量の測定は光の反射の影響を受け、信頼できないものとなる。
【0005】
したがって、運転者の顔と単一の画像センサーとの間の改善された距離決定が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、上記の問題を克服し、車両内における単一の画像センサーと対象領域との間の距離を満足のいくように決定する実現可能な方法を提供することである。
【課題を解決するための手段】
【0007】
本発明の第1の態様によれば、この目的および他の目的は、画像センサーと車両の運転者の対象領域との間の距離Dsensorを決定する方法によって達成される。当該方法は、車両のステアリングホイールが少なくとも時折、対象領域中に影を投じるように、点光源を画像センサーに対して既知の幾何学的関係になるように配置することと、画像センサーによって取得される影を含む対象領域の画像、および、点光源とステアリングホイールとの間の幾何学的関係(例えば、距離)に基づいて、点光源と対象領域との間の距離Dlight sourceを決定することと、距離Dlight source、および、点光源と画像センサーとの間の既知の幾何学的関係に基づいて、距離Dsensorを決定することとを含む。
【0008】
本発明の第2の態様によれば、この目的および他の目的は、画像センサーと車両の運転者の対象領域との間の距離Dsensorを決定する装置によって達成される。当該装置は、車両のステアリングホイールが少なくとも時折、対象領域中に影を投じるように、画像センサーに対して既知の幾何学的関係になるように配置される点光源と、処理回路であって、画像センサーによって取得される影を含む対象領域の画像、および、光源とステアリングホイールとの間の幾何学的関係に基づいて、光源と対象領域との間の距離Dlight sourceを決定し、距離Dlight source、および、光源と画像センサーとの間の既知の幾何学的関係に基づいて、距離Dsensorを決定するように構成される処理回路とを備える。
【0009】
本発明は、光源(複数可)と対象領域との間に配置されるステアリングホイールが影を投じるという認識に基づいており、1)光源(複数可)とステアリングホイールとの間、および2)光源(複数可)と画像センサーとの間における幾何学的関係が既知である場合には、上記の認識を光源と対象領域との間の距離を決定するのに用いることができる。
【0010】
このアプローチにより、単一の画像センサーを用いて、対象領域までの距離の信頼できる決定が提供され得る。
【0011】
原理的には、光源とステアリングホイールとの間の既知の幾何学的関係(例えば、距離)は、影の位置および/またはサイズに基づいて、光源(複数可)と対象領域との間の第1の距離を決定することを可能にする。一方、光源と画像センサーとの間の幾何学的関係は、この第1の距離を必要な距離Dsensorに変換することを可能にする。(もちろん、第1の距離の明示的な計算は必要でない場合もある。)
【0012】
説明のための以下の記載においては、光源とステアリングホイールとの間の「既知の幾何学的関係」は、「距離」とも呼ばれることに注意されたい。多くの場合、これは正確な記載でもある。しかしながら、いくつかの場合には、ステアリングホイールが対象領域(例えば、顔)とは同一平面にない場合もあり、単一の「距離」が存在しないため、これは単純化である。そのような場合には、幾何学的な関係は、スカラー距離よりも複雑になり得る。
【0013】
いくつかの態様では、距離Dsensorは、画像中からステアリングホイールの特定の部分の影の幅を検出し、距離Dlight sourceをd×R/rとして計算することができる。ここで、dは光源とステアリングホイールとの間の距離、rは上記の部分の既知の幅、Rは検出された幅である。
【0014】
他の態様では、距離Dlight sourceは、画像中からステアリングホイールの特定の輪郭の影の位置Pを検出し、距離Dlight sourceをd×P/pとして計算することができる。ここで、dは光源とステアリングホイールとの間の距離、pは光源の光軸に関して決定される輪郭の位置、Pは検出された位置であり、位置pおよび検出された位置Pはともに、光源の光軸に関して決定される。
【0015】
リムおよびスポークを有する典型的なステアリングホイールのデザイン、および運転中におけるその回転運動は、本発明の目的に非常に適している。
【0016】
部分または輪郭は、ステアリングホイールのスポークの部分であってもよい。スポークを用いることの有利な点は、ステアリングホイールは、通常は横方向に調整できないことである。したがって、放射状に延びるスポークの水平成分は、ステアリングホイールの上/下の調整による影響を受けない。
【0017】
スポークと画像センサーとの間の距離は、事前に知られていてもよいし、あるいは適切な較正手続きの間に決定されてもよい。例えば、ステアリングホイールには、既知の間隔を有する反射マーカーを設けることができ、これは、画像センサーによって取得される画像から、画像センサーとステアリングホイールとの間の距離の検出を可能にする。代替的には、画像センサーとステアリングホイールとの間の距離は、画像センサーによって取得される画像中で識別される幾何学的パラメータの値、および、既知の距離における同じ幾何学的パラメータの事前に識別された値に基づいて、決定することができる。
【0018】
幾つかの態様では、ステアリングホイールの形状(例えば、スポークの幅)は、距離の決定を容易にするために望ましい。そのような形状は、例えば、車両のステアリングホイールに関するCAD情報から知ることができる。代替的に、そのような情報を利用できない状況では、ステアリングホイールの形状は、画像センサーによって取得される画像から、画像センサーとステアリングホイールとの間の既知の距離に基づいて、決定することができる。
【0019】
幾つかの態様では、距離の決定を容易にするために、ステアリングホイールの角度位置が検出される。ステアリングホイールの形状とその角度位置が既知である場合には、スポークの側辺の角度が既知であり、これはスポークの影の識別を容易にする。また、スポークの位置は既知であり、そのため、ステアリングホイールの画像を取得できることは重要ではない。これは画像センサーがステアリングホイールを「見る」ことができない実装を許容する。
【0020】
代替的に、いくつかの態様では、影のパターン、ステアリングホイールの形状、ステアリングホイールと画像センサーとの間の距離、またはステアリングホイールの角度位置は、時間の関数としての測定値(例えば、取得された画像中で識別される幾何学的パラメータ)の適切な出力を、ステアリングホイールの様々な幾何学的寸法および位置について訓練された人工ニューラルネットワークに提供することにより、決定することができる。
【0021】
本発明は、発明の好ましい実施形態を示す添付の図面を参照して、より詳細に説明される。
【図面の簡単な説明】
【0022】
【
図1】本発明の実施形態に係る視線追跡システムの説明図である。
【
図3a】
図1の視線追跡システムの別の説明図である。
【
図4】本発明の実施形態に係る方法のフローチャートである。
【発明を実施するための形態】
【0023】
以降の詳細な説明では、本発明のいくつかの実施形態が説明される。しかしながら、特に明記されない限り、種々の実施形態の特徴は、実施形態の間で交換可能であり、また種々の方法で組み合わせることができることを理解されたい。以降の説明では、本発明のより完全な理解を提供するために、多数の具体的な詳細が示されるが、これらの具体的な詳細がなくても本発明を実施できることは、当業者にとっては明らかである。
【0024】
エレクトロニクス、センサーシステム、画像解析、信号処理、データ通信システム、画像取得システム、および本発明を実施するためのその他の構成要素の基礎および従来技術は、当業者にとっては容易に理解可能であると考えられる。したがって、簡潔にするために、さらなる説明および詳細は、この説明では省略される。
【0025】
他の例では、本発明を曖昧にしないように、周知の構成または機能は、詳細には説明されない。
【0026】
図1、2a、3aは、ユーザーの目を検出する視線追跡システム1を示している。システムは、光源2と、画像センサー3と、処理回路4とを備えている。画像センサー3は、対象領域、ここではユーザー6の顔5の画像を取得するように構成されている。処理回路は、ユーザー6の目7を識別して検出するように構成されている。
【0027】
図1、2a、3aでは、単一の光源が描かれているが、1つよりも多くの光源を設けることも可能である。代替的には、例えば、反射を低減/除去する目的で、対象領域を少なくとも2つの光源で照らすことが有利となり得る。光源2は、種々の波長領域で動作し、好ましくは光スペクトルの赤外(IR)または近赤外に中心波長を有する発光ダイオード(LED)、発散レンズを有するアイセーフレーザー、またはそれに類する、しかしこれらに限定されない、任意の適切な種類の光源であってよい。この好ましい実施形態では、光源2はIR LEDである。周囲光からの干渉を除去または最小化するために、光源は、パスバンドの中心がIR波長の中心付近であるバンドパスフィルターと組み合わせて用いられる。中心波長は、近IR領域、例えば840nmまたは940nmにあってもよい。フィルターは、光源から放出される大部分の光を捉えることができると同時に、大部分の周囲光をブロックする、パスバンドを有する。
【0028】
画像センサー3は、カメラ、または、半導体イメージセンサー、光検出器、熱検出器、PINダイオード、またはアバランチェダイオードのような、光検出器であってもよい。カメラ3はさらに、電荷結合デバイス(CCD)センサーアレイ、または相補型金属酸化膜半導体(CMOS)センサーアレイ、またはそれに類するものであってもよい。上述したIR LEDのような狭帯域の光源の場合には、画像センサー3は、光源2のスペクトルに対応するパスバンドを有するバンドパスフィルター(図示せず)と共に設けられてもよい。
【0029】
さらに、光源2および画像センサー3は、送信された信号が同期的に復調されて、周囲のIRノイズが除去されるように構成されてもよく、これにより、低強度のIR LEDであっても、キャプチャされた画像の質が向上する。LEDから送信されるIR光は、所定の期間にわたる連続波であってもよく、所定の周波数のパルス光であってもよい。記録された画像が、画像処理のような更なるデータ処理、またはマシンビジョンアルゴリズムへの入力として用いられるのに適するように、画像センサー3の感度および解像度を選択することができる。
【0030】
光源2および画像センサー3は、時間同期するように構成されてもよい。処理回路4は、画像センサー3から取得された画像を処理および解析するコンピュータビジョンシステムおよび画像処理アルゴリズムを動作させるように構成されてもよい。
【0031】
さらに、処理回路4は、例えば、運転者が彼または彼女の頭部を動かした時に、ユーザーの頭部の位置を決定する等の他の機能を実行するように構成されてもよい。処理回路4は、位置情報を用いて、頭部の動く方向を検出し、対象領域5と画像センサー3との間の距離の変化を計算するように構成されてもよい。処理回路4はまた、車両の異なる構成要素あるいは遠隔のデータセンターとの間で、データを送信、および/または受信するように構成されてもよい。さらに、処理回路4は、この場合には、IR画像センサー3および他の構成要素に有線接続される。しかしながら、遠隔の構成要素にアクセスするのに、有線接続に代えて無線接続を用いることは、容易に想到することができる。
【0032】
ステアリングホイール8は、光源と顔5との間に配置され、これにより、ステアリングホイールが顔5の上に影9を投じる。
【0033】
処理回路はまた、処理を容易にするために、様々なセンサー入力を受信するように構成されうる。例えば、現在のステアリングホイールの角度についての情報が処理回路に提供されてもよい。
【0034】
この例では、光源2、画像センサー3、および処理回路4は、別個の構成要素として描かれているが、別の例では、そうである場合もあるし、そうでない場合もあることを認識されたい。光源2または処理回路4を画像センサー3と統合するように、あるいは画像センサー3からデータを無線で受信するように構成される等の他の組み合わせは、当業者にとって容易に想到することができる。したがって、これらの構成要素のいくつか、またはすべては、別の例では、単一のユニットの一部として形成することもできる。
【0035】
図2を参照すると、特定の部分、ここではステアリングホイール8のリム21が、距離D
light sourceを決定するために用いられる。この例では、特定の部分21は、既知の幅「r」を有しており、LED2とステアリングホイール8との間の距離は「d」である。光源2によって照らされると、リム21は、対象領域7上に幅「R」の対応する影部分22を生成する。
【0036】
この実施形態では、処理回路4は、取得された画像中から、投じられた影部分22のサイズを検出して識別するように構成されている。LED2からリム21に投じられる入射光と、対応する影22とは、
図2bに示されるような2つの相似の三角形△abc~△adeを作り出す。三角形の比例の定理(Triangle Proportionality Theorem)を用いることにより、2つの相似の三角形の対応する高さおよび辺は互いに比例していると判定され、この例では、処理回路4は、距離D
light sourceを、距離D
light source=d×R/rとして決定する。
【0037】
図3aの例では、特定の輪郭の位置p、ここではステアリングホイール8のスポーク32のエッジ31が、LED2の光軸Aに関して決定される。位置pに対応する影9の部分34の位置「P」が、取得された画像中から処理回路4によって検出される。
図2aと同様に、LED2とステアリングホイール8との間の距離は、dとラベル付けられている。
【0038】
再び
図3bを参照して、2つの相似の三角形△apc~△aPeが形成され、ここで、cおよびeは光軸A上に位置している。位置pおよびPが光軸Aまでの垂直の距離として表されている場合には、距離D
light sourceは、距離D
light source=d×P/pとして決定することができる。距離D
light sourceの決定は、他の相似の三角形を選ぶことによっても、容易に考えられることを認識されたい。
【0039】
以降では、
図4のフローチャートを参照して、
図1、2a、3aのシステム1の動作が説明される。
【0040】
ステップS1において、ステアリングホイール8の影がユーザー6の顔5に投じられるように、光源2が配置される。いくつかの構成では、ステアリングホイール8の部分は常に、光源2と顔5との間に配置される。他の構成では、ステアリングホイールのいくつかの位置においてのみ、影を見ることができる。
【0041】
ステップS2において、画像センサー3は、顔5と共にステアリングホイール8の影9を含む、1つまたは複数の画像を取得する。取得された画像(複数可)は、適切な画像処理のために、処理回路4に提供される。
【0042】
ステップS3-S5において、処理回路4は、上述した関係に基づいて、画像センサー3と顔5との間の距離を決定する。はじめに、ステップS3において、処理回路4は、影9の幅d、および/または位置pを取り出す。例えば、キャプチャされたステアリングホイールの影を画像処理アルゴリズムに入力として提供することにより、キャプチャされた画像から対応する画素情報を取り出すことができる。取り出された画素情報は、画素の輝度または色、画素の解像度、または対象領域上の画素の位置を含むことができ、次にこれらを用いて、影のサイズまたは位置を計算することができる。現在のステアリングホイールの角度についての情報は、影の輪郭、例えばスポークのエッジの識別を容易にすることができ、これはステアリングホイールの角度に相関性のある傾きを有することになる。
【0043】
次にステップS4において、S3からの情報が用いられて、光源2と対象領域7との間の距離Dlight sourceが決定される。最後に、光源2と画像センサー3との間の既知の幾何学的関係を用いて、画像センサー3と対象領域7との間の距離Dsensorが、ステップS5において計算される。
【0044】
図4の処理は通常、各運転セッションについて、1回だけ実行される必要があることに注意されたい。最初の距離D
sensorの決定の後では、何らかの不変のパラメータ(例えば、虹彩のサイズ)を用いて、連続的な距離の測定を行うことができる。最初に決定された距離でこのパラメータを測定することにより、このパラメータを監視して距離の任意の変化を検出することができる。
【0045】
当業者は、本発明が上述した好ましい実施形態に決して限定されるものではないことを理解する。それどころか、多数の変形およびバリエーションが添付のクレームの範囲内で可能である。例えば、ここで開示された視線検出システムの詳細は、本発明の動作にとって重要ではない。