特表 2024-534145 バックミラー組立品調整システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-18

(54)【発明の名称】バックミラー組立品調整システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240910BHJP

   H04N 23/50 20230101ALI20240910BHJP

   G03B 30/00 20210101ALI20240910BHJP

   G03B 15/00 20210101ALI20240910BHJP

   G03B 7/091 20210101ALI20240910BHJP

   G03B 17/56 20210101ALI20240910BHJP

   B60R 1/12 20060101ALI20240910BHJP

【ＦＩ】

H04N23/60 500

H04N23/50

G03B30/00

G03B15/00 V

G03B7/091

G03B17/56 B

B60R1/12 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024512185

(86)(22)【出願日】2022-08-23

(85)【翻訳文提出日】2024-02-22

(86)【国際出願番号】 US2022041156

(87)【国際公開番号】W WO2023028027

(87)【国際公開日】2023-03-02

(31)【優先権主張番号】63/235,830

(32)【優先日】2021-08-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】500115826

【氏名又は名称】ジェンテックス コーポレイション

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100144451

【弁理士】

【氏名又は名称】鈴木 博子

(74)【代理人】

【識別番号】100224672

【弁理士】

【氏名又は名称】深田 孝徳

(72)【発明者】

【氏名】シュナイダー ジム エル

(72)【発明者】

【氏名】レミイン マシュー ダブリュ

(72)【発明者】

【氏名】リンツ ジョシュア ディー

【テーマコード（参考）】

2H002

2H105

5C122

【Ｆターム（参考）】

2H002GA70

2H105AA06

5C122DA14

5C122EA58

5C122FH04

5C122FH11

5C122FH14

5C122GA01

5C122GA23

5C122GD04

5C122GE11

5C122HA35

5C122HA88

(57)【要約】

【課題】車両内の運転者監視システムを較正するためのシステムシステムを提供する。
【解決手段】ハウジングと、車両表面に固定されたマウントと、ハウジングとマウントとの間に延在するバレルと、を備えるバックミラー組立品と、バックミラー組立品内に配置された撮像装置と、撮像装置と通信するプロセッサと、撮像装置に近接する固定した目印に関する情報を含むファイルを含むメモリと、コントローラであって、車両内部の画像を受信し、初期較正中に使用される第一の画像の実質的に固定した目印を識別することによって撮像装置を較正するように動作可能である、コントローラを含み、コントローラは、実質的に固定した目印が第一の画像に対して第二の画像内の異なる位置にあることの検出に少なくとも部分的に基づいて、運転者監視動作を再較正するように構成される。バレルの端部のうちの一つは、可動な接合部と接続される。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両内の運転者監視システムを較正するためのシステムであって、
ハウジングおよびマウントを備えるバックミラー組立品であって、車両表面に固定される前記マウントと、第一の端部および第二の端部を有し、前記ハウジングと前記マウントとの間に延在するバレルと、を備える、バックミラー組立品と、
画像を撮像することができる撮像装置であって前記バックミラー組立品内に配置される、撮像装置と、
前記撮像装置と通信するプロセッサと、
プロセッサと通信するメモリであって、前記撮像装置に近接する固定した目印に関する情報を含むファイルを含むメモリと、
コントローラであって、
前記車両の内装の画像を受信し、
前記撮像装置を較正するように動作可能であり、前記較正が、初期較正中に使用される第一の画像の実質的に固定した目印を識別することを含む、コントローラと、を備え、
前記コントローラが、前記実質的に固定した目印が前記第一の画像に対して第二の画像内の異なる位置にあることの検出に少なくとも部分的に基づいて、運転者監視動作を再較正するように構成される、システム。

【請求項2】

前記バックミラー組立品の内部の前記撮像された画像が、少なくとも一つの固定した画像目印を含み、
前記少なくとも一つの固定した画像目印が、前記ハウジング内に配置される、請求項１に記載のシステム。

【請求項3】

前記ファイルが、前記バックミラー組立品の前記ハウジング内の固定した目印に関する情報を含む、請求項１又は２に記載のシステム。

【請求項4】

前記バレルの前記第一の端部が、前記マウントに接続された可動な接合部を有する、請求項１～３のいずれか一項に記載のシステム。

【請求項5】

前記バレルの前記第二の端部が、前記ハウジングに接続された可動な接合部を有する、請求項１～４のいずれか一項に記載のシステム。

【請求項6】

前記コントローラが、画像をインポートし、前記ファイルから既知の前記画像の特徴を識別するように構成され、
前記コントローラが、前記ファイル内の前記情報に基づいて前記特徴の前記位置を知るように構成され、
前記コントローラが、前記バレルの端部での単一または複数の接合部に基づいて座標系を画定するように構成される、請求項１～５のいずれか一項に記載のシステム。

【請求項7】

前記コントローラが、撮像された画像を前記ファイルと関連させて、前記元の位置に対する前記バックミラー組立品の相対位置を決定するように構成される、請求項１～６のいずれか一項に記載のシステム。

【請求項8】

前記コントローラが、前記バックミラー組立品を前記車両に固定する単一または複数の接合部に基づいて、座標系を決定するように構成される、請求項１～７のいずれか一項に記載のシステム。

【請求項9】

前記コントローラが、前記ファイル内の少なくとも一つの特徴を識別し、前記バックミラー組立品内の前記同じ少なくとも一つの特徴を見つけるように構成される、請求項８に記載のシステム。

【請求項10】

前記コントローラが、少なくとも一つの特徴の位置を使用して、二つのピッチ角度、二つのヨー角度、および一つのロール角度を含む、五つの角度を決定するように構成される、請求項９に記載のシステム。

【請求項11】

前記コントローラが、前記五つの角度の前記決定に基づいて、バックミラー組立品の前記位置および配向を計算するように構成される、請求項１０に記載のシステム。

【請求項12】

前記コントローラが、前記新しい位置および配向情報を使用して、前記運転者監視システムを再較正するように構成される、請求項１１に記載のシステム。

【請求項13】

運転者監視システムを較正するための方法であって、
撮像装置と、バックミラー組立品の前記ハウジング内の複数の固定した目印の位置を含む、前記バックミラー組立品の内部構造に関する詳細を含むファイルを含むメモリと、を備える運転者監視システムを有するバックミラー組立品を提供することと、
前記撮像装置を用いて前記バックミラー組立品の内部の画像を撮像することと、
前記撮像された画像を、前記バックミラー組立品の前記内部構造に関する詳細を含むメモリに格納されたファイルと比較することと、
前記撮像された画像と前記格納された画像との間の前記比較から取得された情報を使用して、前記運転者監視システムを較正することと、を含む、方法。

【請求項14】

前記バックミラー組立品内の前記固定した目印の画像座標を確立することをさらに含む、請求項１３に記載の方法。

【請求項15】

前記運転者監視システムの初期較正中の初期回転を０、０、０として定義することをさらに含む、請求項１３又は１４に記載の方法。

【請求項16】

前記撮像された画像を歪み補正することと、複数の前記固定した目印に対する新しい画像座標を確立することと、をさらに含む、請求項１５に記載の方法。

【請求項17】

前記バックミラー組立品の位置調整情報を決定することをさらに含む、請求項１６に記載の方法。

【請求項18】

位置調整情報を前記撮像された画像に適用することをさらに含む、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、「Ｃａｍｅｒａ－Ｂａｓｅｄ Ｒｅａｒｖｉｅｗ Ａｓｓｅｍｂｌｙ Ｏｒｉｅｎｔａｔｉｏｎ Ａｄｊｕｓｔｍｅｎｔ Ｓｙｓｔｅｍ」と題される、２０２１年８月２３日に出願された米国仮特許出願第６３／２３５，８３０号の利益および優先権を主張する。

【0002】

本開示は、概して、バックミラー組立品内の画像の処理に関し、特に、バックミラー組立品内の運転者監視システム内の撮像装置によって撮像された画像の処理に関する。

【背景技術】

【0003】

一つ以上の撮像装置は、運転者監視システム用のバックミラー組立品に取り付けられてもよく、特に車両の運転者または運転者の特定の身体部分の画像を撮像するように構成されてもよい。これにより、運転者監視システムが、監視のために運転者および運転者の目の位置を正確に決定することが可能になり得る。運転者監視システムは、バックミラー組立品が所与の位置にある状態で較正されてもよい。運転者監視システムが較正されると、バックミラー組立品のその後の調整を検出し、定量化しなければならず、その結果、撮像された画像に適切な補正が適用され得る。既存のセンサは、バックミラー組立品の調整を直接測定するために使用することができるが、高価である。

【発明の概要】

【0004】

一態様によれば、車両内の運転者監視システムを較正するためのシステムは、ハウジングおよび車両表面に固定されたマウントと、第一の端部および第二の端部を有し、ハウジングとマウントとの間に延在するバレルと、を備えるバックミラー組立品と、画像を撮像することができる撮像装置であって、バックミラー組立品内に配置された撮像装置と、撮像装置と通信するプロセッサと、プロセッサと通信するメモリであって、撮像装置に近接する固定した目印に関する情報を含むファイルを含むメモリと、車両の内装の画像を受信し、撮像装置を較正するように動作可能なコントローラと、を含む。較正は、初期較正中に使用される第一の画像の実質的に固定した目印を識別することを含んでもよい。コントローラは、実質的に固定した目印が第一の画像に対して第二の画像内の異なる位置にあることの検出に少なくとも部分的に基づいて、運転者監視動作を再較正するように構成されてもよい。バレルの第一の端部および第二の端部のうちの少なくとも一つは、可動な接合部と接続されてもよい。

【0005】

バックミラー組立品の内部の撮像された画像は、少なくとも一つの固定した画像目印を含んでもよい。少なくとも一つの固定した画像目印は、ハウジング内に配置されてもよい。バレルの第一の端部は、マウントに接続された可動な接合部を有してもよい。バレルの第二の端部は、ハウジングに接続された可動な接合部を有してもよい。ファイルは、バックミラー組立品のハウジング内の固定した目印に関する情報を含んでもよい。

【0006】

コントローラは、画像をインポートし、ファイルからわかり得る画像の特徴を識別するように構成されてもよい。コントローラは、ファイル内の情報に基づいて特徴の場所がわかるように構成されてもよい。コントローラは、バレルの端部での単一または複数の接合部に基づいて座標系を画定するように構成されてもよい。撮像装置は、撮像された画像をファイルと関連させて、元の位置に対するバックミラー組立品の相対位置を決定するように構成されてもよい。コントローラは、バックミラー組立品を車両に固定する単一または複数の接合部に基づいて、座標系を決定するように構成されてもよい。コントローラは、ファイル内の少なくとも一つの特徴を識別し、バックミラー組立品内の同じ少なくとも一つの特徴を見つけるように構成されてもよい。コントローラは、少なくとも一つの特徴の位置を使用して、二つのピッチ角度、二つのヨー角度、および一つのロール角度を含む、五つの角度を決定するように構成されてもよい。コントローラは、五つの角度の決定に基づいて、バックミラー組立品の位置および配向を計算するように構成されてもよい。コントローラは、新しい位置および配向の情報を使用して、運転者監視システムを再較正するように構成されてもよい。

【0007】

一態様によれば、運転者監視システムを較正するための方法は、撮像装置と、バックミラー組立品のハウジング内の複数の固定した目印の位置を含む、バックミラー組立品の内部構造に関する詳細を含むファイルを含むメモリと、を備える運転者監視システムを有するバックミラー組立品を提供することと、撮像装置を用いてバックミラー組立品の内部の画像を撮像することと、撮像された画像を、バックミラー組立品の内部構造の詳細を含むメモリに格納されたファイルと比較することと、撮像された画像と格納された画像との間の比較から取得された情報を使用して、運転者監視システムを較正することと、を含んでもよい。

【0008】

方法は、バックミラー組立品内の固定した目印の画像座標を確立することをさらに含んでもよい。方法は、運転者監視システムの初期較正中の初期回転を、０、０、０として定義することをさらに含んでもよい。方法は、撮像された画像を歪み補正することと、複数の固定した目印に対する新しい画像座標を確立することと、をさらに含んでもよい。方法は、バックミラー組立品の位置調整情報を決定することをさらに含んでもよい。方法は、位置調整情報を撮像された画像に適用することをさらに含んでもよい。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示による運転者監視システム用のカメラベースの調整システムのブロック図を示す。

【図2】図２は、本開示によるバックミラー組立品の上面図を示す。

【図3】図３は、図２のバックミラー組立品の側面図である。

【図4】図４は、本開示によるバックミラー組立品の一つの実施形態の上部背面斜視図である。

【図5】図５は、本開示による実施形態の平面図である。

【発明を実施するための形態】

【0010】

図１を参照すると、運転者監視システムを較正するためのシステムが、概して参照番号１０で示されている。較正システム１０は、バックミラー組立品２４内に配置された運転者監視システム２０を備えてもよい。運転者監視システム２０は、カメラまたは撮像装置２８、プロセッサ３２、およびメモリ３６を備えてもよい。較正システム１０は、メモリ３６内に配置され、バックミラー組立品２４の内部構造など、撮像装置で見える固定した目印の詳細を含む、コンピュータ支援設計（ＣＡＤ）ファイル４０をさらに備えてもよい。

【0011】

図２～３に示すように、バックミラー組立品２４は、マウント４４、ハウジング４８、およびマウント４４とハウジング４８との間に延在するバレル５２を備えてもよい。バックミラー組立品２４は、マウント４４を介して車両（図示せず）のフロントガラスまたはルーフ上に支持されるように概して設計されてもよい。マウント４４は、ボタン（図示せず）または他の適切な接続要素を介して、車両のフロントガラスまたはルーフに固定的に接続されてもよい。

【0012】

バレル５２は、円形、楕円形、正方形、長方形、または不規則な断面を有してもよい。バレル５２は、第一の端部５２Ａおよび第二の端部５２Ｂを有してもよく、バックミラー組立品２４のマウント４４とハウジング４８との間に延在してもよい。一部の実施形態では、バレル５２の第一の端部５２Ａは、マウント４４でボールマウントまたは他の適切な接続要素と枢動可能に接続されてもよい。一部の実施形態では、バレル５２の第一の端部５２Ａは、マウント４４で固定的に接続されてもよい。

【0013】

バレルおよび第一の端部と同様に、一部の実施形態では、バレル５２の第二の端部５２Ｂは、ハウジング４８に枢動可能に接続されてもよい。バレル５２の第二の端部５２Ｂは、バックミラー組立品２４と動作可能に結合され得るボールマウント（図示せず）またはその他のタイプのマウントでハウジング４８に接続されてもよい。ボールマウントは、ハウジング４８の一部として画定されてもよく、またはハウジング４８の内側に配置された後部壁上に形成されてもよい。ハウジング４８のボールマウントのための他の可能な構造も意図される。一部の実施形態では、バレル５２の第二の端部５２Ｂは、ハウジング４８から直接かつ固定的に延在してもよい。

【0014】

したがって、バックミラー組立品２４のハウジング４８は、マウント４４に移動可能に取り付けられるように構成されてもよい（すなわち、水平軸および／または垂直軸に沿って回転してもよい）。バックミラー組立品２４は、バレル５２およびマウント４４の第一の端部５２Ａ、またはバレル５２およびハウジング４８の第二の端部５２Ｂのいずれかに単一の可動な接合部を有してもよく、またはバレル５２およびマウント４４の第一の端部５２Ａに一つ、バレル５２およびハウジング４８の第二の端部５２Ｂに一つという二つの可動な接合部を有してもよい。

【0015】

図４および図５を参照すると、ハウジング４８は、エレクトロクロミック素子などの反射要素、および開口部５６を覆うように構成された表示要素６０のうちの少なくとも一つを有する開口部５６を画定してもよい。バックミラー組立品２４はまた、運転者監視機能を実施するように構成された運転者監視システム２０の少なくとも一部の構成要素を備えてもよい。運転者監視システム２０の構成要素は、撮像装置２８、プロセッサ３２、少なくとも一つの光源６４、少なくとも一つのプリント回路基板（ＰＣＢ）６８、およびコントローラ７２を含んでもよいが、これらに限定されない。プロセッサ３２は、画像信号プロセッサであってもよい。

【0016】

撮像装置２８は、ハウジング４８の内側に配置されてもよく、反射要素および／または表示要素６０の後ろに位置してもよい。撮像装置２８は、レンズ７６と、起動時に画像データを生成できる相補型金属酸化膜半導体（「ＣＭＯＳ」）などの画像センサ８０と、を含んでもよい。運転者監視システム２０が動作している時、撮像装置２８は、運転者の特徴の一つ以上の画像を取得し、一つ以上の取得された画像に対応する画像データを生成するように構成されてもよい。撮像装置２８は、断続的または連続的に、運転者の画像を撮像してもよい。運転者監視システム２０は、運転者の所定の顔、頭部、および身体の特徴または位置のうちの少なくとも一つの画像を監視し、撮像してもよい。一部の実施形態では、撮像された画像は、運転者の目の瞳孔の位置および動き、瞬きの頻度および持続時間、眼瞼の位置、頭部の位置および配向、頭部の動き、脈拍数、顔および眼の動き、または他の適切な運転者性能インジケータを含み得るが、これらに限定されない。

【0017】

撮像装置２８はさらに、バックミラー組立品２４の内部の画像点を検出し、それらをバックミラー組立品２４の内部部分のＣＡＤファイル４０に関連付ける能力を有してもよい。ＣＡＤファイル４０は、支持体などのバックミラー組立品２４の内部構造の詳細、およびその他の内部特徴を含んでもよい。運転者監視システム２０は、バックミラー組立品２４が所与の位置にある状態で最初に較正されてもよい。バックミラー組立品２４の位置に対するその後の任意の調整は、適切な補正を適用できるように検出および定量化される必要がある場合がある。

【0018】

撮像装置２８は、運転者監視システムが最初に較正された時に撮像された画像内の固定した画像目印の画像を撮像するように構成されてもよい。目印の位置の任意の変化が検出される時、運転者監視システム２０は、再較正する必要がある場合がある。較正中に撮像された画像は歪み補正されてもよい。各目印の画像座標が確立されてもよい。ワールド座標系は、撮像装置２８の焦点で（０、０、０）として定義されてもよく、回転は、運転者監視システム２０が最初に較正された時に（０、０、０）として定義される。ここから、類似のワールド座標が、画像座標の各々に対して計算され得る。新しい画像は歪み補正されてもよく、目印の各々に対して画像座標が確立されてもよい。

【0019】

少なくとも一つの光源６４は、赤外線光源または近赤外線（ＮＩＲ）光源を備えてもよい。少なくとも一つの光源６４および撮像装置２８は、ＰＣＢ ６８に電気的に結合されてもよく、さらにコントローラ７２と通信してもよい。一部の実施形態では、少なくとも一つの光源６４は、車両内の運転者位置を含む照明野を有するように構成されてもよい。

【0020】

プロセッサ３２は、撮像装置２８によって撮像された画像を処理することができてもよい。プロセッサ３２は、計算、入力の取り扱い、出力の生成、および／またはその他の方法で計算タスクを実施するための、一般的または特定用途固有のプロセッサまたは回路であってもよい。プロセッサ３２は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはディスクリートとＦＰＧＡの組み合わせなどの様々な構成要素を使用して構成されたマイクロプロセッサであってもよい。一部の実施形態では、プロセッサ３２は、複数の機能を実施するように適合されてもよい。これらの機能には、ヘッドランプ制御、車線逸脱警報、および他の運転者支援機能が含まれ得るが、これらに限定されない。プロセッサ３２は、光源６４を選択的に起動し、撮像装置２８から受信した画像データを処理して、運転者を監視するように構成されてもよい。一部の実施形態では、プロセッサ３２は、撮像された画像を処理して、運転者特性に関する画像データを生成してもよい。生成された画像データは、例えば、瞬き速度、瞬き持続時間、頭部の位置および配向、目の位置、脈拍数、または他の適切な運転者性能インジケータを含んでもよい。

【0021】

コントローラ７２は、ＰＣＢ６８上に位置してもよく、ハウジング４８内の他の場所に位置してもよく、または車両の他の場所に位置してもよい。コントローラ７２は、プロセッサ３２と通信してもよい。コントローラ７２は、バックミラー組立品２４および／または車両の機器に組み込まれた様々な装置と通信してもよい。コントローラ７２は、プロセッサ３２と通信してもよい。コントローラ７２は、少なくとも一つの光源６４を選択的に起動して、選択された照明ターゲット上に照明を投影するように構成されてもよく、撮像装置２８による画像取得を引き起こすようにさらに構成されてもよい。

【0022】

例えば、車両の後方の風景などの風景からの画像は、撮像装置２８によって撮像され、バックミラー組立品２４の表示要素６０上に示されてもよい。車両の運転者は、死角を回避し、運転者がバックミラー組立品２４の所望の視野からの画像を簡単に見ることができることを確実にするために、バックミラー組立品２４の位置を調整してもよい。

【0023】

バックミラー組立品２４の運転者監視システム２０は、その初期の位置および配向で最初に較正されてもよい。これにより、運転者監視システムでは、とりわけ、運転者がどこを見ているかを決定することが可能になる。しかしながら、バックミラー組立品２４が移動すると、運転者監視システム２０は、運転者が何を見ているかを正確に決定することができなくなる場合がある。バックミラー組立品２４が初期位置から移動した後では、バックミラー組立品２４の位置に対して行われた調整を検出して定量化する必要がある。位置および／または配向の変化を補正するための運転者監視システム２０の再較正が望ましい場合がある。初期位置決め後のバックミラー組立品２４のその後の調整を検出および定量化することは、適切な補正を適用することを可能にする場合がある。

【0024】

運転者監視システム２０用の撮像装置２８および撮像装置２８によって撮像された画像データが、この機能を達成するために使用されてもよい。撮像装置２８は、撮像装置２８が最初に較正された時に撮影された画像内に固定した目印を撮像および登録してもよい。その後の調整がバックミラー組立品２４の位置および／または配向に対して生じる場合、画像内の目印位置が変化し、これらの変化を使用して、バックミラー組立品２４に対して行われた調整を定量化することができる。画像内の目印位置で変化が検出されるとき、補正が決定および適用されてもよい。

【0025】

バックミラー組立品２４のＣＡＤファイル４０は、バックミラー組立品２４の内部部分の詳細を含んでもよく、任意のリブまたは支持体を含むハウジング４８の内部の詳細、およびその他の情報を含んでもよい。撮像装置２８は、バックミラー組立品２４の内部の画像を撮像し、外部目印を撮像するように構成されてもよく、画像および目印をＣＡＤファイル４０に格納された画像と比較してもよい。

【0026】

コントローラ７２は、画像をインポートし、ＣＡＤ図面から知られている画像の特徴を識別するように構成されてもよい。コントローラ７２は、ＣＡＤファイル４０内の情報に基づいて特徴の場所を知るように構成されてもよい。コントローラ７２は、バレル５２のいずれかの端部５２Ａ、５２Ｂでの単一または複数の接合部に基づいて座標系を画定してもよい。コントローラ７２は、バレル５２の一方の端部にある第一の接合部でのピッチ角度、ヨー角度、およびロール角度、ならびにバレル５２の他方の端部でのピッチ角度およびヨー角度という五つの角度を推定するように構成されてもよい。すべてのロールは、第一の接合部に帰属されてもよい。第一の接合部は、バレル５２の第一の端部５２Ａおよび第二の端部５２Ｂのうちの一方にあってもよく、第二の接合部は、バレル５２の第一の端部５２Ａおよび第二の端部５２Ｂのうちの他方にあってもよい。バックミラー組立品２４が一つの接合部のみを有する場合（すなわち、バレル５２の一方の端部５２Ａ、５２Ｂが固定され、バレル５２の他方の端部５２Ｂ、５２Ａが接合部を介して固定される場合）、コントローラ７２は、両方の接合部が同一位置にあると仮定する、または二つの接合部があるが一つの接合部は移動可能でないと仮定するように構成されてもよい。

【0027】

コントローラ７２は、撮像された画像をＣＡＤファイル４０に関連付けて、元の位置に対するバックミラー組立品２４の相対位置を決定するように構成されてもよい。焦点距離などの撮像装置２８の固有特性が既知である。撮像された画像からのその情報および画像データを使用して、コントローラ７２は、撮像装置２８によって撮像された画像に基づいて角度を計算することができてもよく、計算された角度を使用して、バックミラー組立品２４の正確な位置および配向を決定してもよい。

【0028】

一部の実施形態では、バックミラー組立品２４は、運転者監視システム用の撮像装置を収容してもよい。撮像装置は、バックミラー組立品２４が特定の位置にある間に最初に較正されてもよい。バックミラー組立品２４のその後の任意の調整は、適切な補正を適用して撮像装置が初期較正と一致することを可能にするために、検出および定量化される必要があり得る。ハウジングの内部の詳細なＣＡＤ図面は、必要とされる較正を決定するために利用可能である。ＣＡＤ図面を使用することにより、内部特徴の正確な位置を決定することが可能になり得る。

【0029】

撮像装置２８によって撮像された画像から、コントローラ７２に計算された角度に進み、バックミラー組立品２４の位置および配向を決定するために、コントローラ７２は、バックミラー組立品２４を車両に固定する接合部に基づいて座標系を画定するように構成されてもよい。コントローラ７２は、ＣＡＤファイル４０内の少なくとも一つの特徴を識別し、バックミラー組立品２４内の同じ単一または複数の特徴を見つけるように、さらに構成されてもよい。次に、コントローラ７２は、その情報を使用して五つの角度（二つのピッチ角度、二つのヨー角度、および一つのロール角度）を決定するように構成されてもよい。角度が決定されると、コントローラ７２は、バックミラー組立品２４の正確な位置および配向を計算するように構成されてもよい。次に、コントローラ７２は、新しい位置情報を使用して、運転者監視システム２０を再較正するように構成され得る。

【0030】

マウント４４とハウジング４８との間に延在するバレル５２は、各端部に接合部を有するものと仮定され得る。バックミラー組立品２４のハウジング４８のバレル５２の端部にある接合部は、「ｊｏｉｎｔ１」と呼ばれてもよく、その中心は、座標系の原点（［ｘ，ｙ，ｚ］＝［０，０，０］）とみなされてもよい。＋ｚは、車両の後部を指してもよく、＋ｙは、道路に向かって下向きを指してもよく、＋ｘは、車両の運転者側に向かって横方向を指してもよい。軸は、ハウジングの内部のＣＡＤ図面の長軸と整列されてもよい。

【0031】

初期較正中、画像が撮像されてもよく、少なくとも一つの固定した画像目印が識別されてもよい。少なくとも一つの目印は、バックミラー組立品のハウジング内に配置されてもよい。後続の画像は撮像されてもよく、少なくとも一つの目印がどこにあるかが決定されてもよい。一部の実施形態では、目印のうちの少なくとも一つの終点がどこであるかが決定されてもよい。少なくとも一つの目印に動きがあると決定されてもよい。一つ以上の目印の位置で変化が検出されると、以下の工程を適用して、撮像装置を再較正してもよい。

【0032】

計算中、単純化のために、カメラの焦点はバックミラー組立品２４の調整ボールジョイントの中心にあると仮定され得る。初期較正中に撮影された画像は歪み補正されてもよく、画像座標が、少なくとも一つの目印の各々に対して確立されてもよい。撮像装置の焦点で点（０，０，０）と、（０，０，０）の回転とを有する座標系が画定されてもよい。次に、確立された画像座標の各々に対して、類似の座標が計算されてもよい。類似の座標が計算されると、新しい画像が歪み補正され、少なくとも一つの目印の各々に対して新しい画像座標が確立されてもよい。新しい画像座標を使用して、撮像装置が較正されてもよい。

【0033】

メモリ３６は、運転者監視システム２０が運転者を監視している間に使用するように、選択された運転者特性に対する所定のパラメータを格納するように構成されてもよい。

【0034】

一部の実施形態では、コントローラ７２は、運転者監視モード中に撮像された画像から生成された画像データを、選択された運転者特性に対する所定のパラメータと比較してもよい。一部の実施形態では、コントローラ７２は、撮像された画像と所定のパラメータとの間の許容可能な偏差についての所定の閾値を含んでもよい。生成された画像データを所定のパラメータと比較した後、コントローラ７２は、能力の低下を示し得る何らかの兆候が運転者にみられるかどうかを決定してもよい。

【0035】

一部の実施形態では、コントローラ７２は、運転者監視モード中に撮像された画像から生成された画像データを、以前に撮像された画像から生成された画像データと比較してもよい。以前に撮像された画像は、運転者監視システム２０のプロセッサ３２のメモリ３６に記憶されてもよい。一部の実施形態では、コントローラ７２は、撮像された画像と格納された画像または格納された画像データとの間の許容可能な偏差についての所定の閾値を含んでもよい。比較後、コントローラ７２は、運転者の能力が低下している可能性のある兆候がみられるかどうかを決定してもよい。

【0036】

画像内の目印位置に何らかの変化が検出された時に撮像装置２８を較正するための方法１００は、以下の工程を含んでもよい。工程１１０では、撮像装置２８は、バックミラー組立品２４のハウジング４８の内部部分の画像を撮像してもよい。ＣＡＤ図面から、コントローラ７２は、カメラの視野内で潜在的に固定線セグメントを決定してもよく、座標系という観点からこれらのセグメントの終点を決定してもよい。撮像された画像の所与の画像フレームでは、コントローラ７２は、これらの固定セグメントの一部または全体を探し、画像ドメイン内のこれらのセグメントの終点を注記してもよい。

【0037】

工程１２０では、較正中に撮影された画像は歪み補正されてもよい。「Ｎ」個の目印があると仮定すると、工程１３０では、Ｎ個の目印の各々の画像座標が確立されてもよい。工程１４０では、ワールド座標系は、撮像装置２８の焦点で０、０、０として画定されてもよい。工程１５０では、初期回転は、運転者監視システム２０が較正された時に、０、０、０として定義されてもよい。工程１６０では、この情報を使用して、工程１３０で言及した画像座標の各々に対して類似のワールド座標が計算されてもよい。工程１７０では、新しい画像は歪み補正されてもよく、「Ｎ」個の目印の各々に対して新しい画像座標が確立されてもよい。位置調整情報は、工程１８０でバックミラー組立品２４について決定されてもよい。工程１９０では、コントローラ７２は、位置調整情報を撮像装置２８によって撮像された画像に適用してもよい。位置調整情報は、例えば、運転者監視など、バックミラー組立品２４自体で実行される用途によって使用されるだけでなく、地球に対するその配向を知るために、グローバルな車両配向と組み合わせることもできる。

【0038】

本明細書で使用される場合、「バックミラー組立品」は、運転者の後方の風景の画像を提供し得る構造である。バックミラー組立品は、追加として、または代替として、後向きカメラまたは撮像装置によって感知される画像を表示する電子表示要素６０を備えることができる（例えば、本出願の譲受人に譲渡されＦｒｅｄｅｒｉｃｋ Ｔ． Ｂａｕｅｒらによって１９９８年９月１５日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＣＯＭＰＯＮＥＮＴＳ ＦＯＲ ＥＮＨＡＮＣＩＮＧ ＲＥＡＲ ＶＩＳＩＯＮ ＦＲＯＭ Ａ ＶＥＨＩＣＬＥ」と題する米国特許第６，５５０，９４９号を参照のこと。その開示全体は、参照により本明細書に組み込まれる）。追加として、または代替として、バックミラー組立品は、電気光学バックミラー組立品、および後向きカメラまたは撮像装置２８からの画像を提供するための表示要素６０との両方を備えることができる。したがって、バックミラー組立品はミラー素子を含む必要はない。以下に記載される実施形態では、バックミラー組立品が示され、記載される。

【0039】

バックミラー組立品は、ハウジング４８に取り付けられたバックミラー装置およびビデオ表示要素６０、およびハウジング４８を車両に取り付けたマウント４４のうちの少なくとも一つを含んでもよい。以下に記載される様々な構成要素は、バックミラー組立品２４のハウジング４８に取り付けられてもよく、またはマウント４４に取り付けられてもよく、それらの間に適切な電気的接続がなされる。

【0040】

一部の実施形態では、マウント４４は、車両フロントガラスまたはルーフに固定的に取り付けられたボタン（図示せず）と係合するように構成されてもよい。しかしながら、マウント４４は、ツイスト式篏合や締まり嵌めによる接続を含む、様々な他の様式で車両に固定されたボタンまたは他のコネクタと係合し得ることも意図される。また、マウント４４は、様々な他の様式で車両に固定され得ることも意図される。また、他のバックミラー組立品の特徴がバックミラー組立品２４に含まれ得ることも一般的に意図される。これらの追加的な装置の一部は、光センサ、降雨センサ、コンパス、マイクロフォンなどを含んでもよい。一部の実施形態では、バックミラー組立品２４は、周囲光センサ（図示せず）およびグレアセンサ（図示せず）をさらに備えてもよい。

【0041】

バックミラー組立品２４は、車両フロントガラスに直接取り付けるように設計されてもよい。別の方法として、バックミラー組立品２４は、車両のルーフに取り付けるように設計されてもよい。以下の様々な機能の説明から当業者に明らかとなるように、バックミラー組立品２４に具現化された運転者監視システム２０は、上記で識別された要素の様々な組み合わせを含んでもよく、したがって、表示・記載されるありとあらゆる要素を含む必要はない。さらに、要素の各々はバックミラー組立品２４内に収容されてもよいが、構成要素の一部またはすべては、他の遠隔位置に提供され、車両バスを介して、またはＲＦ伝送を介して情報を送受信してもよい。

【0042】

上記の説明は、好ましい実施形態についてのみのものとみなす。当業者および本開示の製作者または使用者であれば、本開示の修正を思いつくであろう。したがって、図面に示した、および上に記載した実施形態は、単に例示的な目的のためであって、本開示の範囲を限定することを意図したものではなく、本発明の範囲は、均等論を含む特許法の原則に従って解釈される以下の特許請求の範囲によって定義されることが、理解される。本開示では、本革新について少数の実施形態のみを詳細に記載してきたが、本開示を検討する当業者は、数多くの修正（例えば、様々な要素のサイズ、寸法、構造、形状および比率、パラメータの値、取り付け配置、材料の使用、色、向き、の変化など）が、記載されている主題に関する新規性のある教示および利点から大きく逸脱することなく、可能なことを簡単に認識するであろう。例えば、一体的に形成されたものとして示される要素は、複数の部品で構成されてもよく、または複数の部品として示される要素は、一体的に形成されてもよく、インターフェースの操作は、逆にされてもよく、または、さもなければ変えられてもよく、システムの構造および／もしくは部材もしくはコネクタまたは他の要素の長さまたは幅は、変えられてもよく、要素間に設けられた調整位置の性質または数は、変えられてもよい。したがって、こうしたすべての修正は、本革新の範囲内に含まれることが意図される。本革新の精神を逸脱することなく、所望の、および他の例示的な実施形態の設計、動作条件、および配置において、他の置換、修正、変更、および省略がなされ得る。

【0043】

この文書では、関係を示す用語、例えば、第一および第二、上および下、前および後ろ、左および右、垂直、水平などは、一つの構成要素または動作を別の構成要素または動作と区別するために、単独で使用されるものであり、そのような構成要素または動作の間でのいかなる実際のそのような関係、順序、または数も、必ずしも要求または含意するものではない。これらの用語は、様々な要素が様々な用途において異なって適応され得るため、それら用語が記述する要素を限定することを意図していない。さらに、それに反して明示的に特定された場合を除き、装置は、様々な適応、およびステップのシーケンスを取ることができると理解されるべきである。添付の図面に図示し、以下の明細書に記載した特定の装置およびプロセスは、添付の特許請求の範囲において定義される発明の概念の単なる例示的な実施形態にすぎないことも、理解されるべきである。よって、特許請求の範囲でそうでないことが明示的に述べられているのでない限り、本明細書で開示された実施形態に関連する具体的な寸法および他の物理的特性は、限定的とみなされるべきではない。

【0044】

当然のことながら、任意の記載されたプロセスまたは記載されたプロセス内のステップは、他の開示されたプロセスまたはステップと組み合わされて本開示の範囲内の構造を形成し得る。本明細書で開示される例示的なプロセスは、例示を目的としており、限定的なものと解釈されるべきではない。本開示の概念を逸脱することなく、前述の方法に対して変形および修正をすることができることも、理解されるべきであり、さらに、こうした概念は、それらの特許請求の範囲に文言で明示的に別段の定めをした場合を除き、下記の特許請求の範囲によって網羅されることが意図されていることが、理解されるべきである。

【0045】

本明細書で使用される、二つ以上の事項の列記において使用される場合の「および／または」という用語は、列記される事項のうちのいずれの一つも単独で用いられることができ、または列記される事項のうちの二つ以上のあらゆる組み合わせが用いられることができることを意味する。例えば、組成物が成分Ａ、Ｂ、および／またはＣを含有するとして説明される場合、その組成物は、Ａを単独で、Ｂを単独で、Ｃを単独で、ＡおよびＢを組み合わせて、ＡおよびＣを組み合わせて、ＢおよびＣを組み合わせて、またはＡ、Ｂ、およびＣを組み合わせて含有することができる。

【0046】

本明細書に使用される「約（ａｂｏｕｔ）」という用語は、分量、サイズ、配合、パラメータ、ならびに他の量および特徴が、ちょうどではないかまたはちょうどである必要がないが、しかし所望により、許容差、変換係数、丸め、測定誤差など、および当業者に知られている他の要因を反映して、近似で、ならびに／またはより大きいか、もしくはより小さいのであり得ることを意味する。「約（ａｂｏｕｔ）」という用語が、値または範囲の端点を説明する際に使用される場合、本開示は、言及される特定の値または端点を含むことが理解されるべきである。本明細書における数値または範囲の端点が「約（ａｂｏｕｔ）」を記載するかどうかにかかわらず、数値または範囲の端点は、二つの実施形態、すなわち「約（ａｂｏｕｔ）」によって修正されたものと「約（ａｂｏｕｔ）」によって修正されていないものとを含むことが意図される。範囲の各々の、端点は、他の端点との関係において、および他の端点から独立して、両方において重要であることがさらに理解されよう。

【0047】

本明細書で使用される「実質的な」、「実質的に」という用語およびそれらの変形は、記載された特徴が、値または説明に等しいかまたはおよそ等しいことに注目することを意図する。例えば、「実質的に平坦な」表面は、平坦なまたはおよそ平坦な表面を示すことを意図する。さらに、「実質的に」は、二つの値が等しいかまたはおよそ等しいことを示すことを意図する。一部の実施形態では、「実質的に」は、互いの２％、互いの５％、および互いの１０％のうちの少なくとも一つ、以内の値を示し得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2024-02-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

車両内の運転者監視システムを較正するためのシステムであって、
ハウジングおよびマウントを備えるバックミラー組立品であって、車両表面に固定される前記マウントと、第一の端部および第二の端部を有し、前記ハウジングと前記マウントとの間に延在するバレルと、を備える、バックミラー組立品と、
画像を撮像することができる撮像装置であって前記バックミラー組立品内に配置される、撮像装置と、
前記撮像装置と通信するプロセッサと、
プロセッサと通信するメモリであって、前記撮像装置に近接する固定した目印に関する情報を含むファイルを含むメモリと、
コントローラであって、
前記車両の内装の画像を受信し、
前記撮像装置を較正するように動作可能であり、前記較正が、初期較正中に使用される第一の画像の実質的に固定した目印を識別することを含む、コントローラと、を備え、
前記コントローラが、前記実質的に固定した目印が前記第一の画像に対して第二の画像内の異なる位置にあることの検出に少なくとも部分的に基づいて、運転者監視動作を再較正するように構成される、システム。

【請求項2】

前記バックミラー組立品の内部の前記撮像された画像が、少なくとも一つの固定した画像目印を含み、
前記少なくとも一つの固定した画像目印が、前記ハウジング内に配置される、請求項１に記載のシステム。

【請求項3】

前記ファイルが、前記バックミラー組立品の前記ハウジング内の固定した目印に関する情報を含む、請求項１又は２に記載のシステム。

【請求項4】

前記バレルの前記第一の端部が、前記マウントに接続された可動な接合部を有する、請求項１又は２に記載のシステム。

【請求項5】

前記バレルの前記第二の端部が、前記ハウジングに接続された可動な接合部を有する、請求項１又は２に記載のシステム。

【請求項6】

前記コントローラが、画像をインポートし、前記ファイルから既知の前記画像の特徴を識別するように構成され、
前記コントローラが、前記ファイル内の前記情報に基づいて前記特徴の前記位置を知るように構成され、
前記コントローラが、前記バレルの端部での単一または複数の接合部に基づいて座標系を画定するように構成される、請求項１又は２に記載のシステム。

【請求項7】

前記コントローラが、撮像された画像を前記ファイルと関連させて、前記元の位置に対する前記バックミラー組立品の相対位置を決定するように構成される、請求項１又は２に記載のシステム。

【請求項8】

前記コントローラが、前記バックミラー組立品を前記車両に固定する単一または複数の接合部に基づいて、座標系を決定するように構成される、請求項１又は２に記載のシステム。

【請求項9】

前記コントローラが、前記ファイル内の少なくとも一つの特徴を識別し、前記バックミラー組立品内の前記同じ少なくとも一つの特徴を見つけるように構成される、請求項８に記載のシステム。

【請求項10】

前記コントローラが、少なくとも一つの特徴の位置を使用して、二つのピッチ角度、二つのヨー角度、および一つのロール角度を含む、五つの角度を決定するように構成される、請求項９に記載のシステム。

【請求項11】

前記コントローラが、前記五つの角度の前記決定に基づいて、バックミラー組立品の前記位置および配向を計算するように構成される、請求項１０に記載のシステム。

【請求項12】

前記コントローラが、前記新しい位置および配向情報を使用して、前記運転者監視システムを再較正するように構成される、請求項１１に記載のシステム。

【請求項13】

運転者監視システムを較正するための方法であって、
撮像装置と、バックミラー組立品の前記ハウジング内の複数の固定した目印の位置を含む、前記バックミラー組立品の内部構造に関する詳細を含むファイルを含むメモリと、を備える運転者監視システムを有するバックミラー組立品を提供することと、
前記撮像装置を用いて前記バックミラー組立品の内部の画像を撮像することと、
前記撮像された画像を、前記バックミラー組立品の内部構造に関する詳細を含むメモリに格納されたファイルと比較することと、
前記撮像された画像と前記格納された画像との間の前記比較から取得された情報を使用して、前記運転者監視システムを較正することと、を含む、方法。

【請求項14】

前記バックミラー組立品内の前記固定した目印の画像座標を確立することをさらに含む、請求項１３に記載の方法。

【請求項15】

前記運転者監視システムの初期較正中の初期回転を０、０、０として定義することをさらに含む、請求項１３又は１４に記載の方法。

【請求項16】

前記撮像された画像を歪み補正することと、複数の前記固定した目印に対する新しい画像座標を確立することと、をさらに含む、請求項１５に記載の方法。

【請求項17】

前記バックミラー組立品の位置調整情報を決定することをさらに含む、請求項１６に記載の方法。

【請求項18】

位置調整情報を前記撮像された画像に適用することをさらに含む、請求項１７に記載の方法。

【国際調査報告】