特許 7625701 カメラミラーシステムのディスプレイカメラ較正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-24

(45)【発行日】2025-02-03

(54)【発明の名称】カメラミラーシステムのディスプレイカメラ較正

(51)【国際特許分類】

   H04N 23/60 20230101AFI20250127BHJP

   B60R 1/20 20220101ALI20250127BHJP

   G03B 15/00 20210101ALI20250127BHJP

   G06T 7/60 20170101ALI20250127BHJP

   G06T 7/80 20170101ALI20250127BHJP

【ＦＩ】

H04N23/60

B60R1/20

G03B15/00 V

G06T7/60 180B

G06T7/80

【請求項の数】 18

(21)【出願番号】P 2023538039

(86)(22)【出願日】2021-12-16

(65)【公表番号】

(43)【公表日】2024-01-11

(86)【国際出願番号】 US2021063869

(87)【国際公開番号】W WO2022140162

(87)【国際公開日】2022-06-30

【審査請求日】2023-08-10

(31)【優先権主張番号】63/129,927

(32)【優先日】2020-12-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519088568

【氏名又は名称】ストーンリッジ エレクトロニクス アーベー

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】ジャーメイン、 ジョン エス．

(72)【発明者】

【氏名】マークス、 ドミニク

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０１９－１８６８５３（ＪＰ，Ａ）

【文献】特開２０１７－２１００６３（ＪＰ，Ａ）

【文献】特開２０１５－２３２８５９（ＪＰ，Ａ）

【文献】特開２０１６－０７４２９０（ＪＰ，Ａ）

【文献】特許第６３９４２８１（ＪＰ，Ｂ２）

【文献】国際公開第２０１８／１８１２４８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００５５４８０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２０６０８４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２４０１８５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０－２３／６１

Ｂ６０Ｒ １／００－ １／３１

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／８０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

第１及び第２のビューに対応する車両の外部のキャプチャ画像を提供するように構成される第１及び第２の車外カメラと、
前記第１及び第２の車外カメラからの前記キャプチャ画像をそれぞれ描写するように構成される車両運転室内の第１及び第２のディスプレイと、
前記車両運転室内の運転者画像をキャプチャするように構成される第１及び第２の車内カメラであって、前記第１及び第２の車内カメラはそれぞれ、前記車両運転室内の車両運転者領域において互いに重なる第１及び第２の車内視野を有し、前記第１のディスプレイは前記第２の車内視野内にあり、前記第２のディスプレイは前記第１の車内視野内にある、第１及び第２の車内カメラと、
前記第１及び第２のディスプレイ及び前記第１及び第２の車内カメラと通信するコントローラであって、前記コントローラは、前記第１及び第２の車内カメラを使用して前記車両運転者領域における運転者活動を監視するように構成され、前記コントローラは、較正イベントに応答して較正手順を開始するように構成され、前記較正手順は、第１及び第２のディスプレイが第１及び第２のパターンをそれぞれ示すこと、及び前記第１及び第２の車内カメラがそれぞれ前記第２及び第１のパターンを検出して、前記第１及び第２の車内カメラのそれぞれと前記第２及び第１のパターンとの間の距離をそれぞれ確立するように、前記車両運転者領域に対して前記第１及び第２の車内カメラを較正することを含む、コントローラと
を備える、車両用のカメラミラーシステム。

【請求項2】

前記第１及び第２のビューは、クラスＩＩビュー及びクラスＩＶビューを含む、請求項１に記載のシステム。

【請求項3】

前記第１及び第２のディスプレイは、前記車両運転室内の左右の側のＡピラーにそれぞれ配置される、請求項２に記載のシステム。

【請求項4】

前記第１及び第２の車内カメラは、前記第１及び第２のディスプレイ上にそれぞれ設けられ、前記第１及び第２のディスプレイと共にそれぞれ移動可能であるように構成され、前記第１及び第２の車内カメラは、互いに調整可能な動作位置を有する、請求項１に記載のシステム。

【請求項5】

前記コントローラは、前記運転者活動を評価するために、前記第１及び第２の車内カメラの各々から運転者特徴までの距離を決定するように構成される、請求項１に記載のシステム。

【請求項6】

前記運転者活動は、運転者視線及び運転者姿勢の少なくとも１つを含む、請求項５に記載のシステム。

【請求項7】

前記較正イベントは、前記第１及び第２の車内カメラの少なくとも１つが基準動作位置から逸脱することに対応する、請求項１に記載のシステム。

【請求項8】

前記較正イベントは、前記第１及び第２のディスプレイの少なくとも１つが前記基準動作位置から逸脱することに対応する、請求項７に記載のシステム。

【請求項9】

前記較正イベントは、較正ウィンドウ内で発生するように構成され、
前記較正ウィンドウは、車両始動手順の間であり、又は
前記較正ウィンドウは、閾値車両速度未満である、請求項１に記載のシステム。

【請求項10】

前記第１及び第２のパターンの少なくとも１つは、複数のラインを含む、請求項１に記載のシステム。

【請求項11】

前記第１及び第２のパターンの少なくとも１つは、白黒市松模様である、請求項１０に記載のシステム。

【請求項12】

車両運転室内の運転者観察に使用される第１及び第２の車内カメラの少なくとも１つを較正する方法であって、
前記方法は、第１及び第２のビューに対応する車両の外部の画像をキャプチャするように構成される第１及び第２の車外カメラと、それぞれ前記第１及び第２の車外カメラからキャプチャされた画像を描写するように構成される車両運転室内の第１及び第２のディスプレイとを有するカメラミラーシステムと共に使用されるように構成され、前記方法は、
動作位置間で移動可能な第１及び第２の車内カメラを提供するステップと、
前記第１及び第２の車内カメラの少なくとも１つが前記動作位置間で移動されることを含む較正イベントを検出するステップと、
前記較正イベントの検出後に前記第１及び第２のディスプレイの少なくとも１つにパターンを表示するステップと、
取り付けられた前記第１及び第２の車内カメラによりパターンを検出するステップと、
前記第１及び第２の車内カメラと前記パターンとの間の距離を確立するように、前記パターンによって前記第１及び第２の車内カメラの少なくとも１つを較正するステップと
を含む、方法。

【請求項13】

前記第１の車内カメラは、その視野内に前記第２のディスプレイを有し、前記第２の車内カメラは、その視野内に前記第１のディスプレイを有する、請求項１２に記載の方法。

【請求項14】

前記第１及び第２の車内カメラは、前記第１及び第２のディスプレイ上にそれぞれ設けられ、前記第１及び第２のディスプレイと共にそれぞれ移動可能であるように構成される、請求項１３に記載の方法。

【請求項15】

運転者活動を評価するために、前記距離に基づいて運転者特徴に対する距離を決定することが可能である、請求項１３に記載の方法。

【請求項16】

前記運転者活動は、運転者視線及び運転者姿勢の少なくとも１つを含む、請求項１５に記載の方法。

【請求項17】

前記較正イベントは、車両始動手順及び閾値車両速度未満の少なくとも一方の間に発生する、請求項１２に記載の方法。

【請求項18】

前記表示するステップは、前記第１及び第２のディスプレイにパターンを表示することを含み、前記検出するステップは、前記第１及び第２のディスプレイの少なくとも１つのそれぞれの他方に対して取り付けられた前記第１及び第２の車内カメラのそれぞれの他方によって前記パターンのそれぞれを検出することを含み、前記較正するステップは、それぞれのパターンによって前記第１及び第２の車内カメラのそれぞれの他方を較正して、前記第１及び第２の車内カメラのそれぞれの他方と前記それぞれのパターンとの間の距離を確立することを含む、請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、例えば、運転者の注意散漫事象を認識するために運転者の視線及び／又は姿勢を識別するための車内カメラを組み込んだ、商用トラックに使用されるカメラミラーシステム（ＣＭＳ）に関する。

【0002】

（関連出願への相互参照）
本出願は、２０２０年１２月２３日に出願された米国仮出願第６３／１２９９２７号への優先権を主張する。

【背景技術】

【0003】

注意散漫な運転に関連する事象を検出することに、車両製造会社及びフリートオペレータの間で関心が高まっている。このような事象を検出するためのアプローチの一例は、運転者に対するカメラの訓練を含む。アルゴリズムは、運転者が道路から目を逸らすこと、食事をしていること、又は眠気を感じていること等、運転者の注意散漫を示す運転者行動を識別するために使用される。これらのアルゴリズムの信頼性及び事象を検出する能力は、運転者に対するカメラの位置を正確に決定することに依存する場合がある。

【発明の概要】

【0004】

１つの例示的な実施形態において、車両用のカメラミラーシステムは、特に、法的に規定されたビューに対応する車両外部のキャプチャ画像を提供するように構成される第１及び第２の車外カメラを含む。システムは、前記第１及び第２の車外カメラからの前記キャプチャ画像をそれぞれ描写するように構成される車両運転室内の第１及び第２のディスプレイをさらに含む。システムは、前記車両運転室内の運転者画像をキャプチャするように構成される第１及び第２の車内カメラをさらに含む。前記第１及び第２の車内カメラはそれぞれ、前記車両運転室内の車両運転者領域において互いに重なる第１及び第２の車内視野を有し、前記第１のディスプレイは第２の車内視野内にあり、前記第２のディスプレイは第１の車内視野内にある。システムは、前記第１及び第２のディスプレイ及び前記第１及び第２の車内カメラと通信するコントローラをさらに含む。コントローラは、前記第１及び第２の車内カメラを使用して前記車両運転者領域における運転者活動を監視するように構成される。コントローラは、較正イベントに応答して較正手順を開始するように構成される。前記較正手順は、第１及び第２のパターンをそれぞれ示す第１及び第２のディスプレイを含み、前記第１及び第２の車内カメラは、前記第２及び第１のパターンをそれぞれ検出して、前記第１及び第２の車内カメラのそれぞれと前記第２及び第１のパターンとの間の距離をそれぞれ確立するように、車両運転者領域に関して前記第１及び第２のカメラを較正する。

【0005】

上記のいずれかのさらなる実施形態において、前記法的に規定されたビューは、クラスＩＩビュー及びクラスＩＶビューを含む。

【0006】

上記のいずれかのさらなる実施形態において、前記第１及び第２のディスプレイは、前記車両運転室内の左右の側のＡピラーにそれぞれ配置される。

【0007】

上記のいずれかのさらなる実施形態において、前記第１及び第２の車内カメラは、前記第１及び第２のディスプレイ上にそれぞれ設けられ、前記第１及び第２のディスプレイと共にそれぞれ移動可能であるように構成される。前記第１及び第２の車内カメラは、相互に調整可能な動作位置を有する。

【0008】

上記のいずれかのさらなる実施形態では、前記コントローラは、前記運転者活動を評価するために、前記第１及び第２の車内カメラの各々から運転者特徴までの距離を決定するように構成される。

【0009】

上記のいずれかのさらなる実施形態では、前記運転者活動は、運転者視線及び運転者姿勢の少なくとも１つを含む。

【0010】

上記のいずれかのさらなる実施形態では、前記較正イベントは、前記第１及び第２の車内カメラの少なくとも１つが基準動作位置から逸脱することに対応する。

【0011】

上記のいずれかのさらなる実施形態では、前記較正イベントは、前記第１及び第２のディスプレイの少なくとも１つが前記基準動作位置から逸脱することに対応する。

【0012】

上記のいずれかのさらなる実施形態では、前記較正イベントは、較正ウィンドウ内で発生するように構成される。

【0013】

上記のいずれかのさらなる実施形態では、前記較正ウィンドウは、車両始動手順の間である。

【0014】

上記のいずれかのさらなる実施形態では、前記較正ウィンドウは、閾値車両速度未満である。

【0015】

上記のいずれかのさらなる実施形態では、前記第１及び第２のパターンの少なくとも１つは、複数のラインを含む。

【0016】

上記のいずれかのさらなる実施形態では、前記第１及び第２のパターンの少なくとも１つは、白黒市松模様である。

【0017】

別の例示的な実施形態では、車両運転室内の運転者観察に使用される車内カメラを較正する方法であって、前記方法は、法的に規定されたビューに対応する車両の外部の画像をキャプチャするように構成される第１及び第２の車外カメラと、それぞれ前記第１及び第２のカメラからキャプチャされた画像を描写するように構成される車両運転室内の第１及び第２のディスプレイとを有するカメラミラーシステムと共に使用されるように構成され、前記方法は、特に、動作位置間で移動可能な車内カメラを提供するステップと、前記カメラが前記動作位置間で移動されることを含む較正イベントを検出するステップと、前記較正イベントの検出後に前記第１及び第２のディスプレイの少なくとも１つにパターンを表示するステップと、取り付けられた前記車内カメラによりパターンを検出するステップと、前記車内カメラと前記パターンとの間の距離を確立するように、前記パターンによって前記車内カメラを較正するステップとを含む。

【0018】

上記のいずれかのさらなる実施形態において、前記車内カメラは、第１及び第２の車内カメラの１つである。前記第１の車内カメラは、その視野内に前記第２のディスプレイを有し、前記第２の車内カメラは、その視野内に前記第１のディスプレイを有する。

【0019】

上記のいずれかのさらなる実施形態において、前記第１及び第２の車内カメラは、前記第１及び第２のディスプレイ上にそれぞれ設けられ、前記第１及び第２のディスプレイと共にそれぞれ移動可能であるように構成される。

【0020】

上記のいずれかの他の実施形態では、前記距離に基づいて運転者特徴に対する別の距離を決定することが可能である。前記運転者特徴は、運転者活動に関連する。

【0021】

上記のいずれかのさらなる実施形態では、前記運転者活動は、運転者視線及び運転者姿勢の少なくとも一つを含む。

【0022】

上記のいずれかのさらなる実施形態において、前記較正イベントは、車両始動手順及び閾値車両速度未満の少なくとも一方の間に発生する。

【0023】

上記のいずれかのさらなる実施形態において、表示するステップは、前記第１及び第２のディスプレイに前記パターンを表示することを含む。前記検出するステップは、前記第１及び第２のディスプレイの少なくとも１つのそれぞれの他方に対して取り付けられた前記第１及び第２の車内カメラのそれぞれの他方によって各パターンを検出することを含む。前記較正するステップは、それぞれのパターンによって前記第１及び第２の車内カメラのそれぞれの他方を較正して、前記第１及び第２の車内カメラのそれぞれの他方と前記それぞれのパターンとの間の距離を確立することを含む。

【0024】

本開示は、添付の図面と併せて以下の詳細な説明を参照することによって、さらに理解することができる。

【図面の簡単な説明】

【0025】

【図1A】少なくともクラスＩＩ及びクラスＩＶのビューを提供するために使用されるカメラミラーシステム（ＣＭＳ）を備えた商用トラックの概略正面図である。

【0026】

【図1B】クラスＩＩ、クラスＩＶ、クラスＶ及びクラスＶＩのビューを提供するカメラミラーシステムを備えた商用トラックの概略上面図である。

【0027】

【図2】ディスプレイ及び車内カメラを含む車両運転室の概略上部斜視図である。

【0028】

【図3】図１の車両の例示的な運転者監視システムの構成要素の概略図である。

【0029】

【図4】図３の電子制御ユニットのより詳細な概略図である。

【0030】

【図5】運転者を監視する例示的な方法のフローチャートである。

【0031】

【図6】運転監視システムで使用される車内カメラを較正する例示的な方法のフローチャートである。

【0032】

【図7】較正手順を概略的に示す斜視図である。

【発明を実施するための形態】

【0033】

上述の段落の実施形態、例示及び代替物、請求項、又は以下の記載及び図面は、それらの様々な態様又はそれぞれの個別の特徴のいずれかを含めて、独立して、又は任意の組み合わせで採用されてもよい。１つの実施形態に関連して記述された特徴は、そのような特徴に互換性がない場合を除き、全ての実施形態に適用可能である。

【0034】

商用車両１０の概略図を図１Ａ及び図１Ｂに示す。車両１０は、トレーラ１４を牽引するための車両運転室又はトラクタ１２を含む。本開示では商用トラックが企図されているが、本発明は他の種類の車両にも適用することができる。車両１０には、運転席及び助手席側のカメラアーム１６ａ、１６ｂを車両運転室１２の外側に取り付けたカメラミラーシステム（ＣＭＳ）１５（図２）が組み込まれている。必要に応じて、カメラアーム１６ａ、１６ｂには、それらと一体化した従来のミラーも含まれ得るが、ＣＭＳ１５を使用してミラーを完全に交換することもできる。

【0035】

各カメラアーム１６ａ、１６ｂは、例えば、車両運転室１２に固定されたベースを含む。旋回アームはベースによって支持されており、それに対して関節接続されてもよい。少なくとも１つの後向きカメラ２０ａ、２０ｂがカメラアーム内にそれぞれ配置されている。車外カメラ２０ａ、２０ｂはそれぞれ、商用トラック業界で法的に規定されたビューであるクラスＩＩビュー及びクラスＩＶビュー（図１Ｂ）の少なくとも１つをそれぞれ含む車外視野ＦＯＶ_ＥＸ１、ＦＯＶ_ＥＸ２を提供する。必要に応じて、これらのビューを提供するために、各カメラアーム１６ａ、１６ｂに複数のカメラが使用されてもよい。各アームは、ＣＭＳ１５の様々な特徴を提供するように構成される電子機器を囲むハウジングも提供してもよい。

【0036】

車両１０のそれぞれの側にクラスＩＩビュー及びクラスＩＶビューを表示するように、Ａピラー上又はその近くの車両運転室１２内の運転席側及び助手席側のそれぞれに第１及び第２のビデオディスプレイ１８ａ、１８ｂが配置され、これにより車外カメラ２０ａ，２０ｂによってキャプチャされた車両１０に沿った後面側のビューを提供する。

【0037】

クラスＶビュー及びクラスＶＩビューの映像も必要な場合、これらのビューを提供するために、車両１０の前面又はその近くにカメラハウジング１６ｃ及びカメラ２０ｃが配置されてもよい（図１Ｂ）。フロントガラスの上部中心付近の運転室車両１２内に配置された第３のディスプレイ１８ｃを使用して車両１０の前方に向かうクラスＶビュー及びクラスＶＩビューを運転者に表示することができる。

【0038】

ディスプレイ１８ａ、１８ｂ、１８ｃは、運転席２６に運転者が着席する運転室２２内の運転者領域２４に向いている。運転者領域２４における運転者活動を評価して、注意散漫な運転者行動を識別するために運転者監視システム（ＤＭＳ）２９をＣＭＳ１５に組み込むことが望ましい。ＤＭＳ２９の一例を図２に示す。第１及び第２の車内カメラ２８ａ，２８ｂは、第１及び第２のディスプレイ１８ａ，１８ｂの近くの車両運転室２２内に配置され、車両運転室２２内の運転者画像をキャプチャするように構成される。第１及び第２の車内カメラ２８ａ，２８ｂは、それぞれ、運転者領域２４内で少なくとも部分的に互いに重なる第１及び第２の車内視野ＦＯＶ_ＩＮ１，ＦＯＶ_ＩＮ２を提供する。第１のディスプレイ１８ａは、第２の車内視野ＦＯＶ_ＩＮ２内に位置するように配置され、第２のディスプレイ１８ｂは、第１の車内視野ＦＯＶ_ＩＮ１内に位置するように配置される。運転者活動は、第１及び第２の車内カメラ２８ａ、２８ｂを使用して車両を操作している間の運転者の視線及び／又は姿勢を監視することによって決定されてもよい。

【0039】

次に図３を参照し、図２を引き続き参照すると、視線追跡カメラであり得る第１及び第２の車内カメラ２８ａ、２８ｂは、運転室２２内の運転者の画像を記録するように構成される。そのような視線追跡システムの１つは、２０２０年４月１０日に出願されたＵＳＳＮ１６／８４５，２２８に開示されており、その全体が参照により本明細書に組み込まれる。

【0040】

ＤＭＳ２９に関連するセンサ３６－４４、５４－５６は、例えば、記録された画像における運転者の視線方向を決定することにより、注意散漫な運転に対応する事前定義された基準に基づいて車両の異常運転事象を検出するように構成される。ＥＣＵ又はコントローラ３０は、第１及び第２の車内カメラ２８ａ、２８ｂと通信しており、記録された画像の中の特定の画像に示される運転者の視線方向が、事前定義された時間閾値を超える時間の間、事前定義された警告運転者領域の外にあることに基づいて、潜在的な注意散漫運転事象を検出するように構成される。コントローラ３０は、コントローラエリアネットワーク（“ＣＡＮ”）バスであり得る車両データバス５２を介して、構成要素３２、３４、３６、３８、４０、４２、４４、４６、４８、５０、５４、５６に動作可能に接続される。コントローラ３０は、潜在的な注意散漫運転事象に基づいて、以下の事前定義されたアクション、すなわち、フリートマネージャへの特定の画像の送信、及び異常運転画像のローカルリポジトリへの特定の画像の保存の１つ又は両方を実行するように構成される。コントローラ３０は、必要に応じて、１つのコントローラ又は複数のコントローラであってもよい。

【0041】

図４は、コントローラ３０のより詳細な概略図である。コントローラ３０は、メモリ６２に動作可能に接続されるプロセッサ６０と、通信インタフェース６４とを含む。プロセッサ６０は、マイクロプロセッサ、マイクロコントローラ、特定用途集積回路（ＡＳＩＣ）等の１つ以上の処理回路を含む。メモリ６２は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ、キャッシュメモリ、フラッシュメモリデバイス、光学記憶デバイス等の１つ又は複数のタイプのメモリを含んでもよい。メモリ６２は、異常運転画像のローカルリポジトリ６６を含み、任意選択的に、畳み込みニューラルネットワーク（“ＣＮＮ”）６７、運転者注意モデル６８、及び／又は運転者注視モデル６９も含んでもよい。いくつかの例では、姿勢検出器７０もメモリ６２内に含まれる。ＣＮＮ６７は、いくつかの例では、運転者が車両１０の運転室内でモバイルデバイスを利用しているかどうかを検出するように動作可能である。本明細書で使用される「モバイルデバイス」とは、携帯電話、スマートフォン、タブレット、パーソナルメディアプレーヤ等のハンドヘルド電子デバイスを指す。コントローラ３０の一部として図示されているが、ＣＮＮ６７は、その代わりに、フリート管理サーバ等、車両１０の外部に記憶され得ることが理解される。通信インタフェース６４は、コントローラ３０と他の構成要素との間の通信を提供する（例えば、車両データバス５２への有線接続）。他の例では、ＣＮＮ６７は、運転者の全体的な姿勢を検出し、その姿勢が注意を払った運転に対応するか注意を怠った運転に対応するかに基づいて、コントローラ３０内の１つ以上の応答をトリガするように動作可能である。

【0042】

いくつかの実施形態では、第１及び第２の車内カメラ２８ａ、２８ｂは、車両１０の運転室内の運転者の画像を記録し、記録された画像における運転者の視線方向を決定するように構成される視線追跡カメラによって提供される。このようなカメラは、ＳｍａｒｔＥｙｅ（ｈｔｔｐｓ：／／ｓｍａｒｔｅｙｅ．ｓｅ／）及びＥｙｅＳｉｇｈｔ（ｈｔｔｐ：／／ｗｗｗ．ｅｙｅｓｉｇｈｔ－ｔｅｃｈ．ｃｏｍ／）から市販されている。一例では、第１及び第２の車内カメラ２８ａ、２８ｂは、赤外光又は近赤外光をユーザの眼に向け、次いで運転者の眼からのその赤外光の反射を測定することによって視線を検出する。反射角に基づいて視線方向を確認することができる。別の例では、第１及び第２の車内カメラ２８ａ，２８ｂは、運転者の頭部の一般的な形状及び／又は記録された画像における運転者の顔の対称性から視線ベクトルを決定することによって、運転者の視線方向を推測する。これらの技術の両方は、当業者には周知であるので、本明細書では詳細には論じない。一例では、第１及び第２の車内カメラ２８ａ、２８ｂは、運転者情報システム及び／又は計器クラスタ４６に統合される。

【0043】

上記の第１及び第２の車内カメラ２８ａ、２８ｂは、運転者の身体の位置、例えば、前かがみ又は左右に傾く、又は運転者の四肢の位置に関連する運転姿勢を検出するためにも使用することができる。姿勢を決定することにより、運転者の活動及び運転者の注意がどこに集中しているかに関連する追加情報を提供することができる。

【0044】

姿勢検出器７０は、ＣＮＮ６７を利用して、腕の位置及び向き、手の位置及び向き、胴体のねじれ、手及び顔の相対的な向き及び／又は位置、ステアリング装置に対する腕及び手の位置、及び運転者が現在置かれている姿勢を定義するために組み合わされる任意の数の類似した姿勢メトリックを含む運転者の姿勢を追跡するように構成される。次に、決定された姿勢は、多数の訓練された姿勢と相関され、注意を払っているか又は注意を払っていないかのいずれかとして識別される。さらに別の例では、ＣＮＮ６７は、姿勢検出と第１及び第２の車内カメラ２８ａ、２８ｂの視線検出とを組み合わせて、注意を払っている姿勢と注意を払っていない姿勢とを区別する能力をさらに向上させることができる。

【0045】

一例では、コントローラ３０は、姿勢検出器７０を使用して運転者の姿勢を継続的に識別し、注意を払っていない運転に対応する姿勢が検出されたときに注意を払っていない運転者応答をトリガするように構成される。一例として、応答は、聴覚、視覚、触覚、又は運転者に提供されるその他の感覚警告を含んでもよい。別の例では、注意を払っていない運転者応答は、監督者によるレビュー及び／又はさらなる分析のために、車両内のカメラから生成された注意を払っていない姿勢の運転者の画像を記憶するコマンドであってもよい。

【0046】

一例では、本明細書に記載される物理的実装は、コントローラ３０による車両オペレータの姿勢の追跡及び監視を容易にする。コントローラ３０が異常運転事象を検出すると、コントローラ３０は、複数のビデオフィードからの画像をレビューして、運転者の姿勢を決定する。代替的に、姿勢は、姿勢検出器７０によって継続的に監視される。姿勢が決定されると、コントローラ３０は、少なくとも部分的に姿勢に基づいて運転者が注意をそらされたかどうかを決定する。

【0047】

図５は、運転者を監視する１つの具体例の方法１００のフローチャートである。コントローラ３０は、異常運転事象について１つ以上の車両センサ（例えば、センサ３６－４４、５４－５６）を監視する（ステップ１０２）。異常運転事象が検出されない場合（ステップ１０４の“Ｎｏ”）、コントローラ３０は異常運転事象について監視を続ける。異常運転事象が検出された場合（ステップ１０４の“Ｙｅｓ”）、コントローラ３０は異常事象中の運転者を描写する特定の画像を運転室カメラ３４から取得する（ステップ１０６）。コントローラ３０は、特定の画像をフリートマネージャに送信し、及び／又は異常運転画像のローカルリポジトリ６６に画像を保存し、その後、異常運転事象について車両センサの監視を再開する（ステップ１０８）。

【0048】

図７を参照すると、第１及び第２の車内カメラ２８ａ、２８ｂは、例えば、ディスプレイハウジング８０に取り付けられた第１及び第２のディスプレイ１８ａ、１８ｂ上にそれぞれ設けられている。ハウジング８０は、調整可能な接続部８８を有する取り付けブラケット８６を介してＡピラー８２等の車両構造に固定される。調整可能な接続部８８は、ボール及びソケット又は他の回転ジョイントであってもよく、運転者が所望の方向にディスプレイを向けることを可能にする。調整は、例えば、ディスプレイ画面からのグレアを軽減するために使用され得る。また、第１及び第２の車内カメラ２８ａ、２８ｂは、Ａピラー８２又はインストルメントパネル等に、第１及び第２のディスプレイ１８ａ、１８ｂとは別に取り付けられ得ることも理解されるべきである。第１及び第２の車内カメラ２８ａ、２８ｂは、第１及び第２のディスプレイ１８ａ、１８ｂの上又は近くに示されているが、車内カメラの一方又は両方は、他の場所、例えば、ディスプレイ１８ｃの上又は近くに配置されてもよい。いずれにしても、第１及び第２の車内カメラ２８ａ、２８ｂの少なくとも一方は、それらの視野ＦＯＶ_ＩＮ１、ＦＯＶ_ＩＮ２が運転者領域２４に対して調整可能であるように、相互に調整可能な動作位置を有する。

【0049】

車両組立時に、第１及び第２の車内カメラ２８ａ、２８ｂは、運転者活動を監視するために車両運転室１２内の所望の領域を確実に包含するように、較正手順を行ってもよい。コントローラ３０は、第１及び第２の車内カメラ２８ａ、２８ｂによる運転者領域２４の正確で調整された画像のキャプチャ（例えば、運転者特徴の座標データ及び／又は画像ステッチング）に依存する。したがって、第１及び第２の車内カメラ２８ａ、２８ｂのいずれかが、この初期較正の後で攪乱されるか又は他のやり方で調整される場合、コントローラ３０は、運転者活動をもはや正確に解釈することができない場合があるしたがって、第１及び第２の車内カメラ２８ａ、２８ｂがディスプレイ又は車内カメラを直接調整することによって移動される場合、それらは再較正されなければならない。車内カメラが再較正されるまで、運転者に（例えば、聴覚又は視覚の）警告が提供されてもよい。

【0050】

コントローラ、例えば、コントローラ３０は、第１及び第２のディスプレイ１８ａ、１８ｂ、並びに第１及び第２の車内カメラ２８ａ、２８ｂと通信している。コントローラ３０は、相互に調整可能な動作位置を有する第１及び第２の車内カメラ２８ａ、２８ｂを使用して、車両運転者領域２４における運転者活動を監視するように構成される。コントローラ３０は、運転者活動を評価するために、第１及び第２の車内カメラ２８ａ、２８ｂの各々から運転者特徴（例えば、眼、頭部等）までの距離を決定するように構成される。運転者活動は、前述したように、運転者視線及び運転者姿勢の少なくとも１つを含む。本開示によれば、コントローラ３０は、図６の２００で示されるように、較正イベントに応答して較正手順を開始するように構成される。

【0051】

図６を参照すると、動作中、較正手順２００は、第１及び第２の車内カメラ２８ａ、２８ｂの少なくとも１つが動作位置間で移動されることを含む較正イベント（ステップ２０２）を検出することを含む。較正イベントは、較正ウィンドウ内で、例えば、車両の始動手順中及び／又は車両が閾値車両速度未満である間に発生するように構成される。例えば、較正イベントは、第１及び第２の車内カメラ２８ａ、２８ｂの少なくとも１つが基準動作位置から逸脱すること、及び／又は第１及び第２のディスプレイ１８ａ、１８ｂの少なくとも１つが基準動作位置から逸脱することに対応する。例えば、ディスプレイは、運転者がグレアを最小限にするようにディスプレイを配置できるように調整可能であってもよい。ディスプレイに取り付けられた車内カメラの場合、ディスプレイを動かすとカメラが移動し、カメラの再較正が必要になる可能性がある。そのため、１つのカメラだけが移動した場合、おそらく１つのカメラだけが、そのカメラに可視のディスプレイを使用して再較正される。

【0052】

（図７の８４における）パターンは、較正イベント検出２０２の後に、第１及び第２のディスプレイの少なくとも一方に表示される（ステップ２０４）。一例では、第１及び第２の車内カメラ２８ａ、２８ｂの各々と、第２及び第１のパターン８４と間の距離をそれぞれ確立するために、パターン８４が両方のディスプレイに提示される。一例では、第１及び第２のパターンの少なくとも１つは、より検出しやすい複数のライン（例えば、“Ｔ”、“Ｘ”等）を含む。パターン８４は互いに同じであるように示されているが、パターンは異なっていてもよい。第１及び第２のパターンの少なくとも１つは、一例では、良好なコントラストを提供する白黒市松模様である。

【0053】

パターン８４は、運転室２２の反対側に取り付けられる第１及び第２車内カメラ２８ａ，２８ｂの他方で検出される（ステップ２０６）。第１及び第２の車内カメラ２８ａ，２８ｂの他方は、第１及び第２の車内カメラ２８ａ，２８ｂの他方とパターン８４との間の距離を確立するようにパターンによって較正される（ステップ２０８）。

【0054】

また、例示された実施形態では特定の構成要素の配置が開示されているが、他の配置も本開示から利益を得られることも理解するべきである。特定のステップシーケンスが示され、説明され、請求項に記載されているが、特に示されていない限り、ステップは任意の順序で実行されてもよく、分離又は結合されてもよく、それでも本発明の利益を得られることを理解するべきである。

【0055】

異なる例は、図に示された特定の構成要素を有するが、本発明の実施形態は、それらの特定の組み合わせに限定されない。ある例のいくつかの構成要素又は機能を、別の例の機能又は構成要素と組み合わせて使用することもできる。

【0056】

例示的な実施形態が開示されてきたが、当業者であれば、所定の修正が請求項の範囲内に入ることを認識するであろう。そのため、以下の請求項については、その真の範囲及び内容を判断するように検討されるべきである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】