特許 7417686 車両乗員注視検出システムおよび使用方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-10

(45)【発行日】2024-01-18

(54)【発明の名称】車両乗員注視検出システムおよび使用方法

(51)【国際特許分類】

   G06Q 30/0241 20230101AFI20240111BHJP

   G06V 20/59 20220101ALI20240111BHJP

   G06T 7/00 20170101ALI20240111BHJP

【ＦＩ】

G06Q30/0241

G06V20/59

G06T7/00 660A

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2022156811

(22)【出願日】2022-09-29

(65)【公開番号】P2023057042

(43)【公開日】2023-04-20

【審査請求日】2022-09-29

(31)【優先権主張番号】17/497,846

(32)【優先日】2021-10-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100180194

【弁理士】

【氏名又は名称】利根 勇基

(72)【発明者】

【氏名】橋本 大輔

【審査官】菅原 浩二

(56)【参考文献】

【文献】特開２０２１－０３６３６６（ＪＰ，Ａ）

【文献】特開２０２３－０８２５６８（ＪＰ，Ａ）

【文献】特開２００９－１０４５３１（ＪＰ，Ａ）

【文献】特開２０２０－０３５１９３（ＪＰ，Ａ）

【文献】特開２０２１－０６８２１１（ＪＰ，Ａ）

【文献】本木 悠介 他，画像認識を用いた看板広告の検出に適した状況および媒体の調査 ，情報処理学会 研究報告 ユビキタスコンピューティングシステム（ＵＢＩ） ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2020年05月18日，第２０２０－ＵＢＩ－０６６ 巻，第３号，第1-8頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｖ ２０／５９

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両乗員注視検出システムであって、
命令を格納するように構成されている非一時的コンピュータ可読媒体と、
前記非一時的コンピュータ可読媒体に接続されているプロセッサと
を備え、
前記プロセッサは、
車両から、該車両の乗員の見ている方向に関する情報と、車両情報と、前記車両の位置と、タイムスタンプ情報とを含む注視データを受信し、
マップデータと、前記受信した注視データとに基づいて、各格子点が複数の場所の１つの場所に対応している格子点の配列を備えるグリッドマップを生成し、
前記タイムスタンプ情報に基づいて前記車両の乗員により前記複数の場所の少なくとも１つの場所が見られたことに関する情報を含むヒストグラムを、前記グリッドマップに基づいて生成し、
前記ヒストグラムに基づいて、前記少なくとも１つの場所に位置している対象物の有効性を決定し、
前記対象物の有効性に基づく助言を顧客に送信するために前記命令を実行するように構成されている、車両乗員注視検出システム。

【請求項2】

前記プロセッサは、さらに、前記乗員の取り込まれた画像に基づいて前記車両の乗員に対する人口統計情報を生成するために前記命令を実行するように構成されている、請求項１に記載の車両乗員注視検出システム。

【請求項3】

前記プロセッサは、さらに、前記人口統計情報に基づいて前記ヒストグラムを生成するために前記命令を実行するように構成されていることを特徴とする、請求項２に記載の車両乗員注視検出システム。

【請求項4】

前記プロセッサは、さらに、前記ヒストグラムに基づいて価格設定の助言を生成し、前記価格設定の助言を前記顧客に送信するために前記命令を実行するように構成されている、請求項１から３のいずれか１項に記載の車両乗員注視検出システム。

【請求項5】

前記プロセッサは、さらに、前記顧客からデータ要求を受信し、前記受信したデータ要求に基づいて前記ヒストグラムを生成するために前記命令を実行するように構成されている、請求項１から３のいずれか１項に記載の車両乗員注視検出システム。

【請求項6】

前記プロセッサは、さらに、第２注視データを受信したことに応答して前記グリッドマップを更新し、前記グリッドマップを更新したことに応答して前記ヒストグラムを更新するために前記命令を実行するように構成されている、請求項１から３のいずれか１項に記載の車両乗員注視検出システム。

【請求項7】

前記車両の乗員は前記車両の運転手である、請求項１から３のいずれか１項に記載の車両乗員注視検出システム。

【請求項8】

車両から、該車両の乗員の見ている方向に関する情報と、車両情報と、前記車両の位置と、タイムスタンプ情報とを含む注視データを受信することと、
前記受信した注視データとマップデータとに基づいて、各格子点が複数の場所の１つの場所に対応している格子点の配列を備えるグリッドマップを生成することと、
前記タイムスタンプ情報に基づいて前記車両の乗員により前記複数の場所の少なくとも１つの場所が見られたことに関する情報を含むヒストグラムを、前記グリッドマップに基づいて生成することと、
前記ヒストグラムに基づいて、前記少なくとも１つの場所に位置している対象物の有効性を決定することと、
前記対象物の有効性に基づく助言を顧客に送信することと
を含む、方法。

【請求項9】

前記乗員の取り込まれた画像に基づいて、前記車両の乗員に対する人口統計情報を生成することを更に含む、請求項８に記載の方法。

【請求項10】

前記ヒストグラムを生成することは、前記人口統計情報に基づいて前記ヒストグラムを生成することを含む、請求項９に記載の方法。

【請求項11】

前記ヒストグラムに基づいて価格設定の助言を生成することと、
前記価格設定の助言を前記顧客に送信することと
を更に含む、請求項８から１０のいずれか１項に記載の方法。

【請求項12】

前記顧客からデータ要求を受信することと、
前記受信したデータ要求に基づいて前記ヒストグラムを生成することと
を更に含む、請求項８から１０のいずれか１項に記載の方法。

【請求項13】

第２注視データを受信したことに応答して前記グリッドマップを更新することと、
前記グリッドマップを更新したことに応答して前記ヒストグラムを更新することと
を更に含む、請求項８から１０のいずれか１項に記載の方法。

【請求項14】

前記車両の前記乗員は前記車両の運転手である、請求項８から１０のいずれか１項に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

広告は、多くの場所において、道路の周りの看板に設けられる。異なる広告場所の価格は、広告が視認される想定量に基づいて変化する。広告主の目的は、運転手のような車両乗員に広告を見させ、広告されている製品またはサービスを購入させることである。

【0002】

幾つかの実例においては、電子看板は、定期的に変化して、異なる時間に異なる広告を表示する。その結果、電子看板を使用して複数の広告を同一の場所に表示させることができる。

【図面の簡単な説明】

【0003】

【図1】図１は、幾つかの実施形態に従う、車両乗員注視検出システムの模式図である。

【図2】図２は、幾つかの実施形態に従う、検出された注視結果のデータ構造の図である。

【図3】図３は、幾つかの実施形態に従う、検出された注視結果のデータ構造の図である。

【図4】図４は、幾つかの実施形態に従う、検出された注視結果のデータ構造の図である。

【図5】図５は、幾つかの実施形態に従う、注視データのデータ構造の図である。

【図6】図６は、幾つかの実施形態に従う、車両乗員注視検出システムを使用する方法のフローチャートである。

【図7】図７は、幾つかの実施形態に従う、グリッドマップのデータ構造の図である。

【図8】図８は、幾つかの実施形態に従う、格子点データのデータ構造の図である。

【図9】図９は、幾つかの実施形態に従う、ログエントリのデータ構造の図である。

【図10】図１０は、幾つかの実施形態に従う、ヒストグラムのデータ構造の図である。

【図11】図１１は、幾つかの実施形態に従う、車両乗員注視検出システムを実現するためのシステムの図である。

【発明を実施するための形態】

【0004】

本開示の態様は、付随する図面と共に下記の詳細な記述を読むことにより最も良好に理解される。当業界における標準的な慣行に従って、種々の特徴は一定の縮尺で描かれていないことに留意されたい。実際、種々の特徴の寸法は、説明を明確にするために任意に増減され得る。

【0005】

下記の開示は、提供される主題の異なる特徴を実現するための多くの異なる実施形態、または例を提供する。構成要素、値、動作、材料、配置などの具体的な例は、本開示を簡潔にするために下記に記述される。もちろん、これらは例にすぎず、限定的であることは意図されていない。他の構成要素、値、動作、材料、配置なども考えられる。例えば、後に続く記述における第２の特徴上への第１の特徴の形成は、第１および第２の特徴が直接接触して形成される実施形態を含むことができ、また、第１および第２の特徴が直接接触しなくてもよいように、追加的特徴を、第１および第２の特徴との間に形成できる実施形態を含むことができる。加えて、本開示は、種々の例において、参照番号および／または文字を繰り返すこともあり得る。この繰り返しは、簡潔性と明確性の目的のためであり、それ自体は、検討されている種々の実施形態および／または構成間の関係を決定するものではない。

【0006】

更に、「～の下」、「～の下方」、「下部の」、「～の上方」、「上部の」などのような空間的相対位置を示す用語は、ここにおいては、図において例示されているように、１つの要素または特徴の、他の要素または特徴との関係を記述するための記述を容易にするために使用することもあり得る。空間的相対位置を示す用語は、図において示されている向きに加えて、使用中または動作中の装置の異なる向きも含むことが意図されている。装置は他の向きにすることができ（９０度回転、または他の向き）、ここにおいて使用されている空間的相対位置を示す記述子も同様にそれに応じて解釈できる。

【0007】

現在、広告主は、道路に沿う看板を、どのくらいの頻度で、どんなタイプの人々が見ているかを正確に判定することができない。結果として、広告主は、顧客を引き付けることにおいて看板がどのくらい効果的かを判定できず、広告主は、広告を掲載するための価格が、期待される顧客を生み出すことと釣り合っているかどうかを判定できない。交通量の多い道路に沿って設けられている看板は、より少ない交通量の道路に沿う看板よりもより価値があると推定できるが、それでも依然として、どのくらいの数の潜在的顧客が看板を見ているかについての信頼できる基準がない。同様に、走行速度が遅い場所は、より走行速度が速い場所よりもより価値があると推定できるが、ここでも再び、看板が、より潜在性の高い顧客の注意を実際に引いているかどうかについて正確に測定する方法がない。

【0008】

潜在的顧客の人口統計についての情報と共に、看板が、潜在的顧客の注意を引いているかどうかを判定するための信頼性のある情報を提供するために、車両乗員注視検出システムが、車両の乗員が看板を見ているかどうかを決定するために、マップデータと組み合わせて利用される。下記の記述は道路に沿う看板に関して記述されるが、当業者は、車両乗員注視検出システムが、飛行機または他の車両により運ばれる可動看板、看板を持っている人、店のウィンドウにおけるディスプレイ、または他のそのような広告などのような、異なるタイプの広告材料にも適用できるということを理解するであろう。

【0009】

車両乗員注視検出システムは、運転手、前の座席の乗員、または後部座席の乗員などのような車両乗員の１つ以上の目の画像を取り込む。車両乗員注視検出システムは、取り込まれた画像を、乗員が、もしあれば、何れの看板を見ているか、およびどのくらい長く見ているかを決定するために、マップデータ、および／または、車両に取り付けられている外側に向けられている検出器からの画像と共に利用する。幾つかの実施形態においては、車両乗員注視検出システムはまた、乗員の人口統計を推測するために、予測される年齢、予測される身長、予測される体重、髪の長さ、髪の色、衣類などのような乗員についてのデータを収集する。この情報に基づいて、車両乗員注視検出システムは、現在は看板がないが、広告主が将来広告を設置できる可能性のある場所に、どのくらいの人数の人間が、および、人口統計的にどのような人間が看板を見るか、または、その場所に関心を示すかについての履歴情報を生成できる。この情報は、広告が所望されるインパクトを有しているかどうかを判定するために広告主により使用可能である。この情報はまた、異なる看板場所に対する適切な価格設定を決定することを支援するために、看板場所のリース代理店により使用可能である。

【0010】

図１は、幾つかの実施形態に従う、車両乗員注視検出システム１００の模式図である。車両乗員注視検出システム１００は、データを収集して注視データ３０を生成するように構成されている車両システム１を含んでいる。車両乗員注視検出システム１００は更に、広告アドバイスを生成するために、注視データ３０を受信して注視データ３０を解析するように構成されているサーバ２を含んでいる。車両乗員注視検出システム１００は更に、生成された広告アドバイスを受信するように構成されている顧客３を含んでいる。

【0011】

車両システム１は電子制御ユニット（ＥＣＵ）８を含み、ＥＣＵ８は、運転手監視カメラ４、前方カメラ５、全地球測位システム（ＧＰＳ）６、およびマップ７からデータを受信するように構成されている。ＥＣＵ８は注視検出器１０を含み、注視検出器１０は、運転手監視カメラ４からデータを受信し、受信したデータに基づいて注視方向および／または注視深度を検出するように構成されている。ＥＣＵ８は更に対象物検出器１１を含み、対象物検出器１１は、前方カメラ５からデータを受信し、受信したデータに基づいて、検出された何れの対象物の位置を決定するように構成されている。ＥＣＵ８は更に位置特定ユニット１２を含み、位置特定ユニット１２は、ＧＰＳ６、マップ７、対象物検出器１１、および道路認識器（図１には図示せず）からデータを受信し、車両の位置、および、検出された対象物および／または既知の対象物、および／または、道路の位置に対する車両の姿勢と状態を決定するように構成されている。幾つかの実施形態においては、車両の位置はまた、車両の位置ベクトルを意味する。車両の姿勢および状態は車両の速度および進路を意味する。幾つかの実施形態においては、車両の姿勢および状態はまた、車両の速度ベクトル、加速度ベクトル、および加加速度（躍度）ベクトルを意味する。幾つかの実施形態においては、位置ベクトル、速度ベクトル、加速度ベクトル、および加加速度（躍度）ベクトルは角度ベクトルを含んでいてもよい。幾つかの実施形態においては、車両の状態はまた、車両のエンジンまたはモータが作動しているかどうかを意味する。ＥＣＵ８は更に注視データ生成器２０を含み、注視データ生成器２０は、注視検出器１０、対象物検出器１１、および位置特定ユニット１２から情報を受信し、注視データ３０を生成するように構成されている。

【0012】

運転手監視カメラ４は、車両の運転手の画像を取り込むように構成されている。運転手監視カメラ４は車両に接続されている。幾つかの実施形態においては、運転手監視カメラ４は可視光カメラを含んでいる。幾つかの実施形態においては、運転手監視カメラ４は、赤外線（ＩＲ）カメラ、または他の適切なセンサを含んでいる。幾つかの実施形態においては、運転手監視カメラ４は、異なるサイズの運転手の少なくとも１つの目の画像を取り込むために、車両に対して移動可能である。運転手の両目の画像を取り込むことが好適であるが、片目しか有していない運転手もおり、運転手の頭が運転手監視カメラ４の方を向いていない幾つかの実例においては、運転手の目の片方しか取り込まれない。幾つかの実施形態においては、運転手監視カメラ４は自動的に調整される。幾つかの実施形態においては、運転手監視カメラ４は手動で調整可能である。幾つかの実施形態においては、取り込まれた画像は運転手の少なくとも１つの目を含んでいる。幾つかの実施形態においては、取り込まれた画像は、おおよその身長、おおよその体重、髪の長さ、髪の色、衣服、または他の適切な情報などのような、運転手についての追加的情報を含んでいる。幾つかの実施形態においては、運転手監視カメラ４は、運転手の異なる部位の画像を取り込むために複数の撮像装置を含んでいる。幾つかの実施形態においては、運転手監視カメラは、車両内の種々の場所に設けられている。例えば、幾つかの実施形態においては、第１運転手監視カメラ４は、車両の中央領域における後方ビューミラーに近接して設けられ、第２運転手監視カメラ４は、運転手側のドアに近接して設けられている。当業者は、車両の動作を妨害しない、運転手監視カメラ４のための他の場所はこの開示の範囲内であることを認識するであろう。幾つかの実施形態においては、運転手監視カメラ４からのデータは、他のデータとの同期を支援するためのタイムスタンプまたは他のメタデータを含んでいる。

【0013】

当業者は、幾つかの実施形態においては、車両システム１が、他の乗員を監視するための追加的カメラを含んでいるということを理解するであろう。追加的カメラのそれぞれは、上記の運転手監視カメラ４と類似している。例えば、幾つかの実施形態においては、１つ以上の監視カメラが、前の座席の乗員の少なくとも１つの目の画像を取り込むために車両において設けられている。幾つかの実施形態においては、１つ以上の監視カメラが、後部座席の乗員の少なくとも１つの目の画像を取り込むために車両において設けられている。幾つかの実施形態においては、追加的カメラは、車両が、対応する前の座席の乗員または後部座席の乗員を検出することに応答して起動されるだけである。幾つかの実施形態においては、車両のオペレータはまた、追加的カメラを選択的に非作動状態にすることができる。追加的カメラを含んでいる実施形態においては、取り込まれた画像は依然として注視検出器１０に送られ、注視検出器は、車両の監視された乗員のそれぞれに対する注視結果を生成できる。

【0014】

前方カメラ５は、車両の周囲の環境の画像を取り込むように構成されている。幾つかの実施形態においては、前方カメラ５は、可視光カメラ、赤外線カメラを含んでいる。幾つかの実施形態においては、前方カメラ５は、光検出と測距（ＬｉＤＡＲ）センサ、電波検出と測距（ＲＡＤＡＲ）センサ、音響航法と測距（ＳＯＮＡＲ）センサ、または他の適切なセンサと置き換えられ、または、それが更に追加される。幾つかの実施形態においては、前方カメラ５は、車両の他の場所に設けられている追加的カメラを含んでいる。例えば、幾つかの実施形態においては、追加的カメラは、車両の左右方向への環境のより広い部分を検出するために、車両の側部に設けられている。車両乗員は、車両の側部の窓から外を見ることができるので、車両を取り囲む環境のより広い部分を検出するために追加的カメラを使用することは、車両の乗員が見ている対象物を決定することの精度を高めることを支援する。例えば、幾つかの実施形態においては、追加的カメラは、車両の後部への環境のより広い部分を検出するために、車両の後部側に設けられている。この情報は、運転手以外の車両乗員が後部窓から見ることができる追加的対象物を捉えることを支援する。前方カメラ５はまた、建物などのような何等かの障害物が、看板などのような対象物の既知の位置と、車両の乗員との間に存在しているかどうかを判定するために画像を取り込むことができる。幾つかの実施形態においては、前方カメラ５からのデータは、前方カメラ５からのデータを、運転手監視カメラ４からのデータと同期することを支援するためにタイムスタンプまたは他のメタデータを含んでいる。

【0015】

ＧＰＳ６は、車両の場所を決定するように構成されている。車両の場所を知ることは、注意を向けた乗員の注意を引いた対象物および方向を、マップ７において既知の場所を有している対象物および領域と関連付けることを支援する。車両の進路を知ることは、注視データ３０の生成を支援するために、車両の運転手が何れの方向を見ているかを予測することを支援する。車両の速度を知ることは、車両の乗員が看板を見る機会をどのくらい長く有したかを判定することを支援する。例えば、低速で走行している車両において、２秒間看板を見ていると判定された乗員は、高速で走行している車両において、２秒間看板を見ている判定された乗員よりも、広告されている製品またはサービスに対してより低い関心を有していると判定される。

【0016】

マップ７は、道路と、道路に沿う既知の対象物とに関する情報を含んでいる。幾つかの実施形態においては、マップ７は、車両の場所および進路を決定するために、ＧＰＳ６と連携して使用可能である。幾つかの実施形態においては、マップ７は、サーバ２などのような外部装置から受信される。幾つかの実施形態においては、マップ７は、前方カメラ５および／またはＧＰＳ６からの情報に基づいて定期的に更新される。幾つかの実施形態においては、マップ７は、外部装置から受信した情報に基づいて定期的に更新される。幾つかの実施形態においては、マップ７は、同時位置特定およびマッピング（ＳＬＡＭ：自己位置推定と環境地図作成の同時実行）アルゴリズムによりセンサデータから生成される。

【0017】

下記の記述は、簡潔性のために、運転手に関する情報の解析に主に焦点を当てる。当業者は、記述が車両の前の座席の乗員または後部座席の乗員などのような他の乗員にも適用可能であるということを理解するであろう。

【0018】

注視検出器１０は、運転手監視カメラ４からデータを受信し、検出された注視結果８０を生成するように構成されている。検出された注視結果８０は、運転手の目が見ている方向を含んでいる。幾つかの実施形態においては、方向は方位角および仰角を含んでいる。方位角および仰角を含むことは、運転手が、水平方向に平行に見ている方向と、水平方向に垂直に見ている方向との両者の決定を可能にする。幾つかの実施形態においては、検出された注視結果８０は更に、深度情報を含んでいる。深度情報は、運転手の目の視軸が収束する運転手からの推定距離である。深度情報を含むことは、運転手と、運転手が注視している対象物との間の距離の決定を可能にする。深度情報を方位角および仰角と組み合わせると、検出された注視結果８０の精度を向上する。取り込まれた画像が、運転手の１つの目しか含んでいない幾つかの実施形態においては、深度情報を決定することは困難であり、そのため方位角および仰角のみが注視検出器１０により決定される。幾つかの実施形態においては、注視検出器１０は更に、前方カメラ５からデータを受信し、検出された注視結果８０を、方位角および仰角に基づいて、前方カメラ５からの画像のピクセル位置と関連付けるように構成されている。

【0019】

対象物検出器１１は、車両の周囲の環境を検出するために、任意の追加的センサからと共に、前方カメラ５からデータを受信するように構成されている。受信したデータに基づいて、対象物検出器１１は、周囲環境における対象物を識別する。幾つかの実施形態においては、対象物検出器は更に、ＧＰＳ６からの車両の場所と、マップ７からの既知の対象物の場所とに基づく対象物の決定を支援するために、ＧＰＳ６および／またはマップ７からデータを受信するように構成されている。ＧＰＳ６およびマップ７情報を使用することは、対象物検出器１１に対する処理負荷を削減することを支援する。幾つかの実施形態においては、対象物検出器１１は更に、他の車両、歩行者、道路標識、広告看板、車両上の広告看板、建物などのような対象物のタイプを識別するように構成されている。当業者は、本開示が、車両の乗員が関心を持つのは、もしあれば、トラックまたはバス上などのような、何れの可動広告なのかを決定するためにも適用可能であるということを理解するであろう。可動広告が存在しているかどうかを判定するために、幾つかの実施形態においては、カメラ画像が解析される。幾つかの実施形態においては、可動広告に対する場所情報は、乗員が可動広告を見ていたかどうかを判定するために、車両からのデータと組み合わされる。幾つかの実施形態においては、広告看板が描かれている第２車両は、第２車両の場所情報をサーバ２に定期的に転送し、第２車両の場所情報は、サーバ２において注視データ３０にマッピングされる。幾つかの実施形態においては、対象物検出器１１は、前方カメラ５および／または追加的センサからの受信データを、注視データ生成器２０および／または位置特定ユニット１２に出力する。

【0020】

位置特定ユニット１２は、対象物検出器１１、ＧＰＳ６、およびマップ７から情報を受信し、世界座標システムにおける車両の場所、または、マップ７上の対象物および対象物検出器１１により検出された対象物に対する車両の場所を決定するように構成されている。幾つかの実施形態においては、位置特定ユニット１２は、車両の進路および速度を決定するために使用可能である。位置特定ユニット１２はまた、車両に対する状態情報を決定するように構成されている。幾つかの実施形態においては、状態情報は車両の速度を含んでいる。幾つかの実施形態においては、状態情報は車両の速度ベクトルを含んでいる。幾つかの実施形態においては、状態情報は車両の進路を含んでいる。幾つかの実施形態においては、状態情報は車両の加速度ベクトルを含んでいる。幾つかの実施形態においては、状態情報は車両の加加速度（躍度）ベクトルを含んでいる。幾つかの実施形態においては、状態情報は、車両のエンジンまたはモータは作動しているかどうかを含んでいる。幾つかの実施形態においては、状態情報は、フロントガラスワイパの動作などのような、車両に関する他のステータス情報を含んでいる。

【0021】

注視データ生成器２０は、検出された注視結果８０を注視検出器１０から受信し、対象物検出情報を対象物検出器１１から受信し、車両位置および状態情報を位置特定ユニット１２から受信するように構成されている。注視データ生成器２０は、運転手の注視が向けられた方向に沿う線を検出し、これらの検出された線に基づいて注視データ３０を生成する。当業者は、運転手の注視の線とは、運転手が見ている運転手の目の１点からの方向を示す線または半直線を意味することを理解するであろう。注視データ３０は、タイムスタンプ情報、車両システム１の車両情報、車両の位置、および車両に対する運転手の注視角を含んでいる。幾つかの実施形態においては、注視データ生成器２０は、もしあれば、どの看板が運転手に見えるかを判定するように構成されている。幾つかの実施形態においては、注視データ生成器２０は、運転手が対象物を見ることを妨げる他の対象物により妨害されている如何なる既知の対象物もマップ７から識別するように構成されている。これらの妨害されている対象物は、注視データ３０の生成の間に考慮の対象から除外できるように識別される。幾つかの実施形態においては、注視データ生成器２０は更に、注視データ３０を、対象物検出器１１および／または位置特定ユニット１２からの対象物の場所とリンクさせる。幾つかの実施形態においては、注視データ生成器２０は、対象物検出器１１および位置特定ユニット１２からの情報に基づいて妨害されていると判定された対象物に関する如何なる注視データ３０も除外する。幾つかの実施形態においては、対象物の領域の５０％が不明瞭であることのような妨害閾値が、妨害されている対象物に関する注視データ３０を除外するかどうかを判定するために注視データ生成器２０により使用される。

【0022】

幾つかの実施形態においては、注視データ生成器２０は更に、取り込まれた画像に基づいて運転手の人口統計解析を可能にするために、注視データ３０における運転手の少なくとも１つの画像を含むように構成されている。幾つかの実施形態においては、注視データ生成器２０は、運転手の人口統計解析を可能にするために、運転手の識別番号などのような運転手識別データを、注視データ３０と共に含むように構成されている。幾つかの実施形態においては、運転手識別データは、ＥＣＵ８に格納されている所有者情報またはレンタル情報に基づいて受信される。

【0023】

注視データ生成器２０は、サーバ２に送信される注視データ３０を出力する。幾つかの実施形態においては、車両システム１は注視データをサーバ２に無線で送信する。幾つかの実施形態においては、車両システム１は注視データをサーバ２に有線接続を介して送信する。

【0024】

サーバ２はマップ１０１を含んでいる。サーバは更に、車両システム１から注視データ３０を受信するように構成されている注意領域解析器４０を含んでいる。注意領域解析器４０は更に、マップ１０１から情報を受信するように構成されている。注意領域解析器４０は、注視データ３０およびマップ１０１に基づいてグリッドマップ５０を生成するように構成されている。サーバ２は更に、グリッドマップ５０およびヒストグラム５３を格納するように構成されているメモリユニット４１を含んでいる。グリッドマップ５０は、グリッドマップ５０を、日付、時間、人口統計データ、または他の適切な情報などのような追加的データと関連付けるために、ヒストグラム生成器５２によりアクセス可能である。ヒストグラム生成器５２は、グリッドマップ５０との関連付けに基づいてヒストグラム５３を生成し、ヒストグラム５３をメモリユニット４１に格納するように構成されている。サーバ２は更に、メモリユニット４１からヒストグラム５３を受信するように構成されている広告アドバイザ６０を含んでいる。広告アドバイザ６０は、ヒストグラム５３を解析するように構成されており、何れのタイプの人間が、いつ、そしてどのくらい長く看板を見ているかを判定する。

【0025】

マップ１０１は、道路と、道路に沿う既知の対象物とに関する情報を含んでいる。幾つかの実施形態においては、マップ１０１はマップ７と同一である。幾つかの実施形態においては、マップ１０１はマップ７よりも高精細である。幾つかの実施形態においては、マップ１０１は外部装置から受信される。幾つかの実施形態においては、マップ１０１は、マップ７を更新するために車両システム１に定期的に送信される。幾つかの実施形態においては、マップ１０１は、サーバ２により受信した更新された情報に基づいて定期的に更新される。

【0026】

注意領域解析器４０は、何れの場所に向けて運転手が注視を向けたかを判定するために、受信した注視データ３０をマップ１０１と相関させるように構成されている。この相関関係は、複数の格子点、例えば、格子点５１（図７）を含むグリッドマップ５０として格納される。各格子点は、方位角および仰角と共に、位置座標、例えば、Ｘ、ＹおよびＺに関する位置情報を含んでいる。各格子点はまた、運転手の注視が、位置情報によって画定される領域内にどのくらい長く留まっていたかに関する情報を含んでいる。幾つかの実施形態においては、グリッドマップ５０に対する位置情報は、マップ１０１からの既知の対象物および／または注視データ３０における検出された対象物に基づいて決定される。幾つかの実施形態においては、閾値を超える注視持続時間を有する格子点のみがグリッドマップ５０に含まれる。幾つかの実施形態においては、閾値は、位置特定ユニット１２からの車両情報の状態に基づいて調整される。例えば、幾つかの実施形態においては、車両の速度が増大するにつれて、看板が、運転手の潜在的な視野内にある時間が短くなるので、閾値注視持続時間は減少する。グリッドマップ５０が生成されると、グリッドマップ５０はメモリユニット４１に格納される。追加的注視データ３０がサーバ２により受信されると、新しい格子点を含むように、または既存の格子点と関連付けられた情報を更新するようにグリッドマップ５０を更新することができる。幾つかの実施形態においては、注意領域解析器４０は、単一の車両に対するグリッドマップ５０を生成するように構成されている。幾つかの実施形態においては、注意領域解析器４０は、複数の車両に対するグリッドマップ５０を生成するように構成されている。幾つかの実施形態においては、注意領域解析器４０は、所定の地理的領域に対するグリッドマップ５０を生成するように構成されている。幾つかの実施形態においては、注意領域解析器４０は、第１地理的領域に対する第１グリッドマップ、第２地理的領域に対する第２グリッドマップ、および、特定の組の車両に対する第３グリッドマップなどのように、複数のグリッドマップ５０を生成して管理するように構成されている。

【0027】

メモリユニット４１は、グリッドマップ５０およびヒストグラム５３を格納するように構成されている。幾つかの実施形態においては、メモリユニット４１は更に、注視データ３０およびマップ１０１などのような追加的情報を格納するように構成されている。幾つかの実施形態においては、メモリユニット４１はソリッドステートメモリ装置を含んでいる。幾つかの実施形態においては、メモリユニット４１はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含んでいる。幾つかの実施形態においては、メモリユニット４１は不揮発性メモリ装置を含んでいる。幾つかの実施形態においては、メモリユニット４１は、クラウドベースのストレージ、または別の適切なストレージ構造を含んでいる。

【0028】

グリッドマップ５０は複数の格子点を含んでいる。グリッドマップ５０の非限定的な例が図７において示されている。この例においては、グリッドマップ５０は複数の格子点データ５１を含んでいる。幾つかの実施形態においては、グリッドマップ５０は、広告スポンサ７２または広告代理店７４などのようなユーザの要求により、表示のために別個に利用可能である。幾つかの実施形態においては、グリッドマップ５０内の格子点は、注視持続時間に基づいて色分けされる。幾つかの実施形態においては、グリッドマップ５０は、広告スポンサ７２または広告代理店７４などのような特定のユーザと関連付けられている格子点のみを含むようにカスタマイズ可能である。幾つかの実施形態においては、グリッドマップ５０は、選択されたユーザの格子点のみを含むようにカスタマイズ可能である。幾つかの実施形態においては、選択されたユーザには、広告スポンサ７２の競争会社が含まれる。

【0029】

ヒストグラム生成器５２は、メモリユニット４１に格納されている１つ以上のグリッドマップ５０を解析し、ヒストグラム５３にコンパイルされる履歴データを識別するように構成されている。幾つかの実施形態においては、ヒストグラム生成器５２は、１日のうちの時間、天候状況、看板の場所、車両の進路に対する看板の角度、人口統計情報、または他の適切な基準に基づいてヒストグラム５３を生成する。幾つかの実施形態においては、人口統計情報は、グリッドマップ５０の格子点におけるログエントリと関連付けられている運転手識別情報に基づいている。幾つかの実施形態においては、人口統計情報は、グリッドマップ５０の格子点におけるログエントリと関連付けられている、取り込まれた画像からの運転手の特性に基づいて抽出される。例えば、幾つかの実例においては、運転手の取り込まれた画像が、顔に毛がある人間を示している場合、運転手は男性であると判定される。他の身体的特性は、他の人口統計情報を決定するために使用できる。幾つかの実施形態においては、学習済みニューラルネットワークを、取り込まれた画像に基づいて人口統計情報を抽出するために使用できる。幾つかの実施形態においては、ヒストグラム生成器５２は、単一の車両に対するヒストグラム５３を生成するように構成されている。幾つかの実施形態においては、ヒストグラム生成器５２は、複数の車両に対するヒストグラム５３を生成するように構成されている。幾つかの実施形態においては、ヒストグラム生成器５２は、所定の地理的領域に対するヒストグラム５３を生成するように構成されている。幾つかの実施形態においては、ヒストグラム生成器５２は、第１地理的領域に対する第１ヒストグラム、第２地理的領域に対する第２ヒストグラム、および、特定の組の車両に対する第３ヒストグラムなどのようにヒストグラム５３を生成するように構成されている。幾つかの実施形態においては、ヒストグラム生成器５２は、新しいグリッドマップ５０データが利用可能になるとヒストグラム５３の更新を継続する。幾つかの実施形態においては、ヒストグラム生成器５２は、顧客３から受信した要求されたパラメータに基づいて新しいヒストグラム５３を生成するように構成されている。

【0030】

広告アドバイザ６０は、メモリユニット４１からヒストグラム５３を受信し、何れの看板または領域が最も多く、および／または、最も長く見られたかを判定するために情報を抽出するように構成されている。車両の乗員が注意を向ける領域に関する情報を得ることは、将来の広告のための場所を識別することを支援する。広告アドバイザ６０は、抽出された情報を顧客３に提供するように構成されている。幾つかの実施形態においては、広告アドバイザ６０は、顧客３からデータ要求を受信し、受信したデータ要求に基づいて、ヒストグラム５３から情報を抽出するように構成されている。幾つかの実施形態においては、データ要求は、特定の看板上の製品またはサービスのタイプについての情報を含んでおり、広告アドバイザ６０は、対応する製品またはサービスに関心を示した人間の人口統計を識別するために情報を抽出する。幾つかの実施形態においては、看板上の製品またはサービスは、前方カメラ５により取り込まれたデータに基づいて抽出される。

【0031】

幾つかの実施形態においては、看板には、広告を定期的に変更する電子看板が含まれる。幾つかの実施形態においては、広告アドバイザ６０は、何れの広告が運転手を引き付けたかを判定するために、ヒストグラム５３からのタイムスタンプ情報を、対応するタイムスタンプの間、電子看板に表示されていた広告と関連付ける。

【0032】

幾つかの実施形態においては、看板には、移動している第２車両に搭載されている看板が含まれる。幾つかの実施形態においては、広告アドバイザ６０は、何れの広告が運転手を引き付けたかを決定するために、ヒストグラム５３からのタイムスタンプ情報および位置情報を、対応するタイムスタンプの間、第２車両が位置していると知られている場所において第２車両に表示されていた広告と関連付ける。

【0033】

広告アドバイザ６０は、顧客３に送信されるヒストグラム情報を出力する。幾つかの実施形態においては、サーバ２はヒストグラム情報を顧客３に無線で送信する。幾つかの実施形態においては、サーバ２はヒストグラム情報を顧客３に有線接続を介して送信する。幾つかの実施形態においては、サーバ２はプリンタにヒストグラム情報を印刷するように指示し、印刷された情報は顧客３に提供される。

【0034】

顧客３には、広告する製品またはサービスを有している広告スポンサ７２が含まれる。顧客３には更に、広告スポンサ７２が製品またはサービスを販売することを支援する広告代理店が含まれる。幾つかの実施形態においては、広告代理店７４には、看板スペースをリースする会社が含まれる。幾つかの実施形態においては、顧客３には、他の人間、会社、または代理店が含まれる。例えば、幾つかの実施形態においては、顧客３には、追加的な広告場所に対する許可を与え、または、何れかの広告場所が運転手を注意散漫にさせすぎる危険を提示しているかどうかを判定するために、広告アドバイザ６０からの情報を使用できる政府機関が含まれる。幾つかの実施形態においては、顧客３は、特定の看板、広告スポンサ７２、または他の所望されるデータに関する情報に対するデータ要求をサーバ２に提供する。幾つかの実施形態においては、データ要求はサーバ２に無線で送信される。幾つかの実施形態においては、データ要求はサーバ２に有線接続を介して送信される。

【0035】

ヒストグラム情報を顧客３に出力することにより、車両乗員注視検出システム１００は、車両の乗員の注意を引くことにおける広告の有効性を決定するために、実際の検出されたデータを使用することが可能である。この有効性情報は、広告スポンサ７２が、より効率的な方法でリソースを割り当てることを支援するために使用可能である。有効性情報はまた、車両乗員から得られる実際の注目度と釣り合う、種々の場所に対する価格設定オプションを設定するために広告代理店７４により使用可能である。加えて、ヒストグラム５３を定期的に、または、新しい注視データ３０が利用可能になるときに更新することにより、広告スポンサ７２および広告代理店７４は、消費者を直接調査しなくても、消費者の傾向を識別できる。

【0036】

図２は、幾つかの実施形態に従う、検出された注視結果８０のデータ構造２００の図である。検出された注視結果８０は、注視検出器、例えば、注視検出器１０（図１）を使用して生成される。検出された注視結果８０は二次元（２Ｄ）注意点８１を含んでいる。注意点８１は、運転手の注視が向けられる場所である。２Ｄ注意点８１は、注意点が二次元平面内であることを意味している。２Ｄ注意点８１は、方位角および仰角を含むデータ８２に基づいている。データ８２を使用して、注視検出器は、検出された注視結果８０に対する２Ｄ注意点８１を決定することができる。幾つかの実施形態においては、検出された注視結果８０は、もしあれば、何れの看板を運転手が見ているかを判定するための注視データ、例えば、注視データ３０（図１）を生成するために、注視データ生成器、例えば、注視データ生成器２０（図１）により使用可能である。

【0037】

図３は、幾つかの実施形態に従う、検出された注視結果８０のデータ構造３００の図である。検出された注視結果８０は、注視検出器、例えば、注視検出器１０（図１）を使用して生成される。データ構造２００（図２）とは異なり、データ構造３００は、三次元（３Ｄ）注意点８３を有する検出された注視結果８０を含んでいる。３Ｄ注意点８３は、注意点が３つのパラメータで定義される点であることを意味している。３Ｄ注意点８３は、方位角、仰角、および深度を含むデータ８４に基づいている。３Ｄ注意点８３は、２Ｄ注意点８１（図２）と比較してより高い精度を提供するが、より大きな処理負荷を有して生成される。データ８４を使用することで、注視検出器は、検出された注視結果８０対する３Ｄ注意点８３を決定できる。幾つかの実施形態においては、もしあれば、何れの看板を運転手が見ているかを判定するための注視データ、例えば、注視データ３０（図１）を生成するために、注視データ生成器、例えば注視データ生成器２０（図１）により使用可能である。

【0038】

図４は、幾つかの実施形態に従う、検出された注視結果８０のデータ構造４００の図である。検出された注視結果８０は、注視検出器、例えば注視検出器１０（図１）を使用して生成される。データ構造２００（図２）と同様に、データ構造４００は二次元（２Ｄ）注意点８５を有する検出された注視結果８０を含んでいる。データ構造２００（図２）とは異なり、データ構造４００は、前方カメラ、例えば、前方カメラ５（図１）からの画像における垂直および水平方向のピクセル位置を含むデータ８６に基づく２Ｄ注意点８５を含んでいる。幾つかの実施形態においては、検出された注視結果８０は、もしあれば、何れの看板を運転手が見ているかを判定するための注視データ、例えば、注視データ３０(図１）を生成するために、注視データ生成器、例えば注視データ生成器２０(図１）により使用可能である。

【0039】

図５は、幾つかの実施形態に従う、注視データ３０のデータ構造５００の図である。注視データ３０は、注視データ生成器、例えば、注視データ生成器２０（図１）を使用して生成される。注視データ３０は、何れの条件で運転手が看板を見るかと共に、もしあれば、何れの看板を運転手が見るかを決定するために使用可能である。注視データ３０はタイムスタンプ３１を含んでおり、タイムスタンプは、注視データ３０を生成するために使用されたデータが、例えば、運転手監視カメラ４（図１）により収集された時間である。注視データ３０は更に車両情報３２を含んでおり、車両情報３２は、運転手注視データが収集された車両についての識別情報を含んでいる。注視データ３０は更に車両位置３４を含んでおり、車両位置３４は、注視データ３０を生成するために使用されたデータが収集されたときの車両の場所である。幾つかの実施形態においては、車両位置３４は、ＧＰＳ、例えばＧＰＳ６（図１）からの情報に基づいて決定される。注視データ３０は更に、車両に対する注視角３５を含んでいる。幾つかの実施形態においては、注視角３５は方位角および仰角を含んでいる。幾つかの実施形態においては、注視データ３０は更に、注視角３５と関連付けられている深度座標を含んでいる。幾つかの実施形態においては、注視データ３０は、注視角３５の代わりに、運転手の検出された注視方向を、前方カメラ、例えば、前方カメラ５（図１）から取得した画像からのピクセルと関連付けるピクセル位置を含んでいる。注視データ３０は更に、広告看板の位置３６を含んでいる。幾つかの実施形態においては、広告看板の位置３６は、運転手の注意を引いたと判定された広告看板のみに制限されている。幾つかの実施形態においては、広告看板の位置３６は、すべての既知の広告看板を含んでいる。幾つかの実施形態においては、広告看板の位置３６は、マップ、例えば、マップ７（図１）、および／または、例えば、前方カメラ５（図１）からの取り込まれた画像に基づいて決定される。幾つかの実施形態においては、広告看板の位置３６は注視データ３０から省略される。広告看板の位置３６が注視データ３０から省略される幾つかの実施形態においては、注視データ３０は、運転手の注意を引いた広告看板の位置を決定するために、他のデータ、例えば、マップ１０１（図１）と比較できる。幾つかの実施形態においては、その領域にまだ広告看板がない場合は、広告看板の位置３６は空である。

【0040】

図６は、幾つかの実施形態に従う、車両乗員注視検出システムを使用する方法６００のフローチャートである。幾つかの実施形態においては、方法６００は、車両乗員注視検出システム１００（図１）を使用して実現される。幾つかの実施形態においては、方法６００は、車両乗員注視検出システム１００（図１）とは異なる車両乗員注視検出システムを使用して実現される。当業者は、方法６００は運転手に関して記述されているが、方法６００が車両の何れの乗員に対しても適用可能であるということを理解するであろう。図６は、図１と類似する幾つかの参照番号を含んでいるが、当業者は、これらの参照番号が単に明確性と理解の容易性のためのみに提供されているにすぎず、方法６００の範囲を、図１において記述されているシステムのみに限定することは意図されていないということを認識するであろう。

【0041】

方法６００は、運転手の画像が、運転手監視カメラ、例えば、運転手監視カメラ４（図１）を使用して取り込まれる動作６０５を含んでいる。幾つかの実施形態においては、運転手の画像は、単一の画像取り込み装置を使用して取り込まれる。幾つかの実施形態においては、運転手の画像は、複数の画像取り込み装置を使用して取り込まれる。幾つかの実施形態においては、画像取り込み装置は、運転手に対して異なる位置に設けられている。幾つかの実施形態においては、画像取り込み装置の少なくとも１つは、選択的に非作動状態にされうる。

【0042】

方法６００は更に、運転手の注視が、運転手の取り込まれた画像に基づいて検出される動作６１０を含んでいる。幾つかの実施形態においては、運転手の注視は、運転手の取り込まれた画像に基づいて検出される、運転手の目の方位角および仰角に基づいて検出される。幾つかの実施形態においては、運転手の注視はまた、運転手の取り込まれた画像からの、運転手の目の視軸に基づいて決定される深度座標に基づいて検出される。幾つかの実施形態においては、運転手の注視は、車両の前方カメラ、例えば、前方カメラ５（図１）からの情報に基づいて検出され、注視は、カメラにより取り込まれた画像のピクセル位置と関連付けられる。幾つかの実施形態においては、動作６１０は、動作６１５において収集されたデータに基づいて実行される。幾つかの実施形態においては、運転手の注視は、注視検出器、例えば、注視検出器１０（図１）を使用して検出される。幾つかの実施形態においては、注視検出の結果はデータ構造２００（図２）を有している。幾つかの実施形態においては、注視検出の結果はデータ構造３００（図３）を有している。幾つかの実施形態においては、注視検出の結果はデータ構造４００（図４）を有している。

【0043】

動作６１０に続いて、方法６００は分岐する。第１分岐に沿うと、方法６００は動作６０５に戻り、運転手の追加的画像が取り込まれる。第２分岐に沿うと、方法６００は、動作６３０に進む。

【0044】

方法６００は更に、車両の周囲の環境の画像が取り込まれる動作６１５を含んでいる。車両の周囲の画像は、車両に搭載されている１つ以上のセンサを使用して取り込まれる。幾つかの実施形態においては、センサは、可視光カメラ、赤外線カメラ、ライダーセンサ、レーダーセンサ、ソナーセンサ、または他の適切なセンサを含んでいる。幾つかの実施形態においては、センサは前方カメラ５（図１）を含んでいる。幾つかの実施形態においては、動作６１５で取り込まれた画像は、動作６１０において、運転手の注視を動作６１５で取り込まれた画像と関連付けるために使用される。

【0045】

方法６００は更に、動作６１５において収集されたデータに基づいて対象物が検出される動作６２０を含んでいる。幾つかの実施形態においては、対象物は、学習済みニューラルネットワークが動作６１５で収集されたデータを解析することにより検出される。幾つかの実施形態においては、対象物は、対象物検出器、例えば、対象物検出器１１（図１）を使用して検出される。幾つかの実施形態においては、対象物検出器１１のニューラルネットワークは、シングルショット検出器（ＳＳＤ）やＦａｓｔｅｒ Ｒ－ＣＮＮ（高速領域ベースの畳み込みニューラルネットワーク（物体検出アルゴリズム））などのようなニューラルネットワークアーキテクチャを使用する。幾つかの実施形態においては、対象物の位置を検出することに加えて、動作６２０は、車両に対する対象物の角度を検出することを含んでいる。

【0046】

動作６２０に続いて、方法６００は分岐する。第１分岐に沿うと、方法６００は動作６１５に戻り、車両の周囲の環境の追加的画像が取り込まれる。第２分岐に沿うと、方法６００は動作６３０に進む。第３分岐に沿うと、方法６００は動作６２５に進む。

【0047】

方法６００は更に、世界座標系における車両の場所、または、動作６２０において検出された対象物に対する車両の場所が決定される動作６２５を含んでいる。幾つかの実施形態においては、動作６２５は更に、車両に対する状態情報を決定する。幾つかの実施形態においては、状態情報は車両の速度を含んでいる。幾つかの実施形態においては、状態情報は車両の速度ベクトルを含んでいる。幾つかの実施形態においては、状態情報は車両の進路を含んでいる。幾つかの実施形態においては、状態情報は車両の加速度ベクトルを含んでいる。幾つかの実施形態においては、状態情報は車両の加加速度（躍度）ベクトルを含んでいる。幾つかの実施形態においては、状態情報は、車両のエンジンまたはモータが作動しているかどうかを含んでいる。幾つかの実施形態においては、状態情報は、速度（加速度）における変化やフロントガラスワイパの動作などのような車両に関する他のステータス情報を含んでいる。幾つかの実施形態においては、動作６２５は、位置特定ユニット、例えば、位置特定ユニット１２（図１）を使用して実現される。

【0048】

方法は更に、動作６１０、動作６２０、および動作６２５によるデータに基づいて注視データが生成される動作６３０を含んでいる。注視データは、注視データ生成器、例えば、注視データ生成器２０（図１）を使用して生成される。幾つかの実施形態においては、動作６３０では、注視データ３０（図１）が生成される。幾つかの実施形態においては、注視データは、タイムスタンプ情報、車両システムの車両情報、車両の位置、および車両に対する運転手の注視角を含んでいる。幾つかの実施形態においては、注視データは更に、注視データを、動作６２０および／または動作６２５の何れかにおける対象物の位置とリンクさせる。幾つかの実施形態においては、動作６３０は、もしあれば、何れの看板が運転手に見えるかを判定する。幾つかの実施形態においては、動作６３０は、運転手が妨害されている対象物を見ることを阻止する他の対象物により妨害されている対象物を識別する。幾つかの実施形態においては、注視データは、動作６２０および／または動作６２５における情報に基づいて妨害されていると決定された対象物に関する如何なる注視データも除外する。幾つかの実施形態においては、注視データは、広告看板が表示されている第２車両の情報（位置、免許プレートＩＤなどのような）を含んでいる。

【0049】

幾つかの実施形態においては、注視データは更に、取り込まれた画像に基づく運転手の人口統計解析を可能にする、運転手の少なくとも１つの画像を含んでいる。幾つかの実施形態においては、注視データは、運転手の人口統計解析を可能にする、運転手の識別番号などのような運転手識別データを含んでいる。幾つかの実施形態においては、運転手識別データは、内部メモリから、または外部装置からの所有者情報またはレンタル情報に基づいて受信される。

【0050】

方法６００は更に、動作６３０において生成された注視データが、サーバ、例えば、サーバ２（図１）に送られる動作６３５を含んでいる。幾つかの実施形態においては、注視データは無線で送られる。幾つかの実施形態においては、注視データは有線接続を介して送られる。方法６００は更に、注視データが、サーバ、例えば、サーバ２（図１）により受信される動作６４０を含んでいる。

【0051】

方法６００は更に、グリッドマップが更新される動作６４５を含んでいる。グリッドマップが存在しない場合、グリッドマップは動作６４５において生成される。グリッドマップは、場所を、受信した注視データと関連付ける格子点を含んでいる。幾つかの実施形態においては、グリッドマップはグリッドマップ５０（図１）を含んでいる。幾つかの実施形態においては、グリッドマップは、注意領域解析器、例えば、注意領域解析器４０（図１）を使用して更新される。幾つかの実施形態においては、グリッドマップに対する位置情報は、マップ、例えば、マップ１０１（図１）からの既知の対象物、および／または、注視データにおいて識別された検出対象物に基づいて決定される。幾つかの実施形態においては、閾値を超える注視持続時間を有する格子点のみがグリッドマップにおいて更新される。幾つかの実施形態においては、閾値は、位置特定ユニット１２からの車両情報の状態に基づいて調整される。グリッドが生成されると、グリッドマップは、メモリユニット、例えば、メモリユニット４１（図１）に格納される。幾つかの実施形態においては、複数のグリッドマップが、受信した注視データに基づいて生成または更新される。

【0052】

方法６００は更に、動作６４５において更新されたグリッドマップに基づいてヒストグラムが生成される動作６５０を含んでいる。ヒストグラムがすでに存在している場合、ヒストグラムは動作６５０において更新される。幾つかの実施形態においては、ヒストグラムはヒストグラム５３(図１)である。幾つかの実施形態においては、ヒストグラムは、ヒストグラム生成器、例えば、ヒストグラム生成器５２（図１）を使用して生成される。ヒストグラムは、グリッドマップからの注視データを、１日のうちの時間、天候条件、看板の場所、車両の進路に対する看板の角度、人口統計情報、または他の適切な基準などのような追加的パラメータと関連付ける。

【0053】

方法６００は更に、広告に対して提案された位置を更新することを含む動作６５５を含んでいる。以前に何も提案されていなかった場合、動作６５５は、広告に対する位置を提案することを含む。幾つかの実施形態においては、提案される位置は、受信した注視データに基づいて、何れの場所が最も多く見られたかに基づいて決定される。幾つかの実施形態においては、提案される位置は、目標とする顧客の人口統計と、その目標とする顧客と一致する運転手の注視データの人口統計情報とに基づいて決定される。幾つかの実施形態においては、動作６５５では、表示された広告が潜在的顧客の目に触れることを最大にすることを支援するために、広告が表示される第２車両のタイプ（自動車の型式、色、サイズなど）が提案され、また、第２車両の走行ルートが提案される。幾つかの実施形態においては、更新された提案位置は、広告スポンサ、例えば、広告スポンサ７２、および／または、広告代理店、例えば、広告代理店７４に送られる。幾つかの実施形態においては、更新された提案位置は無線で送信される。幾つかの実施形態においては、更新された提案位置は有線接続を介して送信される。

【0054】

方法６００は更に、特定の場所における、広告に対する提案された料金率が更新される動作６６０を含んでいる。以前に何も提案されていなかった場合、動作６６０は、広告に対する推奨料金率を発行することを含む。幾つかの実施形態においては、提案される料金率は、受信した注視データに基づいて、何れの場所が最も多く見られたかに基づいて決定される。幾つかの実施形態においては、提案される料金率は、目標とする顧客の人口統計と、その目標とする顧客と一致する運転手の注視データの人口統計情報とに基づいて決定される。幾つかの実施形態においては、更新された提案料金率は、広告スポンサ、例えば、広告スポンサ７２、および／または、広告代理店、例えば、広告代理店７４に送られる。幾つかの実施形態においては、更新された提案料金率は無線で送信される。幾つかの実施形態においては、更新された提案料金率は有線接続を介して送信される。

【0055】

幾つかの実施形態においては、方法６００には追加的な動作が含まれる。例えば、幾つかの実施形態においては、方法６００は、運転手の取り込まれた画像に基づいて、運転手に対する人口統計情報を生成することを含む。幾つかの実施形態においては、方法６００の動作の順序が変更される。例えば、幾つかの実施形態においては、グリッドマップは、サーバへの送信の前に生成される。幾つかの実施形態においては、方法６００の少なくとも１つの動作は省略される。例えば、幾つかの実施形態においては、動作６５５が省略され、料金率に関する提案のみが提供される。

【0056】

図７は、幾つかの実施形態に従う、グリッドマップ５０のデータ構造７００の図である。グリッドマップ５０は、運転手に関して受信した注視データ、例えば、注視データ３０（図１）およびマップデータ、例えば、マップ１０１（図１）、および／または、看板の場所を示す検出された対象物に基づいて生成または更新される。幾つかの実施形態においては、グリッドマップ５０は注意領域解析器４０（図１）により生成される。幾つかの実施形態においては、グリッドマップ５０は動作６４５（図６）の間に生成される。幾つかの実施形態においては、グリッドマップ５０は、車両システム１において注視データ生成器２０により生成され、車両システム１からサーバ２へネットワークを介して送信される。グリッドマップ５０は格子点５１の配列を含んでいる。幾つかの実施形態においては、データ構造７００は、地面に対して平行なｘ軸およびｙ軸に次元が対応している、格子点５１の二次元配列を含んでいる。幾つかの実施形態においては、データ構造７００は、ｘ軸、ｙ軸、および地面に対して直交しているｚ軸に次元が対応している、格子点５１の三次元配列を含んでいる。幾つかの実施形態においては、データ構造７００は、ｘ軸、ｙ軸、方位角、および仰角に次元が対応している、格子点５１の四次元配列を含んでいる。幾つかの実施形態においては、データ構造７００は、ｘ軸、ｙ軸、ｚ軸、方位角、および仰角に次元が対応している、格子点５１の五次元配列を含んでいる。幾つかの実施形態においては、データ構造７００は、緯度と経度が、世界測地系（ＷＧＳ８４）の緯度と経度である、緯度、経度、方位角、および仰角に次元が対応している、格子点５１の四次元配列を含んでいる。各格子点５１は、車両に対する方位角および仰角と共に、地理的位置に関する情報を含んでいる。図８は、幾つかの実施形態に係る、格子点５１のデータ構造の非限定的な例を含んでいる。

【0057】

図８は、幾つかの実施形態に従う、格子点データ５１のデータ構造８００の図である。幾つかの実施形態においては、格子点データ５１は、グリッドマップ５０（図１と７）において使用可能である。格子点データ５１はメタデータ５４を含んでいる。メタデータ５４は、地理的座標、方位角、および仰角などのような、格子点の位置範囲についての情報を含んでいる。メタデータ５４は、「絶対的な」位置および角度の値を含んでいる。「絶対的な」値とは、固定点に対する値を決定するために、値が、車両の位置と進路に対して修正されていることを意味している。幾つかの実施形態においては、メタデータ５４は、地球の緯度または経度に対する位置および角度の値を含んでいる。メタデータ５４は、格子点データ５１に対応する、現実世界における場所を決定するために使用可能である。格子点データ５１は更に、格子点データ５１の場所に存在していると知られている、または検出されている対象物のリスト５７を含んでいる。幾つかの実施形態においては、リスト５７は、マップ、例えば、マップ１０１（図１）から受信した情報に基づく対象物を含んでいる。幾つかの実施形態においては、リスト５７は、車両により取り込まれた画像に対して実行された対象物検出に基づく対象物を含んでいる。幾つかの実施形態においては、対象物検出に関する情報は、注視データ、例えば、注視データ３０（図１）の一部として受信され、車両において、対象物検出器、例えば、対象物検出器１１（図１）により生成される。格子点データ５１は更にログ５５を含んでいる。ログ５５は、受信した注視データ、例えば、注視データ３０（図１）に基づいて、メタデータ５４により示される場所がいつ見られたかに関する情報を含んでいる。ログ５５は１つ以上のログエントリ５６を含んでいる。各ログエントリ５６は、格子点データ５１と関連付けられた場所を見たことの別の検出に関連している。幾つかの実施形態においては、すべてのログエントリ５６は格子点データ５１内に維持されている。幾つかの実施形態においては、閾値を超えるタイムスタンプを有しているログエントリ５６は消去または上書きされる。幾つかの実施形態においては、データ構造７００は、緯度、経度、方位角、および仰角に次元が対応している、格子点５１の四次元配列を含んでおり、緯度および経度に対応している点が、方位角および仰角に対応している注視方向に向かって注視されると、ログエントリが、四次元配列における緯度、経度、方位角、および仰角に対応しているグリッド点に追加される。幾つかの実施形態においては、ログエントリ５６は、格子点データ５１と関連付けられている位置が閾値持続時間を満たす場合のみ生成される。幾つかの実施形態においては、閾値持続時間は、注視データを生成するために使用されたデータが収集された時点の車両の速度などのようなファクタに基づいて決定される。幾つかの実施形態においては、ログエントリ５６はデータ構造９００（図９）を有している。

【0058】

図９は、幾つかの実施形態に従う、ログエントリ５６のデータ構造９００の図である。幾つかの実施形態においては、データ構造９００は、データ構造８００（図８）に対するログエントリ５６として使用可能である。ログエントリ５６は、格子点、例えば、格子点５１（図７）と関連付けられている場所が見られた時間５７を含んでいる。幾つかの実施形態においては、時間５７は、注視データ、例えば、注視データ３０（図１）の一部として受信される。ログエントリ５６は更に、運転手が、格子点と関連付けられている場所を見た車両の位置５８を含んでいる。幾つかの実施形態においては、位置５８は、注視データの一部として受信され、ＧＰＳ、例えば、ＧＰＳ６（図１）を使用して決定される。ログエントリ５６は更に、運転手が、格子点と関連付けられている場所を見た車両に対する識別情報５９を含んでいる。幾つかの実施形態においては、識別情報５９は、注視データの一部として受信され、車両におけるメモリから取り出される。幾つかの実施形態においては、識別情報５９は、運転手の人口統計情報を生成するために使用できる。幾つかの実施形態においては、ログエントリ５６は更に、運転手の人口統計情報を含んでいる。幾つかの実施形態においては、人口統計情報は、識別情報５９、運転手の画像の解析、または他の適切なプロセスに基づいて生成される。幾つかの実施形態においては、人口統計情報は、性別、年齢、身長、体重、または他の適切な情報を含んでいる。

【0059】

図１０は、幾つかの実施形態に従う、ヒストグラム５３のデータ構造１０００の図である。ヒストグラム５３は、グリッドマップ、例えば、グリッドマップ５０（図１および図７）の解析に基づいて生成される。ヒストグラム５３は、ヒストグラム生成器、例えば、ヒストグラム生成器５２（図１）により生成される。ヒストグラム５３は、グリッドマップの各格子点が見られた回数のカウントに関する情報を含んでいる。幾つかの実施形態においては、ヒストグラム５３は、例えば、ビューカウント（見られた回数のカウント）、ｘ軸座標、およびｙ軸座標の三次元データを含んでいる。幾つかの実施形態においては、ヒストグラム５３は、例えば、ビューカウント、ｘ軸座標、ｙ軸座標、およびｚ軸座標の四次元データを含んでいる。幾つかの実施形態においては、ヒストグラム５３は、例えば、ビューカウント、ｘ軸座標、ｙ軸座標、方位角、および仰角の五次元データを含んでいる。幾つかの実施形態においては、ビューカウントは、１日のうちの時間、天候条件、１年の中の時期、車両速度、車両の帰属地に対する場所、運転手の人口統計情報、または他の適切なパラメータなどのような外部事象により影響を受けるかどうかを判定するために、ヒストグラムにおけるデータは外部パラメータに基づいて更に解析される。幾つかの実施形態においては、パラメータは予め決定されている。つまり、システムは、通常使用される周知のパラメータに基づいてデータを解析する。幾つかの実施形態においては、パラメータは、広告主または広告スポンサからの受信したデータ要求に基づいて設定される。

【0060】

幾つかの実施形態においては、ヒストグラム生成器、例えば、ヒストグラム生成器５２（図１）は、これらのパラメータに基づいて、ビューカウントについてのビンを含むヒストグラム５３を生成する。幾つかの実施形態においては、ヒストグラム生成器は、メタデータにおけるタイムスタンプ情報に基づいて、パラメータビンにビューカウントを配置することができる。幾つかの実施形態においては、タイムスタンプ情報は、晴天または日中などのようなタイムスタンプ情報と関連付けられている環境条件を決定するために、例えば、天候データベースまたは暦データベースなどの外部ソースと相関させられる。幾つかの実施形態においては、ヒストグラム生成器は、見られた広告と運転手の家との間の距離を決定するために、運転手の家の住所を決定するための、メタデータにおける車両登録情報を使用する。当業者は、メタデータにおいて利用可能な情報に基づいて、ビューカウントを解析するための追加的パラメータが考えられるということを理解するであろう。

【0061】

図１１は、１つ以上の実施形態に従う、車両乗員注視検出システムを実現するためのシステム１１００の図である。システム１１００はハードウェアプロセッサ１１０２および非一時的コンピュータ可読記憶媒体１１０４を含み、非一時的コンピュータ可読記憶媒体１１０４は、コンピュータプログラムコード１１０６、すなわち一組の実行可能な命令で符号化され、すなわちコンピュータプログラムコード１１０６を格納している。コンピュータ可読記憶媒体１１０４はまた、外部装置とのインタフェースを取るための命令１１０７で符号化されている。プロセッサ１１０２は、バス１１０８を介してコンピュータ可読記憶媒体１１０４に電気的に結合されている。プロセッサ１１０２はまた、バス１１０８によりＩ／Ｏインタフェース１１１０に電気的に結合されている。ネットワークインタフェース１１１２はまた、バス１１０８を介してプロセッサ１１０２に電気的に接続されている。ネットワークインタフェース１１１２は、プロセッサ１１０２およびコンピュータ可読記憶媒体１１０４が、ネットワーク１１１４を介して外部要素に接続できるように、ネットワーク１１１４に接続されている。プロセッサ１１０２は、システム１１００を、車両乗員注視検出システム１００（図１）または方法６００（図６）で記述したような動作の一部またはすべてを実行するために使用可能とさせるために、コンピュータ可読記憶媒体１１０４において符号化されたコンピュータプログラムコード１１０６を実行するように構成されている。

【0062】

幾つかの実施形態においては、プロセッサ１１０２は、中央演算処理装置（ＣＰＵ）、マルチプロセッサ、分散型処理システム、特定用途向け集積回路（ＡＳＩＣ）、および／または、適切な処理ユニットである。

【0063】

幾つかの実施形態においては、コンピュータ可読記憶媒体１１０４は、電子的、磁気的、光学的、電磁的、赤外線、および／または半導体システム（または装置またはデバイス）である。例えば、コンピュータ可読記憶媒体１１０４は、半導体メモリまたはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、剛体磁気ディスク、および／または光ディスクを含んでいる。光ディスクを使用する幾つかの実施形態においては、コンピュータ可読記憶媒体１１０４は、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、コンパクトディスクリード／ライト（ＣＤ－Ｒ／Ｗ）、および／または、デジタルビデオディスク（ＤＶＤ）を含んでいる。

【0064】

幾つかの実施形態においては、記憶媒体１１０４は、システム１１００に、車両乗員注視検出システム１００（図１）または方法６００（図６）の動作のすべてまたは一部を実行させるように構成されているコンピュータプログラムコード１１０６を格納している。幾つかの実施形態においては、記憶媒体１１０４はまた、注視検出パラメータ１１１６、対象物検出パラメータ１１１８、マップパラメータ１１２０、グリッドマップパラメータ１１２２、ヒストグラムパラメータ１１２４、および／または、車両乗員注視検出システム１００（図１）または方法６００（図６）のすべてまたは一部の動作を実行するための一組の実行可能命令などのような、車両乗員注視検出システム１００（図１）または方法６００（図６）のすべてまたは一部を実行している間に生成される情報と共に、車両乗員注視検出システム１００（図１）または方法６００（図６）のすべてまたは一部を実行するために必要な情報も格納している。

【0065】

幾つかの実施形態においては、記憶媒体１１０４は、製造機械とのインタフェースを取るための命令１１０７を格納している。命令１１０７は、車両乗員注視検出システム１００（図１）または方法６００（図６）のすべてまたは一部を効果的に実現するために、外部装置により読み取り可能な命令をプロセッサ１１０２が生成することを可能にする。

【0066】

システム１１００はＩ／Ｏインタフェース１１１０を含んでいる。Ｉ／Ｏインタフェース１１１０は外部回路に結合されている。幾つかの実施形態においては、Ｉ／Ｏインタフェース１１１０は、情報およびコマンドをプロセッサ１１０２に通信で送るためのキーボード、キーパッド、マウス、トラックボール、トラックパッド、および／または、カーソル方向キーを含んでいる。

【0067】

システム１１００はまた、プロセッサ１１０２に結合されているネットワークインタフェース１１１２を含んでいる。ネットワークインタフェース１１１２は、システム１１００が、１つ以上の他のコンピュータシステムが接続されているネットワーク１１１４と通信するのを可能にする。ネットワークインタフェース１１１２は、ＢＬＵＥＴＯＯＴＨ（ブルートゥース（登録商標））、ＷＩＦＩ（登録商標）、ＷＩＭＡＸ（登録商標）、ＧＰＲＳ、またはＷＣＤＭＡ（登録商標）などのような無線ネットワークインタフェース、または、ＥＴＨＥＲＮＥＴ（イーサネット（登録商標））、ＵＳＢ、またはＩＥＥＥ－１３９４などのような有線ネットワークインタフェースを含んでいる。幾つかの実施形態においては、車両乗員注視検出システム１００（図１）または方法６００（図６）のすべてまたは一部は、２つ以上のシステム１１００において実現され、注視データ、マップデータ、対象物検出データ、または、取り込まれた画像などのような情報は、ネットワーク１１１４を介して異なるシステム１１００間で交換される。

【0068】

この記述の１つの態様は、車両乗員注視検出システムに関する。車両乗員注視検出システムは、命令を格納するように構成されている非一時的コンピュータ可読媒体を含んでいる。車両乗員注視検出システムは更に、非一時的コンピュータ可読媒体に接続されているプロセッサを含んでいる。プロセッサは、車両から注視データを受信するために命令を実行するように構成されており、注視データは、車両の乗員の見ている方向に関する情報、車両情報、およびタイムスタンプ情報を含んでいる。プロセッサは更に、受信した注視データとマップデータとに基づいてグリッドマップを生成するために命令を実行するように構成されており、グリッドマップは格子点の配列を含んでおり、格子点の配列の各格子点は、複数の場所の１つの場所に対応している。プロセッサは更に、グリッドマップに基づいてヒストグラムを生成するために命令を実行するように構成されており、ヒストグラムは、タイムスタンプ情報に基づいて、車両の乗員により複数の場所の少なくとも１つの場所が見られたことに関する情報を含んでいる。プロセッサは更に、ヒストグラムに基づいて、少なくとも１つの場所に設けられている対象物の有効性を決定するために命令を実行するように構成されている。プロセッサは更に、対象物の有効性に基づく助言を顧客に送信するために命令を実行するように構成されている。幾つかの実施形態においては、プロセッサは更に、乗員の取り込まれた画像に基づいて、車両の乗員に対する人口統計情報を生成するために命令を実行するように構成されている。幾つかの実施形態においては、プロセッサは更に、人口統計情報に基づいてヒストグラムを生成するために命令を実行するように構成されている。幾つかの実施形態においては、プロセッサは更に、ヒストグラムに基づいて価格設定の助言を生成し、価格設定の助言を顧客に送信するために命令を実行するように構成されている。幾つかの実施形態においては、プロセッサは更に、顧客からデータ要求を受信し、受信したデータ要求に基づいてヒストグラムを生成するために命令を実行するように構成されている。幾つかの実施形態においては、プロセッサは更に、第２注視データを受信したことに応答してグリッドマップを更新し、グリッドマップを更新したことに応答してヒストグラムを更新するために命令を実行するように構成されている。幾つかの実施形態においては、車両の乗員は、車両の運転手である。

【0069】

この記述の１つの態様は方法に関する。方法は、車両から注視データを受信することを含んでおり、注視データは、車両の乗員の見ている方向に関する情報、車両情報、およびタイムスタンプ情報を含んでいる。方法は更に、マップデータと受信した注視データに基づいてグリッドマップを生成することを含んでおり、グリッドマップは、格子点の配列を含んでおり、格子点の配列の各格子点は、複数の場所の１つの場所に対応している。方法は更に、グリッドマップに基づいてヒストグラムを生成することを含んでおり、ヒストグラムは、タイムスタンプ情報に基づいて、車両の乗員により複数の場所の少なくとも１つの場所が見られたことに関する情報を含んでいる。方法は更に、ヒストグラムに基づいて、少なくとも１つの場所に設けられている対象物の有効性を決定することを含んでいる。方法は更に、対象物の有効性に基づく助言を顧客に送信することを含んでいる。幾つかの実施形態においては、方法は更に、乗員の取り込まれた画像に基づいて、車両の乗員に対する人口統計情報を生成することを含んでいる。幾つかの実施形態においては、ヒストグラムを生成することは、人口統計情報に基づいてヒストグラムを生成することを含んでいる。幾つかの実施形態においては、方法は更に、ヒストグラムに基づいて価格設定の助言を生成し、価格設定の助言を顧客に送信することを含んでいる。幾つかの実施形態においては、方法は更に、顧客からデータ要求を受信し、受信したデータ要求に基づいてヒストグラムを生成することを含んでいる。幾つかの実施形態においては、方法は更に、第２注視データを受信したことに応答してグリッドマップを更新し、グリッドマップを更新したことに応答してヒストグラムを更新することを含んでいる。幾つかの実施形態においては、車両の乗員は、車両の運転手である。

【0070】

この記述の１つの態様は、車両乗員注視検出システムに関する。車両乗員注視検出システムは、車両の周囲の環境に関するデータを取り込むように構成されているセンサを含んでいる。車両乗員注視検出システムは更に、車両の乗員の画像を取り込むように構成されているカメラを含んでいる。車両乗員注視検出システムは更に、命令を格納するように構成されている非一時的コンピュータ可読媒体を含んでいる。車両乗員注視検出システムは更に、非一時的コンピュータ可読媒体に接続されているプロセッサを含んでいる。プロセッサは、乗員の取り込まれた画像に基づいて、注視検出結果を生成するために命令を実行するように構成されており、注視検出結果は、乗員が見ている方向を示している。プロセッサは更に、センサからの取り込まれたデータに基づいて、対象物を検出するために命令を実行するように構成されている。プロセッサは更に、検出された対象物、車両の位置、およびマップデータに基づいて、車両に対する車両状態情報を生成するために命令を実行するように構成されている。プロセッサは更に、注視検出結果、検出された対象物、および車両状態情報に基づいて注視データを生成するために命令を実行するように構成されており、注視データは、注視検出結果と関連付けられているタイムスタンプ情報を含んでいる。プロセッサは更に、注視データを外部装置に送信するために命令を実行するように構成されている。幾つかの実施形態においては、プロセッサは更に、乗員の取り込まれた画像の解析に基づく、検出された方位角と検出された仰角とに基づいて注視検出結果を生成するために命令を実行するように構成されている。幾つかの実施形態においては、プロセッサは更に、取り込まれた画像における乗員の目の視軸に基づく深度情報を含む注視検出結果を生成するために命令を実行するように構成されている。幾つかの実施形態においては、プロセッサは更に、注視検出結果と、センサにより取り込まれた周囲画像のピクセル位置との間の相関関係に基づいて注視データを生成するために命令を実行するように構成されている。幾つかの実施形態においては、車両乗員注視検出システムは更に、全地球測位システム（ＧＰＳ）と、非一時的コンピュータ可読媒体に格納されているマップを含んでおり、プロセッサは更に、ＧＰＳからの情報と、非一時的コンピュータ可読媒体に格納されているマップからのマップデータに基づいて、車両状態情報を生成するために命令を実行するように構成されている。幾つかの実施形態においては、乗員は、車両の運転手である。

【0071】

前述したものは、当業者が、本開示の態様をより良好に理解できるように、幾つかの実施形態の特徴の要点を述べている。当業者は、ここにおいて提示されている実施形態の、同じ目的を実行するために、および／または、同じ利点を達成するために、他のプロセスおよび構造を設計または修正するための根拠として本開示を容易に使用できるということを認識すべきである。当業者はまた、そのような等価な構成は、本開示の思想および範囲から逸脱するものではなく、本開示の思想および範囲から逸脱することなくここにおいて種々の変更、置換、および修正を行うことができるということも認識すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】