特許 7526837 物体情報取得方法及び実装するためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-24

(45)【発行日】2024-08-01

(54)【発明の名称】物体情報取得方法及び実装するためのシステム

(51)【国際特許分類】

   G01C 21/36 20060101AFI20240725BHJP

   G06T 7/00 20170101ALI20240725BHJP

   G06T 7/11 20170101ALI20240725BHJP

【ＦＩ】

G01C21/36

G06T7/00 650Z

G06T7/11

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2023026444

(22)【出願日】2023-02-22

(65)【公開番号】P2023147206

(43)【公開日】2023-10-12

【審査請求日】2023-02-22

(31)【優先権主張番号】17/707,874

(32)【優先日】2022-03-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100180194

【弁理士】

【氏名又は名称】利根 勇基

(72)【発明者】

【氏名】橋本 大輔

【審査官】増子 真

(56)【参考文献】

【文献】特開２０１９－１３３６７０（ＪＰ，Ａ）

【文献】特開２０２０－１４４５５２（ＪＰ，Ａ）

【文献】特開２０１３－２５５１６８（ＪＰ，Ａ）

【文献】特開２００９－２５７９６４（ＪＰ，Ａ）

【文献】特開２０１８－００４３２５（ＪＰ，Ａ）

【文献】特開２０１５－０９２３０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０１Ｃ ２３／００ － ２５／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０９Ｂ ２３／００ － ２９／１４

(57)【特許請求の範囲】

【請求項1】

物体情報を取得する方法であって、
車両の乗員から要求開始を受信することと、
前記要求開始を受信後に前記乗員から要求を受信することと、
前記乗員からの前記要求の内容を判別することと、
前記乗員の視線位置を検出することと、
前記車両に取り付けられたセンサによって収集されたデータに基づいて、前記車両の周囲の環境に関する情報を受信することと、
前記検出された視線位置及び前記車両の周囲の環境に関する前記情報に基づいて前記車両の外側の関心領域（ＲＯＩ）を識別することと、
前記ＲＯＩ及び前記要求の内容に基づいてログデータを生成することと、
前記ログデータを外部装置へ送信することと、
前記ＲＯＩ内の物体に関する情報であって、前記要求の内容を満たす情報を受信することと、
を含み、
前記車両の周囲の前記環境に関する情報を受信することは、前記車両に取り付けられたカメラからの画像を受信することを含み、
前記方法は、前記ＲＯＩに基づいて前記画像をトリミングすることをさらに含み、
前記ログデータを生成することは、前記トリミングされた画像を用いて前記ログデータを生成することを含む、
方法。

【請求項2】

物体情報を取得する方法であって、
車両の乗員から要求開始を受信することと、
前記要求開始を受信後に前記乗員から要求を受信することと、
前記乗員からの前記要求の内容を判別することと、
前記乗員の視線位置を検出することと、
前記車両に取り付けられたセンサによって収集されたデータに基づいて、前記車両の周囲の環境に関する情報を受信することと、
前記検出された視線位置及び前記車両の周囲の環境に関する前記情報に基づいて前記車両の外側の関心領域（ＲＯＩ）を識別することと、
前記ＲＯＩ及び前記要求の内容に基づいてログデータを生成することと、
前記ログデータを外部装置へ送信することと、
前記ＲＯＩ内の物体に関する情報であって、前記要求の内容を満たす情報を受信することと、
前記乗員の身元を判別することと、
を含み、
前記ログデータを生成することは、前記乗員の身元に基づいて前記ログデータを生成することを含む、
方法。

【請求項3】

物体情報を取得する方法であって、
車両の乗員から要求開始を受信することと、
前記要求開始を受信後に前記乗員から要求を受信することと、
前記乗員からの前記要求の内容を判別することと、
前記乗員の視線位置を検出することと、
前記車両に取り付けられたセンサによって収集されたデータに基づいて、前記車両の周囲の環境に関する情報を受信することと、
前記検出された視線位置及び前記車両の周囲の環境に関する前記情報に基づいて前記車両の外側の関心領域（ＲＯＩ）を識別することと、
前記ＲＯＩ及び前記要求の内容に基づいてログデータを生成することと、
前記ログデータを外部装置へ送信することと、
前記ＲＯＩ内の物体に関する情報であって、前記要求の内容を満たす情報を受信することと、
を含み、
前記乗員の前記視線位置を検出することは、
前記車両に対する前記乗員の視線の方位角を検出することと、
前記車両に対する前記乗員の視線の仰角を検出することと、
前記車両に対する前記乗員の視線の深度を検出することと、
を含む、
方法。

【請求項4】

物体情報を取得する方法であって、
車両の乗員から要求開始を受信することと、
前記要求開始を受信後に前記乗員から要求を受信することと、
前記乗員からの前記要求の内容を判別することと、
前記乗員の視線位置を検出することと、
前記車両に取り付けられたセンサによって収集されたデータに基づいて、前記車両の周囲の環境に関する情報を受信することと、
前記検出された視線位置及び前記車両の周囲の環境に関する前記情報に基づいて前記車両の外側の関心領域（ＲＯＩ）を識別することと、
前記ＲＯＩ及び前記要求の内容に基づいてログデータを生成することと、
前記ログデータを外部装置へ送信することと、
前記ＲＯＩ内の物体に関する情報であって、前記要求の内容を満たす情報を受信することと、
を含み、
前記乗員の視線位置を検出することは前記視線位置のワールド座標を検出することを含み、前記ログデータを生成することは前記ワールド座標に基づいて前記ログデータを生成することを含む、
方法。

【請求項5】

前記要求開始を受信することは、キーワード、キーフレーズ、所定のジェスチャ、又はユーザインタフェース（ＵＩ）への入力を含む前記要求開始を受信することを含む、請求項１から請求項４までのいずれか１項に記載の方法。

【請求項6】

前記物体に関する情報を受信することは、前記要求の内容が前記物体の識別についての要求であることに応答して、前記物体に関する識別情報を受信することを含む、請求項１から請求項４までのいずれか１項に記載の方法。

【請求項7】

前記乗員の視線位置を検出することは、前記車両に取り付けられたカメラを用いて前記乗員の画像を捕捉することを含む、請求項１から請求項４までのいずれか１項に記載の方法。

【請求項8】

物体情報を取得するためのシステムであって、
乗員監視カメラと、
前方カメラと、
命令を記憶するように構成された非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に接続されたプロセッサと
を備え、
前記プロセッサは、
車両の乗員から要求開始を受信し、
前記要求開始を受信後に前記乗員から要求を受信し、
前記乗員からの前記要求の内容を判別し、
前記乗員監視カメラからの情報に基づいて、前記乗員の視線位置を検出し、
前記車両に取り付けられた前記前方カメラに基づいて、前記車両の周囲の環境に関する情報を受信し、
前記検出された視線位置及び前記車両の周囲の環境に関する前記情報に基づいて前記車両の外側の関心領域（ＲＯＩ）を識別し、
前記ＲＯＩ及び前記要求の内容に基づいてログデータを生成し、
前記ログデータを外部装置へ送信するための命令を生成し、
前記ＲＯＩ内の物体に関する情報であって、前記要求の内容を満たす情報を受信し、
前記ＲＯＩに基づいて前記前方カメラからの画像をトリミングし、
前記トリミングされた画像を用いて前記ログデータを生成する
ための前記命令を実行するように構成される、システム。

【請求項9】

物体情報を取得するためのシステムであって、
乗員監視カメラと、
前方カメラと、
命令を記憶するように構成された非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に接続されたプロセッサと
を備え、
前記プロセッサは、
車両の乗員から要求開始を受信し、
前記要求開始を受信後に前記乗員から要求を受信し、
前記乗員からの前記要求の内容を判別し、
前記乗員監視カメラからの情報に基づいて、前記乗員の視線位置を検出し、
前記車両に取り付けられた前記前方カメラに基づいて、前記車両の周囲の環境に関する情報を受信し、
前記検出された視線位置及び前記車両の周囲の環境に関する前記情報に基づいて前記車両の外側の関心領域（ＲＯＩ）を識別し、
前記ＲＯＩ及び前記要求の内容に基づいてログデータを生成し、
前記ログデータを外部装置へ送信するための命令を生成し、
前記ＲＯＩ内の物体に関する情報であって、前記要求の内容を満たす情報を受信し、
前記乗員の身元を判別し、
前記乗員の身元に基づいて前記ログデータを生成する
ための前記命令を実行するように構成される、システム。

【請求項10】

物体情報を取得するためのシステムであって、
乗員監視カメラと、
前方カメラと、
命令を記憶するように構成された非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に接続されたプロセッサと
を備え、
前記プロセッサは、
車両の乗員から要求開始を受信し、
前記要求開始を受信後に前記乗員から要求を受信し、
前記乗員からの前記要求の内容を判別し、
前記乗員監視カメラからの情報に基づいて、前記乗員の視線位置を検出し、
前記車両に取り付けられた前記前方カメラに基づいて、前記車両の周囲の環境に関する情報を受信し、
前記検出された視線位置及び前記車両の周囲の環境に関する前記情報に基づいて前記車両の外側の関心領域（ＲＯＩ）を識別し、
前記ＲＯＩ及び前記要求の内容に基づいてログデータを生成し、
前記ログデータを外部装置へ送信するための命令を生成し、
前記ＲＯＩ内の物体に関する情報であって、前記要求の内容を満たす情報を受信し、
前記車両に対する前記乗員の視線の方位角を検出し、
前記車両に対する前記乗員の視線の仰角を検出し、
前記車両に対する前記乗員の視線の深度を検出する
ための前記命令を実行するように構成される、システム。

【請求項11】

物体情報を取得するためのシステムであって、
乗員監視カメラと、
前方カメラと、
命令を記憶するように構成された非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に接続されたプロセッサと
を備え、
前記プロセッサは、
車両の乗員から要求開始を受信し、
前記要求開始を受信後に前記乗員から要求を受信し、
前記乗員からの前記要求の内容を判別し、
前記乗員監視カメラからの情報に基づいて、前記乗員の視線位置を検出し、
前記車両に取り付けられた前記前方カメラに基づいて、前記車両の周囲の環境に関する情報を受信し、
前記検出された視線位置及び前記車両の周囲の環境に関する前記情報に基づいて前記車両の外側の関心領域（ＲＯＩ）を識別し、
前記ＲＯＩ及び前記要求の内容に基づいてログデータを生成し、
前記ログデータを外部装置へ送信するための命令を生成し、
前記ＲＯＩ内の物体に関する情報であって、前記要求の内容を満たす情報を受信し、
前記視線位置のワールド座標を検出し、
前記ワールド座標に基づいて前記ログデータを生成する
ための前記命令を実行するように構成される、システム。

【請求項12】

前記プロセッサは、
前記要求の内容が前記物体の識別についての要求であることに応答して、前記物体に関する識別情報を含む、前記物体に関する情報を受信する
ための前記命令を実行するように構成される、請求項８から請求項１１までのいずれか１項に記載のシステム。

【請求項13】

物体情報を取得する方法であって、
マイクを用いて車両の乗員からの要求開始を受信することと、
前記マイクを用いて、前記要求開始を受信後に前記乗員から要求を受信することと、
前記乗員の視線位置を検出することと、
前記車両に取り付けられたカメラを用いて、前記車両の周囲の環境に関する情報を受信することと、
前記車両の周囲の環境に関する前記情報と、前記受信した要求とに基づいてログデータを生成することと、
前記ログデータを外部装置へ送信することと、
前記車両の周囲の環境内の物体に関する情報を受信することと、
前記物体に関する情報を受信したことに応答して、前記乗員が視認可能な通知を自動的に生成することと、
を含み、
前記物体に関する情報を受信することは、前記外部装置へアクセスするためのリンクを受信することを含む、
方法。

【請求項14】

前記通知を自動的に生成することは、前記乗員が視認可能なユーザインタフェース上に前記リンクを表示することを含む、請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本願は、全体として参照により本明細書に取り込まれる、２０２１年１０月８日に出願された米国特許出願第１７／４９７，８４６号明細書に関する。

【背景技術】

【0002】

車両の乗員は、車両の窓の外の興味のある物体を見る。場合によっては、乗員は物体を識別し又は物体についての更なる情報を知ることを望む。場合によっては、乗員は、スマートフォンなどの携帯機器を用いて物体の画像を捕捉し、その後、物体を識別するために又は物体について更に知るためにインターネット上での検索を行うだろう。場合によっては、車両の移動によって物体の画像の捕捉がより困難になる。加えて、場合によっては、物体の画像の捕捉を遮る障害物が車両と物体の間を通過する。場合によっては、運転者は、携帯機器を用いて画像を捕捉するために、ハンドルから安全に手を離すことができない。

【0003】

一部の手法では、乗員は地図を見て物体を識別しようと試みる。そして、乗員は、地図を用いて識別された物体が正しいか否かを判別すためにインターネットを検索することができ、正しい場合には、物体についての更なる情報を検索することができる。地図を用いた物体の識別は、他の既知のランドマーク又は物体に対する物体の場所についての乗員の最良の推定を用いてなされる。

【図面の簡単な説明】

【0004】

【図1】図１は、一部の実施形態に係る物体識別システムのブロック図である。

【図2】図２は、一部の実施形態に係る物体の識別方法のフローチャートである。

【図3】図３は、一部の実施形態に係る物体の識別方法のフローチャートである。

【図4】図４は、一部の実施形態に係る、乗員要求のデータ構造の図である。

【図5】図５は、一部の実施形態に係る、注目領域データのデータ構造の図である。

【図6】図６は、一部の実施形態に係る、注目領域データのデータ構造の図である。

【図7】図７は、一部の実施形態に係る、注目領域データのデータ構造の図である。

【図8】図８は、一部の実施形態に係るユーザインタフェースの図である。

【図9】図９は、一部の実施形態に係るユーザインタフェースの図である。

【図10】図１０は、一部の実施形態に係るユーザインタフェースの図である。

【図11】図１１は、一部の実施形態に係る、物体の識別を実行するためのシステムのブロック図である。

【発明を実施するための形態】

【0005】

本開示の態様は、以下の詳細な説明を添付の図と共に読むことで最もよく理解される。業界内での標準的な慣行に従い、様々な特徴は縮尺通りには描かれていないことに留意されたい。実際、説明を明確にするために、様々な特徴の寸法を任意に増減することができる。

【0006】

以下の開示は、提供される主題の様々な特徴を実現する、多くの異なる実施形態又は実施例を提供する。本開示を簡略化するため、構成要素、値、動作、材料、配置、又は同種のものの具体例が以下に記載される。これらはもちろん例に過ぎず、限定することは意図していない。他の構成要素、値、動作、材料、配置、又は同種のものが考えられる。例えば、以下の説明において第１の特徴を第２の特徴の上方又は上に形成することは、第１の特徴及び第２の特徴が直接接触して形成される実施形態を含んでもよく、また第１の特徴及び第２の特徴が直接接触しないように追加の特徴が第１の特徴と第２の特徴との間に形成されうる実施形態も含むことがある。加えて、本開示は、様々な例において参照番号及び／又は参照文字を繰り返すことがある。この繰り返しは簡潔さ及び明確さを目的としており、それ自体では論じられる様々な実施形態及び／又は構成の間の関係を決定づけることはない。

【0007】

移動する車両内の乗員は、関心のある物体を識別するのに苦労することが多い。場合によっては、乗員は、地図又は捕捉画像のいずれかに基づいて物体を正確に識別することができない。場合によっては、運転者などの乗員は、関心のある物体の識別を試みるために、地図又はスマートフォンのような撮像装置を使用することができない。関心のある物体を乗員が正確に識別するのを支援するため、本明細書の物体識別方法は、要求開始コマンドを視線データ及び車両センサデータと併用して物体を識別する。一部の実施形態では、識別された物体についての情報、例えば営業時間、履歴情報なども提供される。

【0008】

視線データを利用することで、方法は、乗員が見ている方向を判別することができる。視線データを地図データ及び／又は車両センサデータと組み合わせて、要求が開始された時点で乗員がどんな物体を観察しているかが判別される。要求開始を利用することは、処理負荷と、車両とサーバなどの外部装置との間で転送されるデータとを削減するのを助ける。一部の実施形態では、要求開始には、音声信号を介して乗員から受信したキーワードが含まれる。一部の実施形態では、要求開始には、乗員の所定のジェスチャを検出することが含まれる。一部の実施形態では、要求開始には、乗員がアクセス可能なユーザインタフェース（ＵＩ）からの入力を受信するが含まれる。

【0009】

車両センサ及び／又は車両内に記憶された地図データを用いることは、スマートフォンなどの別の装置を用いることなく、また運転者などの乗員がハンドルから手を離すことなく、車両の周囲の環境に関する情報を捕捉するのに役立つ。これは、乗員及び／又は運転者の注意が逸らされるのを少なくするのを助け、乗員が外部装置を扱うことなしに物体を識別できるようにする。また、車両センサ及び地図データを使用することは、関心のある物体の景色を他の車両などの物体が遮る状況において、又は、物体が、当初は見えていたが、外部装置が使用可能な状態となった時点で遮られた場合に、物体識別の正確さを高めるのにも役立つ。

【0010】

一部の実施形態では、物体の識別を確認するのを助けるために、物体は車両のＵＩ上に表示される。関心のある物体が識別されると、乗員は、識別された物体に関する追加の情報を要求することができる。例えば、一部の実施形態では、乗員は識別された物体への道順、識別された物体の営業時間、識別された物体に関する履歴情報、又は他の適切な情報を要求することができる。

【0011】

図１は、一部の実施形態に係る物体識別システム１００のブロック図である。物体識別システム１００の説明では、運転者によって制御される自動車に焦点が当てられる。ただし、技術者により操作される列車又は他の移動車両などの他の車両及び操作者が本明細書の範囲内であることを当業者は認識するであろう。物体識別システム１００は車両システム１１０を含み、車両システム１１０は、車両の乗員についての情報を捕捉して視線データを生成するように構成されている。車両システム１１０は要求開始信号及び乗員要求も捕捉する。物体識別システム１００は、生成された視線データと、車両のセンサからログデータとして収集された情報とを受信するように構成されているサーバ１４０をさらに含む。物体識別システム１００は、乗員要求に関連付けられた車両の乗員がアクセス可能な携帯機器１６０をさらに含む。一部の実施形態では、携帯機器１６０の機能の一部又はすべては車両システム１１０に組み込まれている。携帯機器１６０の機能を車両システム１１０へ組み込むことは、乗員が携帯機器にアクセスできない場合、又は携帯機器のバッテリが携帯機器を使用するのに十分に充電されていない場合であっても、乗員が物体識別システム１００を利用することを可能とする。

【0012】

車両システム１１０は、乗員監視カメラ１１２からデータを受信するように構成されている電子制御装置（ＥＣＵ）１２０と、前方カメラ１１４と、全地球測位システム（ＧＰＳ）１１６と、地図１１８とを含む。ＥＣＵ１２０は視線検出装置１２２を含み、視線検出装置１２２は、乗員監視カメラ１１２からデータを受信し、受信したデータに基づいて視線方向及び／又は視線深度を検出するように構成されている。ＥＣＵ１２０は、乗員の視線位置を判別するように構成されている注目領域認識装置１２４をさらに含む。ＥＣＵ１２０は位置特定装置１２６をさらに含み、位置特定装置１２６は、ＧＰＳ１１６及び地図１１８からデータを受信し、検出された物体及び／又は既知の物体及び／又は道路位置に対する車両の位置並びに車両の姿勢及び状態を判別するように構成されている。姿勢は、車道などの基準点に対する車両の向きである。一部の実施形態では、車両の位置は車両の位置ベクトルも意味する。車両の姿勢及び状態は、車両の速度及び方位を意味する。一部の実施形態では、車両の姿勢及び状態は、車両の速度ベクトル、加速度ベクトル、及び加加速度ベクトルも意味する。一部の実施形態では、位置ベクトル、速度ベクトル、加速度ベクトル、及び加加速度ベクトルは、角度ベクトルを含む。一部の実施形態では、車両の状態は、車両のエンジン又はモータが作動しているかも意味する。ＥＣＵ１２０はログ収集装置１２８を更に含み、ログ収集装置１２８は、関心のある物体を識別するのにサーバ１４０により使用可能なログデータをまとめるために、前方カメラ１１４、位置特定装置１２６、及びデータ収集要求装置１３２から情報を受信し、乗員からのデータ収集要求を車両システム１１０からの対応するセンサデータと結合させるように構成されている。ＥＣＵ１２０は、携帯機器１６０からデータ要求を受信するように構成されている要求受信装置１３０をさらに含む。一部の実施形態では、携帯機器１６０の機能が車両システム１１０に組み込まれている場合、要求受信装置１３０は省かれる。ＥＣＵ１２０はデータ収集要求装置１３２をさらに含み、データ収集要求装置１３２は、注目領域認識装置１２４から視線データ及び関心領域の情報を受信し、要求受信装置１３０から乗員要求情報を受信するように構成されている。データ収集要求装置１３２は、受信した情報を相互に関連付けて、乗員要求情報に関連するデータを車両の前方カメラ１１４などのセンサから収集するためにログ収集装置１２８のための命令を生成するように構成される。ＥＣＵ１２０は、ログ収集装置１２８からログデータを受信してログデータをサーバ１４０へ送信するように構成されているログ送信装置１３４をさらに含む。

【0013】

乗員監視カメラ１１２は、観察車両（viewing vehicle）の運転者又は他の乗員の画像を捕捉するように構成される。乗員監視カメラ１１２は車両に接続されている。一部の実施形態では、乗員監視カメラ１１２は可視光カメラを含む。一部の実施形態では、乗員監視カメラ１１２は赤外線（ＩＲ）カメラ、又は別の適切なセンサを含む。一部の実施形態では、乗員監視カメラ１１２は、種々の大きさである乗員の少なくとも１つの眼の画像を捕捉するために、車両に対して移動可能である。乗員の両眼の画像を捕捉するのが好ましいが、一部の乗員は眼を１つだけ有しており、乗員の頭が乗員監視カメラ１１２から背けられた場合には乗員の眼のうちの１つだけが乗員監視カメラ１１２により捕捉可能である。一部の実施形態では、乗員監視カメラ１１２は自動的に調整される。一部の実施形態では、乗員監視カメラ１１２は手動で調整可能である。一部の実施形態では、捕捉画像は乗員の少なくとも１つの眼を含む。一部の実施形態では、捕捉画像は、乗員についての追加の情報、例えばおおよその身長、おおよその体重、髪の長さ、髪の色、服装、又は他の適切な情報などを含む。一部の実施形態では、乗員監視カメラ１１２は乗員の種々の領域の画像を捕捉する多数の撮像装置を含む。一部の実施形態では、複数の乗員監視カメラ１１２が車両内の異なる複数の場所に配置される。例えば、一部の実施形態では、第１乗員監視カメラ１１２が車両の中央部にあるルームミラーに近接して配置され、第２乗員監視カメラ１１２が運転者側のドアに近接して配置される。当業者は、車両の操作に影響しない乗員監視カメラ１１２の他の場所が本開示の範囲内であることを認識するであろう。一部の実施形態では、乗員監視カメラ１１２からのデータは他のデータとの同期を助けるタイムスタンプ又は他のメタデータを含む。

【0014】

当業者は、一部の実施形態では、車両システム１１０が多数の乗員を監視するための追加のカメラを含むことを理解するであろう。追加のカメラのそれぞれは、上述した乗員監視カメラ１１２と類似している。例えば、一部の実施形態では、１つ又は複数の監視カメラが前部座席の乗客の少なくとも１つの眼の画像を捕捉するために車両内に配置される。一部の実施形態では、１つ又は複数の監視カメラが後部座席の乗客の少なくとも１つの眼の画像を捕捉するために車両内に配置される。一部の実施形態では、追加のカメラは、対応する前部座席の乗客又は後部座席の乗客を車両が検出したことに応答してのみ起動される。一部の実施形態では、車両の操作者は選択的に追加のカメラを非作動にすることができる。追加のカメラを含む実施形態において、捕捉された画像は依然として視線検出装置１２２へ送られ、視線検出装置１２２は、車両の監視されている乗員のそれぞれについての視線結果を生成することができる。

【0015】

前方カメラ１１４は車両の周囲の環境の画像を捕捉するように構成される。一部の実施形態では、前方カメラ１１４は、可視光カメラ、ＩＲカメラを含む。一部の実施形態では、前方カメラ１１４は、ライダー（ＬｉＤＡＲ、光検出及び測距）センサ、レーダー（ＲＡＤＡＲ、無線検出及び測距）センサ、音波探知（ＳＯＮＡＲ）センサ、若しくは別の適切なセンサと置き換えられ、又はさらにこれらのセンサと共に用いられる。一部の実施形態では、前方カメラ１１４は、車両の複数の他の場所に配置される複数の追加のカメラを含む。例えば、一部の実施形態では、追加のカメラは、観察車両の左右の環境のより広い範囲を検出するために車両の側面に配置される。車両の乗員は車両のサイドウインドウから外を見ることができるので、車両の周囲の環境のより広い範囲を検出するために追加のカメラを用いることは、車両の乗員が見ている物体を判別する精度を高めるのを助ける。例えば、一部の実施形態では、追加のカメラは、車両の後部の環境のより広い範囲を検出するために車両の背面に配置される。この情報は、運転者以外の車両の乗員がリアウインドウから見ることができる更なる物体を捕捉するのに役立つ。また、前方カメラ１１４は、中央分離帯やガードレールなどの障害物が物体の場所と観察車両の乗員との間に存在するかどうかを判別するために画像を捕捉することもできる。一部の実施形態では、前方カメラ１１４からのデータは、前方カメラ１１４からのデータを乗員監視カメラ１１２からのデータと同期するのを助けるためにタイムスタンプ又は他のメタデータを含む。

【0016】

ＧＰＳ１１６は車両の場所を判別するように構成される。観察車両の場所を知ることは、物体及び乗員の注意を引く方向を、地図１１８上の判別された場所に関する物体及び領域と関連付けるのに役立つ。車両の進行方向を知ることは、視線データの生成を支援するために車両の乗員がどの方向を見ているかを予測するのに役立つ。観察車両の速度を知ることは、車両の乗員が関心のある物体を見る機会をどれだけ長く持てたかを判別するのに役立つ。例えば、一部の実施形態では、乗員が要求を開始する時点までに、車両が関心のある物体を通り過ぎており、又は関心のある物体に対する車両の位置が変わっている。結果として、種々の時点における車両の場所を知ることは、乗員要求を関心のある物体に関連付けるのを助ける。

【0017】

地図１１８は、車道及び車道に沿った既知の物体に関連する情報を含む。一部の実施形態では、地図１１８は、車両の場所及び進行方向を識別するのにＧＰＳ１１６と共に使用可能である。一部の実施形態では、地図１１８はサーバ１４０などの外部装置から受信される。一部の実施形態では、地図１１８は前方カメラ１１４及び／又はＧＰＳ１１６からの情報に基づいて定期的に更新される。一部の実施形態では、地図１１８は外部装置から受信した情報に基づいて定期的に更新される。一部の実施形態では、地図１１８は、同時ローカリゼーション及びマッピング（ＳＬＡＭ）アルゴリズムによりセンサデータから生成される。

【0018】

以下の説明では、簡単にするために主に運転者に関する情報の分析に焦点が当てられる。当業者は、説明が前部座席の乗客や後部座席の乗客などの車両の他の乗員にも同様に適用可能であることを理解するであろう。

【0019】

視線検出装置１２２は、乗員監視カメラ１１２からデータを受信し、視線検出結果を生成するように構成される。視線検出結果には、運転者の眼が見ている方向が含まれる。一部の実施形態では、方向は方位角及び仰角を含む。方位角及び仰角を含むことで、運転者が見ている、水平線に平行な方向及び水平線に垂直な方向の両方を判別することが可能となる。一部の実施形態では、視線検出結果は深度情報をさらに含む。深度情報は、運転者の眼の視軸が収束する、運転者からの推定距離である。深度情報を含むことで、運転者と運転者が注視している物体との間の距離の判別が可能となる。深度情報を方位角及び仰角と組み合わせることで、視線検出結果の精度が向上する。一部の実施形態では、捕捉された画像が運転者の片眼だけを含む場合、深度情報を判別することは難しく、そのため方位角及び仰角のみが視線検出装置１２２により判別される。一部の実施形態では、視線検出装置１２２は、さらに、前方カメラ１１４からデータを受信し、方位角及び仰角に基づいて、検出された視線を前方カメラ１１４からの画像の画素位置に関連付けるように構成される。

【0020】

一部の実施形態では、視線検出装置１２２は車両に取り付けられない。一部の実施形態では、視線検出装置１２２は観察車両の乗員に取り付けられる。例えば、一部の実施形態では、視線検出装置１２２は、スマートグラス、別のスマート衣類、又は装着者の視線情報を判別することのできる他のそのような装置を含む。スマートグラスを利用する一部の実施形態では、視線データは、歩行者、自転車に乗っている人、又は車両内にはいない他の人から収集することができる。物体識別システム１００は、関心のある物体を識別するのを助けるために、この視線データを利用することができる。車両に取り付けられていない視線検出装置１２２の利用者を含む実施形態では、前方カメラ１１４及び位置特定装置１２６が依然として視線検出装置１２２と組み合わせて使用される。

【0021】

注目領域認識装置１２４は、視線検出装置１２２から視線データを受信し、さらに視線データを絞り込んで、乗員の焦点がある乗員の可視領域の領域を識別するように構成される。受信した視線データに基づいて、注目領域認識装置１２４は、乗員の注意が向けられた、車両に対する位置を識別する。一部の実施形態では、注目領域認識装置１２４は、さらに、前方カメラ１１４から情報を受信するように構成され、前方カメラ１１４の捕捉画像から、乗員の注意が向けられている画素領域を識別する。注目領域認識装置１２４は、ログ収集装置１２８により収集されたログデータのデータ量を削減してＥＣＵ１２０での処理負荷を削減するのに役立つ。

【0022】

位置特定装置１２６は、ＧＰＳ１１６及び地図１１８から情報を受信し、ワールド座標系における車両の場所又は地図１１８上の物体及び既知の物体に対する車両の場所を識別するように構成される。一部の実施形態では、位置特定装置１２６は車両の進行方向及び速度を判別するのに使用可能である。また、位置特定装置１２６は車両の状態情報を判別するようにも構成される。一部の実施形態では、状態情報には車両の速度が含まれる。一部の実施形態では、状態情報には車両の速度ベクトルが含まれる。一部の実施形態では、状態情報には車両の進行方向が含まれる。一部の実施形態では、状態情報には車両の加速度ベクトルが含まれる。一部の実施形態では、状態情報には車両の加加速度ベクトルが含まれる。一部の実施形態では、状態情報には、車両のエンジン又はモータが作動しているかが含まれる。一部の実施形態では、状態情報にはフロントガラスのワイパーの動作などの車両に関する他の状態情報が含まれる。

【0023】

ログ収集装置１２８は、前方カメラ１１４から画像を受信し、位置特定装置１２６から状態情報を受信し、データ収集要求装置１３２から乗員要求情報を受信するように構成される。ログ収集装置１２８は、受信したデータを相互に関連付けて、乗員要求が開始された時点で前方カメラ１１４からの画像のどの部分が乗員により観察されていたかを判別するように構成される。また、ログ収集装置１２８は、乗員がどんな情報を求めているか、例えば物体の識別や、物体への道順、又は他の適切な情報などを判別するように構成される。ログ収集装置１２８は、注目領域認識装置１２４及びデータ収集要求装置１３２により分析された視線データに基づいて、前方カメラ１１４により捕捉された画像において観察されていた部分を判別する。分析された視線データに基づいて、ログ収集装置１２８は、分析のためにサーバへ送信されるデータ量を削減するために前方カメラ１１４からの画像をトリミングすることができる。ログ収集装置１２８は、画像のトリミングにおける精度を補助するために、位置特定装置１２６からの状態情報を用いて、分析された視線データを補完する。

【0024】

ログ収集装置１２８は、トリミングされた画像及び要求されたデータなどの、受信されて相互に関連付けられたデータに基づいて、ログデータを生成する。また、ログ収集装置１２８は、収集されたデータの同期を支援するために、且つサーバ１４０内のキュー優先度のために、タイムスタンプ情報をログデータに関連付ける。一部の実施形態では、ログ収集装置１２８は、トリミングされた画像に関連付けられたワールド座標をさらに含むようにログデータを生成する。一部の実施形態では、ログ収集装置１２８は、トリミングされた画像に関連付けられた地図の場所をさらに含むようにログデータを生成する。一部の実施形態では、ログ収集装置１２８は、乗員要求に応答する精度を高めるのを支援するための追加の情報を含む。

【0025】

上記の説明は、前方カメラ１１４からの画像に基づいてログデータを生成することに関するが、当業者は、ログ収集装置１２８は画像に基づいてログデータを生成することのみに限定されないことを理解するであろう。一部の実施形態では、ログ収集装置１２８は、ＲＡＤＡＲ、ＬｉＤＡＲ、又は他の適切なセンサなどの車両に取り付けられた他のセンサからの情報に基づいてログデータを生成するように構成される。一部の実施形態では、ログ収集装置１２８は、画像データの代わりにＬｉＤＡＲから受信した点群データに基づいてログデータを生成することができる。点群データは検出器からの各点の距離に基づいて三次元の形状又は物体を表現するのに使用可能な空間内のデータ点の集合を含むことを、当業者は認識するであろう。乗員がスマートグラスを装着している一部の実施形態では、ログ収集装置１２８は、さらに、スマートグラスから受信した情報に基づいてログデータを生成するように構成される。

【0026】

要求受信装置１３０は携帯機器１６０からの要求を受信するように構成される。一部の実施形態では、携帯機器１６０の機能が車両システム１１０に組み込まれる場合、要求受信装置１３０は省かれ、要求はデータ収集要求装置１３２へ直接転送される。一部の実施形態では、要求受信装置１３０は要求を無線で受信するように構成される。一部の実施形態では、要求受信装置１３０は要求を有線接続を介して受信するように構成される。一部の実施形態では、要求受信装置１３０は要求を受信するより前に要求開始を受信するように構成される。一部の実施形態では、要求開始を受信するのに応答して、要求受信装置１３０は、ログデータを生成するために前方カメラ１１４などの車両センサからの情報が確実に記憶されるよう助けるために、データ収集要求装置にログ収集装置１２８でのデータ収集を開始するように通知するように構成される。一部の実施形態では、要求受信装置１３０はさらに、要求を行う乗員の識別情報及び要求が行われたタイムスタンプ情報を含む要求を受信するように構成される。一部の実施形態では、要求受信装置１３０は要求を行う乗員の身元に関連する情報を受信するように構成される。

【0027】

データ収集要求装置１３２は、乗員要求を注目領域認識装置１２４からの関心領域（ＲＯＩ）情報と相互に関連付けるように構成される。データ収集要求装置１３２は、乗員要求及びＲＯＩ情報を、ログ収集装置１２８が乗員要求を満たす情報を収集するのに使用可能な命令へと変換するように構成される。一部の実施形態では、データ収集要求装置１３２は、車両の周囲の環境の或る領域に関する情報を捕捉するのにどのセンサが利用可能であるかを判別するように構成される。一部の実施形態では、データ収集要求装置１３２は、ログ収集装置１２８が乗員要求を満たすためにどんな種類のセンサを使用すべきかを識別するように構成される。データ収集要求装置１３２は、さらに、乗員要求のタイムスタンプを識別して、ログ収集装置１２８が車両の関連するセンサからデータを正確に収集することを可能とするように構成される。

【0028】

ログ送信装置１３４は、ログ収集装置１２８からログデータを受信し、ログデータをサーバ１４０へ送信するように構成される。一部の実施形態では、ログ送信装置１３４はログデータを無線で送信するように構成される。一部の実施形態では、ログ送信装置１３４はログデータを有線接続を介して送信するように構成される。一部の実施形態では、ログ送信装置１３４はログデータを携帯機器１６０へ送信するように構成され、携帯機器１６０はログデータをサーバ１４０へ送信するように構成される。一部の実施形態では、ログ送信装置１３４はブルートゥース（登録商標）又は別の適切な無線技術を用いてログデータを携帯機器１６０へ送信するように構成される。一部の実施形態では、ＥＣＵ１２０は、携帯機器１６０からサーバ１４０へのデータ転送速度がログ送信装置１３４からサーバ１４０への転送速度より大きいかを判別するように構成される。携帯機器１６０からサーバ１４０へのデータ転送速度がより大きいとの判別に応答して、ログ送信装置１３４は、サーバ１４０へ送信されるログデータを携帯機器１６０へ送信するように構成される。携帯機器１６０からサーバ１４０へのデータ転送速度がより大きくはないとの判別に応答して、ログ送信装置１３４は、ログデータを車両システム１１０から携帯機器１６０へ転送することなく、サーバ１４０へ直接送信するように構成される。

【0029】

一部の実施形態では、車両システム１１０は、車両に取り付けられたセンサからのセンサデータを記憶するように構成されているメモリをさらに含む。一部の実施形態では、メモリはさらに、以前の乗員要求に関連付けられた情報を記憶するように構成される。一部の実施形態では、乗員要求が以前の乗員要求と一致するとデータ収集要求装置１３２が判別したことに応答して、データ収集要求装置１３２は、一致した以前の乗員要求の結果を乗員１８０へ提供するように構成される。一部の実施形態では、以前の要求はキャッシュデータとして記憶される。当業者はキャッシングを、データに対する将来の要求をより高速に満たすことができるようにハードウェア又はソフトウェアを用いてそのデータを記憶することであると理解するであろう。

【0030】

サーバ１４０は、ログ送信装置１３４からログデータを受信するように構成されているログデータ受信装置１４２を含む。一部の実施形態では、ログデータ受信装置１４２は携帯機器１６０からログデータを受信するように構成される。サーバ１４０は、受信したログデータを記憶するように構成されているログ記憶装置１４４をさらに含む。サーバ１４０はログ分析装置１４６をさらに含み、ログ分析装置１４６は、ログ記憶装置１４４からログデータを受信し且つデータベース１４８から情報を受信して、関心のある物体を識別し且つ／又は関心のある物体に関する情報を提供するように構成されている。サーバ１４０は、物体についての情報を格納するように構成されているデータベース１４８をさらに含む。サーバ１４０は、ログ分析装置１４６の結果を携帯機器１６０へ送信するように構成されている分析結果送信装置１５０をさらに含む。サーバ１４０は、ログ識別情報を携帯機器１６０へ送信するように構成されているログ送信装置１５２をさらに含む。

【0031】

ログデータ受信装置１４２は、ログ送信装置１３４からログデータを受信するように構成される。一部の実施形態では、ログデータ受信装置１４２は携帯機器１６０からログデータを受信するように構成される。一部の実施形態では、ログデータ受信装置１４２はログデータを無線で受信するように構成される。一部の実施形態では、ログデータ受信装置１４２はログデータを有線接続を介して受信するように構成される。一部の実施形態では、ログデータ受信装置１４２は、ログデータが受信された時刻のタイムスタンプをログデータへ付加するように構成される。

【0032】

ログ記憶装置１４４は、分析のために受信したログデータを記憶するように構成される。一部の実施形態では、ログ記憶装置１４４はソリッドステートメモリ装置を含む。一部の実施形態では、ログ記憶装置１４４はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含む。一部の実施形態では、ログ記憶装置１４４は非揮発性メモリ装置を含む。一部の実施形態では、ログ記憶装置１４４はクラウドベースの記憶装置又は別の適切な格納構造を含む。一部の実施形態では、ログ記憶装置１４４は優先度に基づいたキューでログデータを記憶するように構成される。一部の実施形態では、優先度は、サーバ１４０がログデータを受信したタイムスタンプに基づく。一部の実施形態では、優先度は、乗員要求が受信されたタイムスタンプに基づく。一部の実施形態では、優先度はログデータの大きさに基づく。一部の実施形態では、優先度は乗員１８０の身元に基づく。例えば、一部の実施形態では、乗員は、乗員要求を優先して履行するためにサーバ１４０上で提供されるサービスのアカウントを有する。一部の実施形態では、キューにおけるログデータの優先度を判別するのに他の基準が使用される。一部の実施形態では、ログデータはログ分析装置１４６によるログデータの分析後にログ記憶装置１４４から除去される。一部の実施形態では、ログデータは、ログ分析装置１４６によるログデータの分析後にはログ記憶装置１４４での上書きから保護されない。

【0033】

ログ分析装置１４６は、ログ記憶装置１４４からログデータを受信し、ログデータの乗員要求がデータベース１４８に格納されているレコードと一致するかどうかを判別するように構成される。一部の実施形態では、ログ分析装置１４６は、ログデータをデータベース１４８の既知の物体と比較するために学習されたニューラルネットワーク（ＮＮ）を含む。ログデータとデータベース１４８の既知の物体との一致が見つかったら、ログ分析装置１４６は、物体の識別、物体の営業時間、物体の履歴情報などの要求されたデータをログデータから判別する。ログ分析装置１４６は、要求されたデータを満たす情報をデータベース１４８から抽出して、抽出された情報を分析結果送信装置１５０へ転送する。一部の実施形態では、抽出された情報はログデータの識別情報と共に分析結果送信装置へ転送される。

【0034】

データベース１４８は、物体に関する情報を物体の場所及び物体の画像に関連付けて格納するように構成される。一部の実施形態では、データベース１４８はソリッドステートメモリ装置を含む。一部の実施形態では、データベース１４８はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含む。一部の実施形態では、データベース１４８は非揮発性メモリ装置を含む。一部の実施形態では、データベース１４８はリレーショナルデータベース（ＲＤＢ）を含む。一部の実施形態では、データベース１４８はキーバリューストア（ＫＶＳ）を含む。一部の実施形態では、データベース１４８はＮｏＳＱＬデータベースを含む。一部の実施形態では、データベース１４８はクラウドベースの記憶装置又は別の適切な格納構造を含む。一部の実施形態では、データベース１４８はログ記憶装置１４４と一体化されている。一部の実施形態では、データベース１４８はログ記憶装置１４４から分離されている。一部の実施形態では、データベース１４８は、以前の乗員要求に対する分析結果に関する情報を格納するように構成される。一部の実施形態では、ログ分析装置１４６は、ログデータが以前の乗員要求に一致するとの判別に応答して、以前の乗員要求の結果を読み出すことができる。一部の実施形態では、データベース１４８は、画像データを格納する代わりにＮＮにより生成された特徴マップを格納する。

【0035】

分析結果送信装置１５０は、乗員要求を満たす情報をログ分析装置１４６から受信するように構成される。分析結果送信装置１５０は情報を携帯機器１６０へ送信するように構成される。一部の実施形態では、分析結果送信装置１５０は、携帯機器１６０の代わりに又は携帯機器１６０に加えて車両システム１１０へ情報を送信するように構成される。一部の実施形態では、サーバ１４０は、サーバ１４０から携帯機器１６０へのデータ転送速度がサーバ１４０から車両システム１１０への転送速度より大きいかを判別するように構成される。サーバ１４０から携帯機器１６０へのデータ転送速度がより大きいとの判別に応答して、分析結果送信装置１５０は、車両システム１１０へ送信される情報を携帯機器１６０へ送信するように構成される。サーバ１４０から車両システム１１０へのデータ転送速度がより大きいとの判別に応答して、分析結果送信装置１５０は、情報が携帯機器１６０を通過することなしに、情報を車両システム１１０へ直接送信するように構成される。一部の実施形態では、分析結果送信装置１５０は情報を無線で転送するように構成される。一部の実施形態では、分析結果送信装置１５０は情報を有線接続を介して送信するように構成される。一部の実施形態では、分析結果送信装置１５０は、情報に関連付けられたログデータに対する識別情報も送信するように構成される。ログデータに対する識別情報を送信することは、携帯機器１６０又は車両システム１１０がデータ要求及び分析結果の両方を乗員へ表示するのに役立つ。

【0036】

ログ送信装置１５２は、サーバ１４０によるログデータの処理に関する情報を送信するように構成される。一部の実施形態では、ログ送信装置１５２は情報を携帯機器１６０へ送信するように構成される。一部の実施形態では、ログ送信装置１５２は情報を車両システム１１０へ送信するように構成される。一部の実施形態では、サーバ１４０は、サーバ１４０から携帯機器１６０へのデータ転送速度がサーバ１４０から車両システム１１０への転送速度より大きいかを判別するように構成される。サーバ１４０から携帯機器１６０へのデータ転送速度がより大きいとの判別に応答して、ログ送信装置１５２は、車両システム１１０へ送信される情報を携帯機器１６０へ送信するように構成される。サーバ１４０から車両システム１１０へのデータ転送速度がより大きいとの判別に応答して、ログ送信装置１５２は、情報が携帯機器１６０を通過することなしに、情報を車両システム１１０へ直接送信するように構成される。一部の実施形態では、ログ送信装置１５２は、乗員による再確認のためにログデータを携帯機器１６０及び／又は車両システム１１０へ送信するように構成される。一部の実施形態では、ログ送信装置１５２は、ログ分析装置１４６がログデータをログ記憶装置１４４のキューから取り出したことに応答して、ログデータに対する識別情報を携帯機器１６０及び／又は車両システム１１０へ送信するように構成される。一部の実施形態では、ログ送信装置１５２は情報を無線で送信する。一部の実施形態では、ログ送信装置１５２は情報を有線接続を介して送信する。

【0037】

携帯機器１６０は、ログ送信装置１５２から情報を受信するように構成されているログ受信装置１６２を含む。携帯機器は、分析結果送信装置１５０から情報を受信するように構成されている分析結果受信装置１６４をさらに含む。携帯機器１６０は、ログ送信装置１５２及び分析結果送信装置１５０から受信した情報に基づいて情報を乗員１８０へ伝達するように構成されているＵＩ１６６をさらに含む。ＵＩ１６６はさらに、乗員１８０からの入力情報を受け取るように構成される。携帯機器１６０は、乗員１８０から要求開始情報及び要求データを受信するように構成されているマイク１６８をさらに含む。携帯機器１６０はさらに、マイク１６８により受信されたデータを分析して要求開始情報及び要求データの内容を判別するように構成されている音声認識装置１７０を含む。携帯機器１６０は、要求データを要求受信装置１３０へ送信するように構成されている要求送信装置１７２をさらに含む。

【0038】

ログ受信装置１６２は、ログ送信装置１５２から情報を受信するように構成される。一部の実施形態では、ログ受信装置１６２は情報を無線で受信するように構成される。一部の実施形態では、ログ受信装置１６２は情報を有線接続を介して受信するように構成される。

【0039】

分析結果受信装置１６４は、分析結果送信装置１５０から情報を受信するように構成される。一部の実施形態では、分析結果受信装置１６４は情報を無線で受信するように構成される。一部の実施形態では、ログ受信装置１６２は情報を有線接続を介して受信するように構成される。

【0040】

ＵＩ１６６はログ受信装置１６２及び分析結果受信装置１６４から情報を受信するように構成される。ＵＩ１６６は、受信した情報を乗員１８０へ伝達するように構成される。一部の実施形態では、ＵＩ１６６はタッチパネルを含む。一部の実施形態では、ＵＩ１６６はスマートフォンの一部である。一部の実施形態では、ＵＩ１６６は、車両システム１１０を含む車両に組み込まれる。一部の実施形態では、ＵＩ１６６は乗員１８０からの入力を受け取るように構成される。一部の実施形態では、ＵＩ１６６は、乗員１８０の身元を示す入力を受け取るように構成される。一部の実施形態では、ＵＩ１６６は、乗員１８０からのデータ要求に対応する入力を受け取るように構成される。

【0041】

マイク１６８は乗員１８０からの音声信号をキャプチャするように構成される。一部の実施形態では、マイク１６８はスマートフォンの一部である。一部の実施形態では、マイク１６８は、車両システム１１０を含む車両と一体化されている。一部の実施形態では、マイク１６８は指向性マイクを含む。一部の実施形態では、マイク１６８は乗員１８０の声をキャプチャするように構成される。

【0042】

音声認識装置１７０は、マイク１６８から音声信号を受信し、音声信号の内容を判別するように構成される。一部の実施形態では、音声認識装置１７０は、キーワードやキーフレーズなどの音声信号が要求開始を示すかどうかを判別するように構成される。一部の実施形態では、音声認識装置１７０は、乗員１８０によって要求されたデータの種類、例えば、物体を識別することや物体についての情報などを判別するように構成される。一部の実施形態では、音声認識装置１７０はさらに乗員１８０の身元を判別するように構成される。一部の実施形態では、音声認識装置１７０は音声認識ソフトウェアに基づいて乗員１８０の身元を判別するように構成される。一部の実施形態では、音声認識装置１７０は、乗員の氏名や他の識別情報などのキーワード又はキーフレーズの識別に基づいて乗員１８０の身元を判別するように構成される。一部の実施形態では、音声認識装置１７０は、ＵＩ１６６において受け取った入力に基づいて乗員１８０の身元を判別するように構成される。一部の実施形態では、音声認識装置１７０は、車両システム１１０からの入力、例えば、乗員監視カメラ１１２からの話している乗員の画像などに基づいて乗員１８０の身元を判別するように構成される。

【0043】

上記の説明は、口頭での入力に基づく要求開始に関する。当業者は、本説明は口頭での要求開始に限定されないことを認識するであろう。一部の実施形態では、要求開始は、ＵＩ１６６において受け取った入力を含む。一部の実施形態では、要求開始は、乗員監視カメラ１１２を用いて検出されたジェスチャなどの検出されたジェスチャを含む。一部の実施形態では、要求開始は、ＵＩ１６６における入力や口頭での入力、又は乗員の顔の認識結果、又は視線検出装置１２２による乗員の眼の虹彩の認識結果、などの異なる入力の組み合わせ、又は他の適切な組み合わせを含む。乗員要求の一部として要求開始を含めることは不必要な処理及びデータ送信を最小化するのを役立ち、このことは、車両システム１１０を含む車両に対する処理負荷及び電力消費を最小化するのに役立つ。より多くの車両が電動車両（ＥＶ）となるにつれて、電力消費を最小化することは、バッテリの充電を維持し、且つ再充電なしにＥＶが走行できる距離を最大化するためのより大きな懸案事項となる。

【0044】

要求送信装置１７２は、音声認識装置１７０から要求情報を受信し、情報を要求受信装置１３０へ送信するように構成される。一部の実施形態では、要求送信装置１７２は、音声認識装置１７０が要求開始を識別したことに応答して、要求開始信号を送信するように構成される。一部の実施形態では、要求送信装置１７２は、音声認識装置１７０が要求開始を識別したことに応答して信号を送信しない。要求開始に応答して信号を送信することは、車両システム１１０が、乗員要求を満たす正確さ及び精度を高めるためのセンサデータを記憶するのに役立つ。しかし、要求開始に応答して信号を送信することは、送信されるデータ量及び処理負荷を増加させる。要求送信装置１７２は、音声認識装置１７０による分析に基づいて乗員要求を送信するように構成される。一部の実施形態では、要求送信装置１７２は乗員要求又は他の情報を無線で送信するように構成される。一部の実施形態では、要求送信装置１７２は乗員要求又は他の情報を有線接続を介して送信するように構成される。

【0045】

当業者は、物体識別システム１００に対する変更は本開示の範囲内であることを理解するであろう。例えば、一部の実施形態では、マイク１６８及び音声認識装置１７０が省かれ、要求開始を含む乗員要求がＵＩ１６６を介して受信される。一部の実施形態では、携帯機器１６０へ送信されるサーバ１４０による分析結果によって、音声警告又は視覚的警告などの警告が携帯機器１６０上に自動的に表示される。

【0046】

図２は、一部の実施形態に係る物体の識別方法２００のフローチャートである。一部の実施形態では、方法２００はシステム１００（図１）を用いて実行される。一部の実施形態では、方法２００はシステム１１００（図１１）を用いて実行される。

【0047】

動作２１０において、乗員１８０は要求を開始する。要求を開始することは、不注意で引き起こされた乗員要求の処理を回避することで携帯機器１６０、車両システム１１０、及びサーバ１４０での不要な処理負荷を回避するのに役立つ。一部の実施形態では、要求を開始することにはキーワードやキーフレーズを乗員１８０が発することが含まれ、例えば、マイク１６８（図１）により検出される。一部の実施形態では、要求を開始することには、例えば、ＵＩ１６６（図１）上で乗員がボタンに触れることが含まれる。一部の実施形態では、要求を開始することには、例えば、乗員監視カメラ１１２（図１）を用いて、携帯機器１６０又は車両システム１１０が乗員１８０による所定のジェスチャを検出することが含まれる。要求が開始されると、携帯機器は動作２２０において要求受信装置を起動し、乗員１８０は動作２１２において要求を入力することができる。

【0048】

動作２１２において、乗員１８０は要求を入力する。要求は、関心のある物体について乗員１８０が知りたい情報である。一部の実施形態では、要求は物体についての識別情報を含む。一部の実施形態では、要求は物体についての他の情報、例えば、営業時間、物体への道順、物体についての履歴情報、又は他の適切な情報を含む。一部の実施形態では、乗員１８０は口頭で要求を入力し、要求は例えばマイク１６８（図１）により検出される。一部の実施形態では、乗員１８０は、ＵＩ、例えば、ＵＩ１６６（図１）を用いて要求を入力する。一部の実施形態では、乗員１８０は所定のジェスチャを用いて要求を入力し、所定のジェスチャは例えば乗員監視カメラ１１２（図１）により検出される。一部の実施形態では、要求を開始する方法と要求を入力する方法とは同じであり、例えば、開始及び入力の両方が乗員により口頭で行われる。一部の実施形態では、要求を開始する方法及び要求を入力する方法は異なっており、例えば、開始はＵＩを用いて行われ、入力は口頭で行われる。要求の開始及び入力の他の組み合わせは、本開示の範囲内である。

【0049】

動作２２０において、携帯機器１６０は要求受信装置１３０を起動する。要求を開始したことに応答して要求受信装置を起動することは、要求受信装置に乗員１８０からの要求を常に監視させるのを回避することで携帯機器１６０が電力を節約するのに役立つ。一部の実施形態では、要求受信装置を起動することには、ＵＩ、例えば、ＵＩ１６６（図１）上で入力画面を表示することが含まれる。一部の実施形態では、要求受信装置を起動することには、マイク、例えば、マイク１６８（図１）を初期化することが含まれる。一部の実施形態では、要求受信装置を起動することには、受信された要求を処理する携帯機器１６０内の回路を起動することが含まれる。

【0050】

動作２２０は、動作２１２において携帯機器１６０が入力要求を受信するまで繰り返される。一部の実施形態では、所定の期間、例えば１０秒から３０秒の後に動作２１２において入力要求を受信しない場合は、動作２２０は中止され、要求受信装置はスリープ状態又は低電力状態へと戻る。所定の期間が長すぎる場合、場合によっては電力消費が不必要に増加する。所定の期間が短すぎる場合、場合によっては乗員１８０が動作２１２において要求を入力するのに充分な時間を持てない。一部の実施形態では、例えばキーワードやキーフレーズ、ＵＩへの入力、又は他の適切な入力により引き起こされるキャンセル信号の受信に応答して、動作２２０は中止される。

【0051】

動作２２２において、携帯機器１６０は動作２１２における要求を受信する。一部の実施形態では、要求は乗員１８０から直接受信される。一部の実施形態では、要求は外部装置、例えばキーボード又は別の適切な外部装置を介して間接的に乗員１８０から受信される。一部の実施形態では、動作２１２及び動作２２２は、携帯機器１６０の同じ構成要素、例えば、マイク１６８又はＵＩ１６６（図１）を用いて実行される。

【0052】

動作２２４において、要求が分析されて送信される。要求は、乗員１８０により要求されたデータの種類を判別するように分析される。一部の実施形態では、要求は音声認識装置１７０（図１）を用いて分析される。要求を満たすためのログデータを収集するために、分析された要求は車両システム１１０へ送信される。一部の実施形態では、分析された要求は要求送信装置１７２（図１）を用いて送信される。

【0053】

動作２３０において、分析された要求が車両システム１１０により受信される。一部の実施形態では、分析された要求は無線で受信される。一部の実施形態では、分析された要求は有線接続を介して受信される。一部の実施形態では、分析された要求は要求受信装置１３０（図１）を用いて受信される。

【0054】

動作２３２において、乗員の１つ又は複数の画像が捕捉される。捕捉された画像は、１つ又は複数の画像が捕捉された時刻を判別するためにタイムスタンプデータと関連付けられる。乗員の１つ又は複数の画像は、乗員の少なくとも１つの眼を捕捉する。一部の実施形態では、乗員の画像は一定の間隔で捕捉される。一部の実施形態では、乗員の画像は、動作２２０の一部として、要求が開始されたことを示す信号、例えば携帯機器１６０から車両システム１１０への信号を受信したことに応答して捕捉される。一部の実施形態では、乗員の１つ又は複数の画像は乗員監視カメラ１１２（図１）を用いて捕捉される。一部の実施形態では、乗員要求に関連付けられた乗員の画像のみが捕捉される。一部の実施形態では、車両の２人以上の乗員の画像が捕捉されて、乗員要求に関連付けられた乗員の画像のみが方法２００において後で要求データを生成するのに使用される。一部の実施形態では、動作２３２は動作２２０で生成される信号に応答して行われる。一部の実施形態では、動作２３２は要求の開始の受信とは無関係に行われる。

【0055】

動作２３４において、乗員の視線が動作２３２において捕捉された１つ又は複数の画像に基づいて検出される。乗員の視線を検出することには、車両に対する乗員の視線の角度を識別することが含まれる。一部の実施形態では、角度は方位角及び仰角を含む。一部の実施形態では、視線を検出することには、車両位置に対する視線の深度を判別することがさらに含まれる。一部の実施形態では、動作２３４は視線検出装置１２２（図１）を用いて実行される。

【0056】

動作２３６において、動作２３４において検出された乗員の視線に基づいて注目領域が識別される。注目領域は乗員１８０についてのＲＯＩを判別するために識別される。一部の実施形態では、注目領域はワールド座標に基づいて識別される。一部の実施形態では、注目領域は、例えば、前方カメラ１１４（図１）を用いて車両により捕捉された画像の画素領域に基づいて識別される。一部の実施形態では、注目領域は車両に対する相対座標に基づいて識別される。注目領域を識別することは、処理のためにサーバ１４０へ送信されるデータ量を削減するのに役立つ。一部の実施形態では、動作２３６は注目領域認識装置１２４（図１）を用いて実行される。

【0057】

一部の実施形態では、動作２３２～２３６は車両の運転中に継続的に行われる。動作２３２～２３６において生成された情報は、乗員要求を受信したことに応答して、分析のために車両システム１１０内のメモリに記憶される。一部の実施形態では、動作２３２～２３６は、動作２２０の一部として開始要求信号を受信したことに応答して行われる。一部の実施形態では、タイムリーな入力要求を受信することに失敗したため又はキャンセル入力に応答して、動作２２０が中止されたことを示す信号が受信されたことに応答して、動作２３２～２３６が中止される。

【0058】

動作２３８において、受信した分析された要求に基づいてデータ収集要求が生成される。データ収集要求は、受信した分析された要求を満たすのに使用可能な動作２３２～２３６からの情報を識別する。データ収集要求は、受信した分析された要求を満たすのに車両のどのセンサが使用可能であるかを識別する。また、データ収集要求は、動作２２２において受信された要求のタイムスタンプに基づいて、センサデータを収集すべき期間も識別する。一部の実施形態では、動作２３８はデータ収集要求装置１３２（図１）を用いて実行される。

【0059】

動作２４０において、センサデータがデータ収集要求に基づいて収集される。一部の実施形態では、センサデータは車両システム１１０内のメモリから収集される。一部の実施形態では、センサデータは単一のセンサから収集される。一部の実施形態では、センサデータは多数のセンサから収集される。一部の実施形態では、センサデータはログ収集装置１２８（図１）を用いて収集される。

【0060】

動作２４２において、動作２４０において収集されたセンサデータがトリミングされる。センサデータをトリミングすることで、サーバ１４０へ送信されるデータ量が削減される。ここで用語「トリミングされる（ｃｒｏｐｐｅｄ）」は、センサデータが画像データであることに基づいて使用されている。ただし、当業者は、使用されるセンサデータの種類に関係なしに、動作２３６において識別された注目領域に基づいて余分なデータを削減するために動作２４２が使用されることを理解するであろう。一部の実施形態では、動作２４２はログ収集装置１２８（図１）を用いて実行される。一部の実施形態では、トリミングされたセンサデータはタイムスタンプ情報と共にログデータとみなされる。

【0061】

動作２４４において、ログデータがサーバ１４０へ送信される。一部の実施形態では、車両システム１１０内のメモリが、受信した分析された要求を以前の乗員要求と比較することができる場合、動作２４４は省略され、受信した分析された要求を満たす結果は車両システム１１０によって直接提供される。一部の実施形態では、ログデータは無線で送信される。一部の実施形態では、ログデータは有線接続を介して送信される。一部の実施形態では、動作２４４はログ送信装置１３４（図１）を用いて実行される。

【0062】

動作２５０において、サーバ１４０はログデータを受信する。一部の実施形態では、動作２５０はログデータ受信装置１４２（図１）を用いて実行される。一部の実施形態では、車両システム１１０が乗員要求を満たす結果を提供することができる場合、ログデータはサーバ１４０へ送信されず、動作２５０は省略される。

【0063】

動作２５２において、ログデータがサーバ１４０に記憶される。ログデータは、その後の処理のためにサーバ１４０により記憶される。一部の実施形態では、ログデータは優先度に基づくキューで記憶される。一部の実施形態では、キューにおける優先度は、ログデータがサーバ１４０により受信された時刻に基づく。一部の実施形態では、キューにおける優先度は、乗員要求が受信された時刻、すなわち動作２２２における時刻に基づく。一部の実施形態では、キューにおける優先度は乗員１８０の身元に基づく。

【0064】

動作２５４において、ログデータは、ログデータ内の乗員要求を満たす結果を判別するように分析される。ログデータは、車両のセンサからのデータをサーバ１４０のデータベース内のデータと比較することで分析される。車両センサデータ内の物体とデータベース内のデータとの間で一致が見つかったら、データベースにクエリが行われて、乗員要求を満たす情報が読み出される。例えば、一部の実施形態では、データベースにクエリが行われて、物体、物体についての対する営業時間、物体の場所などに対する識別情報が判別される。一部の実施形態では、データベースの情報は、乗員１８０が物体についての情報を見つけるためのウェブアドレスを含む。一部の実施形態では、車両センサデータとデータベース内のデータに一致が見つからない場合、動作２５４は、一致が見つからないことを示す結果を返す。一部の実施形態では、動作２５４はログ分析装置１４６（図１）を用いて実行される。

【0065】

動作２５６において、動作２５４からの分析結果が送信される。一部の実施形態では、分析結果は無線で送信される。一部の実施形態では、分析結果は有線接続を介して送信される。方法２００においては、分析結果は携帯機器１６０へ送信される。一部の実施形態では、分析結果は、携帯機器１６０の代わりに又は携帯機器１６０に加えて車両システム１１０へ送信される。一部の実施形態では、動作２５６は分析結果送信装置１５０（図１）を用いて実行される。

【0066】

動作２６０において、携帯機器１６０は分析結果を受信する。一部の実施形態では、分析結果は、動作２５４においてデータベースから読み出された情報と、ログデータ識別情報との両方を含む。ログデータ識別情報を分析結果と共に含むことは、分析を迅速に行って、乗員が分析結果の受信後に物体について更なる情報を要求している状況において物体についての追加の情報を提供するのに役立つ。一部の実施形態では、動作２６０は分析結果受信装置１６４（図１）を用いて実行される。

【0067】

動作２６２において、乗員１８０は分析結果を通知される。一部の実施形態では、乗員１８０は、物体についての情報にアクセスするためのウェブアドレスが提供されることによって通知される。一部の実施形態では、乗員１８０は、物体について要求した情報が提供されることで通知される。一部の実施形態では、乗員１８０は視覚的通知を用いて通知される。一部の実施形態では、乗員１８０は音声通知を用いて通知される。一部の実施形態では、乗員はＵＩ１６６（図１）を用いて通知される。一部の実施形態では、乗員１８０は、サーバ１４０から分析結果を受信したことに応答して携帯機器１６０上で自動的に行われる音声警告又は視覚的警告の少なくとも一つにより通知される。一部の実施形態では、乗員１８０への通知は、受信した情報が意図された関心のある物体に対応していることを乗員１８０が確認できるようにするためにログデータの一部として含まれる、トリミングされた画像などの車両センサデータを含む。一部の実施形態では、乗員１８０への通知は、関心のある物体が正しく識別されたことの確認についての要求を含み、確認についての要求の結果はサーバ１４０へ提供されて動作２５４におけるログデータ分析の成績を向上させるのを助ける。一部の実施形態では、動作２６２の後に、乗員は、受信された結果が、乗員がした要求に本当に関連しているかどうか、又は乗員がその情報を気に入っているかどうかについて、サーバ１４０、携帯機器１６０、又は車両システム１１０のうちの少なくとも一つにフィードバックを与える。このフィードバックは、偽陽性及び偽陰性が時間と共に削減されるように、ログ分析装置１４６、注目領域認識装置１２４、データ収集要求装置１３２、及び音声認識装置１７０を調整し又は学習させることができるように、ニューラルネットワーク（ＮＮ）の学習を提供する。

【0068】

当業者は、方法２００に対する変更は本開示の範囲内であると認識するであろう。一部の実施形態では、追加の動作が方法２００に含まれる。例えば、一部の実施形態では、方法２００は、分析結果の通知に続いて乗員が確認した結果に基づいて、サーバ１４０内のデータベースを更新することを含む。一部の実施形態では、方法２００の少なくとも一つの動作が省略される。例えば、一部の実施形態では、動作２４２はデータ送信量が懸案事項ではない場合には省略される。一部の実施形態では、方法２００の動作の順序が変更される。例えば、一部の実施形態では、動作２３４は車両システム１１０での処理負荷を削減するために動作２３０の後に行われる。当業者は、他の変更が本開示の範囲内であると認識するであろう。

【0069】

図３は、一部の実施形態に係る物体の識別方法３００のフローチャートである。一部の実施形態では、方法３００はシステム１００（図１）を用いて実行される。一部の実施形態では、方法３００はシステム１１００（図１１）を用いて実行される。方法３００は方法２００（図２）と類似している。方法２００の動作と類似している方法３００の動作は、同じ参照番号を有する。簡単にするため、方法２００の動作とは異なる方法３００の動作のみについて以下で論じる。

【0070】

動作３０５において、ログデータは、分析され、関心のある物体に対する物体情報と関連付けられる。ログデータは、車両のセンサからのデータをサーバ１４０のデータベース内のデータと比較することによって分析される。車両センサデータ内の物体とデータベース内のデータとの間で一致が見つかったら、データベース内の一致する物体に対する物体情報へのリンクがログデータと関連付けられる。リンクにより、物体について要求した情報を入手するために乗員１８０がサーバ１４０内のデータベースへアクセスすることが可能となる。一部の実施形態では、リンクは、乗員がＵＩ１６６（ウェブブラウザなど）を用いて開くことができるユニフォームリソースロケータ（ＵＲＬ）を含む。一部の実施形態では、リンクは、要求された情報以外の物体についての追加の情報を乗員１８０が入手することを可能とする。一部の実施形態では、ログデータは、車両のセンサからのデータからＮＮにより抽出された特徴マップをサーバ１４０のデータベース内のデータからＮＮにより抽出された特徴マップと比較することによって分析される。一部の実施形態では、動作３０５はログ分析装置１４６（図１）を用いて実行される。

【0071】

動作３１０において、ログデータと、動作３０５からの関連付けられた物体情報とへアクセスするためのリンクが送信される。一部の実施形態では、リンクは無線で送信される。一部の実施形態では、リンクは有線接続を介して送信される。方法３００においては、リンクは携帯機器１６０へ送信される。一部の実施形態では、リンクは携帯機器１６０の代わりに又は携帯機器１６０に加えて車両システム１１０へ送信される。一部の実施形態では、動作３１０は分析結果送信装置１５０（図１）を用いて実行される。

【0072】

動作３２０において、携帯機器１６０はリンクを受信する。一部の実施形態では、リンクは、データベースへアクセスするためのリンクと、ログデータ識別情報との両方を含む。ログデータ識別情報を分析結果と共に含むことは、分析を迅速に行って、乗員がリンクの受信後に物体について更なる情報を要求しており、且つリンクがデータベースに格納されている物体についてのすべての情報へのアクセスは提供しない状況において、物体についての追加の情報を提供するのに役立つ。一部の実施形態では、動作３２０は分析結果受信装置１６４（図１）を用いて実行される。

【0073】

動作３２２において、乗員１８０はリンクを通知される。一部の実施形態では、乗員１８０は、物体についての情報にアクセスするためのウェブアドレスが提供されることで通知される。一部の実施形態では、乗員１８０は、物体についての情報にアクセスするための選択可能なアイコンが提供されることで通知される。一部の実施形態では、乗員１８０は視覚的通知を用いて通知される。一部の実施形態では、乗員１８０は音声通知を用いて通知される。一部の実施形態では、乗員はＵＩ１６６（図１）を用いて通知される。一部の実施形態では、乗員１８０は、サーバ１４０からリンクを受信したことに応答して携帯機器１６０上で自動的に行われる音声警告又は視覚的警告の少なくとも一つにより通知される。一部の実施形態では、乗員１８０への通知は、受信した情報が、意図された関心のある物体に対応していることを乗員１８０が確認できるようにするためにログデータの一部として含まれる、トリミングされた画像などの車両センサデータを含む。一部の実施形態では、乗員１８０への通知は、関心のある物体が正しく識別されたことの確認についての要求を含み、確認についての要求の結果はサーバ１４０へ提供されて動作３０５におけるログデータ分析の成績を向上させるのを助ける。

【0074】

当業者は、方法３００に対する変更は本開示の範囲内であると認識するであろう。一部の実施形態では、追加の動作が方法３００に含まれる。例えば、一部の実施形態では、方法３００は、リンクの通知に続いて乗員が確認した結果に基づいて、サーバ１４０内のデータベースを更新することを含む。一部の実施形態では、方法３００の少なくとも一つの動作が省略される。例えば、一部の実施形態では、動作２４２はデータ送信量が懸案事項ではない場合には省略される。一部の実施形態では、方法３００の動作の順序が変更される。例えば、一部の実施形態では、動作２３４は車両システム１１０での処理負荷を低減するために動作２３０の後に行われる。当業者は、他の変更が本開示の範囲内であると認識するであろう。

【0075】

図４は、一部の実施形態に係る、乗員要求のデータ構造４００の図である。一部の実施形態では、データ構造４００は、マイク１６８により受け取られて音声認識装置１７０（図１）により処理された、乗員１８０からの乗員要求の状態に対応する。一部の実施形態では、データ構造４００は、動作２２２（図２）において受信された乗員要求に対応する。

【0076】

データ構造４００は乗員識別情報４０５を含む。乗員識別情報４０５は、乗員要求を行った乗員の身元を示す。一部の実施形態では、乗員識別情報４０５は音声認識装置１７０（図１）による分析に基づいて判別される。一部の実施形態では、乗員識別情報４０５はＵＩ１６６（図１）での入力に基づいて判別される。一部の実施形態では、乗員識別情報４０５は、誰が携帯機器１６０（図１）を管理しているかに基づいて判別される。一部の実施形態では、乗員識別情報４０５は、携帯機器１６０のカメラにより認識された乗員の眼の虹彩の認識結果に基づいて判別される。一部の実施形態では、乗員識別情報４０５は、携帯機器１６０によって又は車両のハンドル上のセンサによって認識された乗員の指紋に基づいて判別される。データ構造４００は要求データ４１０をさらに含む。要求データ４１０は、乗員により要求された情報の内容を含む。一部の実施形態では、要求データ４１０は、物体の識別についての要求を含む。一部の実施形態では、要求データ４１０は、物体の識別に加えて又は物体の識別とは異なり、物体についての情報についての要求を含む。データ構造４００はタイムスタンプ情報４１５をさらに含む。タイムスタンプ情報４１５は、乗員から要求された情報の受信に対応する時刻を示す。

【0077】

データ構造４００は例示に過ぎず、当業者は、乗員要求データに異なる情報を含めることができることを理解するであろう。一部の実施形態では、構成要素のうちの少なくとも一つがデータ構造４００から除外される。例えば、一部の実施形態では、乗員識別情報４０５がデータ構造４００から除外される。一部の実施形態では、追加の情報がデータ構造４００に含まれる。例えば、一部の実施形態では、データ構造４００は車両内の乗員の場所についての情報をさらに含む。

【0078】

図５は、一部の実施形態に係る、注目領域データのデータ構造５００の図である。一部の実施形態では、データ構造５００は、注目領域認識装置１２４（図１）により判別された注目領域に対応する。一部の実施形態では、データ構造５００は動作２３６（図２）において識別された注目領域に対応する。

【0079】

データ構造５００は乗員識別情報５０５を含む。乗員識別情報５０５は、乗員要求を行った乗員の身元を示す。一部の実施形態では、乗員識別情報５０５は音声認識装置１７０（図１）による分析に基づいて判別される。一部の実施形態では、乗員識別情報５０５はＵＩ１６（図１）での入力に基づいて判別される。一部の実施形態では、乗員識別情報５０５は、誰が携帯機器１６０（図１）を管理しているかに基づいて判別される。一部の実施形態では、乗員識別情報４０５は、視線検出装置１２２又は携帯機器１６０のカメラにより認識された乗員の眼の虹彩の認識結果に基づいて判別される。一部の実施形態では、乗員識別情報４０５は、携帯機器１６０によって又は車両のハンドル上のセンサによって認識された乗員の指紋に基づいて判別される。データ構造５００はタイムスタンプ情報５１０をさらに含む。一部の実施形態では、タイムスタンプ情報５１０は、乗員から要求された情報の受信に対応する時刻を示す。一部の実施形態では、タイムスタンプ情報５１０は、データが車両センサにより捕捉された時刻に関する情報を含む。一部の実施形態では、タイムスタンプ情報５１０は、注目領域が判別された時刻に関する情報を含む。データ構造５００は関心領域（ＲＯＩ）情報５１５をさらに含む。ＲＯＩ情報５１５は、例えば、注目領域が位置すると判別された画像内の場所を示す。ＲＯＩ情報５１５は、乗員識別情報５０５に関連付けられた乗員の視線データと車両からのセンサデータとの間の相関関係に基づいて判別される。ＲＯＩ情報５１５は第１角部画素位置５２０を含む。一部の実施形態では、第１角部画素位置５２０は、乗員の視線データに基づいて判別された注目領域の左上隅の画像内の場所を示す。ＲＯＩ情報５１５は第２角部画素位置５２５をさらに含む。一部の実施形態では、第２角部画素位置５２５は、乗員の視線データに基づいて判別された注目領域の右下隅の画像内の場所を示す。第１角部画素位置５２０及び第２角部画素位置５２５を用いて、判別された注目領域の境界を最小限の位置情報を用いて設定することができる。一部の実施形態では、ＲＯＩ情報５１５は、例えばログ収集装置１２８（図１）を用いて又は動作２４２（図２）において画像をトリミングするのに使用可能である。

【0080】

データ構造５００は例示に過ぎず、当業者は、注目領域データに異なる情報を含めることができることを理解するであろう。一部の実施形態では、構成要素のうちの少なくとも一つがデータ構造５００から除外される。例えば、一部の実施形態では、乗員識別情報５０５がデータ構造５００から除外される。一部の実施形態では、追加の情報がデータ構造５００に含まれる。例えば、一部の実施形態では、データ構造５００はＲＯＩ情報５１５について追加の角部画素位置をさらに含む。

【0081】

図６は、一部の実施形態に係る、注目領域データのデータ構造６００の図である。一部の実施形態では、データ構造６００は注目領域認識装置１２４（図１）により判別された注目領域に対応する。一部の実施形態では、データ構造６００は、動作２３６（図２）において識別された注目領域に対応する。データ構造６００はデータ構造５００（図５）と類似している。データ構造５００と類似しているデータ構造６００の構成要素は、同じ参照番号を有する。簡単にするため、データ構造５００とは異なるデータ構造６００の構成要素のみについて以下で論じる。

【0082】

データ構造６００は、第１角部画素位置５２０及び第２角部画素位置５２５に加えて深度情報６２０を含むＲＯＩ情報６１５を含む。深度情報６２０は、乗員が注視している車両からの距離を判別するのに使用可能である。一部の実施形態では、深度情報６２０は視線検出装置１２２（図１）を用いて又は動作２３４（図２）において判別される。深度情報６２０を含むことは、乗員が情報を要求している物体を判別する精度を高めるのに役立つ。

【0083】

データ構造６００は例示に過ぎず、当業者は、注目領域データに異なる情報を含めることができることを理解するであろう。一部の実施形態では、構成要素のうちの少なくとも一つがデータ構造６００から除外される。例えば、一部の実施形態では、乗員識別情報５０５がデータ構造６００から除外される。一部の実施形態では、追加の情報がデータ構造６００に含まれる。例えば、一部の実施形態では、データ構造６００はＲＯＩ情報６１５について追加の角部画素位置をさらに含む。

【0084】

図７は、一部の実施形態に係る、注目領域データのデータ構造の図である。一部の実施形態では、データ構造７００は、注目領域認識装置１２４（図１）により判別された注目領域に対応する。一部の実施形態では、データ構造７００は、動作２３６（図２）において識別された注目領域に対応する。データ構造７００はデータ構造５００（図５）と類似している。データ構造５００と類似しているデータ構造７００の構成要素は、同じ参照番号を有する。簡単にするため、データ構造５００とは異なるデータ構造７００の構成要素のみについて以下で論じる。

【0085】

データ構造７００は、第１角部画素位置５２０及び第２角部画素位置５２５の代わりにワールド座標位置情報７２０を含むＲＯＩ情報７１５を含む。ワールド座標位置情報７２０は、現実世界の中にある物体の場所を判別するのに使用可能である。一部の実施形態では、ワールド座標位置情報７２０はログ収集装置１２８（図１）を用いて又は動作２３６（図２）において判別される。ワールド座標位置情報７２０を含むことは、乗員が情報を要求している物体を判別する精度を高めるのを助ける。

【0086】

データ構造７００は例示に過ぎず、当業者は、注目領域データに異なる情報を含めることができることを理解するであろう。一部の実施形態では、構成要素のうちの少なくとも一つがデータ構造７００から除外される。例えば、一部の実施形態では、乗員識別情報５０５がデータ構造７００から除外される。一部の実施形態では、追加の情報がデータ構造７００に含まれる。例えば、一部の実施形態では、データ構造７００は物体の少なくとも部分的な画像をさらに含む。

【0087】

図８は、一部の実施形態に係るユーザインタフェース８００の図である。一部の実施形態では、ＵＩ８００はＵＩ１６６（図１）に対応する。一部の実施形態では、ＵＩ８００は携帯機器１６０（図１）の一部である。一部の実施形態では、ＵＩ８００は車両システム１１０（図１）の一部である。

【0088】

ＵＩ８００はナビゲーションＵＩ８０５及び画像ＵＩ８１０を含む。画像ＵＩ８１０は、車両センサからの捕捉画像８１５と、識別された物体のハイライト（highlight）８２０を含む。ＵＩ８００は、乗員に乗員要求の原因であると識別された物体を画像ＵＩ８１０を用いて通知するのに使用可能である。ＵＩ８００はさらに、乗員に物体の移動経路をナビゲーションＵＩ８０５を用いて通知するのに使用可能である。一部の実施形態では、ＵＩ８００は、乗員からの情報を、乗員要求、要求開始、識別された物体の確認、又は他のそのような入力情報の一部として受信するように構成される。一部の実施形態では、ＵＩ８００は車両に組み込まれる。一部の実施形態では、ＵＩ８００は車両から分離可能である。

【0089】

ナビゲーションＵＩ８０５は、例えばＧＰＳ１１６（図１）からのＧＰＳ情報を受信し、車両の運転者が見える地図を表示するように構成される。ナビゲーションＵＩ８０５はさらに、識別された物体へ到達するために車両が通り抜けることのできる移動経路を地図に沿って表示するように構成される。一部の実施形態では、ナビゲーションＵＩ８０５はタッチパネルを含む。一部の実施形態では、ナビゲーションＵＩ８０５は、サーバ１４０（図１）などの外部装置から地図及び／又は移動経路の更新を受信するように構成される。

【0090】

画像ＵＩ８１０は、車両センサからの捕捉画像８１５と、識別された物体のハイライト８２０とを含む。識別された物体のハイライト８２０は、車両センサからの画像の中の物体を識別するために、車両センサからの画像８１５に重ね合わせられる。一部の実施形態では、車両センサからの画像８１５は、車両センサからのトリミングされた画像である。一部の実施形態では、画像ＵＩ８１０は、識別された物体の正確さを確認又は否定するための入力を乗員から受信することができる。一部の実施形態では、画像ＵＩ８１０はタッチパネルを含む。

【0091】

図８は、画像ＵＩ８１０から分離されているナビゲーションＵＩ８０５を含む。一部の実施形態では、画像ＵＩ８１０はナビゲーションＵＩ８０５に重ね合わせられる。一部の実施形態では、車両が動いている間、画像ＵＩ８１０は隠される。

【0092】

図９は、一部の実施形態に係るユーザインタフェース９００の図である。一部の実施形態では、ＵＩ９００はＵＩ１６６（図１）に対応する。一部の実施形態では、ＵＩ９００は携帯機器１６０（図１）の一部である。一部の実施形態では、ＵＩ９００は車両システム１１０（図１）の一部である。ＵＩ９００はＵＩ８００と類似している。ＵＩ８００と類似しているＵＩ９００の構成要素は、同じ参照番号を有する。簡単にするため、ＵＩ８００とは異なるＵＩ９００の構成要素のみについて以下で論じる。

【0093】

ＵＩ９００は、物体情報へのリンク、例えば動作３２０（図３）において受信されたリンクを表示するように構成されているリンクＵＩ９１０を含む。一部の実施形態では、リンクＵＩ９１０は、選択可能なリンクを含み、乗員によるリンクの選択に続いて情報を読み出したことに応答して物体情報を表示するように構成される。一部の実施形態では、リンクＵＩ９１０は、リンクに関連付けられたアイコンを表示するように構成される。一部の実施形態では、リンクＵＩ９１０はタッチパネルを含む。

【0094】

図９は、画像ＵＩ８１０から分離されているナビゲーションＵＩ８０５と、リンクＵＩ９１０とを含む。一部の実施形態では、画像ＵＩ８１０又はリンクＵＩ９１０の少なくとも一方はナビゲーションＵＩ８０５に重ね合わせられる。一部の実施形態では、車両が動いている間、画像ＵＩ８１０又はリンクＵＩ９１０の少なくとも一方は隠される。

【0095】

図１０は、一部の実施形態に係るユーザインタフェースの図である。一部の実施形態では、ＵＩ１０００はＵＩ１６６（図１）に対応する。一部の実施形態では、ＵＩ１０００は携帯機器１６０（図１）の一部である。一部の実施形態では、ＵＩ１０００は車両システム１１０（図１）の一部である。ＵＩ１０００はＵＩ８００と類似している。ＵＩ８００と類似しているＵＩ１０００の構成要素は、同じ参照番号を有する。簡単にするため、ＵＩ８００とは異なるＵＩ１０００の構成要素のみについて以下で論じる。

【0096】

ＵＩ１０００は、乗員要求と、物体の追加情報についての以後の要求とに関する情報を表示するように構成されている要求履歴ＵＩ１０１０を含む。一部の実施形態では、要求履歴ＵＩ１０１０は、乗員要求と、順番に提供される物体情報とを有する対話形式の表示を含む。一部の実施形態では、要求履歴ＵＩ１０１０は、以前の乗員要求の選択可能なリストを提供し、乗員要求の選択に応答して、対応する乗員要求に応答して提供される情報を表示するように構成される。一部の実施形態では、要求履歴ＵＩ１０１０はタッチパネルを含む。

【0097】

図１０は、画像ＵＩ８１０から分離されているナビゲーションＵＩ８０５と、要求履歴ＵＩ１０１０とを含む。一部の実施形態では、画像ＵＩ８１０又は要求履歴ＵＩ１０１０の少なくとも一方はナビゲーションＵＩ８０５に重ね合わせられる。一部の実施形態では、車両が動いている間、画像ＵＩ８１０又は要求履歴ＵＩ１０１０の少なくとも一方は隠される。

【0098】

図１１は、一部の実施形態に係る、物体の識別を実行するためのシステムのブロック図である。システム１１００は、ハードウェアプロセッサ１１０２と、コンピュータプログラムコード１１０６、すなわち一組の実行可能な命令で符号化された非一時的なコンピュータ可読記憶媒体１１０４、すなわち一組の実行可能な命令を記憶している非一時的なコンピュータ可読記憶媒体１１０４とを含む。また、コンピュータ可読記憶媒体１１０４は、外部装置と接続するために命令１１０７で符号化される。プロセッサ１１０２は、バス１１０８を介してコンピュータ可読記憶媒体１１０４と電気的に結合される。また、プロセッサ１１０２はバス１１０８により入力／出力（Ｉ／Ｏ）インタフェース１１１０とも電気的に結合される。また、ネットワークインタフェース１１１２がバス１１０８を介してプロセッサ１１０２と電気的に接続される。ネットワークインタフェース１１１２はネットワーク１１１４に接続され、その結果、プロセッサ１１０２及びコンピュータ可読記憶媒体１１０４はネットワーク１１１４を介して外部の要素と接続することができる。プロセッサ１１０２は、物体識別システム１００（図１）、方法２００（図２）、又は方法３００（図３）において説明されたような動作の一部又はすべてを行うのにシステム１１００を使用可能とするために、コンピュータ可読記憶媒体１１０４において符号化されたコンピュータプログラムコード１１０６を実行するように構成される。

【0099】

一部の実施形態では、プロセッサ１１０２は、中央処理装置（ＣＰＵ）、マルチプロセッサ、分散処理システム、特定用途向け集積回路（ＡＳＩＣ）、及び／又は適切な処理ユニットである。

【0100】

一部の実施形態では、コンピュータ可読記憶媒体１１０４は、電子的な、磁気的な、光学的な、電磁気的な、赤外線の、及び／又は半導体のシステム（又は機器若しくはデバイス）を含む。例えば、コンピュータ可読記憶媒体１１０４は、半導体メモリ、ソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛性磁気ディスク、及び／又は光ディスクを含む。光ディスクを用いる一部の実施形態では、コンピュータ可読記憶媒体１１０４は、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク読み取り／書き込み（ＣＤ－Ｒ／Ｗ）及び／又はデジタルビデオディスク（ＤＶＤ）を含む。

【0101】

一部の実施形態では、記憶媒体１１０４は、物体識別システム１００（図１）、方法２００（図２）、又は方法３００（図３）において説明されたような動作の一部又はすべてをシステム１１００に行わせるように構成されているコンピュータプログラムコード１１０６を記憶する。また、一部の実施形態では、記憶媒体１１０４は、視線データパラメータ１１１６、物体データパラメータ１１１８、車両位置パラメータ１１２０、要求内容パラメータ１１２２、及び／又は物体識別システム１００（図１）、方法２００（図２）又は方法３００（図３）において説明されたような動作の一部又はすべてを行うための一組の実行可能な命令のような、物体識別システム１００（図１）、方法２００（図２）、又は方法３００（図３）において説明されたような動作の一部又はすべてを行うために必要な情報と、物体識別システム１００（図１）、方法２００（図２）、又は方法３００（図３）において説明されたような動作の一部又はすべてを行う間に生成される情報とを記憶する。

【0102】

一部の実施形態では、記憶媒体１１０４は、外部装置と接続するための命令１１０７を記憶する。命令１１０７は、物体識別システム１００（図１）、方法２００（図２）、又は方法３００（図３）において説明されたような動作の一部又はすべてを効果的に実行するために、外部装置によって読み取り可能な命令をプロセッサ１１０２が生成することを可能とする。

【0103】

システム１１００はＩ／Ｏインタフェース１１１０を含む。Ｉ／Ｏインタフェース１１１０は外部回路に結合される。一部の実施形態では、Ｉ／Ｏインタフェース１１１０は、情報及びコマンドをプロセッサ１１０２へ伝えるためのキーボード、キーパッド、マウス、トラックボール、及び／又はカーソル方向キーを含む。

【0104】

また、システム１１００は、プロセッサ１１０２に結合されるネットワークインタフェース１１１２も含む。ネットワークインタフェース１１１２は、１つ又は複数の他のコンピュータシステムが接続されるネットワーク１１１４とシステム１１００が通信するのを可能とする。ネットワークインタフェース１１１２は、ブルートゥース、ＷＩＦＩ（登録商標）、ＷＩＭＡＸ（登録商標）、ＧＰＲＳ若しくはＷＣＤＭＡ（登録商標）などの無線ネットワークインタフェース、又はＥＴＨＥＲＮＥＴ（登録商標）、ＵＳＢ（登録商標）若しくはＩＥＥＥ－１３９４などの有線ネットワークインタフェースを含む。一部の実施形態では、物体識別システム１００（図１）、方法２００（図２）、又は方法３００（図３）で説明されたような動作の一部又はすべては２つ以上のシステム１１００において実行され、視線データパラメータ１１１６、物体データパラメータ１１１８、車両位置パラメータ１１２０、又は要求内容パラメータ１１２２などの情報は異なる複数のシステム１１００間でネットワーク１１１４を介して交換される。

【0105】

本明細書の一態様は物体情報を取得する方法に関する。方法は、車両の乗員から要求開始を受信することを含む。方法は、要求開始を受信後に乗員から要求を受信することを含む。方法は、乗員からの要求の内容を判別することをさらに含む。方法は、乗員の視線位置を検出することをさらに含む。方法は、車両に取り付けられたセンサにより収集されたデータに基づいて、車両の周囲の環境に関する情報を受信することをさらに含む。方法は、検出された視線位置及び車両の周囲の環境に関する情報に基づいて車両の外側の関心領域（ＲＯＩ）を識別することをさらに含む。方法は、ＲＯＩ及び要求の内容に基づいてログデータを生成することをさらに含む。方法は、ログデータを外部装置へ送信することをさらに含む。方法は、ＲＯＩ内の物体に関する情報であって、要求の内容を満たす情報を受信することをさらに含む。一部の実施形態では、要求開始を受信することは、キーワード、キーフレーズ、所定のジェスチャ、又はユーザインタフェース（ＵＩ）への入力を含む要求開始を受信することを含む。一部の実施形態では、車両の周囲の環境に関する情報を受信することは、車両に取り付けられたカメラからの画像を受信することを含む。一部の実施形態では、方法はＲＯＩに基づいて画像をトリミングすることをさらに含み、ログデータを生成することは、トリミングされた画像を用いてログデータを生成することを含む。一部の実施形態では、物体に関する情報を受信することは、要求の内容が物体の識別についての要求であることに応答して、物体に関する識別情報を受信することを含む。一部の実施形態では、方法は乗員の身元を判別することをさらに含み、ログデータを生成することは、乗員の身元に基づいてログデータを生成することを含む。一部の実施形態では、乗員の視線位置を検出することは、車両に対する乗員の視線の方位角を検出することと、車両に対する乗員の視線の仰角を検出することとを含む。一部の実施形態では、乗員の視線位置を検出することは、車両に対する乗員の視線の深度を検出することをさらに含む。一部の実施形態では、乗員の視線位置を検出することは視線位置のワールド座標を検出することを含み、ログデータを生成することはワールド座標に基づいてログデータを生成することを含む。一部の実施形態では、乗員の視線位置を検出することは、車両に取り付けられたカメラを用いて乗員の画像を捕捉することを含む。

【0106】

本明細書の一態様は、物体情報を取得するためのシステムに関する。システムは、乗員監視カメラと、前方カメラと、命令を記憶するように構成された非一時的なコンピュータ可読媒体と、非一時的なコンピュータ可読媒体に接続されたプロセッサとを含む。プロセッサは、車両の乗員から要求開始を受信するための命令を実行するように構成される。プロセッサはさらに、要求開始を受信後に乗員から要求を受信するための命令を実行するように構成される。プロセッサはさらに、乗員からの要求の内容を判別するための命令を実行するように構成される。プロセッサはさらに、乗員監視カメラからの情報に基づいて、乗員の視線位置を検出するための命令を実行するように構成される。プロセッサはさらに、車両に取り付けられた前方カメラに基づいて、車両の周囲の環境に関する情報を受信するための命令を実行するように構成される。プロセッサはさらに、検出された視線位置及び車両の周囲の環境に関する情報に基づいて車両の外側の関心領域（ＲＯＩ）を識別するための命令を実行するように構成される。プロセッサはさらに、ＲＯＩ及び要求の内容に基づいてログデータを生成するための命令を実行するように構成される。プロセッサはさらに、ログデータを外部装置へ送信するための命令を生成するための命令を実行するように構成される。プロセッサはさらに、ＲＯＩ内の物体に関する情報であって、要求の内容を満たす情報を受信するための命令を実行するように構成される。一部の実施形態では、プロセッサは、ＲＯＩに基づいて前方カメラからの画像をトリミングし、トリミングされた画像を用いてログデータを生成するための命令を実行するように構成される。一部の実施形態では、プロセッサは、要求の内容が物体の識別についての要求であることに応答して、物体に関する識別情報を含む、物体に関する情報を受信するための命令を実行するように構成される。一部の実施形態では、プロセッサは、乗員の身元を判別し、乗員の身元に基づいてログデータを生成するための命令を実行するように構成される。一部の実施形態では、プロセッサは、車両に対する乗員の視線の方位角を検出し、車両に対する乗員の視線の仰角の検出を行うための命令を実行するように構成される。一部の実施形態では、プロセッサは、車両に対する乗員の視線の深度を検出するための命令を実行するように構成される。一部の実施形態では、プロセッサは、視線位置のワールド座標を検出し、ワールド座標に基づいてログデータを生成するための命令を実行するように構成される。

【0107】

本明細書の一態様は、物体情報を取得する方法に関する。方法は、マイクを用いて車両の乗員から要求開始を受信することを含む。方法は、マイクを用いて、要求開始を受信後に乗員から要求を受信することをさらに含む。方法は、乗員の視線位置を検出することをさらに含む。方法は、車両に取り付けられたカメラを用いて、車両の周囲の環境に関する情報を受信することをさらに含む。方法は、車両の周囲の環境に関する情報と、受信した要求とに基づいてログデータを生成することをさらに含む。方法は、ログデータを外部装置へ送信することをさらに含む。方法は、車両の周囲の環境内の物体に関する情報を受信することをさらに含む。方法は、物体に関する情報を受信したことに応答して、乗員が視認可能な通知を自動的に生成することをさらに含む。一部の実施形態では、物体に関する情報を受信することは、外部装置へアクセスするためのリンクを受信することを含む。一部の実施形態では、通知を自動的に生成することは乗員が視認可能なユーザインタフェース上にリンクを表示することを含む。

【0108】

上述したことは、当業者が本開示の態様をより良く理解しうるようにいくつかの実施形態の特徴の概要を示している。本明細書で紹介された実施形態と同じ目的を実現するため、及び／又は本明細書で紹介された実施形態と同じ利益を獲得するために他のプロセス及び構造を設計し又は変更するための基礎として本開示を容易に使用しうることを、当業者は理解されたい。さらに、そのような等価な構造は本開示の思想及び範囲を逸脱せず、当業者は本開示の思想及び範囲を逸脱することなく様々な変更、置換、並びに修正を行いうることを、当業者は認識されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】