特許 7582338 車載装置、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】車載装置、処理方法及びプログラム

(51)【国際特許分類】

   G08G 1/09 20060101AFI20241106BHJP

【ＦＩ】

G08G1/09 H

【請求項の数】 9

(21)【出願番号】P 2022577864

(86)(22)【出願日】2021-01-27

(86)【国際出願番号】 JP2021002770

(87)【国際公開番号】W WO2022162770

(87)【国際公開日】2022-08-04

【審査請求日】2023-07-20

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】矢崎 雄真

(72)【発明者】

【氏名】加藤 隆寛

(72)【発明者】

【氏名】小板橋 勇介

【審査官】秋山 誠

(56)【参考文献】

【文献】特開２０２０－１２３０７５（ＪＰ，Ａ）

【文献】特開２０２０－１０６９４６（ＪＰ，Ａ）

【文献】特表２０１９－５１４１０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得する周辺物体情報取得手段と、
前記車両の運転手の視線情報を取得する視線情報取得手段と、
前記運転手が前記車両に対して行った操作を示す操作情報を取得する操作情報取得手段と、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成する操作意図情報生成手段と、
前記操作意図情報を周辺車両に送信する送受信手段と、
を有し、
前記操作意図情報生成手段は、前記周辺物体を原因とした前記操作情報で示される操作の目的を推定モデルを用いて推定し、推定結果をさらに含む前記操作意図情報を生成し、
前記操作情報で示される操作は、ウインドウを閉じる、又はワイパー停止を含む車載装置。

【請求項2】

前記送受信手段は、前記操作意図情報で示される前記周辺物体に関する前記周辺物体情報を、前記周辺車両に送信する請求項１に記載の車載装置。

【請求項3】

前記送受信手段は、前記操作意図情報で示される前記周辺物体の位置を示す位置情報をさらに前記周辺車両に送信する請求項１又は２に記載の車載装置。

【請求項4】

前記送受信手段は、前記操作意図情報生成手段により生成された前記操作意図情報が重要度の高いものか否かを判定し、重要度が高い前記操作意図情報を前記周辺車両に送信する請求項１から３のいずれか１項に記載の車載装置。

【請求項5】

前記送受信手段は、他の車両から前記他の車両が生成した前記操作意図情報を受信し、
前記他の車両から受信した前記操作意図情報を前記運転手に向けて出力する出力手段と、
をさらに有する請求項１から４のいずれか１項に記載の車載装置。

【請求項6】

前記出力手段は、前記他の車両から受信した前記操作意図情報が重要度の高いものか否かを判定し、重要度が高い前記操作意図情報を前記運転手に向けて出力する請求項５に記載の車載装置。

【請求項7】

前記操作意図情報生成手段は、前記周辺物体情報、前記視線情報及び前記操作情報に基づき、将来行われると予測される操作と、前記将来行われると予測される操作の原因である前記周辺物体とを紐付けた将来操作意図情報を生成し、
前記送受信手段は、前記将来操作意図情報を前記周辺車両に送信する請求項１から６のいずれか１項に記載の車載装置。

【請求項8】

コンピュータが、
車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得し、
前記車両の運転手の視線情報を取得し、
前記運転手が前記車両に対して行った操作を示す操作情報を取得し、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成し、
前記操作意図情報を周辺車両に送信し、
前記操作意図情報を生成する処理において、前記周辺物体を原因とした前記操作情報で示される操作の目的を推定モデルを用いて推定し、推定結果をさらに含む前記操作意図情報を生成し、
前記操作情報で示される操作は、ウインドウを閉じる、又はワイパー停止を含む車載装置の処理方法。

【請求項9】

コンピュータを、
車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得する周辺物体情報取得手段、
前記車両の運転手の視線情報を取得する視線情報取得手段、
前記運転手が前記車両に対して行った操作を示す操作情報を取得する操作情報取得手段、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成する操作意図情報生成手段、
前記操作意図情報を周辺車両に送信する送受信手段、
として機能させ、
前記操作意図情報生成手段は、前記周辺物体を原因とした前記操作情報で示される操作の目的を推定モデルを用いて推定し、推定結果をさらに含む前記操作意図情報を生成し、
前記操作情報で示される操作は、ウインドウを閉じる、又はワイパー停止を含むプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載装置、処理方法及びプログラムに関する。

【背景技術】

【0002】

本発明に関連する技術が、特許文献１乃至３に開示されている。

【0003】

特許文献１は、周囲の車両の速度、危険な車両情報（周囲の車両の危険度）、他の車両の移動方向（直進、右折、左折）、加減速情報、死角の情報、評価情報等を、車車間通信で周囲の車両から取得する技術を開示している。

【0004】

特許文献２は、以下の技術を開示している。移動体に保持された携帯端末は、移動体が路肩に駐停車された車両などの障害物を回避しようとして車道に飛び出した場合や対向車の影から無理な道路横断をして車両側の車道に飛び出した場合などに、その飛び出しを検知し、周辺に対して通信を介して自身の飛び出しを通知する。そして、車両に搭載された運転支援装置は、当該通信によって移動体の飛び出し情報を取得すると、その取得した情報に基づいて移動体と車両の衝突危険性を判断し、衝突危険性があると判断した場合に、車両を運転する運転者への注意喚起や車両の制御、または、後方車への通知を行う。

【0005】

特許文献３は、運転手の視線方向を検出し、視線方向が所定の対象物の方に向いていない場合、警告を発する技術を開示している。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開第２０１７／０４７１７６号

【文献】特開２０１４－００２６４７号

【文献】特開２０１６－１３０９５９号

【発明の概要】

【発明が解決しようとする課題】

【0007】

近年、車両が高機能化し、例えば特許文献１乃至３に開示されているような各種運転補助機能を備えた車両が開発されている。当該運転補助機能により、事故防止等の効果が期待される。そして、この運転補助機能をより充実させることで、事故防止等の効果がより期待される。本発明は、従来と異なる運転補助機能を実現することを課題とする。

【課題を解決するための手段】

【0008】

本発明によれば、
車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得する周辺物体情報取得手段と、
前記車両の運転手の視線情報を取得する視線情報取得手段と、
前記運転手が前記車両に対して行った操作を示す操作情報を取得する操作情報取得手段と、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成する操作意図情報生成手段と、
前記操作意図情報を周辺車両に送信する送受信手段と、
を有する車載装置が提供される。

【0009】

また、本発明によれば、
コンピュータが、
車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得し、
前記車両の運転手の視線情報を取得し、
前記運転手が前記車両に対して行った操作を示す操作情報を取得し、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成し、
前記操作意図情報を周辺車両に送信する車載装置の処理方法が提供される。

【0010】

また、本発明によれば、
コンピュータを、
車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得する周辺物体情報取得手段、
前記車両の運転手の視線情報を取得する視線情報取得手段、
前記運転手が前記車両に対して行った操作を示す操作情報を取得する操作情報取得手段、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成する操作意図情報生成手段、
前記操作意図情報を周辺車両に送信する送受信手段、
として機能させるプログラムが提供される。

【発明の効果】

【0011】

本発明によれば、従来と異なる運転補助機能が実現される。

【図面の簡単な説明】

【0012】

【図1】本実施形態の車載装置のハードウエア構成の一例を示す図である。

【図2】本実施形態の車載装置の機能ブロック図の一例を示す図である。

【図3】本実施形態の車載装置が処理する情報の一例を模式的に示す図である。

【図4】本実施形態の車載装置が処理する情報の一例を模式的に示す図である。

【図5】本実施形態の車載装置が処理する情報の一例を模式的に示す図である。

【図6】本実施形態の車載装置の処理の流れの一例を示すフローチャートである。

【図7】本実施形態の車載装置の処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0014】

＜第１の実施形態＞
「概要」
本実施形態の車載装置は、従来、車両間で送受信されていなかった特徴的な情報を他の車載装置との間で送受信することで、従来と異なる運転補助機能を実現する。上記特徴的な情報は、本実施形態では「操作意図情報」と呼ばれる。操作意図情報は、車両の運転手が行った操作と、その操作の原因となった周辺物体とを紐付けた情報を含む。詳細は後述する。

【0015】

「構成」
次に、車載装置の構成を説明する。まず、車載装置のハードウエア構成の一例を説明する。車載装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0016】

図１は、車載装置のハードウエア構成を例示するブロック図である。図１に示すように、車載装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。車載装置は周辺回路４Ａを有さなくてもよい。なお、車載装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。車載装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0017】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0018】

次に、車載装置の機能構成を説明する。図２に、車載装置１０の機能ブロック図の一例を示す。図示するように、車載装置１０は、周辺物体情報取得部１１と、視線情報取得部１２と、操作情報取得部１３と、操作意図情報生成部１４と、送受信部１５と、出力部１６とを有する。

【0019】

周辺物体情報取得部１１は、車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得する。周辺物体情報は、車両の周辺で検出された物体の種類（人、自転車、車両、標識、信号機、横断歩道、急カーブ、トンネル等）や、位置（自車両との相対的な位置関係等）等を示す。

【0020】

周辺物体情報は、車両に設置されたセンサが生成したデータに基づき生成される。センサは、レーダ、ＬＩＤＡＲ、カメラ等である。このようなセンサが生成したデータに基づき上述のような周辺物体情報を生成する技術は、広く知られているので、ここでの説明は省略する。

【0021】

図３に、周辺物体情報取得部１１により取得された周辺物体情報の一例を模式的に示す。図示する例では、検出日時（図中、「日時」）と、検出された物体の種類（図中、「物体種１」、「物体種２」）と、検出された物体の位置（図中、「位置情報」）とが、互いに紐付けられている。なお、図示する例のように、同じタイミングで複数の物体が検出される場合もある。

【0022】

図２に戻り、視線情報取得部１２は、車両の運転手の視線情報を取得する。視線情報は、運転手の視線方向を示す。視線方向は、例えばベクトルで表すことができるが、これに限定されない。視線情報は、例えば運転手の目を撮影するカメラが生成した画像を解析することで、生成される。上述のような視線情報を生成する技術は、広く知られているので、ここでの説明は省略する。

【0023】

図４に、視線情報取得部１２により取得された視線情報の一例を模式的に示す。図示する例では、検出日時（図中、「日時」）と、検出された視線方向（図中、「視線ベクトル」）とが、互いに紐付けられている。

【0024】

図２に戻り、操作情報取得部１３は、運転手が車両に対して行った操作を示す操作情報を取得する。操作情報は、車両に備えられた操作対象に対する操作の有無やその内容を示す。操作対象は、アクセル、ブレーキ、ハンドル、ウインカー、ワイパー、エアコン、パワーウインドウ等が例示されるが、これらの一部を含まなくてもよいし、他の対象を含んでもよい。操作情報は、車両に備えられたセンサやＥＣＵ（electronic control unit）等により生成される。

【0025】

操作情報で示される操作の内容は、操作された操作対象やその内容を示すものであってもよいし、操作対象に対する操作により実現された車両の挙動を示すものであってもよい。操作対象に対する操作により実現された車両の挙動としては、発進、停車、加速、減速、左折、右折、徐行、車線変更、シフト変更、ライト点灯、ライト消灯、ワイパー起動、ワイパー停止、ウインドウを開く、ウインドウを閉じる等が例示されるが、これらに限定されない。

【0026】

図５に、操作情報取得部１３により取得された操作情報の一例を模式的に示す。図示する例では、検出日時（図中、「日時」）と、検出された操作の内容（図中、「操作」）とが、互いに紐付けられている。

【0027】

図２に戻り、操作意図情報生成部１４は、周辺物体情報、視線情報及び操作情報に基づき、操作情報で示される操作と、操作情報で示される操作の原因となった周辺物体とを紐付けた操作意図情報を生成する。以下、操作意図情報を生成する処理を説明する。

【0028】

－第１の例－
例えば、操作意図情報生成部１４は、周辺物体情報と視線情報とに基づき、操作情報で示される操作が行われたタイミング、またはその直前の所定のタイミング（操作情報で示される操作が行われたタイミングよりも所定時間前）で運転手の視線の先にあった周辺物体を特定する。そして、操作意図情報生成部１４は、特定した周辺物体を、その操作情報で示される操作の原因として特定する。

【0029】

なお、周辺物体情報と視線情報とに基づき運転手の視線の先にある周辺物体を特定する処理は、周知のあらゆる技術を利用して実現できる。例えば、座標変換等の周知の技術を利用して、周辺物体情報で示される周辺物体の座標と、視線情報で示される視線ベクトルと、運転手の頭部や目の位置の座標とを同一の座標系の情報として表すことで、上記処理を実現することができる。運転手の頭部や目の位置の座標は、例えば運転手を撮影するカメラが生成した画像を解析することで、特定することができる。

【0030】

－第２の例－
例えば、機械学習で生成した推定モデルに基づき、操作情報で示される操作の原因を特定してもよい。機械学習の説明変数は、各操作が行われたタイミング及び／又はそれ以前に生成された周辺物体情報、視線情報及び操作情報に基づき生成される。例えば、周辺物体情報で示される検出された周辺物体の種類、位置、車両からの距離が、説明変数として利用されてもよい。また、視線情報と周辺物体情報とに基づき特定された運転手の視線の先にある周辺物体の情報（周辺物体の種類、位置、車両からの距離）や、運転手がその周辺物体に注目した時間（視線の先に居続けた時間）が、説明変数として利用されてもよい。また、操作情報で示される操作の内容が、説明変数として利用されてもよい。また、車両に備えられたセンサやＥＣＵ等により生成されるその他の車両に関連する情報、例えば車速、ハンドルの操舵角、ブレーキの操作状況等が、説明変数として利用されてもよい。機械学習の目的変数は、各操作の原因となった周辺物体を示す情報である。正解ラベルの付与は、オペレータにより実施される。

【0031】

送受信部１５は、操作意図情報生成部１４により生成された操作意図情報を周辺車両に搭載された車載装置１０に送信する。また、送受信部１５は、他の車両（周辺車両）に搭載された車載装置１０から、他の車両に搭載された車載装置１０が生成した操作意図情報を受信することができる。例えば車車間通信や路車間通信を利用して、車両間での操作意図情報の送受信が実現される。その他の手段で当該送受信が実現されてもよい。

【0032】

なお、送受信部１５は、操作意図情報に加えて、周辺物体情報取得部１１が取得した周辺物体情報を周辺車両に搭載された車載装置１０との間で送受信してもよい。この場合、送受信部１５は、周辺物体情報取得部１１が取得した周辺物体情報の全てを周辺車両に搭載された車載装置１０との間で送受信するのでなく、一部を選択的に送受信してもよい。例えば、送受信部１５は、操作意図情報に加えて、操作意図情報で示される周辺物体、すなわち操作意図情報で示される操作の原因となった周辺物体に関する周辺物体情報を、周辺車両に搭載された車載装置１０との間で送受信してもよい。そして、操作意図情報で示される操作の原因となっていない周辺物体に関する周辺物体情報は、周辺車両に搭載された車載装置１０との間で送受信しなくてもよい。送受信部１５が送受信する周辺物体情報は、周辺物体の種類を示す情報、及び、周辺物体の位置を示す位置情報の少なくとも一方を含むことができる。

【0033】

その他、送受信部１５は、操作意図情報生成部１４により生成された操作意図情報のうち、重要度の高いもののみを周辺車両に搭載された車載装置１０に送信してもよい。すなわち、送受信部１５は、操作意図情報生成部１４により生成された操作意図情報が重要度の高いものか否かを判定する手段と、重要度が高い操作意図情報のみを周辺車両に搭載された車載装置１０に送信する手段とを備えてもよい。重要度の高い操作意図情報は、例えば「操作意図情報で示される操作の原因となった周辺物体が所定の条件（例：「人」等）を満たすもの」、「操作意図情報で示される操作の内容が所定の条件（例：「ブレーキ操作」等）を満たすもの」又は「操作意図情報で示される操作の原因となった周辺物体が所定の条件（例：「人」等）を満たし、かつ操作意図情報で示される操作の内容が所定の条件（例：「ブレーキ操作」等）を満たすもの」である。

【0034】

出力部１６は、他の車両に搭載された車載装置１０から受信した操作意図情報を運転手に向けて出力する。出力部１６は、さらに他の車両に搭載された車載装置１０から受信した周辺物体情報を運転手に向けて出力してもよい。

【0035】

なお、出力部１６は、受信した全ての操作意図情報を運転手に向けて出力するのでなく、一部の車両に搭載された車載装置１０から受信した操作意図情報のみを運転手に向けて出力してもよい。当該一部の車両は、自車両との相対的な位置関係が所定条件を満たす車両であり、例えば自車両の前方を走行する先行車両等である。受信した情報の中から、当該一部の車両に搭載された車載装置１０から受信した情報を識別する手段は、広く知られたあらゆる技術を利用して実現できる。例えば、車両間で送受信する情報の中に各車両の位置情報（ＧＰＳ（global positioning system）情報等）を含めておき、当該位置情報を利用して車両間の位置関係を特定してもよい。

【0036】

出力部１６は、例えば「（操作）ブレーキ操作：（原因）人」のように、操作意図情報で示される「操作」と、その操作の原因となった「周辺物体」とを対応付けた情報を出力してもよい。また、出力部１６は、例えば「先行車両は、人が存在するためブレーキ操作をしました」等のように、受信した操作意図情報に基づき、予め登録されたテンプレートを利用して文章を作成し、出力してもよい。また、出力部１６は、周辺物体情報をさらに利用して、例えば「先行車両は、右前方に人が存在するためブレーキ操作をしました」等のようなより詳細な情報を出力してもよい。

【0037】

また、出力部１６は、受信した操作意図情報のうち、重要度の高いもののみを運転手に向けて出力してもよい。すなわち、出力部１６は、受信した操作意図情報が重要度の高いものか否かを判定する手段と、重要度が高い操作意図情報のみを運転手に向けて出力する手段とを備えてもよい。重要度の高い操作意図情報は、例えば「操作意図情報で示される操作の原因となった周辺物体が所定の条件（例：「人」等）を満たすもの」、「操作意図情報で示される操作の内容が所定の条件（例：「ブレーキ操作」等）を満たすもの」又は「操作意図情報で示される操作の原因となった周辺物体が所定の条件（例：「人」等）を満たし、かつ操作意図情報で示される操作の内容が所定の条件（例：「ブレーキ操作」等）を満たすもの」である。

【0038】

出力部１６は、ディスプレイ、ヘッドアップディスプレイ、スピーカ、投影装置、ウェアラブルデバイス等、あらゆる出力装置を介して上述のような情報の出力を実現することができる。例えば、出力部１６は、車両に設置されたカーナビゲーションシステムや運転手が装着したウェアラブルデバイス等に搭載されている音声アナウンス機能を利用して、上述のような情報を出力してもよい。また、出力部１６は、ヘッドアップディスプレイやインストルメントパネル等に、上述のような情報を表示してもよい。また、出力部１６は、上記音声案内と上記表示を組み合わせてもよい。

【0039】

次に、図６のフローチャートを用いて、車載装置１０が操作意図情報を周辺車両に送信する処理の流れの一例を説明する。

【0040】

Ｓ１０では、車載装置１０は、車両の周辺で検出された物体である周辺物体に関する周辺物体情報、車両の運転手の視線情報、及び運転手が車両に対して行った操作を示す操作情報を取得する。

【0041】

Ｓ１１では、車載装置１０は、Ｓ１０で取得した周辺物体情報、視線情報及び操作情報に基づき、操作情報で示される操作と、操作情報で示される操作の原因となった周辺物体とを紐付けた操作意図情報を生成する。

【0042】

Ｓ１２では、車載装置１０は、Ｓ１１で生成した操作意図情報を周辺車両に搭載された車載装置１０に送信する。

【0043】

次に、図７のフローチャートを用いて、車載装置１０が操作意図情報を周辺車両から受信し、運転手に向けて出力する処理の流れの一例を説明する。

【0044】

Ｓ２０では、車載装置１０は、他の車両（周辺車両）に搭載された車載装置１０が生成した操作意図情報を他の車両に搭載された車載装置１０から受信する。

【0045】

Ｓ２１では、車載装置１０は、Ｓ２０で受信した操作意図情報を、運転手に向けて出力する。

【0046】

「作用効果」
本実施形態の車載装置１０は、従来、車両間で送受信されていなかった特徴的な情報（操作意図情報）を他の車載装置との間で送受信する。このような車載装置１０によれば、従来と異なる運転補助機能が提供され、利用可能な運転補助機能がより充実する。

【0047】

ところで、運転手は、周囲を目視で確認することで、周辺車両の挙動（減速、停止、車線変更等）を確認することができる。そして、運転手は、確認した周辺車両の挙動に基づき、周辺車両の運転手が行った操作を認識することができる。しかし、従来、運転手は、周辺車両の運転手の操作の原因、すなわち「なぜ、そのような操作を行ったのか」を把握することができなかった。このため、周辺車両の運転手の操作を認識しても、自身も周辺車両に追従してその操作を行うべきか否か、また、何らかの特別な操作が必要か否か等を適切に判断することが難しかった。

【0048】

この問題に対し、周辺車両（例えば先行車両）から受信した操作意図情報、すなわち、周辺車両の運転手が行った操作と、その操作の原因となった周辺物体とを紐付けた情報を運転手に提示する車載装置１０によれば、運転手は、当該操作意図情報に基づき、周辺車両の運転手の操作の意図、すなわち「なぜ、そのような操作を行ったのか」を把握することができる。このため、自身が行うべき操作内容を適切かつ迅速に判断することが可能となる。

【0049】

また、車載装置１０は、車両の周辺で検出された周辺物体に関する周辺物体情報を他の車両に搭載された車載装置１０との間で送受信することができるが、すべての周辺物体に関する周辺物体情報を送受信するのでなく、例えば操作意図情報で示される操作の原因となった周辺物体に関する周辺物体情報のみを、送受信することができる。車両間で送受信する情報が過多となると、通信渋滞等が起こり得る。また、車載装置１０のデータ処理の負担も大きくなる。さらに、運転手に提示する情報が過多となると、運転手の負担が大きくなるほか、大事な情報が見落とされる等の不都合が発生し得る。上述のような基準で絞り込んだ適切な情報のみを車両間で送受信できる車載装置１０によれば、新たな運転補助機能を実現しつつ、上記不都合を軽減することができる。

【0050】

＜第２の実施形態＞
本実施形態の車載装置１０は、「操作情報で示される操作（例：ハンドル操作）と、操作情報で示される操作の原因となった周辺物体（例：人）とを紐付けた情報」に加えて、「操作情報で示される操作の目的（例：衝突回避）」をさらに含む操作意図情報を、周辺車両に搭載された車載装置１０との間で送受信する。以下、詳細に説明する。

【0051】

操作意図情報生成部１４は、周辺物体情報、視線情報及び操作情報に基づき、「操作情報で示される操作と、操作情報で示される操作の原因となった周辺物体とを紐付けた情報」に加えて、「操作情報で示される操作の目的」を示す操作意図情報を生成する。「操作情報で示される操作と、操作情報で示される操作の原因となった周辺物体とを紐付けた情報」の生成は、第１の実施形態と同様の手段で実現される。以下、「操作情報で示される操作の目的」を特定する処理を説明する。

【0052】

例えば、機械学習で生成した推定モデルに基づき、操作情報で示される操作の目的を特定してもよい。機械学習の説明変数は、各操作が行われたタイミング及び／又はそれ以前に生成された周辺物体情報、視線情報及び操作情報に基づき生成される。機械学習の説明変数は、「操作情報で示される操作と、操作情報で示される操作の原因となった周辺物体とを紐付けた情報」を含む。そして、機械学習の目的変数は、「操作情報で示される操作の目的」である。以下、説明変数と目的変数の例を示す。

【0053】

【表1】

【0054】

なお、説明変数は、その他の情報を含んでもよい。例えば、周辺物体情報で示される検出されたその他の周辺物体の種類、位置、車両からの距離が、説明変数として利用されてもよい。また、視線情報と周辺物体情報とに基づき特定された運転手の視線の先にある周辺物体の情報（周辺物体の種類、位置、車両からの距離）や、運転手がその周辺物体に注目した時間（視線の先に居続けた時間）が、説明変数として利用されてもよい。また、操作情報で示される操作の内容が、説明変数として利用されてもよい。また、車両に備えられたセンサやＥＣＵ等により生成されるその他の車両に関連する情報、例えば車速、ハンドルの操舵角、ブレーキの操作状況等が、説明変数として利用されてもよい。正解ラベルの付与は、オペレータにより実施される。

【0055】

本実施形態の車載装置１０のその他の構成は、第１の実施形態と同様である。

【0056】

本実施形態の車載装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の車載装置１０によれば、操作の目的を含む操作意図情報を周辺車両に搭載された車載装置１０との間で送受信できる。このような車載装置１０によれば、運転手は、より詳細に、周辺車両の運転手の操作の意図、すなわち「なぜ、そのような操作を行ったのか」を把握することができる。このため、自身が行うべき操作内容を適切かつ迅速に判断することが可能となる。

【0057】

＜第３の実施形態＞
本実施形態の車載装置１０は、周辺物体情報、視線情報及び操作情報に基づき、将来行われる操作と、その操作の原因（周辺物体）とを予測する。そして、車載装置１０は、将来行われると予測される操作と、その操作の原因（周辺物体）とを紐付けた将来操作意図情報を、周辺車両に搭載された車載装置１０との間で送受信する。以下、詳細に説明する。

【0058】

操作意図情報生成部１４は、周辺物体情報、視線情報及び操作情報に基づき、将来行われる操作（数秒後に行われる操作）と、その操作の原因（周辺物体）とを予測する。そして、操作意図情報生成部１４は、将来行われると予測される操作と、その操作の原因（周辺物体）とを紐付けた将来操作意図情報を生成する。以下、将来行われる操作と、その操作の原因（周辺物体）を予測する処理を説明する。

【0059】

－第１の例－
例えば、将来行われる操作と、その操作の原因（周辺物体）の予測は、機械学習で生成した推定モデルに基づき実現される。機械学習の説明変数は、予測するタイミング及び／又はそれ以前に生成された周辺物体情報、視線情報及び操作情報に基づき生成される。例えば、周辺物体情報で示される検出された周辺物体の種類、位置、車両からの距離が、説明変数として利用されてもよい。また、視線情報と周辺物体情報とに基づき特定された運転手の視線の先にある周辺物体の情報（周辺物体の種類、位置、車両からの距離）や、運転手がその周辺物体に注目した時間（視線の先に居続けた時間）が、説明変数として利用されてもよい。また、操作情報で示される操作の内容が、説明変数として利用されてもよい。また、車両に備えられたセンサやＥＣＵ等により生成されるその他の車両に関連する情報、例えば車速、ハンドルの操舵角、ブレーキの操作状況等が、説明変数として利用されてもよい。機械学習の目的変数は、予測するタイミングの直後（数秒後）に行った操作及びその操作の原因（周辺物体）である。正解ラベルの付与は、オペレータにより実施される。

【0060】

－第２の例－
第２の例は、機械学習の説明変数の内容が第１の例と異なる。第２の例では、第１の例で説明した説明変数に加えて、先行車両から受信した情報（操作意図情報や周辺物体情報）を説明変数として利用する。その他の構成は、第１の例と同様である。

【0061】

なお、操作意図情報生成部１４は、上述した「将来行われると予測される操作と、その操作の原因（周辺物体）とを紐付けた情報」に加えて、「将来行われると予測される操作の目的」をさらに含む操作意図情報を生成してもよい。「将来行われると予測される操作の目的」の特定は、第２の実施形態で説明した「操作情報で示される操作の目的」を特定する処理と同様の処理で実現することができる。

【0062】

送受信部１５は、将来操作意図情報を、周辺車両に搭載された車載装置１０との間で送受信する。

【0063】

出力部１６は、受信された将来操作意図情報を、運転手に向けて出力する。出力部１６は、第１の実施形態で説明した操作意図情報の出力と同様にして、将来操作意図情報を運転手に向けて出力することができる。

【0064】

本実施形態の車載装置１０のその他の構成は、第１及び第２の実施形態と同様である。

【0065】

本実施形態の車載装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、本実施形態の車載装置１０によれば、将来の操作及びその原因の予測結果や、その将来の操作の目的などを含む操作意図情報を周辺車両に搭載された車載装置１０との間で送受信できる。このような車載装置１０によれば、運転手は、より早いタイミングで、周辺車両の運転手の操作やその意図を把握することができる。このため、自身が行うべき操作内容を適切かつ迅速に判断することが可能となる。

【0066】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0067】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

【0068】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得する周辺物体情報取得手段と、
前記車両の運転手の視線情報を取得する視線情報取得手段と、
前記運転手が前記車両に対して行った操作を示す操作情報を取得する操作情報取得手段と、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成する操作意図情報生成手段と、
前記操作意図情報を周辺車両に送信する送受信手段と、
を有する車載装置。
２． 前記操作意図情報生成手段は、前記操作情報で示される操作の目的をさらに含む前記操作意図情報を生成する１に記載の車載装置。
３． 前記送受信手段は、前記操作意図情報で示される前記周辺物体に関する前記周辺物体情報を、前記周辺車両に送信する１又は２に記載の車載装置。
４． 前記送受信手段は、前記操作意図情報で示される前記周辺物体の位置を示す位置情報をさらに前記周辺車両に送信する１から３のいずれかに記載の車載装置。
５． 前記送受信手段は、前記操作意図情報生成手段により生成された前記操作意図情報が重要度の高いものか否かを判定し、重要度が高い前記操作意図情報を前記周辺車両に送信する１から４のいずれかに記載の車載装置。
６． 前記送受信手段は、他の車両から前記他の車両が生成した前記操作意図情報を受信し、
前記他の車両から受信した前記操作意図情報を前記運転手に向けて出力する出力手段と、
をさらに有する１から５のいずれかに記載の車載装置。
７． 前記出力手段は、前記他の車両から受信した前記操作意図情報が重要度の高いものか否かを判定し、重要度が高い前記操作意図情報を前記運転手に向けて出力する６に記載の車載装置。
８． 前記操作意図情報生成手段は、前記周辺物体情報、前記視線情報及び前記操作情報に基づき、将来行われると予測される操作と、前記将来行われると予測される操作の原因である前記周辺物体とを紐付けた将来操作意図情報を生成し、
前記送受信手段は、前記将来操作意図情報を前記周辺車両に送信する１から７のいずれかに記載の車載装置。
９． 前記操作意図情報生成手段は、前記将来行われると予測される操作の目的をさらに含む前記将来操作意図情報を生成する８に記載の車載装置。
１０． コンピュータが、
車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得し、
前記車両の運転手の視線情報を取得し、
前記運転手が前記車両に対して行った操作を示す操作情報を取得し、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成し、
前記操作意図情報を周辺車両に送信する車載装置の処理方法。
１１． コンピュータを、
車両の周辺で検出された物体である周辺物体に関する周辺物体情報を取得する周辺物体情報取得手段、
前記車両の運転手の視線情報を取得する視線情報取得手段、
前記運転手が前記車両に対して行った操作を示す操作情報を取得する操作情報取得手段、
前記周辺物体情報、前記視線情報及び前記操作情報に基づき、前記操作情報で示される操作と、前記操作情報で示される操作の原因となった前記周辺物体とを紐付けた操作意図情報を生成する操作意図情報生成手段、
前記操作意図情報を周辺車両に送信する送受信手段、
として機能させるプログラム。

【符号の説明】

【0069】

１０ 車載装置
１１ 周辺物体情報取得部
１２ 視線情報取得部
１３ 操作情報取得部
１４ 操作意図情報生成部
１５ 送受信部
１６ 出力部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】