(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-27
(45)【発行日】2023-05-10
(54)【発明の名称】情報提示システム、情報提示方法、プログラム、及び、移動体
(51)【国際特許分類】
G01C 21/26 20060101AFI20230428BHJP
G08G 1/0969 20060101ALI20230428BHJP
【FI】
G01C21/26 C
G08G1/0969
(21)【出願番号】P 2018229442
(22)【出願日】2018-12-06
【審査請求日】2021-09-21
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】居 豊
(72)【発明者】
【氏名】武田 英俊
(72)【発明者】
【氏名】山下 知里
(72)【発明者】
【氏名】観音 哲哉
【審査官】武内 俊之
(56)【参考文献】
【文献】国際公開第2015/008363(WO,A1)
【文献】特開2018-121287(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/26
G08G 1/0969
(57)【特許請求の範囲】
【請求項1】
移動体に乗っている人物の視点に基づいて、前記人物が前記移動体の内部において着目している着目エリアを決定する着目エリア決定部と、
前記着目エリアと前記移動体に関する移動体情報とに基づいて、前記着目エリアに関する着目エリア情報を提示部に提示する提示制御部と、
を備え
、
前記着目エリアと前記移動体情報とに基づいて、前記人物が前記着目エリアから取得したい対象情報を決定する対象情報推定部を更に備え、
前記提示制御部は、前記対象情報に基づいて前記着目エリア情報を前記提示部に提示し、
前記対象情報推定部は、前記着目エリア決定部で決定された着目エリアの履歴を利用して、前記対象情報を決定し、
前記対象情報推定部は、前回の着目エリアの決定から今回の着目エリアの決定までの時間間隔が閾値以下であり、かつ前記前回の着目エリアが前記今回の着目エリアと同じ場合、前回の対象情報とは異なる情報を、今回の対象情報とし、
前記対象情報推定部は、前記着目エリアと前記移動体情報との組み合わせと前記対象情報との関係を学習した学習済みモデルを利用して前記対象情報を決定し、
前記対象情報推定部は、前記前回の対象情報とは異なる情報を前記今回の対象情報とした場合、前記今回の着目エリアと前記移動体情報との組み合わせと前記今回の対象情報との関係を用いて、前記学習済みモデルの再学習を行う、
情報提示システム。
【請求項2】
前記対象情報推定部は、前記着目エリアの表示内容と前記移動体に関する移動体情報とに基づいて、前記対象情報を決定する、
請求項1の情報提示システム。
【請求項3】
前記対象情報推定部は、
前記表示内容が地図情報を含む場合、前記地図情報に関連する案内情報を前記対象情報とする、
請求項2の情報提示システム。
【請求項4】
前記案内情報は、前記移動体の現在の位置と前記移動体の目的地との相対位置関係に関連する位置情報を含む、
請求項3の情報提示システム。
【請求項5】
前記着目エリア決定部は、前記人物が、前記移動体の内部において規定時間内に規定回数以上見たエリアを前記着目エリアとして決定するように構成される、
請求項1~4のいずれか一つの情報提示システム。
【請求項6】
前記人物は、前記移動体の運転をしている人物である、
請求項1~5のいずれか一つの情報提示システム。
【請求項7】
前記移動体情報は、前記移動体の内部状態の最新情報と前記移動体の外部状態の最新情報との少なくとも一方を含む、
請求項1~6のいずれか一つの情報提示システム。
【請求項8】
視線検出部が検出した移動体に乗っている人物の視点に基づいて、前記人物が前記移動体の内部において着目している着目エリアを決定し、
前記着目エリアと前記移動体に関する移動体情報とに基づいて、前記着目エリアに関する着目エリア情報を提示部に提示し、
前記着目エリアと前記移動体情報とに基づいて、前記人物が前記着目エリアから取得したい対象情報を決定し、
前記対象情報に基づいて前記着目エリア情報を前記提示部に提示し、
着目エリア決定部で決定された着目エリアの履歴を利用して、前記対象情報を決定し、
前回の着目エリアの決定から今回の着目エリアの決定までの時間間隔が閾値以下であり、かつ前記前回の着目エリアが前記今回の着目エリアと同じ場合、前回の対象情報とは異なる情報を、今回の対象情報とし、
前記着目エリアと前記移動体情報との組み合わせと前記対象情報との関係を学習した学習済みモデルを利用して前記対象情報を決定し、
前記前回の対象情報とは異なる情報を前記今回の対象情報とした場合、前記今回の着目エリアと前記移動体情報との組み合わせと前記今回の対象情報との関係を用いて、前記学習済みモデルの再学習を行う、
情報提示方法。
【請求項9】
1以上のプロセッサに、請求項8の情報提示方法を実行させるための、
プログラム。
【請求項10】
請求項1~7のいずれか一つの情報提示システムと、
前記情報提示システムが搭載される本体と、
を備える、
移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報提示システム、情報提示方法、プログラム、及び、移動体に関する。本開示は、特に、移動体に乗っている人物に情報を提示する情報提示システム、情報提示方法、プログラム、及び、移動体に関する。
【背景技術】
【0002】
特許文献1は、車載用ナビゲーション装置(カーナビゲーションシステム)を開示する。特許文献1の車載用ナビゲーション装置では、マイクロコンピュータは、ドライバがモニタの画面を継続的に注視している時間を判別する。継続時間が2秒以上になると、モニタへの表示及びスピーカにより、ドライバに警告を発して注意を促す。それでも、ドライバが画面を見続けている場合には、画面をオフする。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、ドライバが画面を見続けている場合に画面がオフになる。ドライバが画面を見続けているのは何らかの情報が得たいからである可能性が高い。そうすると、特許文献1ではドライバ(移動体に乗っている人物)に適切に情報を提示できていない。
【0005】
課題は、移動体に乗っている人物に適切な情報を提示できる、情報提示システム、情報提示方法、プログラム、及び、移動体を提供することである。
【課題を解決するための手段】
【0006】
本開示の一態様の情報提示システムは、移動体に乗っている人物の視点に基づいて、前記人物が前記移動体の内部において着目している着目エリアを決定する着目エリア決定部と、前記着目エリアと前記移動体に関する移動体情報とに基づいて、前記着目エリアに関する着目エリア情報を提示部に提示する提示制御部と、を備える。前記情報提示システムは、前記着目エリアと前記移動体情報とに基づいて、前記人物が前記着目エリアから取得したい対象情報を決定する対象情報推定部を更に備える。前記提示制御部は、前記対象情報に基づいて前記着目エリア情報を前記提示部に提示する。前記対象情報推定部は、前記着目エリア決定部で決定された着目エリアの履歴を利用して、前記対象情報を決定する。前記対象情報推定部は、前回の着目エリアの決定から今回の着目エリアの決定までの時間間隔が閾値以下であり、かつ前記前回の着目エリアが前記今回の着目エリアと同じ場合、前回の対象情報とは異なる情報を、今回の対象情報とする。前記対象情報推定部は、前記着目エリアと前記移動体情報との組み合わせと前記対象情報との関係を学習した学習済みモデルを利用して前記対象情報を決定する。前記対象情報推定部は、前記前回の対象情報とは異なる情報を前記今回の対象情報とした場合、前記今回の着目エリアと前記移動体情報との組み合わせと前記今回の対象情報との関係を用いて、前記学習済みモデルの再学習を行う。
【0007】
本開示の一態様の情報提示方法は、移動体に乗っている人物の視点に基づいて、前記人物が前記移動体の内部において着目している着目エリアを決定し、前記着目エリアと前記移動体に関する移動体情報に基づいて、前記着目エリアに関する着目エリア情報を提示部に提示する。前記情報提示方法は、前記着目エリアと前記移動体情報とに基づいて、前記人物が前記着目エリアから取得したい対象情報を決定し、前記対象情報に基づいて前記着目エリア情報を前記提示部に提示する。前記情報提示方法は、着目エリア決定部で決定された着目エリアの履歴を利用して、前記対象情報を決定する。前記情報提示方法は、前回の着目エリアの決定から今回の着目エリアの決定までの時間間隔が閾値以下であり、かつ前記前回の着目エリアが前記今回の着目エリアと同じ場合、前回の対象情報とは異なる情報を、今回の対象情報とする。前記情報提示方法は、前記着目エリアと前記移動体情報との組み合わせと前記対象情報との関係を学習した学習済みモデルを利用して前記対象情報を決定する。前記情報提示方法は、前記前回の対象情報とは異なる情報を前記今回の対象情報とした場合、前記今回の着目エリアと前記移動体情報との組み合わせと前記今回の対象情報との関係を用いて、前記学習済みモデルの再学習を行う。
【0008】
本開示の一態様のプログラムは、1以上のプロセッサに、上述の情報提示方法を実行させるための、プログラムである。
【0009】
本開示の一態様の移動体は、上述の情報提示システムと、前記情報提示システムが搭載される移動体本体と、を備える。
【発明の効果】
【0010】
本開示の態様によれば、移動体に乗っている人物に適切な情報を提示できる、という効果を奏する。
【図面の簡単な説明】
【0011】
【
図1】
図1は、一実施形態の情報提示システムのブロック図である。
【
図2】
図2は、上記実施形態の情報提示システムの説明図である。
【
図3】
図3は、上記実施形態の情報提示システムの動作のフローチャートである。
【発明を実施するための形態】
【0012】
1.実施形態
1.1 概要
図1は、一実施形態の情報提示システム10を示す。情報提示システム10は、着目エリア決定部152と、提示制御部155とを備える。着目エリア決定部152は、
図2に示すように、移動体30に乗っている人物H1が移動体30の内部において着目している着目エリアR1,R2を決定する。提示制御部155は、着目エリアR1,R2と移動体30に関する移動体情報とに基づいて、着目エリアR1,R2に関する着目エリア情報を提示する。
【0013】
このように、情報提示システム10は、人物H1が移動体30の内部において着目している場所(着目エリアR1,R2)がある場合に、情報の提示を実行する。情報提示システム10で提示される情報は、着目エリアに関する着目エリア情報であって、着目エリアR1,R2と移動体30に関する移動体情報とに基づいている。これによって、例えば、情報提示システム10は、人物H1が着目エリアR1,R2に関して関心を持っている情報を、人物H1に提示することができる。したがって、情報提示システム10によれば、移動体30に乗っている人物H1に適切な情報を提示できる。特に、人物H1が移動体30を運転している人物である場合には、情報提示システム10が着目エリア情報を提示することによって、人物H1が欲しい情報を迅速に入手できて、着目エリアではなくウィンドシールド32の前方を見るようになり得る。よって、情報提示システム10は、人物H1のよそ見運転の予防を図ることができ、安全運転に役立つ。
【0014】
1.2 詳細
以下、情報提示システム10について図面を参照して詳細に説明する。情報提示システム10は、
図2に示すように、移動体30に乗っている人物H1に、情報を提示するためのシステムである。情報提示システム10は、移動体30の本体31に搭載される。移動体30は乗物であり、本実施形態では自動車である。
【0015】
情報提示システム10は、
図1に示すように、撮像部11と、通信部12と、提示部13と、記憶部14と、処理部15とを備える。
【0016】
撮像部11は、情報提示システム10により情報を提示する対象となる人物H1の頭部を含む画像を撮るための装置又はシステムである。撮像部11は、1以上のカメラを含む。本実施形態では、人物H1は、移動体30を運転するドライバを想定している。人物H1は必ずしもドライバに限定されず、助手席や後部座席等に座っている人物であってよい。撮像部11は、
図2に示すように、移動体30の本体31において、人物H1の頭部を含む画像、特に、人物H1の顔面の画像を撮ることができる位置に配置される。撮像部11で撮られた画像は処理部15に与えられる。
【0017】
通信部12は、移動体30の本体31に搭載されていない装置又はシステムとの間の情報の入出力を行う。本実施形態では、通信部12は、外部システム20に通信可能に接続される。通信部12は、1以上の通信装置を含み、通信ネットワークを介した通信を実現する。通信ネットワークは、単一の通信プロトコルに準拠したネットワークだけではなく、異なる通信プロトコルに準拠した複数のネットワークで構成されていてもよい。通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。ただし、通信部12と外部システム20との間の通信は、移動体通信により行われることが好ましい。なお、通信ネットワークは、必要に応じて、リピータハブ、スイッチングハブ、ブリッジ、ゲートウェイ、ルータ等のデータ通信機器を含み得る。
【0018】
提示部13は、人物H1に情報の提示を行うための装置又はシステムである。つまり、提示部13は、ヒューマン-マシンインタフェースである。提示部13は、画像表示装置131と、音声出力装置132とを有している。画像表示装置131は、人物H1に視覚的な情報を提示するための装置又はシステムである。画像表示装置131は、液晶ディスプレイや、有機ELディスプレイ、3Dヘッドアップディスプレイ(HUD)等の1以上のディスプレイを含み得る。本実施形態では、画像表示装置131は、本体31に搭載されるカーナビゲーションシステムの液晶ディスプレイを含む。音声出力装置132は、人物H1に聴覚的な情報を提示するための装置又はシステムである。音声出力装置132は、1以上のスピーカを含み得る。本実施形態では、音声出力装置132は、本体31に搭載されるオーディオシステムを含む。
【0019】
記憶部14は、処理部15が利用する情報を記憶するための装置又はシステムである。記憶部14は、1以上の記憶装置を含む。記憶装置は、例えば、RAM(Random Access Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)である。記憶部14は、履歴記憶部141と、情報記憶部142とを備える。
【0020】
履歴記憶部141は、後述する着目エリア決定部152で決定された着目エリアの履歴を記憶する。履歴記憶部141は、着目エリアの決定時の時の移動体30に関する移動体情報を記憶してよい。
【0021】
情報記憶部142は、移動体30に関する移動体情報を記憶する。移動体情報は、移動体30の内部状態の最新情報と移動体30の外部状態の最新情報との少なくとも一方を含む。このような移動体情報を利用すれば、移動体30に乗っている人物H1に、より適切な情報を提示できる。ここで、移動体30の内部状態は、移動体30の移動に関する状態、移動体30に乗っている人物に関する状態、及び移動体30の性能に関する状態の少なくとも一つを含み得る。移動体30の移動に関する状態の例としては、移動体30の走行状態(走行中か停止中か)、移動体30の速度(現在の速度)、移動体30の操舵角、移動体30のエネルギー(ガソリン、電気)の残量が挙げられる。更に、移動体30の移動に関する状態の例としては、移動体30の周囲の温度(現在の温度)、移動体30の周囲の騒音レベル、移動体30の周囲の状況(物体の有無等)が挙げられる。移動体100に乗っている人物に関する状態の例としては、移動体30に乗っている人物の状態(現在の状態)が挙げられる。移動体30の性能に関する状態は、移動体30の諸元(移動体30の本体31の寸法、燃費等)を含む。ここで、移動体30の移動に関する状態、及び、移動体30に乗っている人物に関する状態は、移動体30に搭載される各種センサから取得可能である。センサとしては、加速度センサ、カメラ、超音波センサ、マイクロフォン、温度センサ、圧力センサ、ミリ波(テラヘルツ波)センサ、呼気センサが挙げられる。移動体30の性能に関する状態は、情報記憶部142に予め記憶されるか、外部システム20から取得可能である。移動体30の外部状態は、移動体30の位置に関する状態、移動体30の周辺の状態、及び移動体30と連携するシステムの状態の少なくとも一つを含み得る。移動体30の位置に関する状態の例としては、移動体30の位置情報が挙げられる。移動体30の周辺の状態の例としては、交通情報(渋滞情報等)、騒音レベル、天気情報、時間情報が挙げられる。移動体30と連携するシステムの状態の例としては、移動体30とは別の移動体からの情報、移動体30に関するサービス提供者からの情報等が挙げられる。移動体30の外部状態は、通信部12を通じて外部システム20から取得可能である。外部システム20は、1以上の情報提供システムを含み得る。情報提供システムの例としては、グローバル・ポジショニング・システム(GPS)、道路交通情報通信システムが挙げられる。
【0022】
処理部15は、情報提示システム10の動作を制御する役割を持つ電気回路である。処理部15は、例えば、1以上のプロセッサ(マイクロプロセッサ)により実現され得る。つまり、1以上のプロセッサが1以上のメモリに記憶された1以上のプログラムを実行することで、処理部15として機能する。1以上のプログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
【0023】
処理部15は、
図1に示すように、視線検出部151と、着目エリア決定部152と、移動体情報取得部153と、対象情報推定部154と、提示制御部155とを備える。視線検出部151と、着目エリア決定部152と、移動体情報取得部153と、対象情報推定部154と、提示制御部155とは実体のある構成を示しているわけではなく、処理部15によって実現される機能を示している。
【0024】
視線検出部151は、人物H1の視点(注視点)を検出するように構成される。視点は、人物H1の視線Q1(
図2参照)の注がれるところである。要するに、視線検出部151は、移動体30の内部において人物H1が見ている場所を検出する。本実施形態では、視線検出部151は、撮像部11から得られた人物H1の頭部の画像に基づいて、人物H1の視点を検出する。視点の検出には、従来周知のアイトラッキング技術(特に、オプティカルトラッキング)を用いることができる。
【0025】
着目エリア決定部152は、移動体30に乗っている人物H1が移動体30の内部において着目している着目エリアを決定する。特に、着目エリア決定部152は、人物H1の視点に基づいて、着目エリアを決定する。人物H1の視点は、視線検出部151により検出される。これにより、着目エリアの決定の精度の向上が図れる。
【0026】
本実施形態では、移動体30の内部には、着目エリアの候補として複数のエリアが設定されている。着目エリアの候補となるエリアは、第1エリアR1及び第2エリアR2を含む。第1エリアR1は、画像表示装置131の画面である。第2エリアR2は、移動体30のインストルメンタルパネル(ダッシュボード)の計器盤である。
【0027】
着目エリア決定部152は、視線検出部151で検出された人物H1の視点に基づいて、第1エリアR1及び第2エリアR2から着目エリアを選択する。着目エリア決定部152は、人物H1が移動体30の内部において所定時間以上継続して見たエリア、又は、人物H1が移動体30の内部において規定時間内に規定回数以上見たエリアを、着目エリアとして決定する。これによって、着目エリアの決定の精度の向上が図れる。人物H1が移動体30の内部において所定時間以上継続して見たエリアは、要するに、人物H1がずっと見ているエリアである。所定時間は一例としては、2秒である。人物H1が移動体30の内部において規定時間内に規定回数以上見たエリアは、要するに、人物H1がちらちら見ているエリアである。規定時間は一例としては5秒である。規定回数は一例としては3回である。本実施形態では、着目エリア決定部152は、人物H1が移動体30の内部において規定時間内に規定回数以上見たエリアを、着目エリアとして決定する。
【0028】
移動体情報取得部153は、着目エリア決定部152で着目エリアが決定された際に、移動体情報を取得する。移動体情報取得部153は、移動体30に搭載される各種センサ、外部システム20、及び、記憶部14から、移動体情報を取得してよい。
【0029】
対象情報推定部154は、着目エリアと移動体情報とに基づいて、人物H1が着目エリアから取得したい対象情報を決定する。より詳細には、対象情報推定部154は、着目エリア決定部152で決定された着目エリアと移動体情報取得部153で取得された移動体情報とに基づいて、着目エリア決定部152で決定された着目エリアから人物H1が取得したい対象情報を決定する。対象情報は、人物H1が着目エリアから取得可能な情報、及び、人物H1が着目エリアから取得可能な情報についての追加情報(例えば、詳細や補足)を含み得る。ここで、人物H1が着目エリアから取得可能な情報は、着目エリアに明示的又は暗示的に表示されている情報であり得る。着目エリアに明示的に表示されている情報は、着目エリアにテキストで表示されている情報であり得る。着目エリアに暗示的に表示されている情報は、着目エリアに図、絵、マーク、記号等で表示されている情報であり得る。例えば、着目エリアが画像表示装置131の画面であり、地図上にナビゲーション情報が表示されているとする。この場合、人物H1が着目エリアから取得可能な情報としては、地図上の目的地の位置、目的地までの経路、目的地までの距離、渋滞状況、及び予想到着時間である。追加情報としては、地図上の目的地の位置の詳細・補足(目的地の住所)、目的地までの経路の詳細・補足、目的地までの距離の詳細・補足、渋滞状況の詳細・補足、及び予想到着時間の詳細・補足がある。
【0030】
本実施形態では、対象情報推定部154は、着目エリアの表示内容と移動体30に関する移動体情報とに基づいて、対象情報を決定する。つまり、対象情報を決定するために、対象情報推定部154は、着目エリアの表示内容を参照する。一例として、着目エリアがカーナビゲーションシステムの画面である場合に、対象情報推定部154は、カーナビゲーションシステムの画面の表示内容を参照する。着目エリアの表示内容とは、着目エリアに直接的に表示されている情報(視覚情報)であり得る。また、着目エリアの表示内容は、単一の視覚情報ではなく、複数の視覚情報を含み得る。
【0031】
第1エリアR1は、上述したように、画像表示装置131の画面である。画像表示装置131の画面の表示内容は、変更され得るから、単一の視覚情報ではなく、複数の視覚情報を含み得る。例えば、画像表示装置131の画面の表示内容は、カーナビゲーションシステム又はオーディオシステムによって変わり得る。第1エリアR1の表示内容は、地図情報、カーナビゲーションシステムによるナビゲーション情報、及び、オーディオシステムで再生中の音楽情報を含む。対象情報推定部154は、カーナビゲーションシステム又はオーディオシステムから、画像表示装置131の画面の表示内容を取得してよい。
【0032】
対象情報推定部154は、表示内容が地図情報を含む場合、地図情報に関連する案内情報を対象情報としてよい。案内情報は、絶対位置情報と、相対位置情報とを含み得る。絶対位置情報は、移動体30の目的地の位置に関連する情報である。なお、ここでの目的地は、カーナビゲーションシステムで設定された目的地とは必ずしも一致しない。絶対位置情報の例としては、地図情報で表される地図上での目的地の位置がある。相対位置情報は、移動体30の現在の位置と移動体30の目的地との位置関係に関連する情報である。相対位置情報の例としては、移動体30の現在の位置から移動体30の目的地までの距離、ルート、ナビゲーション情報、時間等がある。
【0033】
例えば、着目エリアが第1エリアR1であり、表示内容が地図情報である場合を考える。この場合において、移動体情報に含まれる移動体30の位置が高速道路上であれば、対象情報は、駐停車可能なエリアの場所であると考えられる。対象情報推定部154は、目的地が最寄りの駐停車可能なエリアである絶対位置情報を生成してよい。駐車可能エリアとしては、パーキングエリア及びサービスエリアがある。また、移動体情報に含まれる移動体30の位置が高速道路の出口周辺であれば、対象情報は、高速道路の出口の場所であると考えられる。対象情報推定部154は、目的地が高速道路の出口である相対位置情報を生成してよい。相対位置情報は、高速道路の出口までの距離及びナビゲーションであってよい。また、移動体情報に含まれる移動体30のガソリンの残量が少ない場合(燃料残量警告灯の点灯時)は、対象情報は、ガソリンスタンドの場所であると考えられる。対象情報推定部154は、目的地が最寄りのガソリンスタンドの場所である絶対位置情報を生成してよい。
【0034】
例えば、着目エリアが第1エリアR1であり、表示内容が地図情報及びナビゲーション情報である場合を考える。この場合において、移動体情報が示す移動体30の位置が高速道路上であれば、対象情報は、駐停車可能なエリアの場所であると考えられる。対象情報推定部154は、目的地が駐停車可能なエリアである絶対位置情報を生成してよい。また、移動体情報が示す移動体30の位置がアクション地点の周辺であれば、対象情報は、アクション地点までの距離や時間であると考えられる。対象情報推定部154は、目的地がアクション地点である相対位置情報を生成してよい。アクション地点は、移動体30の右折、左折、進路変更(車線変更)等である。相対位置情報は、アクション地点までの距離及びナビゲーションであってよい。この場合には、相対位置情報は、カーナビゲーションシステムによるナビゲーション情報よりも詳細な情報であるとよい。また、移動体情報が示す移動体30の位置が高速道路の出口周辺であれば、対象情報は、高速道路の出口の場所であると考えられる。対象情報推定部154は、目的地が高速道路の出口である相対位置情報を生成してよい。相対位置情報は、高速道路の出口までの距離及びナビゲーションであってよい。また、移動体情報に含まれる移動体30のガソリンの残量が少ない場合(燃料残量警告灯の点灯時)は、対象情報は、次のアクションに関する情報であると考えられる。対象情報推定部154は、目的地が次のアクション地点である相対位置情報を生成してよい。相対位置情報は、次のアクション、次のアクション地点までの距離、及びナビゲーションであってよい。
【0035】
例えば、着目エリアが第1エリアR1であり、表示内容が音楽情報である場合を考える。この場合において、移動体情報が示す移動体30の位置が高速道路上であれば、対象情報推定部154は、再生中の曲の情報(曲名、歌手名等)を対象情報として決定してよい。また、対象情報推定部154は、次に再生する曲の情報を対象情報として決定してよい。例えば、着目エリアが第1エリアR1であり、表示内容が映像情報である場合を考える。この場合において、移動体情報が示す移動体30の位置が高速道路上であれば、対象情報推定部154は、再生中又は放映中の映像の情報(放送局、作品名等)を対象情報として決定してよい。
【0036】
第2エリアR2は、上述したように、移動体30のインストルメンタルパネルの計器盤である。第2エリアR2の表示内容は、計器盤で表示される情報である。計器盤で表示される情報は、移動体30の現在の状態に関する情報を含み得る。例えば、移動体30の現在の状態に関する情報としては、移動体30の走行速度(現在の速度)、ガソリンの残量(バッテリーの残量)、走行距離、エンジンの回転数、警告灯、表示灯が挙げられる。警告灯としては、ABS警告灯、ブレーキ警告灯、油圧警告灯、高水温警告灯、燃料残量警告灯、故障警告灯が挙げられる。表示灯としては、フォグランプ表示灯、ヘッドランプ上向き表示灯、アイドリングストップ表示灯、低水温表示灯が挙げられる。
【0037】
例えば、着目エリアが第2エリアR2である場合を考える。この場合において、移動体情報に含まれる移動体30の位置が高速道路上であれば、対象情報推定部154は、移動体30の走行速度(現在の速度)を対象情報として決定してよい。また、移動体情報に含まれる移動体30のガソリンの残量が少ない場合(燃料残量警告灯の点灯時)は、対象情報推定部154は、走行可能距離を対象情報として決定してよい。また、警告灯の点灯時は、対象情報推定部154は、警告灯の詳細情報(警告灯の意味)を対象情報として決定してよい。警告灯がABS警告灯である場合は、「ABSが正常に作動していないおそれがあります」という内容の情報が、対象情報となり得る。
【0038】
更に、対象情報推定部154は、着目エリア決定部152で決定された着目エリアの履歴を利用して、対象情報を決定する。例えば、人物H1が短期間のうちに同じ着目エリアに何回も着目している場合には、対象情報推定部154が決定した対象情報が人物H1の要求を満たせていない可能性がある。よって、対象情報推定部154は、前回の着目エリアの決定から今回の着目エリアの決定までの時間間隔が閾値以下であり、かつ前回の着目エリアが今回の着目エリアと同じ場合、前回の対象情報とは異なる情報を、今回の対象情報とする。例えば、着目エリアが第1エリアR1であり、表示内容が地図情報である場合を考える。この場合において、前回の対象情報が、目的地が駐停車可能なエリアである絶対位置情報を含む場合には、今回の対象情報は、目的地が高速道路の出口である相対位置情報を含んでよい。これによって、人物H1の要求を満たす対象情報の決定が可能となり得る。なお、前回の着目エリアの決定から今回の着目エリアの決定までの時間間隔の閾値は特には限定されないが、前回の着目エリアの決定に対して提示された対象情報に人物H1が満足しない場合に、再度着目エリアを見るのにかかる時間を想定して決定され得る。また、閾値は、一定値ではなく、着目エリア、提示された対象情報等に応じて異なってよい。
【0039】
このように、対象情報推定部154は、着目エリアと移動体に関する移動体情報とに基づいて、対象情報を決定する。そして、対象情報推定部154は、決定した対象情報を、提示制御部155に与える。
【0040】
提示制御部155は、着目エリアと移動体に関する移動体情報とに基づいて、着目エリアに関する着目エリア情報を提示する。着目エリア情報は、着目エリアに関する情報を人物H1に通知するための情報である。本実施形態では、提示制御部155は、対象情報推定部154で決定された対象情報に基づいて着目エリア情報を提示する。着目エリア情報は、対象情報そのものというよりは、対象情報を人物H1が把握しやすい形式で通知するための情報である。提示制御部155は、提示部13を利用して、着目エリア情報の提示を行う。提示部13は、画像表示装置131及び音声出力装置132を含んでいるから、提示制御部155は、着目エリア情報を、画像表示装置131及び音声出力装置132を利用して提示する。つまり、提示制御部155は、着目エリア情報を、視覚的及び/又は聴覚的に人物H1に提示し得る。提示制御部155は、終了条件が満たされた際に、着目エリア情報の提示を終了する。終了条件は、着目エリア情報の内容に応じて変化し得る。終了条件は、着目エリア情報を人物H1が十分に把握できるかどうかを基準として決定され得る。例えば、画像表示装置131による表示を行う場合には、表示を一定時間継続したかどうかが基準となる。また、音声出力装置132による音声通知を行う場合には、音声通知が終了したかどうかが基準となる。
【0041】
次に、着目エリア情報の提示の例を挙げる。
【0042】
例えば、着目エリアが第1エリアR1である場合を考える。対象情報が、目的地が最寄りの駐停車可能なエリアである絶対位置情報を含む場合、提示制御部155は、着目エリア情報の提示では、最寄りの駐停車可能なエリアの場所を画像表示装置131に表示してよい。更に、提示制御部155は、最寄りの駐停車可能なエリアまでの距離を音声出力装置132で通知してよい。また、対象情報が、目的地が高速道路の出口である相対位置情報を含む場合、提示制御部155は、着目エリア情報の提示では、高速道路の出口までのナビゲーション情報を画像表示装置131に表示してよい。更に、提示制御部155は、高速道路の出口の名称及び高速道路の出口までの距離を音声出力装置132で通知してよい。また、対象情報が、目的地が最寄りのガソリンスタンドの場所である絶対位置情報を含む場合、提示制御部155は、着目エリア情報の提示では、最寄りのガソリンスタンドの場所を画像表示装置131に表示してよい。更に、提示制御部155は、最寄りのガソリンスタンドまでの距離を音声出力装置132で通知してよい。また、対象情報が、目的地がアクション地点である相対位置情報を含む場合、提示制御部155は、着目エリア情報の提示では、アクション地点までの距離を音声出力装置132で通知してよい。更に、提示制御部155は、音声出力装置132により、アクション地点までの距離が一定値(50m毎)減るごとに、アクション地点までの残りの距離を音声出力装置132により通知してよい。また、対象情報が、目的地が次のアクション地点である相対位置情報を含む場合、提示制御部155は、着目エリア情報の提示では、音声出力装置132により、次のアクション、次のアクション地点までの距離、及びナビゲーションを通知してよい。また、対象情報が、再生中の曲の情報(曲名、歌手名等)である場合、提示制御部155は、再生中の曲の情報を画像表示装置131及び音声出力装置132により通知してよい。また、対象情報が、次に再生する曲の情報(曲名、歌手名等)である場合、提示制御部155は、次に再生する曲の情報を画像表示装置131及び音声出力装置132により通知してよい。また、対象情報が、再生中又は放映中の映像の情報(放送局、作品名等)である場合、提示制御部155は、再生中又は放映中の映像の情報(放送局、作品名等)を画像表示装置131及び音声出力装置132により通知してよい。
【0043】
例えば、着目エリアが第2エリアR2である場合を考える。対象情報が、移動体30の走行速度(現在の速度)を含む場合、提示制御部155は、着目エリア情報の提示では、移動体30の走行速度(現在の速度)を音声出力装置132により通知してもよい。また、対象情報が、走行可能距離を含む場合、提示制御部155は、着目エリア情報の提示では、走行可能距離を音声出力装置132により通知してもよい。また、対象情報が、警告灯の詳細情報(警告灯の意味)を含む場合、提示制御部155は、着目エリア情報の提示では、警告灯の詳細情報(警告灯の意味)を音声出力装置132により通知してもよい。
【0044】
1.3 動作
次に、情報提示システム10の動作について
図3のフローチャートを参照して簡単に説明する。なお、
図3のフローチャートにおいて、ステップS13,S14の順番は一例であって、これらは同時に実行され得る。
【0045】
情報提示システム10では、視線検出部151は、人物H1の視点(注視点)を検出する(S11)。次に、着目エリア決定部152は、移動体30に乗っている人物H1が移動体30の内部において着目している着目エリアの有無を判定する(S12)。着目エリアが無い場合(S12:No)、処理はS11に戻る。着目エリアが有る場合(S12:Yes)、対象情報推定部154は、着目エリアの表示内容を取得する(S13)。また、対象情報推定部154は、移動体情報取得部153を通じて移動体情報を取得する(S14)。次に、対象情報推定部154は、着目エリア(その表示内容)及び移動体情報に基づいて、人物H1が着目エリアから取得したい対象情報を決定する(S15)。提示制御部155は、対象情報推定部154で決定された対象情報に基づき、着目エリア情報の提示を開始する(S16)。着目エリア情報の提示の終了条件が満たされれば(S19:Yes)、提示制御部155は、着目エリア情報の提示を終了する(S20)。ここで、着目エリア情報の提示の開始(S16)後も、視線検出部151は、人物H1の視点(注視点)を検出し(S17)、着目エリア決定部152は、着目エリアの有無を判定する(S18)。着目エリアが有る場合(S18:Yes)に、前回の着目エリアの決定から今回の着目エリアの決定までの時間間隔が閾値以下かつ前回の着目エリアと今回の着目エリアとが同じという条件が満たされていなければ(S21:No)、処理はステップS13に戻る。一方で、前述の条件が満たされていれば(S21:Yes)、対象情報推定部154は、対象情報の再決定を行う(S22)。対象情報の再決定では、対象情報推定部154は、前回の対象情報とは異なる情報を今回の対象情報として決定する。これに伴い、提示制御部155は、着目エリア情報の提示を終了する。そして、次のステップS16では、提示制御部155は、対象情報推定部154によって再決定された対象情報に基づき、着目エリア情報の提示を開始する。
【0046】
1.4 まとめ
以上述べた情報提示システム10は、着目エリア決定部152と、提示制御部155とを備える。着目エリア決定部152は、
図2に示すように、移動体30に乗っている人物H1が移動体30の内部において着目している着目エリアR1,R2を決定する。提示制御部155は、着目エリアR1,R2と移動体30に関する移動体情報とに基づいて、着目エリアR1,R2に関する着目エリア情報を提示する。情報提示システム10によれば、移動体30に乗っている人物H1に適切な情報を提示できる。
【0047】
換言すれば、情報提示システム10は、下記の方法(情報提示方法)を実行しているといえる。情報提示方法は、移動体30に乗っている人物H1が移動体30の内部において着目している着目エリアR1,R2を決定し、着目エリアR1,R2と移動体30に関する移動体情報とに基づいて、着目エリアR1,R2に関する着目エリア情報を提示する。この情報提示方法によれば、情報提示システム10と同様に、移動体30に乗っている人物H1に適切な情報を提示できる。
【0048】
情報提示方法は、1以上のプロセッサがプログラム(コンピュータプログラム)を実行することにより実現される。このプログラムは、1以上のプロセッサに情報提示方法を実行させるためのプログラムである。このようなプログラムによれば、情報提示方法と同様に、移動体30に乗っている人物H1に適切な情報を提示できる。
【0049】
2.変形例
本開示の実施形態は、上記実施形態に限定されない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。
【0050】
一変形例では、着目エリアは、移動体30の内部のエリア(場所)であればよく、上記実施形態の例(第1エリアR1、第2エリアR2)に限定されない。着目エリアの例としては、移動体30の空調装置の制御盤や、パワーウィンドウの操作盤、運転手席、助手席、後部座席、バックミラー(ルームミラー、サイドミラー)が挙げられる。また、着目エリアは、移動体30の本体31の一部のエリアである必要はなく、移動体30の内部にある装置の一部のエリアであってもよい。例えば、着目エリアは、移動体30内にある端末装置の画面であってもよい。端末装置は、スマートフォン、タブレット端末、ウェアラブル端末等である。この場合、情報提示システム10は、通信部12により端末装置と通信して、着目エリアの表示内容を取得してよい。例えば、端末装置の画面にナビゲーション情報を表示するような場合、端末装置は、移動体30内の所定位置に配置される。よって、端末装置の画面は、着目エリアとして検出可能である。
【0051】
一変形例では、対象情報推定部154において、学習済みモデルを利用することが可能である。例えば、対象情報推定部154は、着目エリアと移動体情報との組み合わせと対象情報との関係を学習した学習済みモデルを利用して対象情報を決定してよい。この場合、記憶部14は、対象情報推定部154での解釈に使用される学習済みモデル(推定モデル)を格納する。推定モデルは、着目エリアと移動体情報との組み合わせと対象情報との関係を示す学習用データセットを用いた人工知能のプログラム(アルゴリズム)の学習によって、生成され得る。人工知能のプログラムは、機械学習のモデルであって、例えば、階層モデルの一種であるニューラルネットワークが用いられる。推定モデルは、ニューラルネットワークに学習用データセットで機械学習(例えば、深層学習)を行わせることで、生成される。推定モデルは、情報提示システム10の処理部15又は外部システム20により生成されてよい。対象情報推定部154は、記憶部14に記憶された推定モデルを利用して、対象情報の決定を行ってよい。対象情報推定部154は、推定モデルに、着目エリアと移動体情報を入力して、対象情報を出力させる。対象情報推定部154は、対象情報が得られると、提示制御部155に与える。情報提示システム10では、対象情報推定部154は、推定モデルを生成するための学習用データを収集し、蓄積してもよい。このように対象情報推定部154で新たに収集した学習用データは、推定モデルの再学習に利用でき、これによって、推定モデル(学習済みモデル)の性能の向上が図れる。特に、対象情報推定部154は、前回の対象情報とは異なる情報を今回の対象情報とした場合、今回の着目エリアと移動体情報との組み合わせと今回の対象情報との関係を用いて、学習済みモデルの再学習を行う。これによれば、移動体30に乗っている人物H1に、より適切な情報を提示でき得る。
【0052】
一変形例では、情報提示システム10は、撮像部11、通信部12、提示部13、及び記憶部14を備えていなくてよく、処理部15を有していれば実現可能である。また、処理部15も、少なくとも、着目エリア決定部152及び提示制御部155を含んでいればよい。
【0053】
一変形例では、情報提示システム10が搭載される移動体30は、自動車ではなく、例えば、二輪車、電車、航空機、建設機械、及び船舶等の乗物であってもよい。
【0054】
一変形例では、情報提示システム10は、複数のコンピュータにより構成されていてもよい。例えば、情報提示システム10の機能(特に、視線検出部151、着目エリア決定部152、移動体情報取得部153、対象情報推定部154、及び提示制御部155)は、複数の装置に分散されていてもよい。更に、情報提示システム10の機能の少なくとも一部が、例えば、クラウド(クラウドコンピューティング)によって実現されていてもよい。
【0055】
以上述べた情報提示システム10の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における情報提示システム10の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1乃至複数の電子回路で構成される。LSIの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ(FGPA)、ASIC(application specific integrated circuit)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
【0056】
3.態様
上記実施形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施形態との対応関係を明示するためだけに、符号を括弧付きで付している。
【0057】
第1の態様は、情報提示システム(10)であって、着目エリア決定部(152)と、提示制御部(155)とを備える。着目エリア決定部(152)は、移動体(30)に乗っている人物(H1)が前記移動体(30)の内部において着目している着目エリア(R1,R2)を決定する。提示制御部(155)は、前記着目エリア(R1,R2)と前記移動体(30)に関する移動体情報とに基づいて、前記着目エリア(R1,R2)に関する着目エリア情報を提示する。この態様によれば、移動体(30)に乗っている人物(H1)に適切な情報を提示できる。
【0058】
第2の態様は、第1の態様の情報提示システム(10)に基づく。第2の態様では、前記情報提示システム(10)は、前記着目エリア(R1,R2)と前記移動体情報とに基づいて、前記人物(H1)が前記着目エリア(R1,R2)から取得したい対象情報を決定する対象情報推定部(154)を更に備える。前記提示制御部(155)は、前記対象情報に基づいて前記着目エリア情報を提示する。この態様によれば、移動体(30)に乗っている人物(H1)に、より適切な情報を提示できる。
【0059】
第3の態様は、第2の態様の情報提示システム(10)に基づく。第3の態様では、前記対象情報推定部(154)は、前記着目エリア決定部(152)で決定された着目エリア(R1,R2)の履歴を利用して、前記対象情報を決定する。この態様によれば、移動体(30)に乗っている人物(H1)に、より適切な情報を提示できる。
【0060】
第4の態様は、第3の態様の情報提示システム(10)に基づく。第4の態様では、前記対象情報推定部(154)は、前回の着目エリア(R1,R2)の決定から今回の着目エリア(R1,R2)の決定までの時間間隔が閾値以下であり、かつ前記前回の着目エリア(R1,R2)が前記今回の着目エリア(R1,R2)と同じ場合、前回の対象情報とは異なる情報を、今回の対象情報とする。この態様によれば、移動体(30)に乗っている人物(H1)に、より適切な情報を提示できる。
【0061】
第5の態様は、第4の態様の情報提示システム(10)に基づく。第5の態様では、前記対象情報推定部(154)は、前記着目エリア(R1,R2)と前記移動体情報との組み合わせと前記対象情報との関係を学習した学習済みモデルを利用して前記対象情報を決定する。 前記対象情報推定部(154)は、前記前回の対象情報とは異なる情報を前記今回の対象情報とした場合、前記今回の着目エリアと前記移動体情報との組み合わせと前記今回の対象情報との関係を用いて、前記学習済みモデルの再学習を行う。この態様によれば、移動体(30)に乗っている人物(H1)に、より適切な情報を提示できる。
【0062】
第6の態様は、第2~第5の態様のいずれか一つの情報提示システム(10)に基づく。第6の態様では、前記対象情報推定部(154)は、前記着目エリア(R1,R2)の表示内容と前記移動体(30)に関する移動体情報とに基づいて、前記対象情報を決定する。この態様によれば、移動体(30)に乗っている人物(H1)に、より適切な情報を提示できる。
【0063】
第7の態様は、第6の態様の情報提示システム(10)に基づく。第7の態様では、前記対象情報推定部(154)は、前記表示内容が地図情報を含む場合、前記地図情報に関連する案内情報を前記対象情報とする。この態様によれば、移動体(30)に乗っている人物(H1)に、より適切な情報を提示できる。
【0064】
第8の態様は、第7の態様の情報提示システム(10)に基づく。第8の態様では、前記案内情報は、前記移動体(30)の現在の位置と前記移動体(30)の目的地との位置関係に関連する相対位置情報を含む。この態様によれば、移動体(30)に乗っている人物(H1)に、より適切な情報を提示できる。
【0065】
第9の態様は、第1~第8の態様のいずれか一つの情報提示システム(10)に基づく。第9の態様では、前記着目エリア決定部(152)は、前記人物(H1)が、前記移動体(30)の内部において規定時間内に規定回数以上見たエリアを前記着目エリア(R1,R2)として決定するように構成される。この態様によれば、着目エリア(R1,R2)の決定の精度の向上が図れる。
【0066】
第10の態様は、第1~第9の態様のいずれか一つの情報提示システム(10)に基づく。第10の態様では、前記着目エリア決定部(152)は、前記人物(H1)の視点に基づいて、前記着目エリア(R1,R2)を決定する。この態様によれば、着目エリア(R1,R2)の決定の精度の向上が図れる。
【0067】
第11の態様は、第1~第10の態様のいずれか一つの情報提示システム(10)に基づく。第11の態様では、前記人物(H1)は、前記移動体(30)の運転をしている人物である。この態様によれば、人物(H1)のよそ見運転の予防を図ることができ、安全運転に役立つ。
【0068】
第12の態様は、第1~第11の態様のいずれか一つの情報提示システム(10)に基づく。第12の態様では、前記移動体情報は、前記移動体(30)の内部状態の最新情報と前記移動体(30)の外部状態の最新情報との少なくとも一方を含む。この態様によれば、移動体(30)に乗っている人物(H1)に、より適切な情報を提示できる。
【0069】
第13の態様は、情報提示方法であって、移動体(30)に乗っている人物(H1)が前記移動体(30)の内部において着目している着目エリア(R1,R2)を決定する。前記情報提示方法は、前記着目エリア(R1,R2)と前記移動体(30)に関する移動体情報とに基づいて、前記着目エリア(R1,R2)に関する着目エリア情報を提示する。この態様によれば、移動体(30)に乗っている人物(H1)に適切な情報を提示できる。
【0070】
第14の態様は、プログラム(コンピュータプログラム)であって、1以上のプロセッサに、第13の態様の情報提示方法を実行させるための、プログラムである。この態様によれば、移動体(30)に乗っている人物(H1)に適切な情報を提示できる。
【0071】
第15の態様は、移動体(30)であって、第1~第12の態様のいずれか一つの情報提示システム(10)と、前記情報提示システム(10)が搭載される本体(31)と、を備える。この態様によれば、移動体(30)に乗っている人物(H1)に適切な情報を提示できる。
【符号の説明】
【0072】
10 情報提示システム
152 着目エリア決定部
154 対象情報推定部
155 提示制御部
30 移動体
31 本体
H1 人物
R1 第1エリア(着目エリア)
R2 第2エリア(着目エリア)