特開 2022-183498 情報提供装置及び情報提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022183498

(43)【公開日】2022-12-13

(54)【発明の名称】情報提供装置及び情報提供方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20221206BHJP

   G06Q 30/02 20120101ALI20221206BHJP

【ＦＩ】

G01C21/26 A

G06Q30/02

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021090848

(22)【出願日】2021-05-31

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】落合 彬光

(72)【発明者】

【氏名】稲垣 和幸

(72)【発明者】

【氏名】佐久間 稔

(72)【発明者】

【氏名】金子 勝行

(72)【発明者】

【氏名】姫野 聡一郎

【テーマコード（参考）】

2F129

5L049

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129CC33

2F129DD34

2F129DD38

2F129EE34

2F129EE87

2F129EE90

2F129GG17

2F129HH12

2F129HH18

2F129HH19

2F129HH20

2F129HH21

5L049BB08

(57)【要約】

【課題】車両の走行中に乗員が興味を示した対象物に関する情報を適切な内容とタイミングで提供すること。
【解決手段】情報提供装置１００は、車両の乗員の状態から乗員が興味を示した車外の対象物を特定する対象物特定部１３７と、特定した対象物の属性を判別する属性判別部１３８と、判別された対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定する報知情報決定部１３９と、決定された情報を取得する情報取得部１４０と、決定されたタイミングに従い、取得した情報を乗員に報知する報知制御部１４１と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の乗員の状態から前記乗員が興味を示した車外の対象物を特定する対象物特定部と、
特定した前記対象物の属性を判別する属性判別部と、
判別された前記対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定する報知情報決定部と、
決定された前記情報を取得する情報取得部と、
決定された前記タイミングに従い、取得した前記情報を前記乗員に報知する報知制御部と、
を備えることを特徴とする情報提供装置。

【請求項2】

前記報知情報決定部は、前記対象物の属性ごとに前記情報の内容と前記タイミングとの対応関係を規定した対応関係情報に基づいて、前記対象物に対する前記情報の内容と前記タイミングとを決定することを特徴とする請求項１に記載の情報提供装置。

【請求項3】

前記報知情報決定部は、前記対象物までの距離、または、前記対象物に含まれる文字情報に応じて、前記情報の情報量及び前記タイミングの変更を決定することを特徴とする請求項１または２に記載の情報提供装置。

【請求項4】

前記対象物に興味を示した時点における前記乗員の感情レベルを推定する感情推定部を有し、
前記報知情報決定部は、推定された感情レベルに応じて、前記情報の内容と前記タイミングとを決定することを特徴とする請求項１から３のいずれか一項に記載の情報提供装置。

【請求項5】

車両の乗員の状態から前記乗員が興味を示した車外の対象物を特定する対象物特定ステップと、
特定した前記対象物の属性を判別する属性判別ステップと、
判別された前記対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定する報知情報決定ステップと、
決定された前記情報を取得する情報取得ステップと、
決定された前記タイミングに従い、取得した前記情報を前記乗員に報知する報知制御ステップと、
を備えることを特徴とする情報提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提供装置及び情報提供方法に関する。

【背景技術】

【0002】

従来、車両の乗員が興味を示した対象物の写真を自動で撮影する撮像装置に関する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－２５５１６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、車両に乗車中に、車外に乗員が興味を示す対象物が現れた場合、この対象物に関する情報を知りたいと思うことがある。しかし、この対象物に関する情報を取得することは容易ではない。さらに、例えば、遠くに見える山と、道路沿いに見かけた地域特産物の広告看板とでは、対象物の種類（属性）によって対象物に関する情報の内容や該情報を知りたいタイミングが変わることがある。

【0005】

本発明は、上記に鑑みてなされたものであって、車両の走行中に乗員が興味を示した対象物に関する情報を適切な内容とタイミングで提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る情報提供装置は、車両の乗員の状態から乗員が興味を示した車外の対象物を特定する対象物特定部と、特定した対象物の属性を判別する属性判別部と、判別された対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定する報知情報決定部と、決定された情報を取得する情報取得部と、決定されたタイミングに従い、取得した情報を乗員に報知する報知制御部と、を備える。

【0007】

また、本発明に係る情報提供装置は、車両の乗員の状態から乗員が興味を示した車外の対象物を特定する対象物特定ステップと、特定した対象物の属性を判別する属性判別ステップと、判別された対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定する報知情報決定ステップと、決定された情報を取得する情報取得ステップと、決定されたタイミングに従い、取得した情報を乗員に報知する報知制御ステップと、を備える。

【発明の効果】

【0008】

本発明によれば、車両の走行中に乗員が興味を示した対象物に関する情報を適切な内容とタイミングで提供できるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、第一実施形態に係る情報提供装置を有する車両用記録装置の構成例を示すブロック図である。

【図2】図２は、第一実施形態に係る情報提供装置によって報知される情報およびタイミングを対象物の属性に応じて規定した対応関係表の一例を示す図表である。

【図3】図３は、第一実施形態に係る情報提供装置によって特定される車外の対象物の一例を説明する図である。

【図4】図４は、第一実施形態に係る情報提供装置によって特定される車外の対象物の一例を説明する図である。

【図5】図５は、第一実施形態に係る情報提供装置における情報の報知処理の流れを示すフローチャートである。

【図6】図６は、第二実施形態に係る情報提供装置を有する車両用記録装置の構成例を示すブロック図である。

【図7】図７は、第二実施形態に係る情報提供装置によって報知される情報およびタイミングを対象物の属性に応じて規定した対応関係表の一例を示す図表である。

【図8】図８は、第二実施形態に係る情報提供装置における情報の報知処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本発明に係る情報提供装置及び情報提供方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
図１は、第一実施形態に係る情報提供装置１００を有する車両用記録装置１０の構成例を示すブロック図である。車両用記録装置１０は、車両の乗員が興味を示した車外の対象物の静止画または動画を保存し、この対象物に関する情報を乗員に提供する。

【0012】

車両用記録装置１０は、いわゆるドライブレコーダであり、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。車両用記録装置（記録装置）１０は、第一カメラ（第一撮影部）２００と、第二カメラ（第二撮影部）２１０と、記録部２２０と、操作部２３０と、表示部２４０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２５０と、人物認識辞書記憶部２６０と、対応関係記憶部２７０と、通信部２８０と、情報提供装置１００とを有する。

【0013】

第一カメラ２００は、車両の車室内を撮影するカメラである。第一カメラ２００は、車両の乗員を撮影する。第一カメラ２００は、例えば、車両の車室内前方に後方を向いて配置されている。第一カメラ２００は３６０°の全天周を撮影可能なカメラで乗員を撮影しても良い。第一カメラ２００は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。本実施形態では、第一カメラ２００は、車両のアクセサリ電源がＯＮである間、映像を常時撮影する。第一カメラ２００は、撮影した第一映像データを情報提供装置１００の映像データ取得部１２０へ出力する。第一映像データは、例えば毎秒３０フレームの画像から構成される動画である。

【0014】

第二カメラ２１０は、車両の周辺を撮影するカメラである。第二カメラ２１０は、車両の周辺を撮影する。第二カメラ２１０は、３６０°の全天周を撮影可能なカメラでもよいし、各方向をそれぞれ撮影する複数のカメラ群であってもよい。第二カメラ２１０は、例えば、車両の車室内前方に配置されている。第二カメラ２１０は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。本実施形態では、第二カメラ２１０は、車両のアクセサリ電源がＯＮである間、映像を常時撮影する。第二カメラ２１０は、撮影した第二映像データを情報提供装置１００の映像データ取得部１２０へ出力する。第二映像データは、例えば毎秒３０フレームの画像から構成される動画である。

【0015】

記録部２２０は、車両用記録装置１０におけるデータの一時記憶などに用いられる。記録部２２０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。記録部２２０は、情報提供装置１００の記録制御部１３６から出力された制御信号に基づいて、ループ記録データ、内外記録データ、検索情報データ、経路データなどを記録する。

【0016】

操作部２３０は、車両用記録装置１０に対する各種操作を受付可能である。例えば、操作部２３０は、撮影した映像データを記録部２２０に手動で保存する操作を受付可能である。例えば、操作部２３０は、記録部２２０に記録したループ記録データを再生する操作を受付可能である。例えば、操作部２３０は、記録部２２０に記録した内外記録データを消去する操作を受付可能である。例えば、操作部２３０は、ループ記録を終了する操作を受付可能である。操作部２３０は、操作情報を情報提供装置１００の操作制御部１２５に出力する。

【0017】

表示部２４０は、一例としては、車両用記録装置１０に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部２４０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部２４０は、情報提供装置１００の表示制御部１２６から出力された映像信号に基づいて、映像を表示する。表示部２４０は、第一カメラ２００または第二カメラ２１０が撮影している映像や、記録部２２０に記録された映像または各種情報を表示する。

【0018】

ＧＰＳ受信部２５０は、図示しないＧＰＳ衛星から電波を受信する。ＧＰＳ受信部２５０は、受信した電波の信号を情報提供装置１００の位置情報取得部１２７へ出力する。

【0019】

人物認識辞書記憶部２６０は、例えば、人物の各方向視の形状、大きさ、色などのパターンを照合可能な認識辞書データを記憶している。人物認識辞書記憶部２６０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。

【0020】

対応関係記憶部２７０は、例えば、車両が走行中に、車外に見える対象物の種類（属性）と、この対象物に関する情報の内容と、この情報を報知するタイミングとの対応関係を記憶する。対応関係記憶部２７０には、複数の対象物ごとに、それぞれ情報の内容とタイミングとの対応関係がマトリクス状に規定された対応関係表（対応関係情報）が記憶されている。この対応関係表については後述する。対応関係記憶部２７０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。

【0021】

通信部２８０は、図示しない情報処理サーバとの通信を実行し、情報処理サーバに対して所定の検索クエリを発信し、この検索クエリに対応する情報を受信する。受信した情報は、情報取得部１４０に出力される。

【0022】

情報提供装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。情報提供装置１００は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。情報提供装置１００には図示しない内部メモリが含まれ、内部メモリは情報提供装置１００におけるプログラム等のデータの一時記憶などに用いられる。情報提供装置１００は、バス１００Ｘに接続された、映像データ取得部１２０と、バッファメモリ１２１と、映像データ処理部１２２と、再生制御部１２４と、操作制御部１２５と、表示制御部１２６と、位置情報取得部１２７と、人物認識部１３１と、顔方向判定部１３５と、記録制御部１３６と、対象物特定部１３７と、属性判別部１３８と、報知情報決定部１３９と、情報取得部１４０と、報知制御部１４１とを有する。

【0023】

映像データ取得部１２０は、車両の車室内および車両の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部１２０は、第一カメラ２００が出力した第一映像データと、第二カメラ２１０が出力した第二映像データとを取得する。

【0024】

バッファメモリ１２１は、情報提供装置１００が備える内部メモリの一つであり、映像データ取得部１２０が取得した一定時間分の第一映像データと第二映像データとを、更新しながら一時的に記録するメモリである。

【0025】

映像データ処理部１２２は、バッファメモリ１２１が一時的に記憶している映像データを、例えばＨ．２６４やＭＰＥＧ－４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。映像データ処理部１２２は、バッファメモリ１２１が一時的に記憶している映像データから、一定時間分のファイルとした映像データを生成する。具体例として、映像データ処理部１２２は、バッファメモリ１２１が一時的に記憶している映像データを、記録順に６０秒間の映像データを１ファイルとして生成する。映像データ処理部１２２は、生成した映像データを記録制御部１３６へ出力する。また、映像データ処理部１２２は、生成した映像データを表示制御部１２６へ出力する。ファイルとして生成される映像データの期間は、一例として６０秒としたが、これには限定されない。ここで言う映像データとは、第一カメラ２００と第二カメラ２１０とが撮影した映像に加えて音声が含まれたデータであってもよい。

【0026】

再生制御部１２４は、操作制御部１２５から出力された再生操作の制御信号に基づいて、記録部２２０に記録された内外記録データまたはループ記録データを再生するよう制御する。

【0027】

操作制御部１２５は、操作部２３０が受け付けた操作の操作情報を取得する。例えば、操作制御部１２５は、映像データの手動保存操作を示す保存操作情報、映像データの選択操作を示す選択操作情報、映像データの再生操作を示す再生操作情報、または、映像データの消去操作を示す消去操作情報を取得して制御信号を出力する。例えば、操作制御部１２５は、ループ記録を終了する操作を示す終了操作情報を取得して制御信号を出力する。

【0028】

表示制御部１２６は、表示部２４０における映像データの表示を制御する。表示制御部１２６は、映像データを表示部２４０に出力させる映像信号を出力する。より詳しくは、表示制御部１２６は、再生制御部１２４が再生した映像を表示部２４０に表示させる。表示制御部１２６は、第一カメラ２００または第二カメラ２１０が撮影している映像、または、記録部２２０に記録された内外記録データまたはループ記録データの再生によって表示する映像信号を出力する。

【0029】

位置情報取得部１２７は、ＧＰＳ受信部２５０が受信した電波に基づいて、車両の現在の位置情報を公知の方法によって算出する。位置情報取得部１２７が算出した位置情報は、内外記録データとともに保存される。

【0030】

人物認識部１３１は、車両のすべての乗員の顔を認識する。人物認識部１３１は、第一映像データから、車室内のすべての乗員を検出する。人物認識部１３１は、映像データにおいて、人物認識処理を行い、人物を検出して、顔を認識する。より詳しくは、人物認識部１３１は、映像データに対して、人物認識辞書記憶部２６０が記憶している認識辞書データを用いたパターンマッチングを行い、人物の存在を検出する。人物認識部１３１は、検出した人物を画像処理で追尾する。人物認識部１３１による人物の認識方法はこれに限定されず、公知の方法を用いればよい。

【0031】

顔方向判定部１３５は、映像データ取得部１２０が取得した第一映像データに基づいて、車両の複数の乗員の顔の向き（視線の向き）が異なる向きの状態から一致したことを判定する。より詳しくは、顔方向判定部１３５は、人物認識部１３１の認識結果に基づいて、第一映像データに表示される、すべての乗員の顔の向きを認識する。顔方向判定部１３５は、認識したすべての乗員の顔の向きが一致しているか否かを判定する。顔の向きが一致するとは、完全に一致する場合に限られず、所定範囲内に収まることを含んでもよい。顔の向きが一致するとは、同じタイミングで一致する場合に限られず、所定期間内に一致することを含んでもよい。

【0032】

顔方向判定部１３５は、すべての乗員のうちの一部である複数の乗員の顔の向きが一致するか否かを判定して、乗員の顔の向きが一致していると判定してもよい。このとき、全乗員のうち半数以上の乗員の顔の向きが一致するか否かを判定するのが望ましい。また、顔方向判定部１３５は、乗員のうち、運転者については、顔の向きが一致するか否かの判定条件を緩くしてもよい。例えば、顔方向判定部１３５は、運転者以外の複数の乗員の顔の向きが一致している場合、乗員の向きが一致していると判定してもよい。

【0033】

記録制御部１３６は、映像データ処理部１２２でファイル化された映像データを、記録部２２０に記録させる制御を行う。記録制御部１３６は、車両のアクセサリ電源がＯＮであるときなど、ループ記録処理を実行する期間は、映像データ処理部１２２でファイル化された映像データを、上書き可能な映像データとして、記録部２２０に記録する。より詳しくは、記録制御部１３６は、ループ記録処理を実行する期間は、映像データ処理部１２２が生成した映像データを記録部２２０に記録し続け、記録部２２０の容量が一杯になった場合、最も古い映像データに新しい映像データを上書きして記録する。

【0034】

また、記録制御部１３６は、顔方向判定部１３５が車両の複数の乗員の顔の向きが一致したと判定した場合に、映像データ取得部１２０が取得した第一映像データと、車両の複数の乗員の顔の向きに対応する第二映像データとを対応付けた内外記録データを記録部２２０に記録する。通常、複数の乗員が車外の対象物に興味を示した場合には、これら乗員が対象物を見るために顔の向き（視線の向き）が一致する。このため、本実施形態では、記録制御部１３６は、複数の乗員の顔の向きが一致したと判定された場合に、乗員が車外の対象物に興味を示したとみなしている。この場合、記録制御部１３６は、例えば『あれを見て！』といった乗員の発話における特定語彙の音声認識によって、乗員の興味の発生の有無や発生時点を判定することもできる。また、複数の乗員と顔の向きが一致していない他の乗員であっても、この乗員が顔の向きを所定角度より大きく変えた、或いは顔の向きを変えている時間が所定時間より長い場合には、該乗員が車外の別の対象物に興味を示したと推定される。この場合、記録制御部１３６は、複数の乗員の顔の向きが一致した場合の内外記録データとは別に、該乗員について内外記録データを記録することが好ましい。さらに、例えば、複数の乗員が顔の向きがそれぞれ異なっていても、各乗員が顔の向きを変えている時間がそれぞれ所定時間より長い場合には、乗員毎に興味対象物が異なると推定される。このため、記録制御部１３６は、各乗員についてそれぞれ個別に内外記録データを記録することが好ましい。

【0035】

対象物特定部１３７は、乗員の動作から該乗員が興味を示した車外の対象物を特定する。具体的には、乗員の動作として、上記した複数の乗員の一致した顔の向きが該当し、対象物特定部１３７は、車両の周辺を撮影した第二映像データと、複数の乗員の顔の向きとに基づいて、これら乗員が興味を示した対象物を特定する。より詳しくは、対象物特定部１３７は、複数の乗員の顔の向きが一致したと判定された場合、この判定された時点の前後における第二映像データから、乗員の顔が向いた方向の車外の景色の映像データ（動画）を切り出して対象物を特定する。この場合、対象物特定部１３７は、乗員の顔が向いた方向の車外の景色の映像データ（動画）を、例えば、複数の乗員の顔の向きが一致したと判定された時点以前１０秒から６０秒間程度切り出し、この映像データ（対象物映像データという）は記録部２２０に記憶される。ここで、切り出された対象物映像データ、すなわち乗員の顔が向いた方向の車外の映像データ（全体の風景）内に特徴的な対象物が一つしかなければ、対象物の特定は容易であるが、複数存在すると対象物の特定は困難になる。この場合、対象物特定部１３７は、複数の乗員の注目点が詳細に分かるように、複数の乗員の視線を検出することにより、対象物を精度良く特定することが好ましい。

【0036】

本実施形態では、乗員の動作として、複数の乗員の顔の向きが一致することを例示したが、これに限るものではなく、乗員の顔の向きに加えて、もしくは代えて、例えば、乗員の身振りや発話、視線方向から対象物を特定してもよい。乗員の身振りでは、乗員が指差した方向と車両の周辺を撮影した第二映像データとに基づいて、乗員が興味を示した対象物を特定することができる。乗員の発話では、例えば「あの山きれい！」といった発言の内容から対象物（すなわち山）を特定することができる。また、乗員の視線方向では、視線センサを用いて乗員の視線の動き（方向）から対象物を特定することができる。

【0037】

また、対象物特定部１３７は、上記した乗員の動作に加えて、もしくは代えて、乗員の生体反応や感情変化に関する情報から該乗員が興味を示した車外の対象物を特定してもよい。生体反応による特定では、複数の乗員の脳波や脈拍などの生体情報を検知して、例えば、複数の乗員の脈拍数が平常時から所定数上昇した場合、これら乗員の動作と組み合わせて車外の対象物を特定することができる。また、感情変化による特定では、例えば、乗員の表情が笑顔に変化したり、歓声を上げたりした場合、これら乗員の動作と組み合わせて車外の対象物を特定することができる。更には、生体反応または感情変化によって、乗員の興味の発生を推定できる。このため、対象物特定部１３７は、生体反応または感情変化を検知した時点における車両の周辺を撮影した第二映像データに特徴的な対象物が存在する場合には、この特徴的な対象物を乗員が興味を示した車外の対象物として特定してもよい。この場合、特徴的な対象物としては、例えば、対応関係記憶部２７０に記憶されている各種対象物や、撮影された全体風景の中で色、明るさ、形状等が特に目立って視認され易い対象物、事故災害現場等が挙げられる。このように、本構成では、乗員の動作、生体反応、感情変化の少なくとも１つを含む概念を乗員の状態とする。

【0038】

属性判別部１３８は、対象物特定部１３７が特定した対象物の属性（種類）を判別する。より詳しくは、属性判別部１３８は、例えば予め機械学習された学習モデルを有し、この学習モデルを用いて対象物映像データの画像解析を行うことにより、対象物映像データに映っている対象物の属性を判別する。この対象物の属性としては、例えば、風景、建造物、店舗、設置物、物品などを含む。また、風景の一例としては、山や海、夕焼けなどを含み、設置物の一例としては、広告看板（地域特産物）やオービスなどを含む。ここで説明した対象物の属性や例は、あくまで一例であり、これに限るものでないことは勿論である。また、属性判別部１３８は、画像解析とともに文字認識を実行することにより、対象物映像データに映っている対象物に含まれる文字情報を取得することができる。属性判別部１３８が判別した対象物の属性及び対象物に含まれる文字情報は、対象物映像データと関連付けられて記録部２２０に記憶される。

【0039】

報知情報決定部１３９は、判別された対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定する。報知情報決定部１３９は、対象物の属性ごとに、乗員に報知する情報の内容と、これら情報を報知するタイミングとの対応関係を規定した対応関係表に基づいて、対象物に対する情報の内容とタイミングとを決定する。図２は、第一実施形態に係る情報提供装置によって報知される情報の内容及びタイミングを対象物の属性に応じて規定した対応関係表の一例を示す図表である。この図２では、報知タイミングとして、情報取得後にすぐに自動的に報知するものを［◎］で示し、乗員の指示に基づき後で報知するものを［〇］で示している。また、［－］は、乗員に報知されない情報の内容を示している。

【0040】

本構成では、予め図２に示す対応関係表５０が作成され、報知情報決定部１３９は、この対応関係表５０に規定された情報の内容及びタイミングに従って、各種の情報が乗員に報知される。従って、例えば、車窓の遠くに見えた山に興味を示した場合、（ａ）思い出にその瞬間の画像を残したい、（ｂ）山の名称が知りたい、（ｃ）急に観光がしたくなり経路を知りたい、等のケースが想定される。ここで、山の画像は、対象物映像データだけでなく、常時撮影して記録されており、乗員が後で見返すことができるため、すぐに報知しなくてもよい。これに対して、山の名称や経路は、すぐに知りたいと思うユーザ（乗員）が多い傾向にあるため、この山の名称と簡単な解説、経路案内の情報についてはすぐに報知する。

【0041】

また、図３に示すように、海沿いの道路を走行している場合には、乗員は、車両から近い海５５を見ている。このため、報知情報決定部１３９は、海の名称や経路案内の情報ではなく、その瞬間の画像を撮影することを決定し、この情報を後で乗員に報知する。また、走行中は風景（海）の映像を上手く撮影できないことも想定される。このため、対象物が風景の場合には、報知情報決定部１３９は、対象物の高画質な画像情報の検索を決定し、通信部２８０を介して、外部の情報処理サーバを検索して取得した情報を必要に応じて後で報知してもよい。具体的には、報知情報決定部１３９は、対象となる風景の画像情報の検索を決定すると、この決定情報を情報取得部１４０に出力する。情報取得部１４０は、決定情報に基づき、通信部２８０を介して、外部の情報処理サーバに対して、対象となる風景に対応する検索クエリを発信して風景情報を取得する。報知情報決定部１３９は、風景情報を取得したメッセージを音声または文字表示により乗員に報知する。

【0042】

また、図４に示すように、乗員が道路沿いに設置された地域特産物の広告看板６０に興味を示した場合には、報知情報決定部１３９は、商品名や、店舗、価格、経路案内などの情報の報知を決定する。これらの情報は、広告看板６０に表示される商品名６１、店舗名６２、電話番号及び案内表示６３を含む対象物映像データの文字認識、または検索情報により取得され、すぐに乗員に報知することが好ましい。一方、広告看板であっても、それ自体が面白く、キャラクタと商品名を含む場合には、乗員はキャラクタもしくは看板自体に興味を示している。この場合、報知情報決定部１３９は、商品名の情報の報知を決定し、この情報を対象物映像データの文字認識、または検索情報により取得して、すぐに乗員に報知する。また、報知情報決定部１３９は、画像解析した広告看板の画像情報、または、広告看板の位置情報から、この広告看板がランドマーク（著名）と判断できれば、報知する情報の内容に広告看板の解説を追加してもよい。また、歩行者が持っている物（例えばバッグ）に乗員が興味を示した場合には、報知情報決定部１３９は、このバッグの商品名（ブランド）や取り扱っている店舗及び価格などの情報の報知を決定する。

【0043】

本構成では、上記のように、報知情報決定部１３９は、対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定するため、乗員が知りたい情報を適切な内容とタイミングで報知することができる。

【0044】

報知情報決定部１３９は、対応関係表５０に従って、対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定しているが、対象物と自車両との距離や対象物に含まれる文字情報によって、報知する情報量やタイミングを変更することもできる。具体的には、上記した図３において、対象物と自車両との距離が近い海沿いの道路を走行している場合には、この近くに車を駐車して海を見たいと思うこともある。このため、報知情報決定部１３９は、関連情報として、近隣のコインパーキング（駐車場）に関する情報の報知を決定し、コインパーキングの位置や混雑状況などを検索して取得し、この情報を乗員にすぐに報知することができる。

【0045】

また、例えば、ある店舗のバーゲンセールの広告看板に興味を示した場合、属性判別部１３８は画像解析とともに文字認識を実行することにより、広告看板に含まれる開催時期を示す文字情報を取得して、現在時点がバーゲンセールの開催時期に含まれていれば、報知情報決定部１３９は、店舗名や営業時間、経路などの情報をすぐに報知することを決定する。一方、現在時点がバーゲンセールの開催前であれば、報知情報決定部１３９は、店舗名や営業時間、経路などの情報をすぐにではなく、後で乗員に報知することを決定する。

【0046】

このように、報知情報決定部１３９は、対象物との距離または対象物に含まれる文字情報に応じて、報知する情報量やタイミングの変更を決定するため、乗員にとって有用な情報を適切なタイミングで提供することができる。

【0047】

また、例えば、レストランの広告看板に興味を示した場合、経路検索によるレストランへの到着時刻がレストランの営業時間（ラストオーダ）に間に合えば、報知情報決定部１３９は、店舗名や営業時間、メニュー、経路などの情報をすぐに報知することを決定する。一方、営業時間（ラストオーダ）に間に合わなそうであれば、報知情報決定部１３９は、店舗名や営業時間、メニュー、経路などの情報をすぐにではなく、後で乗員に報知することを決定する。

【0048】

情報取得部１４０は、報知情報決定部１３９により決定された、対象物について報知する情報を取得する。具体的には、情報取得部１４０は、通信部２８０を介して、外部の情報処理サーバに対して所定の検索クエリを発信し、この検索クエリに対応する情報を取得する。また、情報提供装置１００は、車両に搭載されたナビゲーション装置（不図示）から目的地までの経路案内情報を取得する。

【0049】

報知制御部１４１は、報知情報決定部１３９が決定した対象物について報知する情報の内容を、決定したタイミングに従って乗員に報知する。具体的には、情報提供装置１００は、乗員が興味を示した対象物があったこと、及び関連情報を取得したことについては、報知情報決定部１３９の決定にかかわらず乗員に直ぐに報知する。また、対象物に関する情報については、決定されたタイミングを自動的に判断して、情報の内容ごとに報知するタイミングを異ならせて報知する。これにより、乗員が知りたい情報を適切なタイミングで報知することができる。また、報知制御部１４１は、乗員に応じて報知する手段を変更することが好ましい。例えば、運転者に対しては、情報をスピーカから音声にて報知するのに対し、他の乗員に対しては、情報を表示部２４０に表示させて報知する。なお、すぐに報知しない情報（例えば対応物映像データ）については、記録部２２０に記憶されているため、例えば、映像データは保存済であることだけを報知しておき、後で乗員の指示によって再生（抽出）できるようにすることが好ましい。

【0050】

次に、図５を用いて、情報提供装置１００の処理の流れについて説明する。図５は、第一実施形態に係る情報提供装置１００における情報の報知処理の流れを示すフローチャートである。

【0051】

情報提供装置１００は、記録制御部１３６によって、ループ記録を開始する（ステップＳ１０１）。より詳しくは、情報提供装置１００は、記録制御部１３６によって、第一カメラ２００および第二カメラ２１０が撮影した映像データをバッファメモリ１２１に送信し、例えば、６０秒ごとのような所定期間の映像ごとに映像ファイルを生成し、記録部２２０に記録させる。情報提供装置１００はステップＳ１０２に進む。

【0052】

情報提供装置１００は、顔方向判定部１３５によって、第一映像データに基づいて、乗員の顔の向きが一致しているか否かを判定する（ステップＳ１０２）。上述したように、乗員の顔の向きが一致しているか否かは、すべての乗員のうちの一部である複数の乗員の顔の向きが一致するか否かを判定してもよいし、すべての乗員の顔の向きが一致するか否かを判定してもよい。情報提供装置１００は、顔方向判定部１３５によって、乗員の顔の向きが一致していると判定された場合（ステップＳ１０２；Ｙｅｓ）、ステップＳ１０３に進む。情報提供装置１００は、顔方向判定部１３５によって、乗員の顔の向きが一致していると判定されなかった場合（ステップＳ１０２；Ｎｏ）、ステップＳ１０９に進む。

【0053】

乗員の顔の向きが一致していると判定された場合（ステップＳ１０２；Ｙｅｓ）、情報提供装置１００は、対象物映像データを保存する（ステップＳ１０３）。具体的には、情報提供装置１００は、車両の周辺を撮影した第二映像データと、複数の乗員の顔の向きとに基づいて、複数の乗員の顔の向きが一致したと判定された時点の前後における第一映像データから、乗員の顔（視線）が向いた方向の車外の景色の対象物映像データ（動画）を切り出して保存する。情報提供装置１００は、ステップＳ１０４に進む。

【0054】

情報提供装置１００は、これら乗員が興味を示した対象物を特定する（ステップＳ１０４）。情報提供装置１００は、切り出した対象物映像データに映った画像から対象物を特定する。ステップＳ１０４とステップＳ１０３とは同時に行ってもよい。情報提供装置１００は、ステップＳ１０５に進む。

【0055】

次に、情報提供装置１００は、特定された対象物の属性（種類）を判別する（ステップＳ１０５）。具体的には、情報提供装置１００は、例えば予め機械学習された学習モデルを用いて、対象物映像データの画像解析を行うことにより、対象物映像データに映っている対象物の属性を判別する。情報提供装置１００は、ステップＳ１０６に進む。

【0056】

情報提供装置１００は、判別された対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定する（ステップＳ１０６）。具体的には、情報提供装置１００は、図２に記載の対応関係表５０を用いて、対象物の属性ごとに、乗員に報知する情報の内容と、これら情報を報知するタイミングとを決定する。情報提供装置１００は、ステップＳ１０７に進む。

【0057】

次に、情報提供装置１００は、決定された報知する情報の内容に従って、この情報を取得する（ステップＳ１０７）。具体的には、情報提供装置１００は、通信部２８０を介して、情報処理サーバに対して所定の検索クエリを発信し、この検索クエリに対応する情報を取得する。また、情報提供装置１００は、車両に搭載されたナビゲーション装置（不図示）から目的地までの経路案内情報を取得する。情報提供装置１００は、ステップＳ１０８に進む。

【0058】

情報提供装置１００は、決定された情報を決定されたタイミングで乗員に報知する（ステップＳ１０８）。具体的には、情報提供装置１００は、乗員が興味を示した対象物があったこと、及び関連情報を取得したことは、乗員に直ぐに報知する。また、対象物に関する情報については、決定されたタイミングを自動的に判断して報知する。情報提供装置１００は、乗員に応じて報知する手段を変更する。例えば、運転者に対しては、情報をスピーカから音声にて報知するのに対し、他の乗員に対しては、情報を表示部２４０に表示させて報知する。これにより、運転者の注意を過剰に引き付けることが防止され、安全な運転の実行が可能となる。情報提供装置１００は、ステップＳ１０９に進む。

【0059】

情報提供装置１００は、ループ記録を終了するか否かを判定する（ステップＳ１０９）。具体的には、情報提供装置１００は、映像データの記録を停止する操作がされた場合、または、記録制御部１３６から記録を停止する制御信号を受信した場合（ステップＳ１０９；Ｙｅｓ）、ループ記録を終了して処理を終了する。情報提供装置１００は、映像データの記録を停止する操作がされていない場合、かつ、記録制御部１３６から記録を停止する制御信号を受信していない場合（ステップＳ１０９；Ｎｏ）、ステップＳ１０２に戻って処理を再度実行する。

【0060】

上述したように、本実施形態では、情報提供装置１００は、車両の乗員の動作から乗員が興味を示した車外の対象物を特定し、特定した対象物の属性を判別し、対象物の属性に応じて、該対象物について報知する情報の内容、及び報知するタイミングをそれぞれ決定し、決定された情報を取得し、決定されたタイミングに従い、取得した情報を乗員に報知するため、車両の走行中に乗員が興味を示した対象物に関する情報を適切なタイミングで提供できる。

【0061】

［第二実施形態］
図６ないし図８を参照しながら、本実施形態に係る車両用記録装置１０Ａについて説明する。図６は、第二実施形態に係る情報提供装置を有する車両用記録装置の構成例を示すブロック図である。図７は、第二実施形態に係る情報提供装置によって報知される情報およびタイミングを対象物の属性に応じて規定した対応関係表の一例を示す図表である。図８は、第二実施形態に係る情報提供装置における情報の報知処理の流れを示すフローチャートである。車両用記録装置１０Ａは、基本的な構成は第一実施形態の車両用記録装置１０と同様である。以下の説明においては、車両用記録装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。情報提供装置１００Ａが感情推定部１４２Ａを有する点と、報知制御部１４１Ａにおける処理とが、第一実施形態と異なる。

【0062】

感情推定部１４２Ａは、対象物に興味を示した時点における乗員の感情レベルを推定する。具体的には、第二映像データにおける乗員の表情によって、感情を判定するとともに、表情の大きさやリアクションによって感情レベルを推定する。一般に人間の感情には、ポジティブ（楽観的）な感情とネガティブ（悲観的）な感情とがある。感情推定部１４２Ａは、対象物に興味を示した時点における乗員が、例えば笑顔であればポジティブな感情と推定し、目を伏せていたり頭を抱えている場合にはネガティブが感情と推定する。感情レベルについては、事前に乗員の表情の変化を学習して複数の段階に感情レベルを区分け可能にするものとする。なお、本実施形態では、乗員の感情レベルを推定するにあたり、ポジティブな感情を用いて説明するが、ネガティブな感情を排除するわけではない。また、感情レベルの推定には、表情だけでなく、例えば、脳波や脈拍などの生体情報に基づいて推定してもよい。

【0063】

本実施形態では、対応関係表５０Ａには、図７に示すように、情報を報知するにあたり、報知するタイミングの優先順位が規定されている。この図７では、報知タイミングとして、優先順位が（１）、（２）、（３）・・・と数字で規定されており、数字の小さな情報から早いタイミングで報知される。また、各対象物において、最も大きな数字の情報については、上記した実施形態の［〇］と同様に、乗員の指示に基づき後で報知するものとなる。

【0064】

例えば、乗員の感情レベルを３段階に区分けしたものとする。ここで、例えば、遠くの山に興味を示した場合、乗員の感情レベルが最高レベルの場合には、乗員は多くの情報を早く知りたいと考えるため、優先順位（１）～（３）までを情報取得直後に順次報知するタイミングに決定する。また、乗員の感情レベルが中間レベルの場合には、優先順位（１）～（２）までを情報取得直後に順次報知するタイミングに決定する。また、乗員の感情レベルが最低レベルの場合には、優先順位（１）を情報取得直後に報知するタイミングに決定する。

【0065】

次に、図８を用いて、情報提供装置１００Ａにおける情報の報知処理の流れについて説明する。ステップＳ２０１～ステップＳ２０５、ステップＳ２０８～ステップＳ２１０の処理は、図６に示すフローチャートのステップＳ１０１～ステップＳ１０５、ステップＳ１０７～ステップＳ１０９と同様の処理を行う。

【0066】

情報提供装置１００Ａは、乗員の感情レベルを推定する（ステップＳ２０６）。具体的には、第二映像データにおける乗員の表情によって、感情を判定するとともに、笑顔の大きさやリアクションによってポジティブな感情レベルを推定する。

【0067】

情報提供装置１００Ａは、対象物の属性に応じた情報の内容、タイミングを乗員の感情レベルに応じて決定する（ステップＳ２０７）。このように、本実施形態では、乗員の感情レベルに応じて、報知する情報量やタイミングを決定するため、その時の乗員の感情に見合った情報を適切に提供することができる。上記した優先順位の区分けや、報知するタイミングの決定については一例なので、これに限るものではない。

【0068】

これまで本発明に係る情報提供装置１００、１００Ａについて説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

【0069】

図示した車両用記録装置１０、１０Ａおよび情報提供装置１００、１００Ａの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0070】

車両用記録装置１０、１０Ａおよび情報提供装置１００、１００Ａの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0071】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0072】

また、対象物の属性に基づき、自動的に報知される情報とは別の関連情報を知りたい場合は、例えば、操作部２３０や音声操作により、情報取得部１４０に追加の情報取得を指示して、追加情報を報知（提供）させてもよい。また、『さっきの夕焼けの映像が見たい』といった発話に反応して、対象物映像データを再生することにより、乗員の指示に従って報知タイミングを変更してもよい。

【符号の説明】

【0073】

１０、１０Ａ 車両用記録装置
１００、１００Ａ 情報提供装置
１００Ｘ バス
１２０ 映像データ取得部
１３１ 人物認識部
１３５ 顔方向判定部
１３６ 記録制御部
１３７ 対象物特定部
１３８ 属性判別部
１３９ 報知情報決定部
１４０ 情報取得部
１４１ 報知制御部
１４１Ａ 報知制御部
１４２Ａ 感情推定部
２００ 第一カメラ（第一撮影部）
２１０ 第二カメラ（第二撮影部）
２２０ 記録部
２３０ 操作部
２４０ 表示部
２５０ ＧＰＳ受信部
２６０ 人物認識辞書記憶部
２７０ 対応関係記憶部
２８０ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】