特許 7418189 表示画像生成装置及び表示画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】表示画像生成装置及び表示画像生成方法

(51)【国際特許分類】

   G01C 21/36 20060101AFI20240112BHJP

   G08G 1/0969 20060101ALI20240112BHJP

【ＦＩ】

G01C21/36

G08G1/0969

【請求項の数】 14

(21)【出願番号】P 2019210845

(22)【出願日】2019-11-21

(65)【公開番号】P2021081372

(43)【公開日】2021-05-27

【審査請求日】2022-08-02

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】井上 裕史

(72)【発明者】

【氏名】西山 乘

(72)【発明者】

【氏名】志小田 雄宇

(72)【発明者】

【氏名】寺口 剛仁

(72)【発明者】

【氏名】大久保 翔太

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０１５－０４１１９７（ＪＰ，Ａ）

【文献】国際公開第２０１８／２３５４０９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／３６

Ｇ０８Ｇ １／０９６９

(57)【特許請求の範囲】

【請求項1】

発言主体により発せられた発言に含まれる対象物を抽出対象物として特定し、当該抽出対象物に関する表示画像を生成する表示画像生成装置であって、
前記発言主体によりユーザに対して発せられた前記発言の発言データを取得する発言データ取得部と、
予め複数の対象物データを記憶し、複数の前記対象物データと前記発言データ取得部により取得された前記発言データとを対比して、前記発言データのうち前記対象物データと一致するデータを前記抽出対象物として抽出する対象物抽出部と、
前記ユーザの視野に対応する視野画像を少なくとも含む画像を取得する視野画像取得部と、
前記対象物抽出部により抽出された前記抽出対象物が前記視野画像に含まれるか否かを判定する対象物判定部と、
前記抽出対象物の位置に関する情報である抽出対象物情報を取得し、前記視野画像とは異なる当該抽出対象物情報を含む前記表示画像を生成する表示画像生成部と、を備え、
前記表示画像生成部は、前記対象物判定部による前記抽出対象物が前記視野画像に含まれるか否かの判定結果に基づいて、前記抽出対象物に関する前記表示画像の表示態様を決定し、前記抽出対象物が前記視野画像に含まれる場合と含まれない場合とで異なる前記表示態様を決定する
ことを特徴とする表示画像生成装置。

【請求項2】

前記表示画像生成部は、前記抽出対象物が前記視野画像に含まれると前記対象物判定部により判定された場合に、前記抽出対象物そのものを強調する前記表示態様で前記抽出対象物情報を示した前記表示画像を生成する
ことを特徴とする請求項１に記載の表示画像生成装置。

【請求項3】

前記抽出対象物と前記ユーザとの相対的な位置関係を取得する位置関係取得部を備え、
前記表示画像生成部は、前記抽出対象物が前記視野画像に含まれないと前記対象物判定部により判定された場合に、前記位置関係を表示する前記表示態様で前記抽出対象物情報を示した前記表示画像を生成する
ことを特徴とする請求項１又は２に記載の表示画像生成装置。

【請求項4】

前記表示画像生成部は、前記対象物判定部による前記抽出対象物が前記視野画像に含まれるか否かの判定結果に基づいて、前記視野画像から前記抽出対象物が前記ユーザにより視認可能であるか否かを示す情報を含む前記表示画像を生成する
ことを特徴とする請求項１から３までのいずれか一項に記載の表示画像生成装置。

【請求項5】

前記抽出対象物が前記視野画像に含まれないと前記対象物判定部により判定された場合に、前記抽出対象物が予め設定された対象範囲内に存在するか否かを判定する存否判定部を備え、
前記表示画像生成部は、前記存否判定部による前記抽出対象物が前記対象範囲内に存在するか否かの判定結果に基づいて、前記抽出対象物情報の前記表示態様を決定する
ことを特徴とする請求項１から４までのいずれか一項に記載の表示画像生成装置。

【請求項6】

前記視野画像を含む前記ユーザの周辺の領域である周辺画像を取得して、取得した前記周辺画像を記憶する周辺画像取得部を備え、
前記存否判定部は、前記周辺画像取得部により取得された現在又は過去の前記周辺画像に基づいて、前記抽出対象物が前記対象範囲内に存在するか否かを判定する
ことを特徴とする請求項５に記載の表示画像生成装置。

【請求項7】

前記抽出対象物と前記ユーザとの相対的な位置関係を取得する位置関係取得部を備え、
前記表示画像生成部は、前記抽出対象物が前記対象範囲内に存在すると前記存否判定部により判定された場合に、前記ユーザの位置又は前記ユーザの近傍の位置に設定される基準位置を基準として前記抽出対象物の位置の方向及び距離を含む前記位置関係を表示する前記表示態様で前記抽出対象物情報を示した前記表示画像を生成する
ことを特徴とする請求項５又は６に記載の表示画像生成装置。

【請求項8】

前記抽出対象物は地図上の位置に関連づけられたランドマークであるＰＯＩ（Points of Interest）であり、
前記抽出対象物の位置に関する情報を少なくとも含む前記ＰＯＩのＰＯＩ情報を記憶するＰＯＩ情報記憶部を備え、
前記存否判定部は、前記ＰＯＩ情報記憶部により記憶された前記ＰＯＩ情報に基づいて、前記抽出対象物が前記対象範囲内に存在するか否かを判定する
ことを特徴とする請求項５から７までのいずれか一項に記載の表示画像生成装置。

【請求項9】

前記発言主体は人であり、
前記発言データは、人により前記ユーザに発せられた前記発言の発言信号データである
ことを特徴とする請求項１から８までのいずれか一項に記載の表示画像生成装置。

【請求項10】

前記発言主体は、前記ユーザに対して前記発言を発する発言装置であり、
前記発言データは、前記発言として出力される出力文の内容を示す出力文データである
ことを特徴とする請求項１から８までのいずれか一項に記載の画像生成装置。

【請求項11】

前記対象物判定部は、前記抽出対象物が前記視野画像に含まれるか否かの判定結果の情報を前記発言主体に出力する
ことを特徴とする請求項１から１０までのいずれか一項に記載の画像生成装置。

【請求項12】

前記発言データ取得部は、前記ユーザに対して前記発言を発した前記発言主体を特定する情報を取得し、
前記表示画像生成部は、前記発言データ取得部により取得された前記発言主体を特定する前記情報を含む前記表示画像を生成する
ことを特徴とする請求項１から１１までのいずれか一項に記載の表示画像生成装置。

【請求項13】

前記視野画像を含む前記ユーザの周辺の領域である周辺画像を取得して、取得した前記周辺画像を記憶する周辺画像取得部と、
前記ユーザの視線を認識する視線認識部と、を備え、
前記視野画像取得部は、前記周辺画像取得部により取得された現在の前記周辺画像と前記視線認識部により認識された前記ユーザの現在の前記視線とに基づいて前記視野画像を取得する
ことを特徴とする請求項１から１２までのいずれか一項に記載の表示画像生成装置。

【請求項14】

発言主体により発せられた発言に含まれる対象物を抽出対象物として特定し、当該抽出対象物に関する表示画像を生成する表示画像生成装置による表示画像生成方法であって、
前記発言主体によりユーザに対して発せられた発言の発言データを取得する発言データ取得ステップと、
予め記憶された複数の対象物データと取得された前記発言データとを対比して、前記発言データのうち前記対象物データと一致するデータを前記抽出対象物として抽出する対象物抽出ステップと、
前記ユーザの視野に対応する視野画像を取得する視野画像取得ステップと、
抽出された前記抽出対象物が前記視野画像に含まれるか否かを判定する対象物判定ステップと、
前記抽出対象物の位置に関する情報である抽出対象物情報を取得し、前記視野画像とは異なる当該抽出対象物情報を含む前記表示画像を生成する表示画像生成ステップと、を含み、
前記表示画像生成ステップにおいては、前記対象物判定ステップにおける前記抽出対象物が前記視野画像に含まれるか否かの判定結果に基づいて、前記抽出対象物に関する前記表示画像の表示態様を決定し、前記抽出対象物が前記視野画像に含まれる場合と含まれない場合とで異なる前記表示態様を決定する
ことを特徴とする表示画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示画像生成装置及び表示画像生成方法に関する。

【背景技術】

【0002】

認識されている車外対象物の位置に関する情報を生成する技術が知られている。例えば特許文献１には、車両乗員が注目している車外対象物を視線検出及び音声認識により特定し、特定された対象物の車両に対する相対位置を示す表示画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－９０７９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述した従来の技術は、対象物が存在する方向をユーザが見ていることを前提としており、当該対象物がユーザの視野内に含まれているか否かにかかわらず当該対象物の位置に関する情報を生成し得るものではない。また、上述した従来の技術は、ユーザ自身により認識されている対象物の位置に関する情報を生成しようとするものであって、そのユーザ以外の主体により認識されている対象物の位置に関する情報をユーザのために生成することについては考慮されていない。

【0005】

本開示は、このような事情に鑑みてなされてものであって、ユーザ以外の主体により認識されている抽出対象物がユーザの視野内に含まれているか否かにかかわらず、当該抽出対象物の位置に関する情報を適切に生成する表示画像生成装置及び表示画像生成方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る表示画像生成装置は、発言主体により発せられた発言に含まれる対象物を抽出対象物として特定し、当該抽出対象物に関する表示画像を生成する表示画像生成装置である。本開示に係る表示画像生成装置は、発言データ取得部と、対象物抽出部と、視野画像取得部と、対象物判定部と、表示画像生成部と、を備える。発言データ取得部は、発言主体によりユーザに対して発せられた発言の発言データを取得する。対象物抽出部は、予め複数の対象物データを記憶し、複数の対象物データと発言データ取得部により取得された発言データとを対比して、発言データのうち対象物データと一致するデータを抽出対象物として抽出する。視野画像取得部は、ユーザの視野に対応する視野画像を少なくとも含む画像を取得する。対象物判定部は、対象物抽出部により抽出された抽出対象物が視野画像に含まれるか否かを判定する。表示画像生成部は、抽出対象物の位置に関する情報である対象物情報を取得し、視野画像とは異なる出対象物情報を含む表示画像を生成する。表示画像生成部は、対象物判定部による抽出対象物が視野画像に含まれるか否かの判定結果に基づいて、抽出対象物に関する表示画像の表示態様を決定し、抽出対象物が視野画像に含まれる場合と含まれない場合とで異なる表示態様を決定する。

【発明の効果】

【0007】

本開示によれば、ユーザ以外の主体により認識されている対象物がユーザの視野内に含まれているか否かにかかわらず、当該対象物の位置に関する情報を適切に生成することが可能となる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る表示画像生成装置を示すブロック図である。

【図2】端末を装着して車両に同乗しているユーザ及び同乗者を示す図である。

【図3】車両の上方から見たときのユーザの視野を説明するための平面図である。

【図4A】表示画像が第１表示態様で重畳して表示されたユーザＸの視野に対応する周辺状況を示す図である。

【図4B】第１表示画像が表示された表示画像表示装置を示す図である。

【図5A】表示画像が第２表示態様で重畳して表示されたユーザＸの視野に対応する周辺状況を示す図である。

【図5B】第２表示画像が表示された表示画像表示装置を示す図である。

【図6A】表示画像が第３表示態様で重畳して表示されたユーザＸの視野に対応する周辺状況を示す図である。

【図6B】第３表示画像が表示された表示画像表示装置を示す図である。

【図7】第１実施形態に係る表示画像生成処理を示すフローチャートである。

【図8】第２実施形態に係る表示画像生成装置を示すブロック図である。

【図9】第２実施形態に係る表示画像生成処理を示すフローチャートである。

【図10】第３実施形態に係る表示画像生成装置を示すブロック図である。

【図11】第３実施形態に係る表示画像生成処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して、本開示の例示的な実施形態について説明する。なお、以下の説明において、同一又は相当部分には同一符号を付し、重複する説明は省略する。
［第１実施形態］

【0010】

図１は、第１実施形態に係る表示画像生成装置１Ａを示すブロック図である。図２は、端末を装着して車両２Ａに同乗しているユーザＸ及びユーザＹを示す図である。図３は、車両２Ａの上方から見たときのユーザＸの視野Ｅｘを説明するための平面図である。図４Ａと図５Ａと図６Ａは、表示画像が各表示態様で重畳して表示されたユーザＸの視野Ｅｘに対応する周辺状況を示す図である。図４Ｂと図５Ｂと図６Ｂは、各表示画像が表示された表示画像表示装置を示す図である。図１～図６に示されるように、表示画像生成装置１Ａは、発言主体により発せられた発言に含まれる（すなわち、発言主体により発せられた発言において言及されている）対象物Ｔを抽出対象物Ｔｅとして特定し、当該抽出対象物Ｔｅに関する表示画像Ｐを生成する装置である。

【0011】

より詳細には、表示画像生成装置１Ａは、ユーザＸの視野Ｅｘに対応する周辺状況に重畳して表示される表示画像Ｐを生成する装置である。ユーザＸは、人であるユーザ（発言主体）Ｙと車両２Ａに乗車しており、例えば車外の景色を視認している。ユーザＸは、ユーザ用端末３Ａを装着している。ユーザＹは、発言主体用端末４を装着している（図２参照）。本実施形態では、ユーザＹがユーザＸに対して話しかける状況を例示して、表示画像生成装置１Ａについて説明する。

【0012】

ここで、「ユーザＸの視野Ｅｘ」とは、ユーザＸにより視認可能な視認可能領域を意味する。「視認可能領域」は、ヒトが眼を使い、生理的視野中心付近に固視点（注視点）を設けている際に外界から有効に情報を得られる範囲という有効視野である。例えば、ユーザＸの視野Ｅｘは、ユーザＸの視野Ｅｘの中心軸を中心として視認可能な上下左右の全ての領域に設定されてもよい。図３は、車両２Ａの上方から見たとき、ユーザＸの水平方向の視認可能領域を示している。ユーザＸの視野Ｅｘは車両２Ａの移動により変化する。例えば、図３では、現在のユーザＸの位置を現在位置Ｘ１により示し、現在地から移動した後のユーザＸの位置を移動位置Ｘ２により示す。以下の説明では、ユーザＸの視野Ｅｘは、後述するユーザ用端末３Ａを装着したユーザＸが所定の方向を向いている状態で、ユーザ用端末３Ａの透過型ディスプレイを介してユーザＸが視認可能な上下左右の全ての領域に設定されているものとする。なお、ユーザＹの視野Ｅｙは、ユーザＸの視野Ｅｘと同様に、ユーザＹにより視認可能な視認可能領域を意味する（図２参照）。

【0013】

「周辺状況」は、ユーザＸの周辺の領域であってユーザＸが視認可能な現実の車外の景色（外景）を意味する。周辺状況は、例えばユーザＸの現在位置を中心として水平方向の３６０度にわたる領域であって、ユーザＸの上方や下方までを含めた領域の車外の景色（外景）である。「ユーザＸの視野Ｅｘに対応する周辺状況」とは、ユーザＸの視野Ｅｘに含まれる車外の景色（外景）を意味する。言い換えると、周辺状況は、ユーザＸの視野Ｅｘ内の車外の景色である。図３に示されるように、車両２Ａの移動により、ユーザＸの視野Ｅｘに対応する周辺状況が変わる。

【0014】

「表示画像を生成する」とは、ディスプレイ等に表示される画像情報を生成することを意味する。表示画像生成装置１Ａにより生成された画像情報が有線通信又は無線通信によりディスプレイ等に送信されると、送信された画像情報に係る表示画像Ｐが当該ディスプレイに表示可能となる。なお、「表示画像Ｐ」とは、抽出対象物Ｔｅに関する情報等を表示する画像であり、より具体的には、対象物Ｔの位置に関する情報を表示する画像である。ここでは、表示画像Ｐは、ユーザＸの視野Ｅｘに対応する周辺状況に重畳して表示される。表示画像Ｐとしては、例えば、抽出対象物Ｔｅが視野画像に含まれるか否かを示す文字を含む画像であってもよく、視野画像に含まれる特定の抽出対象物Ｔｅが枠囲みされて見えるように表示される矩形枠線の画像であってもよい。なお、詳しくは後述する。ここで、「視野画像」とは、ユーザＸの視野Ｅｘに対応する画像である。つまり、視野画像は、ユーザＸの視野Ｅｘに対応する周辺状況を撮像した画像である。本実施形態において、ユーザＸの視野Ｅｘに対応する周辺状況とは現実の車外の景色であり、視野画像とは当該ユーザＸの視野Ｅｘに対応する周辺状況が撮像装置（視野画像取得装置３２）により撮像された画像である。

【0015】

表示画像生成装置１Ａは、例えばサーバとして構成されており、プロセッサ（処理装置）及びメモリ（記憶装置）等を含んでいる。

【0016】

プロセッサは、例えばＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）により構成されていてもよい。メモリは、半導体記憶装置、磁気記憶装置、及び光学記憶装置の少なくともいずれかを備えていてもよい。また、メモリは、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等を含んでいてもよい。

【0017】

表示画像生成装置１Ａ、車両２Ａ、ユーザ用端末３Ａ、及び発言主体用端末４は、相互に有線又は無線により通信（送受信）可能に接続されている。なお、表示画像生成装置１Ａの機能的な構成については後述する。

【0018】

車両２Ａは、ユーザＸ及びユーザＹが乗車している乗用車等である。車両２Ａは、手動運転と自動運転の両方が切り替えにより可能であってもよいし、どちらか一方のみの運転が可能であってもよい。車両２Ａは、ナビゲーション装置２１及び周辺撮像装置２２を備えている。ナビゲーション装置２１は、例えば、ＧＰＳ（Global Positioning System）等により検出された車両２Ａの位置情報、及び、地図情報に基づいて、設定された目的地までの車両２Ａの走行経路を設定し、当該走行経路に沿って車両２Ａを案内する装置である。ナビゲーション装置２１は、車両２Ａの位置（例えば、ＧＰＳにより検出された位置座標）の履歴を時系列で記憶（保持）する。ナビゲーション装置２１は、記憶した車両２Ａの位置の履歴に基づいて車両２Ａの進行方向を取得してもよい。

【0019】

周辺撮像装置２２は、ユーザＸの周辺状況を撮像して、周辺画像を取得する装置である。「周辺画像」とは、ユーザＸの視野Ｅｘ（すなわち視野画像）を含むユーザＸの周辺の領域であってユーザＸの視野Ｅｘを含む領域の画像である。ユーザＸの周辺画像は、例えばユーザＸを中心として水平方向の３６０度にわたる領域が撮像された画像であってもよく、更にユーザＸの上方まで含めた領域が撮像された画像であってもよい。あるいは、ユーザＸの周辺画像は、ユーザＸの周辺の領域のうち、ユーザＸにより視認されにくい領域（一例として、車両２Ａの座席に着座した状態のユーザＸの後方の領域等）を除く領域であってもよい。あるいは、ユーザＸの視野Ｅｘに対応する領域と同一の領域であってもよい。「ユーザＸの視野Ｅｘを含む領域」とは、ユーザＸの視野Ｅｘを含む領域であれば、その範囲は特に限定されない。

【0020】

周辺撮像装置２２は、例えば１又は複数のカメラによって構成されている。周辺撮像装置２２のカメラは、例えば車両２Ａの屋根上等の車室外に設けられていてもよく、フロントガラス裏等の車室内に設けられていてもよい。車両２Ａは、周辺撮像装置２２により撮像されたユーザＸの周辺画像を表示画像生成装置１Ａに送信する。なお、「画像を送信する」とは、画像の画像データを送信することを意味する。

【0021】

ユーザ用端末３Ａは、ユーザＸの頭部に装着される装置であり、表示画像表示装置３１Ａ及び視野画像取得装置３２を備えている。表示画像表示装置３１Ａは、表示画像生成装置１Ａにより生成された表示画像Ｐを表示可能なディスプレイを有している。表示画像表示装置３１Ａのディスプレイは、例えば眼鏡型又はゴーグル型のような透過型ディスプレイであり、ユーザＸによりユーザ用端末３Ａが装着された状態でユーザＸの目の直前に位置する。したがって、ユーザＸは表示画像表示装置３１Ａを介してユーザＸの視野Ｅｘに対応する周辺状況を視認可能となる。また、表示画像表示装置３１Ａに表示画像Ｐが表示されると、ユーザＸから見て、表示画像Ｐ（図４Ｂ，図５Ｂ，図６Ｂ参照）がユーザＸの視野Ｅｘに対応する周辺状況に重畳して表示されることとなる。つまり、表示画像表示装置３１Ａは、いわゆるＡＲ（Augmented Reality）の技術において用いられるＨＭＤ（Head Mounted Display）としての機能を備えている。

【0022】

視野画像取得装置３２は、ユーザＸの視野Ｅｘに対応する周辺状況を撮像して、視野画像を取得する撮像装置である。視野画像取得装置３２は、ユーザＸによりユーザ用端末３Ａが装着された状態でユーザＸの視線方向を撮像可能な向きとなるように、ユーザ用端末３Ａに設けられている。視野画像取得装置３２は、例えば表示画像表示装置３１Ａの側部に設けられている。ユーザ用端末３Ａは、視野画像取得装置３２により撮像された視野画像を表示画像生成装置１Ａに送信する。なお、「視野画像を送信する」とは、視野画像の画像データを送信することを意味する。さらに、視野画像取得装置３２は、ユーザＸの視線方向を検出するセンサを備え（不図示）、センサから検出されたユーザＸの視線方向の情報を視野画像の画像データと共に送信してもよい。

【0023】

発言主体用端末４は、ユーザＹの頭部に装着される装置であり、発言データ取得装置４１を備えている。発言データ取得装置４１は、ユーザＹによりユーザＸに対して発せられた発言を発言データとして取得する装置である。発言データ取得装置４１は、例えばマイクロフォンによって構成されている。ここでは、発言データ取得装置４１は、発言主体用端末４はヘッドセットであり、発言データ取得装置４１はヘッドセットに設けられたマイクロフォンである。なお、発言データ取得装置４１は、車内マイクロフォン又はイヤホーンであってもよい。また、発言主体用端末４は、ユーザ用端末３Ａと同様の表示画像表示装置３１Ａ及び視野画像取得装置３２を更に備えていてもよい。「発言データ」とは、発言の内容についての情報を有するデータであり、ここでは、発言データは、発言の発言信号データである。「発言信号データ」とは、発言の音声信号を意味する。なお、発言データには、ユーザＹが何も発していないデータも含まれる。

【0024】

発言主体用端末４は、発言データ取得装置４１により取得された発言を表示画像生成装置１Ａに送信する。このとき、発言主体用端末４は、当該発言主体用端末４がユーザＹにより装着されていることを特定する情報（ユーザＹを特定する情報）を、表示画像生成装置１Ａへ更に送信する。「発言主体用端末４がユーザＹにより装着されていることを特定する情報」とは、ユーザＹに紐付けられた情報であり、例えば、ユーザＹと紐付けられた発言主体用端末４のＩＤ（Identification）番号であってもよい。なお、「発言を送信する」とは、発言の発言信号データ（詳しくは後述）を送信することを意味する。

【0025】

次に、表示画像生成装置１Ａの機能的な構成について説明する。表示画像生成装置１Ａは、周辺画像取得部１１、発言データ取得部１２、対象物抽出部１３、視野画像取得部１４Ａ、対象物判定部１５Ａ、存否判定部１６Ａ、位置関係取得部１７Ａ、及び表示画像生成部１８Ａを有している。

【0026】

周辺画像取得部１１は、車両２Ａから送信される周辺画像を取得して記憶する。周辺画像取得部１１は、ユーザＸの周辺画像を取得して時系列で記憶する。より具体的には、周辺画像取得部１１は、車両２Ａの周辺撮像装置２２により撮像されたユーザＸの周辺画像を車両２Ａから受信することで、ユーザＸの周辺画像を取得する。周辺画像取得部１１は、取得したユーザＸの周辺画像を時系列で記憶する。つまり、周辺画像取得部１１は、ユーザＸの現在の周辺画像を取得するとともに、取得された周辺画像を過去の周辺画像として記憶（蓄積）していく。周辺画像取得部１１は、予め設定されたタイミングで、記憶している過去の周辺画像の情報を消去してもよい。

【0027】

発言データ取得部１２は、ユーザＹによりユーザＸに対して発せられた発言の発言データを取得する。より具体的には、発言データ取得部１２は、発言主体用端末４の発言データ取得装置４１により取得されたユーザＹの発言の発言信号データを発言主体用端末４から受信することで、ユーザＹによりユーザＸに対して発せられた発言の発言データを取得する。なお、発言データ取得部１２は、発言データにユーザＹの発言が含まれるか否かを判定する。即ち、ユーザＹが発言していない場合には、発言データにユーザＹの発言が含まれないと判定する。

【0028】

また、発言データ取得部１２は、ユーザＸに対して発言を発したユーザＹを特定する情報を取得する。例えば、発言データ取得部１２は、ユーザＹを特定する情報を発言主体用端末４から受信する。

【0029】

対象物抽出部１３は、発言データ取得部１２により取得された発言データに基づいて、当該発言データに係る発言に含まれる予め記憶された対象物Ｔを表す文字列を抽出する。詳述すると、対象物抽出部１３は、予め複数の対象物Ｔを表す文字列（対象物データ）を記憶しており、複数の対象物Ｔを表す文字列と発言データを変換した文字列（発言データの一種）を対比して、発言データを変換した文字列のうち対象物Ｔを表す文字列と一致する文字列（データ）を抽出対象物Ｔｅとして抽出する。「対象物Ｔ」とは、現実に存在している物体である。物体としては、例えば、一般名詞で表現される物体の種別（自転車、街灯、建物等）であってもよく、固有名詞で表現される物体の名称（富士山、国会議事堂等）であってもよい。また、物体は、その属性、特徴等について限定されていてもよい（例えば、青い自転車、富士山の頂上等）。対象物抽出部１３は、記憶部を有し、対象物Ｔを表す一般名詞、固有名詞、属性、または特徴を予め記憶している。対象物抽出部１３は、発言データ取得部１２により取得された発言データから予め記憶された対象物Ｔを表す一般名詞、固有名詞、属性、または特徴を抽出する。

【0030】

一例として、ユーザＹによりユーザＸに対して「向こうに自転車があるね。」との発言が発せられた場合を説明する。この場合、発言データ取得部１２によりユーザＹが発せられた発言の発言データに基づいて、対象物抽出部１３は、ユーザＹにより発せられた発言から抽出対象物Ｔｅを抽出する。ここでは、対象物抽出部１３は、「自転車」との言葉が対象物Ｔ（自転車）の種別を表すことを予め記憶しているものとする。対象物抽出部１３は、ユーザＹにより発せられた発言から「自転車」という抽出対象物Ｔｅを抽出する。なお、ユーザＹの発言内容から、抽出対象物Ｔｅを抽出できない場合もある。

【0031】

対象物抽出部１３は、例えば発言認識（音声認識）により、発言データに係る発言において言及されている予め記憶された複数の対象物Ｔを表す文字列を抽出する。ここで、「発言認識」としては、公知の発言認識技術が適用可能である。例えば、対象物抽出部１３は、発言認識により、発言データに基づいて発言音声信号を文字列として認識し、認識された文字列と複数の対象物Ｔを表す文字列から抽出対象物Ｔｅを抽出する。

【0032】

視野画像取得部１４Ａは、ユーザＸの視野Ｅｘに対応する画像である視野画像を少なくとも含む画像を取得する。「視野画像を少なくとも含む画像」とは、視野画像と同一範囲の画像であってもよく、視野画像よりも広い範囲の画像であってもよい。視野画像取得部１４Ａは、ユーザ用端末３Ａの視野画像取得装置３２により撮像された視野画像を視野画像取得装置３２から受信することで、当該視野画像を取得する。また、視野画像取得部１４Ａは、視野画像取得装置３２からユーザＸの視線方向の情報を取得してもよい。

【0033】

対象物判定部１５Ａは、抽出対象物Ｔｅが視野画像取得部１４Ａにより取得されたユーザＸの視野Ｅｘの視野画像に含まれるか否かを判定する。「抽出対象物Ｔｅ」とは、上述した通り、対象物抽出部１３が記憶している複数の対象物Ｔの中からその発言データと一致するものである。ここでは、対象物抽出部１３により「自転車（bicycle）」という抽出対象物Ｔｅが抽出されている。

【0034】

対象物判定部１５Ａは、例えば画像認識により、抽出対象物Ｔｅが視野画像に含まれるか否かを判定する。ここで、「画像認識」としては、公知の画像認識技術が適用可能である。例えば、対象物判定部１５Ａは、画像認識として、画像上に含まれる物体の名称、種別、形状、色、方向等の識別情報を検出できる機械学習モデル、深層学習モデル、及びＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いた画像処理アルゴリズムが適用されてもよい。

【0035】

例えば、対象物判定部１５Ａは、視野画像に含まれる複数の物体の識別情報を検出し、対象物抽出部１３により取得された抽出対象物Ｔｅを表現するデータ（物体の種別等）と、視野画像に含まれる複数の物体の検出された識別情報と、を比較する。その後、対象物判定部１５Ａは、種別及び名称の少なくともいずれかにおいて、抽出対象物Ｔｅを表現するデータと、視野画像に含まれる複数の物体と、が一致するか否かに基づいて、視野画像に抽出対象物Ｔｅが含まれるか否かを判定する。また、対象物判定部１５Ａは、画像認識として、ＯＣＲ（Optical Character Recognition）を用いて、視野画像に含まれる看板の文字内容を認識し、対象物抽出部１３が取得された抽出対象物Ｔｅの名称を表現されるデータと認識された看板の内容と比較し、抽出対象物Ｔｅの名称と視野画像に含まれる看板の中に少なくとも１つの看板の内容の一部と一致するか否かに基づいて、視野画像に抽出対象物Ｔｅが含まれるか否かを判定してもよい。

【0036】

対象物判定部１５Ａは、抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果の情報をユーザＸの表示画像表示装置３１Ａに出力する。「視野画像に含まれるか否かの判定結果」とは、抽出対象物ＴｅがユーザＸにより視認可能である（ユーザＸの視野Ｅｘ内）か否かの判定結果の情報を意味する。ここでは、対象物判定部１５Ａは、ユーザＸのユーザ用端末３Ａに判定結果の情報を出力する。なお、発言主体であるユーザＹの発言主体用端末４にも判定結果の情報を出力する。

【0037】

存否判定部１６Ａは、抽出対象物Ｔｅが視野画像に含まれないと対象物判定部１５Ａにより判定された場合に、抽出対象物Ｔｅが予め設定された対象範囲内に存在するか否かを判定する。具体的には、存否判定部１６Ａは、周辺画像取得部１１により取得された現在又は過去の周辺画像に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かを判定する。「対象範囲」とは、ユーザＸまたは車両２Ａの位置を中心として予め設定された所定の範囲である。例えば、対象範囲は、ユーザＸまたは車両２Ａの位置を中心としてユーザＸが視認可能な所定の範囲であってもよい（図３に二点鎖線で示した範囲）。当該範囲は、ユーザＸまたは車両２Ａから例えば５０キロメートルの円形の範囲であってもよく、円形以外の任意の形状の範囲であってもよい。対象範囲は、抽出対象物Ｔｅの大きさに応じて、ユーザＸが、抽出対象物Ｔｅが視認可能な範囲でもよく、例えば、抽出対象物Ｔｅが富士山であれば、対象範囲をユーザＸまたは車両２Ａの位置（中心）から３００キロメートルまでの範囲に設定すればよい。この例では、対象範囲は、中心から半径３００キロメートルの範囲とする。

【0038】

まず、存否判定部１６Ａは、周辺画像取得部１１により取得されて時系列で記憶されたユーザＸの現在の周辺画像及び過去の周辺画像に抽出対象物Ｔｅが含まれているか否かを判定する。より詳細には、存否判定部１６Ａは、周辺画像取得部１１により記憶されている現在の周辺画像及び過去の周辺画像を取得し、取得された現在の周辺画像及び過去の周辺画像に抽出対象物Ｔｅが含まれているか否かを判定する。存否判定部１６Ａは、例えば画像認識により、当該判定を実行してもよい。存否判定部１６Ａは、周辺画像取得部１１により取得され記憶された現在の周辺画像及び過去の周辺画像に含まれる複数の画像の画像認識の処理を対象物判定部１５Ａに実行させて、その実行結果に基づいて、当該判定を実行してもよい。

【0039】

また、存否判定部１６Ａは、周辺画像取得部１１により記憶されている現在の周辺画像及び過去の周辺画像に含まれる複数の画像内の様々な物体を検出して、物体の名称、種別、形状、色、及び方向等の識別情報を検出し、検出された識別情報に１つ以上の画像タグを割り当ててタグ付き画像を生成し記憶する。その後、存否判定部１６Ａは、対象物抽出部１３により取得された抽出対象物Ｔｅを表現する発言データと、複数の画像タグのうち物体の名称及び種別の少なくともいずれかと一致する周辺画像が存在するか否かに基づいて、取得された現在の周辺画像及び過去の周辺画像に抽出対象物Ｔｅが含まれているか否かを判定する。

【0040】

また、存否判定部１６Ａは、取得された現在の周辺画像及び過去の周辺画像に抽出対象物Ｔｅが含まれていないと判定された場合には、抽出対象物Ｔｅが予め設定された対象範囲内に存在しないと判定する。

【0041】

次に、存否判定部１６Ａは、取得された現在の周辺画像及び過去の周辺画像に抽出対象物Ｔｅが含まれていると判定された場合に、抽出対象物Ｔｅが存在する位置が対象範囲内であるか否かを判定する。存否判定部１６Ａは、抽出対象物Ｔｅが現在の周辺画像に含まれる場合に、ユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの方向及び距離を公知の手法により取得することができる。例えば、存否判定部１６Ａは、周辺画像取得部１１により取得されたユーザＸの現在の周辺画像に基づいて、ユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの方向及び距離を推定し、抽出対象物Ｔｅが存在する位置が対象範囲内であるか否かを判定してもよい。あるいは、存否判定部１６Ａは、車両２Ａに設けられたＲＡＤＡＲ（Radio Detection and Ranging）又はＬＩＤＡＲ（Light Detection and Ranging）等を用いて（不図示）、ユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの方向及び距離を計測し、抽出対象物Ｔｅが存在する位置が対象範囲内であるか否かを判定してもよい。

【0042】

なお、存否判定部１６Ａは、抽出対象物Ｔｅが現在の周辺画像に含まれない場合に、周辺画像取得部１１から時間順で抽出対象物Ｔｅが含まれる最後の周辺画像を取得する。次に、存否判定部１６Ａは、ナビゲーション装置２１から取得した実車両位置履歴により現在のユーザＸ又は車両２Ａと撮像した時点でのユーザＸ又は車両２Ａとの相対方向及び距離を算出する。次に、存否判定部１６Ａは、その相対方向及び距離と、ユーザＸ又は車両２Ａから抽出対象物Ｔｅとの相対方向及び距離に基づいて、ユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの方向及び距離を推定する。続いて、存否判定部１６Ａは、ユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの距離が対象範囲内であるか否かを判定してもよい。

【0043】

位置関係取得部１７Ａは、抽出対象物ＴｅとユーザＸとの相対的な位置関係を取得する。「位置関係」は、ユーザＸの位置又はユーザＸの近傍の位置に設定される基準位置（例えば車両２Ａの中心位置）を基準として、抽出対象物Ｔｅの位置の方向及び距離により表されてもよいし、抽出対象物Ｔｅが予め設定された対象範囲内に存在しない情報を表されてもよい。位置関係取得部１７Ａは、ユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの方向及び距離を存否判定部１６Ａから取得してもよい。また、位置関係取得部１７Ａは、周辺画像取得部１１により取得された現在または過去の周辺画像に基づいて、ユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの方向及び距離を推定してもよい。また、位置関係取得部１７Ａは、車両２Ａに設けられたレーダ又はライダー等によりユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの方向及び距離を推定してもよい。また、位置関係取得部１７Ａは、存否判定部１６Ａから、抽出対象物Ｔｅが予め設定された対象範囲内に存在しない情報を取得してもよい。

【0044】

位置関係取得部１７Ａは、ユーザＸの視線方向に対する抽出対象物Ｔｅの方向を算出する。位置関係取得部１７Ａは、視野画像取得部１４Ａから取得されたユーザＸの視野画像と周辺画像取得部１１から取得されたユーザＸの周辺画像に基づいてユーザの視線方向を推定してもよい。また、位置関係取得部１７Ａは、視野画像取得部１４ＡからユーザＸの視線方向を取得してもよい。位置関係取得部１７Ａは、算出されたユーザＸ又は車両２Ａから抽出対象物Ｔｅまでの方向とユーザＸの視線方向に基づいて、ユーザＸの視線方向に対する抽出対象物Ｔｅ方向を推定する。また、上記ユーザＸの視線方向に対する抽出対象物Ｔｅの方向は、視線方向の左後方、視線方向の右後方の２種類であってもよい。

【0045】

表示画像生成部１８Ａは、抽出対象物情報を取得し、当該抽出対象物情報を含む表示画像Ｐを生成する。「抽出対象物情報」とは、抽出対象物Ｔｅの位置に関する情報を意味する。抽出対象物情報は、抽出対象物Ｔｅの位置そのものを示す情報であってもよく、抽出対象物Ｔｅが存在する方向又は距離を示す情報であってもよく、抽出対象物Ｔｅが所定エリア内に存在するか否かを示す情報であってもよい。

【0046】

表示画像生成部１８Ａは、対象物判定部１５Ａの判定結果に基づいて、抽出対象物Ｔｅの表示画像Ｐの表示態様を決定する。「表示態様」とは、抽出対象物情報を示す画像の表示態様である。表示態様は、抽出対象物Ｔｅの位置そのものを示す画像であってもよく、ユーザから見た抽出対象物Ｔｅの距離及び方向を示す画像であってもよく、抽出対象物Ｔｅが所定エリア内に存在するか否かを示す画像であってもよい。

【0047】

対象物判定部１５Ａにより抽出対象物Ｔｅが視野画像に含まれると判定された場合には、表示画像生成部１８Ａは、視野画像取得部１４Ａから視野Ｅｘの視野画像を取得し、視野画像から抽出対象物Ｔｅを画像認識し、抽出対象物Ｔｅに重畳して表示される抽出対象物Ｔｅそのものを強調する表示態様で抽出対象物情報を示した第１表示画像Ｐ１を生成する。「抽出対象物そのものを強調する表示態様」とは、例えば、抽出対象物Ｔｅを四角又は丸等で囲うような表示態様であってもよく、抽出対象物Ｔｅを矢印で直接指し示す表示態様であってもよい（図４参照）。

【0048】

また、表示画像生成部１８Ａは、対象物判定部１５Ａにより抽出対象物Ｔｅが視野画像に含まれないと判定された場合には、抽出対象物Ｔｅが対象範囲内に存在すると存否判定部１６Ａにより判定されたか否かに基づいて、抽出対象物情報の表示態様を決定する。より詳細には、表示画像生成部１８Ａは、抽出対象物Ｔｅが対象範囲内に存在すると存否判定部１６Ａにより判定された場合に、基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係を表示する表示態様で抽出対象物情報を示した第２表示画像Ｐ２を生成する（図５参照）。「位置関係を表示する表示態様」とは、基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を示した画像の表示態様である。表示画像生成部１８Ａは、位置関係取得部１７Ａにより基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係情報を取得し、取得された基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係を表示する第２表示画像Ｐ２を生成する。例えば、抽出対象物ＴｅがユーザＸの視野Ｅｘの後方左に位置する場合、図５に示されるように、ユーザＸの視野Ｅｘの後方左を示す記号画像と距離を示す画像を生成して視野画像の左に表示する。

【0049】

また、表示画像生成部１８Ａは、抽出対象物Ｔｅが対象範囲内に存在しないと存否判定部１６Ａにより判定された場合に、抽出対象物Ｔｅが予め設定された対象範囲内に存在しない情報を示す第３表示画像Ｐ３を生成する（図６参照）。

【0050】

表示画像生成部１８Ａは、発言データ取得部１２により取得された発言主体を特定する情報を含む表示画像Ｐを生成する。例えば、表示画像生成部１８Ａは、発言データ取得部１２により取得された発言主体がユーザＹである場合には、「Mentioned by Y.」という第１表示画像Ｐ１～第３表示画像Ｐ３を生成してもよい（図４～図６参照）。

【0051】

表示画像生成部１８Ａは、対象物判定部１５Ａによる抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果に基づいて、抽出対象物ＴｅがユーザＸにより視認可能であるか否かを示す情報を含む表示画像Ｐを生成する（図４～図６参照）。より詳細には、表示画像生成部１８Ａは、抽出対象物Ｔｅが視野画像に含まれると対象物判定部１５Ａにより判定された場合に、抽出対象物ＴｅがユーザＸにより視認可能であることを示す情報を含む第１表示画像Ｐ１を生成し、抽出対象物Ｔｅが視野画像に含まれないと対象物判定部１５Ａにより判定された場合に、抽出対象物ＴｅがユーザＸにより視認可能でないことを示す情報を含む第２表示画像Ｐ２，第３表示画像Ｐ３を生成する。例えば、表示画像生成部１８Ａは、抽出対象物Ｔｅが視野画像に含まれると対象物判定部１５Ａにより判定された場合には、「Bicycle is visible now.」という第１表示画像Ｐ１を生成してもよい（図４参照）。一方、表示画像生成部１８Ａは、抽出対象物Ｔｅが視野画像に含まれないと対象物判定部１５Ａにより判定された場合には、「Bicycle is invisible now.」という第２表示画像Ｐ２，第３表示画像Ｐ３を生成してもよい（図５と図６参照）。

【0052】

続いて、表示画像生成装置１Ａにより実行される画像生成処理について説明する。図７は、表示画像生成処理を示すフローチャートである。図７のフローチャートは、例えば表示画像生成装置１Ａによる表示画像生成処理は、車両２Ａが起動されたときに開始される。

【0053】

図７に示されるように、ステップＳ１０１において、表示画像生成装置１Ａは、周辺画像取得部１１により、ユーザＸの周辺画像を取得する。周辺画像取得部１１は、車両２Ａの周辺撮像装置２２が撮像した周辺画像を取得する。その後、表示画像生成装置１Ａは、ステップＳ１０２に進む。

【0054】

ステップＳ１０２において、表示画像生成装置１Ａは、発言データ取得部１２により、ユーザ（発言主体）ＹによりユーザＸに対して発せられた発言の発言データを取得する。発言データ取得部１２は、発言主体用端末４の発言データ取得装置４１から取得されたユーザＹによりユーザＸに対して発せられた発言の発言データを取得する。なお、上述したとおり、発言データには、ユーザＹが何も発していないデータも含まれる。さらに、発言データ取得部１２は、同乗者Ｙを特定する情報を取得し、表示画像生成装置１Ａに送信する。その後、ステップＳ１０３に進む。

【0055】

ステップＳ１０３において、表示画像生成装置１Ａは、発言データ取得部１２により、発言データにユーザ（発言主体）Ｙの発言が含まれるか否かを判定する。ユーザＹの発言が含まれると判定された場合には、ステップＳ１０４に進む。ユーザＹの発言が含まれないと判定された場合には、エンドに進む。

【0056】

ステップＳ１０４において、表示画像生成装置１Ａは、対象物抽出部１３により、発言データのうち対象物Ｔと一致する抽出対象物Ｔｅを抽出できるか否かを判定する。抽出対象物Ｔｅを抽出できると判定された場合には、ステップＳ１０５に進む。抽出対象物Ｔｅを抽出できないと判定された場合には、エンドに進む。

【0057】

ステップＳ１０５において、表示画像生成装置１Ａは、視野画像取得部１４Ａにより、ユーザＸの視野画像を取得する。視野画像取得部１４Ａは、ユーザＸが装着しているユーザ用端末３Ａの視野画像取得装置３２からユーザＸの視野画像を取得する。その後、ステップＳ１０６に進む。

【0058】

ステップＳ１０６において、表示画像生成装置１Ａは、対象物判定部１５Ａにより、対象物抽出部１３から抽出された抽出対象物Ｔｅが視野画像取得部１４Ａから取得したユーザＸの視野画像に含まれるか否かを判定する。抽出対象物ＴｅがユーザＸの視野画像に含まれると判定された場合には、ステップＳ１０７に進む。抽出対象物ＴｅがユーザＸの視野画像に含まれないと判定された場合には、ステップＳ１０８に進む。

【0059】

抽出対象物ＴｅがユーザＸの視野画像に含まれると判定された場合には、ステップＳ１０７において、表示画像生成装置１Ａは、表示画像生成部１８Ａにより、抽出対象物Ｔｅそのものを強調する第１表示画像Ｐ１を生成する。表示画像生成部１８Ａは、視野画像取得部１４Ａから視野Ｅｘの視野画像を取得し、視野画像から抽出対象物Ｔｅを画像認識し、視野画像に重畳して表示される抽出対象物Ｔｅそのものを強調する第１表示態様で抽出対象物情報を示した第１表示画像Ｐ１を生成する（図４参照）。なお、表示画像生成部１８Ａは、視野画像から抽出対象物ＴｅがユーザＸにより視認可能であることを示す情報（図４の「Bicycle is visible now.」）及び発言データ取得部１２により取得された発言主体を特定する情報（図４の「Mentioned by Y.」）をさらに含む第１表示画像Ｐ１を生成してもよい。表示画像生成部１８Ａは、生成した第１表示画像Ｐ１をユーザ用端末３Ａの表示画像表示装置３１Ａに送信する。

【0060】

抽出対象物ＴｅがユーザＸの視野画像に含まれないと判定された場合には、ステップＳ１０８において、表示画像生成装置１Ａは、存否判定部１６Ａにより、周辺画像取得部１１により取得された現在または過去の周辺画像に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かを判定する。存否判定部１６Ａは、抽出対象物Ｔｅが対象範囲内に存在しないと判定した場合には、スッテプＳ１１１に進む。存否判定部１６Ａは、抽出対象物Ｔｅが対象範囲内に存在すると判定した場合には、スッテプＳ１０９に進む。

【0061】

抽出対象物Ｔｅが存在する位置が対象範囲内であると判定された場合には、ステップＳ１０９において、表示画像生成装置１Ａは、位置関係取得部１７Ａにより、抽出対象物ＴｅとユーザＸとの位置関係を取得する。位置関係取得部１７Ａは、周辺画像取得部１１から取得された現在または過去のユーザＸの周辺画像に基づいて、抽出対象物ＴｅからユーザＸ又は車両２Ａまでの距離とユーザＸの視野Ｅｘに対する方向を推定する。また、位置関係取得部１７Ａは、存否判定部１６Ａより抽出対象物ＴｅからユーザＸ又は車両２Ａまでの距離を取得してもよい。その後、ステップＳ１１０に進む。

【0062】

ステップＳ１１０において、表示画像生成装置１Ａは、表示画像生成部１８Ａにより、位置関係取得部１７Ａから取得された基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係を表示する第２表示画像Ｐ２を生成する。表示画像生成部１８Ａは、位置関係取得部１７Ａから取得されたユーザＸの視野Ｅｘに対する方向を示す記号画像（図５の矢印）と距離（図５の「２０ｍ」）を表示する第２表示態様で抽出対象物情報を示した第２表示画像Ｐ２を生成する。なお、表示画像生成部１８Ａは、視野画像から抽出対象物ＴｅがユーザＸにより視認不可能であることを示す情報（図５の「Bicycle is invisible now.」）及び発言データ取得部１２により取得された発言主体を特定する情報（図５の「Mentioned by Y.」）を含む第２表示画像Ｐ２を生成してもよい。表示画像生成部１８Ａは、生成した第２表示画像Ｐ２をユーザ用端末３Ａの表示画像表示装置３１Ａに送信する。

【0063】

抽出対象物Ｔｅが存在する位置が対象範囲内ではないと判定された場合には、ステップＳ１１１において、表示画像生成装置１Ａは、位置関係取得部１７Ａにより、抽出対象物ＴｅとユーザＸとの位置関係を取得する。具体的には、位置関係取得部１７Ａは、存否判定部１６Ａから抽出対象物Ｔｅが予め設定された対象範囲内に存在しない位置関係情報を取得する。その後、ステップＳ１１２に進む。

【0064】

ステップＳ１１２において、表示画像生成装置１Ａは、位置関係取得部１７Ａから取得された抽出対象物Ｔｅが予め設定された対象範囲内に存在しないという抽出対象物ＴｅとユーザＸとの位置関係を表示する第３表示画像Ｐ３を生成する。表示画像生成部１８Ａは、視野画像から抽出対象物ＴｅがユーザＸにより視認不可能であることを示す情報（図６の「Bicycle is invisible now.」）及び発言データ取得部１２により取得された発言主体を特定する情報（図６の「Mentioned by Y.」）を含む第３表示画像Ｐ３を生成する。なお、抽出対象物Ｔｅの位置の方向及び距離を含む位置関係（第２表示態様に係る位置関係）は表示されない。表示画像生成部１８Ａは、生成した第３表示画像Ｐ３をユーザ用端末３Ａの表示画像表示装置３１Ａに送信する。

【0065】

表示画像生成装置１Ａは、表示画像生成部１８Ａの上述した処理が終了すると、今回の処理を終了して、再びステップＳ１０１から表示画像生成処理を繰り返す。

【0066】

上記のとおり、本実施形態では、発言主体により発せられた発言に含まれる対象物Ｔを抽出対象物Ｔｅとして特定し、当該抽出対象物Ｔｅに関する表示画像Ｐを生成する表示画像生成装置１Ａを開示する。表示画像生成装置１Ａは、発言データ取得部１２と、対象物抽出部１３と、視野画像取得部１４Ａと、対象物判定部１５Ａと、表示画像生成部１８Ａと、を備える。発言データ取得部１２は、発言主体であるユーザＹによりユーザＸに対して発せられた発言の発言データを取得する。対象物抽出部１３は、予め複数の対象物データ（文字列）を記憶し、複数の対象物データと発言データ取得部１２により取得された発言データ（文字列）とを対比して、発言データのうち対象物データと一致するデータを抽出対象物Ｔｅとして抽出する。視野画像取得部１４Ａは、ユーザＸの視野画像を少なくとも含む画像を取得する。対象物判定部１５Ａは、対象物抽出部１３により抽出された抽出対象物Ｔｅが視野画像に含まれるか否かを判定する。表示画像生成部１８Ａは、抽出対象物Ｔｅの位置に関する情報である抽出対象物情報を取得し、視野画像とは異なる当該抽出対象物情報を含む表示画像Ｐを生成する。更に、表示画像生成部１８Ａは、対象物判定部１５Ａによる抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果に基づいて、抽出対象物Ｔｅに関する表示画像Ｐの表示態様を決定する。

【0067】

この結果、表示画像生成装置１Ａは、発言データ取得部１２と対象物抽出部１３によりユーザＸ以外の主体（ユーザＹ）により認識されている抽出対象物Ｔｅを特定することができる。表示画像生成装置１Ａは、視野画像取得部１４Ａと対象物判定部１５Ａにより、抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果を得ることができる。そして、表示画像生成部１８Ａは、対象物判定部１５Ａの判定結果に基づいて、抽出対象物Ｔｅに関する表示画像Ｐの表示態様を決定する。これにより、表示画像生成装置１Ａは、ユーザＸ以外の主体によって認識されている抽出対象物ＴｅがユーザＸの視野Ｅｘ内に含まれているか否かにかかわらず、当該抽出対象物Ｔｅの位置に関する情報を適切に生成することができる（図４～図６）。

【0068】

また、上記した実施形態においては、表示画像生成部１８Ａは、抽出対象物Ｔｅが視野画像に含まれると対象物判定部１５Ａにより判定された場合に、抽出対象物Ｔｅそのものを強調する表示態様で抽出対象物情報を示した第１表示画像Ｐ１を生成する。この結果、表示画像生成装置１Ａは、対象物判定部１５Ａにより抽出対象物ＴｅがユーザＸの視野画像に含まれると判定された場合には、ユーザＸが抽出対象物Ｔｅを特定することができる（図７のＳ１０７）。

【0069】

また、上記した実施形態においては、表示画像生成装置１Ａは、抽出対象物ＴｅとユーザＸとの相対的な位置関係を取得する位置関係取得部１７Ａを備える。表示画像生成部１８Ａは、抽出対象物Ｔｅが視野画像に含まれないと対象物判定部１５Ａにより判定された場合に、位置関係を表示する表示態様で抽出対象物情報を示した第２表示画像Ｐ２を生成する。この結果、表示画像生成装置１Ａは、対象物判定部１５Ａにより抽出対象物Ｔｅが視野画像に含まれないと判定された場合に、位置関係取得部１７Ａにより抽出対象物ＴｅとユーザＸとの相対的な位置関係を取得する。表示画像生成装置１Ａは、取得された位置関係を表示する表示態様で抽出対象物情報を示した第２表示画像Ｐ２を生成する。これにより、表示画像生成装置１Ａは、対象物ＴがユーザＸの視野Ｅｘ内に含まれていないときでも、抽出対象物Ｔｅの位置に関する情報を適切に生成することができる。

【0070】

また、上記した実施形態においては、表示画像生成部１８Ａは、対象物判定部１５Ａによる抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果に基づいて、抽出対象物ＴｅがユーザＸにより視認可能であるか否かを示す情報を含む表示画像Ｐ（第１表示画像Ｐ１～第３表示画像Ｐ３）を生成する。この結果、表示画像生成装置１Ａは、対象物判定部１５Ａの判定結果に基づいて、視野画像から抽出対象物ＴｅがユーザＸにより視認可能であるか否かを示す情報を含む表示画像Ｐを生成する。これにより、表示画像生成装置１Ａは、ユーザＸは抽出対象物Ｔｅが視認可能か否か情報を簡単に把握することができる。

【0071】

また、上記した実施形態においては、表示画像生成装置１Ａは、抽出対象物Ｔｅが視野画像に含まれないと対象物判定部１５Ａにより判定された場合に、抽出対象物Ｔｅが予め設定された対象範囲内に存在するか否かを判定する存否判定部１６Ａを備える。表示画像生成部１８Ａは、抽出対象物Ｔｅが対象範囲内に存在するか否かの判定結果に基づいて、抽出対象物情報の表示態様を決定する。この結果、表示画像生成装置１Ａは、存否判定部１６Ａの判定結果に基づいて、抽出対象物情報の表示態様を決定することにより、抽出対象物ＴｅがユーザＸにより視認可能であるか否かを示す情報を含む表示画像Ｐ（第２表示画像Ｐ２，第３表示画像Ｐ３）を生成する。これより、表示画像生成装置１Ａは、抽出対象物Ｔｅが対象範囲に存在するか否かにかかわらず、当該抽出対象物Ｔｅの位置に関する情報を適切に生成することができる。

【0072】

また、上記した実施形態においては、表示画像生成装置１Ａは、周辺画像を取得して、取得した周辺画像を記憶する周辺画像取得部１１を備える。存否判定部１６Ａは、周辺画像取得部１１により取得された現在または過去の周辺画像に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かを判定する。この結果、存否判定部１６Ａは、取得された現在または過去の周辺画像に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かをより詳細に判定することができる。

【0073】

また、上記した実施形態においては、表示画像生成装置１Ａは、抽出対象物ＴｅとユーザＸとの相対的な位置関係を取得する位置関係取得部１７Ａを備える。表示画像生成部１８Ａは、抽出対象物Ｔｅが対象範囲内に存在すると存否判定部１６Ａにより判定された場合に、基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係を表示する表示態様で抽出対象物情報を示した表示画像Ｐ（第２表示画像Ｐ２，第３表示画像Ｐ３）を生成する。この結果、表示画像生成装置１Ａは、存否判定部１６Ａにより抽出対象物Ｔｅが対象範囲内に存在すると判定された場合に、位置関係取得部１７Ａにより基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を取得する。次に、表示画像生成装置１Ａは、基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係情報を生成することができる。これにより、表示画像生成装置１Ａは、存否判定部１６Ａにより抽出対象物Ｔｅが対象範囲内に存在すると判定された場合には、ユーザＸは抽出対象物Ｔｅの位置関係を把握することができる。

【0074】

また、上記した実施形態においては、発言主体は人（ユーザＹ）であり、発言データは、発言の発言信号データである。この結果、表示画像生成装置１Ａは、人である発信主体から発言の発言信号データを取得することができる。これにより、表示画像生成装置１Ａは、発言主体が人であっても、ユーザＸ以外の主体によって認識されている抽出対象物ＴｅがユーザＸの視野内に含まれているか否かにかかわらず、当該抽出対象物Ｔｅの位置に関する情報を適切に生成することができる。

【0075】

また、上記した実施形態においては、対象物判定部１５Ａは、抽出対象物ＴｅがユーザＸの視野画像に含まれるか否かの判定結果の情報を発言主体のユーザＹに出力する。この結果、表示画像生成装置は、対象物判定部１５により抽出対象物ＴｅがユーザＸの視野画像に含まれるか否かの判定結果を発言主体のユーザＹに出力することにより、発言主体は、ユーザＸが対象物を視認できるか否かの情報を取得することができ、ユーザＸが対象物を視認できるか否かに応じて話題の進み方を決めることができる。

【0076】

また、上記した実施形態においては、発言データ取得部１２は、ユーザＸに対して発言を発したユーザＹを特定する情報を取得する。表示画像生成部１８Ａは、発言データ取得部１２により取得されたユーザＹを特定する情報を含む表示画像Ｐ（第１表示画像Ｐ１～第３表示画像Ｐ３）を生成する。この結果、表示画像生成装置１Ａは、発言データ取得部１２によりユーザＹを特定する情報を取得し、表示画像生成部１８ＡによりユーザＹを特定する情報を含む表示画像Ｐを生成することができる。これにより、ユーザＸがユーザＹを把握することができる。

【0077】

また、上記した実施形態においては、表示画像生成装置１Ａは、発言主体により発せられた発言に含まれる抽出対象物Ｔｅを特定し、当該抽出対象物Ｔｅに関する表示画像Ｐを生成する表示画像生成方法を開示する。表示画像生成装置１Ａは、発言データ取得ステップと、対象物抽出ステップと、視野画像取得ステップと、対象物判定ステップと、表示画像生成ステップと、を実行する。発言データ取得ステップは、発言主体であるユーザＹによりユーザＸに対して発せられた発言の発言データを取得する（図７のＳ１０３）。対象物抽出ステップは、予め記憶された複数の対象物データ（文字列）と取得された発言データ（文字列）とを対比して、発言データのうち対象物データと一致するデータを抽出対象物Ｔｅとして抽出する（図７のＳ１０４）。視野画像取得ステップは、ユーザＸの視野画像を取得する（図７のＳ１０５）対象物判定ステップは、抽出された抽出対象物Ｔｅが視野画像に含まれるか否かを判定する（図７のＳ１０６）。表示画像生成ステップは、抽出対象物Ｔｅの位置に関する情報である抽出対象物情報を取得し、視野画像とは異なる当該抽出対象物情報を含む表示画像Ｐを生成する（図７のＳ１０７，Ｓ１１０，Ｓ１１２）。更に、表示画像生成ステップにおいては、対象物判定ステップにおける抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果に基づいて、抽出対象物Ｔｅに関する表示画像Ｐの表示態様を決定する（図７のＳ１０７，Ｓ１１０，Ｓ１１２）。

【0078】

この結果、表示画像生成装置１Ａは、発言データ取得ステップ対象物抽出ステップにより、ユーザＸ以外の主体（ユーザＹ）により認識されている抽出対象物Ｔｅを特定することができる。表示画像生成装置１Ａは、視野画像取得ステップと対象物判定ステップにより、抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果を得ることができる。そして、表示画像生成ステップにおいて、対象物判定ステップの判定結果に基づいて、抽出対象物Ｔｅに関する表示画像Ｐの表示態様を決定する。これにより、表示画像生成装置１Ａは、ユーザＸ以外の主体によって認識されている抽出対象物ＴｅがユーザＸの視野Ｅｘ内に含まれているか否かにかかわらず、当該抽出対象物Ｔｅの位置に関する情報を適切に生成することができる（図４～図６）。
［第２実施形態］

【0079】

図８は、第２実施形態に係る表示画像生成装置１Ｂを示すブロック図である。本実施形態では、ＰＯＩ（Point of Interest）情報を用いて表示画像生成処理を実行可能な表示画像生成装置１Ｂについて説明する。ここで、「ＰＯＩ」とは、ＰＯＩ情報記憶部１９に名称、位置情報（緯度経度）が登録されている地図上の店舗、施設、興味ある名所などの特定な場所を意味する。また、第１実施形態の一例とした、ユーザＹによりユーザＸに対して発せられた発言「向こうに自転車があるね。」を、第２実施形態では一例として「向こうにコンビニエンスストアがあるね。」とする。そして、対象物抽出部１３は、ユーザＹにより発せられた発言から「コンビニエンスストア」という抽出対象物Ｔｅを抽出するものとする。なお、第２実施形態において、第１実施形態と同様の説明は省略又は簡略化する。

【0080】

図８において、表示画像生成装置１Ｂは、第１実施形態に係る表示画像生成装置１Ａと比較して、周辺画像取得部１１を備えていない点、視野画像取得部１４Ａに代えて視野画像取得部１４Ｂを備えている点、対象物判定部１５Ａに代えて対象物判定部１５Ｂを備えている点、存否判定部１６Ａに代えて存否判定部１６Ｂを備えている点、位置関係取得部１７Ａに代えて位置関係取得部１７Ｂを備えている点、表示画像生成部１８Ａに代えて表示画像生成部１８Ｂを備えている点、及び、ＰＯＩ情報記憶部１９を更に備えている点で相違しており、その他の点で同一である。

【0081】

表示画像生成装置１Ｂ、車両２Ｂ、ユーザ用端末３Ｂ、及び発言主体用端末４は、相互に有線又は無線により通信（送受信）可能に接続されている。

【0082】

車両２Ｂは、第１実施形態に係る車両２Ａと比較して、周辺撮像装置２２を備えていない点で相違しており、その他の点で同一である。

【0083】

ユーザ用端末３Ｂは、第１実施形態に係るユーザ用端末３Ａと比較して、表示画像表示装置３１Ａに代えて表示画像表示装置３１Ｂを備えている点で相違しており、その他の点で同一である。

【0084】

発言主体用端末４は、第１実施形態に係る発言主体用端末４と同一である。

【0085】

ＰＯＩ情報記憶部１９は、地図情報に含まれる対象物Ｔの位置に関する情報を少なくとも含むＰＯＩ情報を記憶する。この「ＰＯＩ情報」は、少なくともＰＯＩであるランドマークの名称、ランドマークの用途分類、ランドマークの特徴情報、ランドマークの画像、ランドマークの位置情報を含まれている。なお、ランドマークとは、建物や公園や商業施設や小売業の店舗（コンビニエンスストア等）等である。ＰＯＩ情報記憶部１９は、ＰＯＩ情報を車両２Ｂの外部から通信により取得してもよく、ナビゲーション装置２１に記憶されたランドマーク情報を当該ナビゲーション装置２１から取得してもよい。ＰＯＩ情報記憶部１９は、取得した車両２Ｂの位置に応じて、車両２Ｂが位置する区域のＰＯＩ情報をリアルタイムに更新してもよい。また、ナビゲーション装置２１によって経路探索が行われた場合、ＰＯＩ情報記憶部１９は、ナビゲーション装置２１によりダウンロードされた経路上のＰＯＩ情報を取得してもよい。

【0086】

視野画像取得部１４Ｂは、第１実施形態に係る対象物判定部１５Ａと同一である。

【0087】

対象物判定部１５Ｂは、第１実施形態に係る対象物判定部１５Ａとは以下の点で異なるが、その他は同一である。対象物判定部１５Ｂは、ＰＯＩ情報記憶部１９からＰＯＩ情報を取得し、対象物抽出部１３により取得された抽出対象物ＴｅがＰＯＩである否かを判定する。そして、抽出対象物Ｔｅの画像が視野画像取得部１４Ｂにより取得された視野画像に含まれるか否かを判定する。なお、抽出対象物ＴｅがＰＯＩではない場合、又は、抽出対象物Ｔｅが視野画像に含まれない場合には、対象物判定部１５Ｂは、抽出対象物Ｔｅの画像が視野画像に含まれないと判定する。

【0088】

存否判定部１６Ｂは、第１実施形態に係る対象物判定部１５Ａとは以下の点（ＰＯＩ情報を用いる点）で異なるが、その他は同一である。存否判定部１６Ｂは、抽出対象物Ｔｅが視野画像に含まれないと対象物判定部１５Ｂにより判定された場合に、抽出対象物Ｔｅが予め設定された対象範囲内に存在するか否かを判定する。具体的には、存否判定部１６Ｂは、ＰＯＩ情報に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かを判定する。

【0089】

まず、存否判定部１６Ｂは、抽出対象物ＴｅがＰＯＩ情報記憶部１９により取得されたＰＯＩ情報に含まれるか否かを判定する。より詳細には、存否判定部１６Ｂは、ＰＯＩ情報記憶部１９により取得されたＰＯＩ情報を取得し、取得されたＰＯＩ情報に対象物抽出部１３により取得された抽出対象物Ｔｅが含まれているか否かを判定する。

【0090】

また、存否判定部１６Ｂは、取得されたＰＯＩ情報に抽出対象物Ｔｅが含まれていないと判定された場合には、抽出対象物Ｔｅが予め設定された対象範囲内に存在しないと判定する。

【0091】

次に、存否判定部１６Ｂは、取得されたＰＯＩ情報に抽出対象物Ｔｅ（ここでは例えばコンビニエンスストア）が含まれていると判定された場合に、取得されたＰＯＩ情報に基づいて、抽出対象物Ｔｅが存在する位置が対象範囲内であるか否かを判定する。存否判定部１６Ｂは、抽出対象物ＴｅがＰＯＩ情報に含まれる場合に、ナビゲーション装置２１から取得された車両２Ｂの位置情報とＰＯＩ情報記憶部１９に記憶されたＰＯＩ情報に含まれる抽出対象物Ｔｅの位置情報を用いて、車両２Ｂから抽出対象物Ｔｅまでの距離を算出する。また、存否判定部１６Ｂは、算出した距離に基づいて抽出対象物Ｔｅが予め設定された対象範囲内であるか否かを判定する。

【0092】

位置関係取得部１７Ｂは、抽出対象物ＴｅとユーザＸとの相対的な位置関係を取得する。位置関係取得部１７Ｂは、ＰＯＩ情報記憶部１９により抽出対象物Ｔｅの位置情報を取得し、ナビゲーション装置２１から車両２Ｂの位置を取得し、取得された抽出対象物Ｔｅの位置情報と車両２Ｂの位置情報に基づいて、車両２Ｂから抽出対象物Ｔｅまでの方向及び距離を算出してもよい。

【0093】

表示画像生成部１８Ｂは、抽出対象物情報を取得し、当該抽出対象物情報を含む表示画像Ｐを生成する。

【0094】

表示画像生成部１８Ｂは、対象物判定部１５Ｂの判定結果に基づいて、抽出対象物Ｔｅの表示画像Ｐの表示態様を決定する。なお、「抽出対象物情報」等の用語の意味は第１実施形態と同様である。また、図４～図６に表示されている「Bicycle」を、第２実施形態では「Convenience store」とする。対象物判定部１５Ｂにより、抽出対象物ＴｅがＰＯＩであり、かつ、抽出対象物Ｔｅが視野画像に含まれると判定された場合には、表示画像生成部１８Ｂは、第１表示画像Ｐ１を生成する。この場合、表示画像生成部１８Ｂは、視野画像取得部１４Ｂから視野Ｅｘの視野画像を取得し、視野画像から抽出対象物Ｔｅを画像認識し、抽出対象物Ｔｅに重畳して表示される抽出対象物Ｔｅそのものを強調する表示態様で抽出対象物情報を示した第１表示画像Ｐ１を生成する（図４参照）。なお、対象物判定部１５Ｂにより抽出対象物ＴｅがＰＯＩではないと判定された場合、又は、抽出対象物Ｔｅが視野画像に含まれないと判定された場合には、第２実施形態において第１表示画像Ｐ１は生成されない。

【0095】

また、表示画像生成部１８Ｂは、対象物判定部１５Ｂにより抽出対象物Ｔｅが視野画像に含まれないと判定された場合には、ＰＯＩ情報に抽出対象物Ｔｅが含まれている、かつ、抽出対象物Ｔｅが対象範囲内に存在すると存否判定部１６Ｂにより判定されたか否かに基づいて、抽出対象物情報の表示態様を決定する。より詳細には、表示画像生成部１８Ｂは、ＰＯＩ情報に抽出対象物Ｔｅが含まれており、かつ、抽出対象物Ｔｅが対象範囲内に存在すると存否判定部１６Ｂにより判定された場合に、取得された抽出対象物Ｔｅの位置情報と車両２Ｂの位置情報に基づいて、抽出対象物Ｔｅが基準位置に対する方向及び距離を含む位置関係を表示する表示態様で抽出対象物情報を示した第２表示画像Ｐ２を生成する。表示画像生成部１８Ｂは、位置関係取得部１７Ｂにより抽出対象物Ｔｅが基準位置に対する方向及び距離を含む位置関係情報を取得し、取得された抽出対象物Ｔｅが基準位置に対する方向及び距離を含む位置関係を表示する第２表示画像Ｐ２を生成する（図５参照）。

【0096】

また、表示画像生成部１８Ｂは、ＰＯＩ情報に抽出対象物Ｔｅが含まれていない、又は、抽出対象物Ｔｅが対象範囲内に存在しないと存否判定部１６Ｂにより判定された場合に、抽出対象物Ｔｅが予め設定された対象範囲内に存在しない情報を示す第３表示画像Ｐ３を生成する（図６参照）。

【0097】

また、表示画像生成部１８Ｂは、発言データ取得部１２により取得された発言主体を特定する情報を含む表示画像Ｐ（第１表示画像Ｐ１～第３表示画像Ｐ３）を生成してもよい（図４～図６参照）。

【0098】

また、表示画像生成部１８Ｂは、対象物判定部１５Ｂによる抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果に基づいて、抽出対象物ＴｅがユーザＸにより視認可能であるか否かを示す情報を含む表示画像Ｐ（第１表示画像Ｐ１～第３表示画像Ｐ３）を生成する（図４～図６参照）。

【0099】

続いて、表示画像生成装置１Ｂにより実行される画像生成処理について説明する。図９は、表示画像生成処理を示すフローチャートである。図９のフローチャートは、例えば表示画像生成装置１Ｂによる表示画像生成処理は、車両２Ｂが起動されたときに開始される。

【0100】

図９に示されるように、ステップＳ２０１において、ＰＯＩ情報記憶部１９は、外部又は車両２ＢからＰＯＩ情報を取得して記憶する。その後、表示画像生成装置１Ｂは、ステップＳ２０２に進む。

【0101】

ステップＳ２０２において、表示画像生成装置１Ｂは、発言データ取得部１２により、ユーザ（発言主体）ＹによりユーザＸに対して発せられた音声の発言データを取得する。発言データ取得部１２は、発言主体用端末４の発言データ取得装置４１から取得されたユーザＹによりユーザＸに対して発せられた音声の発言データを取得する。なお、上述したとおり、発言データには、ユーザＹが何も発していないデータも含まれる。さらに、発言データ取得部１２は、ユーザＹを特定する情報を取得し、表示画像生成装置１Ｂに送信する。その後、ステップＳ２０３に進む。

【0102】

ステップＳ２０３において、表示画像生成装置１Ｂは、発言データ取得部１２により、発言データにユーザ（発言主体）Ｙの発言が含まれるか否かを判定する。ユーザＹの発言が含まれると判定された場合には、ステップＳ２０４に進む。ユーザＹの発言が含まれないと判定された場合には、エンドに進む。

【0103】

ステップＳ２０４において、表示画像生成装置１Ｂは、対象物抽出部１３により、発言データのうち対象物Ｔと一致する抽出対象物Ｔｅを抽出できるか否かを判定する。抽出対象物Ｔｅを抽出できると判定された場合には、ステップＳ２０５に進む。抽出対象物Ｔｅを抽出できないと判定された場合には、エンドに進む。

【0104】

ステップＳ２０５において、表示画像生成装置１Ｂは、視野画像取得部１４Ｂにより、ユーザＸの視野画像を取得する。視野画像取得部１４Ｂは、ユーザＸが装着しているユーザ用端末３Ｂの視野画像取得装置３２からユーザＸの視野画像を取得する。その後、ステップＳ２０６に進む。

【0105】

ステップＳ２０６において、表示画像生成装置１Ｂは、対象物判定部１５Ｂにより、抽出対象物ＴｅがＰＯＩである否かを判定する。更に、表示画像生成装置１Ｂは、対象物判定部１５Ｂにより、対象物抽出部１３から抽出された抽出対象物Ｔｅが視野画像取得部１４Ｂから取得したユーザＸの視野画像に含まれるか否かを判定する。抽出対象物ＴｅがＰＯＩではないと判定された場合、又は、抽出対象物ＴｅがユーザＸの視野画像に含まれないと判定された場合には、ステップＳ２０８に進む。抽出対象物ＴｅがＰＯＩであると判定され、かつ、抽出対象物ＴｅがユーザＸの視野画像に含まれると判定された場合には、ステップＳ２０７に進む。ここで、例えば、抽出対象物Ｔｅがコンビニエンスストアであり、当該コンビニエンスストアがＰＯＩ情報としてＰＯＩ情報記憶部１９に記憶されていれば、抽出対象物ＴｅがＰＯＩであると判定される。また、例えば、抽出対象物Ｔｅが走行中の自転車であれば、ＰＯＩ情報としてＰＯＩ情報記憶部１９に記憶されていないので、抽出対象物ＴｅがＰＯＩではないと判定される。

【0106】

抽出対象物ＴｅがＰＯＩであると判定され、かつ、抽出対象物ＴｅがユーザＸの視野画像に含まれると判定された場合には、ステップＳ２０７において、表示画像生成装置１Ｂは、表示画像生成部１８Ｂにより、抽出対象物Ｔｅそのものを強調する第１表示画像Ｐ１を生成する。表示画像生成部１８Ｂは、視野画像取得部１４Ｂから視野Ｅｘの視野画像を取得し、視野画像から抽出対象物Ｔｅを画像認識し、視野画像に重畳して表示される抽出対象物Ｔｅそのものを強調する第１表示態様で抽出対象物情報を示した第１表示画像Ｐ１を生成する。なお、表示画像生成部１８Ｂは、視野画像から抽出対象物ＴｅがユーザＸにより視認可能であることを示す情報及び発言データ取得部１２により取得された発言主体を特定する情報をさらに含む第１表示画像Ｐ１を生成してもよい。表示画像生成部１８Ｂは、生成した第１表示画像Ｐ１をユーザ用端末３Ｂの表示画像表示装置３１Ｂに送信する。

【0107】

抽出対象物ＴｅがＰＯＩではないと判定された場合、又は、抽出対象物ＴｅがユーザＸの視野画像に含まれないと判定された場合には、ステップＳ２０８において、まず、表示画像生成装置１Ｂは、存否判定部１６Ｂにより、ＰＯＩ情報記憶部１９により記憶されたＰＯＩ情報に基づいて、ＰＯＩ情報に抽出対象物Ｔｅが含まれているか否かを判定する。更に、ＰＯＩ情報に抽出対象物Ｔｅが含まれていると判定した場合には、表示画像生成装置１Ｂは、存否判定部１６Ｂにより、ＰＯＩ情報記憶部１９により記憶されたＰＯＩ情報に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かを判定する。ＰＯＩ情報に抽出対象物Ｔｅが含まれていないと判定された場合、又は、抽出対象物Ｔｅが対象範囲内に存在しないと判定された場合には、ステップＳ２１１に進む。ＰＯＩ情報に抽出対象物Ｔｅが含まれていると判定され、かつ、抽出対象物Ｔｅが対象範囲内に存在すると判定された場合には、スッテプＳ２０９に進む。ここで、例えば、抽出対象物Ｔｅがコンビニエンスストアであり、当該コンビニエンスストアがＰＯＩ情報としてＰＯＩ情報記憶部１９に記憶されていれば、ＰＯＩ情報に抽出対象物Ｔｅが含まれていると判定される。また、例えば、抽出対象物Ｔｅが走行中の自転車であれば、ＰＯＩ情報としてＰＯＩ情報記憶部１９に記憶されていないので、ＰＯＩ情報に抽出対象物Ｔｅが含まれていないと判定される。

【0108】

ＰＯＩ情報に抽出対象物Ｔｅが含まれていると判定され、かつ、抽出対象物Ｔｅが存在する位置が対象範囲内であると判定された場合には、ステップＳ２０９において、表示画像生成装置１Ｂは、位置関係取得部１７Ｂにより、抽出対象物ＴｅとユーザＸとの位置関係を取得する。位置関係取得部１７Ｂは、取得された抽出対象物Ｔｅの位置情報と車両２Ｂの位置情報に基づいて、抽出対象物ＴｅからユーザＸ又は車両２Ｂまでの方向と距離を算出により推定する。その後、ステップＳ２１０に進む。

【0109】

ステップＳ２１０において、表示画像生成装置１Ｂは、表示画像生成部１８Ｂにより、位置関係取得部１７Ｂから取得された抽出対象物Ｔｅの位置情報と車両２Ｂの位置情報に基づいて、車両２Ｂから抽出対象物Ｔｅまでの方向及び距離を含む位置関係を表示する第２表示画像Ｐ２を生成する。表示画像生成部１８Ｂは、位置関係取得部１７Ｂから取得されたユーザＸの視野Ｅｘに対する方向を示す記号画像と距離を表示する第２表示態様で抽出対象物情報を示した第２表示画像Ｐ２を生成する。なお、表示画像生成部１８Ｂは、ユーザＸから抽出対象物Ｔｅが視認不可能であることを示す情報及び発言データ取得部１２により取得された発言主体を特定する情報を含む第２表示画像Ｐ２を生成してもよい。表示画像生成部１８Ｂは、生成した第２表示画像Ｐ２をユーザ用端末３Ｂの表示画像表示装置３１Ｂに送信する。

【0110】

ＰＯＩ情報に抽出対象物Ｔｅが含まれていないと判定した場合、又は、抽出対象物Ｔｅが存在する位置が対象範囲内ではないと判定された場合には、ステップＳ２１１において、表示画像生成装置１Ｂは、位置関係取得部１７Ｂにより、抽出対象物ＴｅとユーザＸとの位置関係を取得する。具体的には、位置関係取得部１７Ｂは、存否判定部１６Ｂから抽出対象物Ｔｅが予め設定された対象範囲内に存在しない位置関係情報を取得する。その後、ステップＳ２１２に進む。

【0111】

ステップＳ２１２において、表示画像生成装置１Ｂは、位置関係取得部１７Ｂから取得された抽出対象物Ｔｅが予め設定された対象範囲内に存在しないという抽出対象物ＴｅとユーザＸとの位置関係を表示する第３表示画像Ｐ３を生成する。表示画像生成部１８Ｂは、視野画像から抽出対象物ＴｅがユーザＸにより視認不可能であることを示す情報及び発言データ取得部１２により取得された発言主体を特定する情報を含む第３表示画像Ｐ３を生成する。なお、抽出対象物Ｔｅの位置の方向及び距離を含む位置関係（第２表示態様に係る位置関係）は表示されない。表示画像生成部１８Ｂは、生成した第３表示画像Ｐ３をユーザ用端末３Ｂの表示画像表示装置３１Ｂに送信する。

【0112】

表示画像生成装置１Ｂは、表示画像生成部１８Ｂの上述した処理が終了すると、今回の処理を終了して、再びステップＳ２０１から表示画像生成処理を繰り返す。

【0113】

上記のとおり、本実施形態では、抽出対象物Ｔｅの位置に関する情報を少なくとも含むＰＯＩ情報を記憶するＰＯＩ情報記憶部１９を備える。存否判定部１６Ｂは、ＰＯＩ情報記憶部１９により記憶されたＰＯＩ情報に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かを判定する。この結果、存否判定部１６Ｂは、ＰＯＩ情報記憶部１９に記憶されたＰＯＩ情報に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かを確実に判定することができる。
［第３実施形態］

【0114】

図１０は、第３実施形態に係る表示画像生成装置１Ｃを示すブロック図である。本実施形態では、車両２Ｃに設置された表示装置であるユーザ用端末３Ｃを用いて表示画像生成処理を実行可能な表示画像生成装置１Ｃについて説明する。なお、第２実施形態において、第１実施形態と同様の説明は省略又は簡略化する。

【0115】

図１０において、表示画像生成装置１Ｃは、第１実施形態に係る表示画像生成装置１Ａと比較して、視野画像取得部１４Ａに代えて視野画像取得部１４Ｃを備えている点、対象物判定部１５Ａに代えて対象物判定部１５Ｃを備えている点、存否判定部１６Ａに代えて存否判定部１６Ｃを備えている点、位置関係取得部１７Ａに代えて位置関係取得部１７Ｃを備えている点、表示画像生成部１８Ａに代えて表示画像生成部１８Ｃを備えている点、及び、視線認識部２０を備えている点で相違しており、その他の点で同一である。

【0116】

表示画像生成装置１Ｃ、車両２Ｃ、ユーザ用端末３Ｃ、及び発言主体用端末４は、相互に有線又は無線により通信（送受信）可能に接続されている。

【0117】

車両２Ｃは、第１実施形態に係る車両２Ａと比較して、姿勢取得装置２３を備えている点で相違しており、その他の点で同一である。

【0118】

ユーザ用端末３Ｂは、第１実施形態に係るユーザ用端末３Ａと比較して、視野画像取得装置３２を備えていない点、表示画像表示装置３１Ａに代えて表示画像表示装置３１Ｃを備えている点で相違しており、その他の点で同一である。

【0119】

発言主体用端末４は、第１実施形態に係る発言主体用端末４と同一である。

【0120】

姿勢取得装置２３は、ユーザＸの顔画像を含む画像情報を取得する。姿勢取得装置２３は、車両２Ｃに設置された車内カメラからユーザＸの顔画像を含む画像を撮像する。

【0121】

視線認識部２０は、ユーザＸの視線を認識する。「視線」とは、ユーザＸの両目の中心を通り、ユーザＸの顔向きを示す視線方向である。視線認識部２０は、姿勢取得装置２３からユーザＸの顔画像を含む画像情報を取得し、ユーザＸの視線方向を認識する。

【0122】

視野画像取得部１４Ｃは、周辺画像取得部１１により取得されたリアルタイムの周辺画像と視線認識部２０により認識されたユーザＸの視線とに基づいて視野画像を取得する。より詳細には、視野画像取得部１４Ｃは、視線認識部２０からユーザＸの視線方向を取得し、ユーザＸの視野Ｅｘを推定する。視野画像取得部１４Ｃは、周辺画像取得部１１からリアルタイムの車両周辺の画像を取得し、車両周辺の画像から推定されたユーザＸの視野Ｅｘに対応する領域を切り出し、視野画像を取得する。ここで、「推定されたユーザＸの視野Ｅｘに対応する領域」とは、例えば、眼を動かさない状態で、垂直視野の上側６０度・下側７０度、水平視野で左右それぞれ１００度、の領域とする。

【0123】

対象物判定部１５Ｃは、抽出対象物Ｔｅが視野画像取得部１４Ｃにより取得されたユーザＸの視野Ｅｘの視野画像に抽出対象物Ｔｅが含まれるか否かを判定する。対象物判定部１５Ｃは、第１実施形態に係る対象物判定部１５Ａと同一の方法で判定すればよい。

【0124】

存否判定部１６Ｃは、抽出対象物Ｔｅが視野画像に含まれないと対象物判定部１５Ｃにより判定された場合に、抽出対象物Ｔｅが予め設定された対象範囲内に存在するか否かを判定する。存否判定部１６Ｃは、第１実施形態に係る存否判定部１６Ａと同一の方法で判定すればよい。

【0125】

位置関係取得部１７Ｃは、抽出対象物ＴｅとユーザＸとの相対的な位置関係を取得する。位置関係取得部１７Ｃは、第１実施形態に係る位置関係取得部１７Ａと同一の方法で、ユーザＸ又は車両２Ｃから抽出対象物Ｔｅまでの方向及び距離を推定すればよい。また、位置関係取得部１７Ｃは、第１実施形態に係る位置関係取得部１７Ａと同一の方法で、存否判定部１６Ｃから、抽出対象物Ｔｅが予め設定された対象範囲内に存在しない情報を取得してもよい。

【0126】

表示画像生成部１８Ｃは、抽出対象物情報を取得し、当該抽出対象物情報を含む表示画像Ｐを生成する。

【0127】

表示画像生成部１８Ｃは、対象物判定部１５Ｃの判定結果に基づいて、第１実施形態と同様に抽出対象物Ｔｅの表示画像Ｐの表示態様を決定する。なお、「抽出対象物情報」等の用語の意味は第１実施形態と同様である。対象物判定部１５Ｃにより抽出対象物Ｔｅが視野画像に含まれると判定された場合には、表示画像生成部１８Ｃは、視野画像取得部１４Ｃから視野Ｅｘの視野画像を取得し、視野画像から抽出対象物Ｔｅを画像認識し、抽出対象物Ｔｅに重畳して表示される抽出対象物Ｔｅそのものを強調する表示態様で抽出対象物情報を示した第１表示画像Ｐ１を生成する（図４参照）。

【0128】

また、表示画像生成部１８Ｃは、対象物判定部１５Ｃにより抽出対象物Ｔｅが視野画像に含まれないと判定された場合には、抽出対象物Ｔｅが対象範囲内に存在すると存否判定部１６Ｃにより判定されたか否かに基づいて、第１実施形態と同様に抽出対象物情報の表示態様を決定する。より詳細には、表示画像生成部１８Ｃは、抽出対象物Ｔｅが対象範囲内に存在すると存否判定部１６Ｃにより判定された場合に、基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係を表示する表示態様で抽出対象物情報を示した第２表示画像Ｐ２を生成する（図５参照）。表示画像生成部１８Ｃは、位置関係取得部１７Ｃにより基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係情報を取得し、取得された基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係を表示する第２表示画像Ｐ２を生成する。

【0129】

また、表示画像生成部１８Ｃは、抽出対象物Ｔｅが対象範囲内に存在しないと存否判定部１６Ｃにより判定された場合に、抽出対象物Ｔｅが予め設定された対象範囲内に存在しない情報を示す第３表示画像Ｐ３を生成する（図６参照）。

【0130】

また、表示画像生成部１８Ｃは、第１実施形態と同様に発言データ取得部１２により取得された発言主体を特定する情報を含む表示画像Ｐ（第１表示画像Ｐ１～第３表示画像Ｐ３）を生成する（図４～図６参照）。

【0131】

また、表示画像生成部１８Ｃは、対象物判定部１５Ｃによる抽出対象物Ｔｅが視野画像に含まれるか否かの判定結果に基づいて、抽出対象物ＴｅがユーザＸにより視認可能であるか否かを示す情報を含む表示画像Ｐ（第１表示画像Ｐ１～第３表示画像Ｐ３）を生成する（図４～図６参照）。

【0132】

続いて、表示画像生成装置１Ｃにより実行される画像生成処理について説明する。図１１は、表示画像生成処理を示すフローチャートである。図１１のフローチャートは、例えば表示画像生成装置１Ｃによる表示画像生成処理は、車両２Ｃが起動されたときに開始される。

【0133】

図１１に示されるように、ステップＳ３０１において、表示画像生成装置１Ｃは、周辺画像取得部１１により、ユーザＸの周辺画像を取得する。周辺画像取得部１１は、車両２Ｃの周辺撮像装置２２が撮像した周辺画像を取得する。その後、表示画像生成装置１Ｃは、ステップＳ３０２に進む。

【0134】

ステップＳ３０２において、表示画像生成装置１Ｃは、発言データ取得部１２により、ユーザ（発言主体）ＹによりユーザＸに対して発せられた音声の発言データを取得する。発言データ取得部１２は、発言主体用端末４の発言データ取得装置４１から取得されたユーザＹによりユーザＸに対して発せられた音声の発言データを取得する。なお、上述したとおり、発言データには、ユーザＹが何も発していないデータも含まれる。さらに、発言データ取得部１２は、ユーザＹを特定する情報を取得し、表示画像生成装置１Ｃに送信する。その後、ステップＳ３０３に進む。

【0135】

ステップＳ３０３において、表示画像生成装置１Ｃは、発言データ取得部１２により、発言データにユーザ（発言主体）Ｙの発言が含まれるか否かを判定する。ユーザＹの発言が含まれると判定された場合には、ステップＳ３０４に進む。ユーザＹの発言が含まれないと判定された場合には、エンドに進む。

【0136】

ステップＳ３０４において、表示画像生成装置１Ｃは、対象物抽出部１３により、発言データのうち対象物Ｔと一致する抽出対象物Ｔｅを抽出できるか否かを判定する。抽出対象物Ｔｅを抽出できると判定された場合には、ステップＳ３０５に進む。抽出対象物Ｔｅを抽出できないと判定された場合には、エンドに進む。

【0137】

ステップＳ３０５において、表示画像生成装置１Ｃは、視線認識部２０により、ユーザＸの視線を認識する。視線認識部２０は、姿勢取得装置２３からユーザＸの顔画像を含む画像情報を取得し、取得された画像情報に基づいてユーザＸの視線方向を認識する。その後、ステップＳ３０６に進む。

【0138】

ステップＳ３０６において、表示画像生成装置１Ｃは、視野画像取得部１４Ｃにより、ユーザＸの視野画像を取得する。視野画像取得部１４Ｃは、視線認識部２０からユーザＸの視線方向を取得し、ユーザＸの視野Ｅｘを推定する。視野画像取得部１４Ｃは、周辺画像取得部１１からリアルタイムの車両周辺の画像を取得し、車両周辺の画像から推定されたユーザＸの視野Ｅｘに対する領域を切り出し、視野画像を取得する。その後、ステップＳ３０７に進む。

【0139】

ステップＳ３０７において、表示画像生成装置１Ｃは、対象物判定部１５Ｃにより、対象物抽出部１３から抽出された抽出対象物Ｔｅが視野画像取得部１４Ｃから取得したユーザＸの視野画像に含まれるか否かを判定する。抽出対象物ＴｅがユーザＸの視野画像に含まれると判定された場合には、ステップＳ３０８に進む。抽出対象物ＴｅがユーザＸの視野画像に含まれないと判定された場合には、ステップＳ３０９に進む。

【0140】

抽出対象物ＴｅがユーザＸの視野画像に含まれると判定された場合には、ステップＳ３０８において、表示画像生成装置１Ｃは、表示画像生成部１８Ｃにより、抽出対象物Ｔｅそのものを強調する第１表示画像Ｐ１を生成する。表示画像生成部１８Ｃは、視野画像取得部１４Ｃから視野Ｅｘの視野画像を取得し、視野画像から抽出対象物Ｔｅを画像認識し、視野画像に重畳して表示される抽出対象物Ｔｅそのものを強調する第１表示態様で抽出対象物情報を示した第１表示画像Ｐ１を生成する。なお、表示画像生成部１８Ｃは、視野画像から抽出対象物ＴｅがユーザＸにより視認可能であることを示す情報及び発言データ取得部１２により取得された発言主体を特定する情報をさらに含む第１表示画像Ｐ１を生成してもよい。表示画像生成部１８Ｃは、生成した第１表示画像Ｐ１をユーザ用端末３Ｃの表示画像表示装置３１Ｃに送信する。

【0141】

抽出対象物ＴｅがユーザＸの視野画像に含まれないと判定された場合には、ステップＳ３０９において、表示画像生成装置１Ｃは、存否判定部１６Ｃにより、周辺画像取得部１１により取得された現在または過去の周辺画像に基づいて、抽出対象物Ｔｅが対象範囲内に存在するか否かを判定する。存否判定部１６Ｃは、抽出対象物Ｔｅが対象範囲内に存在しないと判定した場合には、スッテプＳ３１２に進む。存否判定部１６Ｃは、抽出対象物Ｔｅが対象範囲内に存在すると判定した場合には、スッテプＳ３１０に進む。

【0142】

抽出対象物Ｔｅが存在する位置が対象範囲内であると判定された場合には、ステップＳ３１０において、表示画像生成装置１Ｃは、位置関係取得部１７Ｃにより、抽出対象物ＴｅとユーザＸとの位置関係を取得する。位置関係取得部１７Ｃは、周辺画像取得部１１から取得された現在または過去のユーザＸの周辺画像に基づいて、抽出対象物ＴｅからユーザＸ又は車両２Ｃまでの距離とユーザＸの視野Ｅｘに対する方向を推定する。また、位置関係取得部１７Ｃは、存否判定部１６Ｃより抽出対象物ＴｅからユーザＸ又は車両２Ｃまでの距離を取得してもよい。その後、ステップＳ３１１に進む。

【0143】

ステップＳ３１１において、表示画像生成装置１Ｃは、表示画像生成部１８Ｃにより、位置関係取得部１７Ｃから取得された基準位置を基準として抽出対象物Ｔｅの位置の方向及び距離を含む位置関係を表示する第２表示画像Ｐ２を生成する。表示画像生成部１８Ｃは、位置関係取得部１７Ｃから取得されたユーザＸの視野Ｅｘに対する方向を示す記号画像と距離を表示する第２表示態様で抽出対象物情報を示した第２表示画像Ｐ２を生成する。なお、表示画像生成部１８Ｃは、ユーザＸから抽出対象物Ｔｅが視認不可能であることを示す情報及び発言データ取得部１２により取得された発言主体を特定する情報を含む第２表示画像Ｐ２を生成してもよい。表示画像生成部１８Ｃは、生成した第２表示画像Ｐ２をユーザ用端末３Ｃの表示画像表示装置３１Ｃに送信する。

【0144】

抽出対象物Ｔｅが存在する位置が対象範囲内ではないと判定された場合には、ステップＳ３１２において、表示画像生成装置１Ｃは、位置関係取得部１７Ｃにより、抽出対象物ＴｅとユーザＸとの位置関係を取得する。具体的には、位置関係取得部１７Ｃは、存否判定部１６Ｃから抽出対象物Ｔｅが予め設定された対象範囲内に存在しない位置関係情報を取得する。その後、ステップＳ３１３に進む。

【0145】

ステップＳ３１３において、表示画像生成装置１Ｃは、位置関係取得部１７Ｃから取得された抽出対象物Ｔｅが予め設定された対象範囲内に存在しないという抽出対象物ＴｅとユーザＸとの位置関係を表示する第３表示画像Ｐ３を生成する。表示画像生成部１８Ｃは、視野画像から抽出対象物ＴｅがユーザＸにより視認不可能であることを示す情報及び発言データ取得部１２により取得された発言主体を特定する情報を含む第３表示画像Ｐ３を生成する。なお、抽出対象物Ｔｅの位置の方向及び距離を含む位置関係（第２表示態様に係る位置関係）は表示されない。表示画像生成部１８Ｃは、生成した第３表示画像Ｐ３をユーザ用端末３Ｃの表示画像表示装置３１Ｃに送信する。

【0146】

表示画像生成装置１Ｃは、表示画像生成部１８Ｃの上述した処理が終了すると、今回の処理を終了して、再びステップＳ３０１から表示画像生成処理を繰り返す。

【0147】

上記のとおり、本実施形態では、表示画像生成装置１Ｃは、周辺画像を取得して記憶する周辺画像取得部１１と、ユーザＸの視線を認識する視線認識部２０と、を備える。視野画像取得部１４Ｃは、周辺画像取得部１１により取得された現在の周辺画像と視線認識部２０により認識されたユーザＸの現在の視線とに基づいて視野画像を取得する。この結果、表示画像生成装置１Ｃは、周辺画像取得部１１によりユーザＸの視野Ｅｘを含む領域の画像である周辺画像を取得し、視線認識部２０によりユーザＸの視線を認識し、取得された周辺画像が含まれたユーザＸの視線に応じる視野画像を取得することができる。これにより、ユーザ用端末３Ｃに視野画像取得装置３２が無くても、視線認識部２０によりユーザＸの視野画像を取得することができる。

【0148】

以上、本開示の表示画像生成装置及び表示画像生成方法を上述した各実施形態に基づき説明してきたが、具体的な構成については、これらの各実施形態に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

【0149】

各実施形態において、ユーザＸとユーザＹの両方とも、車両に乗車している例を示したが、これに限られない。例えば、ユーザＸ、及び、発言主体であるユーザＹの一方又は両方が、車両２Ａ～Ｃの車外（すなわち、車両２Ａ～Ｃから離間した場所）に存在（位置）してもよい。この場合、ユーザＸのユーザ用端末又はユーザＸのユーザ用端末が接続可能なサーバは、発言データ取得部と、対象物抽出部と、対象物判定部と、表示画像生成部と、の構成を少なくとも有する必要がある。なお、視野画像取得部は、例えば、ユーザ用端末が有する視野画像取得装置に含める。そして、周辺撮像装置により得られる周辺画像を、ユーザＸの視野Ｅｘに対応する視野画像としてもよいし、ユーザＸが周辺撮像装置を有しておりユーザ用端末に送信してもよい。更に、ユーザＸが車外にいる場合、姿勢取得装置２３はユーザ用端末３ＣまたはユーザＸの周辺に設置し、ユーザＸの顔画像またはセンサによりユーザＸの顔向き情報を取得する。そして、視線認識部２０は、姿勢取得装置２３により取得したユーザＸの顔画像または顔向き情報によりユーザＸの視線方向を認識する。視野画像取得部は、周辺撮像装置２２が撮像した周辺画像と視線認識部２０が認識したユーザＸの視線方向に基づいて、ユーザＸの視野画像を生成する。なお、ユーザＸが車外にいる場合、視線認識部２０は、ユーザＸのユーザ用端末又はユーザＸのユーザ用端末が接続可能なサーバが有するものとする。そして、ユーザＸが車外に存在する場合でも、ユーザ用端末は、発言主体により発せられた発言に含まれる抽出対象物Ｔｅに関する表示画像Ｐが生成される。そして、表示画像表示装置に表示画像Ｐが表示される。

【0150】

各実施形態において、対象物判定部は、抽出対象物ＴｅがユーザＸの視野画像に含まれるか否かの判定結果の情報を発言主体であるユーザＹの発言主体用端末４へ出力する例を示したが、これに限られない。例えば、ユーザＹへ出力する情報としては、ユーザＸの視野画像や表示画像Ｐや周辺画像などを出力しても良い。また、ユーザＹが特に車外に存在する場合には、ユーザＹの発言主体用端末４やＶＲ（Virtual Reality、画像表示装置）などに画像を表示する。このように、発言主体であるユーザＹに画像を表示することにより、ユーザＹはユーザＸの視認可能領域や視線方向の情報をえることができるので、ユーザＸとユーザＹとの話題の進み方をより決めやすくなる。

【0151】

また、周辺撮像装置２２により撮像された周辺画像は上記の各実施形態において説明したものに限定されず、例えばユーザＸの視野Ｅｘに対応する視野画像としてもよい。ここで、例えば、発言主体であるユーザＹが車両２Ａの車外に存在する場合には、発言主体用端末４には、周辺撮像装置２２により撮像された周辺画像の一部またはすべての画像が表示されてもよい。これにより、ユーザＸとユーザＹとの話題の進み方を決めることができる。

【0152】

また、ユーザ用端末３Ａ～３Ｃの表示画像表示装置３１Ａ～３１Ｃは、透過型ディスプレイとする例を示したが、車両２Ａ～２Ｃに設置されたヘッドアップディスプレイでもよい。例えば、ヘッドアップディスプレイは、車両２Ａ～２Ｃのフロントウィンドウの下部位置に設定され、灯光器でウィンドシールドに画像を表示する。この場合、画像は、表示画像生成部１８Ａ～１８Ｃが生成したユーザＸのＥｘの視野に対応する表示画像Ｐを表示する。

【0153】

また、発言主体は、人ではなく、ユーザＸに対して発言を発する発言装置でもよい。発言装置の場合、発言データは出力文データである。出力文データは、発言装置が出力文（文字列）を音声として出力する音声データであってもよいし、出力文（文字列）であってもよい。このため、表示画像生成装置１Ａ～１Ｃは、発言データ取得装置によりユーザＸに対して発言を発する発言装置から出力文データを取得することができる。また、この場合、「発言主体により発せられた発言」は、「発言装置により発せられた（出力された）音声」である。また、表示画像生成部１８Ａ～１８ＣがユーザＸに対する音声を発する発言装置を特定する情報を取得し、例えば「Mentioned by Speech output device.」という表示画像Ｐを生成してもよい。この結果、発言装置の発言に含まれる抽出対象物ＴｅをユーザＸに対する適切な表示態様で抽出対象物情報を表示させることができる。具体的には、発言装置は、ユーザＸと音声対話可能な、いわゆる対話型エージェント装置であってもよい。

【0154】

また、上記では、発言主体は、１人のユーザＹのみ又は１つの発言装置のみであったが、発言主体の対象としては複数であってもよい。例えば、発言主体の対象として、２人以上の同乗者（ユーザ）であってもよいし、１人の同乗者（ユーザ）と１つの発言装置であってもよい。この場合、発言データ取得部１２は、ユーザＸに対して発言を発した発言主体を特定する情報を取得する。次に、表示画像生成部１８Ａ～１８Ｃは、発言データ取得部１２により取得された発言主体を特定する情報を含む表示画像Ｐを生成する。この結果、表示画像生成装置１Ａ～１Ｃは、発言データ取得部１２により発言主体を特定する情報を取得し、表示画像生成部１８Ａ～１８Ｃにより発言主体を特定する情報を含む表示画像Ｐを生成することができる。これにより、発言主体の対象が複数であるとき、ユーザＸが発言主体を明確に把握することができる。

【0155】

上記では、発言データ取得部１２と発言データ取得装置４１を有する例を示したが、発言データ取得部１２が発言データ取得装置４１の機能を備えていれば、発言データ取得装置４１を備えていなくてもよい。また、視野画像取得部１４Ａ，１４Ｂと視野画像取得装置３２を有する例を示したが、視野画像取得部１４Ａ，１４Ｂが視野画像取得装置３２の機能を備えていれば、視野画像取得装置３２を備えなくても良い。更に、視線認識部２０と姿勢取得装置２３を有する例を示したが、視線認識部２０が姿勢取得装置２３の機能を備えていれば、姿勢取得装置２３を備えなくても良い。更にまた、周辺画像取得部１１と周辺撮像装置２２を有する例を示したが、周辺画像取得部１１が周辺撮像装置２２の機能を備えていれば、周辺撮像装置２２を備えていなくても良い。

【0156】

第２実施形態では、対象物判定部１５Ｂは、抽出対象物ＴｅがＰＯＩである否かを判定すると共に、抽出対象物Ｔｅの画像が視野画像取得部１４Ｂにより取得された視野画像に含まれるか否かを判定する例を示したが、これに限定されない。例えば、対象物判定部は、抽出対象物がＰＯＩである否かを判定せず、抽出対象物の画像が視野画像取得部により取得された視野画像に含まれるか否かのみを判定しても良い。このように判定する場合、抽出対象物がＰＯＩでなくても、視野画像に含まれていると判定されれば、第１表示画像が生成される。

【符号の説明】

【0157】

１Ａ，１Ｂ，１Ｃ 表示画像生成装置
１１ 周辺画像取得部
１２ 発言データ取得部
１３ 対象物抽出部
１４Ａ，１４Ｂ，１４Ｃ 視野画像取得部
１５Ａ，１５Ｂ，１５Ｃ 対象物判定部
１６Ａ，１６Ｂ，１６Ｃ 存否判定部
１７Ａ，１７Ｂ，１７Ｃ 位置関係取得部
１８Ａ，１８Ｂ，１８Ｃ 表示画像生成部
１９ ＰＯＩ情報記憶部
２０ 視線認識部
２Ａ，２Ｂ，２Ｃ 車両
２１ ナビゲーション装置
２２ 周辺撮像装置
２３ 姿勢取得装置
３Ａ，３Ｂ，３Ｃ ユーザ用端末
３１Ａ，３１Ｂ，３１Ｃ 表示画像表示装置
３２ 視野画像取得装置
４ 発言主体用端末
４１ 発言データ取得装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】