特開 2023-12733 コンテンツ生成装置、コンテンツ生成方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023012733

(43)【公開日】2023-01-26

(54)【発明の名称】コンテンツ生成装置、コンテンツ生成方法、プログラム及び記憶媒体

(51)【国際特許分類】

   G01C 21/26 20060101AFI20230119BHJP

   G08G 1/0968 20060101ALI20230119BHJP

【ＦＩ】

G01C21/26 C

G08G1/0968 B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021116380

(22)【出願日】2021-07-14

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(72)【発明者】

【氏名】飯澤 高志

(72)【発明者】

【氏名】倉持 敬太

(72)【発明者】

【氏名】山中 敦博

(72)【発明者】

【氏名】永田 英記

(72)【発明者】

【氏名】田中 一聡

【テーマコード（参考）】

2F129

5H181

【Ｆターム（参考）】

2F129AA03

2F129BB02

2F129BB20

2F129BB22

2F129EE02

2F129EE43

2F129EE78

2F129FF20

2F129FF62

2F129GG17

2F129GG18

2F129HH02

2F129HH12

5H181AA01

5H181BB04

5H181CC02

5H181CC03

5H181CC04

5H181CC11

5H181CC14

5H181FF05

5H181FF13

5H181FF22

5H181FF25

5H181FF32

(57)【要約】

【課題】車両の搭乗者に対して案内を行うためのコンテンツとして、搭乗者の視点を考慮したコンテンツを出力することが可能なコンテンツ出力装置等を提供する。
【解決手段】コンテンツ生成装置は、情報取得部と、コンテンツ生成部と、を備える。情報取得部は、車両から車両の周辺を撮影した画像と、車両の運転状況に係る情報である運転状況情報と、を取得する。コンテンツ生成部は、画像に特徴的な被写体が含まれている場合に、画像に基づき、運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部と、
前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部と、
を備えるコンテンツ生成装置。

【請求項2】

前記運転状況情報には、前記画像が撮影された際の前記車両の位置に係る情報である位置情報、前記画像が撮影された際の時刻に係る情報である時刻情報、及び、前記画像が撮影された際の撮影方向に係る情報である撮影方向情報のうちの少なくとも１つが含まれている請求項１に記載のコンテンツ生成装置。

【請求項3】

前記撮影方向情報には、前記車両に設けられた車外カメラの向きに対応する方向を示す情報、前記車両の方位を示す情報、及び、前記車外カメラの画角内の方向を示す情報のうちの少なくとも１つが含まれている請求項２に記載のコンテンツ生成装置。

【請求項4】

前記コンテンツ生成部は、前記運転状況情報に含まれる前記位置情報及び前記撮影方向情報に基づき、前記画像が他の画像の撮影状況と同様の撮影状況で撮影されたことを検知した場合に、前記案内用コンテンツを生成するための処理を行う代わりに、前記案内用コンテンツとして生成済のコンテンツを取得するための処理を行う請求項２または３に記載のコンテンツ生成装置。

【請求項5】

前記コンテンツ生成部は、前記案内用コンテンツとして生成した生成済のコンテンツと、前記生成済のコンテンツの生成時に用いた前記運転状況情報と、前記画像と、を関連付けた情報である生成済コンテンツ情報を記憶部に記憶させる請求項１乃至４のいずれか一項に記載のコンテンツ生成装置。

【請求項6】

車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得し、
前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成方法。

【請求項7】

コンピュータを備えるコンテンツ生成装置により実行されるプログラムであって、
車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部、及び、
前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部として前記コンピュータを機能させるプログラム。

【請求項8】

請求項７に記載のプログラムを記憶した記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、案内用コンテンツの出力において利用可能な技術に関する。

【背景技術】

【0002】

ユーザに対して案内を行うための案内用コンテンツとして、現在位置の周辺のランドマーク、及び、現在位置から目的地までの経路等のコンテンツを出力するための技術が従来知られている。

【0003】

具体的には、例えば、特許文献１には、車両の運転者に対して目的地までの誘導経路を案内するナビゲーション装置において、当該運転者の過誤により当該誘導経路からの逸脱が発生した交差点と同一のまたは類似する交差点がある場合に、当該交差点についての案内を強調する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４４２４９６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上記の案内用コンテンツとして、現在位置の周辺のランドマークに係るコンテンツを車両の運転時に出力する場合には、当該車両の搭乗者からの当該ランドマークの見え方を考慮することなく当該コンテンツが出力されてしまう、という問題点が生じ得る。

【0006】

しかし、特許文献１には、上記の案内用コンテンツの出力に係る問題点を解消可能な手法について特に開示等されていない。そのため、特許文献１に開示された構成によれば、前述の問題点に応じた課題が依然として存在している。

【0007】

本発明は、上記の課題を解決するためになされたものであり、車両の搭乗者に対して案内を行うためのコンテンツとして、当該搭乗者の視点を考慮したコンテンツを出力することが可能なコンテンツ生成装置を提供することを主な目的とする。

【課題を解決するための手段】

【0008】

請求項に記載の発明は、コンテンツ生成装置であって、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部と、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部と、を備える。

【0009】

また、請求項に記載の発明は、コンテンツ生成方法であって、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得し、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成する。

【0010】

また、請求項に記載の発明は、コンピュータを備えるコンテンツ生成装置により実行されるプログラムであって、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部、及び、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部として前記コンピュータを機能させる。

【図面の簡単な説明】

【0011】

【図1】実施例に係る音声出力システムの構成例を示す図。

【図2】音声出力装置の概略構成を示すブロック図。

【図3】サーバ装置の概略構成の一例を示す図。

【図4】サーバ装置において行われる処理を説明するためのフローチャート。

【図5】サーバ装置において行われる処理の変形例を説明するための図。

【発明を実施するための形態】

【0012】

本発明の１つの好適な実施形態では、コンテンツ生成装置は、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部と、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部と、を備える。

【0013】

上記のコンテンツ生成装置は、情報取得部と、コンテンツ生成部と、を備える。情報取得部は、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する。コンテンツ生成部は、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成する。これにより、車両の搭乗者に対して案内を行うためのコンテンツとして、当該搭乗者の視点を考慮したコンテンツを出力することができる。

【0014】

上記のコンテンツ生成装置の一態様では、前記運転状況情報には、前記画像が撮影された際の前記車両の位置に係る情報である位置情報、前記画像が撮影された際の時刻に係る情報である時刻情報、及び、前記画像が撮影された際の撮影方向に係る情報である撮影方向情報のうちの少なくとも１つが含まれている。

【0015】

上記のコンテンツ生成装置の一態様では、前記撮影方向情報には、前記車両に設けられた車外カメラの向きに対応する方向を示す情報、前記車両の方位を示す情報、及び、前記車外カメラの画角内の方向を示す情報のうちの少なくとも１つが含まれている。

【0016】

上記のコンテンツ生成装置の一態様では、前記コンテンツ生成部は、前記運転状況情報に含まれる前記位置情報及び前記撮影方向情報に基づき、前記画像が他の画像の撮影状況と同様の撮影状況で撮影されたことを検知した場合に、前記案内用コンテンツを生成するための処理を行う代わりに、前記案内用コンテンツとして生成済のコンテンツを取得するための処理を行う。

【0017】

上記のコンテンツ生成装置の一態様では、前記コンテンツ生成部は、前記案内用コンテンツとして生成した生成済のコンテンツと、前記生成済のコンテンツの生成時に用いた前記運転状況情報と、前記画像と、を関連付けた情報である生成済コンテンツ情報を記憶部に記憶させる。

【0018】

本発明の他の実施形態では、コンテンツ出力方法は、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得し、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成する。これにより、車両の搭乗者に対して案内を行うためのコンテンツとして、当該搭乗者の視点を考慮したコンテンツを出力することができる。

【0019】

本発明のさらに他の実施形態では、コンピュータを備えるコンテンツ生成装置により実行されるプログラムは、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部、及び、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部として前記コンピュータを機能させる。このプログラムをコンピュータで実行することにより、上記のコンテンツ生成装置を実現することができる。このプログラムは記憶媒体に記憶して使用することができる。

【実施例0020】

以下、図面を参照して本発明の好適な実施例について説明する。

【0021】

［システム構成］
（全体構成）
図１は、実施例に係る音声出力システムの構成例を示す図である。本実施例に係る音声出力システム１は、音声出力装置１００と、サーバ装置２００とを有する。音声出力装置１００は、車両Ｖｅに搭載される。サーバ装置２００は、複数の車両Ｖｅに搭載された複数の音声出力装置１００と通信する。

【0022】

音声出力装置１００は、基本的に車両Ｖｅの搭乗者であるユーザに対して、経路探索処理や経路案内処理などを行う。例えば、音声出力装置１００は、ユーザにより目的地等が入力されると、車両Ｖｅの位置情報や指定された目的地に関する情報などを含むアップロード信号Ｓ１をサーバ装置２００に送信する。サーバ装置２００は、地図データを参照して目的地までの経路を算出し、目的地までの経路を示す制御信号Ｓ２を音声出力装置１００へ送信する。音声出力装置１００は、受信した制御信号Ｓ２に基づいて、音声出力によりユーザに対する経路案内を行う。

【0023】

また、音声出力装置１００は、ユーザとの対話により各種の情報をユーザに提供する。例えば、音声出力装置１００は、ユーザが情報要求を行うと、その情報要求の内容又は種類を示す情報、及び、車両Ｖｅの走行状態に関する情報などを含むアップロード信号Ｓ１をサーバ装置２００に供給する。サーバ装置２００は、ユーザが要求する情報を取得、生成し、制御信号Ｓ２として音声出力装置１００へ送信する。音声出力装置１００は、受信した情報を、音声出力によりユーザに提供する。

【0024】

（音声出力装置）
音声出力装置１００は、車両Ｖｅと共に移動し、案内経路に沿って車両Ｖｅが走行するように、音声を主とした経路案内を行う。なお、「音声を主とした経路案内」は、案内経路に沿って車両Ｖｅを運転するために必要な情報をユーザが少なくとも音声のみから把握可能な経路案内を指し、音声出力装置１００が現在位置周辺の地図などを補助的に表示することを除外するものではない。本実施例では、音声出力装置１００は、少なくとも、案内が必要な経路上の地点（「案内地点」とも呼ぶ。）など、運転に係る様々な情報を音声により出力する。ここで、案内地点は、例えば車両Ｖｅの右左折を伴う交差点、その他、案内経路に沿って車両Ｖｅが走行するために重要な通過地点が該当する。音声出力装置１００は、例えば、車両Ｖｅから次の案内地点までの距離、当該案内地点での進行方向などの案内地点に関する音声案内を行う。以後では、案内経路に対する案内に関する音声を「経路音声案内」とも呼ぶ。

【0025】

音声出力装置１００は、例えば車両Ｖｅのフロントガラスの上部、又は、ダッシュボード上などに取り付けられる。なお、音声出力装置１００は、車両Ｖｅに組み込まれてもよい。

【0026】

図２は、音声出力装置１００の概略構成を示すブロック図である。音声出力装置１００は、主に、通信部１１１と、記憶部１１２と、入力部１１３と、制御部１１４と、センサ群１１５と、表示部１１６と、マイク１１７と、スピーカ１１８と、車外カメラ１１９と、車内カメラ１２０と、を有する。音声出力装置１００内の各要素は、バスライン１１０を介して相互に接続されている。

【0027】

通信部１１１は、制御部１１４の制御に基づき、サーバ装置２００とのデータ通信を行う。通信部１１１は、例えば、後述する地図ＤＢ（ＤａｔａＢａｓｅ）４を更新するための地図データをサーバ装置２００から受信してもよい。

【0028】

記憶部１１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、不揮発性メモリ（ハードディスクドライブ、フラッシュメモリなどを含む）などの各種のメモリにより構成される。記憶部１１２には、音声出力装置１００が所定の処理を実行するためのプログラムが記憶される。上述のプログラムは、経路案内を音声により行うためのアプリケーションプログラム、音楽を再生するためのアプリケーションプログラム、音楽以外のコンテンツ（テレビ等）を出力するためのアプリケーションプログラムなどを含んでもよい。また、記憶部１１２は、制御部１１４の作業メモリとしても使用される。なお、音声出力装置１００が実行するプログラムは、記憶部１１２以外の記憶媒体に記憶されてもよい。

【0029】

また、記憶部１１２は、地図データベース（以下、データベースを「ＤＢ」と記す。）４を記憶する。地図ＤＢ４には、経路案内に必要な種々のデータが記録されている。地図ＤＢ４は、例えば、道路網をノードとリンクの組合せにより表した道路データ、及び、目的地、立寄地、又はランドマークの候補となる施設を示す施設データなどを記憶している。地図ＤＢ４は、制御部１１４の制御に基づき、通信部１１１が地図管理サーバから受信する地図情報に基づき更新されてもよい。

【0030】

入力部１１３は、ユーザが操作するためのボタン、タッチパネル、リモートコントローラ等である。表示部１１６は、制御部１１４の制御に基づき表示を行うディスプレイ等である。マイク１１７は、車両Ｖｅの車内の音声、特に運転手の発話などを集音する。スピーカ１１８は、運転手などに対して、経路案内のための音声を出力する。

【0031】

センサ群１１５は、外界センサ１２１と、内界センサ１２２とを含む。外界センサ１２１は、例えば、ライダ、レーダ、超音波センサ、赤外線センサ、ソナーなどの車両Ｖｅの周辺環境を認識するための１又は複数のセンサである。内界センサ１２２は、車両Ｖｅの測位を行うセンサであり、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機、ジャイロセンサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、車速センサ、又はこれらの組合せである。なお、センサ群１１５は、制御部１１４がセンサ群１１５の出力から車両Ｖｅの位置を直接的に又は間接的に（即ち推定処理を行うことによって）導出可能なセンサを有していればよい。

【0032】

車外カメラ１１９は、車両Ｖｅの外部を撮影するカメラである。車外カメラ１１９は、車両の前方を撮影するフロントカメラのみでもよく、フロントカメラに加えて車両の後方を撮影するリアカメラを含んでもよく、車両Ｖｅの全周囲を撮影可能な全方位カメラであってもよい。一方、車内カメラ１２０は、車両Ｖｅの車内の様子を撮影するカメラであり、少なくとも運転席周辺を撮影可能な位置に設けられる。

【0033】

制御部１１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、音声出力装置１００の全体を制御する。例えば、制御部１１４は、センサ群１１５の１又は複数のセンサの出力に基づき、車両Ｖｅの位置（進行方向の向きも含む）を推定する。また、制御部１１４は、入力部１１３又はマイク１１７により目的地が指定された場合に、当該目的地までの経路である案内経路を示す経路情報を生成し、当該経路情報と推定した車両Ｖｅの位置情報と地図ＤＢ４とに基づき、経路案内を行う。この場合、制御部１１４は、経路音声案内をスピーカ１１８から出力させる。また、制御部１１４は、表示部１１６を制御することで、再生中の音楽の情報、映像コンテンツ、又は現在位置周辺の地図などの表示を行う。

【0034】

なお、制御部１１４が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、制御部１１４が実行する処理は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、制御部１１４が本実施例において実行するプログラムを実現してもよい。このように、制御部１１４は、プロセッサ以外のハードウェアにより実現されてもよい。

【0035】

図２に示す音声出力装置１００の構成は一例であり、図２に示す構成に対して種々の変更がなされてもよい。例えば、地図ＤＢ４を記憶部１２が記憶する代わりに、制御部１１４が通信部１１１を介して経路案内に必要な情報をサーバ装置２００から受信してもよい。他の例では、音声出力装置１００は、スピーカ１１８を備える代わりに、音声出力装置１００とは別体に構成された音声出力部と電気的に又は公知の通信手段によって接続することで、当該音声出力部から音声を出力させてもよい。この場合、音声出力部は、車両Ｖｅに備えられたスピーカであってもよい。さらに別の例では、音声出力装置１００は、表示部１１６を備えなくともよい。この場合、音声出力装置１００は、表示に関する制御を全く行わなくともよく、有線又は無線により、車両Ｖｅ等に備えられた表示部と電気的に接続することで、当該表示部に所定の表示を実行させてもよい。同様に、音声出力装置１００は、センサ群１１５を備える代わりに、車両Ｖｅに備え付けられたセンサが出力する情報を、車両ＶｅからＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信プロトコルに基づき取得してもよい。

【0036】

（サーバ装置）
サーバ装置２００は、音声出力装置１００から受信する目的地等を含むアップロード信号Ｓ１に基づき、車両Ｖｅが走行すべき案内経路を示す経路情報を生成する。そして、サーバ装置２００は、その後に音声出力装置１００が送信するアップロード信号Ｓ１が示すユーザの情報要求及び車両Ｖｅの走行状態に基づき、ユーザの情報要求に対する情報出力に関する制御信号Ｓ２を生成する。そして、サーバ装置２００は、生成した制御信号Ｓ２を、音声出力装置１００に送信する。

【0037】

さらに、サーバ装置２００は、車両Ｖｅのユーザに対する情報提供やユーザとの対話を行うためのコンテンツを生成し、音声出力装置１００に送信する。ユーザに対する情報提供は、主として車両Ｖｅが所定の運転状況になったこと、または、当該車両Ｖｅから当該車両Ｖｅの周辺を撮影した画像（当該車両Ｖｅの周辺の画像）に特徴的な被写体が含まれていることをトリガとしてサーバ装置２００側から開始するプッシュ型の情報提供である。また、ユーザとの対話は、基本的にユーザからの質問や問いかけから開始するプル型の対話である。但し、ユーザとの対話は、プッシュ型のコンテンツ提供から開始する場合もある。

【0038】

図３は、サーバ装置２００の概略構成の一例を示す図である。サーバ装置２００は、主に、通信部２１１と、記憶部２１２と、制御部２１４とを有する。サーバ装置２００内の各要素は、バスライン２１０を介して相互に接続されている。

【0039】

通信部２１１は、制御部２１４の制御に基づき、音声出力装置１００などの外部装置とのデータ通信を行う。記憶部２１２は、ＲＡＭ、ＲＯＭ、不揮発性メモリ（ハードディスクドライブ、フラッシュメモリなどを含む）などの各種のメモリにより構成される。記憶部２１２は、サーバ装置２００が所定の処理を実行するためのプログラムが記憶される。また、記憶部２１２は、地図ＤＢ４を含んでいる。

【0040】

制御部２１４は、ＣＰＵ、ＧＰＵなどを含み、サーバ装置２００の全体を制御する。また、制御部２１４は、記憶部２１２に記憶されたプログラムを実行することで、音声出力装置１００とともに動作し、ユーザに対する経路案内処理や情報提供処理などを実行する。例えば、制御部２１４は、音声出力装置１００から通信部２１１を介して受信するアップロード信号Ｓ１に基づき、案内経路を示す経路情報、又は、ユーザの情報要求に対する情報出力に関する制御信号Ｓ２を生成する。そして、制御部２１４は、生成した制御信号Ｓ２を、通信部２１１により音声出力装置１００に送信する

【0041】

［プッシュ型のコンテンツ提供］
次に、プッシュ型のコンテンツ提供について説明する。プッシュ型のコンテンツ提供とは、音声出力装置１００が、車両Ｖｅの周辺の画像と、車両Ｖｅの運転状況と、に基づき、ユーザに対してその運転状況に応じたコンテンツを音声出力することをいう。具体的に、音声出力装置１００は、車外カメラ１１９により撮影された車両Ｖｅの周辺の画像と、車両Ｖｅの運転状況を示す運転状況情報と、を取得し、サーバ装置２００へ送信する。サーバ装置２００は、車両Ｖｅに搭載された音声出力装置１００から受信した画像に特徴的な被写体が含まれる場合、当該画像に基づき、音声出力装置１００から受信した運転状況情報に応じた案内を行うためのスクリプトを生成して音声出力装置１００へ送信する。音声出力装置１００は、サーバ装置２００から受信した出力用コンテンツを音声出力する。こうして、車両Ｖｅの周辺の画像と、当該車両Ｖｅの運転状況と、に対応するコンテンツがユーザに対して音声出力される。

【0042】

車両Ｖｅの周辺の画像は、静止画像または動画像のいずれであってもよい。また、車両Ｖｅの周辺の画像は、当該車両Ｖｅの搭乗者からの指示に応じて撮影された画像であってもよく、または、当該車両Ｖｅの運転中に自動的に（当該搭乗者からの指示によらずに）撮影された画像であってもよい。

【0043】

運転状況情報には、車両Ｖｅの周辺の画像が撮影された際の当該車両Ｖｅの位置に係る情報である位置情報、当該画像が撮影された際の時刻に係る情報である時刻情報、及び、当該画像が撮影された際の撮影方向に係る情報である撮影方向情報のうちの少なくとも１つが含まれている。なお、運転状況情報には、例えば、車両Ｖｅの位置の周辺の交通情報（速度規制並びに渋滞情報等を含む）及び目的地等のような、音声出力装置１００の各部の機能に基づいて取得可能な少なくとも１つの情報がさらに含まれていてもよい。また、運転状況情報には、マイク１１７により得られた音声（ユーザの発話を除く）、及び、車内カメラ１２０により撮影された画像のうちのいずれかがさらに含まれていてもよい。また、運転状況情報には、通信部１１１を通じてサーバ装置２００から受信した情報がさらに含まれていてもよい。

【0044】

撮影方向情報には、例えば、車両Ｖｅの進行方向、当該車両Ｖｅの横方向、及び、当該車両Ｖｅの後ろ方向等のような、車外カメラ１１９の向きに対応する方向を示す情報を含めることができる。また、撮影方向情報には、車両Ｖｅの方位を示す情報を含めることができる。また、撮影方向情報には、車両Ｖｅの正面、当該車両Ｖｅの右前方、当該車両Ｖｅの左前方等のような、車外カメラ１１９の画角内の方向を示す情報を含めることができる。

【0045】

［案内用コンテンツの生成方法の具体例］
本実施例においては、例えば、東京タワー、富士山、及び、桜並木等のようなランドマークを、車両Ｖｅの周辺の画像に含まれる特徴的な被写体として設定することができる。サーバ装置２００の制御部２１４は、音声出力装置１００から送信された画像を分析し、その画像に含まれる特徴的な被写体を検出する。例えば、制御部２１４は、ＡＩ（Artificial Intelligence）を用いた物体認識を行い、画像に含まれる特徴的な物体を特徴的な被写体として抽出することができる。

【0046】

なお、制御部２１４は、画像の分析結果に加えて、運転状況情報を用いて特徴的な被写体を特定してもよい。例えば、制御部２１４は、画像の分析によりその画像にタワーが映っていることを検出し、かつ、運転状況情報に含まれる位置情報に基づき車両Ｖｅが東京タワーの近くにいると判定した場合、そのタワーを東京タワーと特定することができる。また、制御部２１４は、画像の分析によりその画像に山が映っていることを検出し、かつ、運転状況情報の撮影方向情報に基づきその画像が富士山の方向を撮影した画像であると判定した場合、その山を富士山と特定することができる。

【0047】

例えば、車両Ｖｅの周辺の画像に東京タワー並びにビル群が含まれており、かつ、当該車両Ｖｅから受信した運転状況情報に含まれる撮影方向情報が当該車両Ｖｅの正面を示している場合に、サーバ装置２００は、当該画像に基づき、当該撮影方向情報に応じた案内を行うためのスクリプトＳＣ１１として、「東京タワーがビルの間から正面に見えます。」を生成する。そして、サーバ装置２００は、スクリプトＳＣ１１を案内用コンテンツとして音声出力装置１００へ送信する。こうして、スクリプトＳＣ１１がユーザに対して音声出力される。

【0048】

なお、本実施例によれば、例えば、車両Ｖｅの周辺の画像に東京タワーが含まれておらず、当該画像にビル群が含まれており、かつ、当該車両Ｖｅから受信した運転状況情報に含まれる位置情報が東京タワーの近辺の位置を示している場合に、サーバ装置２００は、「この位置からでは東京タワーが見えないですね。」というスクリプトを生成することができる。

【0049】

例えば、車両Ｖｅの周辺の画像に富士山が含まれており、当該車両Ｖｅから受信した運転状況情報に含まれる位置情報が富士山を目視で視認可能なエリア内の位置を示しており、かつ、当該運転状況情報に含まれる撮影方向情報が当該車両Ｖｅの正面を示している場合に、サーバ装置２００は、当該画像に基づき、当該位置情報及び当該撮影方向情報に応じた案内を行うためのスクリプトＳＣ１２として、「富士山が正面に一望できます。」を生成する。そして、サーバ装置２００は、スクリプトＳＣ１２を案内用コンテンツとして音声出力装置１００へ送信する。こうして、スクリプトＳＣ１２がユーザに対して音声出力される。

【0050】

例えば、車両Ｖｅの周辺の画像に開花前の桜並木が含まれており、かつ、当該車両Ｖｅから受信した運転状況情報に含まれる時刻情報が４月以外の月を示している場合に、サーバ装置２００は、当該画像に基づき、当該時刻情報に応じた案内を行うためのスクリプトＳＣ１３として、「ここの道は４月になると桜が満開になりますよ。」を生成する。そして、サーバ装置２００は、スクリプトＳＣ１３を案内用コンテンツとして音声出力装置１００へ送信する。こうして、スクリプトＳＣ１３がユーザに対して音声出力される。

【0051】

（処理フロー）
図４は、サーバ装置において行われる処理を説明するためのフローチャートである。

【0052】

まず、制御部１１４は、車外カメラ１１９により撮影された車両Ｖｅの周辺の画像を取得し、サーバ装置２００へ送信する。サーバ装置２００は、音声出力装置１００から送信された画像を取得する（ステップＳ１１）。

【0053】

次に、制御部１１４は、ステップＳ１１において画像を取得した際の車両Ｖｅの運転状況に係る情報である運転状況情報を取得し、サーバ装置２００へ送信する。サーバ装置２００は、音声出力装置１００から送信された運転状況情報を取得する（ステップＳ１２）。

【0054】

制御部２１４は、ステップＳ１１において取得した画像を分析することにより、当該画像に特徴的な被写体が含まれているか否かを判定する（ステップＳ１３）。

【0055】

制御部２１４は、ステップＳ１１において取得した画像に特徴的な被写体が含まれていないと判定した場合（ステップＳ１３：ＮＯ）には、ステップＳ１４以降の処理を行わずに処理を終了する。

【0056】

制御部２１４は、ステップＳ１１において取得した画像に特徴的な被写体が含まれていると判定した場合（ステップＳ１３：ＹＥＳ）には、当該画像に基づき、ステップＳ１２において取得した運転状況情報に応じた案内を行うためのスクリプトを生成する（ステップＳ１４）。

【0057】

次に、制御部２１４は、ステップＳ１４において生成したスクリプトに係る情報である生成済コンテンツ情報を記憶部２１２に記憶させるための処理を行う（ステップＳ１５）。

【0058】

前述の生成済コンテンツ情報には、ステップＳ１４において生成されたスクリプトと、当該スクリプトの生成時に用いられた運転状況情報と、当該運転状況情報とともに取得された画像と、が含まれている。すなわち、ステップＳ１５の処理によれば、ステップＳ１４において生成されたスクリプトに相当する生成済の案内用コンテンツと、当該生成済の案内用コンテンツの生成時に用いられた運転状況情報と、当該運転状況情報とともに取得された画像と、を関連付けた情報が生成済コンテンツ情報として記憶部２１２に記憶される。

【0059】

次に、制御部２１４は、ステップＳ１４において生成したスクリプトを案内用コンテンツとして取得し、当該取得した案内用コンテンツを音声出力装置１００へ送信する（ステップＳ１６）。こうして、サーバ装置２００によるコンテンツの生成は終了する。音声出力装置１００は、サーバ装置２００から受信したコンテンツを、車両Ｖｅの搭乗者に対して音声出力する。

【0060】

本実施例によれば、サーバ装置２００がコンテンツ生成装置としての機能を有し、制御部２１４が情報取得部及びコンテンツ生成部としての機能を有する。

【0061】

なお、本実施例においては、図４の各処理のうちの少なくとも一部の処理が制御部１１４において行われるものであってもよい。

【0062】

すなわち、本実施例によれば、音声出力装置１００がコンテンツ生成装置としての機能を有していてもよく、さらに、制御部１１４が情報取得部及びコンテンツ生成部としての機能を有していてもよい。

【0063】

以上に述べたように、本実施例によれば、画像に特徴的な被写体が含まれている場合に、当該画像に基づき、当該画像を取得した際の車両の運転状況に係る情報である運転状況情報に応じた案内を行うための案内用コンテンツを生成することができる。そのため、本実施例によれば、車両の搭乗者に対して案内を行うためのコンテンツとして、当該搭乗者の視点を考慮したコンテンツを出力することができる。

【0064】

（変形例）
以下、上記の実施例に対する変形例を説明する。図５は、サーバ装置において行われる処理の変形例を説明するための図である。

【0065】

変形例によれば、ステップＳ１４に示したスクリプトの生成に係る処理の代わりに、例えば、記憶部２１２に記憶されている生成済コンテンツ情報に含まれる生成済のスクリプトの中から、車両Ｖｅの運転状況情報に応じたスクリプトを取得するための処理が行われるものであってもよい。このような処理の具体例について以下に述べる。

【0066】

制御部２１４は、記憶部２１２に記憶されている生成済コンテンツ情報を参照することにより、ステップＳ１２において得られた運転状況情報に対応する生成済のスクリプトがあるか否かを判定する（ステップＳ２１）。

【0067】

制御部２１４は、ステップＳ１２において得られた運転状況情報に対応する生成済のスクリプトがないと判定した場合（ステップＳ２１：ＮＯ）には、ステップＳ１３の処理を行う。また、制御部２１４は、ステップＳ１２において得られた運転状況情報に対応する生成済のスクリプトがあると判定した場合（ステップＳ２１：ＹＥＳ）には、当該生成済のスクリプトを取得した（ステップＳ２２）後、ステップＳ１６の処理を行う。

【0068】

具体的には、制御部２１４は、ステップＳ１２において得られた運転状況情報に含まれている位置情報及び撮影方向情報に基づき、ステップＳ１１において得られた画像が、生成済コンテンツ情報に含まれる他の画像の撮影状況と同様の撮影状況（例えば同じ撮影位置かつ同じ撮影方向）で撮影されたか否かを検知する。そして、制御部２１４は、ステップＳ１１において得られた画像が、生成済コンテンツ情報に含まれる他の画像の撮影状況と同様の撮影状況で撮影されていないことを検知した場合には、ステップＳ１２において得られた運転状況情報に対応する生成済のスクリプトがないと判定し、ステップＳ１３の処理を行う。また、制御部２１４は、ステップＳ１１において得られた画像が、生成済コンテンツ情報に含まれる他の画像の撮影状況と同様の撮影状況で撮影されたことを検知した場合には、ステップＳ１２において得られた運転状況情報に対応する生成済のスクリプトがあると判定し、当該生成済のスクリプトを取得した後、ステップＳ１６の処理を行う。

【0069】

以上に述べた変形例に係る処理によれば、車両Ｖｅの周辺の画像が他の画像と同様の状況で撮影されたことが検知された場合に、案内用コンテンツを生成するための処理の代わりに、当該案内用コンテンツとして生成済のコンテンツを取得するための処理が行われる。そのため、以上に述べた変形例に係る処理によれば、例えば、スクリプトの生成に係る処理により生じるサーバ装置２００の負荷を軽減することができる。

【0070】

なお、上述した各実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータである制御部等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。

【0071】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0072】

１００ 音声出力装置
２００ サーバ装置
１１１、２１１ 通信部
１１２、２１２ 記憶部
１１３ 入力部
１１４、２１４ 制御部
１１５ センサ群
１１６ 表示部
１１７ マイク
１１８ スピーカ
１１９ 車外カメラ
１２０ 車内カメラ

【図1】

【図2】

【図3】

【図4】

【図5】