IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パイオニア株式会社の特許一覧

特開2022-153972情報処理装置、情報処理方法、プログラム及び記録媒体
<>
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図1
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図2
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図3
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図4
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図5
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図6
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図7
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図8
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図9
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図10
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図11
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図12
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図13
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図14
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図15
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図16
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図17
  • 特開-情報処理装置、情報処理方法、プログラム及び記録媒体 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022153972
(43)【公開日】2022-10-13
(54)【発明の名称】情報処理装置、情報処理方法、プログラム及び記録媒体
(51)【国際特許分類】
   H04N 7/18 20060101AFI20221005BHJP
   G09G 5/00 20060101ALI20221005BHJP
   G09G 5/36 20060101ALI20221005BHJP
   G09G 5/14 20060101ALI20221005BHJP
   G09G 5/377 20060101ALI20221005BHJP
   G08G 1/09 20060101ALI20221005BHJP
   H04M 11/00 20060101ALI20221005BHJP
   H04N 21/234 20110101ALI20221005BHJP
【FI】
H04N7/18 J
G09G5/00 550C
G09G5/36 510B
G09G5/36 510C
G09G5/00 530T
G09G5/36 520F
G09G5/14 C
G09G5/36 520N
G09G5/00 510Q
G09G5/00 555D
G08G1/09 F
H04M11/00 302
H04N21/234
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021056768
(22)【出願日】2021-03-30
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】110001025
【氏名又は名称】弁理士法人レクスト国際特許事務所
(72)【発明者】
【氏名】新居 紀孝
【テーマコード(参考)】
5C054
5C164
5C182
5H181
5K201
【Fターム(参考)】
5C054CA04
5C054CC02
5C054DA07
5C054EA01
5C054EA03
5C054EA05
5C054EA07
5C054FC01
5C054FC12
5C054FD07
5C054FE12
5C054FE17
5C054FE18
5C054FE26
5C054FF03
5C054GB11
5C054HA30
5C164SA25S
5C164SB01P
5C164SC04S
5C164UB81S
5C182AB08
5C182AB15
5C182AB25
5C182AC03
5C182AC14
5C182AC35
5C182BA01
5C182BA06
5C182BA14
5C182BA47
5C182BA75
5C182BC01
5C182BC25
5C182BC26
5C182CB13
5C182CB14
5C182CB47
5C182CB56
5C182CC02
5C182CC04
5C182CC21
5C182DA33
5C182DA34
5H181AA01
5H181BB04
5H181BB05
5H181CC04
5H181CC12
5H181FF04
5H181FF22
5H181FF32
5K201CA06
5K201CC04
5K201EC06
(57)【要約】
【課題】車外端末の操作者が状況に応じて必要な情報を適切なタイミングで取得し、車外端末の操作者と車両の運転者との間において円滑に情報を共有することが可能な情報処理装置、情報処理方法、プログラム及び記録媒体を提供する。
【解決手段】
移動体とともに移動する移動体搭載装置の第1撮影部により撮影された映像を示す第1映像情報を取得する映像情報取得部と、移動体の位置を示す位置情報を取得する位置情報取得部と、移動体の外部に位置する端末装置の表示部に、第1映像情報に基づく移動体撮影画像及び位置情報に基づく移動体の位置が含まれる地図画像を、同時に又は排他的に表示させる表示制御部と、を備え、表示制御部は、予め設定された設定地点に移動体が接近した際に、移動体撮影画像の表示を地図画像の表示よりも優先した表示モードで表示部に表示させることを特徴とする。
【選択図】図3
【特許請求の範囲】
【請求項1】
移動体とともに移動する移動体搭載装置の第1撮影部により撮影された映像を示す第1映像情報を取得する映像情報取得部と、
前記移動体の位置を示す位置情報を取得する位置情報取得部と、
前記移動体の外部に位置する端末装置の表示部に、前記第1映像情報に基づく移動体撮影画像及び前記位置情報に基づく前記移動体の位置が含まれる地図画像を、同時に又は排他的に表示させる表示制御部と、
を備え、
前記表示制御部は、予め設定された設定地点に前記移動体が接近した際に、前記移動体撮影画像の表示を前記地図画像の表示よりも優先した表示モードで前記表示部に表示させる、
ことを特徴とする情報処理装置。
【請求項2】
前記表示制御部は、前記表示モードにおいて、前記移動体撮影画像が前記地図画像よりも大きい態様で表示させることを特徴とする、請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、前記表示モードにおいて、前記移動体撮影画像のみを表示させることを特徴とする、請求項1に記載の情報処理装置。
【請求項4】
前記表示制御部は、前記表示モードにおいて、前記移動体撮影画像を前記地図画像に重畳させる態様で表示させることを特徴とする、請求項1に記載の情報処理装置。
【請求項5】
前記第1撮影部は、前記移動体の外部の映像を撮影するものであって、
前記表示制御部は、前記表示モードにおいて、前記移動体撮影画像である前記移動体の外部の映像に対応する画像を前記地図画像よりも優先して表示させることを特徴とする、請求項1乃至4のいずれか1つに記載の情報処理装置。
【請求項6】
前記第1撮影部は、前記移動体の外部及び前記移動体の内部の映像を撮影するものであって、
前記表示制御部は、前記表示モードにおいて、前記移動体撮影画像である前記移動体の外部の映像に対応する画像及び前記移動体の内部の映像に対応する画像を、前記地図画像よりも優先して表示させることを特徴とする、請求項1乃至4のいずれか1つに記載の情報処理装置。
【請求項7】
前記設定地点は、景観が良い地点であることを特徴とする、請求項1乃至6のいずれか1つに記載の情報処理装置。
【請求項8】
前記移動体搭載装置が有する第1集音部により集音された音を示す第1音情報に基づく移動体音を、前記端末装置が有する音出力部より出力させる音出力制御部と、
前記端末装置が有する第2集音部により集音された音を示す第2音情報、及び前記端末装置が有する第2撮影部により撮影された映像を示す第2映像情報を、前記移動体搭載装置に送信する送信部と、
をさらに備えることを特徴とする、請求項1乃至7のいずれか1つに記載の情報処理装置。
【請求項9】
前記情報処理装置は、前記端末装置に組み込まれていることを特徴とする、請求項1乃至8のいずれか1つに記載の情報処理装置。
【請求項10】
前記情報処理装置は、サーバ装置であることを特徴とする、請求項1乃至8のいずれか1つに記載の情報処理装置。
【請求項11】
情報処理装置が実行する情報処理方法であって、
移動体とともに移動する移動体搭載装置の第1撮影部により撮影された映像を示す第1映像情報を取得する映像情報取得ステップと、
前記移動体の位置を示す位置情報を取得する位置情報取得ステップと、
前記移動体の外部に位置する端末装置の表示部に、前記第1映像情報に基づく移動体撮影画像及び前記位置情報に基づく前記移動体の位置が含まれる地図画像を、同時に又は排他的に表示させる表示制御ステップと、
を有し、
前記表示制御ステップは、予め設定された設定地点に前記移動体が接近した際に、前記移動体撮影画像の表示を前記地図画像の表示よりも優先した表示モードで前記表示部に表示させる、
ことを特徴とする情報処理方法。
【請求項12】
情報処理装置に含まれるコンピュータに実行されるプログラムであって、
移動体とともに移動する移動体搭載装置の第1撮影部により撮影された映像を示す第1映像情報を取得する映像情報取得ステップと、
前記移動体の位置を示す位置情報を取得する位置情報取得ステップと、
前記移動体の外部に位置する端末装置の表示部に、前記第1映像情報に基づく移動体撮影画像及び前記位置情報に基づく前記移動体の位置が含まれる地図画像を、同時に又は排他的に表示させる表示制御ステップと、
を前記コンピュータに実行させ、
前記表示制御ステップは、予め設定された設定地点に前記移動体が接近した際に、前記移動体撮影画像の表示を前記地図画像の表示よりも優先した表示モードで前記表示部に表示させる、
ことを特徴とするプログラム。
【請求項13】
請求項12に記載のプログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信システムがある。例えば、特許文献1には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016-213791号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のようなシステムにおいて、車外端末に車両の前方の映像に加えて地図の表示等の他の情報の表示を行う場合、車両前方の映像が表示されることが好ましいときに他の情報の表示によって当該映像が遮られないように、当該他の情報の表示が適切なタイミングで行われることが好ましい。
【0005】
本発明は、上記した点に鑑みてなされたものであり、車外端末の操作者が状況に応じて必要な情報を適切なタイミングで取得し、車外端末の操作者と車両の運転者との間において円滑に情報を共有することが可能な情報処理装置、情報処理方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明による情報処理装置は、移動体とともに移動する移動体搭載装置の第1撮影部により撮影された映像を示す第1映像情報を取得する映像情報取得部と、前記移動体の位置を示す位置情報を取得する位置情報取得部と、前記移動体の外部に位置する端末装置の表示部に、前記第1映像情報に基づく移動体撮影画像及び前記位置情報に基づく前記移動体の位置が含まれる地図画像を、同時に又は排他的に表示させる表示制御部と、を備え、前記表示制御部は、予め設定された設定地点に前記移動体が接近した際に、前記移動体撮影画像の表示を前記地図画像の表示よりも優先した表示モードで前記表示部に表示させることを特徴とする。
【0007】
本発明による情報処理方法は、情報処理装置が実行する情報処理方法であって、移動体とともに移動する移動体搭載装置の第1撮影部により撮影された映像を示す第1映像情報を取得する映像情報取得ステップと、前記移動体の位置を示す位置情報を取得する位置情報取得ステップと、前記移動体の外部に位置する端末装置の表示部に、前記第1映像情報に基づく移動体撮影画像及び前記位置情報に基づく前記移動体の位置が含まれる地図画像を、同時に又は排他的に表示させる表示制御ステップと、を有し、前記表示制御ステップは、予め設定された設定地点に前記移動体が接近した際に、前記移動体撮影画像の表示を前記地図画像の表示よりも優先した表示モードで前記表示部に表示させることを特徴とする。
【0008】
本発明によるプログラムは、情報処理装置に含まれるコンピュータに実行されるプログラムであって、移動体とともに移動する移動体搭載装置の第1撮影部により撮影された映像を示す第1映像情報を取得する映像情報取得ステップと、前記移動体の位置を示す位置情報を取得する位置情報取得ステップと、前記移動体の外部に位置する端末装置の表示部に、前記第1映像情報に基づく移動体撮影画像及び前記位置情報に基づく前記移動体の位置が含まれる地図画像を、同時に又は排他的に表示させる表示制御ステップと、を前記コンピュータに実行させ、前記表示制御ステップは、予め設定された設定地点に前記移動体が接近した際に、前記移動体撮影画像の表示を前記地図画像の表示よりも優先した表示モードで前記表示部に表示させることを特徴とする。
【0009】
本発明による記録媒体は、上記プログラムが格納されている記録媒体である。
【図面の簡単な説明】
【0010】
図1】実施例1に係る情報処理システムの全体構成図である。
図2】実施例1に係る車両の前席部分の構成を示す図である。
図3】実施例1に係る端末装置Tの構成及び端末装置Tにおける画像の表示態様を示す図である。
図4】実施例1に係る端末装置Tにおける画像の表示態様を示す図である。
図5】実施例1に係る車載装置のブロック図である。
図6】実施例1に係るサーバのブロック図である。
図7】実施例1に係る端末装置のブロック図である。
図8】実施例1に係る車載装置の情報送信ルーチンを示すフローチャートである。
図9】実施例1に係るサーバの情報送受信ルーチンを示すフローチャートである。
図10】実施例1に係るサーバの表示制御ルーチンを示すフローチャートである。
図11】実施例1に係る端末装置の表示変更ルーチンを示すフローチャートである。
図12】実施例2に係る端末装置Tにおける画像の表示態様を示す図である。
図13】実施例2に係るサーバの表示制御ルーチンを示すフローチャートである。
図14】実施例2に係る端末装置の表示変更ルーチンを示すフローチャートである。
図15】実施例3に係る端末装置Tにおける画像の表示態様を示す図である。
図16】実施例3に係るサーバの表示制御ルーチンを示すフローチャートである。
図17】実施例3に係る端末装置の表示変更ルーチンを示すフローチャートである。
図18】実施例1~3に係る情報処理システムの変形例の一部のブロック図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施例について図面を参照して具体的に説明する。なお、図面において同一の構成要素については同一の符号を付け、重複する構成要素の説明は省略する。
【実施例0012】
図1は、実施例1に係る情報処理システム100の全体構成図である。図1に示すように、情報処理システム100は、移動体としての車両Mに搭載されている車載装置10と端末装置TとサーバSとが、ネットワークNWを介して接続されて構成されている。
【0013】
本実施例において、車載装置10とサーバSとがネットワークNWを介して接続され、端末装置TとサーバSとがネットワークNWを介して接続されている。言い換えれば、車載装置10と端末装置Tとは、サーバSを介して情報の送受信が可能な構成となっている。
【0014】
ネットワークNWは、例えば、LTE(Long Term Evolution)、4G(4th Generation)又は5G(5th Generation:第5世代移動通信システム)等の基地局への接続を介して通信を行う移動体通信網を経由するネットワークである。
【0015】
図2は、実施例1に係る車載装置10が搭載されている車両Mの前席部分を示す図である。車載装置10は、車両M内に設置された車外撮影カメラ12、車内撮影カメラ13、GPS受信機14、マイク15、タッチパネルディスプレイ16及びスピーカー17の各々に接続されており、これらを制御する制御部を含む。車載装置10は、例えば、車両Mの前席のダッシュボードDB内の中央部に配置されている。
【0016】
第1撮影部としての車外撮影カメラ12は、車両Mの外部の状況を撮影する撮像装置である。本実施例において、車外撮影カメラ12は、フロントガラスFGを介して車両Mの前方の広い領域を撮影する広角カメラである。本実施例において、車外撮影カメラ12は、ダッシュボードDB上に配されている。
【0017】
第1撮影部としての車内撮影カメラ13は、車両Mの内部の状況を撮影する撮像装置である。本実施例において、車内撮影カメラ13は、車両Mの運転者を撮影するカメラである。本実施例において、車内撮影カメラ13は、フロントガラスFGの上端または当該上端付近の天井部に設けられている。
【0018】
なお、上記した車外撮影カメラ12及び車内撮影カメラ13は、第1撮影部として1台のカメラで車両Mの外部の映像及び車両Mの内部の映像が撮影可能な多方向カメラであってもよい。
【0019】
GPS受信機14は、GPS(Global Positioning System)衛星からの信号(GPS信号)を受信する受信機である。本実施例において、GPS受信機14は、ダッシュボードDB上に配されている。
【0020】
第1集音部としてのマイク15は、車内の音、例えば運転者が発した音声を受けて電気信号に変換する音声入力装置である。本実施例において、マイク15は、ダッシュボードDB上に配されている。
【0021】
第1表示部としてのタッチパネルディスプレイ16は、車載装置10の制御に基づいて画面表示を行うディスプレイと、車両Mの搭乗者(例えば運転者)からの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。本実施例において、タッチパネルディスプレイ16は、ダッシュボードDBの中央部に配されている。
【0022】
タッチパネルディスプレイ16には、例えば、地図に車両Mの現在の位置(以後、現在位置とも称する)及び移動予定経路(以後、移動経路とも称する)が重畳されたナビゲーション画像が表示される。
【0023】
第1音出力部としてのスピーカー17は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。本実施例において、スピーカー17は、2つのAピラーAPの各々にそれぞれ設けられている。
【0024】
本実施例において、車両Mの運転者は、車載装置10に接続されているマイク15及びスピーカー17を介して端末装置Tの操作者(以下、ユーザとも称する)と音声通話可能である。
【0025】
上記した車両Mの前席部分における車載装置10、車外撮影カメラ12、車内撮影カメラ13、GPS受信機14、マイク15、タッチパネルディスプレイ16及びスピーカー17の各々の位置は例示に過ぎず、これらは他の位置に配されていてもよい。
【0026】
例えば、車外撮影カメラ12は、車両Mの前方の状況を撮影可能であればどこに設けられていてもよく、フロントガラスFGの上端または当該上端付近の天井部に設けられていてもよい。
【0027】
本実施例において、車載装置10は、車外撮影カメラ12によって撮像されている車両Mの外部(前方)の映像を示す映像情報を、サーバSを介して端末装置Tに逐次送信している。また、車載装置10は、車両Mの現在位置の情報及び車両Mの移動経路の情報をサーバSに逐次送信している。
【0028】
図3は、端末装置Tの構成及び端末装置Tに表示される画像の表示態様を示す図である。端末装置Tは、フレームFと、当該フレームFに収められているマイク21、スピーカー22及びタッチパネルディスプレイ23とを含む通信機器である。本実施例において、端末装置Tは、通信を介して他者との通話が可能なスマートフォンである。
【0029】
第2集音部としてのマイク21は、端末装置Tのユーザが発した音声を受けて電気信号に変換する音声入力装置である。マイク21は、端末装置Tの一端部側に設けられている。
【0030】
音出力部又は第2音出力部としてのスピーカー22は、外部から送信された電気信号に基づいて音声を出力する音声出力装置である。スピーカー22は、端末装置Tの他端部側に設けられている。
【0031】
上記した車載装置10の第1集音部としてのマイク15によって集音された音を示す第1音情報は、端末装置Tの制御部によって音出力部としてのスピーカー22から音出力される。言い換えれば、端末装置Tの制御部は、スピーカー22を制御して移動体音としての車両Mにおいて集音された音を出力する音出力制御部である。
【0032】
第2集音部としてのマイク21によって集音された音を示す第2音情報は、上記した車載装置10の制御部によって第1音出力部としてのスピーカー17から音出力される。
【0033】
表示部又は第2表示部としてのタッチパネルディスプレイ23は、端末装置Tの制御に基づいて画面表示を行うディスプレイと、端末装置Tのユーザからの入力操作を受け付けるタッチパネルとが組み合わされている表示装置である。タッチパネルディスプレイ23は、端末装置Tの中央に設けられている。
【0034】
本実施例において、端末装置Tの操作者は、上記したマイク21及びスピーカー22を介して車載装置10が搭載されている車両Mの運転者と音声通話可能に構成されている。
【0035】
本実施例において、端末装置Tは、車両Mの車載装置10から逐次送信されている車両Mの外部の映像を示す映像情報を、サーバSを介して逐次受信している。具体的には、端末装置Tは、車外撮影カメラ12によって撮像されている車両Mの前方の映像を示す映像情報を、サーバSを介して逐次受信している。
【0036】
また、本実施例において、端末装置Tは、サーバSから逐次送信される地図画像を示す画像データを逐次受信している。具体的には、端末装置Tは、サーバSが車両Mの現在位置及び移動経路に基づいて生成した地図画像を示す画像データを逐次受信している。
【0037】
上記したように、本実施例において、情報処理システム100は、車載装置10を搭載した車両Mの運転者と端末装置Tの操作者とが互いに音声通話可能に構成されている。また、本実施例において、情報処理システム100は、車外撮影カメラ12によって撮影されている車両Mの外部の映像及び車両Mの現在位置と移動経路とを含む地図画像が、端末装置Tのタッチパネルディスプレイ23にリアルタイム表示可能に構成されている。
【0038】
言い換えれば、情報処理システム100は、車載装置10が端末装置Tに対してライブストリーミングを実施可能に構成されている。
【0039】
本実施例において、車載装置10と端末装置Tとの間の音声通信を確立しつつ、車載装置10から端末装置Tに、車両Mの外部の映像等の映像と車両Mの現在位置と移動経路とをリアルタイムで送信する通信形態を、ここではビデオ通信と称する。本実施例において、車載装置10と端末装置Tとは、サーバSを介してビデオ通信を行っている。
【0040】
端末装置Tが受信した上記映像及び地図画像は、タッチパネルディスプレイ23においていくつかの表示態様で表示される。図3において、タッチパネルディスプレイ23に示されている表示態様は、車載装置10と端末装置Tとの間でビデオ通信がなされている際に通常表示される表示モード(以下、通常モードと称する)である。
【0041】
通常モードは、例えば、車両Mの移動経路において、単純な一本道や右左折を行う予定の交差点等から離れた位置を車両Mが通行している際に表示される。
【0042】
通常モードにおいて、第1の表示領域A1には、上記した車両Mの外部(前方)の映像が表示され、第2の表示領域A2には、車両Mの現在位置PL及び車両Mの移動経路Rが記されている地図画像が表示されている。
【0043】
通常モードにおいて、第1の表示領域A1は、第2の表示領域A2よりも大きい態様で表示されている。言い換えれば、車両Mの外部の映像は、地図画像よりも大きい態様で表示されている。
【0044】
図4は、端末装置Tのタッチパネルディスプレイ23において、上記した通常モードとは異なる表示態様で車両Mの外部の映像及び地図画像を表示している端末装置Tを示す図である。
【0045】
図4において、タッチパネルディスプレイ23に示されている表示態様は、移動経路上において車両Mの運転者を案内すべき案内地点の周辺の所定距離内(例えば200m以内)に車両Mが到達した場合に、通常モードから変更されて表示される表示モード(以下、案内モードと称する)である。案内地点は、例えば、車両Mの移動経路において車線の合流地点や車両Mの右左折予定地点などの車両Mの運転者にとって案内が必要な地点である。
【0046】
案内モードにおいて、第1の表示領域A1には、車両Mの外部(前方)の映像が表示され、第2の表示領域A2には、地図画像が表示されている。案内モードにおいて、第2の表示領域A2は、第1の表示領域A1よりも大きい態様で表示されている。言い換えれば、地図画像は、車両Mの外部の映像よりも大きい態様で表示されている。
【0047】
案内モードにおいて、第2の表示領域A2に表示される地図画像は、通常モードにおいて第2の表示領域A2に表示される地図画像よりも大きい態様で表示されている。言い換えれば、案内モードにおいて第1の表示領域A1に表示される車両Mの外部の映像は、通常モードにおいて第1の表示領域A1に表示される車両Mの外部の映像よりも小さい態様で表示されている。
【0048】
案内モードにおいて、第2の表示領域A2に表示される地図画像には、上記した案内地点IPが記されている。図4に示すように、案内地点IPは、車両Mの移動経路Rにおいて複数設定されている。
【0049】
このように、端末装置Tのタッチパネルディスプレイ23には、車両Mが案内地点に近づいた場合とそうでない場合において、車両Mの外部の映像及び地図画像が異なる表示態様の表示モードで表示される。
【0050】
以下に、図5~7を用いて情報処理システム100を構成する車載装置10、サーバS及び端末装置Tの各々の構成について説明する。
【0051】
図5は、車載装置10の構成を示すブロック図である。制御部25は、CPU(Central Processing Unit)やRAM(Random Access Memory)を含む処理装置である。
【0052】
記憶部26は、制御部25の処理に必要なデータを記憶管理する記憶デバイスである。記憶部26は、例えば、ハードディスク、フラッシュメモリ、SSD(Solid State Drive)等の記憶デバイスである。記憶部26は、地図データを記憶している。また、記憶部26は、ビデオ通信の相手としての端末装置Tの連絡先、例えば電話番号等を記憶している。
【0053】
通信部27は、制御部25の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部27は、例えば、ネットワークNWに接続するためのNIC(Network Interface Card)である。通信部27は、例えば、車両Mの外部の映像、現在位置情報及び移動経路をサーバSに送信する送信部であり得る。
【0054】
ここで、制御部25の機能ブロックである経路生成部28について説明する。経路生成部28は、記憶部26に記憶されている地図データと、GPS受信機14を介して特定した車両Mの現在位置と、タッチパネルディスプレイ16を介して入力された目的地とに基づいて、当該現在位置から目的地までの移動経路を生成する部分である。
【0055】
制御部25は、経路生成部28によって生成された移動経路を、通信部27を介してサーバSに逐次送信する。
【0056】
図6は、サーバSの構成を示すブロック図である。制御部31は、CPUやRAMを含む処理装置である。
【0057】
通信部32は、制御部31の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部32は、例えば、ネットワークNWに接続するためのNICである。
【0058】
通信部32は、例えば、車両Mの外部の映像、車両Mの現在位置及び移動経路を車載装置10から受信する受信部であり得る。また、通信部32は、例えば、車両Mの外部の映像及び地図画像を端末装置Tに送信する送信部であり得る。
【0059】
記憶部33は、制御部31の処理に必要なデータを記憶管理する記憶デバイスである。記憶部33は、例えば、ハードディスク、フラッシュメモリ、SSD等の記憶デバイスである。記憶部33は、地図データを記憶している。
【0060】
ここで、制御部31の機能ブロックについて説明する。
【0061】
映像情報取得部34は、車載装置10から逐次送信される映像情報を通信部32を介して取得する部分である。具体的には、映像情報取得部34は、車両Mの車外撮影カメラ12によって撮像される第1映像情報としての車両Mの外部の映像を取得する。
【0062】
映像情報取得部34は、取得した車両Mの外部の映像を示す映像情報に基づく撮影画像を通信部32を介して端末装置Tに転送する。
【0063】
車両情報取得部35は、車載装置10から逐次送信される現在位置情報及び移動経路情報を取得する部分である。すなわち、車両情報取得部35は、車両Mの現在位置情報を取得する位置情報取得部であり得る。また、車両情報取得部35は、車両Mの移動経路情報を取得する移動経路情報部であり得る。
【0064】
地図画像生成部36は、車両情報取得部35が取得した現在位置情報及び移動経路情報と、記憶部33に記憶されている地図データとに基づいて、車両Mの現在位置及び移動経路が記された地図画像を生成する部分である。地図画像生成部36は、生成した地図画像を示す画像データを通信部32を介して端末装置Tに送信する。
【0065】
表示制御部37は、車両Mの移動経路上における案内地点と車両Mの現在位置との距離に基づいて、端末装置Tのタッチパネルディスプレイ23に表示させる映像及び地図画像の表示態様(表示モード)を制御する部分である。表示制御部37は、例えば、車両Mが移動経路上における案内地点の100m手前に到達した際に、端末装置Tに対して案内モードの表示態様を要求する信号を送信する。
【0066】
表示制御部37は、車両Mが案内地点を通過した際、例えば案内地点から50m以上離れた際に、端末装置Tに案内モードの表示態様を解除することを要求する信号を送信する。これにより、表示制御部37は、車両Mが案内地点に近づいた場合にのみ、端末装置Tにおける映像及び地図画像の表示態様を変更させることができる。
【0067】
図7は、端末装置Tの構成を示すブロック図である。制御部38は、CPUやRAMを含む処理装置である。
【0068】
通信部39は、制御部38の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部39は、例えば、ネットワークNWに接続するためのNICである。通信部39は、例えば、車両Mの外部の映像や車両Mの内部の映像及び地図画像をサーバSから受信する受信部であり得る。
【0069】
制御部38は、通信部39を介してサーバSから受信した車両Mの外部の映像及び地図画像をタッチパネルディスプレイ23に上記した通常モードの表示態様で表示させる。
【0070】
制御部38は、サーバSから案内モードの表示態様を要求する信号を受信した際に、車両Mの外部の映像及び地図画像を通常モードから案内モードの表示態様に変更して表示させる。具体的には、制御部38は、通常モードよりも地図画像を大きく表示させる表示態様に変更する。
【0071】
制御部38は、サーバSから案内モードの表示態様を解除することを要求する信号を受信した際に、車両Mの外部の映像及び地図画像を案内モードから通常モードの表示態様に切り替えて(戻して)表示させる。
【0072】
このように、端末装置Tは、サーバSからの信号に応じてタッチパネルディスプレイ23における映像及び地図画像の表示態様を変更させる。すなわち、映像及び地図画像の表示態様を切り替えるタイミングがサーバSによって管理されているため、端末装置Tは、自身で当該タイミングを判断することなく表示態様の切り替えを行うことができる。
【0073】
以下に、本実施例における車載装置10、サーバS及び端末装置Tの各々の具体的な動作の一例をフローチャートを用いて説明する。
【0074】
図8は、車載装置10の制御部25において実行される情報送信ルーチンRT1を示すフローチャートである。制御部25は、例えば、サーバSを介して車載装置10と端末装置Tとの間でビデオ通信のための接続(以後、ビデオ接続と称する)が確立されたことを開始トリガーとして情報送信ルーチンRT1を開始する。
【0075】
具体的には、例えば、車両Mの運転者によって車載装置10のタッチパネルディスプレイ16に電源が投入されると、当該タッチパネルディスプレイ16上にビデオ通話の受付画面が表示される。そして、当該画面においてビデオ接続の相手先として端末装置Tが選択されることで、車載装置10と端末装置Tの間においてビデオ接続が確立される。これにより、制御部25は、情報送信ルーチンRT1を開始する。
【0076】
制御部25は、ビデオ接続が確立されたことをしてビデオ通信が開始されたか否かを判定する(ステップS101)。制御部25は、ビデオ通信が開始されたと判定すると(ステップS101:YES)、サーバSに対して車両Mの外部の映像、現在位置及び移動経路の送信を開始する(ステップS102)。制御部25は、ビデオ通信が開始されていないと判定すると(ステップS101:NO)、情報送信ルーチンRT1を終了する。
【0077】
制御部25は、ステップS102の後に、ビデオ通信が終了したか否かを判定する(ステップS103)。制御部25は、ビデオ通信が終了したと判定すると(ステップS103:YES)、車両Mの外部の映像、現在位置及び移動経路の送信を終了する(ステップS104)。制御部25は、ビデオ通信が終了していないと判定すると(ステップS103:NO)、ステップS103を繰り返し実行する。
【0078】
車載装置10の制御部25は、上記した情報送信ルーチンRT1によって、車載装置10と端末装置Tとのビデオ通信が継続する限り、サーバSに車両Mの外部の映像、現在位置及び移動経路を送信し続ける。
【0079】
図9は、サーバSの制御部31において実行される情報送受信ルーチンRT2を示すフローチャートである。制御部31は、例えば、上記した車載装置10と同様に、サーバSを介して車載装置10と端末装置Tとのビデオ接続が自身を介して確立されたことを開始トリガーとして情報送受信ルーチンRT2を開始する。
【0080】
制御部31は、ビデオ接続が確立されたことをしてビデオ通信が開始されたか否かを判定する(ステップS201)。制御部31は、ビデオ通信が開始されたと判定すると(ステップS201:YES)、車載装置10からの車両Mの外部の映像、現在位置及び移動経路の受信を開始する(ステップS202)。
【0081】
具体的には、制御部31の映像情報取得部34は、車載装置10から送信される車両Mの外部の映像を受信して取得する。制御部31の車両情報取得部35は、車載装置10から送信される車両Mの現在位置及び移動経路を受信して取得する。
【0082】
制御部31は、ビデオ通信が開始されていないと判定すると(ステップS201:NO)、情報送受信ルーチンRT2を終了する。
【0083】
制御部31は、ステップS202の後に、端末装置Tへ車両Mの外部の映像の転送を開始する(ステップS203)。
【0084】
制御部31は、ステップS203の後に、地図画像の生成及び送信を開始する(ステップS204)。具体的には、制御部31の地図画像生成部36は、車載装置10から受信した車両Mの現在位置及び移動経路と地図データとに基づいて地図画像を生成し、端末装置Tへ当該地図画像の送信を開始する。
【0085】
制御部31は、ステップS204の後に、ビデオ通信が終了したか否かを判定する(ステップS205)。制御部31は、ビデオ通信が終了したと判定すると(ステップS205:YES)、地図画像の生成及び送信を終了する(ステップS206)。制御部31は、ビデオ通信が終了していないと判定すると(ステップS205:NO)、ステップS205を繰り返し実行する。
【0086】
制御部31は、ステップS206の後に、車両Mの外部の映像の転送を終了する(ステップS207)。制御部31は、ステップS207の後に、車両Mの外部の映像、現在位置及び移動経路の受信を終了する(ステップS208)。
【0087】
図10は、サーバSの制御部31において実行される表示制御ルーチンRT3を示すフローチャートである。制御部31は、例えば、ビデオ通信が開始されたことを開始トリガーとして表示制御ルーチンRT3を開始する。
【0088】
制御部31は、ビデオ通信中であるか否かを判定し(ステップS301)、ビデオ通信中であると判定すると(ステップS301:YES)、車両Mの現在位置と案内地点との距離に基づいて、車両Mが案内地点に近づいたか否かを判定する(ステップS302)。具体的には、制御部31の表示制御部37は、例えば、上記したように車両Mが移動経路上における案内地点の100m手前に到達したか否かを判定する。
【0089】
制御部31は、ビデオ通信中ではないと判定すると(ステップS301:NO)、表示制御ルーチンRT3を終了する。
【0090】
制御部31は、車両Mが案内地点に近づいたと判定すると(ステップS302:YES)、案内モード要求信号を端末装置Tに送信する(ステップS303)。具体的には、制御部31の表示制御部37は、通常モードよりも地図画像を大きく表示させる表示態様に変更することを要求する信号を端末装置Tに送信する。
【0091】
制御部31は、車両Mが案内地点に近づいていないと判定すると(ステップS302:NO)、ステップS301を実行する。
【0092】
制御部31は、ステップS303の後に、車両Mが案内地点を通過したか否かを判定する(ステップS304)。制御部31は、車両Mが案内地点を通過したと判定すると(ステップS304:YES)、案内モード解除信号を端末装置Tに送信する(ステップS305)。
【0093】
制御部31は、車両Mが案内地点を通過していないと判定すると(ステップS304:NO)、ステップS304を繰り返し実行する。
制御部31は、ステップS305の後に、ステップS301以降の判定を繰り返す。すなわち、制御部31は、ビデオ通信中であるか否かを判定し、ビデオ通信中であると判定すると案内地点に近づいたか否かを再び判定する。
【0094】
図11は、端末装置Tの制御部38において実行される表示変更ルーチンRT4を示すフローチャートである。制御部38は、例えば、サーバSを介して車載装置10との間でビデオ通信が開始されたことを開始トリガーとして表示変更ルーチンRT4を開始する。
【0095】
制御部38は、ビデオ通信中であるか否かを判定し(ステップS401)、ビデオ通信中であると判定すると(ステップS401:YES)、車両Mの外部の映像及び地図画像を通常モードで表示する(ステップS402)。制御部38は、ビデオ通信中ではないと判定すると(ステップS401:NO)、表示変更ルーチンRT4を終了する。
【0096】
制御部38は、ステップS402の後に、サーバSから案内モード要求信号を受信したか否かを判定する(ステップS403)。制御部38は、案内モード要求信号を受信したと判定すると(ステップS403:YES)、車両Mの外部の映像及び地図画像を通常モードから案内モードの表示態様に変更する(ステップS404)。すなわち、制御部38は、通常モードの表示態様から、当該通常モードよりも地図画像を大きく表示させる表示態様に変更する。
【0097】
制御部38は、案内モード要求信号を受信していないと判定すると(ステップS403:NO)、ステップS401を実行してビデオ通信中であるか否かを判定する。
【0098】
制御部38は、ステップS404の後に、サーバSから案内モード解除信号を受信したか否かを判定する(ステップS405)。制御部38は、案内モード解除信号を受信したと判定すると(ステップS405:YES)、ステップS401を実行してビデオ通信中であるか否かを判定する。制御部38は、ビデオ通信中であると判定すると、車両Mの外部の映像及び地図画像を再び通常モードで表示させる。
【0099】
制御部38は、案内モード解除信号を受信していないと判定すると(ステップS405:NO)、ステップS405を繰り返し実行する。
【0100】
端末装置Tの制御部38は、上記した表示変更ルーチンRT4によって、車載装置10と端末装置Tとのビデオ通信が継続する限り、車両Mの外部の映像及び地図画像を状況に応じた表示態様で表示し続ける。
【0101】
本実施例によれば、車載装置10と端末装置Tとのビデオ通信中において、端末装置Tのタッチパネルディスプレイ23に表示される車両Mの外部の映像及び地図画像は、車両Mが移動経路上の案内地点に近づいた際に、その表示態様が自動的に変更される。
【0102】
例えば、端末装置Tの操作者が案内地点において車両Mの運転者を案内したい場合、車両Mが当該案内地点に近づくことで、タッチパネルディスプレイ23の表示態様が自動的に上記した案内モードに変更される。これにより、端末装置Tの操作者は、タッチパネルディスプレイ23を操作することなく、例えば手動で車両Mの外部の映像から地図に切り替えることなく好ましい表示態様を得ることができる。
【0103】
従って、本実施例によれば、端末装置Tの操作者は、状況に応じて必要な情報を適切なタイミングで得ることができる。よって、端末装置Tの操作者は、車両Mの運転者に対して円滑に案内や指示を行うことができる。
【0104】
なお、本実施例において、通常モード及び案内モードにおける表示態様は例示に過ぎず、車両Mの外部の映像及び地図画像の表示比率は任意に設定できる。案内モードにおける地図画像が、通常モードにおける地図画像よりも大きく表示されるのであれば、例えば、案内モードにおいて、車両Mの外部の映像及び地図画像の表示比率は互いに同等(映像:地図画像=5:5)であってもよく、また、案内モードにおいて、車両Mの外部の映像は地図画像よりも大きく表示されてもよい。
【0105】
また、本実施例において、通常モード及び案内モードにおける車両Mの外部の映像及び地図画像の位置は任意に設定できる。例えば、案内モードにおいて、第1の表示領域A1に地図画像が表示されてもよく、第2の表示領域A2に車両Mの外部の映像が表示されてもよい。
【0106】
また、本実施例において、案内モードは、車両Mの外部の映像を表示せず、地図画像のみを表示する表示態様であってもよい。例えば、サーバSの制御部31は、案内モードにおいて、通常モードでは端末装置Tのタッチパネルディスプレイ23に表示させていた車両Mの外部の映像を非表示とし、通常モードにおける地図画像よりも大きい態様で地図画像を表示させるようにしてもよい。
【0107】
また、本実施例において、通常モードは、地図画像を表示せず、車両Mの外部の映像のみを表示する表示態様であってもよい。例えば、サーバSの制御部31は、案内モードにおいて、通常モードでは表示させていなかった地図画像を、車両Mの外部の映像と共に端末装置Tのタッチパネルディスプレイ23に表示させるようにしてもよく、また、車両Mの外部の映像を非表示としたうえで、通常モードでは表示されていなかった地図画像を表示させるようにしてもよい。
【0108】
また、本実施例において、通常モード及び案内モードにおける車両Mの外部の映像及び地図画像は、そのどちらか一方が他方に重畳する態様で表示されてもよい。例えば、サーバSの制御部31は、案内モードにおいては、車両Mの外部の映像(第1の表示領域A1)上に地図画像(第2の表示領域A2)が重畳された画像を、端末装置Tのタッチパネルディスプレイ23に表示させることで、案内モードにおける地図画像を、通常モードにおける地図画像よりも大きく表示させるようにしてもよい。本実施例において、車両Mが移動経路上の案内地点に近づいた際に、車両Mのタッチパネルディスプレイ16に右左折案内のための表示が現れるタイミングと、サーバSが案内モード要求信号を端末装置Tに送信するタイミングは異なっていてもよい。
【0109】
例えば、車両Mのタッチパネルディスプレイ16に案内表示が現れるタイミングよりもサーバSが案内モード要求信号を端末装置Tに送信するタイミングの方が早くてもよい。これにより、端末装置Tのタッチパネルディスプレイ23において通常モードから案内モードへの変更が早めになされることで、端末装置Tの操作者は、余裕をもって車両Mの運転者に案内地点を案内することができる。
【0110】
本実施例において、車載装置10の経路生成部28によって車両Mの移動経路が生成される場合について説明したが、移動経路は生成されていなくてもよい。移動経路が生成されない場合、案内地点として複雑な交差点や、進行方向の選択を誤りやすい分岐地点などが、予めサーバSの記憶部33に記憶されていてもよい。
【0111】
これにより、サーバSは、車載装置10から取得した車両Mの現在位置情報と、記憶部33に予め記憶されている案内地点の情報及び地図データとに基づいて、地図画像を生成してもよい。これにより、サーバSは、複雑な交差点や、進行方向の選択を誤りやすい分岐地点などの案内地点に車両Mが近づいたか否かの判定をおこなうことができる。
【0112】
また、本実施例において、案内モードにおける地図画像が通常モードにおける地図画像よりも大きく表示される例、すなわち、案内モードにおいては地図画像を優先して表示する例を説明したが、これとは逆に、案内モードにおける地図画像が、通常モードにおける地図画像よりも小さく表示されるようにしてもよい。言い換えれば、案内モードにおける車両Mの外部の映像が、通常モードにおける車両Mの外部の映像よりも大きく表示されるようにしてもよい。
【0113】
例えば、端末装置Tの操作者が案内地点において車両Mの運転者を案内したい場合、地図画像よりも、車両Mの外部(前方)の映像を見た方が案内しやすい場合も考えられる。このため、端末装置Tは、案内モードにおいて、車両Mの外部の映像と地図画像とで、いずれの画像を優先して表示するかを、端末装置Tの操作者が予め設定できるように構成されていてもよい。例えば、端末装置Tの制御部38は、案内モードにおける優先すべき画像の設定操作がタッチパネルディスプレイ23を介して受け付けられた場合、この設定を通信部39を介してサーバSに送信する。サーバSの制御部31は、受信した設定に基づいて、案内モードにおいて優先して表示する画像を、車両Mの外部の映像または地図画像のいずれかに決定する。
【0114】
これにより、例えば、端末装置Tの操作者が案内地点において、車両Mの外部(前方)の映像を見ながら車両Mの運転者を案内したい場合、案内モードにおける優先すべき画像を車両Mの外部(前方)の映像に設定しておくことで、車両Mが当該案内地点に近づくと、タッチパネルディスプレイ23の表示態様が自動的に車両Mの外部の映像を優先する案内モードに変更される。これにより、端末装置Tの操作者は、タッチパネルディスプレイ23を操作することなく、例えば手動で地図から車両Mの外部の映像に切り替えることなく好ましい表示態様を得ることができる。
【実施例0115】
図12図14を用いて、実施例2に係る情報処理システムについて説明する。実施例2は、端末装置Tの表示態様を変更させるためのサーバSの制御部31における判定基準が実施例1と異なっており、また、当該判定基準によって変更される表示モードの表示態様が実施例1と異なっている。実施例2は、これらの点以外において実施例1と同様の構成を有する。
【0116】
本実施例において、サーバSの制御部31の表示制御部37は、車両Mの現在位置と移動経路とに基づいて、端末装置Tのタッチパネルディスプレイ23に表示させる映像及び地図画像の表示態様を制御する。具体的には、表示制御部37は、車両Mが移動予定経路から逸脱した場合に、車両Mの周囲の道路等を端末装置T側に詳細に知らせるための表示モード(経路変更モード)の表示態様を要求する信号を送信する。
【0117】
図12は、端末装置Tのタッチパネルディスプレイ23において、経路変更モードの表示態様で車両Mの外部の映像及び地図画像を表示している端末装置Tを示す図である。経路変更モードにおいて、第1の表示領域A1には車両Mの外部(前方)の映像が表示され、第2の表示領域A2には地図画像が表示される。図12に示すように、地図画像には、車両Mの現在位置PLが移動経路Rから逸脱している様子が示されている。
【0118】
経路変更モードにおいて、第2の表示領域A2は、第1の表示領域A1よりも大きい態様で表示される。言い換えれば、地図画像は、車両Mの外部の映像よりも大きい態様で表示される。
【0119】
経路変更モードにおいて、第2の表示領域A2に表示される地図画像は、通常モードにおいて第2の表示領域A2に表示される地図画像よりも大きい態様で表示されている。言い換えれば、経路変更モードにおいて第1の表示領域A1に表示される車両Mの外部の映像は、通常モードにおいて第1の表示領域A1に表示される車両Mの外部の映像よりも小さい態様で表示されている。
【0120】
車両Mが移動経路から逸脱した場合、車載装置10の経路生成部28は、車両Mの現在位置及び目的地に基づいて、新たに移動経路を生成する。
【0121】
サーバSの制御部31の表示制御部37は、新たな移動経路を車載装置10から受信した際に、端末装置Tに経路変更モードの表示態様を解除することを要求する信号を送信する。これにより、表示制御部37は、車両Mが移動経路から逸脱した場合にのみ、端末装置Tにおける映像及び地図画像の表示態様を変更させることができる。
【0122】
図13は、実施例2に係るサーバSの制御部31において実行される表示制御ルーチンRT5を示すフローチャートである。図13において、実施例1に係るサーバSの制御部31において実行される表示制御ルーチンRT3と異なる点のみ説明する。
【0123】
制御部31は、ビデオ通信中であると判定すると(ステップS301:YES)、車両Mの現在位置と移動経路とに基づいて、車両Mが移動経路から逸脱したか否かを判定する(ステップS502)。制御部31は、車両Mが移動経路から逸脱したと判定すると(ステップS502:YES)、経路変更モード要求信号を端末装置Tに送信する(ステップS503)。具体的には、制御部31の表示制御部37は、車両Mの外部の映像よりも地図画像を大きく表示させる表示態様に変更することを要求する信号を端末装置Tに送信する。
【0124】
制御部31は、車両Mが移動経路から逸脱していないと判定すると(ステップS502:NO)、ステップS301を実行する。
【0125】
制御部31は、ステップS503の後に、車載装置10から新たな移動経路を受信したか否かを判定する(ステップS504)。制御部31は、新たな移動経路を受信したと判定すると(ステップS504:YES)、新たな移動経路が受信されてから所定時間(例えば10秒)経過後に経路変更モード解除信号を端末装置Tに送信する(ステップS505)。
【0126】
制御部31は、新たな移動経路を受信していないと判定すると(ステップS504:NO)、ステップS504を繰り返し実行する。制御部31は、ステップS505の後に、ステップS301以降の判定を繰り返す。
【0127】
図14は、実施例2に係る端末装置Tの制御部38において実行される表示変更ルーチンRT6を示すフローチャートである。図14において、実施例1に係る端末装置Tの制御部38において実行される表示変更ルーチンRT4と異なる点のみ説明する。
【0128】
制御部38は、ステップS402において車両Mの外部の映像及び地図画像を通常モードで表示した後に、サーバSから経路変更モード要求信号を受信したか否かを判定する(ステップS603)。制御部38は、経路変更モード要求信号を受信したと判定すると(ステップS603:YES)、車両Mの外部の映像及び地図画像を通常モードから経路変更モードの表示態様に変更する(ステップS604)。すなわち、制御部38は、通常モードの表示態様から、車両Mの外部の映像よりも地図画像を大きく表示させる表示態様に変更する。この時、端末装置Tのタッチパネルディスプレイ23には地図画像が大きく表示されることで、端末装置Tの操作者は、地図上のどの位置で車両Mが移動経路を逸脱したのか、及び車載装置10の経路生成部28により新たに生成された移動経路を、比較的容易に視認することができる。
【0129】
制御部38は、経路変更モード要求信号を受信していないと判定すると(ステップS603:NO)、ステップS401を実行してビデオ通信中であるか否かの判定を行う。
【0130】
制御部38は、ステップS604の後に、サーバSから経路変更モード解除信号を受信したか否かを判定する(ステップS605)。制御部38は、経路変更モード解除信号を受信したと判定すると(ステップS605:YES)、ステップS401を実行してビデオ通信中であるか否かの判定を行う。制御部38は、ビデオ通信中であると判定すると、車両Mの外部の映像及び地図画像を再び通常モードで表示させる。
【0131】
ここで、サーバSの制御部31は、新たな移動経路が受信されてから所定時間(例えば10秒)経過後に経路変更モード解除信号を端末装置Tに送信する(表示制御ルーチンRT5のステップS505)ため、端末装置Tのユーザは、車載装置10の経路生成部28により新たに生成された移動経路を所定時間が経過する間に確認することができる。これにより、例えば、新たに生成された移動経路が好ましい経路ではない場合、車両Mの搭乗者に対して、音声通話により注意を呼び掛けることができる。
【0132】
制御部38は、経路変更モード解除信号を受信していないと判定すると(ステップS605:NO)、ステップS605を繰り返し実行する。
【0133】
本実施例によれば、車載装置10と端末装置Tとのビデオ通信中において、端末装置Tのタッチパネルディスプレイ23に表示される車両Mの外部の映像及び地図画像は、車両Mが移動経路から逸脱した際に、その表示態様が自動的に変更される。
【0134】
例えば、車両Mの運転者が誤って移動経路を逸脱してしまった場合、タッチパネルディスプレイ23の表示態様が自動的に上記した経路変更モードに変更される。これにより、端末装置Tの操作者は、タッチパネルディスプレイ23を操作することなく、例えば手動で地図画面を大きく表示させることなく好ましい表示態様を得ることができる。
【0135】
従って、本実施例によれば、端末装置Tの操作者は、状況に応じて必要な情報を適切なタイミングで得ることができる。よって、端末装置Tの操作者は、車両Mの運転者に対して円滑に案内や指示を行うことができる。
【0136】
なお、本実施例において、端末装置Tのタッチパネルディスプレイ23に示した経路変更モードにおける表示態様は例示に過ぎず、車両Mの外部の映像及び地図画像の表示比率は任意に設定できる。例えば、経路変更モードは、車両Mの外部の映像を表示せずに地図画像のみを表示する表示態様であってもよい。
【0137】
また、本実施例において、経路変更モードにおける表示態様の車両Mの外部の映像及び地図画像の位置は任意に設定できる。例えば、経路変更モードにおいて、第1の表示領域A1に地図画像が表示されてもよく、第2の表示領域A2に車両Mの外部の映像が表示されてもよい。
【0138】
また、本実施例において、経路変更モードは、車両Mの外部の映像を表示せず、地図画像のみを表示する表示態様であってもよい。例えば、サーバSの制御部31は、経路変更モードにおいて、通常モードでは端末装置Tのタッチパネルディスプレイ23に表示させていた車両Mの外部の映像を非表示とし、通常モードにおける地図画像よりも大きい態様で地図画像を表示させるようにしてもよい。
【0139】
また、本実施例において、通常モードは、地図画像を表示せず、車両Mの外部の映像のみを表示する表示態様であってもよい。例えば、サーバSの制御部31は、経路変更モードにおいて、通常モードでは表示させていなかった地図画像を、車両Mの外部の映像と共に端末装置Tのタッチパネルディスプレイ23に表示させるようにしてもよく、また、車両Mの外部の映像を非表示としたうえで、通常モードでは表示されていなかった地図画像を表示させるようにしてもよい。
【0140】
また、本実施例において、通常モード及び経路変更モードにおける車両Mの外部の映像及び地図画像は、そのどちらか一方が他方に重畳する態様で表示されてもよい。例えば、サーバSの制御部31は、経路変更モードにおいては、車両Mの外部の映像(第1の表示領域A1)上に地図画像(第2の表示領域A2)が重畳された画像を、端末装置Tのタッチパネルディスプレイ23に表示させることで、経路変更モードにおける地図画像を、通常モードにおける地図画像よりも大きく表示させるようにしてもよい。
【0141】
また、本実施例において、サーバSは、経路変更モード要求信号を端末装置Tに送信する際に、経路変更モードによる表示に他の表示をさらに表示させるための表示データを端末装置Tに送信してもよい。
【0142】
例えば、サーバSは、車両Mが移動経路から逸脱した際に、経路変更モード要求信号と共に「車両Mが移動経路から外れました」という告知画像データを端末装置Tに送信してもよい。これにより、サーバSは、車両Mが移動経路から逸脱した際に端末装置Tに表示態様を変更させると共に、車両Mが移動経路から逸脱した旨を端末装置Tの操作者に告知することができる。
【0143】
本実施例において、経路変更モードにおける地図画像が通常モードにおける地図画像よりも大きく表示される例、すなわち、経路変更モードにおいては地図画像を優先して表示する例を説明したが、これとは逆に、経路変更モードにおける地図画像が、通常モードにおける地図画像よりも小さく表示されるようにしてもよい。言い換えれば、経路変更モードにおける車両Mの外部の映像が、通常モードにおける車両Mの外部の映像よりも大きく表示されるようにしてもよい。
【0144】
例えば、車両Mが移動経路を逸脱した際に、端末装置Tの操作者が車両Mの運転者を案内したい場合、地図画像よりも、車両Mの外部(前方)の映像を見た方が案内しやすい場合も考えられる。このため、端末装置Tは、経路変更モードにおいて、車両Mの外部の映像と地図画像とで、いずれの画像を優先して表示するかを、端末装置Tの操作者が予め設定できるように構成されていてもよい。例えば、端末装置Tの制御部38は、経路変更モードにおける優先すべき画像の設定操作がタッチパネルディスプレイ23により受け付けられた場合、この設定を通信部39を介してサーバSに送信する。サーバSの制御部31は、受信した設定に基づいて、経路変更モードにおいて優先して表示する画像を、車両Mの外部の映像または地図画像のいずれかに決定する。
【0145】
これにより、例えば、車両Mが移動経路を逸脱した際に、端末装置Tの操作者が車両Mの外部(前方)の映像を見ながら車両Mの運転者を案内したい場合、経路変更モード中に優先すべき画像を車両Mの外部(前方)の映像に設定しておくことで、車両Mが移動経路を逸脱すると、タッチパネルディスプレイ23の表示態様が自動的に車両Mの外部の映像を優先する経路変更モードに変更される。これにより、端末装置Tの操作者は、タッチパネルディスプレイ23を操作することなく、例えば手動で地図から車両Mの外部の映像に切り替えることなく好ましい表示態様を得ることができる。
【0146】
本実施例において、サーバSは、状況に応じて複数の表示モード要求信号を端末装置Tに送信していてもよい。例えば、サーバSは、車両Mが移動経路の案内地点に近づいた際に案内モード要求信号を端末装置Tに送信し、当該移動経路から外れた際に経路変更モード要求信号を端末装置Tに送信してもよい。これにより、端末装置Tの操作者は、状況に応じて異なる表示態様の情報を適切なタイミングで得ることができ、車両Mの運転者に対して円滑に案内及び指示を行うことができる。
【実施例0147】
図15図17を用いて、実施例3に係る情報処理システムについて説明する。実施例3は、端末装置Tの表示態様を変更させるためのサーバSの制御部31における判定基準が実施例1及び2と異なっており、また、当該判定基準によって変更される表示モードの表示態様が実施例1及び2と異なっている。実施例3は、これらの点以外において実施例1及び2と同様の構成を有する。
【0148】
本実施例において、映像情報取得部34は、車両Mの外部の映像及び車内撮影カメラ13によって撮像されている第1映像情報としての車両Mの内部の映像をサーバSを介して端末装置Tに逐次送信している。すなわち、端末装置Tは、第1映像情報としての車両Mの外部の映像及び車両Mの内部の映像を逐次受信している。
【0149】
本実施例において、サーバSの制御部31の表示制御部37は、車両Mの現在位置と移動経路において予め設定された設定地点との距離に基づいて、端末装置Tのタッチパネルディスプレイ23に表示させる映像及び地図画像の表示態様を制御する。
【0150】
本実施例において、設定地点は、移動経路における景観の良い地点であり、例えば海岸沿いの景色が一望できる地点である。本実施例において、記憶部33は、地図データ及び上記した設定地点に関する情報を記憶している。サーバSの地図画像生成部36は、車載装置10から取得した現在位置情報と、記憶部33に記憶されている地図データ及び上記した設定地点に関する情報とに基づいて、地図画像を生成する。
【0151】
表示制御部37は、車両Mが設定地点に近づいた場合に、端末装置T側に景色を良く見せるための表示モード(景観モード)の表示態様を要求する信号を送信する。
【0152】
図15は、端末装置Tのタッチパネルディスプレイ23において、景観モードの表示態様で車両Mの外部の映像及び車両Mの内部の映像を表示している端末装置Tを示す図である。
【0153】
本実施例において、景観モードは、第1の表示領域A1のみを表示する表示態様である。すなわち、景観モードにおいて、タッチパネルディスプレイ23には車両Mの外部(前方)の映像及び車両Mの搭乗者の映像のみが表示され、地図画像は表示されない。言い換えれば、第1の表示領域A1には、車両Mの前方の映像を示す画像と車両Mの内部の映像を示す画像とが合成された画像が表示される。
【0154】
図15に示すように、第1の表示領域A1には、車両Mの前方の映像としての景観が美しい山々MTが存在している映像及び車両Mの内部の映像としての車両Mの搭乗者PAの様子を示す映像が表示されている。当該車両Mの内部の映像は、車両Mの前方の映像よりも小さく表示されている。
【0155】
これにより、端末装置Tの操作者は、通常モードよりも車両Mの外部の映像が大きく表示される表示態様で当該映像を見ることができる。そのため、端末装置Tの操作者は、車両Mの搭乗者が見ている景色をより好ましい態様で共有することができる。さらに端末装置Tの操作者は、車両Mの外部の映像に加えて車両Mの内部の映像を見ることによって、車両Mの搭乗者が景観の良い地点に対してどのような表情をしているかなども知ることができ、情報の共有感を高めることができる。
【0156】
図16は、実施例3に係るサーバSの制御部31において実行される表示制御ルーチンRT7を示すフローチャートである。図16において、実施例1及び2に係るサーバSの制御部31において実行される表示制御ルーチンRT3及びRT5と異なる点のみ説明する。
【0157】
制御部31は、ビデオ通信中であると判定すると(ステップS301:YES)、車両Mが設定地点に近づいたか否かを判定する(ステップS702)。制御部31は、車両Mが設定地点に近づいたと判定すると(ステップS702:YES)、景観モード要求信号を端末装置Tに送信する(ステップS703)。具体的には、制御部31の表示制御部37は、通常モードから車両Mの外部及び内部の映像のみを表示させる表示態様に変更することを要求する信号を端末装置Tに送信する。
【0158】
制御部31は、車両Mが設定地点に近づいていないと判定すると(ステップS702:NO)、ステップS301を実行する。
【0159】
制御部31は、ステップS703の後に、車両Mが設定地点を通過したか否かを判定する(ステップS704)。制御部31は、車両Mが設定地点を通過したと判定すると(ステップS704:YES)、景観モード解除信号を端末装置Tに送信する(ステップS705)。
【0160】
制御部31は、車両Mが設定地点を通過していないと判定すると(ステップS704:NO)、ステップS704を繰り返し実行する。制御部31は、ステップS705の後に、ステップS301以降の判定を繰り返す。
【0161】
図17は、実施例2に係る端末装置Tの制御部38において実行される表示変更ルーチンRT8を示すフローチャートである。図17において、実施例1及び2に係るサーバSの制御部31において実行される表示変更ルーチンRT4及びRT6と異なる点のみ説明する。
【0162】
制御部38は、ステップS402において車両Mの外部の映像及び地図画像を通常モードで表示した後に、サーバSから景観モード要求信号を受信したか否かを判定する(ステップS803)。制御部38は、景観モード要求信号を受信したと判定すると(ステップS803:YES)、車両Mの外部の映像及び地図画像を通常モードから景観モードの表示態様に変更する(ステップS804)。すなわち、制御部38は、通常モードの表示態様から、車両Mの外部及び内部の映像のみを表示させる表示態様に変更する。
【0163】
制御部38は、景観モード要求信号を受信していないと判定すると(ステップS803:NO)、ステップS401を実行してビデオ通信中であるか否かの判定を行う。
【0164】
制御部38は、ステップS804の後に、サーバSから景観モード解除信号を受信したか否かを判定する(ステップS805)。制御部38は、景観モード解除信号を受信したと判定すると(ステップS805:YES)、ステップS401を実行してビデオ通信中であるか否かの判定を行う。制御部38は、ビデオ通信中であると判定すると、車両Mの外部の映像及び地図画像を再び通常モードで表示させる。
【0165】
制御部38は、景観モード解除信号を受信していないと判定すると(ステップS805:NO)、ステップS805を繰り返し実行する。
【0166】
本実施例によれば、車載装置10と端末装置Tとのビデオ通信中において、端末装置Tのタッチパネルディスプレイ23に表示される車両Mの外部の映像及び地図画像は、車両Mが移動経路の設定地点に近づいた際に、その表示態様が自動的に変更される。
【0167】
例えば、車両Mの運転者が端末装置Tの操作者に見せたい景色がある場合に、車両Mが設定地点に近づくことでタッチパネルディスプレイ23の表示態様が自動的に上記した景観モードに変更される。これにより、端末装置Tの操作者は、タッチパネルディスプレイ23を操作することなく、例えば手動で地図画面を小さく表示させることなく好ましい表示態様を得ることができる。
【0168】
従って、本実施例によれば、端末装置Tの操作者は、状況に応じて必要な情報を適切なタイミングで得ることができる。よって、本実施例によれば、端末装置Tの操作者と車両Mの運転者との間において円滑に情報の共有を行うことができる。
【0169】
なお、本実施例において、通常モードにおいて、端末装置Tのタッチパネルディスプレイ23には、車両Mの外部の映像及び地図画像に加えて、車両Mの内部の映像が表示されるようにしてもよい。
【0170】
また、本実施例において、景観モードによって端末装置Tのタッチパネルディスプレイ23に表示される映像は、車両Mの外部の映像及び車両Mの内部の映像のどちらか一方であってもよく、車載装置10又はサーバS側で自由に切り替えられる態様としてもよい。
【0171】
また、本実施例において、景観モードは、車両Mの外部又は内部の映像に加えて地図画像を表示する表示態様であってもよい。例えば、サーバSの制御部31は、景観モードにおいて、端末装置Tのタッチパネルディスプレイ23に車両Mの外部又は内部の映像に加えて地図画像を表示させる場合には、当該地図画像の表示領域を縮小し、且つ車両Mの外部又は内部の映像については、通常モードにおける車両Mの外部又は内部の映像よりも大きい態様で表示させるようにしてもよい。
【0172】
また、本実施例において、通常モード及び景観モードにおける車両Mの外部又は内部の映像及び地図画像は、そのどちらか一方が他方に重畳する態様で表示されてもよい。例えば、サーバSの制御部31は、景観モードにおいては、車両Mの外部又は内部の映像(第1の表示領域A1)上に地図画像(第2の表示領域A2)が重畳された画像を、端末装置Tのタッチパネルディスプレイ23に表示させることで、景観モードにおける車両Mの外部又は内部の映像を、通常モードにおける車両Mの外部又は内部の映像よりも大きく表示させるようにしてもよい。
【0173】
また、本実施例において、サーバSは、状況に応じて複数の表示モード要求信号を端末装置Tに送信していてもよい。例えば、サーバSは、車両Mが移動経路の案内地点に近づいた際に案内モード要求信号を端末装置Tに送信し、車両Mが移動経路から外れた際に経路変更モード要求信号を端末装置Tに送信し、車両Mが移動経路の設定地点に近づいた際に景観モード要求信号を端末装置Tに送信してもよい。
【0174】
これにより、端末装置Tの操作者は、状況に応じて異なる表示態様の情報を適切なタイミングで得ることができ、車両Mの運転者に対して円滑に案内や指示、情報の共有を行うことができる。
【0175】
[情報処理システムの変形例]
以下に、実施例1~3に係る情報処理システム100の変形例について説明する。本変形例においては、上記サーバSを介さずに、又は、何らかの中継サーバを経由したとしても、当該中継サーバの処理に依らず、車載装置10と端末装置Tとが実質的に直接ビデオ通信を実施する。言い換えれば、端末装置Tは、車載装置10から映像情報、現在位置情報及び移動経路情報を実質的に直接受信する。
【0176】
また、端末装置Tは、上記実施例1~3においてサーバSが保持していた地図データを保持しており、当該受信した現在位置情報及び移動経路情報並びに自らが保持している地図情報に基づいて地図画像を生成する。端末装置Tは、車両Mの現在位置及び移動経路に基づいて映像と地図画像の表示態様を決定し、当該決定された表示態様で映像と地図画像を表示部に表示する。
【0177】
図18は、端末装置Tの変形例のブロック図である。端末装置Tの制御部41は、実施例1乃至3において説明したサーバSの制御部31の機能ブロックと同様の機能ブロックを有している。
【0178】
具体的には、端末装置Tの制御部41は、上述した実施例のサーバSの映像情報取得部34に対応する映像情報取得部44と、車両情報取得部35に対応する車両情報取得部45と、地図画像生成部36に対応する地図画像生成部46と、表示制御部37に対応する表示制御部47とを有している。
【0179】
本変形例において、端末装置Tは、上述した実施例のサーバSの記憶部33に対応する記憶部49を有している。記憶部49は、地図データを記憶している。
【0180】
上述のように、本変形例において、端末装置Tは、サーバSを介すことなく車載装置10とのビデオ通信を行うことができる。すなわち、本変形例において、端末装置Tは、車載装置10とのビデオ通信において、車載装置10から車両Mの外部の映像、現在位置及び移動経路を直接受信することができる。
【0181】
従って、端末装置Tは、受信した映像及び地図画像をタッチパネルディスプレイ23に表示する際に、制御部41の表示制御部47によって、自身で状況に応じて表示モードを変更することができる。これにより、情報処理システム100の装置構成の簡略化又は車載装置10から端末装置Tに送信される映像の遅延の低減が見込まれる。
【0182】
実施例1~3において、端末装置Tは、スマートフォンである場合について説明したが、これに限られない。例えば、端末装置Tは、車載装置10とビデオ通信が可能なタブレット端末であってもよい。
【0183】
実施例1~3及びその変形例において、端末装置Tは、車載装置10とのビデオ通信中において、少なくとも車両Mの外部の映像及び地図画像を受信して表示可能であればよく、例えば、端末装置T側にも第2撮影部としてのカメラが設けられていてもよい。
【0184】
例えば、端末装置Tの制御部38は、車載装置10と端末装置Tとの間でビデオ通信がなされている際に、端末装置Tに設けられたカメラによって撮像される第2映像情報としての端末装置Tの操作者の映像を、サーバSを介して車載装置10に送信してもよい。
【0185】
例えば、上記した設定地点などに車両Mを停車させた状態で、端末装置Tの操作者から当該設定地点に関する説明を受ける場合、車両Mの運転手も端末装置Tの操作者の表情を見ることができ、情報の共有感を高めることができる。
【0186】
実施例1~3及びその変形例において、車載装置10の制御部25が、経路生成部28によって生成された車両Mの移動経路を、通信部27を介してサーバSに逐次送信することに代えて、制御部25は、経路生成部28により新たな移動経路が生成されたタイミングで、新たな移動経路をサーバSに送信するようにすれば、逐次送信しなくてもよい。
【0187】
実施例1~3及びその変形例において、サーバSの制御部31の地図画像生成部36が、車載装置10から受信した車両Mの現在位置及び移動経路と地図データとに基づいて地図画像を生成して端末装置Tへ当該地図画像を送信することに代えて、車載装置10の制御部25は、自らが生成した車両Mの現在位置及び移動経路を含む地図画像をサーバSに送信し、サーバSの制御部31は、車載装置10から受信した地図画像をそのまま又はトリミングや解像度変更等の加工を行った後に、端末装置Tへ送信するようにしてもよい。
【0188】
実施例1~3において説明したサーバSの制御部31における一連の処理は、コンピュータにより実行させるプログラムとしてもよい。当該プログラムは、コンピュータに読み取り可能な記録媒体に記録されていてもよい。記録媒体のタイプは、特に限定されず、例えば、光ディスク、ハードディスク、またはフラッシュメモリもしくはSSD等の半導体メモリであってもよい。また、上記プログラムは、通信を介して車載装置10、サーバS及び端末装置Tにダウンロードされインストールされてもよい。
【0189】
上記した実施例1乃至3において示した制御ルーチンは例示に過ぎず、用途または使用条件等に応じて適宜選択及び変更可能である。
【符号の説明】
【0190】
100 情報処理システム
M 車両
10 車載装置
サーバ S
端末装置 T
12 車外撮影カメラ
13 車内撮影カメラ
14 GPS受信機
15、21 マイク
16、23 タッチパネルディスプレイ
17、22 スピーカー
25、31、38 制御部
26 経路生成部
27、33、49 記憶部
28、32、39 通信部
34、44 映像情報取得部
35、45 車両情報取得部
36、46 地図画像生成部
37、47 表示制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18