(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022157709
(43)【公開日】2022-10-14
(54)【発明の名称】通信システム
(51)【国際特許分類】
H04N 21/2385 20110101AFI20221006BHJP
G06T 19/00 20110101ALI20221006BHJP
G08G 1/13 20060101ALI20221006BHJP
G01C 21/26 20060101ALI20221006BHJP
H04W 4/44 20180101ALI20221006BHJP
H04W 28/02 20090101ALI20221006BHJP
H04N 21/437 20110101ALI20221006BHJP
【FI】
H04N21/2385
G06T19/00 600
G08G1/13
G01C21/26 C
H04W4/44
H04W28/02
H04N21/437
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021062087
(22)【出願日】2021-03-31
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】小嶋 祐登
(72)【発明者】
【氏名】対馬 孔聖
(72)【発明者】
【氏名】大塚 高廣
(72)【発明者】
【氏名】塚原 祥平
【テーマコード(参考)】
2F129
5B050
5C164
5H181
5K067
【Fターム(参考)】
2F129AA03
2F129BB03
2F129EE02
2F129FF02
2F129FF17
2F129FF18
2F129FF20
2F129FF28
2F129FF30
5B050AA07
5B050BA06
5B050BA11
5B050BA17
5B050CA07
5B050CA08
5B050DA01
5B050EA19
5B050FA02
5C164FA08
5C164GA03
5C164SB22P
5C164SB41S
5C164TA14S
5C164UA04S
5C164UA42S
5C164UB21S
5C164UB26P
5C164UB41S
5C164YA21
5C164YA24
5H181AA01
5H181BB04
5H181CC04
5H181FF05
5H181FF13
5H181MC04
5H181MC12
5H181MC19
5H181MC22
5K067AA23
5K067BB21
5K067EE02
5K067HH22
5K067HH24
(57)【要約】 (修正有)
【課題】端末と端末と通信するサーバとを備える通信負荷を変更可能な通信システムを提供する。
【解決手段】情報提示システム100において、車載端末11は、車載端末11とサーバ20との間の将来の通信スループットが予測された第1の通信スループット予測情報を出力する端末側通信予測部13を有する。サーバ20は、端末11とサーバ20との間の将来の通信スループットが予測された第2の通信スループット予測情報を出力するサーバ側通信予測部23を有する。また、制御部16及び制御部25は、第1の通信スループット予測情報と第2の通信スループット予測情報に基づいて、通信負荷を変更する制御を実行する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
端末と、前記端末と通信するサーバとを備える通信システムであって、
前記端末は、
前記端末と前記サーバとの間の将来の通信スループットが予測された第1の通信スループット予測情報を出力する端末側通信予測部を有し、
前記サーバは、
前記端末と前記サーバとの間の前記将来の通信スループットが予測された第2の通信スループット予測情報を出力するサーバ側通信予測部を有し、
前記通信システムは、
前記第1の通信スループット予測情報と前記第2の通信スループット予測情報とに基づいて、通信負荷を変更する制御を実行する制御部を有する、
通信システム。
【請求項2】
前記制御部は、前記第1の通信スループット予測情報と前記第2の通信スループット予測情報とを比較し、
前記比較の結果、前記第1の通信スループット予測情報と前記第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態であるか、前記第1の通信スループット予測情報と前記第2の通信スループット予測情報との乖離が前記予め定められた値より小さい第2の状態であるかを判定する、
請求項1に記載の通信システム。
【請求項3】
前記通信システムは、
前記端末の外部環境の撮像を行い撮像画像を取得する撮像部をさらに有し、
前記端末は、
前記撮像画像および前記第1の通信スループット予測情報を前記サーバに送信する端末側送信部をさらに有する、
請求項2に記載の通信システム。
【請求項4】
前記サーバは、
前記撮像画像に基づいて、前記端末の前記外部環境の関連情報である描画情報を生成する描画情報生成部と、
前記描画情報および前記第2の通信スループット予測情報を前記端末に送信するサーバ側送信部と、
をさらに有し、
前記端末は、
前記描画情報が前記端末の前記外部環境に重畳された提示情報を表示する重畳表示部をさらに有する、
請求項3に記載の通信システム。
【請求項5】
前記制御部は、前記第1の状態であるときの前記描画情報のデータ量が、前記第2の状態であるときの前記描画情報のデータ量よりも小さくなるように、前記描画情報のデータ量を制御する、
請求項4に記載の通信システム。
【請求項6】
前記制御部は、前記第1の状態であるときの前記撮像画像のデータ量が、前記第2の状態であるときの前記撮像画像のデータ量よりも小さくなるように、前記撮像画像のデータ量を制御する、
請求項4または5に記載の通信システム。
【請求項7】
前記端末は車両に搭載され、
前記重畳表示部は、前記提示情報を前記車両の前記外部環境である風景に重畳して表示する、
請求項4から6のいずれか1項に記載の通信システム。
【請求項8】
前記描画情報は、前記車両のナビゲーション付加情報であり、
前記重畳表示部は、前記ナビゲーション付加情報が前記車両の前記外部環境である風景に重畳された前記提示情報を表示する、
請求項7に記載の通信システム。
【請求項9】
前記描画情報は、前記車両のナビゲーションにおける拡張現実情報であり、
前記重畳表示部は、前記拡張現実情報が前記車両の前記外部環境である風景に重畳された前記提示情報を表示する、
請求項7に記載の通信システム。
【請求項10】
前記端末は、
前記撮像画像に基づいて、前記端末の前記外部環境の関連情報である描画情報を生成する第2の描画情報生成部をさらに有し、
前記制御部は、前記第1の状態であるときに前記端末と前記サーバとの間の通信を停止し、
前記重畳表示部は、第2の描画情報生成部が生成した前記描画情報が前記端末の前記外部環境に重畳された前記提示情報を表示する、
請求項7から9のいずれか1項に記載の通信システム。
【請求項11】
前記車両は自動運転を行う自動運転車両であり、
前記制御部は、前記第1の状態であるときに前記車両の運転制御を遠隔運転制御からスタンドアローンの自動運転制御に切り替える、
請求項7から10のいずれか1項に記載の通信システム。
【請求項12】
前記制御部は、前記端末が有する、
請求項1から11のいずれか1項に記載の通信システム。
【請求項13】
前記制御部は、前記サーバが有する、
請求項1から11のいずれか1項に記載の通信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信システムに関する。
【背景技術】
【0002】
特許文献1には、「撮像対象を認識し、提示情報をリアルタイム性を欠くことなく高品位に提示できる情報提示システム」が記載されている。
[先行技術文献]
[特許文献]
[特許文献1] 特開2016-81225号公報
【発明の概要】
【0003】
本発明の第1の態様においては、端末と、端末と通信するサーバとを備える通信システムが提供される。端末は、端末とサーバとの間の将来の通信スループットが予測された第1の通信スループット予測情報を出力する端末側通信予測部を有する。サーバは、端末とサーバとの間の将来の通信スループットが予測された第2の通信スループット予測情報を出力するサーバ側通信予測部を有する。システムは、第1の通信スループット予測情報と第2の通信スループット予測情報とに基づいて、通信負荷を変更する制御を実行する制御部を有する。
【0004】
制御部は、第1の通信スループット予測情報と第2の通信スループット予測情報とを比較し、比較の結果、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態であるか、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値より小さい第2の状態であるかを判定してよい。
【0005】
通信システムは、端末の外部環境の撮像を行い撮像画像を取得する撮像部をさらに有し、端末は、撮像画像および第1の通信スループット予測情報をサーバに送信する端末側送信部をさらに有してよい。
【0006】
サーバは、撮像画像に基づいて、端末の外部環境の関連情報である描画情報を生成する描画情報生成部と、描画情報および第2の通信スループット予測情報を端末に送信するサーバ側送信部と、をさらに有し、端末は、描画情報が端末の外部環境に重畳された提示情報を表示する重畳表示部をさらに有してよい。
【0007】
制御部は、第1の状態であるときの描画情報のデータ量が、第2の状態であるときの描画情報のデータ量よりも小さくなるように、描画情報のデータ量を制御してよい。
【0008】
制御部は、第1の状態であるときの撮像画像のデータ量が、第2の状態であるときの撮像画像のデータ量よりも小さくなるように、撮像画像のデータ量を制御してよい。
【0009】
端末は車両に搭載され、重畳表示部は、提示情報を車両の外部環境である風景に重畳して表示してよい。
【0010】
描画情報は、車両のナビゲーション付加情報であり、重畳表示部は、ナビゲーション付加情報が車両の外部環境である風景に重畳された提示情報を表示してよい。
【0011】
描画情報は、車両のナビゲーションにおける拡張現実情報であり、重畳表示部は、拡張現実情報が車両の外部環境である風景に重畳された提示情報を表示してよい。
【0012】
端末は、撮像画像に基づいて、端末の外部環境の関連情報である描画情報を生成する第2の描画情報生成部をさらに有し、制御部は、第1の状態であるときに端末とサーバとの間の通信を停止し、重畳表示部は、第2の描画情報生成部が生成した描画情報が端末の外部環境に重畳された提示情報を表示してよい。
【0013】
車両は自動運転を行う自動運転車両であり、制御部は、第1の状態であるときに車両の運転制御を遠隔運転制御からスタンドアローンの自動運転制御に切り替えてよい。
【0014】
制御部は、端末が有してよい。
【0015】
制御部は、サーバが有してよい。
【0016】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0017】
【
図1】第1の実施形態に係る通信システム100の概略構成を示す機能ブロック図である。
【
図2】(a)および(b)は、第1の実施形態の第1の例における提示情報D5の一例を示す図である。
【
図3】第1の実施形態における通信制御の第1の例を示す図である。
【
図4】(a)および(b)は、第1の実施形態の第2の例における提示情報D5の一例を示す図である。
【
図5】第1の実施形態における通信制御の第2の例を示す図である。
【
図6】第1の実施形態における車載端末11側の処理を示すフローチャートである。
【
図7】第1の実施形態におけるサーバ20側の処理を示すフローチャートである。
【
図8】第2の実施形態に係る通信システム200の概略構成を示す機能ブロック図である。
【
図9】(a)および(b)は、第2の実施形態における提示情報D5の一例を示す図である。
【
図10】第2の実施形態における通信制御の例を示す図である。
【
図11】第3の実施形態に係る通信システム300の概略構成を示す機能ブロック図である。
【
図12】(a)および(b)は、第3の実施形態における提示情報D5の一例を示す図である。
【
図13】第3の実施形態における通信制御の例を示す図である。
【発明を実施するための形態】
【0018】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0019】
図1は、第1の実施形態に係る通信システム100の概略構成を示す機能ブロック図である。通信システム100は、車両10およびサーバ20を備える。車両10とサーバ20とはインターネット30などのネットワークを介して互いに通信する。なお、車両10はは複数台存在してもよく、サーバ20は各々の車両10との間で互いに独立に情報提示のための処理を並行して行うことができる。
【0020】
車両10は、撮像部としてのカメラ2と、センサ3と、GPS4と、ディスプレイ5と、HUD(ヘッドアップディスプレイ)6と、車載端末11と、を有する。車載端末11は、パラメータ抽出部12と、通信スループット予測部13と、重畳表示部14と、端末側送信部15と、制御部16と、端末側受信部17と、を有する。サーバ20は、サーバ側受信部21と、パラメータ抽出部22と、通信スループット予測部23と、描画情報生成部24と、制御部25と、サーバ側送信部26と、を有する。
【0021】
車載端末11のパラメータ抽出部12には、カメラ2と、センサ3と、GPS4とから、それぞれ、撮像画像D1と、センサ情報D2と、車両10の位置情報D3が入力される。パラメータ抽出部12は、入力された撮像画像D1、センサ情報D2、および位置情報D3に基づいて複数のパラメータを抽出する。当該パラメータには、動画のフレームレート(FPS)、動画または画像の解像度、圧縮度、または圧縮方法などが含まれる。パラメータ抽出部12は、抽出したパラメータを通信スループット予測部13に出力する。また、パラメータ抽出部12は、撮像画像D1、センサ情報D2、および位置情報D3を制御部16へ出力する。
【0022】
端末側通信予測部としての通信スループット予測部13は、パラメータ抽出部12から入力されたパラメータを使用して、車両10とサーバ20との間の将来の通信スループットが予測された第1の通信スループット予測情報を生成する。通信スループット予測部13は、生成した第1のスループット予測情報を制御部16へ出力する。通信スループット予測部13は、現在の通信スループットに基づいて、将来の通信スループットを予測する。例えば、通信スループット予測部13は、通信スループットの時系列データに基づいて、時系列データの予測モデルを同定する。同定する予測モデルは、過去の時系列データから未来の時系列データを予測できるモデルであれば、いかなるモデルであってよい。例えば、同定する予測モデルとしては、ARモデル(AutoRegressive Model)等の時系列モデルや、Vasicekモデル等の確率微分方程式モデル等を例示することができる。一例として、Vasicekモデルを用いる場合、Vasicekモデルの確率微分方程式の一般解と、時系列データとを用いて、最尤推定法等の手法を用いて、Vasicekモデルの確率微分方程式の一般解のモデルパラメータを同定してよい。通信スループット予測部13は、同定した予測モデルに基づいて、将来の通信スループットの時系列データの確率分布を算出する。通信スループット予測部13は、将来の通信スループットの時系列データの確率分布に基づいて、将来の通信スループットを予測してよい。なお、通信スループット予測部13は、TCP通信等の通信プロトコルの通信開始後の過渡特性をモデル化した通信モデルに基づいて算出した補正率を用いて、過渡特性の影響を除去するよう時系列データを補正し、補正した時系列データに基づいて、時系列データの予測モデルを同定してもよい。
【0023】
なお、通信スループット予測部13が外部から予測された将来のスループット情報を受信してもよい。例えば、通信スループット予測部13は、車両10の前方を走行する他の車両から受信したスループット情報や、V2V通信で受信したスループット情報を、第1のスループット予測情報として出力してもよい。
【0024】
端末側送信部15は、撮像画像D1、センサ情報D2、および位置情報D3をサーバ20のサーバ側受信部21へと送信する。また、端末側送信部15は、通信スループット予測部13が生成した第1のスループット予測情報をサーバ20のサーバ側受信部21へと送信する。
【0025】
端末側受信部17は、端末側送信部15で送信した撮像画像D1、センサ情報D2、および位置情報D3および第1の通信スループット予測情報に対する応答としての描画情報D4をサーバ20のサーバ側送信部26から受信し、制御部16に出力する。また、端末側受信部17は、後述するサーバ20の通信スループット予測部23が生成した第2のスループット予測情報をサーバ側送信部26から受信し、制御部16に出力する。
【0026】
制御部16は、第1の通信スループット予測情報と、第2の通信スループット予測情報とに基づいて、通信負荷を変更する制御をを実行する。通信負荷を変更する制御とは、送信するデータの解像度、圧縮率、分解能などを変更する制御をいう。例えば、制御部16は、通信負荷が高い制御から通信負荷が低い制御に変更する。また、制御部16は、通信負荷が低い制御から通信負荷が高い制御に変更する。制御部16は、例えば、ネットワークが安定している間は、通信負荷が高い制御を行い、ネットワークが不安定である間は、通信負荷が低い制御を行う。ここで、通常時はネットワークが安定しており、制御部16は通信負荷が高い制御を行うものとする。
【0027】
本実施形態において、通信負荷が高い制御とは、撮像画像D1については解像度が高く、圧縮率(通信のための符号化の際の圧縮率)が低い制御であり、センサ情報D2、位置情報D3については分解能が高い制御であって、送信する情報のデータ量が大きい制御を指す。通信負荷が低い制御とは、撮像画像D1については解像度が低く、圧縮率(通信のための符号化の際の圧縮率)が高い制御であり、センサ情報D2、位置情報D3については分解能が低い制御であって、送信する情報のデータ量が小さい制御を指す。なお、通信負荷が高い制御および低い制御は、解像度、圧縮率、分解能のいずれか1つに関する制御であってもよい。
【0028】
例えば、移動する車両10がトンネルに入ったときに、車載端末11の通信スループット予測部13はトンネルに入ったことを認識しているため、将来の通信スループットが悪化することを予測しているが、サーバ20側の通信スループット予測部23は車両10がトンネルに入ったことをまだ認識していないため、将来の通信スループットが悪化することを予測していない。このような場合に、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が生じる。このような特性を利用して、第1の実施形態では、制御部16は、第1の通信スループット予測情報と第2の通信スループット予測情報とを比較し、比較の結果、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態であるか、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値より小さい第2の状態であるかを判定する。
【0029】
制御部16は、判定結果に基づいて、撮像画像D1、センサ情報D2、および位置情報D3について、通信負荷を変更する制御を実行する。制御部16は、変更する制御の通信負荷に基づいて、撮像画像D1、センサ情報D2、および位置情報D3のパラメータを調整して、端末側送信部15に出力する。なお、制御部16は、判定結果に基づいて、通信負荷が高い制御、通信負荷が中間の制御、または通信負荷が低い制御の3つの制御の変更を行ってもよい。
【0030】
また、制御部16には端末側受信部17から描画情報D4が入力され、当該入力された描画情報D4を外部環境としての地図情報に重畳することで提示情報D5を生成し、重畳表示部14へ出力する。
【0031】
重畳表示部14には、描画情報D4と車両10の外部環境である地図情報とを重畳して生成された提示情報D5が制御部16から入力され、重畳表示部14は、提示情報D5をディスプレイ5またはHUD6に提示する。第1の実施形態の第1の例では、描画情報D4はナビゲーション付加情報であり、提示情報D5は地図情報にナビゲーション付加情報を重畳したものである。第1の実施形態の第2の例では、描画情報D4は車両の拡張現実ツアーにおける拡張現実情報であり、提示情報D5は地図情報に拡張現実情報を重畳したものである。
【0032】
サーバ側受信部21は、端末側送信部15から、撮像画像D1、センサ情報D2、および位置情報D3と、第1の通信スループット予測情報とを受信する。サーバ側受信部21は、受信した撮像画像D1、センサ情報D2、および位置情報D3と、第1の通信スループット予測情報とを、サーバ20のパラメータ抽出部22へ出力する。また、サーバ側受信部21は、受信した撮像画像D1、センサ情報D2、および位置情報D3を、描画情報生成部24へ出力する。パラメータ抽出部22は、入力された情報に基づいてパラメータを抽出する。
【0033】
サーバ側通信予測部としての通信スループット予測部23は、パラメータ抽出部22から入力されたパラメータを使用して、車両10とサーバ20との間の将来の通信スループットを予測して、第2の通信スループット予測情報を生成する。通信スループット予測部23は、生成した第2のスループット予測情報を制御部25へ出力する。通信スループット予測部23は、通信スループット予測部13と同様の手法を用いて将来の通信スループットを予測する。なお、通信スループット予測部23は、外部から予測された将来のスループット情報を受信してもよい。例えば、通信スループット予測部23は、地図情報から得られるスループットの実測値や、地図情報DB(データベース)として管理されたスループット情報を受信して、第2のスループット予測情報として出力してもよい。
【0034】
描画情報生成部24は、サーバ側受信部21から受信した撮像画像D1、センサ情報D2、および位置情報D3に基づいて、描画情報D4を生成する。第1の実施形態の第1の例では、描画情報D4はナビゲーション付加情報であり、第1の実施形態の第2の例では、描画情報D4は拡張現実情報である。描画情報生成部24は、生成した描画情報D4を制御部25に出力する。
【0035】
制御部25は、車両10から受け取った第1の通信スループット予測情報と第2の通信スループット予測情報とに基づいて、通信負荷を変更する制御を実行する。通信負荷を変更する制御とは、送信するデータの解像度、圧縮率、分解能などを変更する制御をいう。
【0036】
第1の実施形態において、制御部25は、第1の通信スループット予測情報と第2の通信スループット予測情報とを比較し、比較の結果、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態であるか、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値より小さい第2の状態であるかを判定する。
【0037】
制御部25は、判定結果に基づいて、描画情報D4について、通信負荷が高い制御と通信負荷が低い制御とを変更する。制御部16は、変更する制御の通信負荷に基づいて、描画情報D4のパラメータを調整して、サーバ側送信部26に出力する。
【0038】
サーバ側送信部26は、描画情報D4を車載端末11の端末側受信部17へと送信する。また、サーバ側送信部26は、通信スループット予測部23が生成した第2のスループット予測情報を車載端末11の端末側受信部17へと送信する。
【0039】
図2(a)および(b)は、第1の実施形態の第1の例における提示情報D5の一例を示す図である。
図2(a)は描画情報D4が重畳される前の地図情報を示しており、
図2(b)は、地図情報に描画情報D4が重畳された後の提示情報D5を示している。第1の例は、車載端末11が物体認識および動作予想を実行する例であり、描画情報D4はナビゲーション付加情報である。
図2(b)に示すように、描画情報D4としてのナビゲーション付加情報は、例えば、「人注意!」「飛出注意!」「次の交差点右」などの情報である。
【0040】
図3は、第1の実施形態における通信制御の第1の例を示す図である。
図3では、車両10について端末側送信部15および端末側受信部17のみが示され、サーバ20についてサーバ側送信部26およびサーバ側受信部21のみが示されており、他の構成要素は省略されている。車両10がトンネル内に入ったときなど、車両10の電波環境が悪化すると、車載端末11の通信スループット予測部13が予測した第1の通信スループット予測情報と、サーバ20の通信スループット予測部23が予測した第2の通信スループット予測情報との間で乖離が生じる。
【0041】
上述したように第1の例は、車載端末11が物体認識および動作予想を実行する例であり、物体認識および動作予想が正確にかつリアルタイムで実行されることがより重要である。したがって、制御部16は、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態である場合、ネットワークが不安定であると判断するが、正確かつリアルタイムの物体認識および動作予想を行うために必要な情報である、撮像画像D1、センサ情報D2、および位置情報D3については、通信負荷が高い制御とする。したがって、制御部16は、撮像画像D1、センサ情報D2、位置情報D3のパラメータを変更しない。
【0042】
一方で、第1の例において、地図情報に重畳する描画情報D4の画像のクオリティは重要ではない。したがって、サーバ20の制御部25は、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態である場合、サーバ側送信部26から送信される描画情報D4について、通信負荷が低くなるようにパラメータを調整する。
【0043】
図4(a)および(b)は、第1の実施形態の第2の例における提示情報D5の一例を示す図である。
図4(a)は描画情報D4が重畳される前の地図情報を示しており、
図4(b)は、地図情報に描画情報D4が重畳された後の提示情報D5を示している。第2の例は、車載端末11が拡張現実ツアーを実行する例であり、描画情報D4は拡張現実情報である。
図4(b)に示すように、描画情報D4としての拡張現実情報は、例えば、「恐竜のイラスト」や「猫のイラスト」である。
【0044】
図5は、第1の実施形態における通信制御の第2の例を示す図である。
図5では、車両10について端末側送信部15および端末側受信部17のみが示され、サーバ2についてサーバ側送信部26およびサーバ側受信部21のみが示されており、他の構成要素は省略されている。車両10の電波環境が悪化すると、車載端末11の通信スループット予測部13が予測した第1の通信スループット予測情報と、サーバ20の通信スループット予測部23が予測した第2の通信スループット予測情報との間で乖離が生じる。
【0045】
上述したように、第2の例は車載端末11が拡張現実ツアーを実行する例であり、物体認識および動作予想が正確にかつリアルタイムで実行されることは比較的重要ではない。したがって、制御部16は、第1の通信スループット予測情報と前記第2の通信スループット予測情報とを比較し、比較の結果、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態である場合に、車載端末11の端末側送信部15から送信される撮像画像D1、センサ情報D2、および位置情報D3については、通信負荷が低い制御に変更する。なお、撮像画像D1、センサ情報D2、位置情報D3ごとに通信負荷の差を設けてもよく、例えば、センサ情報D2の通信負荷に比べて撮像画像D1の通信負荷が低くなるように変更する制御をしてもよい。
【0046】
一方で、第2の例において、地図情報に重畳する描画情報D4の画像のクオリティは重要である。したがって、制御部25は、サーバ20のサーバ側送信部26から送信される描画情報D4については、通信負荷が高い制御に設定する。したがって、制御部16は、描画情報D4のパラメータを特に変更せず、解像度が高く、圧縮率が低いままとする。
【0047】
図6は、第1の実施形態における車載端末11側の処理を示すフローチャートである。車載端末11のパラメータ抽出部12に、撮像画像D1、センサ情報D2、位置情報D3が入力されると(S01)、パラメータ抽出部12は、入力された撮像画像D1、センサ情報D2、および位置情報D3に基づいて複数のパラメータを抽出する(S02)。続いて、通信スループット予測部13は、複数のパラメータに基づいて、第1の通信スループット予測情報を生成する(S03)。
【0048】
制御部16は、第1の通信スループット予測情報と第2の通信スループット予測情報とを比較し、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値(閾値)以上であるかを判定する(S04)。第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である場合(S04:YES)、制御部16は、描画情報D4の種類が拡張現実情報であるか、ナビゲーション付加情報であるかを判定する(S05)。
【0049】
描画情報D4の種類が拡張現実情報である場合(S05:YES)、制御部16は、車載端末11の端末側送信部15から送信される撮像画像D1、センサ情報D2、および位置情報D3について、通信負荷が低い制御となるようにパラメータを調整して(S06)、送信データを生成する(S07)。送信データは、車載端末11の端末側送信部15によってサーバ20のサーバ側受信部21に送信される(S08)。第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上でない場合(S04:NO)および、描画情報D4の種類が拡張現実情報でない場合(S05:NO)には、制御部16は、撮像画像D1、センサ情報D2、および位置情報D3のパラメータを調整しない。
【0050】
図7は、第1の実施形態におけるサーバ20側の処理を示すフローチャートである。サーバ20のパラメータ抽出部22に、撮像画像D1、センサ情報D2、位置情報D3が入力されると(S11)、パラメータ抽出部22は、入力された撮像画像D1、センサ情報D2、および位置情報D3に基づいて複数のパラメータを抽出する(S12)。続いて、通信スループット予測部23は、複数のパラメータに基づいて、第1の通信スループット予測情報を生成する(S13)。
【0051】
制御部25は、第1の通信スループット予測情報と第2の通信スループット予測情報とを比較し、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上であるかを判定する(S14)。第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である場合(S14:YES)、制御部25は、描画情報D4の種類が拡張現実情報であるか、ナビゲーション付加情報であるかを判定する(S15)。
【0052】
描画情報D4の種類が拡張現実情報でない場合(S15:NO)、制御部25は、サーバ20のサーバ側送信部26から送信される描画情報D4について、通信負荷が低い制御となるようにパラメータを調整して(S16)、送信データを生成する(S17)。送信データは、サーバ20のサーバ側送信部26によって車載端末11の端末側受信部17に送信される(S18)。第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上でない場合(S14:NO)および、描画情報D4の種類が拡張現実情報である場合(S15:YES)には、制御部25は、描画情報D4のパラメータを調整しない。
【0053】
第1の実施形態に係る通信システム100によれば、車両10とサーバ20との間の将来の通信スループットを車両10側とサーバ20側で予測して、第1の通信スループット予測情報および第2の通信スループット予測情報を生成し、第1の通信スループット予測情報および第2の通信スループット予測情報に基づいて、車両10とサーバ20との通信における通信負荷を変更する。これにより、スループットが低下してから車両10とサーバ20との通信を制御する従来技術と比較して、シームレスに車両10とサーバ20との通信を制御することができ、ユーザビリティを向上させることができる。
【0054】
図8は、第2の実施形態に係る通信システム200の概略構成を示す機能ブロック図である。第2の実施形態において、第1の実施形態と異なる構成についてのみ説明し、第1の実施形態と同一の構成については同一の符号を付して説明を省略する。第2の実施形態に係る通信システム200の車載端末11は、第2の描画情報生成部としての描画情報生成部18を有する。描画情報生成部18は制御部16から受け取った情報に基づいて、地図情報に重畳する描画情報D4を生成し、重畳表示部14によって描画情報D4と撮像画像とを重畳して生成された提示情報D5がディスプレイ5またはHUD6に提示される(route2)。この場合、描画情報D4の生成がサーバ20を経由せずに車載端末11内で完結する、スタンドアローン制御となる。スタンドアローン制御は、通信負荷が低い制御の一例である。
【0055】
なお、第1の実施形態と同様に、描画情報D4がサーバ20側の描画情報生成部24によって生成されてもよい(route1)。すなわち、第2の実施形態では、描画情報D4がサーバ20側の描画情報生成部24によって生成される場合(route1)と、描画情報D4が車載端末11側の描画情報生成部18によって生成される場合(route2)とを切り替えることができる。
【0056】
図9(a)および(b)は、第2の実施形態における提示情報D5の一例を示す図である。
図9(a)には描画情報D4がサーバ20側で生成される場合について示されており、
図9(b)には描画情報D4が車載端末11側で生成される場合について示されている。ネットワークが安定している間は、
図9(a)に示すように描画情報D4がサーバ20側で生成されるが、ネットワークが不安定となると、
図9(b)に示すように「ネットワークが不安定です、一部機能をスタンドアローンで制御します。」というメッセージが車両10のユーザに対して表示され、描画情報D4が車載端末11側で生成される処理に切り替わる。
【0057】
図10は、第2の実施形態における通信制御の例を示す図である。
図10では、車両10について端末側送信部15および端末側受信部17のみが示され、サーバ2についてサーバ側送信部26およびサーバ側受信部21のみが示されており、他の構成要素は省略されている。制御部16は、第1の通信スループット予測情報と前記第2の通信スループット予測情報とを比較し、比較の結果、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態である場合に、インターネット30を介して車両10とサーバ20との間で行われる情報の送受信を停止する。この場合、車載端末11はスタンドアローン制御となり、描画情報D4の生成は車載端末11内で行われる。
【0058】
第2の実施形態に係る通信システム200によれば、車両10とサーバ20との間の将来の通信スループットを車両10側とサーバ20側で予測して、車両10とサーバ20との通信における通信負荷を変更する。これにより、スループットが低下してから車両10とサーバ20との通信を制御する従来技術と比較して、シームレスに車両10とサーバ20との通信を制御することができ、ユーザビリティを向上させることができる。
【0059】
第2の実施形態に係る通信システム200によれば、ネットワークが不安定である場合に、車載端末11はスタンドアローン制御となり、描画情報D4の生成は車載端末11内で行われる。したがって、ネットワークが著しく不安定である場合に車両10とサーバ20との通信をする必要がなくなり、ユーザビリティを向上させることができる。
【0060】
図11は、第3の実施形態に係る通信システム300の概略構成を示す機能ブロック図である。第3の実施形態において、第1の実施形態と異なる構成についてのみ説明し、第1の実施形態と同一の構成については同一の符号を付して説明を省略する。第3の実施形態に係る通信システム300の車載端末11は、自動運転制御部19を有する。車両10は、操舵機能7を有する。車両10は、自動運転車両である。車両10の操舵機能7は、ハンドル、アクセル、ブレーキなどの操舵機能である。第3の実施形態では、制御部16がユーザへの提示情報D5を生成してディスプレイなどに提示する。
図11において、ディスプレイなどの構成は省略している。
【0061】
自動運転制御部19は、制御部16から受け取った撮像画像D1、センサ情報D2、および位置情報D3に基づいて、自動運転指示情報D7を生成する。自動運転制御部19は車両の操舵機能7に接続されており、自動運転指示情報D7は、操舵機能7に伝達される。この場合、車両10は、自動運転指示情報D7に基づいてスタンドアローンの自動運転を行う(route2)。
【0062】
サーバ20は、遠隔運転制御部27を有する。遠隔運転制御部27は、車載端末11の端末側送信部15から送信される撮像画像D1、センサ情報D2、および位置情報D3に基づいて、遠隔運転指示情報D6を生成する。遠隔運転指示情報D6は、車載端末11の制御部16を介して車両10の操舵機能7に伝達され、車両10の操舵機能7は、遠隔運転指示情報D6に基づいて、車両10の遠隔自動運転を行う(route1)。
【0063】
以上のように、第3の実施形態では、自動運転指示情報D7に基づいて車両10がスタンドアローンの自動運転を行う場合(route2)と、遠隔運転指示情報D6に基づいて車両10が遠隔自動運転を行う場合(route1)とを切り替えることができる。
【0064】
図12(a)および(b)は、第3の実施形態における提示情報D5の一例を示す図である。
図12(a)には車両10が遠隔自動運転を行う場合について示されており、
図10(b)には車両10がスタンドアローンの自動運転を行う場合について示されている。ネットワークが安定している間は、
図12(a)に示すように車両10は遠隔自動運転を行っているが、ネットワークが不安定となると、
図12(b)に示すように「ネットワークが不安定です、スタンドアローン自動運転に切り替えます。」というメッセージが車両10のユーザに対して表示され、車両10はスタンドアローンの自動運転を行う。
【0065】
図13は、第3の実施形態における通信制御の例を示す図である。
図13では、車両10について端末側送信部15および端末側受信部17のみが示され、サーバ2についてサーバ側送信部26およびサーバ側受信部21のみが示されており、他の構成要素は省略されている。制御部16は、第1の通信スループット予測情報と前記第2の通信スループット予測情報とを比較し、比較の結果、第1の通信スループット予測情報と第2の通信スループット予測情報との乖離が予め定められた値以上である第1の状態である場合に、インターネット30を介して車両10とサーバ20との間で行われる情報の送受信を停止する。この場合、車両10はスタンドアローン制御となり、遠隔自動運転からスタンドアローンの自動運転に切り替わる。
【0066】
なお、第3の実施形態において、ネットワークが不安定となった場合に、「ネットワークが不安定です、手動運転に切り替えます。」というメッセージが車両10のユーザに対して表示され、遠隔自動運転から手動運転に切り替えてもよい。
【0067】
第3の実施形態に係る通信システム300によれば、車両10とサーバ20との間の将来の通信スループットを車両10側とサーバ20側で予測して、車両10とサーバ20との通信における通信負荷を変更する。これにより、スループットが低下してから車両10とサーバ20との通信を制御する従来技術と比較して、シームレスに車両10とサーバ20との通信を制御することができ、ユーザビリティを向上させることができる。
【0068】
第3の実施形態に係る通信システム300によれば、ネットワークが不安定である場合に、車載端末11はスタンドアローン制御となり、車両10はスタンドアローンの自動運転を行う。したがって、ネットワークが著しく不安定である場合に車両10とサーバ20との通信をする必要がなくなり、ユーザビリティを向上させることができる。
【0069】
上記実施形態において、制御部16は、第1の通信スループット予測情報と第2の通信スループット予測情報とを比較した。しかしながら、制御部16は、第1の通信スループット予測情報と比較する対象を、第2の通信スループット予測情報に代えて、予め定められた設定値としてもよい。同様に、制御部25は、第2の通信スループット予測情報と比較する対象を、第1の通信スループット予測情報に代えて、予め定められた設定値としてもよい。この場合、第1の通信スループット予測情報と予め定められた設定値との差、または、第2の通信スループット予測情報と予め定められた設定値との差が閾値を超えた場合に、ネットワークが不安定であると判定してもよい。
【0070】
上記実施形態において、重畳表示部14によってディスプレイ5またはHUD6に提示される提示情報D5は、ナビゲーション情報や、拡張現実(AR)ツアーの映像に限られず、例えば、ストリーミング型のビデオゲームであってもよい。この場合、上記実施形態と同様に、ネットワークが不安定となり、将来のスループットに解離(低下)が発生した場合は、スタンドアローンモードで映像を再生する機能を有していてもよい。また、将来の通信状態が不安定になることを、ユーザに事前に通知してもよい。これにより、ユーザビリティを向上させることができる。
【0071】
図14は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
【0072】
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
【0073】
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
【0074】
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ2226は、プログラムまたはデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
【0075】
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
【0076】
プログラムが、DVD-ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
【0077】
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【0078】
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
【0079】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0080】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
【0081】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0082】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0083】
2 カメラ、3 センサ、4 GPS、5 ディスプレイ、6 HUD、10 車両、11 車載端末、12 パラメータ抽出部、13 通信スループット予測部、14 重畳表示部、15 端末側送信部、16 制御部、17 端末側受信部、20 サーバ、21 サーバ側受信部、22 パラメータ抽出部、23 通信スループット予測部、24 描画情報生成部、25 制御部、26 サーバ側送信部、100 通信システム