特許 7590906 通信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-19

(45)【発行日】2024-11-27

(54)【発明の名称】通信システム

(51)【国際特許分類】

   H04N 21/2385 20110101AFI20241120BHJP

   G06T 19/00 20110101ALI20241120BHJP

   G08G 1/13 20060101ALI20241120BHJP

   G01C 21/26 20060101ALI20241120BHJP

   H04W 4/44 20180101ALI20241120BHJP

   H04W 28/02 20090101ALI20241120BHJP

   H04N 21/437 20110101ALI20241120BHJP

【ＦＩ】

H04N21/2385

G06T19/00 600

G08G1/13

G01C21/26 C

H04W4/44

H04W28/02

H04N21/437

【請求項の数】 13

(21)【出願番号】P 2021062087

(22)【出願日】2021-03-31

(65)【公開番号】P2022157709

(43)【公開日】2022-10-14

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】小嶋 祐登

(72)【発明者】

【氏名】対馬 孔聖

(72)【発明者】

【氏名】大塚 高廣

(72)【発明者】

【氏名】塚原 祥平

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１４－２０４２７０（ＪＰ，Ａ）

【文献】特開２０００－２７８３２０（ＪＰ，Ａ）

【文献】特開２００６－１７３９７３（ＪＰ，Ａ）

【文献】特開２０２０－１９９８３９（ＪＰ，Ａ）

【文献】特開２０１５－０２９２１８（ＪＰ，Ａ）

【文献】特開２００８－２０２９８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｇ０６Ｔ １９／００ － １９／２０

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｈ０４Ｗ ４／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

端末と、前記端末と通信するサーバとを備える通信システムであって、
前記端末は、
前記端末と前記サーバとの間の将来の通信スループットが予測された第１の通信スループット予測情報を出力する端末側通信予測部を有し、
前記サーバは、
前記端末と前記サーバとの間の前記将来の通信スループットが予測された第２の通信スループット予測情報を出力するサーバ側通信予測部を有し、
前記通信システムは、
前記第１の通信スループット予測情報と前記第２の通信スループット予測情報とに基づいて、通信負荷を変更する制御を実行する制御部を有する、
通信システム。

【請求項2】

前記制御部は、前記第１の通信スループット予測情報と前記第２の通信スループット予測情報とを比較し、
前記比較の結果、前記第１の通信スループット予測情報と前記第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態であるか、前記第１の通信スループット予測情報と前記第２の通信スループット予測情報との乖離が前記予め定められた値より小さい第２の状態であるかを判定する、
請求項１に記載の通信システム。

【請求項3】

前記通信システムは、
前記端末の外部環境の撮像を行い撮像画像を取得する撮像部をさらに有し、
前記端末は、
前記撮像画像および前記第１の通信スループット予測情報を前記サーバに送信する端末側送信部をさらに有する、
請求項２に記載の通信システム。

【請求項4】

前記サーバは、
前記撮像画像に基づいて、前記端末の前記外部環境の関連情報である描画情報を生成する描画情報生成部と、
前記描画情報および前記第２の通信スループット予測情報を前記端末に送信するサーバ側送信部と、
をさらに有し、
前記端末は、
前記描画情報が前記端末の前記外部環境に重畳された提示情報を表示する重畳表示部をさらに有する、
請求項３に記載の通信システム。

【請求項5】

前記制御部は、前記第１の状態であるときの前記描画情報のデータ量が、前記第２の状態であるときの前記描画情報のデータ量よりも小さくなるように、前記描画情報のデータ量を制御する、
請求項４に記載の通信システム。

【請求項6】

前記制御部は、前記第１の状態であるときの前記撮像画像のデータ量が、前記第２の状態であるときの前記撮像画像のデータ量よりも小さくなるように、前記撮像画像のデータ量を制御する、
請求項４または５に記載の通信システム。

【請求項7】

前記端末は車両に搭載され、
前記重畳表示部は、前記提示情報を前記車両の前記外部環境である風景に重畳して表示する、
請求項４から６のいずれか１項に記載の通信システム。

【請求項8】

前記描画情報は、前記車両のナビゲーション付加情報であり、
前記重畳表示部は、前記ナビゲーション付加情報が前記車両の前記外部環境である風景に重畳された前記提示情報を表示する、
請求項７に記載の通信システム。

【請求項9】

前記描画情報は、前記車両のナビゲーションにおける拡張現実情報であり、
前記重畳表示部は、前記拡張現実情報が前記車両の前記外部環境である風景に重畳された前記提示情報を表示する、
請求項７に記載の通信システム。

【請求項10】

前記端末は、
前記撮像画像に基づいて、前記端末の前記外部環境の関連情報である描画情報を生成する第２の描画情報生成部をさらに有し、
前記制御部は、前記第１の状態であるときに前記端末と前記サーバとの間の通信を停止し、
前記重畳表示部は、第２の描画情報生成部が生成した前記描画情報が前記端末の前記外部環境に重畳された前記提示情報を表示する、
請求項７から９のいずれか１項に記載の通信システム。

【請求項11】

前記車両は自動運転を行う自動運転車両であり、
前記制御部は、前記第１の状態であるときに前記車両の運転制御を遠隔運転制御からスタンドアローンの自動運転制御に切り替える、
請求項７から１０のいずれか１項に記載の通信システム。

【請求項12】

前記制御部は、前記端末が有する、
請求項１から１１のいずれか１項に記載の通信システム。

【請求項13】

前記制御部は、前記サーバが有する、
請求項１から１１のいずれか１項に記載の通信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システムに関する。

【背景技術】

【0002】

特許文献１には、「撮像対象を認識し、提示情報をリアルタイム性を欠くことなく高品位に提示できる情報提示システム」が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１６－８１２２５号公報

【発明の概要】

【0003】

本発明の第１の態様においては、端末と、端末と通信するサーバとを備える通信システムが提供される。端末は、端末とサーバとの間の将来の通信スループットが予測された第１の通信スループット予測情報を出力する端末側通信予測部を有する。サーバは、端末とサーバとの間の将来の通信スループットが予測された第２の通信スループット予測情報を出力するサーバ側通信予測部を有する。システムは、第１の通信スループット予測情報と第２の通信スループット予測情報とに基づいて、通信負荷を変更する制御を実行する制御部を有する。

【0004】

制御部は、第１の通信スループット予測情報と第２の通信スループット予測情報とを比較し、比較の結果、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態であるか、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値より小さい第２の状態であるかを判定してよい。

【0005】

通信システムは、端末の外部環境の撮像を行い撮像画像を取得する撮像部をさらに有し、端末は、撮像画像および第１の通信スループット予測情報をサーバに送信する端末側送信部をさらに有してよい。

【0006】

サーバは、撮像画像に基づいて、端末の外部環境の関連情報である描画情報を生成する描画情報生成部と、描画情報および第２の通信スループット予測情報を端末に送信するサーバ側送信部と、をさらに有し、端末は、描画情報が端末の外部環境に重畳された提示情報を表示する重畳表示部をさらに有してよい。

【0007】

制御部は、第１の状態であるときの描画情報のデータ量が、第２の状態であるときの描画情報のデータ量よりも小さくなるように、描画情報のデータ量を制御してよい。

【0008】

制御部は、第１の状態であるときの撮像画像のデータ量が、第２の状態であるときの撮像画像のデータ量よりも小さくなるように、撮像画像のデータ量を制御してよい。

【0009】

端末は車両に搭載され、重畳表示部は、提示情報を車両の外部環境である風景に重畳して表示してよい。

【0010】

描画情報は、車両のナビゲーション付加情報であり、重畳表示部は、ナビゲーション付加情報が車両の外部環境である風景に重畳された提示情報を表示してよい。

【0011】

描画情報は、車両のナビゲーションにおける拡張現実情報であり、重畳表示部は、拡張現実情報が車両の外部環境である風景に重畳された提示情報を表示してよい。

【0012】

端末は、撮像画像に基づいて、端末の外部環境の関連情報である描画情報を生成する第２の描画情報生成部をさらに有し、制御部は、第１の状態であるときに端末とサーバとの間の通信を停止し、重畳表示部は、第２の描画情報生成部が生成した描画情報が端末の外部環境に重畳された提示情報を表示してよい。

【0013】

車両は自動運転を行う自動運転車両であり、制御部は、第１の状態であるときに車両の運転制御を遠隔運転制御からスタンドアローンの自動運転制御に切り替えてよい。

【0014】

制御部は、端末が有してよい。

【0015】

制御部は、サーバが有してよい。

【0016】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0017】

【図1】第１の実施形態に係る通信システム１００の概略構成を示す機能ブロック図である。

【図2】（ａ）および（ｂ）は、第１の実施形態の第１の例における提示情報Ｄ５の一例を示す図である。

【図3】第１の実施形態における通信制御の第１の例を示す図である。

【図4】（ａ）および（ｂ）は、第１の実施形態の第２の例における提示情報Ｄ５の一例を示す図である。

【図5】第１の実施形態における通信制御の第２の例を示す図である。

【図6】第１の実施形態における車載端末１１側の処理を示すフローチャートである。

【図7】第１の実施形態におけるサーバ２０側の処理を示すフローチャートである。

【図8】第２の実施形態に係る通信システム２００の概略構成を示す機能ブロック図である。

【図9】（ａ）および（ｂ）は、第２の実施形態における提示情報Ｄ５の一例を示す図である。

【図10】第２の実施形態における通信制御の例を示す図である。

【図11】第３の実施形態に係る通信システム３００の概略構成を示す機能ブロック図である。

【図12】（ａ）および（ｂ）は、第３の実施形態における提示情報Ｄ５の一例を示す図である。

【図13】第３の実施形態における通信制御の例を示す図である。

【図14】コンピュータ２２００の例を示す。

【発明を実施するための形態】

【0018】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0019】

図１は、第１の実施形態に係る通信システム１００の概略構成を示す機能ブロック図である。通信システム１００は、車両１０およびサーバ２０を備える。車両１０とサーバ２０とはインターネット３０などのネットワークを介して互いに通信する。なお、車両１０はは複数台存在してもよく、サーバ２０は各々の車両１０との間で互いに独立に情報提示のための処理を並行して行うことができる。

【0020】

車両１０は、撮像部としてのカメラ２と、センサ３と、ＧＰＳ４と、ディスプレイ５と、ＨＵＤ（ヘッドアップディスプレイ）６と、車載端末１１と、を有する。車載端末１１は、パラメータ抽出部１２と、通信スループット予測部１３と、重畳表示部１４と、端末側送信部１５と、制御部１６と、端末側受信部１７と、を有する。サーバ２０は、サーバ側受信部２１と、パラメータ抽出部２２と、通信スループット予測部２３と、描画情報生成部２４と、制御部２５と、サーバ側送信部２６と、を有する。

【0021】

車載端末１１のパラメータ抽出部１２には、カメラ２と、センサ３と、ＧＰＳ４とから、それぞれ、撮像画像Ｄ１と、センサ情報Ｄ２と、車両１０の位置情報Ｄ３が入力される。パラメータ抽出部１２は、入力された撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３に基づいて複数のパラメータを抽出する。当該パラメータには、動画のフレームレート（ＦＰＳ）、動画または画像の解像度、圧縮度、または圧縮方法などが含まれる。パラメータ抽出部１２は、抽出したパラメータを通信スループット予測部１３に出力する。また、パラメータ抽出部１２は、撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３を制御部１６へ出力する。

【0022】

端末側通信予測部としての通信スループット予測部１３は、パラメータ抽出部１２から入力されたパラメータを使用して、車両１０とサーバ２０との間の将来の通信スループットが予測された第１の通信スループット予測情報を生成する。通信スループット予測部１３は、生成した第１のスループット予測情報を制御部１６へ出力する。通信スループット予測部１３は、現在の通信スループットに基づいて、将来の通信スループットを予測する。例えば、通信スループット予測部１３は、通信スループットの時系列データに基づいて、時系列データの予測モデルを同定する。同定する予測モデルは、過去の時系列データから未来の時系列データを予測できるモデルであれば、いかなるモデルであってよい。例えば、同定する予測モデルとしては、ＡＲモデル（ＡｕｔｏＲｅｇｒｅｓｓｉｖｅ Ｍｏｄｅｌ）等の時系列モデルや、Ｖａｓｉｃｅｋモデル等の確率微分方程式モデル等を例示することができる。一例として、Ｖａｓｉｃｅｋモデルを用いる場合、Ｖａｓｉｃｅｋモデルの確率微分方程式の一般解と、時系列データとを用いて、最尤推定法等の手法を用いて、Ｖａｓｉｃｅｋモデルの確率微分方程式の一般解のモデルパラメータを同定してよい。通信スループット予測部１３は、同定した予測モデルに基づいて、将来の通信スループットの時系列データの確率分布を算出する。通信スループット予測部１３は、将来の通信スループットの時系列データの確率分布に基づいて、将来の通信スループットを予測してよい。なお、通信スループット予測部１３は、ＴＣＰ通信等の通信プロトコルの通信開始後の過渡特性をモデル化した通信モデルに基づいて算出した補正率を用いて、過渡特性の影響を除去するよう時系列データを補正し、補正した時系列データに基づいて、時系列データの予測モデルを同定してもよい。

【0023】

なお、通信スループット予測部１３が外部から予測された将来のスループット情報を受信してもよい。例えば、通信スループット予測部１３は、車両１０の前方を走行する他の車両から受信したスループット情報や、Ｖ２Ｖ通信で受信したスループット情報を、第１のスループット予測情報として出力してもよい。

【0024】

端末側送信部１５は、撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３をサーバ２０のサーバ側受信部２１へと送信する。また、端末側送信部１５は、通信スループット予測部１３が生成した第１のスループット予測情報をサーバ２０のサーバ側受信部２１へと送信する。

【0025】

端末側受信部１７は、端末側送信部１５で送信した撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３および第１の通信スループット予測情報に対する応答としての描画情報Ｄ４をサーバ２０のサーバ側送信部２６から受信し、制御部１６に出力する。また、端末側受信部１７は、後述するサーバ２０の通信スループット予測部２３が生成した第２のスループット予測情報をサーバ側送信部２６から受信し、制御部１６に出力する。

【0026】

制御部１６は、第１の通信スループット予測情報と、第２の通信スループット予測情報とに基づいて、通信負荷を変更する制御をを実行する。通信負荷を変更する制御とは、送信するデータの解像度、圧縮率、分解能などを変更する制御をいう。例えば、制御部１６は、通信負荷が高い制御から通信負荷が低い制御に変更する。また、制御部１６は、通信負荷が低い制御から通信負荷が高い制御に変更する。制御部１６は、例えば、ネットワークが安定している間は、通信負荷が高い制御を行い、ネットワークが不安定である間は、通信負荷が低い制御を行う。ここで、通常時はネットワークが安定しており、制御部１６は通信負荷が高い制御を行うものとする。

【0027】

本実施形態において、通信負荷が高い制御とは、撮像画像Ｄ１については解像度が高く、圧縮率（通信のための符号化の際の圧縮率）が低い制御であり、センサ情報Ｄ２、位置情報Ｄ３については分解能が高い制御であって、送信する情報のデータ量が大きい制御を指す。通信負荷が低い制御とは、撮像画像Ｄ１については解像度が低く、圧縮率（通信のための符号化の際の圧縮率）が高い制御であり、センサ情報Ｄ２、位置情報Ｄ３については分解能が低い制御であって、送信する情報のデータ量が小さい制御を指す。なお、通信負荷が高い制御および低い制御は、解像度、圧縮率、分解能のいずれか１つに関する制御であってもよい。

【0028】

例えば、移動する車両１０がトンネルに入ったときに、車載端末１１の通信スループット予測部１３はトンネルに入ったことを認識しているため、将来の通信スループットが悪化することを予測しているが、サーバ２０側の通信スループット予測部２３は車両１０がトンネルに入ったことをまだ認識していないため、将来の通信スループットが悪化することを予測していない。このような場合に、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が生じる。このような特性を利用して、第１の実施形態では、制御部１６は、第１の通信スループット予測情報と第２の通信スループット予測情報とを比較し、比較の結果、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態であるか、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値より小さい第２の状態であるかを判定する。

【0029】

制御部１６は、判定結果に基づいて、撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３について、通信負荷を変更する制御を実行する。制御部１６は、変更する制御の通信負荷に基づいて、撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３のパラメータを調整して、端末側送信部１５に出力する。なお、制御部１６は、判定結果に基づいて、通信負荷が高い制御、通信負荷が中間の制御、または通信負荷が低い制御の３つの制御の変更を行ってもよい。

【0030】

また、制御部１６には端末側受信部１７から描画情報Ｄ４が入力され、当該入力された描画情報Ｄ４を外部環境としての地図情報に重畳することで提示情報Ｄ５を生成し、重畳表示部１４へ出力する。

【0031】

重畳表示部１４には、描画情報Ｄ４と車両１０の外部環境である地図情報とを重畳して生成された提示情報Ｄ５が制御部１６から入力され、重畳表示部１４は、提示情報Ｄ５をディスプレイ５またはＨＵＤ６に提示する。第１の実施形態の第１の例では、描画情報Ｄ４はナビゲーション付加情報であり、提示情報Ｄ５は地図情報にナビゲーション付加情報を重畳したものである。第１の実施形態の第２の例では、描画情報Ｄ４は車両の拡張現実ツアーにおける拡張現実情報であり、提示情報Ｄ５は地図情報に拡張現実情報を重畳したものである。

【0032】

サーバ側受信部２１は、端末側送信部１５から、撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３と、第１の通信スループット予測情報とを受信する。サーバ側受信部２１は、受信した撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３と、第１の通信スループット予測情報とを、サーバ２０のパラメータ抽出部２２へ出力する。また、サーバ側受信部２１は、受信した撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３を、描画情報生成部２４へ出力する。パラメータ抽出部２２は、入力された情報に基づいてパラメータを抽出する。

【0033】

サーバ側通信予測部としての通信スループット予測部２３は、パラメータ抽出部２２から入力されたパラメータを使用して、車両１０とサーバ２０との間の将来の通信スループットを予測して、第２の通信スループット予測情報を生成する。通信スループット予測部２３は、生成した第２のスループット予測情報を制御部２５へ出力する。通信スループット予測部２３は、通信スループット予測部１３と同様の手法を用いて将来の通信スループットを予測する。なお、通信スループット予測部２３は、外部から予測された将来のスループット情報を受信してもよい。例えば、通信スループット予測部２３は、地図情報から得られるスループットの実測値や、地図情報ＤＢ（データベース）として管理されたスループット情報を受信して、第２のスループット予測情報として出力してもよい。

【0034】

描画情報生成部２４は、サーバ側受信部２１から受信した撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３に基づいて、描画情報Ｄ４を生成する。第１の実施形態の第１の例では、描画情報Ｄ４はナビゲーション付加情報であり、第１の実施形態の第２の例では、描画情報Ｄ４は拡張現実情報である。描画情報生成部２４は、生成した描画情報Ｄ４を制御部２５に出力する。

【0035】

制御部２５は、車両１０から受け取った第１の通信スループット予測情報と第２の通信スループット予測情報とに基づいて、通信負荷を変更する制御を実行する。通信負荷を変更する制御とは、送信するデータの解像度、圧縮率、分解能などを変更する制御をいう。

【0036】

第１の実施形態において、制御部２５は、第１の通信スループット予測情報と第２の通信スループット予測情報とを比較し、比較の結果、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態であるか、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値より小さい第２の状態であるかを判定する。

【0037】

制御部２５は、判定結果に基づいて、描画情報Ｄ４について、通信負荷が高い制御と通信負荷が低い制御とを変更する。制御部１６は、変更する制御の通信負荷に基づいて、描画情報Ｄ４のパラメータを調整して、サーバ側送信部２６に出力する。

【0038】

サーバ側送信部２６は、描画情報Ｄ４を車載端末１１の端末側受信部１７へと送信する。また、サーバ側送信部２６は、通信スループット予測部２３が生成した第２のスループット予測情報を車載端末１１の端末側受信部１７へと送信する。

【0039】

図２（ａ）および（ｂ）は、第１の実施形態の第１の例における提示情報Ｄ５の一例を示す図である。図２（ａ）は描画情報Ｄ４が重畳される前の地図情報を示しており、図２（ｂ）は、地図情報に描画情報Ｄ４が重畳された後の提示情報Ｄ５を示している。第１の例は、車載端末１１が物体認識および動作予想を実行する例であり、描画情報Ｄ４はナビゲーション付加情報である。図２（ｂ）に示すように、描画情報Ｄ４としてのナビゲーション付加情報は、例えば、「人注意！」「飛出注意！」「次の交差点右」などの情報である。

【0040】

図３は、第１の実施形態における通信制御の第１の例を示す図である。図３では、車両１０について端末側送信部１５および端末側受信部１７のみが示され、サーバ２０についてサーバ側送信部２６およびサーバ側受信部２１のみが示されており、他の構成要素は省略されている。車両１０がトンネル内に入ったときなど、車両１０の電波環境が悪化すると、車載端末１１の通信スループット予測部１３が予測した第１の通信スループット予測情報と、サーバ２０の通信スループット予測部２３が予測した第２の通信スループット予測情報との間で乖離が生じる。

【0041】

上述したように第１の例は、車載端末１１が物体認識および動作予想を実行する例であり、物体認識および動作予想が正確にかつリアルタイムで実行されることがより重要である。したがって、制御部１６は、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態である場合、ネットワークが不安定であると判断するが、正確かつリアルタイムの物体認識および動作予想を行うために必要な情報である、撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３については、通信負荷が高い制御とする。したがって、制御部１６は、撮像画像Ｄ１、センサ情報Ｄ２、位置情報Ｄ３のパラメータを変更しない。

【0042】

一方で、第１の例において、地図情報に重畳する描画情報Ｄ４の画像のクオリティは重要ではない。したがって、サーバ２０の制御部２５は、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態である場合、サーバ側送信部２６から送信される描画情報Ｄ４について、通信負荷が低くなるようにパラメータを調整する。

【0043】

図４（ａ）および（ｂ）は、第１の実施形態の第２の例における提示情報Ｄ５の一例を示す図である。図４（ａ）は描画情報Ｄ４が重畳される前の地図情報を示しており、図４（ｂ）は、地図情報に描画情報Ｄ４が重畳された後の提示情報Ｄ５を示している。第２の例は、車載端末１１が拡張現実ツアーを実行する例であり、描画情報Ｄ４は拡張現実情報である。図４（ｂ）に示すように、描画情報Ｄ４としての拡張現実情報は、例えば、「恐竜のイラスト」や「猫のイラスト」である。

【0044】

図５は、第１の実施形態における通信制御の第２の例を示す図である。図５では、車両１０について端末側送信部１５および端末側受信部１７のみが示され、サーバ２についてサーバ側送信部２６およびサーバ側受信部２１のみが示されており、他の構成要素は省略されている。車両１０の電波環境が悪化すると、車載端末１１の通信スループット予測部１３が予測した第１の通信スループット予測情報と、サーバ２０の通信スループット予測部２３が予測した第２の通信スループット予測情報との間で乖離が生じる。

【0045】

上述したように、第２の例は車載端末１１が拡張現実ツアーを実行する例であり、物体認識および動作予想が正確にかつリアルタイムで実行されることは比較的重要ではない。したがって、制御部１６は、第１の通信スループット予測情報と前記第２の通信スループット予測情報とを比較し、比較の結果、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態である場合に、車載端末１１の端末側送信部１５から送信される撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３については、通信負荷が低い制御に変更する。なお、撮像画像Ｄ１、センサ情報Ｄ２、位置情報Ｄ３ごとに通信負荷の差を設けてもよく、例えば、センサ情報Ｄ２の通信負荷に比べて撮像画像Ｄ１の通信負荷が低くなるように変更する制御をしてもよい。

【0046】

一方で、第２の例において、地図情報に重畳する描画情報Ｄ４の画像のクオリティは重要である。したがって、制御部２５は、サーバ２０のサーバ側送信部２６から送信される描画情報Ｄ４については、通信負荷が高い制御に設定する。したがって、制御部１６は、描画情報Ｄ４のパラメータを特に変更せず、解像度が高く、圧縮率が低いままとする。

【0047】

図６は、第１の実施形態における車載端末１１側の処理を示すフローチャートである。車載端末１１のパラメータ抽出部１２に、撮像画像Ｄ１、センサ情報Ｄ２、位置情報Ｄ３が入力されると（Ｓ０１）、パラメータ抽出部１２は、入力された撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３に基づいて複数のパラメータを抽出する（Ｓ０２）。続いて、通信スループット予測部１３は、複数のパラメータに基づいて、第１の通信スループット予測情報を生成する（Ｓ０３）。

【0048】

制御部１６は、第１の通信スループット予測情報と第２の通信スループット予測情報とを比較し、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値（閾値）以上であるかを判定する（Ｓ０４）。第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である場合（Ｓ０４：ＹＥＳ）、制御部１６は、描画情報Ｄ４の種類が拡張現実情報であるか、ナビゲーション付加情報であるかを判定する（Ｓ０５）。

【0049】

描画情報Ｄ４の種類が拡張現実情報である場合（Ｓ０５：ＹＥＳ）、制御部１６は、車載端末１１の端末側送信部１５から送信される撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３について、通信負荷が低い制御となるようにパラメータを調整して（Ｓ０６）、送信データを生成する（Ｓ０７）。送信データは、車載端末１１の端末側送信部１５によってサーバ２０のサーバ側受信部２１に送信される（Ｓ０８）。第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上でない場合（Ｓ０４：ＮＯ）および、描画情報Ｄ４の種類が拡張現実情報でない場合（Ｓ０５：ＮＯ）には、制御部１６は、撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３のパラメータを調整しない。

【0050】

図７は、第１の実施形態におけるサーバ２０側の処理を示すフローチャートである。サーバ２０のパラメータ抽出部２２に、撮像画像Ｄ１、センサ情報Ｄ２、位置情報Ｄ３が入力されると（Ｓ１１）、パラメータ抽出部２２は、入力された撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３に基づいて複数のパラメータを抽出する（Ｓ１２）。続いて、通信スループット予測部２３は、複数のパラメータに基づいて、第１の通信スループット予測情報を生成する（Ｓ１３）。

【0051】

制御部２５は、第１の通信スループット予測情報と第２の通信スループット予測情報とを比較し、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上であるかを判定する（Ｓ１４）。第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である場合（Ｓ１４：ＹＥＳ）、制御部２５は、描画情報Ｄ４の種類が拡張現実情報であるか、ナビゲーション付加情報であるかを判定する（Ｓ１５）。

【0052】

描画情報Ｄ４の種類が拡張現実情報でない場合（Ｓ１５：ＮＯ）、制御部２５は、サーバ２０のサーバ側送信部２６から送信される描画情報Ｄ４について、通信負荷が低い制御となるようにパラメータを調整して（Ｓ１６）、送信データを生成する（Ｓ１７）。送信データは、サーバ２０のサーバ側送信部２６によって車載端末１１の端末側受信部１７に送信される（Ｓ１８）。第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上でない場合（Ｓ１４：ＮＯ）および、描画情報Ｄ４の種類が拡張現実情報である場合（Ｓ１５：ＹＥＳ）には、制御部２５は、描画情報Ｄ４のパラメータを調整しない。

【0053】

第１の実施形態に係る通信システム１００によれば、車両１０とサーバ２０との間の将来の通信スループットを車両１０側とサーバ２０側で予測して、第１の通信スループット予測情報および第２の通信スループット予測情報を生成し、第１の通信スループット予測情報および第２の通信スループット予測情報に基づいて、車両１０とサーバ２０との通信における通信負荷を変更する。これにより、スループットが低下してから車両１０とサーバ２０との通信を制御する従来技術と比較して、シームレスに車両１０とサーバ２０との通信を制御することができ、ユーザビリティを向上させることができる。

【0054】

図８は、第２の実施形態に係る通信システム２００の概略構成を示す機能ブロック図である。第２の実施形態において、第１の実施形態と異なる構成についてのみ説明し、第１の実施形態と同一の構成については同一の符号を付して説明を省略する。第２の実施形態に係る通信システム２００の車載端末１１は、第２の描画情報生成部としての描画情報生成部１８を有する。描画情報生成部１８は制御部１６から受け取った情報に基づいて、地図情報に重畳する描画情報Ｄ４を生成し、重畳表示部１４によって描画情報Ｄ４と撮像画像とを重畳して生成された提示情報Ｄ５がディスプレイ５またはＨＵＤ６に提示される（ｒｏｕｔｅ２）。この場合、描画情報Ｄ４の生成がサーバ２０を経由せずに車載端末１１内で完結する、スタンドアローン制御となる。スタンドアローン制御は、通信負荷が低い制御の一例である。

【0055】

なお、第１の実施形態と同様に、描画情報Ｄ４がサーバ２０側の描画情報生成部２４によって生成されてもよい（ｒｏｕｔｅ１）。すなわち、第２の実施形態では、描画情報Ｄ４がサーバ２０側の描画情報生成部２４によって生成される場合（ｒｏｕｔｅ１）と、描画情報Ｄ４が車載端末１１側の描画情報生成部１８によって生成される場合（ｒｏｕｔｅ２）とを切り替えることができる。

【0056】

図９（ａ）および（ｂ）は、第２の実施形態における提示情報Ｄ５の一例を示す図である。図９（ａ）には描画情報Ｄ４がサーバ２０側で生成される場合について示されており、図９（ｂ）には描画情報Ｄ４が車載端末１１側で生成される場合について示されている。ネットワークが安定している間は、図９（ａ）に示すように描画情報Ｄ４がサーバ２０側で生成されるが、ネットワークが不安定となると、図９（ｂ）に示すように「ネットワークが不安定です、一部機能をスタンドアローンで制御します。」というメッセージが車両１０のユーザに対して表示され、描画情報Ｄ４が車載端末１１側で生成される処理に切り替わる。

【0057】

図１０は、第２の実施形態における通信制御の例を示す図である。図１０では、車両１０について端末側送信部１５および端末側受信部１７のみが示され、サーバ２についてサーバ側送信部２６およびサーバ側受信部２１のみが示されており、他の構成要素は省略されている。制御部１６は、第１の通信スループット予測情報と前記第２の通信スループット予測情報とを比較し、比較の結果、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態である場合に、インターネット３０を介して車両１０とサーバ２０との間で行われる情報の送受信を停止する。この場合、車載端末１１はスタンドアローン制御となり、描画情報Ｄ４の生成は車載端末１１内で行われる。

【0058】

第２の実施形態に係る通信システム２００によれば、車両１０とサーバ２０との間の将来の通信スループットを車両１０側とサーバ２０側で予測して、車両１０とサーバ２０との通信における通信負荷を変更する。これにより、スループットが低下してから車両１０とサーバ２０との通信を制御する従来技術と比較して、シームレスに車両１０とサーバ２０との通信を制御することができ、ユーザビリティを向上させることができる。

【0059】

第２の実施形態に係る通信システム２００によれば、ネットワークが不安定である場合に、車載端末１１はスタンドアローン制御となり、描画情報Ｄ４の生成は車載端末１１内で行われる。したがって、ネットワークが著しく不安定である場合に車両１０とサーバ２０との通信をする必要がなくなり、ユーザビリティを向上させることができる。

【0060】

図１１は、第３の実施形態に係る通信システム３００の概略構成を示す機能ブロック図である。第３の実施形態において、第１の実施形態と異なる構成についてのみ説明し、第１の実施形態と同一の構成については同一の符号を付して説明を省略する。第３の実施形態に係る通信システム３００の車載端末１１は、自動運転制御部１９を有する。車両１０は、操舵機能７を有する。車両１０は、自動運転車両である。車両１０の操舵機能７は、ハンドル、アクセル、ブレーキなどの操舵機能である。第３の実施形態では、制御部１６がユーザへの提示情報Ｄ５を生成してディスプレイなどに提示する。図１１において、ディスプレイなどの構成は省略している。

【0061】

自動運転制御部１９は、制御部１６から受け取った撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３に基づいて、自動運転指示情報Ｄ７を生成する。自動運転制御部１９は車両の操舵機能７に接続されており、自動運転指示情報Ｄ７は、操舵機能７に伝達される。この場合、車両１０は、自動運転指示情報Ｄ７に基づいてスタンドアローンの自動運転を行う（ｒｏｕｔｅ２）。

【0062】

サーバ２０は、遠隔運転制御部２７を有する。遠隔運転制御部２７は、車載端末１１の端末側送信部１５から送信される撮像画像Ｄ１、センサ情報Ｄ２、および位置情報Ｄ３に基づいて、遠隔運転指示情報Ｄ６を生成する。遠隔運転指示情報Ｄ６は、車載端末１１の制御部１６を介して車両１０の操舵機能７に伝達され、車両１０の操舵機能７は、遠隔運転指示情報Ｄ６に基づいて、車両１０の遠隔自動運転を行う（ｒｏｕｔｅ１）。

【0063】

以上のように、第３の実施形態では、自動運転指示情報Ｄ７に基づいて車両１０がスタンドアローンの自動運転を行う場合（ｒｏｕｔｅ２）と、遠隔運転指示情報Ｄ６に基づいて車両１０が遠隔自動運転を行う場合（ｒｏｕｔｅ１）とを切り替えることができる。

【0064】

図１２（ａ）および（ｂ）は、第３の実施形態における提示情報Ｄ５の一例を示す図である。図１２（ａ）には車両１０が遠隔自動運転を行う場合について示されており、図１０（ｂ）には車両１０がスタンドアローンの自動運転を行う場合について示されている。ネットワークが安定している間は、図１２（ａ）に示すように車両１０は遠隔自動運転を行っているが、ネットワークが不安定となると、図１２（ｂ）に示すように「ネットワークが不安定です、スタンドアローン自動運転に切り替えます。」というメッセージが車両１０のユーザに対して表示され、車両１０はスタンドアローンの自動運転を行う。

【0065】

図１３は、第３の実施形態における通信制御の例を示す図である。図１３では、車両１０について端末側送信部１５および端末側受信部１７のみが示され、サーバ２についてサーバ側送信部２６およびサーバ側受信部２１のみが示されており、他の構成要素は省略されている。制御部１６は、第１の通信スループット予測情報と前記第２の通信スループット予測情報とを比較し、比較の結果、第１の通信スループット予測情報と第２の通信スループット予測情報との乖離が予め定められた値以上である第１の状態である場合に、インターネット３０を介して車両１０とサーバ２０との間で行われる情報の送受信を停止する。この場合、車両１０はスタンドアローン制御となり、遠隔自動運転からスタンドアローンの自動運転に切り替わる。

【0066】

なお、第３の実施形態において、ネットワークが不安定となった場合に、「ネットワークが不安定です、手動運転に切り替えます。」というメッセージが車両１０のユーザに対して表示され、遠隔自動運転から手動運転に切り替えてもよい。

【0067】

第３の実施形態に係る通信システム３００によれば、車両１０とサーバ２０との間の将来の通信スループットを車両１０側とサーバ２０側で予測して、車両１０とサーバ２０との通信における通信負荷を変更する。これにより、スループットが低下してから車両１０とサーバ２０との通信を制御する従来技術と比較して、シームレスに車両１０とサーバ２０との通信を制御することができ、ユーザビリティを向上させることができる。

【0068】

第３の実施形態に係る通信システム３００によれば、ネットワークが不安定である場合に、車載端末１１はスタンドアローン制御となり、車両１０はスタンドアローンの自動運転を行う。したがって、ネットワークが著しく不安定である場合に車両１０とサーバ２０との通信をする必要がなくなり、ユーザビリティを向上させることができる。

【0069】

上記実施形態において、制御部１６は、第１の通信スループット予測情報と第２の通信スループット予測情報とを比較した。しかしながら、制御部１６は、第１の通信スループット予測情報と比較する対象を、第２の通信スループット予測情報に代えて、予め定められた設定値としてもよい。同様に、制御部２５は、第２の通信スループット予測情報と比較する対象を、第１の通信スループット予測情報に代えて、予め定められた設定値としてもよい。この場合、第１の通信スループット予測情報と予め定められた設定値との差、または、第２の通信スループット予測情報と予め定められた設定値との差が閾値を超えた場合に、ネットワークが不安定であると判定してもよい。

【0070】

上記実施形態において、重畳表示部１４によってディスプレイ５またはＨＵＤ６に提示される提示情報Ｄ５は、ナビゲーション情報や、拡張現実（ＡＲ）ツアーの映像に限られず、例えば、ストリーミング型のビデオゲームであってもよい。この場合、上記実施形態と同様に、ネットワークが不安定となり、将来のスループットに解離（低下）が発生した場合は、スタンドアローンモードで映像を再生する機能を有していてもよい。また、将来の通信状態が不安定になることを、ユーザに事前に通知してもよい。これにより、ユーザビリティを向上させることができる。

【0071】

図１４は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

【0072】

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

【0073】

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

【0074】

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

【0075】

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

【0076】

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0077】

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0078】

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0079】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0080】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

【0081】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0082】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0083】

２ カメラ、３ センサ、４ ＧＰＳ、５ ディスプレイ、６ ＨＵＤ、１０ 車両、１１ 車載端末、１２ パラメータ抽出部、１３ 通信スループット予測部、１４ 重畳表示部、１５ 端末側送信部、１６ 制御部、１７ 端末側受信部、２０ サーバ、２１ サーバ側受信部、２２ パラメータ抽出部、２３ 通信スループット予測部、２４ 描画情報生成部、２５ 制御部、２６ サーバ側送信部、１００ 通信システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】