特開 2022-170888 通信装置、通信方法、及び通信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022170888

(43)【公開日】2022-11-11

(54)【発明の名称】通信装置、通信方法、及び通信プログラム

(51)【国際特許分類】

   H04W 4/00 20180101AFI20221104BHJP

   H04W 4/30 20180101ALI20221104BHJP

   H04W 72/10 20090101ALI20221104BHJP

   H04W 72/08 20090101ALI20221104BHJP

   G08G 1/09 20060101ALI20221104BHJP

   H04N 21/238 20110101ALI20221104BHJP

   H04N 21/24 20110101ALI20221104BHJP

【ＦＩ】

H04W4/00 111

H04W4/30

H04W72/10

H04W72/08

G08G1/09 F

G08G1/09 V

H04N21/238

H04N21/24

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021077167

(22)【出願日】2021-04-30

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・プラネット・ホールディングス株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】伊東 孝紘

(72)【発明者】

【氏名】金子 直矢

【テーマコード（参考）】

5C164

5H181

5K067

【Ｆターム（参考）】

5C164SA21S

5C164SB21P

5C164SB41P

5C164TA14S

5C164YA21

5C164YA24

5H181AA01

5H181AA26

5H181BB04

5H181BB05

5H181CC04

5H181LL09

5H181MB02

5K067AA21

5K067EE04

5K067EE16

5K067EE24

5K067JJ12

5K067JJ17

(57)【要約】

【課題】移動体において得られる複数の映像ストリーミングデータを、データ品質の一律低下を回避しながら適切に送信すること。
【解決手段】移動体に搭載された通信装置は、複数の通信回線を介して外部装置と通信可能である。通信装置は、移動体に搭載された複数のカメラにより得られる複数の映像ストリーミングデータを取得する。通信装置は、複数の映像ストリーミングデータの優先順位を動的に設定し、また、複数の通信回線の優先順位を取得する。通信装置は、優先順位の高い映像ストリーミングデータが優先順位の高い通信回線に割り当てられるように、複数の映像ストリーミングデータと複数の通信回線との割り当て関係を設定する。そして、通信装置は、複数の映像ストリーミングデータを、それぞれに割り当てられた複数の通信回線を介して外部装置に送信する。
【選択図】図６

【特許請求の範囲】

【請求項1】

移動体に搭載され、複数の通信回線を介して外部装置と通信可能な通信装置であって、
コントローラを備え、
前記コントローラは、
前記移動体に搭載された複数のカメラにより得られる複数の映像ストリーミングデータを取得し、
前記複数の映像ストリーミングデータの優先順位を動的に設定し、
前記複数の通信回線の優先順位を取得し、
前記優先順位の高い映像ストリーミングデータが前記優先順位の高い通信回線に割り当てられるように、前記複数の映像ストリーミングデータと前記複数の通信回線との割り当て関係を設定し、
前記複数の映像ストリーミングデータを、それぞれに割り当てられた前記複数の通信回線を介して前記外部装置に送信する
通信装置。

【請求項2】

請求項１に記載の通信装置であって、
前記コントローラは、前記移動体の予定移動方向を反映した情報を取得し、前記移動体の前記予定移動方向に基づいて前記複数の映像ストリーミングデータの前記優先順位を動的に設定する
通信装置。

【請求項3】

請求項２に記載の通信装置であって、
前記コントローラは、前記予定移動方向により近い方向の映像ストリーミングデータの前記優先順位を、前記予定移動方向からより遠い方向の映像ストリーミングデータの前記優先順位よりも高く設定する
通信装置。

【請求項4】

請求項１に記載の通信装置であって、
特定物体は、人、自転車、他車両、信号機、及び標識のうち少なくとも一つを含み、
前記コントローラは、前記特定物体がより多く映っている映像ストリーミングデータの前記優先順位を、前記特定物体がより少なく映っている映像ストリーミングデータの前記優先順位よりも高く設定する
通信装置。

【請求項5】

請求項１乃至４のいずれか一項に記載の通信装置であって、
前記移動体の動作は、前記外部装置に送信された前記複数の映像ストリーミングデータに基づいて、遠隔オペレータによって遠隔で支援される
通信装置。

【請求項6】

請求項５に記載の通信装置であって、
前記コントローラは、前記遠隔オペレータの視線方向を示す情報を前記外部装置から取得し、前記遠隔オペレータの前記視線方向に基づいて前記複数の映像ストリーミングデータの前記優先順位を動的に設定する
通信装置。

【請求項7】

請求項６に記載の通信装置であって、
前記コントローラは、前記視線方向により近い方向の映像ストリーミングデータの前記優先順位を、前記視線方向からより遠い方向の映像ストリーミングデータの前記優先順位よりも高く設定する
通信装置。

【請求項8】

請求項１乃至７のいずれか一項に記載の通信装置であって、
前記コントローラは、通信コスト、通信速度、及び通信遅延のうち少なくとも一つに基づいて、前記複数の通信回線の前記優先順位を設定する
通信装置。

【請求項9】

複数の通信回線を介して移動体と外部装置との間で通信を行う通信方法であって、
前記移動体に搭載された複数のカメラにより得られる複数の映像ストリーミングデータを取得する処理と、
前記複数の映像ストリーミングデータの優先順位を動的に設定する処理と、
前記複数の通信回線の優先順位を取得する処理と、
前記優先順位の高い映像ストリーミングデータが前記優先順位の高い通信回線に割り当てられるように、前記複数の映像ストリーミングデータと前記複数の通信回線との割り当て関係を設定する処理と、
前記複数の映像ストリーミングデータを、それぞれに割り当てられた前記複数の通信回線を介して前記外部装置に送信する処理と
を含む
通信方法。

【請求項10】

移動体に搭載されたコンピュータにより実行される通信プログラムであって、
前記移動体は、複数の通信回線を介して外部装置と通信可能であり、
前記通信プログラムは、
前記移動体に搭載された複数のカメラにより得られる複数の映像ストリーミングデータを取得する処理と、
前記複数の映像ストリーミングデータの優先順位を動的に設定する処理と、
前記複数の通信回線の優先順位を取得する処理と、
前記優先順位の高い映像ストリーミングデータが前記優先順位の高い通信回線に割り当てられるように、前記複数の映像ストリーミングデータと前記複数の通信回線との割り当て関係を設定する処理と、
前記複数の映像ストリーミングデータを、それぞれに割り当てられた前記複数の通信回線を介して前記外部装置に送信する処理と
を前記コンピュータに実行させる
通信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動体に適用される通信技術に関する。

【背景技術】

【0002】

特許文献１は、車載通信装置を開示している。車載通信装置は、移動通信方式及びＷｉＦｉ通信方式の両方に対応している。車両の異常を検知した場合、車載通信装置は、車両走行状況を示す数値データ及び画像データを指定サーバに送信する。このとき、車載通信装置は、数値データを移動通信方式で送信し、画像データをＷｉＦｉ通信方式で送信する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１２０４４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両、ロボット等の移動体が複数のカメラにより得られる複数の映像ストリーミングデータを外部に送信する状況について考える。単一の通信回線を介して複数の映像ストリーミングデータが同時に送信される場合、その単一の通信回線の通信速度が低下すると、複数の映像ストリーミングデータの品質が一律に低下するおそれがある。

【0005】

本開示の１つの目的は、移動体において得られる複数の映像ストリーミングデータを、データ品質の一律低下を回避しながら適切に送信することができる技術を提供することにある。

【課題を解決するための手段】

【0006】

第１の観点は、移動体に搭載され、複数の通信回線を介して外部装置と通信可能な通信装置に関連する。
通信装置は、コントローラを備える。
コントローラは、
移動体に搭載された複数のカメラにより得られる複数の映像ストリーミングデータを取得し、
複数の映像ストリーミングデータの優先順位を動的に設定し、
複数の通信回線の優先順位を取得し、
優先順位の高い映像ストリーミングデータが優先順位の高い通信回線に割り当てられるように、複数の映像ストリーミングデータと複数の通信回線との割り当て関係を設定し、
複数の映像ストリーミングデータを、それぞれに割り当てられた複数の通信回線を介して外部装置に送信する。

【0007】

第２の観点は、複数の通信回線を介して移動体と外部装置との間で通信を行う通信方法に関連する。
通信方法は、
移動体に搭載された複数のカメラにより得られる複数の映像ストリーミングデータを取得する処理と、
複数の映像ストリーミングデータの優先順位を動的に設定する処理と、
複数の通信回線の優先順位を取得する処理と、
優先順位の高い映像ストリーミングデータが優先順位の高い通信回線に割り当てられるように、複数の映像ストリーミングデータと複数の通信回線との割り当て関係を設定する処理と、
複数の映像ストリーミングデータを、それぞれに割り当てられた複数の通信回線を介して外部装置に送信する処理と
を含む。

【0008】

第３の観点は、移動体に搭載されたコンピュータにより実行される通信プログラムに関連する。
移動体は、複数の通信回線を介して外部装置と通信可能である。
通信プログラムは、
移動体に搭載された複数のカメラにより得られる複数の映像ストリーミングデータを取得する処理と、
複数の映像ストリーミングデータの優先順位を動的に設定する処理と、
複数の通信回線の優先順位を取得する処理と、
優先順位の高い映像ストリーミングデータが優先順位の高い通信回線に割り当てられるように、複数の映像ストリーミングデータと複数の通信回線との割り当て関係を設定する処理と、
複数の映像ストリーミングデータを、それぞれに割り当てられた複数の通信回線を介して外部装置に送信する処理と
をコンピュータに実行させる。

【発明の効果】

【0009】

本開示によれば、移動体の通信装置は、複数の通信回線を使用可能である。移動体において取得された複数の映像ストリーミングデータは、複数の通信回線を介して移動体から外部装置に送信される。従って、複数の映像ストリーミングデータのデータ品質の一律低下を回避することが可能となる。

【0010】

更に、本開示によれば、複数の映像ストリーミングデータの優先順位が動的に設定される。そして、優先順位の高い映像ストリーミングデータは、優先順位の高い通信回線により送信される。従って、優先順位の高い映像ストリーミングデータの通信要件が優先的に確保される。すなわち、複数の映像ストリーミングデータを適切に外部装置に送信することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施の形態に係る通信システムの概要を示す概念図である。

【図2】本開示の実施の形態に係る通信システムの適用例を説明するための概念図である。

【図3】本開示の実施の形態に係る通信システムの構成例を示すブロック図である。

【図4】本開示の実施の形態に係る通信システムの具体例を示すブロック図である。

【図5】本開示の実施の形態に係る複数のカメラを搭載した移動体の一例を示す概念図である。

【図6】本開示の実施の形態に係る移動体に搭載された通信コントローラの機能構成例を示すブロック図である。

【図7】本開示の実施の形態に係る優先順位を考慮したストリーミング通信処理を示すフローチャートである。

【図8】本開示の実施の形態に係るストリーミング優先順位の動的設定の第１の例を説明するための概念図である。

【図9】本開示の実施の形態に係るストリーミング優先順位の動的設定の第１の例を説明するための概念図である。

【図10】本開示の実施の形態に係るストリーミング優先順位の動的設定の第２の例を説明するための概念図である。

【図11】本開示の実施の形態に係るストリーミング優先順位の動的設定の第３の例を説明するための概念図である。

【発明を実施するための形態】

【0012】

添付図面を参照して、本開示の実施の形態を説明する。

【0013】

１．通信システム
図１は、本実施の形態に係る通信システム１の概要を示す概念図である。通信システム１は、第１通信装置１０、第２通信装置２０、及び通信ネットワーク３０を含んでいる。第１通信装置１０と第２通信装置２０は、通信ネットワーク３０を介して互いに接続されている。第１通信装置１０と第２通信装置２０は、通信ネットワーク３０を介して互いに通信可能である。

【0014】

本実施の形態では、第１通信装置１０と第２通信装置２０のうち少なくとも一方が移動体に搭載される。移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。

【0015】

以下の説明では、第１通信装置１０の方が移動体１００に搭載される。第２通信装置２０は、移動体１００の外部の外部装置２００に搭載される。外部装置２００の種類は特に限定されない。例えば、外部装置２００は、移動体１００を管理する管理サーバである。他の例として、外部装置２００は、移動体１００の動作を遠隔で支援する遠隔支援装置であってもよい。更に他の例として、外部装置２００は、移動体１００とは別の移動体であってもよい。典型的には、移動体１００の第１通信装置１０と外部装置２００の第２通信装置２０は、無線通信を行う。但し、本実施の形態は無線通信に限定されない。

【0016】

図２は、本実施の形態に係る通信システム１の適用例を説明するための概念図である。図２に示される例では、通信システム１は、移動体１００の動作を遠隔で支援する「遠隔支援」に利用される。より詳細には、移動体１００にはカメラ１５０が搭載されている。カメラ１５０は、移動体１００の周囲の状況を撮像し、画像情報を取得する。第１通信装置１０は、画像情報を、外部装置２００の一種である遠隔支援装置２００Ａに送信する。遠隔支援装置２００Ａの第２通信装置２０は、移動体１００から画像情報を受け取る。遠隔支援装置２００Ａは、受け取った画像情報を表示装置２５０に表示する。遠隔オペレータは、表示装置２５０に表示される画像情報をみて、移動体１００の周囲の状況を把握し、移動体１００の動作を遠隔で支援する。遠隔オペレータによる遠隔支援としては、認識支援、判断支援、遠隔運転、等が挙げられる。遠隔オペレータによる指示は、第２通信装置２０から移動体１００の第１通信装置１０に送られる。移動体１００は、遠隔オペレータによる指示に従って動作する。

【0017】

移動体１００から外部装置２００には様々なストリーミングデータが送信され得る。例えば、図２で例示された遠隔支援の場合、カメラ１５０によって得られる映像ストリーミングデータが送信される。複数のカメラ１５０により得られる複数の映像ストリーミングデータが同時に送信される場合も考えられる。それに加えて、移動体１００に搭載されたマイクにより取得される音声ストリーミングデータが送信される場合も考えられる。

【0018】

本実施の形態に係る移動体１００の第１通信装置１０は、複数の通信回線を介して外部装置２００と通信可能なように構成される。同時に使用可能な通信回線数が増加するため、全体としての通信速度すなわちデータ品質を確保しやすくなる。第１通信装置１０は、複数の通信回線のうち必要な数の通信回線を用いて、ストリーミングデータを外部装置２００に送信する。

【0019】

図３は、本実施の形態に係る通信システム１の構成例を示すブロック図である。

【0020】

第１通信装置１０は、複数種類の通信方式に対応している。通信方式としては、移動体通信事業者（ＭＮＯ：Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋ Ｏｐｅｒａｔｏｒ）によって提供される通常のセルラー方式、仮想移動体通信事業者（ＭＶＮＯ：Ｍｏｂｉｌｅ Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｏｐｅｒａｔｏｒ）によって提供される安価なセルラー方式、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）方式、等が例示される。複数種類の通信方式間では通信コストが異なる。上記の例の場合、無線ＬＡＮ方式が最も安く、通常のセルラー方式が最も高い。

【0021】

図３に示されるように、第１通信装置１０は、複数の通信インタフェース１１及び通信コントローラ１２を含んでいる。

【0022】

複数の通信インタフェース１１は、通信ネットワーク３０に接続され、複数種類の通信方式のそれぞれに基づいて第２通信装置２０と通信を行う。例えば、第１通信インタフェース１１－１は、第１通信方式に基づいて通信を行う。第２通信インタフェース１１－２は、第１通信方式とは異なる第２通信方式に基づいて通信を行う。尚、複数の通信インタフェース１１は、それぞれ異なる物理インタフェースにより実現されてもよいし、共通の物理インタフェースと異なる論理インタフェースの組み合わせにより実現されてもよい。

【0023】

複数種類の通信方式のそれぞれに基づいて複数の通信回線が確立される。つまり、複数の通信回線は、複数種類の通信方式のそれぞれに対応する。複数の通信回線は、複数の通信インタフェース１１のそれぞれに対応していると言うこともできる。複数の通信インタフェース１１は、複数の通信回線のそれぞれを介して第２通信装置２０と通信を行う。例えば、第１通信インタフェース１１－１は、第１通信方式に基づく第１通信回線Ｃ１を介して通信を行う。第２通信インタフェース１１－２は、第２通信方式に基づく第２通信回線Ｃ２を介して通信を行う。

【0024】

通信コントローラ１２は、移動体１００上で動作する少なくとも１つのアプリが送受信するデータを制御するために設けられている。例えば、通信コントローラ１２は、少なくとも１つのアプリから外部装置２００（第２通信装置２０）に送信されるストリーミングデータを取得する。通信コントローラ１２は、ストリーミングデータを複数の通信インタフェース１１のうち使用するものに割り当てる。そして、通信コントローラ１２は、ストリーミングデータを、割り当てられた通信インタフェース１１（通信回線）を介して外部装置２００に送信する。

【0025】

また、通信コントローラ１２は、必要に応じて、ストリーミングデータの品質を低下させる輻輳制御を行う。例えば、ストリーミングデータが画像（動画）である場合、輻輳制御は、解像度あるいはフレームレートを低下させることによって画質を低下させる。他の例として、輻輳制御は、圧縮率を変えることによってストリーミングデータの品質を低下させてもよい。

【0026】

通信コントローラ１２は、例えば、コンピュータとコンピュータプログラムの協働により実現される。移動体１００は、プロセッサと記憶装置を含むコンピュータを備えている。通信コントローラ１２の機能を提供するコンピュータプログラムを、以下、「通信プログラムＰＲＯＧ」と呼ぶ。通信プログラムＰＲＯＧは記憶装置に格納される。プロセッサ（コンピュータ）が通信プログラムＰＲＯＧを実行することにより、通信コントローラ１２の機能が実現される。尚、通信プログラムＰＲＯＧは、コンピュータ読み取り可能な記録媒体に記録されてもよい。通信プログラムＰＲＯＧは、ネットワーク経由で提供されてもよい。

【0027】

第２通信装置２０は、ネットワークインタフェース２１及び通信コントローラ２２を含んでいる。ネットワークインタフェース２１は、通信ネットワーク３０に接続され、第１通信装置１０と通信を行う。

【0028】

通信コントローラ２２は、外部装置２００上で動作する少なくとも１つのアプリが送受信するデータを制御するために設けられている。例えば、通信コントローラ２２は、第１通信装置１０から送信されるストリーミングデータを、ネットワークインタフェース２１を介して受け取る。そして、通信コントローラ２２は、ストリーミングデータを宛先のアプリに出力する。

【0029】

通信コントローラ２２は、例えば、コンピュータとコンピュータプログラムの協働により実現される。外部装置２００は、プロセッサと記憶装置を含むコンピュータを備えている。コンピュータプログラムは記憶装置に格納される。プロセッサ（コンピュータ）がコンピュータプログラムを実行することにより、通信コントローラ２２の機能が実現される。

【0030】

図４は、本実施の形態に係る通信システム１の具体例を示すブロック図である。

【0031】

第１通信装置１０の複数の通信インタフェース１１は、無線ＬＡＮインタフェース１１－Ａ、安価セルラーインタフェース１１－Ｂ、及びセルラーインタフェース１１－Ｃを含んでいる。無線ＬＡＮインタフェース１１－Ａは、無線ＬＡＮ方式に基づく通信回線Ｃａを介して通信を行う。無線ＬＡＮインタフェース１１－Ａは、アクセスポイント３１－Ａを介して通信ネットワーク３２（例：ＷＡＮ）に接続される。安価セルラーインタフェース１１－Ｂは、安価なセルラー方式に基づく通信回線Ｃｂを介して通信を行う。安価セルラーインタフェース１１－Ｂは、セルラーネットワーク３１－Ｂを介して通信ネットワーク３２に接続される。セルラーインタフェース１１－Ｃは、通常のセルラー方式に基づく通信回線Ｃｃを介して通信を行う。セルラーインタフェース１１－Ｃは、セルラーネットワーク３１－Ｃを介して通信ネットワーク３２に接続される。

【0032】

図４に示される例の場合、無線ＬＡＮ方式に基づく通信回線Ｃａ、安価なセルラー方式に基づく通信回線Ｃｂ、通常のセルラー方式に基づく通信回線Ｃｃの順番に、通信コストは低い。

【0033】

２．優先順位を考慮したストリーミング通信処理
以下、移動体１００から外部装置２００に複数の映像ストリーミングデータが同時に送信される場合を考える。複数の映像ストリーミングデータは、移動体１００に搭載された複数のカメラ１５０により得られる。

【0034】

図５は、複数のカメラ１５０を搭載した移動体１００の一例を示している。図５に示される例では、移動体１００は車両である。その車両は、複数のカメラ１５０－Ａ～１５０－Ｃを備えている。前方カメラ１５０－Ａは、前方向を撮像するように設置されている。左方カメラ１５０－Ｂは、左方向を撮像するように設置されている。右方カメラ１５０－Ｃは、右方向を撮像するように設置されている。これら複数のカメラ１５０－Ａ～１５０－Ｃにより、車両の前方向、左方向、及び右方向のそれぞれの状況を示す複数の映像ストリーミングデータが得られる。

【0035】

仮に、単一の通信回線を介して複数の映像ストリーミングデータが同時に送信される場合、その単一の通信回線の通信速度が低下すると、複数の映像ストリーミングデータの品質が一律に低下するおそれがある。データ品質が一律に低下することは、映像ストリーミングデータの利用の観点から好ましくない。

【0036】

そこで、本実施の形態によれば、データ品質の一律低下を回避するために、複数の映像ストリーミングデータは複数の通信回線を介して移動体１００から外部装置２００に送信される。更に、本実施の形態によれば、複数の映像ストリーミングデータは、やみくもに複数の通信回線に割り当てられるのではなく、「優先順位」を考慮して複数の通信回線に割り当てられる。以下の説明において、「ストリーミング優先順位」は映像ストリーミングデータの優先順位であり、「回線優先順位」は通信回線の優先順位である。

【0037】

図６は、移動体１００に搭載された第１通信装置１０の通信コントローラ１２の機能構成例を示すブロック図である。通信コントローラ１２は、ストリーミング優先順位設定部１３、回線優先順位取得部１５、及び割当部１６を含んでいる。これら機能ブロックは、プロセッサが通信プログラムＰＲＯＧ（図３、図４参照）を実行することにより実現される。

【0038】

図７は、優先順位を考慮したストリーミング通信処理を示すフローチャートである。以下、図６及び図７を参照して、本実施の形態に係る優先順位を考慮したストリーミング通信処理について詳しく説明する。ここでは、一例として、複数の映像ストリーミングデータＳ１、Ｓ２、Ｓ３と複数の通信回線Ｃ１、Ｃ２、Ｃ３について考える。

【0039】

２－１．ステップＳ１０
ステップＳ１０において、通信コントローラ１２は、移動体１００に搭載された複数のカメラ１５０により得られる複数の映像ストリーミングデータＳ１～Ｓ３を取得する。

【0040】

２－２．ステップＳ２０
ステップＳ２０において、ストリーミング優先順位設定部１３は、複数の映像ストリーミングデータＳ１～Ｓ３のストリーミング優先順位を設定する。特に、ストリーミング優先順位設定部１３は、ストリーミング優先順位を“動的”に設定する。

【0041】

一例として、映像ストリーミングデータＳ１～Ｓ３が、遠隔支援装置２００Ａに送信され、遠隔オペレータによる遠隔支援に用いられる場合について考える（図２参照）。遠隔オペレータが複数の映像ストリーミングデータＳ１～Ｓ３のうちどれを主に注視するかは、移動体１００の状況等に応じて動的に変化し得る。その場合、映像ストリーミングデータＳ１～Ｓ３のストリーミング優先順位は、遠隔オペレータ（遠隔支援）の観点から映像ストリーミングデータＳ１～Ｓ３のそれぞれが必要とされる度合いに応じて動的に設定される。

【0042】

ストリーミング優先順位設定部１３において用いられる情報、及びストリーミング優先順位設定部１３による具体的な処理は、以下の通りである。

【0043】

映像ストリーミングデータＳ１～Ｓ３のヘッダには、識別情報が格納される。例えば、識別情報は、映像ストリーミングデータを取得したカメラ１５０の情報を示す。他の例として、識別情報は、映像ストリーミングデータの種類を示す。ストリーミング優先順位設定部１３は、識別情報に基づいて映像ストリーミングデータＳ１～Ｓ３を識別する。

【0044】

参照情報ＲＥＦは、ストリーミング優先順位設定部１３がストリーミング優先順位を動的に設定する際に参照する情報である。例えば、参照情報ＲＥＦは、動的に変化する移動体１００の状況を示す。そのような参照情報ＲＥＦは、例えば、移動体１００を制御する移動体制御部１１０から提供される。

【0045】

ポリシー情報１４は、どのような状況においてどのようにストリーミング優先順位を設定するかの「設定ポリシー」を示す情報である。言い換えれば、ポリシー情報１４は、参照情報ＲＥＦの内容と映像ストリーミングデータＳ１～Ｓ３のストリーミング優先順位とを関連付ける情報である。ポリシー情報１４は、予め作成され、通信コントローラ１２がアクセス可能な記憶装置に格納される。

【0046】

ストリーミング優先順位設定部１３は、ポリシー情報１４で示される設定ポリシーに従い、参照情報ＲＥＦで示される状況に応じてストリーミング優先順位を動的に設定する。ストリーミング優先順位の動的設定については様々な例が考えられる。すなわち、参照情報ＲＥＦ及び設定ポリシーについては様々な例が考えられる。ストリーミング優先順位の動的設定の様々な例は、後に詳しく説明される。

【0047】

２－３．ステップＳ３０
ステップＳ３０において、回線優先順位取得部１５は、複数の通信回線Ｃ１～Ｃ３の回線優先順位を取得する。

【0048】

例えば、回線優先順位は、各通信回線の通信コストの観点から予め決められる。この場合、通信コストが低いほど回線優先順位は高い。例えば、第１通信回線Ｃ１の通信コストが第２通信回線Ｃ２の通信コストよりも低い場合、第１通信回線Ｃ１の回線優先順位は、第２通信回線Ｃ２の回線優先順位よりも高く設定される（Ｃ１＞Ｃ２）。図４で示された例の場合、無線ＬＡＮ方式に基づく通信回線Ｃａ、安価なセルラー方式に基づく通信回線Ｃｂ、通常のセルラー方式に基づく通信回線Ｃｃの順番に、通信コストは低い。よって、通信回線Ｃａ、Ｃｂ、Ｃｃの順番で回線優先順位は高い（Ｃａ＞Ｃｂ＞Ｃｃ）。回線優先順位取得部１５は、通信コストの観点から予め決められた回線優先順位の情報を取得する。

【0049】

他の例として、回線優先順位は、各通信回線の通信速度の観点から設定される。この場合、通信速度が高いほど回線優先順位は高い。通信速度は、理論値、実測値、及び推定値のいずれであってもよい。例えば、通信速度として、スループットの実測値あるいは推定値が用いられる。スループットは、地域、時間、曜日等をパラメータとする推定モデルによって推定されてもよい。推定モデルは、ディープラーニングを通して作成されてもよい。スループットの計測方法あるいは推定方法としては、様々なものが提案されている。本実施の形態では、その手法は特に限定されない。回線優先順位取得部１５は、各通信回線の通信速度の情報を取得し、通信速度に基づいて回線優先順位を設定する。

【0050】

更に他の例として、回線優先順位は、各通信回線の通信遅延の観点から設定される。この場合、通信遅延が小さいほど回線優先順位は高い。通信遅延は、実測値であってもよいし、推定値であってもよい。通信遅延の計測方法あるいは推定方法としては、様々なものが提案されている。本実施の形態では、その手法は特に限定されない。回線優先順位取得部１５は、各通信回線の通信遅延の情報を取得し、通信遅延に基づいて回線優先順位を設定する。

【0051】

回線優先順位は、通信コスト、通信速度、及び通信遅延のうち２以上の組み合わせに基づいて設定されてもよい。例えば、次のような場合、第１通信回線Ｃ１の回線優先順位が最も高く、第３通信回線Ｃ３の回線優先順位が最も低い。
第１通信回線Ｃ１：通信コスト＝低、通信速度＝高、通信遅延＝低
第２通信回線Ｃ２：通信コスト＝中、通信速度＝高、通信遅延＝低
第３通信回線Ｃ３：通信コスト＝低、通信速度＝低、通信遅延＝高

【0052】

このように、回線優先順位取得部１５は、通信コスト、通信速度、及び通信遅延のうち少なくとも一つに基づいて、複数の通信回線Ｃ１～Ｃ３の回線優先順位を設定する。どの通信パラメータを優先して回線優先順位を設定するかは、ユーザから要求される「通信要件」に依存する。どの通信パラメータを優先して回線優先順位を設定するかは、ユーザによって指定されてもよい。

【0053】

２－４．ステップＳ４０
ステップＳ４０において、割当部１６は、複数の映像ストリーミングデータＳ１～Ｓ３と複数の通信回線Ｃ１～Ｃ３との割り当て関係を設定する。特に、割当部１６は、ストリーミング優先順位の高い映像ストリーミングデータが回線優先順位の高い通信回線に割り当てられるように、複数の映像ストリーミングデータＳ１～Ｓ３と複数の通信回線Ｃ１～Ｃ３との割り当て関係を設定する。

【0054】

一例として、ストリーミング優先順位がＳ１＞Ｓ２＞Ｓ３であり、回線優先順位がＣ１＞Ｃ２＞Ｃ３である場合を考える。この場合、割当部１６は、第１映像ストリーミングデータＳ１を第１通信回線Ｃ１に割り当て、第２映像ストリーミングデータＳ２を第２通信回線Ｃ２に割り当て、第３映像ストリーミングデータＳ３を第３通信回線Ｃ３に割り当てる。

【0055】

２－５．ステップＳ５０
ステップＳ４０において、通信コントローラ１２は、複数の映像ストリーミングデータＳ１～Ｓ３を、それぞれに割り当てられた通信回線Ｃ１～Ｃ３（通信インタフェース１１）を介して外部装置２００に送信する。

【0056】

２－６．効果
以上に説明されたように、本実施の形態によれば、移動体１００の第１通信装置１０は、複数の通信回線を使用可能である。移動体１００において取得された複数の映像ストリーミングデータは、複数の通信回線を介して移動体１００から外部装置２００に送信される。従って、複数の映像ストリーミングデータのデータ品質の一律低下を回避することが可能となる。

【0057】

更に、本実施の形態によれば、複数の映像ストリーミングデータのストリーミング優先順位が状況に応じて動的に設定される。そして、ストリーミング優先順位の高い映像ストリーミングデータは、回線優先順位の高い通信回線により送信される。従って、ストリーミング優先順位の高い映像ストリーミングデータの通信要件が優先的に確保される。すなわち、複数の映像ストリーミングデータを適切に外部装置２００に送信することが可能となる。

【0058】

例えば、複数の映像ストリーミングデータは、遠隔支援装置２００Ａに送信され、遠隔オペレータによる遠隔支援に用いられる（図２参照）。複数の映像ストリーミングデータのデータ品質の一律低下が回避され、また、優先順位の高い映像ストリーミングデータの通信要件が優先的に確保されるため、遠隔支援の精度が向上する。

【0059】

３．ストリーミング優先順位の動的設定の例
以下、本実施の形態に係るストリーミング優先順位の動的設定の様々な例について説明する。典型的には、ストリーミング優先順位は、遠隔支援（遠隔オペレータ）の観点から複数の映像ストリーミングデータのそれぞれが必要とされる度合いに応じて動的に設定される。

【0060】

３－１．第１の例
図８及び図９は、ストリーミング優先順位の動的設定の第１の例を説明するための概念図である。

【0061】

第１の例では、参照情報ＲＥＦは、「移動体１００の予定移動方向」を反映した情報である。例えば、移動体１００が車両である場合、参照情報ＲＥＦは、ハンドル操舵方向、ハンドル操舵角、ウィンカー情報、ギアポジション、及び車輪速うち少なくとも一つのを含む。他の例として、参照情報ＲＥＦは、移動体１００の現在位置と目標移動ルートを含んでいてもよい。そのような参照情報ＲＥＦは、移動体１００を制御する移動体制御部１１０から提供される。

【0062】

ストリーミング優先順位設定部１３は、移動体制御部１１０から参照情報ＲＥＦを取得し、取得した参照情報ＲＥＦに基づいて移動体１００の予定移動方向を把握する。そして、ストリーミング優先順位設定部１３は、移動体１００の予定移動方向に基づいて、複数の映像ストリーミングデータのストリーミング優先順位を動的に設定する。具体的には、ストリーミング優先順位設定部１３は、予定移動方向により近い方向の映像ストリーミングデータのストリーミング優先順位を、予定移動方向からより遠い方向の映像ストリーミングデータのストリーミング優先順位よりも高く設定する。

【0063】

図８に示される例では、移動体１００（車両）は、左折を行う予定、あるいは、左折を行っている最中であり、移動体１００の予定移動方向は左方向である。この場合、左方向を撮像する左方カメラ１５０－Ｂにより得られる映像ストリーミングデータが最も重要である。よって、左方カメラ１５０－Ｂにより得られる映像ストリーミングデータのストリーミング優先順位が最も高く設定される。一方、右方向を撮像する右方カメラ１５０－Ｃにより得られる映像ストリーミングデータのストリーミング優先順位は最も低く設定される。

【0064】

図９に示される例では、移動体１００（車両）は、前方向を撮像する前方カメラ１５０－Ａと後方向を撮像する後方カメラ１５０－Ｄを備えている。移動体１００が前進する場合、前方カメラ１５０－Ａにより得られる映像ストリーミングデータのストリーミング優先順位は、後方カメラ１５０－Ｄにより得られる映像ストリーミングデータのストリーミング優先順位よりも高く設定される。逆に、移動体１００が後退する場合、後方カメラ１５０－Ｄにより得られる映像ストリーミングデータのストリーミング優先順位は、前方カメラ１５０－Ａにより得られる映像ストリーミングデータのストリーミング優先順位よりも高く設定される。

【0065】

３－２．第２の例
図１０は、ストリーミング優先順位の動的設定の第２の例を説明するための概念図である。

【0066】

第２の例では、参照情報ＲＥＦは、「遠隔オペレータの視線方向」を示す。例えば、遠隔支援装置２００Ａは、遠隔オペレータの視線方向を検出するオペレータモニタ２２０を備えている。オペレータモニタ２２０は、遠隔オペレータの眼及び顔を撮像するカメラを含んでいる。オペレータモニタ２２０は、カメラにより撮像された遠隔オペレータの画像を解析することにより、遠隔オペレータの視線方向を検出する。そして、オペレータモニタ２２０は、遠隔オペレータの視線方向を示す視線情報ＬＯＳを生成する。遠隔支援装置２００Ａは、第２通信装置２０を介して、視線情報ＬＯＳを移動体１００に送信する。すなわち、遠隔支援装置２００Ａは、遠隔オペレータの視線方向を移動体１００にフィードバックする。

【0067】

移動体１００の通信コントローラ１２は、遠隔支援装置２００Ａから視線情報ＬＯＳを受け取る。ストリーミング優先順位設定部１３は、視線情報ＬＯＳを参照情報ＲＥＦとして取得し、遠隔オペレータの視線方向を把握する。そして、ストリーミング優先順位設定部１３は、遠隔オペレータの視線方向に基づいて、複数の映像ストリーミングデータのストリーミング優先順位を動的に設定する。具体的には、ストリーミング優先順位設定部１３は、視線方向により近い方向の映像ストリーミングデータのストリーミング優先順位を、視線方向からより遠い方向の映像ストリーミングデータのストリーミング優先順位よりも高く設定する。

【0068】

例えば、遠隔オペレータの視線方向が左方向である場合、左方向を撮像する左方カメラ１５０－Ｂにより得られる映像ストリーミングデータが最も重要である。よって、左方カメラ１５０－Ｂにより得られる映像ストリーミングデータのストリーミング優先順位が最も高く設定される。一方、右方向を撮像する右方カメラ１５０－Ｃにより得られる映像ストリーミングデータのストリーミング優先順位は最も低く設定される。

【0069】

３－３．第３の例
図１１は、ストリーミング優先順位の動的設定の第３の例を説明するための概念図である。

【0070】

第３の例では、各映像ストリーミングデータに映っている「特定物体」が考慮される。特定物体は、遠隔オペレータが注視する可能性が高い物体である。例えば、特定物体は、人、自転車、他車両、信号機、及び標識のうち少なくとも一つを含む。参照情報ＲＥＦは、各映像ストリーミングデータに映っている特定物体の種類及び数を示す。

【0071】

例えば、移動体制御部１１０が、複数のカメラ１５０により得られる複数の映像ストリーミングデータを取得する。移動体制御部１１０は、各映像ストリーミングデータを構成する画像情報を分析することによって物体認識を行い、参照情報ＲＥＦを取得する。そして、移動体制御部１１０は、参照情報ＲＥＦを通信コントローラ１２のストリーミング優先順位設定部１３に提供する。

【0072】

他の例として、ストリーミング優先順位設定部１３が、各映像ストリーミングデータを構成する画像情報を分析することによって物体認識を行い、参照情報ＲＥＦを取得してもよい。

【0073】

ストリーミング優先順位設定部１３は、特定物体がより多く映っている映像ストリーミングデータのストリーミング優先順位を、特定物体がより少なく映っている映像ストリーミングデータのストリーミング優先順位よりも高く設定する。特定物体の種類に応じた重み付けが行われてもよい。例えば、人、自転車、信号機の重みは比較的大きく設定される。

【0074】

図１１に示される例では、前方カメラ１５０－Ａにより得られる映像ストリーミングデータのストリーミング優先順位が最も高く設定される。一方、右方向を撮像する右方カメラ１５０－Ｃにより得られる映像ストリーミングデータのストリーミング優先順位は最も低く設定される。

【符号の説明】

【0075】

１ 通信システム
１０ 第１通信装置
１１ 通信インタフェース
１２ 通信コントローラ
１３ ストリーミング優先順位設定部
１４ ポリシー情報
１５ 回線優先順位取得部
１６ 割当部
２０ 第２通信装置
２１ ネットワークインタフェース
２２ 通信コントローラ
３０ 通信ネットワーク
１００ 移動体
１１０ 移動体制御部
１５０ カメラ
２００ 外部装置
２２０ オペレータモニタ
２５０ 表示装置
ＲＥＦ 参照情報
ＰＲＯＧ 通信プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】