IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特開2022-191249通信制御方法、通信装置、及びプログラム
<>
  • 特開-通信制御方法、通信装置、及びプログラム 図1
  • 特開-通信制御方法、通信装置、及びプログラム 図2
  • 特開-通信制御方法、通信装置、及びプログラム 図3
  • 特開-通信制御方法、通信装置、及びプログラム 図4
  • 特開-通信制御方法、通信装置、及びプログラム 図5
  • 特開-通信制御方法、通信装置、及びプログラム 図6
  • 特開-通信制御方法、通信装置、及びプログラム 図7
  • 特開-通信制御方法、通信装置、及びプログラム 図8
  • 特開-通信制御方法、通信装置、及びプログラム 図9
  • 特開-通信制御方法、通信装置、及びプログラム 図10
  • 特開-通信制御方法、通信装置、及びプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022191249
(43)【公開日】2022-12-27
(54)【発明の名称】通信制御方法、通信装置、及びプログラム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20221220BHJP
   G08G 1/09 20060101ALI20221220BHJP
   G08G 1/00 20060101ALI20221220BHJP
   G05D 1/00 20060101ALI20221220BHJP
   G16Y 10/40 20200101ALI20221220BHJP
   G16Y 10/75 20200101ALI20221220BHJP
   G16Y 40/10 20200101ALI20221220BHJP
【FI】
G08G1/16 A
G08G1/09 F
G08G1/00 X
G05D1/00 B
G16Y10/40
G16Y10/75
G16Y40/10
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022149760
(22)【出願日】2022-09-21
(62)【分割の表示】P 2020554818の分割
【原出願日】2019-09-24
(31)【優先権主張番号】P 2018205344
(32)【優先日】2018-10-31
(33)【優先権主張国・地域又は機関】JP
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.3GPP
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】小林 航生
(72)【発明者】
【氏名】岩井 孝法
(57)【要約】      (修正有)
【課題】車両等において取得された重要度の高いセンサ情報の品質を高く維持して、重要度の高いデータを遠隔装置等へ送信することができる通信装置を提供すること。
【解決手段】本開示にかかる通信装置(10)は、移動体を基点に、互いに異なる方向の状態を検出可能に移動体に設置された2以上のセンサを用いて検出されたセンサ情報を送信する通信部(11)と、移動体の移動状態を認識する移動状態認識部(12)と、移動体の周辺状態を認識する周辺状態認識部(13)と、移動状態及び周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部(14)と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
移動体を制御する情報に応じて、前記移動体の移動状態を予測することと、
前記移動体の周辺状態を認識することと、
前記予測された移動状態及び前記周辺状態に基づいて、移動体を基点に互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサそれぞれの優先度を特定することと、
前記優先度に応じて、前記2以上のセンサの通信を制御することと、
を備える通信制御方法。
【請求項2】
前記移動体の周辺状態を認識することにおいて、前記移動体の現在位置及び進行方向に応じて予測される、前記2以上のセンサのうち少なくとも1つのセンサの周辺状態を認識する、
請求項1に記載の通信制御方法。
【請求項3】
前記移動体の周辺状態を認識することにおいて、前記2以上のセンサから取得した情報に応じて予測される、前記2以上のセンサのうち少なくとも1つのセンサの周辺状態を認識する、
請求項1に記載の通信制御方法。
【請求項4】
前記移動体の周辺状態を認識することにおいて、前記2以上のセンサそれぞれから送信されるデータのトラヒック特性に応じて、前記周辺状態を認識する、
請求項1に記載の通信制御方法。
【請求項5】
前記2以上のセンサは、カメラを含み、
前記移動体の周辺状態を認識することにおいて、前記カメラにより撮影された画像の解析結果に応じて、前記周辺状態を認識する、請求項1に記載の通信制御方法。
【請求項6】
通信に用いる帯域を測定するために送信されたパケットへの応答に基づいて、前記2以上のセンサそれぞれの優先度に応じて前記2以上のセンサ情報の送信時に割当てる帯域を特定すること、
をさらに備える請求項1から5のいずれか1項に記載の通信制御方法。
【請求項7】
前記移動体を制御する情報は、前記移動体の走行を制御するソフトウェアから取得される、
請求項1から6のいずれか1項に記載の通信制御方法。
【請求項8】
前記2以上のセンサの通信を制御することにおいて、前記予測された移動状態及び前記周辺状態に基づいて決定された前記2以上のセンサそれぞれの優先度に応じて、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように前記2以上のセンサの通信を制御する、
請求項1から7のいずれか1項に記載の通信制御方法。
【請求項9】
移動体を制御する情報に応じて、前記移動体の移動状態を予測し、
前記移動体の周辺状態を認識し、
前記予測された移動状態及び前記周辺状態に基づいて、移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサそれぞれの優先度を特定し、
前記優先度に応じて、前記2以上のセンサの通信を制御する、
通信装置。
【請求項10】
移動体を制御する情報に応じて、前記移動体の移動状態を予測し、
前記移動体の周辺状態を認識し、
前記予測された移動状態及び前記周辺状態に基づいて、移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサそれぞれの優先度を特定し、
前記優先度に応じて、前記2以上のセンサの通信を制御する、
ことをコンピュータに実行させるプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、通信装置、通信制御方法、及びプログラムに関する。
【背景技術】
【0002】
近年、自動運転車の技術開発が進み、公道における自動運転車の走行実験が進められている。自動運転車には通常、歩行者の有無、もしくは他車両の有無等の周辺状態を認識するための各種センサが搭載されている。各種センサは、例えば、カメラもしくはレーダ等である。各種センサにおいて検出された情報は、運転制御に利用される。
【0003】
特許文献1には、自動運転制御装置が、自動運転車両周辺においてオブジェクトを検出した場合に、オブジェクトに関するメタ情報(オブジェクトコード、オブジェクトのサイズ情報、オブジェクトの位置情報など)を遠隔制御装置へ送信することが記載されている。自動運転制御装置は、複数のオブジェクトが検出された場合、重要度の高いオブジェクトに関するメタ情報から順番に遠隔制御装置へ送信する。自動運転車両に近いオブジェクトほど重要度が高くなる。
【0004】
また、特許文献2には、車両に搭載された車載カメラにおいて撮影された画像をサーバが収集するシステム、が記載されている。車両に搭載された車載カメラは、特定の対象物を撮影するためにサーバから指示された撮影地点及び撮影方向等に基づいて、動画撮影を開始する。車載カメラにおいて動画撮影が開始される際に、複数の車載カメラの映像ビットレートが決定される。それぞれの車載カメラに割り当てられる映像ビットレートは、車両の位置もしくは進行方向等を考慮して決定される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2018-142921号公報
【特許文献2】特開2016-134816号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1においては、複数のオブジェクトが検出された場合に、自動運転制御装置は、重要度の高いオブジェクトを判断し、重要度の高いオブジェクトのメタ情報から順番に送信することができる。特許文献1に開示された方法では、オブジェクト単位の重要度を判断することは可能であるが、車載カメラなどセンサ単位の重要度は判断することができない。そのため、メタ情報ではなく映像データ等のセンサ情報そのものを送信する際、どのセンサ情報を優先的に送信すべきかの判断ができない。
【0007】
特許文献2に開示された方法は、特定の対象物を撮影することを目的に、特定の対象物と車載カメラとの位置関係をもとに、車載カメラの映像ビットレートを制御する。そのため、自動運転車の遠隔監視のように、撮影すべき対象物が事前に特定あるいは指定困難な場合においては、どの車載カメラの映像データを優先して送信すべきかの判断ができない。
【0008】
本開示の目的は、車両等の移動体において取得されたセンサ情報を、センサの重要度に基づいて遠隔装置等へ送信することができる通信装置、通信制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本開示の第1の態様にかかる通信装置は、移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサを用いて検出されたセンサ情報を送信する通信部と、前記移動体の移動状態を認識する移動状態認識部と、前記移動体の周辺状態を認識する周辺状態認識部と、前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部と、を備える。
【0010】
本開示の第2の態様にかかる通信制御方法は、移動体の移動状態を認識し、前記移動体の周辺状態を認識し、前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサのそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、前記センサ情報を送信する。
【0011】
本開示の第3の態様にかかるプログラムは、移動体の移動状態を認識し、前記移動体の周辺状態を認識し、前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサのそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、前記センサ情報を送信する、ことをコンピュータに実行させる。
【発明の効果】
【0012】
本発明により車両等の移動体において取得されたセンサ情報を、センサの重要度に基づいて遠隔装置等へ送信することができる通信装置、通信制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0013】
図1】実施の形態1にかかる通信装置の構成図である。
図2】実施の形態2にかかる通信システムの構成図である。
図3】実施の形態2にかかる通信制御部が決定する優先度を示す図である。
図4】実施の形態2にかかる通信装置における通信制御処理の流れを示す図である。
図5】実施の形態3にかかる通信装置の構成図である。
図6】実施の形態4にかかる通信制御部が決定する優先度を示す図である。
図7】実施の形態4にかかる通信制御部が決定する優先度を示す図である。
図8】実施の形態4にかかる通信制御部が決定する優先度を示す図である。
図9】実施の形態5にかかる通信装置の構成図である。
図10】実施の形態6にかかる通信システムの構成図である。
図11】それぞれの実施の形態にかかる通信装置の構成図である。
【発明を実施するための形態】
【0014】
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。図1を用いて実施の形態1にかかる通信装置10の構成例について説明する。通信装置10は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置であってもよい。また、通信装置10は、移動体に設置されてもよい。移動体は、自動車、電車、建設機械、無人搬送車(AGV:Automated Guided Vehicle)等を含む車両、有人飛行機、無人飛行機(UAV:Unmanned Aerial Vehicle)、船舶等の移動手段であってもよい。
【0015】
通信装置10は、通信部11、移動状態認識部12、周辺状態認識部13、及び通信制御部14を有している。通信部11、移動状態認識部12、周辺状態認識部13、及び通信制御部14等の通信装置10の構成要素は、メモリに格納されたプログラムをプロセッサが実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、通信装置10の構成要素は、回路もしくはチップ等のハードウェアであってもよい。
【0016】
通信部11は、移動体に設置された2以上のセンサにより得られたセンサ情報を、ネットワークを介してサーバ装置等へ送信する。2以上のセンサは、移動体を基点にして互いに異なる方向の状態を検出可能なように移動体に設置される。異なる方向とは、例えば、移動体の前方、後方、右方向、左方向であってもよい。状態の検出とは、例えば、移動体のそれぞれの方向において、人の検出、障害物の検出、他の移動体の検出、もしくは、交通標識等の検出であってもよい。
【0017】
センサの種類には、カメラ、ミリ波レーダ、赤外線センサ、超音波ソナー、もしくはLiDAR(Light Detection and Ranging)等がある。上述の2以上のセンサは、すべて同一種類のセンサであってもよいし、互いに異なる種類のセンサであってもよい。
【0018】
移動体には、2以上のセンサが設置されている。2以上のセンサは、前方及び後方、さらに、右方向及び左方向、等の、異なる方向の状態の変化を検出可能に設置される。例えば、移動体の前方に設置されたセンサは、前方の状態の変化を検出し、移動体の後方に設置されたセンサは、後方の状態の変化を検出してもよい。もしくは、移動体の特定の箇所に、複数のセンサを設置する場合、それぞれのセンサが異なる検出領域を有するように設置されてもよい。検出領域は、例えば、感知領域と称されてもよい。
【0019】
通信部11は、無線通信回線を介してセンサ情報をサーバ装置へ送信してもよい。無線通信回線は、例えば、3GPP(3rd Generation Partnership Project)等において仕様が規定された、3G、4GまたはLTE(Long Term Evolution)、5G等のモバイルネットワークであってもよく、無線LAN(Local Area Network)であってもよい。もしくは、通信部11は、有線通信回線を介してセンサ情報をサーバ装置へ送信してもよい。
【0020】
サーバ装置は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置であってもよい。サーバ装置は、例えば、通信装置10から受信したセンサ情報を用いて、移動体を遠隔監視してもよい。
【0021】
移動状態認識部12は、移動体の移動状態を認識する。移動状態は、移動体の移動方向を示す情報であってもよい。例えば、移動状態は、移動体が、前方もしくは後方に進んでいるかを示す情報であってもよい。または、移動状態は、移動体が右折して右方向に進んでいるかもしくは左折して左方向に進んでいるかを示す情報であってもよい。または、移動状態は、移動体の速度もしくは加速度を示す情報であってもよい。または、移動状態は、停止しているか否かを示す情報であってもよい。移動状態認識部12は、移動状態に関する情報を通信制御部14へ出力する。
【0022】
周辺状態認識部13は、移動体の周辺状態を認識する。周辺状態は、例えば、移動体が車両である場合に、移動体の周辺における歩行者の有無、他車両の有無、障害物の有無、交通標識の有無、交通信号の有無等であってもよい。また、周辺状態は、例えば、移動体が飛行機である場合に、移動体の周辺における気象状況等を示す情報であってもよい。周辺状態認識部13は、周辺状態に関する情報を通信部11へ出力する。なお、周辺状態に関する情報には、当該周辺状態の方向を示す情報が含まれていてもよい。ここでの方向とは、車両の向きを基準にした相対方向であってもよいし、磁北や真北を基準にした絶対方向であってもよい。
【0023】
通信制御部14は、移動状態及び周辺状態に基づいて、それぞれのセンサの優先度を決定する。さらに、通信制御部14は、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う。優先度は、連続値であっても良いし、離散値、例えば、2以上の複数のレベルもしくは段階が定義されてもよい。通信制御部14は、例えば、移動状態及び周辺状態の組み合わせに応じて、それぞれのセンサの優先度を決定してもよい。通信制御は、例えば、センサ情報を送信する際に、優先度が高いセンサ情報に対し、優先度が低いセンサ情報よりも多くの通信帯域を割当てることで実施してもよい。あるいは、通信制御は、優先度が高いセンサ情報を、優先度が低いセンサ情報よりも時間的に早いタイミングで送信することで実施してもよい。
【0024】
以上説明したように、図1の通信装置10は、移動体の周辺状態のみを用いるのではなく、移動状態及び周辺状態を用いて、移動体に設置された2以上のセンサにおけるそれぞれのセンサの優先度を決定することができる。そのため、例えば、通信装置10は、周辺状態において移動体の周辺に歩行者が存在しないと示されている場合であっても、移動状態をさらに考慮して移動体に設置されたセンサの優先度を決定することができる。あるいは、周辺状態において前方と後方のそれぞれに歩行者が存在すると示されている場合であっても、移動状態をさらに考慮して前方センサと後方センサのどちらを優先すべきかを決定することができる。これより、周辺状態のみを用いた場合には、必要以上に優先度が低いまたは高いと決定され得るセンサであっても、通信装置10は、移動状態をさらに考慮することによって、センサの優先度を適正化することができる。その結果、通信装置10は、優先度を高精度に決定することが可能であり、優先度の低いセンサ情報と比較して、サーバ装置等へと送信される、優先度の高いセンサ情報の品質を高く維持することができる。
【0025】
(実施の形態2)
続いて、図2を用いて実施の形態2にかかる通信システムの構成例について説明する。図2の通信システムは、通信装置20、車両30、サーバ装置40、及びネットワーク45を有している。車両30は、通信装置20を搭載しているとする。
【0026】
通信装置20は、ネットワーク45を介してサーバ装置40と通信する。ネットワーク45は、例えばIP(Internet Protocol)ネットワークであってもよい。具体的には、ネットワーク45としてインターネットもしくはイントラネットが用いられてもよい。また、ネットワーク45は、モバイルネットワークや無線LANであってもよい。通信装置20は、モバイルネットワークや無線LAN等の無線通信回線を介してネットワーク45と接続してもよい。
【0027】
次に、車両30の通信装置20以外の構成例について説明する。車両30は、移動体に相当する。車両30は、例えば、遠隔から監視または制御される自動運転車両であってもよい。自動運転車両は、例えば、人が操作することなく走行することができる車両であってよい。もしくは、自動運転車両は、人が車両を運転する際の通常の操作よりも簡易な操作を行うことによって走行することができる車両であってもよい。遠隔から制御するとは、例えば、サーバ装置40が、ネットワーク45を介して車両30を制御することであってもよい。車両30は、センサとして前カメラ31、後カメラ32、右カメラ33、及び左カメラ34を有している。前カメラ31は、車両30の前方を撮影することができるカメラである。後カメラ32は、車両30の後方を撮影することができるカメラである。右カメラ33は、車両30の右方向を撮影することができるカメラである。左カメラ34は、車両30の左方向を撮影することができるカメラである。
【0028】
前カメラ31、後カメラ32、右カメラ33、及び左カメラ34は、それぞれ、撮影した映像データを通信装置20へ送信する。映像データは、圧縮及び変換前のデータ、つまり、エンコード前のデータであってもよく、圧縮及び変換後、つまり、エンコード後のデータであってもよい。前カメラ31、後カメラ32、右カメラ33、及び左カメラ34は、映像データをパケットとして送信してもよい。
【0029】
前カメラ31、後カメラ32、右カメラ33、及び左カメラ34は、車両30内に構築されたLAN(Local Area Network)等のIPネットワークを介して通信装置20へ映像データを送信してもよい。前カメラ31、後カメラ32、右カメラ33、及び左カメラ34は、例えば、イーサネット(登録商標)を用いて構築されたネットワークを介して映像データを通信装置20へ送信してもよい。もしくは、前カメラ31、後カメラ32、右カメラ33、及び左カメラ34は、CAN(Controller Area Network)を介して映像データを通信装置20へ送信してもよい。また、前カメラ31、後カメラ32、右カメラ33、及び左カメラ34は、USB(Universal Serial Bus)やHDMI(High-Definition Multimedia Interface)(登録商標)等の通信回線を介して通信装置に映像データを送信してもよい。
【0030】
次に、通信装置20の構成例について説明する。通信装置20は、図1の通信装置10に通信部15が追加された構成である。通信装置20の構成において、通信装置10と同様の構成については、詳細な説明を省略する。通信部11は、ネットワーク45と接続する。例えば、通信部11は、無線通信回線を介してネットワーク45と接続する。
【0031】
通信部15は、車両30に搭載されたそれぞれのカメラから映像データを受信する。通信部15は、受信した映像データを通信部11及び周辺状態認識部13へ出力する。
【0032】
周辺状態認識部13は、受け取った映像データを用いて、カメラ毎の周辺状態を認識する。
【0033】
例えば、周辺状態認識部13は、受け取った映像データのトラヒック特性に基づいてそれぞれのカメラの周辺状態を認識する。周辺状態認識部13は、カメラの周辺状態に関する情報を通信制御部14へ出力する。周辺状態は、周辺環境と言い換えられてもよい。トラヒック特性は、例えば、転送レート、平均パケット間隔、平均パケットサイズ、もしくはジッタ等であってもよい。例えば、周辺状態認識部13が受け取った映像データは、MPEG(Moving Picture Experts Group)規格の動画エンコーディングが行われているとする。もしくは、周辺状態認識部13は、受け取った映像データに対してMPEG規格の動画エンコーディングを行ってもよい。MPEG規格の動画エンコーディングにおいては、前のフレームとの差分情報を送信することによって、フレームサイズの圧縮を図る技術が広く用いられている。このようなフレームサイズの圧縮を図る技術が用いられる場合、変化が少ない映像においては変化が多い映像よりも圧縮効果が強まり、転送データ量あるいは転送レートが小さくなる。一方、変化が多い映像においては圧縮効果が弱まり、変化が少ない映像よりも転送データ量あるいは転送レートが大きくなる。つまり、映像の変化の程度に応じて、映像データのトラヒック特性が変化する。
【0034】
例えば、転送レートが予め定められた閾値よりも大きい場合、周辺状態認識部13は、映像データの変化の程度が予め定められた閾値よりも大きいと認識する。つまり、周辺状態認識部13は、転送レートが予め定められた閾値よりも大きい場合、受け取った映像データのフレームには、前に受け取った映像データのフレームには写っていなかった歩行者等が写っていると認識する。歩行者等とは、歩行者、他車両、障害物、交通信号、もしくは交通標識を含む。周辺状態認識部13は、転送レートが予め定められた閾値よりも小さい場合、受け取った映像データのフレームには、歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っていない状態が継続していると認識する。
【0035】
もしくは、周辺状態認識部13は、受け取った映像データの画像内容の解析を行い、歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っているか否かを認識してもよい。画像内容の解析は、画像処理もしくは画像認識処理と言い換えられてもよい。画像認識処理とは、例えば、周辺状態認識部13が、映像データ内の特徴量を抽出し、抽出した特徴量と、予め通信装置20内のメモリ等に登録された対象物の特徴量とを照合する。対象物は、例えば、人、車両、障害物、交通信号、及び交通標識等である。周辺状態認識部13は、抽出した特徴量が、登録された対象物の特徴量と一致した場合もしくは一致箇所の数が予め定められた値を超えた場合、映像データ内に歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っていると認識する。あるいは、当該カメラの位置および撮影方向における基準画像データを用意しておき、撮影により得られた画像と当該基準画像データとを比較することによって、基準画像データには含まれていない対象物の存在を認識してもよい。
【0036】
移動状態認識部12は、車両30内に構築されている車載ネットワークであるCANを介して車両30のアクチュエータもしくはセンサ情報等の制御情報を取得する。移動状態認識部12は、制御情報を用いて、車両30の移動状態を認識する。移動状態とは、進行方向や進行速度、およびそれらの変化の有無や変化の程度を表すものであり、現在の状態に限らず、将来の予測値であってもよい。例えば、移動状態認識部12は、制御情報としてウィンカー情報を取得することによって、車両30が右折もしくは左折していること、もしくは、所定期間経過後に、右折もしくは左折することを認識する。また、移動状態認識部12は、シフトレバー情報を取得することによって、車両30が前進しているか後進しているかを認識する。移動状態認識部12は、車速センサ情報を用いて、車両30の速度もしくは加速度を認識もしくは予測してもよい。また、移動状態認識部12は、ブレーキ情報を取得することによって、車両30が減速していることを認識する。移動状態認識部12は、車両30の移動状態として認識した情報を通信制御部14へ出力する。制御情報は、車両30に搭載されたアクチュエータ等の機器の機器情報と言い換えられてもよい。また予測とは、推定や算出と言い換えられてもよい。
【0037】
もしくは、車両30が自動運転車両である場合、車両の走行を制御するソフトウェアを用いて、車両30の進路及び速度が制御される。この場合、移動状態認識部12は、ソフトウェアから、車両30の移動状態、例えば、前進しているのか、後進しているのか、さらに、右折するのか左折するのか等の情報を取得してもよい。移動状態認識部12がソフトウェアから取得する情報は、走行制御情報と言い換えられてもよい。
【0038】
通信制御部14は、移動状態認識部12及び周辺状態認識部13から受け取った情報を用いて、前カメラ31、後カメラ32、右カメラ33、及び左カメラ34の優先度を決定する。ここで、図3を用いて、通信制御部14が決定する優先度について説明する。図3においては、優先度は、0、1、及び2を用いて示され、優先度2が最も優先度が高く、優先度0が最も優先度が低いとする。
【0039】
通信制御部14は、例えば、移動状態認識部12から、車両30が前進しているとの情報を取得したとする。この場合、通信制御部14は、前カメラ31の優先度を2と設定する。通信制御部14は、車両30が後進しているとの情報を取得した場合、後カメラ32の優先度を2と設定する。
【0040】
次に、通信制御部14は、車両30が前進している場合、後カメラ32から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを、周辺状態認識部13から受け取った情報を用いて判定する。通信制御部14は、車両30が前進しており、後カメラ32から取得した映像データにおいて、他車両等が写っている場合、つまり、後方から他車両等が接近している場合、後カメラ32の優先度を1と設定する。通信制御部14は、車両30が前進しており、後カメラ32から取得した映像データにおいて、他車両等が写っていない場合、つまり、後方から他車両等が接近していない場合、後カメラ32の優先度を0と設定する。
【0041】
また、通信制御部14は、車両30が後進している場合、前カメラ31から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを、周辺状態認識部13から受け取った情報を用いて判定する。通信制御部14は、車両30が後進しており、前カメラ31から取得した映像データにおいて、他車両等が写っている場合、つまり、他車両等が前方から接近している場合、前カメラ31の優先度を1と設定する。通信制御部14は、車両30が後進しており、前カメラ31から取得した映像データにおいて、他車両等が写っていない場合、つまり、前方から他車両等が接近していない場合、前カメラ31の優先度を0と設定する。
【0042】
図3において説明した優先度の設定はあくまで一例である。例えば、優先度として0~3を定義し、車両30が前進しており、かつ、前カメラ31に他車両等が写っている場合、前カメラ31をさらに優先度の高い値として3を設定してもよい。また、映像データに写っている対象に応じて、優先度を変更してもよい。
【0043】
通信制御部14は、それぞれのカメラの優先度を決定すると、優先度に従った通信制御を行う。例えば、通信制御部14は、通信部15から通信部11へ出力された映像データのうち、最も優先度の高いカメラにおいて撮影された映像データのみをネットワーク45を介してサーバ装置40へ送信するように制御してもよい。例えば、図3の例においては、通信制御部14は、優先度が2と設定されたカメラにおいて撮影された映像データのみを送信するように制御してもよい。最も優先度の高いカメラにおいて撮影された映像のみをネットワーク45を介してサーバ装置40へ送信してもよい。これにより、ネットワーク45の輻輳または帯域不足によって生じる、映像データの廃棄、消失もしくは大きな遅延の発生する可能性を減少させることができる。その結果、通信装置20は、最も優先度の高いカメラにおいて撮影された映像データを、品質を低下させることなくサーバ装置40へ送信することができる。
【0044】
または、通信制御部14は、Priority-Based Flow Controlを適用してもよい。具体的には、通信部15は、優先度別に分けた複数のバッファを用意し、それぞれのカメラにおいて撮影された映像データを、当該カメラの優先度に対応するバッファに格納する。通信制御部14は、優先度の高いバッファから順に、格納されている映像データをサーバ装置40へ送信してもよい。例えば、通信制御部14は、はじめに、優先度が2と設定されたカメラにおいて撮影された映像データを格納するバッファ内の映像データをすべて送信する。通信制御部14は、優先度が2と設定されたカメラにおいて撮影された映像データをすべて送信し終えた後に、優先度が1と設定されたカメラにおいて撮影された映像データを格納するバッファの映像データを送信してもよい。優先度の高いカメラにおいて撮影された映像データを他のカメラにおいて撮影された映像データよりも優先的にサーバ装置40へ送信することによって、優先度の高いカメラにおいて撮影された映像データに確実に通信リソースを割り当てることができる。言い換えると、優先度の高いカメラにおいて撮影された映像データに対して割り当てる通信リソースが不足することを防止することができる。その結果、優先度の高いカメラにおいて撮影された映像データは、他のカメラにおいて撮影された映像データよりも高い品質にてサーバ装置40へ送信される。
【0045】
続いて、図4を用いて通信装置20における通信制御処理の流れについて説明する。はじめに、通信部15は、車両30に搭載されている複数のカメラから映像データを取得する(S11)。次に、周辺状態認識部13は、複数のカメラから取得した映像データを用いて、それぞれのカメラの周辺状態を認識する(S12)。例えば、周辺状態認識部13は、受け取った映像データのトラヒック特性に基づいてそれぞれのカメラの周辺状態を認識する。もしくは、周辺状態認識部13は、受け取った映像データの画像内容の解析によりそれぞれのカメラの周辺状態を認識する。
【0046】
次に、移動状態認識部12は、車両30の移動状態を認識する(S13)。例えば、移動状態認識部12は、CANを介して取得したアクチュエータもしくはセンサ情報等の制御情報を用いて、車両30の移動状態を認識する。
【0047】
次に、通信制御部14は、移動状態認識部12及び周辺状態認識部13から受け取った情報を用いて、車両30に搭載されているカメラの優先度を決定する(S14)。次に、通信制御部14は、優先度が他のカメラよりも高いカメラにおいて撮影された映像データを他の映像データよりも高品質に送信できるように通信制御を行う(S15)。例えば、通信制御部14は、最も優先度が高いカメラの映像データのみをネットワーク45を介してサーバ装置40へ送信する。あるいは、通信制御部14は、映像データを優先度別のバッファに格納し、優先度が高いバッファに格納された映像データから順に、映像データを送信する。
【0048】
なお、上記の通信制御部14による通信制御に加え、各カメラまたは通信制御部14は、各カメラの優先度または映像データの伝送品質に応じて、映像制御を行ってもよい。例えば、通信制御部14は、映像制御として、映像ビットレート、映像フレームレート、解像度、エンコーディング規格に固有の品質パラメータなどを制御してもよい。なお、映像データの伝送品質とは、例えば、転送レート、遅延、パケットロス、ジッタなどである。
【0049】
例えば、通信制御部14は、優先度が低いカメラあるいは多くのパケットロスが発生しているカメラに対し、映像ビットレートを下げる、映像フレームレートを下げる、もしくは解像度を下げる、といった指示を出してもよい。これにより、優先度が低く、使用可能な通信帯域が少ないカメラにおいて、使用可能な通信帯域に適した映像品質を用いることができる。結果として、例えば、優先度が低いカメラにおける映像データのパケットロス数を減らすことができる。
【0050】
また、通信制御部14は、優先度が高いカメラに対し、映像ビットレートを上げる、映像フレームレートを上げる、もしくは解像度を上げる、といった指示を出してもよい。これにより、優先度が高く、使用可能な通信帯域が多いカメラにおいて、使用可能な通信帯域に適した映像品質を用いることができる。結果として、優先度が高いカメラにおける映像データの高品質化、例えば、高ビットレート化、高フレームレート化、高解像度化などを実現できる。
【0051】
以上説明したように、通信装置20は、移動状態認識部12において認識された車両30の移動状態と、周辺状態認識部13において認識された、それぞれのカメラの周辺状態とを用いて、それぞれのカメラの優先度を決定することができる。さらに、通信装置20は、優先度の高いカメラにおいて撮影された映像データを、他のカメラよりも高品質にサーバ装置40へ送信することができる。その結果、通信装置20は、優先度の高いカメラにおいて撮影された映像データ、つまり、重要度の高いデータの品質を高く維持して、当該データをサーバ装置40へ送信することができる。
【0052】
(実施の形態3)
続いて、図5を用いて実施の形態3にかかる通信装置50について説明する。通信装置50における周辺状態認識部13は、車両30に搭載されているカメラ以外のセンサ35から取得した情報を用いて、車両30の周辺状態を認識する。例えば、車両30には、ミリ波レーダ、赤外線センサ、超音波ソナー、もしくはLiDAR(Light Detection and Ranging)等のセンサ35が搭載されてもよい。周辺状態認識部13は、それぞれのセンサ35から取得した情報を用いて、車両30の周辺に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在することを認識、もしくは検出してもよい。周辺状態認識部13は、それぞれのセンサから取得した情報を組み合わせて用いることによって、車両30の周辺に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在することを認識、もしくは検出してもよい。さらに、周辺状態認識部13は、車両30の周辺のどの位置に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在するかも認識する。例えば、周辺状態認識部13は、車両30の前方、後方、右方向、左方向の少なくとも1つの方向に歩行者等が存在するかを認識してもよい。
【0053】
また、車両30は、それぞれのセンサから取得した情報を用いて、車両30からどの程度離れた位置に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在するかを認識してもよい。
【0054】
通信制御部14は、周辺状態認識部13から車両30の周辺のどの方向に歩行者等が検出されたかを示す情報を取得する。通信制御部14は、移動状態認識部12から取得した情報と、周辺状態認識部13から取得した情報とを用いて、前カメラ31、後カメラ32、右カメラ33、及び左カメラ34の優先度を決定する。例えば、通信制御部14は、歩行者等が検出された方向に設置されたカメラに、歩行者等が写っているとみなして、図3に示されるように優先度を設定してもよい。
【0055】
以上説明したように、周辺状態認識部13は、前カメラ31、後カメラ32、右カメラ33、及び左カメラ34とは異なるセンサから取得した情報を用いて、前カメラ31、後カメラ32、右カメラ33、及び左カメラ34の優先度を決定することができる。
【0056】
(実施の形態4)
実施の形態4にかかる通信制御部14が決定する優先度について説明する。
【0057】
通信制御部14は、車両30の移動状態及び車両30の周辺状態の少なくとも一方について将来の状態を予測し、予測した情報を用いて車両30に搭載されたカメラの優先度を決定することができる。
【0058】
初めに移動状態認識部12による移動状態の予測について説明する。移動状態認識部12は、車両30に搭載された機器の機器情報、あるいは、車両30の走行を制御するソフトウェアから取得できる走行制御情報などに基づいて、所定期間経過後の車両の移動状態を予測する。機器情報とは、車載のアクチュエータやセンサ等から取得できるウィンカー情報、シフトレバー情報、車速センサ情報、ブレーキ情報などである。例えば、移動状態認識部12は、ウィンカー情報を用いることで、車両の右折もしくは左折を予測できる。移動状態認識部12は、シフトレバー情報を用いることで、車両の前進もしくは後退の予測できる。また、走行制御情報とは、車両の操舵、制動、加減速、走行ルート等を含む情報である。これら走行制御情報は、車両30の走行を制御するソフトウェアのほか、カーナビゲーションのような運転を支援するソフトウェアから取得してもよい。
【0059】
図6を用いて、ウィンカー情報によって車両30の移動状態を予測して各カメラの優先度を決定する例を説明する。移動状態認識部12は、CANを介して取得したウィンカー情報を用いて、所定期間経過後の車両の移動方向を予測する。例えば、移動状態認識部12は、右折を示すウィンカー情報を取得した場合、A(Aは0以上の整数)秒後に、車両30が右方向へ移動すると予測する。また、移動状態認識部12は、左折を示すウィンカー情報を取得した場合、A秒後に、車両30が左方向へ移動すると予測する。
【0060】
通信制御部14は、移動状態認識部12において、車両30が左折を示すウィンカー情報に基づいて左方向へ移動すると予測された場合、左カメラ34の優先度を2に設定する。通信制御部14は、移動状態認識部12において、車両30が右折を示すウィンカー情報に基づいて右方向へ移動すると予測された場合、右カメラ33の優先度を2に設定する。
【0061】
次に、通信制御部14は、車両30が右折すると予測された場合、左カメラ34から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを判定する。通信制御部14は、車両30が右折すると予測され、左カメラ34から取得した映像データにおいて、他車両等が写っている場合、つまり、左方向から他車両等が接近している場合、左カメラ34の優先度を1と設定する。通信制御部14は、車両30が右折すると予測された場合、左カメラ34から取得した映像データにおいて、他車両等が写っていない場合、つまり、左方向から他車両等が接近していない場合、左カメラ34の優先度を0と設定する。
【0062】
また、通信制御部14は、車両30が左折すると予測された場合、右カメラ33から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを判定する。通信制御部14は、車両30が左折すると予測され、右カメラ33から取得した映像データにおいて、他車両等が写っている場合、つまり、他車両等が右方向から接近している場合、右カメラ33の優先度を1と設定する。通信制御部14は、車両30が左折すると予測され、右カメラ33から取得した映像データにおいて、他車両等が写っていない場合、つまり、右方向から他車両等が接近していない場合、右カメラ33の優先度を0と設定する。
【0063】
続いて周辺状態認識部13による周辺状態の予測について説明する。周辺状態認識部13は、カメラ以外のセンサ35から取得した情報、あるいは、当該カメラ以外の他カメラから取得した情報を用いて、所定期間経過後の、当該カメラの周辺状態を予測することができる。例えば、周辺状態認識部13は、LiDAR等のセンサから取得した情報を用いて、車両30の周辺に存在する歩行者等との距離や方向を特定する。さらに、周辺状態認識部13は、移動状態認識部12から車両30の速度に関する情報を取得してもよい。周辺状態認識部13は、車両30の周辺に存在する歩行者等との距離と、車両30の速度に関する情報とを用いて、所定期間経過後に、カメラに歩行者等が写ることを予測してもよい。例えば、周辺状態認識部13は、カメラにおいて撮影される映像に、歩行者等が予め定められた値よりも大きく表示される場合に、カメラに歩行者等が写ると予測してもよい。
【0064】
また、周辺状態認識部13は、現在位置、進行方向、及び車両周辺の地図情報を用いて、所定期間経過後に、車両30に搭載されたカメラに、歩行者等が写ることを予測してもよい。周辺状態認識部13は、例えば、GPS(Global Positioning System)等の全地球衛星測位システム(GNSS:Global Navigation Satellite System)を用いて現在位置及び進行方向を特定してもよい。さらに、周辺状態認識部13は、通信装置20(もしくは通信装置50)内のメモリに格納されている地図情報を用いて、車両30周辺の地図情報を抽出してもよい。もしくは、周辺状態認識部13は、ネットワーク45を介して他の装置に格納されている地図情報を取得し、取得した地図情報を用いて、車両30周辺の地図情報を抽出してもよい。例えば、車両30の周辺に交差点や合流点が存在する場合、所定期間経過後に、交差あるいは合流する他の道路の方向を撮影するカメラに、歩行者等が写ると予測してもよい。
【0065】
図7を用いて、車両30の周辺状態を予測して各カメラの優先度を決定する例を説明する。通信制御部14は、例えば、移動状態認識部12から、車両30が前進しているとの情報を取得したとする。この場合、通信制御部14は、前カメラ31の優先度を2と設定する。通信制御部14は、車両30が後進しているとの情報を取得した場合、後カメラ32の優先度を2と設定する。
【0066】
次に、通信制御部14は、車両30が前進している場合、後カメラ32が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部14は、車両30が前進しており、後カメラ32が撮影する映像データに、他車両等が写ると予測されている場合、つまり、後方から他車両等が接近していることが予測される場合、後カメラ32の優先度を1と設定する。通信制御部14は、車両30が前進しており、後カメラ32が撮影する映像データに、他車両等が写ると予測されない場合、つまり、後方から他車両等が接近することが予測されない場合、後カメラ32の優先度を0と設定する。
【0067】
また、通信制御部14は、車両30が後進している場合、前カメラ31が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部14は、車両30が後進しており、前カメラ31が撮影する映像データにおいて、他車両等が写ると予測されている場合、つまり、他車両等が前方から接近していることが予測される場合、前カメラ31の優先度を1と設定する。通信制御部14は、車両30が後進しており、前カメラ31が撮影する映像データに、他車両等が写ると予測されない場合、つまり、前方から他車両等が接近することが予測されない場合、前カメラ31の優先度を0と設定する。
【0068】
続いて、図8を用いて、通信制御部14が決定する優先度について、図6及び図7とは異なる優先度の決定方法について説明する。図8においては、通信制御部14が、予測される車両の移動状態及び予測されるカメラの周辺状態を用いて、優先度を決定することが示されている。
【0069】
通信制御部14は、移動状態認識部12において、車両30が左折を示すウィンカー情報に基づいて左方向へ移動すると予測された場合、左カメラ34の優先度を2に設定する。通信制御部14は、移動状態認識部12において、車両30が右折を示すウィンカー情報に基づいて右方向へ移動すると予測された場合、右カメラ33の優先度を2に設定する。
【0070】
次に、通信制御部14は、車両30が右折すると予測された場合、左カメラ34が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部14は、車両30が右折すると予測され、左カメラ34が撮影する映像データに、他車両等が写ると予測されている場合、つまり、左方向から他車両等が接近していることが予測される場合、左カメラ34の優先度を1と設定する。通信制御部14は、車両30が右折すると予測され、左カメラ34が撮影する映像データに、他車両等が写ると予測されない場合、つまり、左方向から他車両等が接近することが予測されない場合、左カメラ34の優先度を0と設定する。
【0071】
また、通信制御部14は、車両30が左折すると予測された場合、右カメラ33が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部14は、車両30が左折すると予測され、右カメラ33が撮影する映像データにおいて、他車両等が写ると予測されている場合、つまり、他車両等が右方向から接近していることが予測される場合、右カメラ33の優先度を1と設定する。通信制御部14は、車両30が左折すると予測され、右カメラ33が撮影する映像データに、他車両等が写ると予測されない場合、つまり、右方向から他車両等が接近することが予測されない場合、右カメラ33の優先度を0と設定する。
【0072】
上述のとおり、通信制御部14は、車両30の移動状態及び車両30の周辺状態の少なくとも一方について将来の状態を予測し、予測した情報を用いて通信制御を実施することができる。なお、車両30の移動状態及び車両30の周辺状態の少なくとも一方について将来の状態を予測するタイミングと、通信制御部14が通信制御を実施するタイミングとは、同一タイミングである必要はない。すなわち、車両30の移動状態及び車両30の周辺状態の少なくとも一方について将来の状態を予測した後に、通信制御部14が通信制御を実施してもよい。このとき、通信制御に要する処理時間を考慮してもよい。例えば、時刻T0において移動状態認識部12が、車両30の移動状態が変化する時刻が時刻T1であると予測したとする。このとき、通信制御部14が通信制御を実施するタイミングは、T0以上T1以下の任意のタイミングを採用することができる。また、通信制御として帯域制御を実施する場合、帯域制御の実行に要する処理時間をαとした場合、T0以上T1-α以下のタイミングに、通信制御を実施してもよい。
【0073】
以上説明したように、移動状態認識部12は、所定期間経過後の車両30の移動状態を予測することが可能であり、周辺状態認識部13は、所定期間経過後の車両30の周辺状態を予測することが可能である。さらに、通信制御部14は、車両30の移動状態及び車両30の周辺状態の少なくとも一方において、予測された情報を用いて、車両30に搭載されたカメラの優先度を決定することができる。これより、通信制御部14は、将来に発生し得る状況を考慮して、カメラの優先度を決定することができる。
【0074】
(実施の形態5)
続いて、図9を用いて通信装置60の構成例について説明する。通信装置60は、図2の通信装置20に、帯域評価部16が追加された構成である。また、通信装置60は、図5の通信装置50に帯域評価部16が追加された構成であってもよい。通信装置60における通信装置20と同様の構成については、詳細な説明を省略する。
【0075】
帯域評価部16は、車両30に搭載されているカメラとサーバ装置40との間の通信回線のうち、少なくとも一部区間の可用帯域を評価する。可用帯域は、通信に使用することができる帯域である。一部区間は、例えば、通信装置60とサーバ装置40との間であってもよく、通信装置60とカメラとの間であってもよく、通信装置60と、モバイルネットワーク上に配置されている基地局との間であってもよい。
【0076】
帯域評価部16は、評価対象となる区間において、通信部11を介して評価用のプローブパケットを送信及び受信し、プローブパケットから得られる情報を用いて可用帯域を評価してもよい。可用帯域を評価するとは、可用帯域を算出すると言い換えられてもよい。例えば、帯域評価部16は、複数のプローブパケットを送信し、プローブパケットの応答信号を受信した際のRTT(Round Trip Time)を用いて、可用帯域を評価してもよい。もしくは、帯域評価部16は、受信パケットの間隔、つまり、遅延変動を観測することによって、可用帯域を評価してもよい。もしくは、帯域評価部16は、受信した応答信号のTCPウィンドウサイズを用いて、可用帯域を評価してもよい。プローブパケットを用いた可用帯域の評価手法は、一般的に用いられている他の手法が用いられてもよい。帯域評価部16は、可用帯域の評価結果を通信制御部14へ出力する。
【0077】
通信制御部14は、通信装置60とサーバ装置40との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラにおいて撮影された映像データをサーバ装置40へ送信する際の帯域を、可用帯域の中から比例配分する。通信制御部14は、通信装置60と基地局との間の区間の可用帯域を評価した場合も、決定した優先度に応じて、それぞれのカメラにおいて撮影された映像データをサーバ装置40へ送信する際の帯域を、可用帯域の中から比例配分してもよい。例えば、通信制御部14は、図3及び図6乃至図8に示される、優先度として2が設定されたカメラにおいて撮影された映像データには、優先度として0及び1が設定されたカメラにおいて撮影された映像データよりも多くの帯域を割り当ててもよい。
【0078】
もしくは、通信制御部14は、優先度が高く設定されたカメラにおいて撮影された映像データから優先度が低く設定されたカメラにおいて撮影された映像データの順に、必要帯域を割り当ててもよい。例えば、それぞれのカメラにおいて撮影された映像データをすべてサーバ装置40へ送信すると可用帯域を超過する場合、優先度が高く設定されたカメラにおいて撮影された映像データから順に、映像データを送信する際に必要となる帯域を割り当ててもよい。この場合、それぞれの映像データには、同じ量の帯域が割り当てられてもよい。また、可用帯域が全て割り当てられた場合、優先度が低く設定されたカメラにおいて撮影された映像データには、帯域が割り当てられないこともある。
【0079】
また、通信制御部14は、カメラと通信装置60との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラが映像データをサーバ装置40へ送信する際の帯域を、可用帯域の中から比例配分してもよい。もしくは、通信制御部14は、カメラと通信装置60との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラが映像データをサーバ装置40へ送信する際に必要となる必要帯域を、可用帯域の中から割り当ててもよい。
【0080】
また、通信制御部14は、各カメラの映像送信性能を加味して、各カメラに割当てる帯域を決定してもよい。例えば、映像送信性能により定まる最大映像送信ビットレートが10Mbpsの場合、当該カメラに対して10Mbpsより多くの帯域を割当てても、割当て帯域全てを有効活用することはできない。この問題を解決するためには、当該カメラに割当てる帯域の上限値を最大映像送信ビットレートに制限すればよい。また、映像送信性能により定まる最小映像送信ビットレートが500Kbpsの場合、当該カメラに対して500Kbpsより少ない帯域を割当てると、最低品質での映像送信に支障が生じ得る。この問題を解決するためには、当該カメラに割当てる帯域の下限値を最小映像送信ビットレートに制限することが望ましい。
【0081】
以上説明したように、通信装置60は、カメラとサーバ装置40との間の通信回線のうち、少なくとも一部区間の可用帯域を評価することができる。さらに、通信装置60は、優先度の高いカメラにおいて撮影された映像データに対して、優先的に可用帯域を割り当てることができる。これにより、優先度の高いカメラにおいて撮影された映像データの品質を、優先度の低いカメラにおいて撮影された映像データの品質よりも高く維持することができる。
【0082】
(実施の形態6)
続いて、図10を用いて実施の形態6にかかる通信システムの構成例について説明する。図10の通信システムは、車両90、車両100、AP(Access Point)80、通信装置70、サーバ装置40、及びネットワーク45を有している。車両90及び車両100は、例えば、工場内において用いられるAGV(Automated Guided Vehicle)であってもよい。
【0083】
車両90は、カメラ91及びカメラ92を有している。さらに、車両100は、カメラ101及びカメラ102を有している。車両90及び車両100に搭載されているカメラは、AP80と無線通信を行う。無線通信は、例えば、無線LAN通信であってもよい。車両90及び車両100に搭載されているカメラは、映像データをAP80を介して通信装置70へ送信する。
【0084】
通信装置70は、AP80と接続している。図10のその他の構成は、図2における通信システムと同様であるため詳細な説明を省略する。
【0085】
続いて、通信装置70の構成例について説明する。通信装置70は、図2における通信装置20に、移動体識別部17が追加された構成である。また、通信制御部14は、通信部15を介して、車両90及び車両100に搭載されているカメラが送信する映像データに対して通信制御を行う。通信装置70におけるその他の構成は、図2における通信装置20と同様であるため詳細な説明を省略する。
【0086】
移動体識別部17は、通信部15を介して車両90及び車両100に搭載されているカメラから送信された映像データを取得する。通信装置70は、複数の車両から、映像データを取得する。そのため、それぞれの映像データが、どの車両に設置されたカメラにおいて撮影された映像データかを識別する必要がある。そこで、移動体識別部17は、カメラ91、カメラ92、カメラ101、及びカメラ102において撮影された映像データの相互関係に基づいて、同じ車両に設置されているカメラ群を特定する。
【0087】
映像データの相互関係は、例えば、それぞれの映像データの相関関係と言い換えられてもよい。それぞれの映像データの相関関係は、例えば、それぞれの映像データにおける映像の変化の有無や変化の速度が一致する、もしくは、変化の速度が類似している等である場合、相関が高いと言える。また、それぞれの映像データの相関関係は、それぞれの映像データから特定される進行方向が一致している場合、相関が高いと言える。また、それぞれの映像データの相関関係は、同一時刻あるいは一定の時間以内に、それぞれの映像データに同一の対象物が含まれている場合、相関が高いと言える。
【0088】
移動体識別部17は、それぞれの映像データの画像内容の解析を行うことによって、相関が予め定められた閾値よりも高い映像データを特定し、特定した映像データを撮影したカメラ群が、同じ車両に設置されていると判定する。
【0089】
通信制御部14は、例えば、特定されたカメラ群毎、つまり、特定された車両毎に、図3図6乃至図8に示されるように優先度を決定してもよい。また、通信制御部14は、映像データと、カメラ群を識別する情報とを関連付けて、映像データ及びカメラ群を識別する情報をサーバ装置40へ送信してもよい。
【0090】
以上説明したように、通信装置70が、特定の車両に搭載されておらず、複数の車両から、それぞれの車両に搭載されたカメラにおいて撮影された映像データを取得することがある。このような場合であっても、通信装置70は、映像データ間の相互関係を分析もしくは解析することによって、同じ車両に搭載されているカメラ群を特定することができる。また、通信装置70が、映像データ及びカメラ群を識別する情報をサーバ装置40へ送信することによって、サーバ装置40は、車両毎の映像データを認識することができる。その結果、サーバ装置40は、それぞれの車両の監視や制御を容易に行うことができる。
【0091】
続いて以下では、上述の実施形態で説明された、通信装置10、通信装置20、通信装置50、通信装置60、及び通信装置70(以下、通信装置10等とする)の構成例について説明する。
【0092】
図11は、通信装置10等の構成例を示すブロック図である。図11を参照すると、通信装置10等は、ネットワーク・インターフェース1201、プロセッサ1202、及びメモリ1203を含む。ネットワーク・インターフェース1201は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース1201は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード(NIC)を含んでもよい。もしくは、ネットワーク・インターフェース1201は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース1201は、無線LAN通信、もしくは3GPP(3rd Generation Partnership Project)において規定されたモバイル通信を行うために使用されてもよい。
【0093】
プロセッサ1202は、メモリ1203からソフトウェア(コンピュータプログラム)を読み出して実行することで、上述の実施形態においてシーケンス図及びフローチャートを用いて説明された通信装置10等の処理を行う。プロセッサ1202は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ1202は、複数のプロセッサを含んでもよい。
【0094】
メモリ1203は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ1203は、プロセッサ1202から離れて配置されたストレージを含んでもよい。この場合、プロセッサ1202は、図示されていないI/Oインタフェースを介してメモリ1203にアクセスしてもよい。
【0095】
図11の例では、メモリ1203は、ソフトウェアモジュール群を格納するために使用される。プロセッサ1202は、これらのソフトウェアモジュール群をメモリ1203から読み出して実行することで、上述の実施形態において説明された通信装置10等の処理を行うことができる。
【0096】
図11を用いて説明したように、通信装置10等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。
【0097】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0098】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0099】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサを用いて検出されたセンサ情報を送信する通信部と、
前記移動体の移動状態を認識する移動状態認識部と、
前記移動体の周辺状態を認識する周辺状態認識部と、
前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部と、を備える通信装置。
(付記2)
前記センサ情報は、
前記移動体を基点に、互いに異なる方向を撮影可能に前記移動体に設置された2以上のカメラにおいて撮影された映像データであり、
前記通信制御部は、
それぞれのカメラの優先度を決定し、優先度の高いカメラにおいて撮影された映像を優先度の低いカメラにおいて撮影された映像よりも高品質に送信できるように通信制御を行う、付記1に記載の通信装置。
(付記3)
前記周辺状態認識部は、
それぞれの前記カメラにおいて撮影された映像データを用いて前記周辺状態を認識する、付記2に記載の通信装置。
(付記4)
前記周辺状態認識部は、
それぞれの前記カメラにおいて撮影された映像データのトラヒック特性を用いて前記周辺状態を認識する、付記3に記載の通信装置。
(付記5)
前記周辺状態認識部は
それぞれの前記カメラにおいて撮影された映像データの画像内容を解析して前記周辺状態を認識する、付記3に記載の通信装置。
(付記6)
前記周辺状態認識部は、
前記移動体に設置されたミリ波レーダ、赤外線センサ、超音波ソナー、及びLiDARの少なくとも1つに基づいて前記周辺状態を認識する、付記2に記載の通信装置。
(付記7)
前記移動状態認識部は、
前記移動体内に搭載されたネットワークを介して取得することができる前記移動体に搭載された機器の機器情報を用いて前記移動状態を認識する、付記1乃至6のいずれか1項に記載の通信装置。
(付記8)
前記移動状態は、
前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて前記移動状態を認識する、付記1乃至6のいずれか1項に記載の通信装置。
(付記9)
前記移動状態認識部は、
所定期間経過後の前記移動体の移動状態を予測し、
前記周辺状態認識部は、
所定期間経過後の前記移動体の周辺状態を予測し、
前記通信制御部は、
現在の移動状態もしくは所定期間経過後の移動状態と、現在の周辺状態もしくは所定期間経過後の周辺状態と、に基づいてそれぞれのセンサの優先度を決定する、付記1乃至8のいずれか1項に記載の通信装置。
(付記10)
前記周辺状態認識部は、
前記移動体の現在位置、前記移動体の進行方向、及び地図情報を用いて所定期間経過後の前記移動体の周辺状態を予測する、付記9に記載の通信装置。
(付記11)
前記移動状態認識部は、
前記移動体に搭載された機器の機器情報または前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて所定期間経過後の前記移動体の移動状態を予測する、付記9又は10に記載の通信装置。
(付記12)
前記センサ情報を送信する際に用いる通信回線において使用することができる可用帯域を算出する帯域算出部をさらに備え、
前記通信制御部は、
算出された可用帯域のうち、優先度の高いセンサにおいて検出されたセンサ情報に対して、優先度の低いセンサにおいて検出されたセンサ情報に対して割り当てる通信帯域よりも多くの通信帯域を割り当てる、付記1乃至11のいずれか1項に記載の通信装置。
(付記13)
前記通信部は、
複数の前記移動体からセンサ情報を受信し、複数の前記センサ情報の相互関係に基づいて、同一移動体に搭載された少なくとも1以上のセンサを特定する移動体認識部をさらに備える、付記1乃至12のいずれか1項に記載の通信装置。
(付記14)
移動体の移動状態を認識し、
前記移動体の周辺状態を認識し、
前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサのそれぞれのセンサの優先度を決定し、
優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
前記センサ情報を送信する、通信制御方法。
(付記15)
移動体の移動状態を認識し、
前記移動体の周辺状態を認識し、
前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された2以上のセンサのそれぞれのセンサの優先度を決定し、
優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
前記センサ情報を送信する、ことをコンピュータに実行させるプログラム。
【0100】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0101】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0102】
この出願は、2018年10月31日に出願された日本出願特願2018-205344を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0103】
10 通信装置
11 通信部
12 移動状態認識部
13 周辺状態認識部
14 通信制御部
15 通信部
16 帯域評価部
17 移動体識別部
20 通信装置
30 車両
31 前カメラ
32 後カメラ
33 右カメラ
34 左カメラ
35 センサ
40 サーバ装置
45 ネットワーク
50 通信装置
60 通信装置
70 通信装置
80 AP
90 車両
91 カメラ
92 カメラ
100 車両
101 カメラ
102 カメラ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11