IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7459932遠隔監視システム、装置、方法、及びプログラム
<>
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図1
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図2
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図3
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図4
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図5
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図6
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図7
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図8
  • 特許-遠隔監視システム、装置、方法、及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-25
(45)【発行日】2024-04-02
(54)【発明の名称】遠隔監視システム、装置、方法、及びプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240326BHJP
【FI】
H04N7/18 D
【請求項の数】 14
(21)【出願番号】P 2022511413
(86)(22)【出願日】2020-03-31
(86)【国際出願番号】 JP2020014945
(87)【国際公開番号】W WO2021199350
(87)【国際公開日】2021-10-07
【審査請求日】2022-09-05
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】岩井 孝法
(72)【発明者】
【氏名】二瓶 浩一
(72)【発明者】
【氏名】小林 航生
(72)【発明者】
【氏名】篠原 悠介
(72)【発明者】
【氏名】坂田 正行
(72)【発明者】
【氏名】山根 隆志
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2008-283230(JP,A)
【文献】特開2020-043557(JP,A)
【文献】国際公開第2020/050328(WO,A1)
【文献】特開2009-017416(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
撮像位置が異なる第1の映像と、第2の映像とを取得する映像受信手段と、
前記第1の映像と前記第2の映像に基づいて、重要度が高い映像を判定する重要映像判定手段と、
前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信する映像調整通知手段と、
前記送信映像調整通知に基づいて前記第1の映像を調整する第1の映像調整手段と、
前記送信映像調整通知に基づいて前記第2の映像を調整する第2の映像調整手段と、
を備え
重要映像判定手段は、前記映像受信手段が受信した各映像に基づいて、各映像内の重要領域を更に判定し、
前記映像調整通知手段は、前記送信映像調整通知に前記重要領域を指定する情報を含める、遠隔監視システム。
【請求項2】
前記映像調整通知手段は、前記送信映像調整通知に基づいて、前記重要度が高い映像と判定された映像の画像品質が、前記重要度が高い映像と判定されていない映像の画像品質よりも高くなるように、前記第1の映像調整手段及び前記第2の映像調整手段を制御する請求項1に記載の遠隔監視システム。
【請求項3】
前記第1の映像及び前記第2の映像は、監視対象の車両において取得される映像、及び前記監視対象の車両に関連する関連物において取得される映像の少なくとも一方を含む請求項1又は2に記載の遠隔監視システム。
【請求項4】
前記映像受信手段が受信する映像に対して物体検出を行う物体検出手段を更に有し、
前記重要映像判定手段は、前記物体検出手段における物体検出の結果に基づいて前記重要度が高い映像を判定する請求項1から何れか1項に記載の遠隔監視システム。
【請求項5】
前記重要映像判定手段は、検出された物体の移動先を推定し、該推定した移動先を撮影範囲とする映像を前記重要度が高い映像と判定する請求項に記載の遠隔監視システム。
【請求項6】
前記重要映像判定手段は、前記第1の映像及び前記第2の映像、及び該第1及び第2の映像の撮像位置に基づいて交通の状態を分析し、該分析の結果に基づいて前記重要度が高い映像を判定する請求項1から何れか1項に記載の遠隔監視システム。
【請求項7】
前記映像受信手段は、1以上の路上設備のそれぞれから1以上の映像を受信し、
前記重要映像判定手段は、前記路上設備から受信される映像のうち、監視対象の車両の進行方向を撮影する映像を重要度が高い映像と判定する請求項1から何れか1項に記載の遠隔監視システム。
【請求項8】
撮像位置が異なる第1の映像と、第2の映像とを取得する映像受信手段と、
前記第1の映像と前記第2の映像とに基づいて、重要度が高い映像を判定する重要映像判定手段と、
前記重要度の判定結果に基づいて、前記第1の映像及び前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整する映像調整通知手段とを備え
重要映像判定手段は、前記映像受信手段が受信した各映像に基づいて、各映像内の重要領域を更に判定し、
前記映像調整通知手段は、前記送信映像調整通知に前記重要領域を指定する情報を含める、遠隔監視装置。
【請求項9】
前記映像調整通知手段は、前記送信映像調整通知に基づいて、前記重要度が高い映像と判定された映像の画像品質が、前記重要度が高い映像と判定されていない映像の画像品質よりも高くなるように、前記第1の映像及び前記第2の映像の品質を調整する請求項に記載の遠隔監視装置。
【請求項10】
前記第1の映像及び前記第2の映像は、監視対象の車両において取得される映像、及び前記監視対象の車両に関連する関連物において取得される映像の少なくとも一方を含む請求項又はに記載の遠隔監視装置。
【請求項11】
撮像位置が異なる第1の映像と、第2の映像と取得し、
前記第1の映像と前記第2の映像に基づいて、重要度が高い映像を判定し、
前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整し、
前記第1の映像及び前記第2の映像に基づいて、各映像内の重要領域を判定し、
前記送信映像調整通知の生成では、前記送信映像調整通知に前記重要領域を指定する情報を含める、遠隔監視方法。
【請求項12】
前記第1の映像及び前記第2の映像の品質の調整では、前記送信映像調整通知に基づいて、前記重要度が高い映像と判定された映像の画像品質が、前記重要度が高い映像と判定されていない映像の画像品質よりも高くなるように、前記第1の映像及び前記第2の映像の品質を調整する請求項11に記載の遠隔監視方法。
【請求項13】
前記第1の映像及び前記第2の映像は、監視対象の車両において取得される映像、及び前記監視対象の車両に関連する関連物において取得される映像の少なくとも一方を含む請求項11又は12に記載の遠隔監視方法。
【請求項14】
撮像位置が異なる第1の映像と、第2の映像を取得し、
前記第1の映像と前記第2の映像とに基づいて、重要度が高い映像を判定し、
前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整し、
前記第1の映像及び前記第2の映像に基づいて、各映像内の重要領域を判定し、
前記送信映像調整通知の生成では、前記送信映像調整通知に前記重要領域を指定する情報を含める処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、遠隔監視システム、装置、方法、及びコンピュータ可読媒体に関する。
【背景技術】
【0002】
近年、自動運転車に関する技術が注目されている。自動運転は、車両が運転支援を行うレベル1から、車両が完全に自律走行するレベル5まで、複数のレベルにレベル分けされる。車両が完全に自律走行する場合、車両に運転者が乗車する必要はない。しかしながら、車両に運転者が乗車していない場合、自律運転が不可能になると、車両が停止したまま動けなくなる可能性がある。特に自動運転車をドライバーレスで走らせる場合、車両の遠隔監視が重要になると考えられる。
【0003】
関連技術として、特許文献1は、移動する対象を監視する監視装置を開示する。特許文献1に記載の監視装置は、駐車場や交差点などに設置された路上カメラ、及びカメラを搭載する複数の車両から画像データを受信する。監視装置は、路上カメラ(固定カメラ)を用いて、監視対象の位置及び移動方向を取得する。監視装置は、監視対象の位置と各車両の位置とに基づいて、複数の車両のうち、監視対象を監視するための車両を選定する。監視装置は、選定された車両のカメラ、及び路上カメラから取得される画像データを用いて、監視領域内の特定の対象を監視する。
【0004】
別の関連技術として、特許文献2は、車両を遠隔で操作する遠隔操作システムを開示する。特許文献2に記載の遠隔操作システムにおいて、車両にはカメラが搭載されており、車両は、カメラで撮影した映像を遠隔操作装置に送信する。遠隔操作装置は、ステアリングホイール、アクセルペダル、及びブレーキペダルなどを有する。遠隔操作装置は、車両から受信した映像を表示する。遠隔操縦者は、映像を見ながらステアリングホイールなどを操作し、車両を遠隔で運転する。特許文献2には、車両が路上カメラなどの定点カメラの視野内に存在している場合、遠隔操作装置が、定点カメラから映像を取得し、定点カメラの映像を遠隔操作者に提示することも記載されている。
【0005】
さらに別の関連技術として、特許文献3は、車両と管制センタとの通信に用いられる車両用通信装置を開示する。特許文献3において、管制センタは、自動運転車両の走行を補助するための管制を行う。車両は、車両前方、後方、右側方、左側方、及び車内を撮影するカメラを有する。車両用通信装置は、前後左右、及び車内のカメラの画像データを、管制センタに送信する。
【0006】
車両用通信装置は、カメラの情報を用いて車両の状況を特定する。車両用通信装置は、特定した状況に基づいて、前後左右、及び車内のカメラの優先度を決定する。車両用通信装置は、決定される優先度に従って、各カメラの画像データの解像度、及びフレームレートを制御する。車両用通信装置は、例えば車両前方を撮影するカメラの優先度が高い場合は、車両前方を撮影するカメラの画像データを、高解像度かつ高フレームレートで、管制センタに送信する。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2017-216575号公報
【文献】国際公開第2018/087879号
【文献】特開2020-3934号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1では、監視装置は、監視対象の位置と各車両の位置とに応じて、複数の車両のうち、監視対象を監視可能な車両から画像データが取得される。この場合において、画像データを取得する車両の数が増加すると、車両と監視装置との間のデータ伝送に使用される無線通信網の通信帯域が不足する可能性がある。無線通信の通信帯域が不足する場合、監視装置は画像品質が高い画像データを取得することができず、監視装置側で正しく監視対象を監視することができない場合がある。
【0009】
特許文献2では、定点カメラで撮影された映像を用いて車両の遠隔操作が行われる。この場合、車両から遠隔操作装置に送信される映像の容量を低減することができる。しかしながら、定点カメラの映像と車両の映像とが同じ無線通信網を通じて送信される場合、無線通信網において通信帯域が不足し、遠隔操作装置側において車両の状況を正しく把握できない可能性がある。
【0010】
特許文献3では、車両状況に応じて、車両に搭載される複数カメラのうち、特定のカメラの画像データを高画質で管制センタに送信する。例えば、左折時に、前方カメラ、及び左側方カメラの画像データを高画質で管制センタに送信することで、管制センタにおいて、車両の管制をより確実に行うことができる。しかしながら、特許文献3では、車両用通信装置が、自車の映像について、車両から管制センタに送信される映像の品質を制御している。特許文献3では自車の映像しか使用されないため、車両の周辺状況を精度よく把握できない場合があり得る。
【0011】
本開示は、上記事情に鑑み、限られた通信帯域下においても、遠隔側において、車両の状況を精度よく把握可能な映像を取得できる遠隔監視システム、装置、方法、及びコンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、本開示は、撮像位置が異なる第1の映像と、第2の映像とを取得する映像受信手段と、前記第1の映像と前記第2の映像に基づいて、重要度が高い映像を判定する重要映像判定手段と、前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信する映像調整通知手段と、前記送信映像調整通知に基づいて前記第1の映像を調整する第1の映像調整手段と、前記送信映像調整通知に基づいて前記第2の映像を調整する第2の映像調整手段と、を備える遠隔監視システムを提供する。
【0013】
本開示は、撮像位置が異なる第1の映像と、第2の映像とを取得する映像受信手段と、前記第1の映像と前記第2の映像とに基づいて、重要度が高い映像を判定する重要映像判定手段と、前記重要度の判定結果に基づいて、前記第1の映像及び前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整する映像調整通知手段とを備える遠隔監視装置を提供する。
【0014】
本開示は、撮像位置が異なる第1の映像と、第2の映像と取得し、前記第1の映像と前記第2の映像に基づいて、重要度が高い映像を判定し、前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整する遠隔監視方法を提供する。
【0015】
本開示は、撮像位置が異なる第1の映像と、第2の映像を取得し、前記第1の映像と前記第2の映像とに基づいて、重要度が高い映像を判定し、前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体を提供する。
【発明の効果】
【0016】
本開示に係る遠隔監視システム、装置、方法、及びコンピュータ可読媒体は、限られた通信帯域下においても、遠隔側において、車両の状況を精度よく把握可能な映像を取得することができる。
【図面の簡単な説明】
【0017】
図1】本開示に係る遠隔監視システムを概略的に示すブロック図。
図2】本開示に係る遠隔監視システムにおける動作手順を概略的に示すフローチャート。
図3】本開示の一実施形態に係る遠隔監視システムを示すブロック図。
図4】通信装置の構成例を示すブロック図。
図5】遠隔監視装置の構成例を示すブロック図。
図6】ある局面における交差点の状況を模式的に示す図。
図7】別の局面における交差点の状況を模式的に示す図。
図8】遠隔監視システムにおける動作手順を示すフローチャート。
図9】コンピュータ装置の構成例を示すブロック図。
【発明を実施するための形態】
【0018】
本開示の実施の形態の説明に先立って、本開示の概要を説明する。図1は、本開示に係る遠隔監視システムを概略的に示す。遠隔監視システム10は、映像受信手段12、重要映像判定手段13、映像調整通知手段14、第1の映像調整手段15、及び第2の映像調整手段を有する。
【0019】
遠隔監視システム10において、第1の映像調整手段15及び第2の映像調整手段16は、例えば、自動車、バス、又は列車などの移動体、又は信号機などの路上設備に配置される。映像受信手段12、重要映像判定手段13、及び映像調整通知手段14は、例えば、車両を遠隔で監視するための遠隔監視装置に配置される。
【0020】
第1の映像調整手段15及び第2の映像調整手段16が配置される移動体及び路上設備は、撮像装置を有する。移動体及び路上設備は、撮像装置を用いて撮影された映像をネットワークを介して映像受信手段12に送信する。映像受信手段12は、車両及び路上設備などから映像を受信する。映像受信手段12は、撮像位置が異なる第1の映像と第2の映像とを取得する。
【0021】
重要映像判定手段13は、第1の映像と第2の映像に基づいて、重要度が高い映像を判定する。映像調整通知手段14は、重要度の判定結果に応じて、第1の映像と第2の映像の品質を調整するための送信映像調整通知を送信する。
【0022】
第1の映像調整手段15は、送信映像調整通知に基づいて第1の映像の品質を調整する。第2の映像調整手段16は、送信映像調整通知に基づいて第2の映像の品質を調整する。品質を調整するとは、例えば、画質を調整することで、圧縮率、解像度、及びレートの少なくとも1つを調整して、データ量を調整することである。映像受信手段12は、品質が調整された第1の映像及び第2の映像を受信する。例えば、映像調整手段は、品質調整として、重要領域の品質を良くすることや重要領域以外の品質を落とすことが考えられる。例えば、品質を良くするとは、映像の解像度を上げる(鮮明化する)、フレーム数を上げる等の動作である。
【0023】
図2は、遠隔監視システム10における動作手順を概略的に示す。映像受信手段12は、撮像位置が異なる第1の映像と、第2の映像と取得する(ステップA1)。重要映像判定手段13は、第1の映像と第2の映像に基づいて、重要度が高い映像を判定する(ステップA2)。映像調整通知手段14は、重要度の判定結果に応じて、第1の映像と第2の映像の品質を調整するための送信映像調整通知を送信することで、第1の映像及び第2の映像の品質を調整する(ステップA3)。
【0024】
本開示では、重要映像判定手段13は、重要度が高い映像を判定する。映像調整通知手段14は、重要度の判定結果に従って、送信映像調整通知を生成送信する。第1の映像調整手段15及び第2の映像調整手段16は、送信映像調整通知に基づいて、それぞれ第1の映像及び第2の映像の品質を調整する。このようにすることで、映像受信手段12は、映像の重要度に応じた品質の映像を受信することができ、限られた通信帯域下において、車両の状況を精度よく把握可能な映像を取得できる。
【0025】
以下、図面を参照しつつ、本開示の実施の形態を詳細に説明する。図3は、本開示の一実施形態に係る遠隔監視システムを示す。遠隔監視システム100は、遠隔監視装置101と、複数の車両200及び路上設備250とを有する。遠隔監視システム100において、遠隔監視装置101と車両200及び路上設備250とは、ネットワーク102を介して通信する。ネットワーク102は、第5世代移動通信システムなどの無線通信網を含む。
【0026】
車両200及び路上設備250は、それぞれカメラを有する。1つの車両200及び路上設備250は、複数のカメラを有していてもよい。車両200は、例えば、自家用車、タクシー、又はバスなど道路上を走行する車両である。路上設備250は、例えば信号機、交通標識、又は街灯などの道路に設置された設備である。車両200及び路上設備250は、それぞれ、カメラを用いて撮影された映像を遠隔監視装置101に送信するための通信装置を有する。遠隔監視装置101は、ネットワーク102を介して、車両200及び路上設備250から映像を受信する。
【0027】
なお、図3では、3つの車両200と2つの路上設備250とが図示されているが、本実施形態はこれには限定されない。本実施形態において、遠隔監視装置101は、2以上の対象から映像を受信できればよく、車両200の数、及び路所設備250の数は特に限定されない。例えば、遠隔監視装置101は、1つの車両200と1つの路上設備250から映像を受信してもよい。あるいは、遠隔監視装置101は、複数の車両200から映像を受信してもよいし、複数の路上設備250から映像を受信してもよい。複数の車両200の少なくとも一部は自動運転(自律運転)が可能に構成されていてもよい。
【0028】
図4は、車両200及び路上設備250が有する通信装置の構成例を示す。車両200及び路上設備250は、通信装置300と、カメラ350とを有する。通信装置300は、通信装置300は、配信映像調整部301、映像送信部302、及び調整通知受信部303を有する。なお、図4では、4つのカメラ350が図示されているが、カメラ350の数は4つには限定されない。車両200及び路上設備250は、少なくとも1つのカメラ350を有していればよい。
【0029】
各カメラ350は、車両又は路上設備の外部を撮影し、画像データ(映像)を通信装置300に出力する。車両において、各カメラ350は、例えば車両の前方、後方、右側方、又は左側方を撮影する。信号機などの路上設備において、各カメラ350は、信号機が設置される交差点を複数の方向から撮影する。通信装置300は、カメラ350を用いて撮影された映像を、ネットワーク102(図3を参照)を介して遠隔監視装置101に送信する。
【0030】
配信映像調整部301は、複数のカメラ350を用いて撮影された映像の品質を調整する。ここで、映像の品質を調整とは、例えば各カメラ350の映像の圧縮率、解像度、及びフレームレートの少なくとも一部などを調整することで、ネットワーク102を介して遠隔監視装置101に送信される映像のデータ量を調整することである。例えば、配信映像調整部301は、品質調整として、重要領域の品質を良くすることや重要領域以外の品質を落とすことが考えられる。例えば、品質を良くするとは、映像の解像度を上げる(鮮明化する)、フレーム数を上げる等の動作である。調整通知受信部303は、ネットワーク102を介して、遠隔監視装置101から送信映像調整通知を受信する。遠隔監視装置101における送信映像調整通知の決定は後述する。
【0031】
調整通知受信部303は、送信映像調整通知を受信した場合、送信映像調整通知を配信映像調整部301に通知する。配信映像調整部301は、送信映像調整通知に基づいて、遠隔監視装置101に送信される各カメラ350の映像の品質を調整する。例えば、配信映像調整部301は、送信映像調整通知において重要度が高い映像として指定される映像の品質を、他の映像の品質よりも高く調整する。
【0032】
映像送信部302は、配信映像調整部301によって品質が調整された各カメラ350の映像を、ネットワーク102を介して遠隔監視装置101に送信する。映像送信部302は図1に示される映像送信手段11に対応し、配信映像調整部301は図1に示される第1の映像調整手段15又は第2の映像調整手段16に対応する。
【0033】
なお、本実施形態において、車両200及び路上設備250から遠隔監視装置101に送信される映像は、2次元カメラ画像であるとする。しかしながら、映像は、周辺の状況を把握可能であれば、特に2次元画像には限定されない。例えば車両200から遠隔監視装置101に送信される映像は、LiDAR(Light Detection and Ranging)などを用いて生成された点群画像を含み得る。
【0034】
図5は、遠隔監視装置101の構成例を示す。遠隔監視装置101は、映像受信部111、監視画面表示部112、物体検出部113、重要映像判定部114、映像調整通知部115、及び位置管理DB116を有する。位置管理DB116は、各映像の取得元(カメラ)の位置情報を管理する。遠隔監視装置101は、例えば車両200から位置情報を取得し、位置管理DB116において各車両の位置を管理する。路上設備250の位置情報は、例えば管理者によって位置管理DB116に記憶される。位置管理DB116は、路上設備250から位置情報を取得し、記憶してもよい。位置管理DB116は、各カメラの撮影範囲の情報を記憶していてもよい。
【0035】
映像受信部111は、ネットワーク102(図3を参照)を介して、車両200及び路上設備250から送信された映像を受信する。監視画面表示部112は、映像受信部111が受信した映像を表示する。映像受信部111は、例えば監視対象の車両200のカメラで撮影された映像と、監視対象の車両に関連する関連物のカメラで撮影された映像とを受信する。監視対象の車両に関連する関連物は、監視対象の車両以外の車両、及び路上設備を含む。
【0036】
監視画面表示部112は、例えば監視対象の車両200に搭載されるカメラ350(図4を参照)を用いて撮影された車両前方、後方、右側方、及び左側方の映像を、表示画面上に表示する。また、監視画面表示部112は、監視対象外の車両200及び路上設備250から受信した映像を表示画面上に表示する。監視者は、表示画面を監視し、監視対象車両の走行に支障があるか否かを監視する。
【0037】
物体検出部(物体検出手段)113は、映像に含まれる物体を検出する。物体検出部113は、例えば、映像に含まれる人、他の車両、路上落下物(障害物)などを検出する。重要映像判定部114は、映像受信部111が受信する映像のうち、重要度が高い映像(重要な映像)を判定する。重要映像判定部114は、例えば、物体検出部113における物体検出の結果に基づいて重要な映像を判定する。重要映像判定部114は、図1に示される重要映像判定手段13に対応する。
【0038】
映像調整通知部115は、重要映像判定部114における判定結果に基づいて、各映像に対して送信映像調整通知を生成する。送信映像調整通知は、例えば、各映像を識別する情報と、映像の圧縮率、解像度、及び送信周期(フレームレート)の少なくとも1つを指定する情報とを含む。映像調整通知部115は、重要な映像と判定された映像に対して、例えば高解像度及び高フレームレートを指定する送信映像調整通知を生成する。映像調整通知部115は、重要な映像と判定されていない映像に対しては、低解像度及び低フレームレートを指定する送信映像調整通知を生成する。
【0039】
映像調整通知部115は、ネットワークを介して、送信映像調整通知を、映像送信元の車両200及び路上設備250に送信する。車両200及び路上設備250において、通信装置300の調整通知受信部303(図4を参照)は、送信映像調整通知を受信する。配信映像調整部301は、送信映像調整通知に従って、各カメラ350の映像の解像度、及び送信周期などを調整する。配信映像調整部301は、送信映像調整通知に基づいて、重要な映像と判定された映像の画像品質が、重要な映像と判定されていない映像の画像品質よりも高くなるように、映像の品質を調整する。
【0040】
例えば、重要映像判定部114は、物体検出部113において物体が検出された場合、物体が検出された映像を重要な映像と判定し、他の映像を重要な映像ではないと判定してもよい。図6は、ある局面における、複数のカメラが設置された交差点の状況を模式的に示す。図6の例では、2つの道路が交差する交差点には、撮影方向が相互に異なる4つのカメラ350-1~350-4が設置されている。図6に示される状況において、カメラ350-1が撮影した映像では人や車両は検出されない。一方、カメラ350-3が撮影した映像では歩行者と車両が検出される。その場合、重要映像判定部114は、カメラ350-3の映像は、カメラ350-1の映像より重要な映像であると判定する。映像調整通知部115は、送信映像調整通知において、カメラ350-3に対して高解像度及び高フレームレートを指定する。映像調整通知部115は、カメラ350-1に対しては、送信映像調整通知において、低解像度及び低フレームレートを指定する。配信映像調整部301は、そのような送信映像調整通知に基づいて、カメラ350-3の映像の品質がカメラ350-1の映像の品質より高くなるように、各映像の品質を調整する。
【0041】
重要映像判定部114は、物体が検出された場合、物体の移動方向を推定してもよい。重要映像判定部114は、位置管理DB116を参照し、推定した物体の移動先を撮影範囲とするカメラを特定し、そのカメラの映像を重要な映像と判定し、他の映像を重要な映像ではないと判定してもよい。例えば、図6に示される状況において、重要映像判定部114は、カメラ350-2の映像において検出された人は、交差点を渡り、カメラ350-4の撮影範囲に移動すると推定する。その場合、その場合、重要映像判定部114は、カメラ350-4の映像は、カメラ350-2の映像より重要な映像であると判定する。映像調整通知部115は、送信映像調整通知において、カメラ350-4に対して、高解像度及び高フレームレートを指定する。映像調整通知部115は、カメラ350-2に対しては、送信映像調整通知において、低解像度及び低フレームレートを指定する。配信映像調整部301は、そのような送信映像調整通知に基づいて、カメラ350-4の映像の品質がカメラ350-2の映像の品質より高くなるように、各映像の品質を調整する。
【0042】
重要映像判定部114は、映像受信部111が受信した映像、及び各映像の位置に基づいて交通の状態を分析し、分析の結果に基づいて重要な映像を判定してもよい。重要映像判定部114は、例えば特定の位置において人の道路への飛び出し、横断歩道以外の場所での人の横断、工事現場、或いは人若しくは車両の混雑などの危険な交通状態を分析する。重要映像判定部114は、監視対象の車両200の現在位置の周辺、又はこれから走行する経路において、危険な交通状態の分析に用いられた映像を重要な映像と判定してもよい。その場合、映像調整通知部115は、送信映像調整通知において、危険な交通状態の分析に用いられた映像に対して、高解像度及び高フレームレートを指定する。配信映像調整部301は、送信映像調整通知に基づいて、危険な交通状態の分析に用いられた映像の品質が他の映像の品質より高くなるように、各映像の品質を調整する。
【0043】
重要映像判定部114は、複数の車両が隊列走行しているか否かを判定してもよい。複数の車両が隊列走行しているか否かは、例えば複数の車両の映像、及び複数の車両の位置情報に基づいて判定できる。例えば、位置管理DB116は、複数の車両のカメラの関係性を示す情報、例えばどの車両とどの車両が隊列走行しているかを示す情報を管理する。重要映像判定部114は、位置管理DB116を参照し、隊列走行している複数の車両を判別してもよい。
【0044】
重要映像判定部114は、複数の車両が隊列走行していると判定した場合、隊列走行している各車両の隊列における位置に応じて、重要な映像を判定してもよい。例えば、重要映像判定部114は、隊列の先頭を走行する車両の前方を撮影する映像、及び隊列の最後尾を走行する車両の後方を撮影する映像を、重要な映像と判定する。また、重要映像判定部114は、隊列の中間の各車両(隊列において先頭及び最後尾の車両以外の車両)の左右側方を撮影する映像を、重要な映像と判定する。複数車両が隊列走行する場合、監視画面表示部112は、車両単位ではなく、隊列単位で映像を表示してもよい。監視画面表示部112は、例えば、隊列の先頭を走行する車両の前方を撮影する映像と、隊列の最後尾を走行する車両の後方を撮影する映像とを隊列の前後の映像として表示してもよい。また、監視画面表示部112は、隊列の中間の車両の左右を撮影する映像を隊列の左右の映像として表示してもよい。
【0045】
重要映像判定部114は、監視対象の車両が他の車両を追い越すか否かを判定してもよい。あるいは、重要映像判定部114は、監視対象の車両が他の車両によって追い越されるか否かを判定してもよい。追越しは、追い越す側の車両の映像、及び追い越される側の車両の映像の少なくとも一方に基づいて判定できる。あるいは、追越しは、車両の位置関係に応じて判定できる。重要映像判定部114は、監視対象の車両が他の車両を追い越すか、又は他の車両によって追い越されるかに応じて、重量な映像を判定してもよい。
【0046】
重要映像判定部114は、監視対象の車両が他の車両を追い越す場合、監視対象の車両の前方を撮影する映像を重要な映像と判定する。その場合、映像調整通知部115は、送信映像調整通知において、監視対象の車両の前方を撮影するカメラの映像に対して、高解像度及び高フレームレートを指定する。映像調整通知部115は、監視対象車両の後方や左右を撮影する他のカメラの映像に対しては、送信映像調整通知において、低解像度及び低フレームレートを指定する。配信映像調整部301は、そのような送信映像調整通知に基づいて、監視対象車両の前方を撮影するカメラの映像の品質が他のカメラの映像の品質より高くなるように、各映像の品質を調整する。
【0047】
重要映像判定部114は、監視対象の車両が他の車両によって追い越される場合、監視対象の車両の後方を撮影する映像を重要な映像と判定する。その場合、映像調整通知部115は、送信映像調整通知において、監視対象の車両の後方を撮影するカメラの映像に対して、高解像度及び高フレームレートを指定する。配信映像調整部301は、送信映像調整通知に基づいて、監視対象車両の後方を撮影するカメラの映像の品質が他のカメラの映像の品質より高くなるように、各映像の品質を調整する。また、追い越す側の車両と追い越される側の車両との双方から映像が得られる場合、映像調整通知部115は、例えば、送信映像調整通知において、追い越す側の車両の前方の映像に対して高解像度及び高フレームレートを指定する。映像調整通知部115は、追い越される側の車両の前方の映像に対しては、送信映像調整通知において、低解像度及び低フレームレートを指定する。配信映像調整部301は、送信映像調整通知に基づいて、追い越す側の車両の前方の映像の品質が、追い越される側の車両の前方の映像の品質より高くなるように、各映像の品質を調整する。
【0048】
重要映像判定部114は、監視対象の車両が交差点などに進入する場合、その交差点付近に設置される路上設備250が撮影する映像を重要な映像と判定してもよい。例えば、映像受信部111は、監視対象の車両200、及び、交差点において複数の方向を撮影する路上設備250から映像を受信する。重要映像判定部114は、監視対象の車両200が交差点を右折する場合、路上設備250から右折先の道路を撮影する映像を、重要な映像と判定してもよい。
【0049】
図7は、別の局面における、複数のカメラが設置された交差点の状況を模式的に示す。この例において、車両は、交差点を右折する。重要映像判定部114は、映像受信部111が複数の路上設備250から映像を受信する場合、複数の路上設備250の映像のうち、監視対象の車両200の進行方向を撮影する映像を重要な映像と判定してもよい。この場合、重要映像判定部114は、車両の進行方向を撮影する路上設備(カメラ350-2)の映像を、重要な映像と判定する。映像調整通知部115は、送信映像調整通知において、カメラ350-2の映像に対して、高解像度及び高フレームレートを指定する。映像調整通知部115は、カメラ350-4の映像に対しては、送信映像調整通知において、低解像度及び低フレームレートを指定する。配信映像調整部301は、送信映像調整通知に基づいて、カメラ350-2の映像の品質が、カメラ350-4の映像の品質より高くなるように、各映像の品質を調整する。
【0050】
重要映像判定部114は、映像受信部111が受信した各映像に基づいて、各映像内の重要領域を更に判定してもよい。重要映像判定部114は、例えば重要な映像と判定した映像内で特に重要な領域を重要領域と判定してもよい。重要映像判定部114は、例えば物体検出部113が検出した物体の領域を、重要領域と判定してもよい。具体的には、重要映像判定部114は、例えば映像内に人が存在する場合、その人の領域を重要領域と判定してもよい。重要映像判定部114は、1つの映像内に、複数の重要領域を判定してもよい。映像調整通知部115は、重要映像判定部114が重要領域を判定した場合、重要領域を指定する情報を、送信映像調整通知に含める。配信映像調整部301は、送信映像調整通知が重要領域を指定する情報を含む場合、1つの映像において、重要領域の品質が、他の領域内の品質よりも高くなるように、映像品質を調整してもよい。
【0051】
映像調整通知部115は、送信映像調整通知の送信要否を選択しても良い。言い換えると、重要な映像と判定された映像に関する送信映像調整通知を送信し、重要な映像と判定されていない映像に関する送信映像調整通知は送信しなくてもよい。例えば、車両側の配信映像調整部301は、送信映像調整通知が受信されていない場合、各映像の品質を、比較的低画質に調整する。映像調整通知部115は、重要な映像と判定された映像、つまり、高画質で送信する映像に関する送信映像調整通知を送信する。配信映像調整部301は、送信映像調整通知が受信された映像について、送信映像調整通知に従って、映像の解像度を高くし、送信周期を短くしてもよい。映像調整通知部115は、図1に示される映像調整通知手段14に対応する。
【0052】
監視者は、重要映像判定部114が重要な映像を判定する前は、比較的画質が低い映像を用いて監視対象の車両を監視する。重要映像判定部114が重要ない映像を判定した場合、映像受信部111は、重要な映像と判定された映像については比較的画質が高い映像を受信する。この場合、監視者は、重要な映像については、鮮明な映像を監視して、監視対象の車両の走行に支障があるか否かを監視できる。
【0053】
なお、遠隔監視装置101は、監視対象の車両の遠隔監視だけでなく、監視対象の車両の走行を遠隔で制御してもよい。例えば、遠隔監視装置101は遠隔制御部を有し、遠隔制御部は、車両に対して、例えば右折開始や緊急停止などの遠隔制御コマンドを送信してもよい。車両は、遠隔制御コマンドを受信した場合、そのコマンドに従って動作する。あるいは、遠隔監視装置101は、ステアリングホイール、アクセルペダル、及びブレーキペダルなどの車両を遠隔で操縦するための設備を有していてもよい。遠隔制御部は、遠隔運転車の操作に応じて、車両を遠隔で運転してもよい。遠隔監視装置101は、自動運転で運転されている車両を、遠隔運転に切り替えてもよい。あるいは、遠隔監視装置101は、人が運転している車両を、自動運転又は遠隔運転に切り替えてもよい。
【0054】
次いで、遠隔監視システム100における動作手順(遠隔監視方法)を説明する。図8は、遠隔監視システム100における動作手順を示す。各車両200及び路上設備250は、カメラ350(図4を参照)を用いて撮影された映像を、ネットワーク102を介して遠隔監視装置101に送信する。遠隔監視装置101の映像受信部111は、車両200及び路上設備250から、映像を収集する(ステップB1)。
【0055】
物体検出部113は、収集された各映像に対して、物体検出を行う(ステップB2)。重要映像判定部114は、物体検出の結果に基づいて、重要な映像を判定する(ステップB3)。重要映像判定部114は、ステップB3では、例えば人などの所定の物体が検出された映像を重要な映像と判定される。あるいは、重要映像判定部114は、物体検出の結果を用いて監視対象の車両、及びその周辺における交通状況を分析し、その分析結果に基づいて重要な映像を判定してもよい。重要映像判定部114は、重要な映像において、重要領域を更に判定してもよい。
【0056】
映像調整通知部115は、重要な映像の判定結果に基づいて、送信映像調整通知を生成する。映像調整通知部115は、送信映像調整通知を、各映像の送信元の車両200及び路上設備250に送信する(ステップB4)。車両200及び路上設備250の通信装置300(図4を参照)において、調整通知受信部303は、送信映像調整通知を受信する。配信映像調整部301は、調整通知受信部303が受信した送信映像調整通知に基づいて、各カメラ350から取得する映像の画像品質を調整する(ステップB5)。映像送信部302は、画僧品質が調整された映像を、遠隔監視装置101に送信する。
【0057】
本実施形態では、遠隔監視装置101において、重要映像判定部114は、車両200及び路上設備250から受信する複数の映像のうち、重要な映像を判定する。映像調整通知部115は、重要な映像と判定された映像の画像品質が、他の映像の画像品質より高くなるように、映像の送信側の配信映像調整部301を制御する。このようにすることで、映像受信部111は、重要領域が高画質になるように品質が調整された映像を受信することができる。本実施形態に係る遠隔監視装置101は、映像の重要度に応じた画像品質の映像を受信することができ、限られた通信帯域下においても、監視対象の車両の状況を精度よく把握可能な映像を取得することができる。
【0058】
なお、本開示において、遠隔監視装置101は、コンピュータ装置(サーバ装置)として構成され得る。図9は、遠隔監視装置101として用いられ得るコンピュータ装置の構成例を示す。コンピュータ装置500は、制御部(CPU:Central Processing Unit)510、記憶部520、ROM(Read Only Memory)530、RAM(Random Access Memory)540、通信インタフェース(IF:Interface)550、及びユーザインタフェース560を有する。
【0059】
通信インタフェース550は、有線通信手段又は無線通信手段などを介して、コンピュータ装置500と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース560は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース560は、キーボード、マウス、及びタッチパネルなどの入力部を含む。
【0060】
記憶部520は、各種のデータを保持できる補助記憶装置である。記憶部520は、必ずしもコンピュータ装置500の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置500に接続されたクラウドストレージであってもよい。
【0061】
ROM530は、不揮発性の記憶装置である。ROM530には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。CPU510が実行するプログラムは、記憶部520又はROM530に格納され得る。記憶部520又はROM530は、例えば遠隔監視装置101内の各部の機能を実現するための各種プログラムを記憶する。
【0062】
上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータ装置500に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、CD(compact disc)、又はDVD(digital versatile disk)などの光ディスク媒体、及び、マスクROM、PROM(programmable ROM)、EPROM(erasable PROM)、フラッシュROM、又はRAMなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0063】
RAM540は、揮発性の記憶装置である。RAM540には、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)などの各種半導体メモリデバイスが用いられる。RAM540は、データなどを一時的に格納する内部バッファとして用いられ得る。CPU510は、記憶部520又はROM530に格納されたプログラムをRAM540に展開し、実行する。CPU510がプログラムを実行することで、遠隔監視装置101内の各部の機能が実現され得る。CPU510は、データなどを一時的に格納できる内部バッファを有してもよい。
【0064】
以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
【0065】
例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【0066】
[付記1]
撮像位置が異なる第1の映像と、第2の映像とを取得する映像受信手段と、
前記第1の映像と前記第2の映像に基づいて、重要度が高い映像を判定する重要映像判定手段と、
前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信する映像調整通知手段と、
前記送信映像調整通知に基づいて前記第1の映像を調整する第1の映像調整手段と、
前記送信映像調整通知に基づいて前記第2の映像を調整する第2の映像調整手段と、
を備える遠隔監視システム。
【0067】
[付記2]
前記映像調整通知手段は、前記送信映像調整通知に基づいて、前記重要度が高い映像と判定された映像の画像品質が、前記重要度が高い映像と判定されていない映像の画像品質よりも高くなるように、前記第1の映像調整手段及び前記第2の映像調整手段を制御する付記1に記載の遠隔監視システム。
【0068】
[付記3]
前記第1の映像及び前記第2の映像は、監視対象の車両において取得される映像、及び前記監視対象の車両に関連する関連物において取得される映像の少なくとも一方を含む付記1又は2に記載の遠隔監視システム。
【0069】
[付記4]
重要映像判定手段は、前記映像受信手段が受信した各映像に基づいて、各映像内の重要領域を更に判定し、
前記映像調整通知手段は、前記送信映像調整通知に前記重要領域を指定する情報を含める付記1から3何れか1つに記載の遠隔監視システム。
【0070】
[付記5]
前記映像受信手段が受信する映像に対して物体検出を行う物体検出手段を更に有し、
前記重要映像判定手段は、前記物体検出手段における物体検出の結果に基づいて前記重要度が高い映像を判定する付記1から4何れか1つに記載の遠隔監視システム。
【0071】
[付記6]
前記重要映像判定手段は、検出された前記物体の移動先を推定し、該推定した移動先を撮影範囲とする映像を前記重要度が高い映像と判定する付記5に記載の遠隔監視システム。
【0072】
[付記7]
前記重要映像判定手段は、前記第1の映像及び前記第2の映像、及び該第1及び第2の映像の撮像位置に基づいて交通の状態を分析し、該分析の結果に基づいて前記重要度が高い映像を判定する付記1から4何れか1つに記載の遠隔監視システム。
【0073】
[付記8]
前記映像受信手段は、複数の監視対象の車両のそれぞれから撮影方向が異なる複数の映像を受信し、
前記重要映像判定手段は、前記複数の監視対象の車両が隊列走行している場合、隊列走行している各車両の隊列における位置に応じて、前記重要度が高い映像を判定する付記1から4何れか1つに記載の遠隔監視システム。
【0074】
[付記9]
前記重要映像判定手段は、少なくとも、前記隊列の先頭を走行する車両の前方を撮影する映像、及び前記隊列の最後尾を走行する車両の後方を撮影する映像を、前記重要度が高い映像と判定する付記8に記載の遠隔監視システム。
【0075】
[付記10]
前記映像受信手段は、1以上の路上設備のそれぞれから1以上の映像を受信し、
前記重要映像判定手段は、前記路上設備から受信される映像のうち、監視対象の車両の進行方向を撮影する映像を重要度が高い映像と判定する付記1から4何れか1つに記載の遠隔監視システム。
【0076】
[付記11]
撮像位置が異なる第1の映像と、第2の映像とを取得する映像受信手段と、
前記第1の映像と前記第2の映像とに基づいて、重要度が高い映像を判定する重要映像判定手段と、
前記重要度の判定結果に基づいて、前記第1の映像及び前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整する映像調整通知手段とを備える遠隔監視装置。
【0077】
[付記12]
前記映像調整通知手段は、前記送信映像調整通知に基づいて、前記重要度が高い映像と判定された映像の画像品質が、前記重要度が高い映像と判定されていない映像の画像品質よりも高くなるように、前記第1の映像及び前記第2の映像の品質を調整する付記11に記載の遠隔監視装置。
【0078】
[付記13]
前記第1の映像及び前記第2の映像は、監視対象の車両において取得される映像、及び前記監視対象の車両に関連する関連物において取得される映像の少なくとも一方を含む付記11又は12に記載の遠隔監視装置。
【0079】
[付記14]
重要映像判定手段は、前記映像受信手段が受信した各映像に基づいて、各映像内の重要領域を更に判定し、
前記映像調整通知手段は、前記送信映像調整通知に前記重要領域を指定する情報を含める付記11から13何れか1つに記載の遠隔監視装置。
【0080】
[付記15]
撮像位置が異なる第1の映像と、第2の映像と取得し、
前記第1の映像と前記第2の映像に基づいて、重要度が高い映像を判定し、
前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整する遠隔監視方法。
【0081】
[付記16]
前記第1の映像及び前記第2の映像の品質の調整では、前記送信映像調整通知に基づいて、前記重要度が高い映像と判定された映像の画像品質が、前記重要度が高い映像と判定されていない映像の画像品質よりも高くなるように、前記第1の映像及び前記第2の映像の品質を調整する付記15に記載の遠隔監視方法。
【0082】
[付記17]
前記第1の映像及び前記第2の映像は、監視対象の車両において取得される映像、及び前記監視対象の車両に関連する関連物において取得される映像の少なくとも一方を含む付記15又は16に記載の遠隔監視方法。
【0083】
[付記18]
さらに、前記第1の映像及び前記第2の映像に基づいて、各映像内の重要領域を更に判定し、
前記送信映像調整通知の生成では、前記送信映像調整通知に前記重要領域を指定する情報を含める付記15から17何れか1つに記載の遠隔監視方法。
【0084】
[付記19]
撮像位置が異なる第1の映像と、第2の映像を取得し、
前記第1の映像と前記第2の映像とに基づいて、重要度が高い映像を判定し、
前記重要度の判定結果に応じて、前記第1の映像と前記第2の映像の品質を調整するための送信映像調整通知を送信することで、前記第1の映像及び前記第2の映像の品質を調整する処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
【符号の説明】
【0085】
10:遠隔監視システム
12:映像受信手段
13:重要映像判定手段
14:映像調整通知手段
15:第1の映像調整手段
16:第2の映像調整手段
100:遠隔監視システム
101:遠隔監視装置
102:ネットワーク
111:映像受信部
112:監視画面表示部
113:物体検出部
114:重要映像判定部
115:映像調整通知部
200:車両
250:路上設備
300:通信装置
301:配信映像調整部
302:映像送信部
303:調整通知受信部
350:カメラ
図1
図2
図3
図4
図5
図6
図7
図8
図9