IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7563445データ処理装置、データ処理方法、およびプログラム
<>
  • 特許-データ処理装置、データ処理方法、およびプログラム 図1
  • 特許-データ処理装置、データ処理方法、およびプログラム 図2
  • 特許-データ処理装置、データ処理方法、およびプログラム 図3
  • 特許-データ処理装置、データ処理方法、およびプログラム 図4
  • 特許-データ処理装置、データ処理方法、およびプログラム 図5
  • 特許-データ処理装置、データ処理方法、およびプログラム 図6
  • 特許-データ処理装置、データ処理方法、およびプログラム 図7
  • 特許-データ処理装置、データ処理方法、およびプログラム 図8
  • 特許-データ処理装置、データ処理方法、およびプログラム 図9
  • 特許-データ処理装置、データ処理方法、およびプログラム 図10
  • 特許-データ処理装置、データ処理方法、およびプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】データ処理装置、データ処理方法、およびプログラム
(51)【国際特許分類】
   G08G 1/01 20060101AFI20241001BHJP
   G08G 1/13 20060101ALI20241001BHJP
【FI】
G08G1/01 A
G08G1/13
【請求項の数】 6
(21)【出願番号】P 2022508079
(86)(22)【出願日】2021-01-07
(86)【国際出願番号】 JP2021000332
(87)【国際公開番号】W WO2021186854
(87)【国際公開日】2021-09-23
【審査請求日】2022-09-13
(31)【優先権主張番号】P 2020049889
(32)【優先日】2020-03-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】五日市 大輝
(72)【発明者】
【氏名】福里 篤司
(72)【発明者】
【氏名】二木 康則
(72)【発明者】
【氏名】渡部 大介
(72)【発明者】
【氏名】柳原 裕一
(72)【発明者】
【氏名】不破 信雄
【審査官】武内 俊之
(56)【参考文献】
【文献】特開2002-036954(JP,A)
【文献】国際公開第2017/013750(WO,A1)
【文献】国際公開第2017/047687(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/01
G08G 1/13
(57)【特許請求の範囲】
【請求項1】
車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得手段と、
基準が満された場合に前記送信装置に前記撮像画像を要求し、前記基準が満たされない場合に前記送信装置に前記撮像画像を要求しないデータ処理手段と、
を備え
前記基準は、前記解析データに関して定められており、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記データ処理手段は、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記撮像画像を要求するデータ処理装置。
【請求項2】
車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得手段と、
基準が満された場合に前記送信装置に前記撮像画像を要求し、前記基準が満たされない場合に前記送信装置に前記撮像画像を要求しないデータ処理手段と、
を備え、
前記基準は、前記解析データに関して定められており、
前記取得手段は、複数の前記車両のそれぞれから、当該車両の位置を示す車両位置データを、前記解析データと共に取得し、
前記データ処理手段は、一の前記車両位置データを特定する情報を取得すると、
当該車両位置データに対応する第1の前記解析データを取得し、
当該車両位置データとの関連性が基準を満たす少なくとも一つの他の前記車両位置データを取得し、当該少なくとも一つの他の車両位置データに対応する第2の前記解析データを取得し、
前記第1の解析データが示す前記物体の種類及び位置と、前記第2の解析データが示す前記物体の種類及び位置と、に不一致が生じていた時、前記一の車両位置データに対応する前記車両の前記送信装置に、前記撮像画像を要求するデータ処理装置。
【請求項3】
請求項1または2に記載のデータ処理装置において、
前記データ処理手段は、前記解析データの代わりに前記撮像画像を要求するデータ処理装置。
【請求項4】
請求項に記載のデータ処理装置において、
前記データ処理手段は、
前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する画像を生成してディスプレイに表示させ、
前記撮像画像を受信するたびに当該撮像画像を前記ディスプレイに表示させるデータ処理装置。
【請求項5】
コンピュータが、
車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得処理と、
基準が満された場合に前記送信装置に前記撮像画像を要求し、前記基準が満たされない場合に前記送信装置に前記撮像画像を要求しないデータ処理と、
を行い、
前記基準は、前記解析データに関して定められており、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記データ処理において、前記コンピュータが、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記撮像画像を要求するデータ処理方法。
【請求項6】
コンピュータに、
車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得機能と、
基準が満された場合に前記送信装置に前記撮像画像を要求し、前記基準が満たされない場合に前記送信装置に前記撮像画像を要求しないデータ処理機能と、
を持たせ
前記基準は、前記解析データに関して定められており、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記データ処理機能は、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記撮像画像を要求するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理装置、送信装置、データ処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年は自動車などの車両にカメラなどの様々なセンサを搭載することが増えている。例えば特許文献1には、自車両を含む複数の車両からこれらセンサの検出結果をサーバが取得すること、このサーバが自車両及び他の車両の行動を予測すること、この予測結果を用いてリスク分析を行うこと、及び、衝突の可能性を拡張現実で視覚化することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-9428号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
車両に搭載された撮像部が生成した画像を監視センターで確認できるようになると、車両の周囲の状態を監視員が視覚的に確認することができるため、交通事故のリスクを減らすことができる。一方、画像をそのまま監視センターに送ると通信量が多くなる。
【0005】
これを抑制する方法として、本発明者は、車両で画像を解析し、その解析結果を監視センターのサーバに送信し、この監視結果を用いてサーバが車両の周囲の状態を画像化することを検討した。しかし、監視の質を高くするためには、監視員が直接画像を確認したほうが良い場合もある。
【0006】
本発明の目的の一例は、車両と監視センターの間の通信量を抑制しつつ、監視センターにおける監視の質を高くすることにある。
【課題を解決するための手段】
【0007】
本発明によれば、車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得手段と、
基準が満されたときに、前記送信装置に、前記撮像画像を要求するデータ処理手段と、
を備えるデータ処理装置が提供される。
【0008】
本発明によれば、車両に搭載された送信装置であって、
前記車両の周囲を撮像して画像を生成する撮像手段と、
前記画像を処理することにより、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを生成する画像処理手段と、
前記解析データをデータ処理装置に送信するとともに、前記解析データが基準を満たしたときに前記画像を前記データ処理装置に送信する通信手段と、
を備える送信装置が提供される。
【0009】
本発明によれば、コンピュータが、
車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得処理と、
基準が満されたときに、前記送信装置に、前記撮像画像を要求するデータ処理と、
を行うデータ処理方法が提供される。
【0010】
本発明によれば、コンピュータに、
車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得機能と、
基準が満されたときに、前記送信装置に、前記撮像画像を要求するデータ処理機能と、
を持たせるプログラムが提供される。
【発明の効果】
【0011】
本発明によれば、車両と監視センターの間の通信量を抑制しつつ、監視センターにおける監視の質を高くすることができる。
【図面の簡単な説明】
【0012】
図1】実施形態に係る画像生成装置の使用環境を説明する図である。
図2】送信装置の機能構成の一例を示す図である。
図3】画像生成装置の機能構成の一例を示す図である。
図4】送信装置の要部のハードウェア構成例を示す図である。
図5】画像生成装置が行う処理の第1例を示すフローチャートである。
図6】ステップS50でディスプレイに表示される再構成画像の第1例を示す図である。
図7】ステップS50でディスプレイに表示される再構成画像の第2例を示す図である。
図8】画像生成装置が行う処理の第2例を示すフローチャートである。
図9】画像生成装置が行う処理の第3例を示すフローチャートである。
図10】画像生成装置が行う処理の第4例を示すフローチャートである。
図11】画像生成装置が行う処理の第5例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0014】
図1は、実施形態に係る画像生成装置20の使用環境を説明する図である。画像生成装置20はデータ処理装置の一例であり、複数の送信装置10と共に使用される。画像生成装置20は、監視センターに設置されている。監視センターにおいて、監視員は例えば道路や車両30を監視している。ここで車両30は自動運転車両であってもよい。
【0015】
送信装置10は車両30に搭載されており、車両30の周囲、例えば前方を撮影した画像(撮影画像)を生成するとともに、当該画像を処理した結果(以下、解析データと記載)を画像生成装置20に送信する。解析データには、少なくとも、その送信装置10が搭載されている車両30(以下、第1の車両30と記載)の周囲に位置している物体の種類を示す種類データ、及び第1の車両30に対する物体の相対位置を示す相対位置データを含んでいる。ここで物体は、他の車両30(以下、第2の車両30と記載)であってもよいし、歩行者40であってもよいし、道路に存在する落下物50であってもよいし、道路の周囲に配置された交通標識や道路に描かれた道路標識であってもよい。そして画像生成装置20は、この解析データを用いて再構成画像を生成し、ディスプレイに表示する。この再構成画像内での物体の位置は、実空間において当該物体が存在している位置に対応している。このため、監視員は、再構成画像を見ることにより、第1の車両30の周囲の環境を視覚的に把握できる。
【0016】
また画像生成装置20は、必要に応じて、送信装置10に画像そのものを要求する。一例として、画像生成装置20は、画像生成装置20のユーザ(例えば監視員)から所定の入力があった場合、送信装置10に画像を要求する。すると、送信装置10は画像を画像生成装置20に送信する。この場合、画像生成装置20は、送信装置10が生成した画像をディスプレイに表示する。これにより、画像生成装置20のユーザは、送信装置10が生成した画像を直接確認できる。
【0017】
図2は、送信装置10の機能構成の一例を示す図である。上記したように、送信装置10は車両に搭載されている。本図に示す例において、送信装置10は撮像部12、画像処理部14、及び通信部16を備えている。撮像部12は、例えば車載カメラであり、第1の車両30の周囲、例えば第1の車両30の周囲(例えば前方、側方、及び後方の少なくとも一つ)を繰り返し撮影する。撮像部12は、単眼カメラであってもよいし、ステレオカメラであってもよい。この時のフレームレートは、例えば10フレーム/秒以上であるがこれに限定されない。画像処理部14は、撮像部12が画像を生成するたびに、当該画像を処理して上記した解析データを生成する。通信部16は、画像処理部14が解析データを生成するたびに、当該解析データを画像生成装置20に送信する。また通信部16は、画像生成装置20から画像を要求されると、撮像部12が生成した画像を画像生成装置20に送信する。
【0018】
画像処理部14が生成する解析データは、上記したように、第1の車両30の周囲に位置している物体の種類を示す種類データ、及び第1の車両30に対する物体の相対位置を示す相対位置データを含んでいる。解析データは、必要に応じて他のデータを含んでいてもよい。
【0019】
例えば解析データは、第1の車両30の周囲(例えば前方、側方、及び後方の少なくとも一つ)に位置している道路の状態を示すデータ(以下、道路データと記載)を含んでいてもよい。道路の状態としては、例えば、たとえば幅、延在状態、及び道路に描かれた標識が挙げられるが、これらに限定されない。
【0020】
また物体が第2の車両30である場合、解析データは相対速度データを含んでいてもよい。相対速度データは、第1の車両30と第2の車両30の相対速度を示している。相対速度データは、例えば、画像内における第2の車両30の位置の変化を用いて算出されるが、図示していないセンサを用いて生成されてもよい。
【0021】
なお、解析データは、過去に送信された解析データとの差分を示すデータ、例えば過去に送信された解析データが示す種類データ及び相対位置データとの差分を示していてもよい。ここで「過去に送信された解析データ」は、一つ前に送信された解析データであってもよいし、所定のタイミングで送信された解析データであってもよい。
【0022】
また通信部16は、解析データと共に、第1の車両30を他の車両30から識別する情報を送信してもよい。さらに通信部16は、解析データと共に、第1の車両30に関する他のデータを送信してもよい。この他のデータは、例えば第1の車両30の位置を示すデータ(以下、車両位置データと記載)、及び第1の車両30の速度を示すデータ(以下、車両速度データと記載)の少なくとも一方を含んでいる。ここで車両位置データは、例えばGPSを用いて生成され、車両速度データは、第1の車両30に搭載されている速度計を用いて生成される。
【0023】
図3は、画像生成装置20の機能構成の一例を示す図である。本図に示す例において、画像生成装置20は、取得部210、データ処理部220、及びディスプレイ230を備えている。取得部210は、少なくとも一つの送信装置10から解析データを繰り返し取得する。解析データは、上記したように、少なくとも種類データ及び相対位置データを含んでいる。データ処理部220は、解析データを取得するたびに、当該解析データを用いて再構成画像を生成し、ディスプレイ230に表示させる。ここで、ディスプレイ230は画像生成装置20の外部に位置していてもよい。この場合、画像生成装置20をクラウドサーバによって実現し、ディスプレイ230を監視センターに配置することができる。再構成画像は、相対位置データに対応する位置に種類データに基づいた表示を有している。この表示は、当該種類データが示す種類の外形を模したマークであってもよいし、抽象化したマークであってもよい。
【0024】
また解析データが上記した道路データを有している場合、データ処理部220は、道路データに従った道路の表示を再構成画像に含めてもよい。この場合、データ処理部220は、第1の車両30が走行している道路を再構成画像で再現するとともに、第1の車両30の周囲に位置している物体も当該再構成画像で再現する。すなわち再構成画像は、第1の車両30の周囲の様子を再現した画像になる。
【0025】
また、解析データが上記した相対速度データを含んでおり、かつ、取得部210が解析データと共に車両速度データを取得した場合、データ処理部220は、車両速度データ及び相対速度データを用いて第2の車両30の速度を推定し、当該推定結果を示す表示を再構成画像に含めるか、または再構成画像と共に表示してもよい。この推定結果は、例えば推定対象となる第2の車両30の近傍に表示されてもよいし、一覧表で表示されてもよい。
【0026】
なお、データ処理部220は、再構成画像を生成する際に、地図データ記憶部222が記憶している情報を用いてもよい。地図データ記憶部222は、地図データを位置情報に対応付けて記憶している。また、取得部210は、解析データと共に、上記した車両位置データを取得する。そしてデータ処理部220は、地図データ記憶部222から、車両位置データに対応する地点を含む地図データを取得する。地図データは、少なくとも道路の幅や形状を含んでいる。そしてデータ処理部220は、再構成画像に当該地図データに基づいた道路を含める。この道路は、少なくとも車両30が走行している道路を再現したものである。
【0027】
なお、地図データ記憶部222は画像生成装置20の一部であってもよいし、画像生成装置20の外部に位置していてもよい。
【0028】
またデータ処理部220は、基準を満たしたときに、送信装置10に、撮像部12が生成した画像を要求してもよい。この場合、データ処理部220は、送信装置10から取得した画像をディスプレイ230に表示させる。なお、この基準は、例えば解析データに関して定められていてもよいし、ユーザ(監視員)による画像生成装置20への入力に関して定められていてもよい。この基準の具体例については、他の図を用いて後述する。
【0029】
図4は、送信装置10の要部のハードウェア構成例を示す図である。送信装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
【0030】
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
【0031】
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
【0032】
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
【0033】
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は送信装置10の各機能(例えば画像処理部14及び通信部16)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
【0034】
入出力インタフェース1050は、送信装置10の要部と各種入出力機器とを接続するためのインタフェースである。例えば送信装置10の要部は、入出力インタフェース1050を介して撮像部12と通信する。
【0035】
ネットワークインタフェース1060は、送信装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。送信装置10は、ネットワークインタフェース1060を介して画像生成装置20と通信する。
【0036】
なお、画像生成装置20のハードウェア構成例も、図4に示した通りになる。この場合、ストレージデバイス1040は画像生成装置20機能(例えば取得部210及びデータ処理部220)を実現するプログラムモジュールを記憶している。またストレージデバイス1040は地図データ記憶部222としても機能する。
【0037】
図5は、画像生成装置20が行う処理の第1例を、送信装置10が行う処理と共に示すフローチャートである。送信装置10及び画像生成装置20は、送信装置10の撮像部12が画像を生成するたびに、本図に示す処理を行う。
【0038】
撮像部12が画像を生成する(ステップS10)と、送信装置10の画像処理部14は、この画像を処理することにより解析データを生成する(ステップS20)。次いで送信装置10の通信部16は、ステップS20で生成された解析データを画像生成装置20に送信する。この際、通信部16は、解析データと共に、相対速度データ及び第1の車両30の車両速度データを送信する(ステップS30)。
【0039】
画像生成装置20の取得部210は、送信装置10から送信されてきたデータを取得する。そして画像生成装置20のデータ処理部220は、取得部210が取得したデータを用いて再構成画像を生成し(ステップS40)、この構成画像をディスプレイ230に表示させる(ステップS50)。
【0040】
なお、ステップS20以降に示した処理は、撮像部12が生成した画像の一部に対してのみ行われてもよい。例えばステップS10において撮像部12は通常の動画のフレームレート(たとえば24フレーム/秒以上)で撮影を行い、ステップS20以降の処理は、撮像部12より低いフレームレート(例えば12フレーム/秒)で行われてもよい。
【0041】
また、ステップS20以降に示した処理が行われる頻度は、第1の車両30の速度に従って変わってもよい。一例として、第1の車両30の速度が大きくなるにつれて、この頻度は多くなる。このようにすると、第1の車両30が低速の時に送信装置10及び画像生成装置20にかかる負荷は、小さくなる。
【0042】
なお、通信部16は、ステップS30において、ステップS20で生成された解析データの一部のみを画像生成装置20に送信してもよい。例えば通信部16は、第2の車両30及び交通標識に関するデータのみを画像生成装置20に送信してもよい。この場合、画像生成装置20のデータ処理部220は、必要に応じてすべての解析データを送信装置10に要求する。一例として、監視員から所定の入力があった場合である。すると送信装置10の通信部16は、それ以降、解析データのすべて(例えば道路上の落下物50に関するデータ)を画像生成装置20に送信する。このようにすると、送信装置10と画像生成装置20の間の通信量は少なくなる。
【0043】
図6は、ステップS50でディスプレイ230に表示される再構成画像の第1例を示している。本図に示す例において、データ処理部220は、再構成画像として、第1の車両30から当該第1の車両30の外を見た画像を生成する。一例として、再構成画像は、第1の車両30の運転席から見た画像になる。例えば第1の車両30が片道に複数の車線を有する道路を走行していた場合、再構成画像には、第1の車両30の前方(斜め前方も含む)に位置する第2の車両30及び交通標識が表示される。また、道路に落下物50があった場合、再構成画像には、落下物50も表示される。さらに、第1の車両30の周囲に歩行者がいた場合、再構成画像には、当該歩行者も表示される。
【0044】
また本図に示す例において、再構成画像には、第2の車両30の速度も表示される。この速度は、相対速度データ及び車両速度データを用いて算出される。
【0045】
図7は、ステップS50でディスプレイ230に表示される再構成画像の第2例を示している。本図に示す例において、再構成画像は、図6に示した画像のほかに、鳥瞰図も含んでいる。なお、再構成画像は鳥瞰図のみであってもよい。なお、解析データが第1の車両30の複数の方向に関している場合、再構成画像としての鳥瞰図を生成しやすくなる。
【0046】
図8は、画像生成装置20が行う処理の第2例を、送信装置10が行う処理と共に示すフローチャートである。本図に示す処理は、再構成画像を生成するときに地図データが用いられる点を除いて、図5に示した処理と同様である。また本図に示す例において、解析データは道路データを含んでいなくてもよい。
【0047】
ステップS20の後、送信装置10の通信部16は、解析データと共に車両位置データを画像生成装置20に送信する。この際、通信部16は、解析データと共に、相対速度データ及び第1の車両30の車両速度データを送信する(ステップS32)。
【0048】
画像生成装置20の取得部210が送信装置10から送信されてきたデータを取得すると、データ処理部220は、車両位置データが示す地点を含む地図データを地図データ記憶部222から読み出し(ステップS34)、この地図データを用いて再構成画像を生成し(ステップS40)、生成した再構成画像をディスプレイ230に表示させる(ステップS50)。
【0049】
地図データを用いるようにすると、送信装置10の画像処理部14において道路データを生成する必要がなくなるため、画像処理部14の処理負荷は小さくなる。
【0050】
なお、データ処理部220は、図5に示した方法で第1の再構成画像を生成するとともに、本図に示した方法で第2の再構成画像を生成してもよい。この場合、データ処理部220は、第1の再構成画像と第2の再構成画像を比較可能な状態でディスプレイ230に表示させてもよい。例えばデータ処理部220は、第1の再構成画像と第2の再構成画像を並べてディスプレイ230に表示させてもよいし、第1の再構成画像と第2の再構成画像を重畳してディスプレイ230に表示させてもよい。このようにすると、監視員は、例えば地図データと送信装置10の画像処理部14が生成した道路データの差(一例として道路に生じた異常)を視覚的に認識することができる。
【0051】
図9は、画像生成装置20が行う処理の第3例を示している。本図に示す処理において、送信装置10は複数の車両30に搭載されている。そして送信装置10は、図5又は図8に示した処理を行っている。
【0052】
画像生成装置20の取得部210は、複数の送信装置10から解析データ、車両位置データ、車両速度データ、及び相対速度データを取得する(ステップS110)。
【0053】
次いでデータ処理部220は、複数の車両30から、対象となる車両30(上記した第1の車両30に相当)を特定する情報を取得する。この取得は、例えば監視員からの入力によって行われてもよい。すると、データ処理部220は、車両位置データを用いて、第1の車両30の近くに位置する車両30を、第2の車両30として特定する。一例として、データ処理部220は、第1の車両30に対応する車両位置データを取得し、当該車両位置データとの関連性(例えば方向及び距離)が基準を満たす少なくとも一つの他の車両位置データを特定し、この車両位置データに対応する車両30を第2の車両30とする。ここで、複数の車両30が特定された場合、データ処理部220は、これら複数の車両30を第2の車両30とする(ステップS120)。
【0054】
次いでデータ処理部220は、第1の車両30に対応する解析データ(以下、第1の解析データと記載)を取得するとともに、第2の車両30に対応する解析データ(以下、第2の解析データと記載)を選択する(ステップS130)。次いでデータ処理部220は、第1の解析データ及び第2の解析データの間に不一致があるか否かを判断する。一例として、データ処理部220は、第1の解析データが示す物体の種類及び位置と、第2の解析データが示す物体の種類及び位置と、の間に不一致があるか否かを判断する(ステップS140)。
【0055】
例えばデータ処理部220は、第1の車両30の位置情報及び第1の解析データを用いて、物体別の位置を特定する。同様にデータ処理部220は、第2の車両30の位置情報及び第2の解析データを用いて、物体別の位置を特定する。そしてデータ処理部220は、これら物体別の位置に、不一致があるか否かを判断する。不一致の一例としては、一方の解析結果では存在している物体が、他方の解析結果では存在してない場合がある。また、不一致の他の例としては、一方の解析結果が示す物体の位置と、他方の解析結果が示す物体の位置が、基準値以上異なっている場合である。
【0056】
そして不一致があった場合(ステップS140:Yes)、データ処理部220は、第1の車両30の送信装置10及び第2の車両30の送信装置10の少なくとも一方に、画像を送信するように要求する(ステップS150)。その後、送信装置10は、解析データと共に、又は解析データの代わりに、撮像部12が生成した画像を画像生成装置20に送信する。するとデータ処理部220は、その画像をディスプレイ230に表示させる。なお、データ処理部220は、この画像を再構成画像と並べて表示してもよい。
【0057】
またデータ処理部220は、不一致が生じている物体の位置(すなわち地点)を特定する(ステップS160)、と、特定した地点を示す表示が含まれるように、再構成画像を生成し(ステップS170)、生成した再構成画像をディスプレイ230に表示させる(ステップS180)。再構成画像に含まれる他の表示は、図6又は図7に示した通りである。ここでデータ処理部220は、不一致が生じていた場合、例えばアラーム表示などの所定の出力を行ってもよい。
【0058】
一方、ステップS140において不一致がなかった場合(ステップS140:No)、データ処理部220は再構成画像を生成し(ステップS170)、生成した再構成画像をディスプレイ230に表示させる(ステップS180)。ここで生成される再構成画像は、不一致が生じている地点を示す表示が含まれていない点を除いて、上記した再構成画像と同様である。
【0059】
なお、いずれの場合においても、データ処理部220は、ステップS170において、第1の解析データ及び少なくとも一つの第2の解析データを用いて、再構成画像を生成する。例えばデータ処理部220は、第1の車両30の位置情報及び第1の解析データを用いて、物体別の位置を特定する。同様にデータ処理部220は、第2の車両30の位置情報及び第2の解析データを用いて、物体別の位置を特定する。そしてデータ処理部220は、これらの特定結果を用いて鳥瞰図を生成する。このようにすると、第1の解析データではカバーしきれない範囲の物体の存在を第2の解析データを用いて特定し、その物体を示す表示を、第1の解析データで特定された物体を示す表示と共に、再構成画像に含めることができる。
【0060】
図10は、画像生成装置20が行う処理の第4例を示している。本図に示す処理は、図5図8、又は図9に示した処理と並行して、画像生成装置20が解析データを取得するたびに行われる。
【0061】
まずデータ処理部220は、第1の車両30の送信装置10から送信されてきた解析データを用いて、検出された物体別に当該物体の動きを特定する。例えばデータ処理部220は、今回取得した解析データと、少し前に取得した解析データとの差分を用いて、物体の動きを特定する(ステップS210)。そしてデータ処理部220は、ステップS210で特定した物体の動きが、物体別に定められた基準を満たすか否かを判断する(ステップS220)。
【0062】
例えば物体が歩行者であった場合、基準は、当該歩行者が車道に向かって移動していることである。また、物体が第2の車両30であった場合、基準は、第1の車両30を基準とした第2の車両30の相対位置又はその変化が、異常と判断される場合である。この具体例としては、第2の車両30が対向車両である場合、対向車両があり得ない速度で移動していると判断された場合がある。なお、異常であるか否かの判断は、例えば機械学習で生成されたモデルを用いて行われる。また、解析データに誤りが含まれていた場合、上記した相対位置の変化は物理上あり得ない挙動を示すこともある。この場合も、データ処理部220は異常と判断する。
【0063】
ステップS220において基準が満たされた場合(ステップS220:Yes)、データ処理部220は、第1の車両30の送信装置10に画像を送信するように要求する(ステップS230)。その後、送信装置10は、解析データと共に、又は解析データの代わりに、撮像部12が生成した画像を画像生成装置20に送信する。するとデータ処理部220は、その画像をディスプレイ230に表示させる。なお、データ処理部220は、この画像を再構成画像と並べて表示してもよい。
【0064】
なお、送信装置10の通信部16は、画像生成装置20の代わりに、解析データが基準を満たすか否かを判断してもよい。この判断の一例は、図10のステップS210及びステップS220に示した処理である。またこの判断の他の例は、解析データの信頼性(例えば物体を検知したときのスコア)が基準を満たさないときである。そして通信部16は、解析データが基準を満たした場合に、解析データとともに、又は解析データの代わりに、撮像部12が生成した画像を画像生成装置20に送信する。
【0065】
図11は、画像生成装置20が行う処理の第例を示している。本図に示す処理は、図5図8、又は図9に示した処理、並びに図10に示した処理と並行して行われる。
【0066】
本図に示す例において、画像生成装置20を使用している監視員は、再構成画像を確認している。そして監視員は、送信装置10の撮像部12が生成した画像を直接確認したほうが良いと判断したとき、画像生成装置20に対して所定の入力を行う(ステップS310:Yes)。このような場合としては、例えばいずれかの車両30の動きに異常が生じていた場合や、鳥瞰図において様々な向きの車両30が再構成画像に含まれている場合などである。前者の例としては、例えば画像処理ではとらえきれない落下物50の存在や、道路工事が行われていることがある。するとデータ処理部220は、第1の車両30の送信装置10に画像を送信するように要求する(ステップS320)。その後に行われる処理は、図10を用いて説明した通りである。
【0067】
以上、本実施形態によれば、送信装置10は、画像の代わりに、その画像の解析結果である解析データを画像生成装置20に送信する。解析データは、少なくとも、車両30の周囲に位置している物体の種類を示す種類データ、及び当該車両30に対する物体の相対位置を示す相対位置データを含んでいる。そして画像生成装置20のデータ処理部220は、この解析データを用いて再構成画像を生成し、ディスプレイ230に表示させる。このため、監視員が車両30の周囲に存在する物体を確認できる。また、送信装置10が画像生成装置20に画像を送信する場合と比較して、送信装置10と画像生成装置20の間の通信量は少なくなる。
【0068】
また画像生成装置20は、基準が満たされた時に、送信装置10に、画像を要求する。すると、送信装置10は画像を画像生成装置20に送信する。画像生成装置20のデータ処理部220は、送信装置10から取得した画像をディスプレイ230に表示させる。このように、画像生成装置20は、必要な時に、撮像部12が生成した画像をディスプレイ230に表示させる。このため、監視員による監視の質を高くすることができる。
【0069】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0070】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0071】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得手段と、
基準が満されたときに、前記送信装置に、前記撮像画像を要求するデータ処理手段と、
を備えるデータ処理装置。
2.上記1に記載のデータ処理装置において、
前記基準は、前記解析データに関して定められているデータ処理装置。
3.上記2に記載のデータ処理装置において、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記データ処理手段は、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記撮像画像を要求するデータ処理装置。
4.上記2に記載のデータ処理装置において、
前記取得手段は、複数の前記車両のそれぞれから、当該車両の位置を示す車両位置データを、前記解析データと共に取得し、
前記データ処理手段は、一の前記車両位置データを特定する情報を取得すると、
当該車両位置データに対応する第1の前記解析データを取得し、
当該車両位置データとの関連性が基準を満たす少なくとも一つの他の前記車両位置データを取得し、当該少なくとも一つの他の車両位置データに対応する第2の前記解析データを取得し、
前記第1の解析データが示す前記物体の種類及び位置と、前記第2の解析データが示す前記物体の種類及び位置と、に不一致が生じていた時、前記一の車両位置データに対応する前記車両の前記送信装置に、前記撮像画像を要求するデータ処理装置
5.上記1に記載のデータ処理装置において、
前記基準は、所定のユーザ入力があることであるデータ処理装置。
6.上記1~5のいずれか一項に記載のデータ処理装置において、
前記データ処理手段は、前記解析データの代わりに前記撮像画像を要求するデータ処理装置。
7.上記6に記載のデータ処理装置において、
前記データ処理手段は、
前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する画像を生成してディスプレイに表示させ、
前記撮像画像を受信するたびに当該撮像画像を前記ディスプレイに表示させるデータ処理装置。
8.車両に搭載された送信装置であって、
前記車両の周囲を撮像した画像を処理することにより、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを生成する画像処理手段と、
前記解析データをデータ処理装置に送信するとともに、前記解析データが基準を満たしたときに前記画像を前記データ処理装置に送信する通信手段と、
を備える送信装置。
9.上記8に記載の送信装置において、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記通信手段は、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記画像を前記データ処理装置に送信する送信装置。
10.上記8又は9に記載の送信装置において、
前記通信手段は、前記解析データの代わりに前記撮像画像を送信する送信装置。
11.コンピュータが、
車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得処理と、
基準が満されたときに、前記送信装置に、前記撮像画像を要求するデータ処理と、
を行うデータ処理方法。
12.上記11に記載のデータ処理方法において、
前記基準は、前記解析データに関して定められているデータ処理方法。
13.上記12に記載のデータ処理方法において、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記コンピュータは、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記撮像画像を要求するデータ処理方法。
14.上記12に記載のデータ処理方法において、
前記コンピュータは、
複数の前記車両のそれぞれから、当該車両の位置を示す車両位置データを、前記解析データと共に取得し、
一の前記車両位置データを特定する情報を取得すると、
当該車両位置データに対応する第1の前記解析データを取得し、
当該車両位置データとの関連性が基準を満たす少なくとも一つの他の前記車両位置データを取得し、当該少なくとも一つの他の車両位置データに対応する第2の前記解析データを取得し、
前記第1の解析データが示す前記物体の種類及び位置と、前記第2の解析データが示す前記物体の種類及び位置と、に不一致が生じていた時、前記一の車両位置データに対応する前記車両の前記送信装置に、前記撮像画像を要求するデータ処理方法
15.上記11に記載のデータ処理方法において、
前記基準は、所定のユーザ入力があることであるデータ処理方法。
16.上記11~15のいずれか一項に記載のデータ処理方法において、
前記コンピュータは、前記解析データの代わりに前記撮像画像を要求するデータ処理方法。
17.上記16に記載のデータ処理方法において、
前記コンピュータは、
前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する画像を生成してディスプレイに表示させ、
前記撮像画像を受信するたびに当該撮像画像を前記ディスプレイに表示させるデータ処理方法。
18.車両に搭載されたコンピュータが、
前記車両の周囲を撮像した画像を処理することにより、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを生成し、
前記解析データをデータ処理装置に送信するとともに、前記解析データが基準を満たしたときに前記画像を前記データ処理装置に送信する、送信方法。
19.上記18に記載の送信方法において、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記コンピュータは、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記画像を前記データ処理装置に送信する送信方法。
20.上記18又は19に記載の送信方法において、
前記解析データの代わりに前記撮像画像を送信することを含む送信方法。
21.コンピュータに、
車両に搭載された送信装置から、当該車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得機能と、
基準が満されたときに、前記送信装置に、前記撮像画像を要求するデータ処理機能と、
を持たせるプログラム。
22.上記21に記載のプログラムにおいて、
前記基準は、前記解析データに関して定められているプログラム。
23.上記22に記載のプログラムにおいて、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記データ処理機能は、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記撮像画像を要求するプログラム。
24.上記22に記載のプログラムにおいて、
前記取得機能は、複数の前記車両のそれぞれから、当該車両の位置を示す車両位置データを、前記解析データと共に取得し、
前記データ処理機能は、一の前記車両位置データを特定する情報を取得すると、
当該車両位置データに対応する第1の前記解析データを取得し、
当該車両位置データとの関連性が基準を満たす少なくとも一つの他の前記車両位置データを取得し、当該少なくとも一つの他の車両位置データに対応する第2の前記解析データを取得し、
前記第1の解析データが示す前記物体の種類及び位置と、前記第2の解析データが示す前記物体の種類及び位置と、に不一致が生じていた時、前記一の車両位置データに対応する前記車両の前記送信装置に、前記撮像画像を要求するプログラム
25.上記21に記載のプログラムにおいて、
前記基準は、所定のユーザ入力があることであるプログラム。
26.上記21~25のいずれか一項に記載のプログラムにおいて、
前記データ処理機能は、前記解析データの代わりに前記撮像画像を要求するプログラム。
27.上記26に記載のプログラムにおいて、
前記データ処理機能は、
前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する画像を生成してディスプレイに表示させ、
前記撮像画像を受信するたびに当該撮像画像を前記ディスプレイに表示させるプログラム。
28.車両に搭載されたコンピュータに、
前記車両の周囲を撮像した画像を処理することにより、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを生成する画像処理機能と、
前記解析データをデータ処理装置に送信するとともに、前記解析データが基準を満たしたときに前記画像を前記データ処理装置に送信する送信機能と、
を持たせるプログラム。
29.上記28に記載のプログラムにおいて、
前記物体の種類別に、前記基準となる前記物体の動きが定められており、
前記送信機能は、複数の前記解析データを用いて前記物体毎に当該物体の動きを特定し、当該動きが当該物体の種類に対応する前記基準を満たしたときに、前記画像を前記データ処理装置に送信するプログラム
30.上記28又は29に記載のプログラムにおいて、
前記送信機能は、前記解析データの代わりに前記撮像画像を送信するプログラム。
【0072】
この出願は、2020年3月19日に出願された日本出願特願2020-049889号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0073】
10 送信装置
12 撮像部
14 画像処理部
16 通信部
20 画像生成装置
210 取得部
220 データ処理部
222 地図データ記憶部
230 ディスプレイ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11