IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機インフォメーションシステムズ株式会社の特許一覧

特開2023-34184領域特定装置、領域特定方法及び領域特定プログラム
<>
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図1
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図2
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図3
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図4
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図5
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図6
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図7
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図8
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図9
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図10
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図11
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図12
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図13
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図14
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図15
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図16
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図17
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図18
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図19
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図20
  • 特開-領域特定装置、領域特定方法及び領域特定プログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023034184
(43)【公開日】2023-03-13
(54)【発明の名称】領域特定装置、領域特定方法及び領域特定プログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230306BHJP
   G06T 7/20 20170101ALI20230306BHJP
【FI】
G06T7/00 650B
G06T7/20
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021140294
(22)【出願日】2021-08-30
(11)【特許番号】
(45)【特許公報発行日】2022-12-07
(71)【出願人】
【識別番号】394013002
【氏名又は名称】三菱電機インフォメーションシステムズ株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】藤田 凌太
(72)【発明者】
【氏名】山足 光義
(72)【発明者】
【氏名】西濱 令
(72)【発明者】
【氏名】中尾 尭理
(72)【発明者】
【氏名】阿部 紘和
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA11
5L096CA02
5L096DA01
5L096DA02
5L096FA67
5L096FA69
5L096FA77
5L096FA78
5L096HA05
(57)【要約】
【課題】画像データにおける横断領域を人手によらずに特定可能にする。
【解決手段】物体検出部23は、2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する。内包領域特定部241は、検出された対象の種別についての物体の位置を内包する内包領域を特定する。重畳領域特定部242は、2つ以上の種別のうちある種別について特定された内包領域と他の種別について特定された内包領域とが重畳する重畳領域を、ある種別の物体が移動する領域を他の種別の物体が横断する横断領域として特定する。
【選択図】図1
【特許請求の範囲】
【請求項1】
2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する物体検出部と、
前記物体検出部によって検出された前記対象の種別についての物体の位置を内包する内包領域を特定する内包領域特定部と、
前記内包領域特定部によって前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する重畳領域特定部と
を備える領域特定装置。
【請求項2】
前記内包領域特定部は、前記物体検出部によって検出された前記対象の種別についての物体の位置から、外れ値を除去して残った位置を内包する前記内包領域を特定する
請求項1に記載の領域特定装置。
【請求項3】
前記物体検出部は、検出された物体の追跡を行い、
前記内包領域特定部は、追跡ができなかった物体の位置を除去して残った位置を内包する前記内包領域を特定する
請求項1又は2に記載の領域特定装置。
【請求項4】
前記領域特定装置は、さらに、
前記画像データにおける前記重畳領域特定部によって特定された横断領域から、検出対象を検出する対象検出部
を備える請求項1から3までのいずれか1項に記載の領域特定装置。
【請求項5】
前記物体検出部は、前記物体を検出した後、物体の種別毎にユーザが設定した位置に点をプロットし、
前記内包領域特定部は、プロットされた点に基づき前記内包領域を特定する請求項1から4までのいずれか1項に記載の領域特定装置。
【請求項6】
前記物体検出部は、前記対象の種別の物体以外の物体についても検出し、
前記領域特定装置は、さらに、
前記対象の種別の物体以外の物体についての検出情報に基づき、前記横断領域を補正する領域補正部
を備える請求項1から5までのいずれか1項に記載の領域特定装置。
【請求項7】
前記領域特定装置は、さらに、
特定の種別の物体については、物体の位置を外側に補正距離だけずらす位置補正部
を備える請求項1から6までのいずれか1項に記載の領域特定装置。
【請求項8】
前記領域特定装置は、さらに、
前記種別毎に、前記横断領域の各位置における移動方向を特定する方向特定部
を備える請求項1から7までのいずれか1項に記載の領域特定装置。
【請求項9】
コンピュータが、2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出し、
コンピュータが、検出された前記対象の種別についての物体の位置を内包する内包領域を特定し、
コンピュータが、前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する領域特定方法。
【請求項10】
2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する物体検出処理と、
前記物体検出処理によって検出された前記対象の種別についての物体の位置を内包する内包領域を特定する内包領域特定処理と、
前記内包領域特定処理によって前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する重畳領域特定処理と
を行う領域特定装置としてコンピュータを機能させる領域特定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ある種別の物体が移動する領域を他の物体が横断する横断領域を特定する技術に関する。
【背景技術】
【0002】
人又は車両が進行するとき、他の物体の移動により一時的に侵入禁止となる侵入禁止領域がある。この侵入禁止領域において、侵入を防止するゲート等があるのにも関わらず、人又は車両が侵入し事故に繋がる事案がある。また、横断歩道において、赤信号であるにも関わらず人が横断してしまい事故に繋がる事案がある。事故を未然に防ぐために、侵入禁止領域及び横断歩道といった横断領域を、監視カメラによって得られた映像データを用いて監視することが行われている。
【0003】
映像データを用いた監視を行う際、監視対象の領域を設定し、設定された領域に限定して、対象の検出を行うことは、誤検出の抑制と検出性能の向上といった面において有効である。
監視カメラによって設置される位置及び角度が異なり、監視対象の領域の大きさ及び形状は異なる。そのため、監視対象の領域の設定は、手動で行われるのが一般的である。したがって、監視カメラの台数が多くなると、監視対象の領域を設定するために大きな負担がかかる。また、風等の影響により監視カメラが動いてしまい、撮影範囲が変わってしまった場合には、監視対象の領域を設定し直す必要があり、負担がかかる原因となる。
【0004】
特許文献1には、撮影画像において車両ブロックが規制領域にあるか否かを判定すること等により、交通違反であるか否かを判定することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007-316856号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1においても規制領域を設定する方法については記載されておらず、手動で設定する必要がある。そのため、特許文献1に記載された技術を用いて交通違反であるか否かを判定する場合にも、規制領域の設定を行うために負担がかかる。
本開示は、画像データにおける横断領域を人手によらずに特定可能にすることを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る領域特定装置は、
2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する物体検出部と、
前記物体検出部によって検出された前記対象の種別についての物体の位置を内包する内包領域を特定する内包領域特定部と、
前記内包領域特定部によって前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、ある種別の物体が移動する領域を他の種別の物体が横断する横断領域として特定する重畳領域特定部と
を備える。
【0008】
前記内包領域特定部は、前記物体検出部によって検出された前記対象の種別についての物体の位置から、外れ値を除去して残った位置を内包する前記内包領域を特定する。
【0009】
前記物体検出部は、検出された物体の追跡を行い、
前記内包領域特定部は、追跡ができなかった物体の位置を除去して残った位置を内包する前記内包領域を特定する。
【0010】
前記領域特定装置は、さらに、
前記画像データにおける前記重畳領域特定部によって特定された横断領域から、検出対象を検出する対象検出部
を備える。
【0011】
前記物体検出部は、前記物体を検出した後、物体の種別毎にユーザが設定した位置に点をプロットし、
前記内包領域特定部は、プロットされた点に基づき前記内包領域を特定する。
【0012】
前記物体検出部は、前記対象の種別の物体以外の物体についても検出し、
前記領域特定装置は、さらに、
前記対象の種別の物体以外の物体についての検出情報に基づき、前記横断領域を補正する領域補正部
を備える。
【0013】
前記領域特定装置は、さらに、
特定の種別の物体については、物体の位置を外側に補正距離だけずらす位置補正部
を備える。
【0014】
前記領域特定装置は、さらに、
前記種別毎に、前記横断領域の各位置における移動方向を特定する方向特定部
を備える。
【0015】
本開示に係る領域特定方法は、
コンピュータが、2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出し、
コンピュータが、検出された前記対象の種別についての物体の位置を内包する内包領域を特定し、
コンピュータが、前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する。
【0016】
本開示に係る領域特定プログラムは、
2つ以上の種別それぞれを対象の種別として、撮影装置によって得られた画像データから前記対象の種別の物体を検出する物体検出処理と、
前記物体検出処理によって検出された前記対象の種別についての物体の位置を内包する内包領域を特定する内包領域特定処理と、
前記内包領域特定処理によって前記2つ以上の種別のうちある種別について特定された前記内包領域と他の種別について特定された前記内包領域とが重畳する重畳領域を、前記ある種別の物体が移動する領域を前記他の種別の物体が横断する横断領域として特定する重畳領域特定処理と
を行う領域特定装置としてコンピュータを機能させる。
【発明の効果】
【0017】
本開示では、主として移動する種別の物体と、横断する種別の物体とを検出して、検出された位置から横断領域を特定する。これにより、画像データにおける横断領域を人手によらずに特定可能である。
【図面の簡単な説明】
【0018】
図1】実施の形態1に係る領域特定装置10の構成図。
図2】実施の形態1に係る領域特定装置10の全体的な動作を示すフローチャート。
図3】実施の形態1に係る物体検出処理のフローチャート。
図4】実施の形態1に係る検出枠の位置の説明図。
図5】実施の形態1に係る検出枠の位置の説明図。
図6】実施の形態1に係る2次元座標空間42の説明図。
図7】実施の形態1に係る領域特定処理のフローチャート。
図8】実施の形態1に係る重畳領域52の説明図。
図9】変形例1に係る領域特定装置10の構成図。
図10】変形例3に係る領域特定装置10の構成図。
図11】実施の形態2に係る領域特定装置10の構成図。
図12】実施の形態2に係る領域特定装置10の全体的な動作を示すフローチャート。
図13】実施の形態3に係る領域特定装置10の構成図。
図14】実施の形態3に係る領域特定処理のフローチャート。
図15】実施の形態3に係る領域補正処理の説明図。
図16】実施の形態3に係る領域補正処理の説明図。
図17】変形例5に係る領域特定装置10の構成図。
図18】変形例5に係る領域特定処理のフローチャート。
図19】変形例5に係る位置補正処理の説明図。
図20】実施の形態4に係る領域特定装置10の構成図。
図21】実施の形態4に係る領域特定装置10の全体的な動作を示すフローチャート。
【発明を実施するための形態】
【0019】
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る領域特定装置10の構成を説明する。
領域特定装置10は、ある種別の物体が移動する領域を他の物体が横断する横断領域53を特定するためのコンピュータである。
領域特定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0020】
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
【0021】
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
【0022】
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
【0023】
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High-Definition Multimedia Interface)のポートである。
【0024】
領域特定装置10は、通信インタフェース14を介して、撮影装置31と接続されている。撮影装置31は、監視対象とする横断領域の少なくとも一部を撮影領域に含むように設置されている。
【0025】
領域特定装置10は、機能構成要素として、初期設定部21と、映像取得部22と、物体検出部23と、領域特定部24とを備える。領域特定部24は、内包領域特定部241と、重畳領域特定部242とを備える。領域特定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、領域特定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、領域特定装置10の各機能構成要素の機能が実現される。
【0026】
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
【0027】
***動作の説明***
図2から図8を参照して、実施の形態1に係る領域特定装置10の動作を説明する。
実施の形態1に係る領域特定装置10の動作手順は、実施の形態1に係る領域特定方法に相当する。また、実施の形態1に係る領域特定装置10の動作を実現するプログラムは、実施の形態1に係る領域特定プログラムに相当する。
【0028】
図2を参照して、実施の形態1に係る領域特定装置10の全体的な動作を説明する。
(ステップS11:初期設定処理)
初期設定部21は、ユーザに検出する物体の種別を指定させる。具体的には、初期設定部21は、主として移動する1つ以上の物体の種別と、主として移動する物体が移動する領域を横断する1つ以上の物体の種別とを指定させる。例えば、横断領域53として進入禁止領域を特定する場合には、主として移動する物体の種別として人又は車両が指定され、横断する物体の種別として主として移動する物体以外が指定される。また、横断領域53として横断歩道の領域を特定する場合には、主として移動する物体の種別として車両が指定され、横断する物体の種別として人が指定される。なお、車両として、四輪自動車と、二輪自動車と、自転車といったより具体的な種別が指定されてもよい。
初期設定部21は、指定された種別のリスト41と、指定された種別毎の2次元座標空間42とをメモリ12に設定する。2次元座標空間42は、座標位置の管理を行える形式であればよく、例えばCSV(Comma-Separated Values)形式のデータでもよい。
【0029】
(ステップS12:映像取得処理)
映像取得部22は、撮影装置31によって得られた映像データを取得する。この際、映像取得部22は、撮影装置31に対して直射日光がさす時間帯等を避けた他の時間帯に得られた、適度な長さがある映像データを取得する。適度な長さとは、ステップS11で設定されたリスト41に含まれる種別と、撮影装置31が設置された場所といった条件によって異なる。例えば、種別が人及び車両であり、人及び車両が頻繁に通る場所に撮影装置31が設置されている場合には、適度な長さは5時間程度である。適度な長さの映像データは、連続した映像のデータであってもよいし、連続した映像のデータでなく、途切れ途切れの映像のデータであってもよい。いずれにせよ適度な長さの映像データは、“映像の合計時間が適度な長さ”となる映像データもしくは複数の映像データであればよい。
映像取得部22は、取得された映像データをフレーム毎の画像データに分解して、メモリ12に書き込む。
【0030】
ステップS12で得られた各フレームの画像データを対象として、ステップS13の処理が実行される。
【0031】
(ステップS13:物体検出処理)
物体検出部23は、ステップS11で設定されたリスト41に含まれる2つ以上の種別それぞれを対象の種別として、対象の画像データから対象の種別の物体を検出する。
【0032】
(ステップS14:領域特定処理)
領域特定部24は、ステップS11で設定されたリスト41に含まれる2つ以上の種別それぞれを対象の種別として、ステップS13で検出された対象の種別についての物体の位置を内包する内包領域51を特定する。そして、領域特定部24は、2つ以上の種別のうちある種別について特定された内包領域51と他の種別について特定された内包領域51とが重畳する重畳領域52を、ある種別の物体が移動する領域を他の種別の物体が横断する横断領域53として特定する。
【0033】
図3を参照して、実施の形態1に係る物体検出処理(図2のステップS13)を説明する。
(ステップS21:空間読込処理)
物体検出部23は、ステップS11で設定された各種別についての2次元座標空間42を読み込む。
【0034】
(ステップS22:検出処理)
物体検出部23は、各種別を対象の種別として、対象の画像データから対象の種別の物体を検出する。具体的には、物体検出部23は、画像データから対象の種別を検出する物体検出モデルを用いて、対象の種別の物体を検出する。これにより、物体検出部23は、物体が検出された領域を囲む検出枠を特定する。この際、検出枠には、検出された物体の種別の情報が対応付けされる。ここでは、検出枠は、矩形であるとする。
【0035】
ステップS22で特定された各検出枠を対象として、ステップS23の処理が実行される。
【0036】
(ステップS23:プロット処理)
物体検出部23は、対象の検出枠に対応付けされた種別の情報を参照して、対象の検出枠に対応する種別を特定する。物体検出部23は、特定された種別についての2次元座標空間42に対して、対象の検出枠の位置に点をプロットする。
検出枠の位置は、ユーザによって種別毎に事前に設定される。具体例としては、図4に示すように、種別が人である場合には、検出枠の位置は、検出枠の下辺の中心点の位置である。図5に示すように、種別が車両である場合には、車両の前面又は背面が検出され、検出枠の位置は、検出枠の下辺の両端点の位置である。なお車両の中でも乗用車は下辺の中心点の位置をプロットし、バス、トラック等の大型車両は下辺の両端点の位置をプロットするように設定してもよい。
【0037】
(ステップS24:空間記憶処理)
物体検出部23は、ステップS23で位置がプロットされた、各種別についての2次元座標空間42をメモリ12に書き込む。これにより、図6に示すように、種別毎に、物体が検出された位置に点がプロットされた2次元座標空間42が生成される。
【0038】
図7を参照して、実施の形態1に係る領域特定処理(図2のステップS14)を説明する。
(ステップS31:空間読込処理)
内包領域特定部241は、図3のステップS24で記憶された各種別についての2次元座標空間42を読み込む。
【0039】
リスト41に含まれる2つ以上の種別それぞれを対象として、ステップS32からステップS33の処理が実行される。
【0040】
(ステップS32:外れ値除去処理)
内包領域特定部241は、対象の種別についての2次元座標空間42にプロットされた点から外れ値を除去する。具体例としては、内包領域特定部241は、k近傍法といった手法を用いて、外れ値を除去する。また、内包領域特定部241は、2次元座標空間42を基準サイズ毎に分割して得られた各分割空間について、点の密度が閾値よりも低い分割空間の点を除去することにより、外れ値を除去してもよい。
【0041】
(ステップS33:内包領域特定処理)
内包領域特定部241は、ステップS32で外れ値を除去して残った点の位置を内包する内包領域51を特定する。具体的には、内包領域特定部241は、外れ値が除去された後の対象の2次元座標空間42を入力として、QuickHullといったアルゴリズムを実行することにより、内包領域51を特定する。
【0042】
(ステップS34:重畳領域特定処理)
重畳領域特定部242は、ステップS33である種別について特定された内包領域51とステップS33で他の種別について特定された内包領域51とが重畳する重畳領域52を、ある種別の物体が移動する領域を他の種別の物体が横断する横断領域53として特定する。ここで、ある種別とは、主として移動する物体の種別であり、他の種別とは、主として移動する物体が移動する領域を横断する物体の種別である。
例えば、横断領域53として横断歩道の領域を特定する場合には、主として移動する物体の種別が車両であり、横断する物体の種別が人と自転車との少なくともいずれかである。横断する物体の種別が人と自転車と両方であるとすると、図8に示すように、車両についての内包領域51が、人についての内包領域51と自転車についての内包領域51との少なくともいずれかと重畳する重畳領域52が横断領域53として特定される。なお横断歩道には、自転車横断帯を含むものとする。
【0043】
(ステップS35:領域記憶処理)
重畳領域特定部242は、ステップS34で特定された横断領域53を示す領域情報をメモリ12に書き込む。
【0044】
***実施の形態1の効果***
以上のように、実施の形態1に係る領域特定装置10は、主として移動する種別の物体と、横断する種別の物体とを検出して、検出された位置から横断領域53を特定する。これにより、画像データにおける横断領域を人手によらずに特定可能である。
【0045】
また、実施の形態1に係る領域特定装置10は、外れ値を除去した上で横断領域53を特定する。これにより、誤検出の影響を軽減することが可能である。
【0046】
***他の構成***
<変形例1>
実施の形態1では、映像取得部22は、撮影装置31によって得られた映像データを、撮影装置31から取得した。しかし、図9に示すように、撮影装置31によって得られた映像データが一旦外部ストレージ32に記憶され、映像取得部22が外部ストレージ32から映像データを読み出してもよい。
【0047】
<変形例2>
実施の形態1では、k近傍法といった手法を用いて外れ値を除去することにより、誤検出の影響の軽減を図った。これに代えて、あるいは、これに加えて、追跡が適切に行えなかった物体の位置を除去することにより誤検出の影響の軽減を図ってもよい。
具体的には、物体検出部23は、検出された物体について追跡処理を行う。追跡処理については既存技術を用いることで実現可能である。そして、内包領域特定部241は、追跡処理で適切な追跡ができなかった物体の位置を示す点を除去する。適切な追跡ができなかったとは、追跡が途切れてしまった、あるいは、フレーム間で基準距離以上離れた位置に移動した追跡結果になったといったことである。
【0048】
<変形例3>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
【0049】
図10を参照して、変形例3に係る領域特定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、領域特定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
【0050】
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
【0051】
<変形例4>
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0052】
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0053】
実施の形態2.
実施の形態2では、横断領域53を監視する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
【0054】
***構成の説明***
図11を参照して、実施の形態2に係る領域特定装置10の構成を説明する。
領域特定装置10は、機能構成要素として、対象検出部25を備える点が図1に示す領域特定装置10と異なる。対象検出部25の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
【0055】
***動作の説明***
図12を参照して、実施の形態2に係る領域特定装置10の全体的な動作を説明する。
ステップS11AからステップS14Aの処理は、図2のステップS11からステップS14の処理と同じである。
【0056】
(ステップS15A:対象検出処理)
対象検出部25は、撮影装置31によって取得された画像データにおけるステップS14Aで特定された横断領域53から、検出対象を検出する。例えば、横断領域53に基準時間以上に渡って置かれた物体を検出対象として検出することが考えられる。また、横断領域53として横断歩道の領域が特定された場合には、横断歩道に対する信号が赤信号にも関わらず、横断領域53にいる人を検出対象として検出するといったことが考えられる。信号が赤信号か否かは、画像データから検出して判定もよいし、信号を制御する機器から信号の状態を示す情報を取得して判定してもよい。
【0057】
***実施の形態2の効果***
以上のように、実施の形態2に係る領域特定装置10は、特定された横断領域53から検出対象を検出することにより、横断領域53を監視する。監視対象の領域を絞り込んだ上で検出対象の検出を行うため、誤検出の抑制及び検出性能の向上を図ることが可能である。
【0058】
実施の形態3.
実施の形態3は、周辺の検出情報に基づき横断領域53の補正を行う点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態3では、実施の形態1に機能を加えた場合について説明する。しかし、実施の形態2に機能を加えることも可能である。
【0059】
***構成の説明***
図13を参照して、実施の形態3に係る領域特定装置10の構成を説明する。
領域特定装置10は、機能構成要素として、領域補正部243を備える点が図1に示す領域特定装置10と異なる。領域補正部243の機能は、他の機能構成要素と同様にソフトウェア又はハードウェアによって実現される。
【0060】
***動作の説明***
図14を参照して、実施の形態3に係る領域特定処理(図2のステップS14)を説明する。
ステップS31AからステップS34Aの処理は、図7のステップS31からステップS34の処理と同じである。ステップS36Aの処理は、図7のステップS35の処理と同じである。
【0061】
(ステップS35A:領域補正処理)
領域補正部243は、周辺の検出情報に基づき、ステップS34Aで特定された横断領域53を補正する。周辺の検出情報とは、ステップS13で検出された物体の周辺から検出された、対象の種別以外の物体の情報である。ここでは、ステップS13では、対象の種別以外の物体についても検出されているものとする。
【0062】
横断領域として侵入禁止領域を特定する場合には、領域補正部243は、周辺の検出情報として進入禁止領域の出入口であるゲートの位置を用いて、横断領域53を補正する。この場合には、図2のステップS13で物体検出部23がゲートを検出し、領域補正部243は検出されたゲートの位置を利用して横断領域53を補正する。主として移動する物体が通る領域とゲートとの間にはある程度の距離がある可能性がある。この場合、物体の位置を内包する内包領域51に基づき横断領域53を特定する場合、ゲートの内側に横断領域53として特定されない領域ができる。そこで、領域補正部243は、ゲートの位置の方へ、横断領域53を少し広げるように補正する。これにより、ゲートの内側に横断領域53として特定されない領域ができることを防止できる。
【0063】
横断領域として横断歩道の領域を特定する場合には、領域補正部243は、周辺の検出情報として路面における表示の位置を用いて、横断領域53を補正する。路面における表示は、具体的には、歩道と車道との境界を示す白線(路側線)である。この場合には、図2のステップS13で物体検出部23が路面に描かれた白線を検出し、領域補正部243は検出された白線の位置を利用して横断領域53を補正する。
図16に示すように、車両が通る領域と歩道との間には、ある程度の距離がある。そのため、車両の位置を内包する内包領域51に基づき横断領域53を特定した場合には、歩道との間に横断領域53として特定されない領域ができてしまう。そこで、領域補正部243は、歩道との境界を示す白線の位置の方へ、横断領域53を少し広げるように補正する。これにより、歩道との間に横断領域53として特定されない領域ができることを防止できる。
【0064】
***実施の形態3の効果***
以上のように、実施の形態3に係る領域特定装置10は、主として移動する種別の物体と、横断する種別の物体とを検出して特定された横断領域53を、ゲート又は白線等に基づき補正する。これにより、より精度よく横断領域53を特定可能である。
【0065】
***他の構成***
<変形例5>
実施の形態3では、横断領域53を補正した。しかし、図2のステップS13で検出された物体の位置を補正してもよい。
【0066】
図17を参照して、変形例5に係る領域特定装置10の構成を説明する。
領域特定装置10は、機能構成要素として、位置補正部244を備える。位置補正部244の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
【0067】
図18を参照して、変形例5に係る領域特定処理(図2のステップS14)を説明する。
ステップS31Bの処理は、図7のステップS31の処理と同じである。ステップS33BからステップS36Bの処理は、図7のステップS32からステップS35の処理と同じである。
【0068】
(ステップS32B:位置補正処理)
位置補正部244は、図2のステップS13で検出された物体の位置を補正する。
横断領域として侵入禁止領域を特定する場合には、図19に示すように、物体の位置は、検出枠の下辺の両端点の位置が用いられる。この場合には、位置補正部244は、物体の位置を、検出枠の下辺の両端点を補正距離だけ外側にずらした位置に補正する。
図15を参照して説明したように、物体が通る位置とゲートとの間には、ある程度の距離がある。物体の位置を外側にずらした位置に補正することにより、物体の位置がゲートに近くなる。これにより、ゲートの内側に横断領域53として特定されない領域ができることを防止できる。
【0069】
実施の形態4.
実施の形態4は、物体の移動方向を特定する点が実施の形態1~3と異なる。実施の形態4では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態4では、実施の形態1に機能を加えた場合について説明する。しかし、実施の形態2に機能を加えることも可能である。
【0070】
***構成の説明***
図20を参照して、実施の形態4に係る領域特定装置10の構成を説明する。
領域特定装置10は、機能構成要素として、方向特定部26を備える点が図1に示す領域特定装置10と異なる。方向特定部26の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
【0071】
***動作の説明***
図21を参照して、実施の形態4に係る領域特定装置10の全体的な動作を説明する。
ステップS11BからステップS14Bの処理は、図2のステップS11からステップS14の処理と同じである。
【0072】
(ステップS15B:方向特定処理)
方向特定部26は、種別毎に、ステップS14で特定された横断領域53の各位置における物体の移動方向を特定する。
具体的には、ステップS13Bでは、物体検出部23によって物体の追跡処理が行われているとする。方向特定部26は、追跡処理の結果を参照することにより、種別毎に、各位置における移動方向を特定する。例えば、車両は、車線によって移動方向が決まっている場合がある。この場合には、位置毎に車両の移動方向を特定可能である。
なお、同じ種別であっても、一部の物体は異なる方向に移動する場合がある。方向特定部26は、このように例外的な方向に移動する物体については除去し、大多数の物体が移動する方向を特定すればよい。また、種別によっては、移動方向が定まっていない場合もある。方向特定部26は、移動方向が定まっていない場合には、移動方向が定まっていないことを特定すればよい。
【0073】
また方向特定部26を備えることにより、物体の種別と物体の移動方向を特定することができる。物体の種別とその移動方向との組み合わせにより、物体として同じものとして検出した場合でも、種別が異なる物体と認識して処理を進めることができる。例えば、画像データ上の上から下方向に移動する車両(例えば車両種別1)と、画像データ上の右から左に移動する車両(例えば車両種別2)及び左から右に移動する車両(例えば車両種別3)を、それぞれ別の種別の物体として検出するように物体検出部23が動作することが可能である。
図21のフローチャートを用いて、その変形例を説明すると、ステップS15Bの処理をステップS13Bの前に実行して移動方向を特定し、ステップS13Bの処理で移動方向を考慮して、物体の種別を検出する。
【0074】
***実施の形態4の効果***
以上のように、実施の形態4に係る領域特定装置10は、種別毎に、横断領域53の各位置における物体の移動方向を特定する。これにより、実施の形態2で説明したように検出対象を検出する際に、特定された移動方向と異なる方向に移動する物体を検出するといった処理を実現可能になる。
【0075】
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
【0076】
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0077】
10 領域特定装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 初期設定部、22 映像取得部、23 物体検出部、24 領域特定部、241 内包領域特定部、242 重畳領域特定部、243 領域補正部、244 位置補正部、25 対象検出部、26 方向特定部、31 撮影装置、32 外部ストレージ、41 リスト、42 2次元座標空間、51 内包領域、52 重畳領域、53 横断領域。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21