IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サクサ株式会社の特許一覧

<>
  • 特許-画像処理装置及び画像処理方法 図1
  • 特許-画像処理装置及び画像処理方法 図2
  • 特許-画像処理装置及び画像処理方法 図3
  • 特許-画像処理装置及び画像処理方法 図4
  • 特許-画像処理装置及び画像処理方法 図5
  • 特許-画像処理装置及び画像処理方法 図6
  • 特許-画像処理装置及び画像処理方法 図7
  • 特許-画像処理装置及び画像処理方法 図8
  • 特許-画像処理装置及び画像処理方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-29
(45)【発行日】2022-09-06
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
   H04N 7/18 20060101AFI20220830BHJP
   G06T 7/00 20170101ALI20220830BHJP
   G08B 21/22 20060101ALI20220830BHJP
   G08B 25/00 20060101ALI20220830BHJP
   B61L 23/00 20060101ALN20220830BHJP
【FI】
H04N7/18 K
G06T7/00 300E
H04N7/18 D
G08B21/22
G08B25/00 510M
B61L23/00 A
【請求項の数】 3
(21)【出願番号】P 2018160614
(22)【出願日】2018-08-29
(65)【公開番号】P2020036164
(43)【公開日】2020-03-05
【審査請求日】2021-01-08
(73)【特許権者】
【識別番号】304020498
【氏名又は名称】サクサ株式会社
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】瀧川 修一
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2017-121856(JP,A)
【文献】特開2003-246268(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 7/00
G08B 19/00-21/24
G08B 23/00-31/00
B61L 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
所定領域を撮像する複数の撮像部によって同時に撮像された複数の撮像画像に基づいて、前記所定領域に対応する複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成又は取得する撮像データ作成部と、
物体がない状態で前記所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた基準データを取得する基準データ取得部と、
前記撮像データに含まれる画素に関連付けられた高さが、前記基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素の密度が所定の密度以上の異常画素群の輪郭線を特定し、前記基準面からの高さが異なる複数の範囲と、前記輪郭線のベクトル又は前記輪郭線上の複数の点の座標と、を複数の時間範囲ごとに関連付けた異常画素群データを作成する画素特定部と、
前記画素特定部が作成した前記異常画素群データが示す前記異常画素群が属する高さの範囲の前記複数の時間範囲ごとの変化に基づいて、前記異常画素群が示す物体が警報を発する対象であるか否かを判定する判定部と、
を有する画像処理装置。
【請求項2】
前記判定部は、第1高さにおいて前記異常画素群を検出した後に、前記異常画素群が示す形状と同一又は類似する異常画素群を、前記第1高さよりも高い第2高さにおいて検出した場合に、前記物体が警報を発する対象でないと判定する、
請求項1に記載の画像処理装置。
【請求項3】
コンピュータが実行する、
所定領域を撮像する複数の撮像部によって同時に撮像された複数の撮像画像に基づいて、前記所定領域に対応する複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成又は取得するステップと、
物体がない状態で前記所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた基準データを取得するステップと、
前記撮像データに含まれる画素に関連付けられた高さが、前記基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素の密度が所定の密度以上の異常画素群の輪郭線を特定し、前記基準面からの高さが異なる複数の範囲と、前記輪郭線のベクトル又は前記輪郭線上の複数の点の座標と、を複数の時間範囲ごとに関連付けた異常画素群データを作成するステップと、
作成した前記異常画素群データが示す前記異常画素群が属する高さの範囲の前記複数の時間範囲ごとの変化に基づいて、前記異常画素群が示す物体が警報を発する対象であるか否かを判定するステップと、
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像を処理する画像処理装置に関する。
【背景技術】
【0002】
従来、線路に落下した異物を検出する技術が知られている。特許文献1には、プラットホームに設置された撮像装置が生成した撮像画像において異物が検出された場合に警報を発するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2007-11518号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
線路上には、人以外の物体(例えば鳥又は新聞紙)が侵入する場合がある。従来のシステムは、人以外の物体が撮像画像に写っている場合にも警報を発してしまうので、異常状態が発生していないにもかかわらず、列車を停止させたり駅員が救助のための準備をしたりする必要が生じていた。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、撮像画像に含まれる異物が人であるか否かの判定精度を向上させることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、所定領域を撮像する複数の撮像部によって同時に撮像された複数の撮像画像に基づいて、前記所定領域に対応する複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成又は取得する撮像データ作成部と、物体がない状態で前記所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた基準データを取得する基準データ取得部と、前記撮像データに含まれる画素に関連付けられた高さが、前記基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素を特定する画素特定部と、前記画素特定部が特定した前記複数の異常画素の時間変化に基づいて、前記複数の異常画素が示す物体が警報を発する対象であるか否かを判定する判定部と、を有する。
【0007】
前記画素特定部は、前記基準面からの高さに関連付けて、前記複数の異常画素を含む異常画素群を特定し、前記判定部は、前記異常画素群の高さ方向の時間変化に基づいて、前記物体が警報を発する対象であるか否かを判定してもよい。
【0008】
前記画素特定部は、前記基準面からの高さの範囲ごとに前記異常画素群を特定してもよい。
【0009】
前記判定部は、第1高さにおいて前記異常画素群を検出した後に、前記異常画素群が示す形状と同一又は類似する異常画素群を、前記第1高さよりも高い第2高さにおいて検出した場合に、前記物体が警報を発する対象でないと判定してもよい。
【発明の効果】
【0010】
本発明によれば、撮像画像に含まれる異物が人であるか否かの判定精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【0011】
図1】画像処理システムの模式図である。
図2】画像処理装置の機能構成を示す図である。
図3】第1撮像画像及び第2撮像画像と撮像データとの関係を示す図である。
図4】プラットホームと線路の周辺領域を水平から見た状態の模式図である。
図5】画素特定部の動作を説明するための図である。
図6】画素特定部が作成する異常画素群データを概念的に説明するための図である。
図7】画素特定部が作成した異常画素群データの例を示す図である。
図8】画素特定部が作成した異常画素群データの例を示す図である。
図9】画像処理装置の動作フローチャートである。
【発明を実施するための形態】
【0012】
[監視システムSの概要]
図1は、本実施形態に係る画像処理システムSの模式図である。画像処理システムSは、画像処理装置1と、撮像装置2と、表示装置3と、入力装置4とを含む。画像処理システムSは、その他のサーバ、端末等の機器を含んでもよい。
【0013】
撮像装置2は、複数の撮像部(以下、第1撮像部及び第2撮像部という)が駅のプラットホームPLの長さ方向に沿って水平に配置されたステレオカメラである。撮像装置2は、駅のプラットホームPLの上部から、車両が走行する線路RAに向けて所定の角度となるように設置される。撮像装置2は、プラットホームPLの周辺、すなわちプラットホームPL及び線路RAを含む所定の撮像範囲を俯瞰的に撮像して撮像画像を生成し、生成した撮像画像を画像処理装置1に送信する。プラットホームPLの周辺における監視対象の領域を網羅して撮像できるように、プラットホームPLには任意の数の撮像装置2が配置される。
【0014】
表示装置3は、液晶ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等のように、画像処理装置1から受け取った情報を表示可能な任意の表示装置である。入力装置4は、キーボード、マウス等、ユーザによる入力を受け付ける入力装置である。表示装置3及び入力装置4は、1つのコンピュータとして構成されてもよい。
【0015】
画像処理装置1は、撮像装置2が撮像した撮像画像において物体を検出するコンピュータである。画像処理装置1は、撮像装置2、表示装置3及び入力装置4に有線又は無線で接続される。画像処理装置1は、撮像装置2から受信した撮像画像を用いて所定の処理を行い、所定の結果等の情報を表示装置3に表示させる。画像処理装置1は、撮像装置2と一体的に構成されてもよい。すなわち、撮像装置2は、後述する画像処理装置1の機能を有してもよい。
【0016】
[画像処理装置1の機能構成]
図2は、画像処理装置1の機能構成を示す図である。画像処理装置1は、通信部11と、記憶部12と、画像処理部13とを有する。画像処理部13は、撮像データ作成部131と、基準データ取得部132と、画素特定部133と、判定部134とを有する。
【0017】
通信部11は、撮像装置2との間でデータを送受信するための通信インターフェースである。通信部11は、例えばプラットホームに設置された複数の撮像装置2のそれぞれから撮像画像を受信する。
【0018】
記憶部12は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体を有する。記憶部12は、通信部11が撮像装置2から受信した撮像画像のデータ等のように、画像処理装置1が動作するために必要な各種のデータを一時的に記憶する。また、記憶部12は画像処理部13が実行するプログラムを記憶する。
【0019】
さらに、記憶部12は、物体がない状態で所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた基準データを記憶する。基準データは、画素の座標に関連付けて、異物がない状態で撮像装置2において撮像された撮像画像の画素値及び基準面からの高さを示す情報を含んでいる。記憶部12は、例えば画像処理装置1の管理者の操作に応じて外部装置から送信された基準データを記憶する。
【0020】
画像処理部13は、例えばCPU(Central Processing Unit)であり、記憶部12に記憶されたプログラムを実行することにより、撮像データ作成部131、基準データ取得部132及び画素特定部133として機能する。
【0021】
撮像データ作成部131は、所定領域を撮像する複数の撮像部によって同時に撮像された複数の撮像画像に基づいて、所定領域に対応する複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成又は取得する。
【0022】
図3及び図4は、撮像データ作成部131が所定領域に対応する複数の画素のそれぞれの高さを特定する処理について説明するための図である。図3は、第1撮像画像51及び第2撮像画像52と撮像データとの関係を示す図である。図4は、プラットホームPLと線路の周辺領域を水平から見た状態の模式図である。以下、図3及び図4を参照しながら撮像データ作成部131が実行する処理を説明する。
【0023】
撮像データ作成部131は、まず、第1撮像部によって撮像された第1撮像画像51と、第2撮像部によって撮像された第2撮像画像52とに基づいて、第1撮像画像51及び第2撮像画像52の画素ごとに、第1撮像部と第2撮像部との間の視差を特定する。具体的には、撮像データ作成部131は、特定した視差と、第1撮像部が有するレンズの中心と第2撮像部が有するレンズの中心との間隔と、第1撮像部及び第2撮像部の焦点距離とに基づいて、複数の画素ごとに被写体から撮像装置2までの距離D2を特定する。
【0024】
続いて、撮像データ作成部131は、画素ごとに特定した視差に基づいて、所定領域における基準面からの被写体の高さを複数の画素ごとに特定する。基準面は、例えばレールの設置面であるが、他の面であってもよい。撮像データ作成部131は、各画素に高さを関連付けた撮像データを作成する(図3を参照)。
【0025】
撮像データ作成部131が被写体の高さを特定するために、記憶部12には、複数の画素ごとに予め定められている基準位置P1から撮像装置2までの距離D1及び基準面からの高さh1が記憶されている。撮像データ作成部131は、複数の画素ごとに予め定められている基準位置P1から撮像装置2までの距離D1及び基準面からの高さh1と、特定した距離D2とに基づいて、複数の画素ごとに被写体の基準面からの高さh2を特定する。
【0026】
図4に示すように、基準面の高さを0、基準面を基準とした位置P1の高さをh1、位置P2の高さをh2、撮像装置2の高さをhc、撮像装置2から位置P1までの距離をD1、撮像装置2から位置P2までの距離をD2とすると、以下の(1)式が成り立つ。
hc-h1:hc-h2=D1:D2・・・(1)
【0027】
(1)式に基づいて、画素Aに対応する異物Fの高さh2は以下の(2)式で表される。
h2=hc-D2/D1*(hc-h1)・・・(2)
撮像データ作成部131は、複数の画素のそれぞれについて、(2)式に基づいて高さh2を特定する。
【0028】
なお、撮像データ作成部131は、第1撮像画像51及び第2撮像画像52に対応する各画素の高さを特定する代わりに、撮像装置2が画素ごとに特定した高さを示す情報を含む撮像画像データを取得してもよい。撮像データ作成部131は、取得した撮像画像データに基づいて、複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成してもよい。
【0029】
図2に戻り、基準データ取得部132による処理を説明する。基準データ取得部132は、物体がない状態で所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた基準データを取得する。基準データ取得部132は、例えば、予め記憶部12に記憶された基準データを読み出すことにより基準データを取得する。基準データ取得部132は、通信部11を介して、外部装置から基準データを取得してもよい。
【0030】
画素特定部133は、撮像データ作成部131が作成した撮像データに含まれる画素に関連付けられた高さが、基準データ取得部132が取得した基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素を特定する。画素特定部133は、例えば、撮像データ作成部131が作成した撮像データに含まれる画素に関連付けられた画素値と、基準データにおける対応する画素に関連付けられた画素値との間に、同一の被写体が撮像された画素ではないと想定される差があることをさらに条件として、複数の異常画素を特定する。
【0031】
図5は、画素特定部133の動作を説明するための図である。図5(a)は基準データに基づく画像であり、図5(b)は撮像データに基づく画像である。図5(c)は、図5(a)に示す基準データと図5(b)に示す撮像データとの間に差がある複数の異常画素を含む領域Rを示す図である。図5(c)に示す領域Rに含まれる複数の画素に関連付けられた高さは、基準データにおける対応する複数の画素に関連付けられた高さと異なっている。
【0032】
画素特定部133は、基準面からの高さに関連付けて、複数の異常画素を含む異常画素群を特定する。画素特定部133は、例えば基準面からの高さの範囲ごとに異常画素群を特定する。具体的には、画素特定部133は、基準面と基準面から0.2m以内の高さの範囲に含まれる異常画素群、及び基準面から0.2mの位置と基準面から0.4mの位置との間の高さの範囲に含まれる異常画素群のように、複数の高さの範囲に関連付けて異常画素群を特定する。そして、画素特定部133は、複数の異常画素を特定した時点からの経過時間ごとに、基準面からの高さと異常画素群の形状とを関連付けた異常画素群データを作成する。
【0033】
図6は、画素特定部133が作成する異常画素群データを概念的に説明するための図である。図6は、経過時間と異物の基準面からの高さとの関係を模式的に示している。図6(a)及び図6(b)は、それぞれ線路に落下した人の動きと鳥の動きとを模式的に示している。図6(a)においては、プラットホームPLから線路に落下した人の身体が存在する高さ方向の領域を斜線で示している。図6(b)においては、線路に侵入した鳥が存在する高さ方向の領域を斜線で示している。
【0034】
図7及び図8は、画素特定部133が作成した異常画素群データの例を示す図である。図7は、線路に落下した人が撮像画像に含まれている場合に作成される異常画素群データを示しており、図8は、鳥が撮像画像に含まれている場合に作成される異常画素群データを示している。図7及び図8における斜線で囲まれた領域は、各高さ範囲に含まれる複数の異常画素により特定される領域を示している。
【0035】
画素特定部133は、例えば、複数の異常画素の密度が所定の密度以上の領域の輪郭線を検出することにより、異常画素群の領域を推定する。画素特定部133は、推定した領域の輪郭線のベクトル又は輪郭線上の複数の点の座標を特定し、特定したベクトル又は座標を、基準面からの高さ及び経過時間に関連付けることにより、図7及び図8に示すような異常画素群データを作成する。
【0036】
図7においては、図6(a)における斜線の領域の時間変化の傾向と同様に、経過時間が0秒から1.0秒までの間に異常画素群が1.2mから0mに向けて落下し、1.0秒以降は異常画素群の高さがほぼ一定である。これに対して、図8においては、図6(b)における斜線の領域の時間変化の傾向と同様に、経過時間の変化に伴い、異常画素群の高さが0.4m以下にならない範囲で下降してから上昇している。
【0037】
判定部134は、画素特定部133が作成した異常画素群データに基づいて、人が線路に落下したのか、人以外の物体が線路の上方に存在しているのかを判定する。そして、判定部134は、画素特定部133が特定した複数の異常画素の時間変化に基づいて、複数の異常画素が示す物体が警報を発する対象であるか否かを判定する。具体的には、判定部134は、異常画素群の高さ方向の時間変化に基づいて、又は異常画素群の変化加速度及び変化速度の少なくともいずれかに基づいて、物体が警報を発する対象であるか否かを判定する。
【0038】
判定部134は、高さ方向の時間変化に基づいて物体が警報を発する対象であるか否かを判定する場合、例えば、図7に示すように、時間が経過するにつれて異常画素群が下方に移動し、かつ所定の高さ以下に含まれている場合に、異常画素群に対応する物体が、警報を発する対象である人であると判定する。所定の高さは、人が落下して倒れている状態で人が検出される高さの上限値であり、例えば0.4m以下である。
【0039】
判定部134は、第1高さにおいて異常画素群を検出した後に、異常画素群が示す形状と同一又は類似する異常画素群を、第1高さよりも高い第2高さにおいて検出した場合に、物体が警報を発する対象でないと判定してもよい。判定部134は、例えば、図8に示すように、時間が経過するにつれて異常画素群が第1高さ(0.6m~0.8mの範囲)から、第1高さよりも高い第2高さ(0.8mよりも高い範囲)に移動した場合に、異常画素群に対応する物体が警報を発する対象でない物体(例えば鳥又は新聞紙)であると判定する。判定部134は、異常画素群が下降したり上昇したりする高さ方向の変化を所定の回数以上繰り返す場合に、異常画素群に対応する物体が警報を発する対象でない物体であると判定してもよい。
【0040】
[画像処理装置1の動作フローチャート]
図9は、画像処理装置1の動作フローチャートである。図9のフローチャートは、撮像データ作成部131が撮像装置2から第1撮像画像51及び第2撮像画像52を取得した時点から開始している(S1)。撮像データ作成部131は、取得した第1撮像画像51及び第2撮像画像52に基づいて、これらの撮像画像により特定される所定の範囲内の画素に関連付けて、基準面からの高さを特定し、画素と高さとが関連付けられた撮像データを作成する(S2)。
【0041】
続いて、画素特定部133は、基準データと撮像データとを比較することにより、異物に対応すると推定される異常画素群を特定する(S3)。続いて、判定部134は、少なくとも一部の異常画素群の高さが所定の高さ範囲に含まれているか否かを判定する(S4)。所定の高さ範囲は、例えば人の身長に対応する1.8m以下の範囲である。判定部134は、全ての異常画素群の高さが所定の高さ範囲に含まれていない場合(S4においてNO)、警報は不要であると判定する(S8)。
【0042】
判定部134は、少なくとも一部の異常画素群の高さが所定の高さ範囲(例えば1.8m)以下である場合(S4においてYES)、異常画素群が上昇する動きをするか否かを判定する(S5)。判定部134は、その後所定の時間が経過するか否かを監視する(S6)。所定の時間は、異物が人でない場合に所定の高さ範囲内に継続的に滞在すると想定される時間、及び人が落下してから警報が発せられるまでの遅延許容時間に基づいて定められており、例えば5秒である。
【0043】
判定部134は、時間帯により所定の時間を決定してもよい。判定部134は、例えば電車が到着する予定の時刻までの時間が長いほど所定の時間を長くしたり、電車の本数が多い時間帯に所定の時間を短くしたりしてもよい。判定部134がこのようにすることで、画像処理装置1は、人が落下しているか否かの判定精度を高めるとともに、人が落下している場合に、電車が到着するまでに警報を発することができる。
【0044】
判定部134は、所定の時間が経過していない場合(S6においてNO)、S4に戻る。判定部134は、所定の時間が経過した場合(S6においてYES)、警報を発する(S7)。
【0045】
[変形例]
判定部134は、上述した判定条件と異なる条件に基づいて、撮像画像に含まれる異物が警報を発する対象であるか否かを判定してもよい。例えば、判定部134は、画素特定部133が特定した異常画素群が、落下した人が横たわった状態において存在すると想定される高さ以下(例えば0.4m以下)の領域に存在した後に、当該領域に存在しなくなった場合に、異常画素群に対応する異物が、警報を発する対象ではないと判定してもよい。また、判定部134は、一部の高さ範囲に含まれる異常画素群が存在する領域の面積が、異物が人である場合に想定される最小面積以下に変化した場合に、異常画素群に対応する異物が、警報を発する対象ではないと判定してもよい。
【0046】
[画像処理装置1による効果]
以上説明したように、画像処理装置1においては、画素特定部133が、撮像データに含まれる画素に関連付けられた高さが、基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素を特定する。そして、判定部134が、画素特定部133が特定した複数の異常画素の時間変化に基づいて、複数の異常画素が示す物体が警報を発する対象であるか否かを判定する。画像処理装置1がこのような構成を有することで、検出された異物の動きの特徴に基づいて、検出された異物が警報を発する必要がある人であるか、警報を発する必要がない人以外の物体であるかを判定する精度を向上させることができる。
【0047】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【符号の説明】
【0048】
1 画像処理装置
2 撮像装置
3 表示装置
4 入力装置
11 通信部
12 記憶部
13 画像処理部
51 第1撮像画像
52 第2撮像画像
131 撮像データ作成部
132 基準データ取得部
133 画素特定部
134 判定部
図1
図2
図3
図4
図5
図6
図7
図8
図9