(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-14
(45)【発行日】2023-03-23
(54)【発明の名称】画像処理装置及び監視システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20230315BHJP
B61L 25/02 20060101ALI20230315BHJP
G08B 13/196 20060101ALI20230315BHJP
【FI】
H04N7/18 D
B61L25/02 A
G08B13/196
(21)【出願番号】P 2018158409
(22)【出願日】2018-08-27
【審査請求日】2021-08-11
(73)【特許権者】
【識別番号】000004651
【氏名又は名称】日本信号株式会社
(73)【特許権者】
【識別番号】500327636
【氏名又は名称】株式会社ブレインズ
(74)【代理人】
【識別番号】100109221
【氏名又は名称】福田 充広
(74)【代理人】
【識別番号】100181146
【氏名又は名称】山川 啓
(72)【発明者】
【氏名】北川 朝靖
(72)【発明者】
【氏名】川崎 栄嗣
(72)【発明者】
【氏名】栗原 正和
(72)【発明者】
【氏名】相模 毅
(72)【発明者】
【氏名】武田 和夫
(72)【発明者】
【氏名】山岸 能成
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2018-025914(JP,A)
【文献】特開2014-027580(JP,A)
【文献】特開2015-148913(JP,A)
【文献】特開2017-028364(JP,A)
【文献】特開2017-098879(JP,A)
【文献】特開2012-104022(JP,A)
【文献】特開2011-119930(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B61L 25/02
G08B 13/196
G08B 25/00
(57)【特許請求の範囲】
【請求項1】
現在のリアルタイム画像をフレーム画像単位で順次取得しつつ、
前記現在のリアルタイム画像の1フレーム前の過去
のリアルタイム画像上の特定の対象物を示す枠画像を生成し、生成した枠画像を
前記現在のリアルタイム画像に重畳する画像処理装置。
【請求項2】
前記リアルタイム画像についての画像データを受け付ける画像データ入力部と、
前記画像データに基づいて前記枠画像に対応する枠座標を決定する枠データ抽出部と、
前記画像データ入力部で取得した前記画像データに対して、前記枠座標に基づいて生成される前記枠画像を重畳させた重畳画像を形成する重畳画像形成部と
を備える、請求項1に記載の画像処理装置。
【請求項3】
前記枠データ抽出部は、前記画像データとして入力される映像信号について二次元画面上の位置を特定する画像位置特定部を有し、前記画像位置特定部により異なる2点の座標データを前記枠座標として抽出し、
前記重畳画像形成部は、前記画像位置特定部により特定された前記異なる2点の座標データに基づく矩形状の枠を重畳させる、請求項2に記載の画像処理装置。
【請求項4】
前記重畳画像形成部は、画素数と列数とに関する比較値に基づいて、前記枠画像の描画を行うか否かを決定する、請求項2及び3のいずれか一項に記載の画像処理装置。
【請求項5】
前記重畳画像形成部は、前記画像データを構成する画素数及び列数によって位置がそれぞれ定まる各画素データのうち、画素数と列数とに関する比較の結果、前記枠画像の描画位置に一致する画素データを、枠描画用画素データに置き換える、請求項4に記載の画像処理装置。
【請求項6】
外部へ出力する画像についての出力内容を切り替える出力切替部を備える、請求項1~5のいずれか一項に記載の画像処理装置。
【請求項7】
前記出力切替部は、外部機器からの入力を受け付け、受け付けた情報に基づいて前記出力内容を切り替える、請求項6に記載の画像処理装置。
【請求項8】
前記出力切替部は、内部装置の故障検知の有無に基づいて前記出力内容を切り替える、請求項6及び7のいずれか一項に記載の画像処理装置。
【請求項9】
前記枠画像に関する抽出結果に基づいて外部への通知をする通知部を備える、請求項1~8のいずれか一項に記載の画像処理装置。
【請求項10】
前記リアルタイム画像として駅のホームを撮像した画像中の人に対して前記枠画像の描画を行う、請求項1~9のいずれか一項に記載の画像処理装置。
【請求項11】
連続画像を撮像する撮像部と、
前記撮像部で取得された前記連続画像の情報を前記リアルタイム画像として前記枠画像を重畳する請求項1~10のいずれか一項に記載の画像処理装置と、
前記画像処理装置により形成された画像を表示する表示部と
を備える監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像した画像について画像処理を行う画像処理装置及び画像処理装置を用いた監視システムに関する。
【背景技術】
【0002】
例えば、距離画像センサ等で構成される検知器から取得した情報によって検知を行うものとして、駅のプラットホームに設けた複数の検知器における検出データを比較することで、駆け込み乗車を検知し、比較結果に応じて外部へ警告の出力を行うもの(特許文献1参照)が知られている。
【0003】
また、プラットホーム上のホーム柵や列車の開閉扉に設けたセンサとカメラで取得した映像とを利用して、異常を検知した場合に異常箇所について映像中に強調表示をするもの(特許文献2参照)が知られている。
【0004】
上記特許文献1、2でのような検知では、連続して動作するものについての画像データの処理やセンサの検知結果との整合処理が必要となるが、これらの処理が複雑で時間を要するようなものであると、例えば遅れの無い滑らかな動画表示を行う、といったことが困難になる可能性がある。特に、危険が無いかを確認できるように表示をする、といった場合には、迅速な対応が重要であり、処理の遅れが大きな問題となり得る。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2013-52738号公報
【文献】特開2014-15116号公報
【発明の概要】
【0006】
本発明は上記した点に鑑みてなされたものであり、簡易な構成で映像中の検出対象に対する枠(枠画像)の表示を可能にする画像処理装置及び監視システムを提供することを目的とする。
【0007】
上記目的を達成するための画像処理装置は、過去のある瞬間のリアルタイム画像上の特定の対象物を示す枠画像を生成し、生成した枠画像を現在のリアルタイム画像に重畳する。
【0008】
上記画像処理装置では、過去のある瞬間のリアルタイム画像から生成した枠画像を、出力すべき現在のリアルタイム画像に対して重畳させることで、枠画像が重畳されたリアルタイム画像の形成及び出力を簡易に行うことが可能になる。
【0009】
本発明の具体的な側面では、リアルタイム画像についての画像データを受け付ける画像データ入力部と、画像データに基づいて枠画像に対応する枠座標を決定する枠データ抽出部と、画像データ入力部で取得した画像データに対して、枠座標に基づいて生成される枠画像を重畳させた重畳画像を形成する重畳画像形成部とを備える。この場合、重畳画像形成部において、画像データ入力部からの画像データに対して枠画像を重畳させるに際して、当該枠画像を枠データ抽出部で抽出された座標データに基づくものにすることで、画像形成に際して取り扱うデータ量を軽減し、簡易な構成で映像の遅れを抑制しつつ検出対象に対する枠表示が可能になる。
【0010】
本発明の別の側面では、枠データ抽出部は、画像データとして入力される映像信号について二次元画面上の位置を特定する画像位置特定部を有し、画像位置特定部により異なる2点の座標データを枠座標として抽出し、重畳画像形成部は、画像位置特定部により特定された異なる2点の座標データに基づく矩形状の枠を重畳させる。この場合、2点の座標データに基づき矩形状の枠表示を行うことで、現在のリアルタイム画像に対して遅れの少ない枠表示の重畳が可能になる。
【0011】
本発明のさらに別の側面では、重畳画像形成部は、画素数と列数とに関する比較値に基づいて、枠画像の描画を行うか否かを決定する。この場合、迅速かつ継続容易な枠の描画処理ができる。
【0012】
本発明のさらに別の側面では、重畳画像形成部は、画像データを構成する画素数及び列数によって位置がそれぞれ定まる各画素データのうち、画素数と列数とに関する比較の結果、枠画像の描画位置に一致する画素データを、枠描画用画素データに置き換える。この場合、画素データの置換により迅速な枠の描画が可能になる。
【0013】
本発明のさらに別の側面では、外部へ出力する画像についての出力内容を切り替える出力切替部を備える。この場合、出力内容の切替えによって、例えば枠画像が重畳されたリアルタイム画像を適切なタイミングで出力できる。
【0014】
本発明のさらに別の側面では、出力切替部は、外部機器からの入力を受け付け、受け付けた情報に基づいて出力内容を切り替える。この場合、外部機器からの入力に対応した出力内容の切替えが可能になる。
【0015】
本発明のさらに別の側面では、出力切替部は、内部装置の故障検知の有無に基づいて出力内容を切り替える。この場合、内部の故障の状況に応じた出力が可能になる。
【0016】
本発明のさらに別の側面では、枠画像に関する抽出結果に基づいて外部への通知をする通知部を備える。この場合、緊急時等の適切なタイミングで必要な報知ができる。
【0017】
本発明のさらに別の側面では、リアルタイム画像として駅のホームを撮像した画像中の人に対して枠画像の描画を行う。この場合、駅のホームにおいて危険が無いか等の確認や監視を行うことができる。
【0018】
上記目的を達成するための監視システムは、連続画像を撮像する撮像部と、撮像部で取得された連続画像の情報をリアルタイム画像として枠画像を重畳する上記いずれかの画像処理装置と、画像処理装置により形成された画像を表示する表示部とを備える。
【0019】
上記監視システムでは、上記いずれかの画像処理装置を備えることで、監視を行うに際して、過去のある瞬間のリアルタイム画像から生成した枠画像を、出力すべき現在のリアルタイム画像に対して重畳させることで、枠画像が重畳されたリアルタイム画像の形成及び出力を簡易に行うことが可能になる。
【図面の簡単な説明】
【0020】
【
図1】画像処理装置を備える監視システムの一構成例を示す概念図である。
【
図2】監視システムを配備した駅の様子を示す概念的な平面図である。
【
図3】画像処理装置の一構成例を概念的に示すブロック図である。
【
図4】(A)~(C)は、枠表示を行う対象範囲について一例を説明するための概念的な画像図である。
【
図5】リアルタイム画像表示に関する画像処理装置の一動作例を説明するためのブロック図である。
【
図6】リアルタイム画像表示の一動作例での処理について説明するための概念図である。
【
図7】枠画像の表示を伴うリアルタイム画像表示に関する画像処理装置の一動作例を説明するためのブロック図である。
【
図8】枠画像の表示を伴うリアルタイム画像表示の一動作例での処理について説明するための概念図である。
【
図9】比較例の画像表示に関する画像処理装置の一動作例を説明するためのブロック図である。
【
図10】比較例の画像表示の一動作例での処理について説明するための概念図である。
【
図11】画像処理装置のうち、FPGAの機能について説明するためのブロック図である。
【
図12】枠画像の描画のための画素データの置き換え手順について説明するための工程図である。
【
図13】(A)及び(B)は、画素データの置き換えの動作について一例を概念的に説明するためのブロック図である。
【
図14】枠画像の描画のための画素データの置き換え処理について一例を説明するためのフローチャートである。
【
図15】(A)及び(B)は、枠表示を行う対象範囲について一変形例を説明するための概念的な画像図である。
【発明を実施するための形態】
【0021】
以下、
図1等を参照して、本実施形態に係る画像処理装置及び画像処理装置を備える監視システムについて一例を説明する。
図1は、本実施形態に係る画像処理装置100及び画像処理装置100を備える監視システム500の一構成例を示す概念図であり、
図2は、監視システム500を配備した駅STの様子について一例を示す概念的な平面図である。
【0022】
ここでは、一例として、監視システム500は、線路TKにおいて列車(図示略)が発着可能な駅STのホーム(プラットホーム)PFを監視対象エリアとしている。すなわち、監視システム500は、駅STのホームPFにいる利用者HUを監視対象とすべく、画像処理装置100において、ホームPFにおける利用者HUの位置が分かるように、検出対象である利用者HUを撮像した部分画像を抽出するとともに、当該部分画像すなわち画像中の人物を囲う枠を示す枠画像FRの表示のための各種処理を行っている。これにより、例えば利用者HUの列車への乗り降り等に際して、乗務員や駅員が表示画像を介して安全確認を行う上で、人すなわち利用者HUの存在位置を枠に基づいてより認識しやすいようにしている。なお、例えば、
図2では、列車の進行方向を+Z方向とし、Z方向に垂直な面内において、垂直方向すなわち上下方向をY方向とし、Z方向及びY方向の双方に直交する方向である水平方向をX方向とする。
【0023】
上記のように、利用者HUの表示とともにこれを囲う枠画像FRの表示や、表示内容に基づく監視を可能とすべく、監視システム500は、各種画像処理を行う画像処理装置100のほか、撮像部(撮像カメラ)10と、ディスプレイ表示部DAと、スピーカSKとを備える。
【0024】
撮像部10は、例えばCCDやCMOS等の個体撮像素子で構成される撮像カメラであり、
図1及び
図2に例示するように、ホームPFの上方側(+Y側)に固定的に設置され、下方側(-Y側に成分を有する方向)を撮像する。すなわち、撮像部10により上方側からホームPFの床面FLに向けて監視対象エリアについての定点観測のための撮像が行われる。なお、ここでは、撮像部10については、ホームPF全体についての撮像を可能とすべく、設置位置やホームPFの形状等に応じて、単数又は複数設けられている。また、撮像部10は、画像データとして、例えば30fpsのフレームレートで2次元画像データ(連続画像データ)を取得している。なお、本実施形態では、撮像対象である実物とそれを撮像した画像とについて、同じ符号を付すことがあるものとする。例えば、
図1に示す場合、ホームPF上の実物の利用者(人物)も、これをディスプレイ表示部DAに映し出した画像上の利用者(人物)も、同じ符号のHUで示している。
【0025】
画像処理装置100は、例えばCPUや記憶装置等により構成され、撮像部10により取得された画像データについての各種処理を行い、処理結果としての画像をディスプレイ表示部DAに表示させている。特に、ここでは、画像処理装置100での処理により、連続画像データに枠画像FRを重畳させた重畳画像を形成してディスプレイ表示部DAに映し出すことが可能になっている。
【0026】
ディスプレイ表示部DAは、撮像部10により撮像された画像について画像処理装置100を経た結果を映し出すモニターであり、典型例としては、既述のように、列車の乗務員(車掌や運転士)SAによって確認可能なように、ホームPFの線路TK上に列車が停止した際における列車の後端側あるいは先頭側の近傍に設けられている。つまり、列車が駅STに到着した後、乗客(利用者)HUが乗り降りし、出発するまでの間において、ディスプレイ表示部DAを視認することで、乗務員SAによる乗客(利用者)HUの監視が可能になっている。なお、図示の場合のほか、例えば駅務室等に設置して、駅務室等にいる駅員に対して報知を行う、といった態様としてもよい。
【0027】
スピーカSKは、例えば図示のように、ホームPFの各所に単数又は複数設置され、利用者HUに対して音声による発信を行う。すなわち、スピーカSKは、外部への通知をする通知部として機能し、緊急時等の適切なタイミングで必要な報知を可能にしている。
【0028】
以上の構成によって監視をするに際して、監視システム500では、撮像部10で撮像した画像をそのまま生でディスプレイ表示部DAに表示させることで、ホームPF上で人々が実際に動いている様子を撮像している瞬間の画像と同時、あるいはほぼ同時にシンクロしている動画を、乗務員等に視認させることが可能になっている。ここでは、このような画像をリアルタイム画像あるいはスルー画像と呼ぶこととする。つまり、本実施形態の監視システム500では、画像処理装置100により、リアルタイム画像(スルー画像)として駅のホームPFを撮像した画像中の人に対して枠画像の描画を行う態様となっている。なお、リアルタイム画像(スルー画像)については、撮像部10で撮像した画像をそのまま生で映し出したものに限らず、例えばこれに枠表示等を行ったものであっても、撮像している瞬間の画像と同時、あるいはほぼ同時にシンクロしていれば、含まれるものとする。
【0029】
特に、上述した一例のように、乗務員や駅員が表示画像を介して安全確認を行う、といった態様にした場合には、人々が実際に動いている様子(実物の動き)に対する遅れ(ディレイ)のないあるいは遅れの少ない画像(リアルタイム画像)の形成が非常に重要となる。しかしながら、仮に、画像中から人物についての部分画像を抽出し、抽出した対象について枠表示付きの新たな全体画像を作成すると、一連の画像処理のための時間的遅れの影響が避けがたく、リアルタイム画像とすることが困難となる。つまり、表示内容に時間的遅れが発生し、実物の動きと合わないものとなってしまう可能性が高い。これに対して、本実施形態では、簡易な構成でリアルタイム画像の映像中の検出対象に対する枠(枠画像)の重畳を可能にすることで、検出対象(ここでは駅の利用者)についての枠表示を行いつつ、画像の出力の遅れを極力減らすことができる構成としている。すなわち、枠表示付きのリアルタイム画像の形成が可能にしている。
【0030】
上記のような画像処理を可能とするため、
図2等に例示するように、本実施形態の画像処理装置100は、画像処理や画像処理に関連する各種処理を行う主制御部50と、画像入力部IGと、画像出力部OGとを備える。特に、主制御部50において、枠画像処理部51と、出力画像作成部52と、入出力ポート53とが設けられている。
【0031】
画像処理装置100のうち、画像入力部IGは、撮像部10により取得された画像データについて入力を受け付ける画像データ入力部(インターフェース)である。
【0032】
主制御部50は、画像入力部IGにおいて受け付けた画像データを解析して、必要に応じて各種加工を行いつつ、実物の動きに対して遅れのないあるいは遅れの少ないリアルタイム画像のデータを作成する画像処理装置100の本体部分である。
【0033】
画像出力部OGは、主制御部50で作成された画像データをディスプレイ表示部DAに出力する画像データ出力部(インターフェース)である。
【0034】
主制御部50のうち、まず、枠画像処理部51は、枠画像の抽出を含む枠画像に関する各種処理を行う。より具体的には、画像入力部IGで受け付けた入力画像データを、後述する出力画像作成部52の分岐を介して取り込み(キャプチャし)、取り込んだ入力画像データ中から人物画像を抽出し、さらに、抽出された人物についての部分画像に対応する枠画像に関するデータを抽出し、抽出結果を出力画像作成部52に出力する。ここでは、リアルタイム画像に重畳させる枠画像を矩形状とする。すなわち、対象となる画像上の人物を囲うような矩形状の枠表示を行う。本実施形態では、枠画像処理部51において枠画像に対応する枠座標のデータのみを抽出し、これを出力画像作成部52に対して出力している。特に、ここでは、矩形状の枠の位置をその対角上にある頂点となる2点の座標データ(例えば矩形の右上の頂点及び左下の頂点の座標データ)に基づき定めている。2点の座標データに基づき矩形状の枠表示を行うことで、画像処理のうち特に枠の描画に関連する処理において取り扱うデータ量を極力少なくし、リアルタイム画像に対して遅れの少ない枠表示の重畳を可能にしている。また、枠画像処理部51は、抽出した枠画像に関する情報について、入出力ポート53に出力する。また、枠画像処理部51は、枠画像に関する情報等に基づく各種判断をした結果についても、入出力ポート53に出力する。
【0035】
出力画像作成部52は、抽出された枠画像に関するデータと生の画像データとに基づいて出力させるべきリアルタイム画像(例えば枠付きのリアルタイム画像)を作成する。ここでは、画像処理を行うための前提として、画像入力部IGで受け付けた生の画像データとしての入力画像データについて分岐することで、当該データを出力画像作成部52において処理可能とするとともに、枠画像処理部51での枠画像に関する処理を可能としている。上記前提の上で、出力画像作成部52は、画像作成の処理として、画像入力部IGからの生の画像データと、枠画像処理部51での処理を経た枠画像に関するデータとを重畳させている。これにより、枠画像処理部51において生成した枠画像のリアルタイム画像への重畳が可能となっている。以上のように、ここでの一例では、出力画像作成部52は、出力画像の作成のみならず、種々の処理を行うものとしている。このような出力画像作成部52の構成については、種々の態様が考えられ、ハード的なものでもソフト的なものあるいはこれらを組み合わせたものでも構成可能である。ここでは、一例として、FPGA(field-programmable gate array)を採用する。この場合、画像処理装置100の用途等(処理内容)に応じて、適切なものに変更できる。
【0036】
入出力ポート53は、枠画像処理部51から出力された抽出した枠画像に関する情報や、これに基づく判断結果について、スピーカSK等を含む各種外部機器との画像処理に関する各種情報の入出力を行う。すなわち、入出力ポート53は、ディスプレイ表示部DAに表示させるリアルタイム画像以外の情報であって、主制御部50において取り扱われる各種情報について入出力を行う。例えば、入出力ポート53は、外部機器から送信される枠画像の作成を行うタイミングにあるか否かについての信号や、各種緊急信号等を受け付ける。また、例えば、入出力ポート53は、枠表示の座標から該当する利用者HUに対して最寄りのスピーカSKによる報知を行うか否かについての判断結果を、例えばスピーカSKや中央管理装置(図示略)等に対して送信する。なお、この場合、スピーカSKは、通知部として、枠画像処理部51における枠画像に関する抽出結果に基づいて、利用者HUに対して危険である旨を知らせる外部通知をしていることになる。
【0037】
以上のように、本実施形態では、枠画像処理部51において、枠画像の生成を、画像データに基づいて枠画像に対応する枠座標を抽出により行い、出力画像作成部52に対して生成したあるいは抽出した枠座標のデータのみを出力し、出力画像作成部52は、枠座標のデータに基づいて重畳画像を形成している。これにより、重畳画像の画像形成に際して取り扱うデータ量を軽減し、簡易な構成で映像の遅れを抑制しつつ検出対象に対する枠表示が可能になる。
【0038】
以下、
図3を参照して、画像処理装置100の構成及び動作の詳細について一例を説明する。
図3は、画像処理装置100の一構成例を概念的に示すブロック図であり、ここでは、
図2に示す画像処理装置100についてさらに各部の詳細を例示している。
【0039】
図示のように、まず、枠画像処理部51においては、特に、出力画像作成部52での分岐を経て入力される画像データに基づいて枠画像に対応する枠座標を決定する枠データ抽出部FDを有している。
【0040】
さらに、出力画像作成部52においては、画像入力部IGからの生の画像データを分岐する分岐部BRと、画像入力部IGからの生の画像データに枠画像を重畳させて重畳画像を形成する重畳画像形成部SIと、ディスプレイ表示部DAへ出力する画像についての出力内容を切り替える出力切替部SWとを有している。
【0041】
以下、上記各要素を有した画像処理装置100における画像形成の動作の一例について説明する。
【0042】
まず、出力画像作成部52の分岐部BRは、画像入力部IGからの生の画像データを分岐する。ここでは、図示のように、基本画像G0と、枠画像が重畳される対象となる第1画像G1と、枠画像処理部51に出力される第2画像G2とに分岐されるものとする。これらのうち、基本画像G0は、主制御部50において特に画像処理を行わず、そのままリアルタイム画像として送信する場合に用いられる画像データであり、分岐部BRからそのまま出力切替部SWに出力される。一方、第1画像G1は、枠画像が重畳される対象となるべく、重畳画像形成部SIに向けて出力される。また、第2画像G2は、枠画像の抽出等の枠画像に関する各種処理を行うため、枠画像処理部51に出力される。なお、この場合、各画像G0~G2は、分岐部BRから出力される際には、同じタイミングで同じ内容の画像データとなっている。つまり、分岐部BRは、画像データの送信経路上の接点となっている。
【0043】
次に、枠画像処理部51の枠データ抽出部FDは、分岐部BRから出力された第2画像G2を受け付け、受け付けた画像から枠画像を抽出するための各種処理を行う。なお、ここでの各種処理については、例えば、第2画像G2(例えば1枚の全体画像)をキャプチャし、キャプチャした画像から対象となる人物の画像(例えば1枚の全体画像中の部分画像)を抽出し、抽出した画像に対する矩形状の枠を設定する、といったことが考えらえるが、これらの一連の処理を行うための手法については、既存の種々の方法が適用可能である。ただし、処理時間が短時間となるものが望ましい。
【0044】
ここでは、枠データ抽出部FDに設けた画像位置特定部SDにおいて、画像データとして入力される映像信号である第2画像G2について二次元画面上の位置を特定する。より具体的には、画像位置特定部SDは、上記のようにして人物の画像に関して得られる矩形状の枠画像に対応する枠座標として、既述のように、矩形の枠の対角上にある右上の座標と左下の座標に相当する異なる2点の座標データを抽出する。すなわち、枠画像処理部51は、枠データ抽出部FDあるいは画像位置特定部SDでの解析の結果として、異なる2点の座標データCDを、出力画像作成部52の重畳画像形成部SIに向けて出力している。重畳画像形成部SIは、座標データCDを受け取ることで、第1画像G1において重畳すべき当該矩形状の枠画像の位置が決定(特定)可能となる。つまり、重畳画像形成部SIは、枠データ抽出部FDの画像位置特定部SDにより特定された異なる2点の座標データに基づく矩形状の枠を重畳させている。
【0045】
次に、出力画像作成部52の重畳画像形成部SIは、分岐部BRからの第1画像G1に、枠画像処理部51から出力された座標データCDに基づいて枠画像を重畳させることで、生の画像データに矩形状の枠画像を重畳させた重畳画像Gsを形成する。さらに、重畳画像形成部SIは、形成した重畳画像Gsを出力切替部SWに出力する。
【0046】
ここで、以上のような構成の場合、第1画像G1は、基本画像G0と同一であり、基本画像G0に対してタイムラグのない画像となっている。一方、第2画像G2に基づく座標データCDについては、取得あるいは抽出に際して、上記した各種画像処理を枠画像処理部51において施すことになるため、第1画像G1あるいは基本画像G0に対して、若干の遅れが生じる。いわば、第1画像G1あるいは基本画像G0が現在のリアルタイム画像であるのに対して、第1画像G1に重畳させる枠座標についての座標データCDは、過去のある瞬間のリアルタイム画像に起因するものということになる。ただし、上記のように、座標データCDは、非常にデータ量の少ないものとなっている。このため、重畳を行う上での迅速化に対応させやすくなっている。
【0047】
次に、出力画像作成部52の出力切替部SWは、分岐部BRからの基本画像G0を出力する端子Taと、重畳画像形成部SIからの重畳画像Gsを出力する端子Tbと、画像出力部OGに接続される端子Tcと、端子Tcに接続されて端子Taと端子Tbとのいずれか一方とに対して切替え可能に接続される切替バーBAとを有する。出力切替部SWは、例えば外部機構からの指示等に従って、切替バーBAの先端が端子Taと端子Tbとのいずれか一方に対して選択的に接続される。すなわち、画像処理装置100は、撮像部10からのそのままの基本画像G0と、各種処理を経て形成される重畳画像Gsとのうちいずれを表示するかが選択可能となっている。
【0048】
ここで、出力切替部SWでの切替えにより、上記のような枠画像を有した重畳画像G
sを表示するか、基本画像G
0をそのまま表示するかについては、種々の状況に応じて選択可能である。ここでの一例では、
図4(A)~4(C)の概念的な画像図に例示するように、予め定めた対象範囲RRにおいて画像上の人物(利用者)HUが抽出された場合に、画像上の人物(利用者)HUに対して枠表示を行うようにしている。具体的に説明すると、まず、
図4(A)は、撮像部10により撮像された画像GGの一例を示しており、
図4(B)では、
図4(A)に示した画像GGのうち、枠表示を行う対象範囲RRをハッチングで示している。ここでの一例では、図示のように、ホームPFのうち、列車TRが進入する線路TKに近い縁に沿った領域が、対象範囲RRであるものとして予め定めている。より具体的には、
図2に例示したホームPFのうち、点字ブロックが設けられた範囲を第1領域AR1とし、領域AR1よりも線路TKに近い縁側の領域を第2領域AR2とし、第1領域AR1及び第2領域AR2の双方に対応する画像上の領域(二次元平面上での座標位置)を対象範囲RRとしている。この場合、
図4(C)に例示するように、人物HUの足元の座標位置PTに対応する位置の座標データが、対象範囲RRの範囲内である場合に、人物HUに対する矩形の枠画像FRの表示をする。一方、
図4(B)のように、人物HUが抽出されるような場合であっても、当該人物HUが対象範囲RRの外にいると判断されるような場合には、敢えて注意喚起をする必要が無く、枠表示を行わないようにする。これにより、必要に応じた枠表示が可能になる。なお、上記のような枠表示を行うか否かについての判断については、例えば主制御部50の枠画像処理部51において行い、出力切替部SWへ判断結果を出力して、枠画像を有した重畳画像G
sを表示するか、基本画像G
0をそのまま表示するかを定めてもよい。さらに、出力切替部SWは、主制御部50の入出力ポート53を介して、外部機器からの入力を受け付け、受け付けた外部機器からの情報に基づいて出力内容を切り替えるものとしてもよい。あるいは、出力切替部SWは、主制御部50において画像処理装置100に関する内部装置の故障検知を行い、当該故障検知の有無に基づいて出力内容を切り替え、内部の故障の状況に応じた出力が可能であるものとしてもよい。
【0049】
また、例えば
図4(B)では、説明の都合上、対象範囲RRをハッチングで示して視認可能であるように描画しているが、対象範囲RRについては、必ずしも映像上に実際に表示させる(視認させる)必要はなく、例えば、
図4(C)に例示したように、対象範囲RRの表示はせず、枠画像FRの表示のみ行うものとしてもよい。
【0050】
以下、
図5~
図8を参照して、本実施形態におけるリアルタイム画像表示に関する画像処理装置100の一動作例に関して説明する。なお、
図9、
図10を参照して、一比較例の画像表示に関する画像処理に関して併せて説明する。
【0051】
図5は、リアルタイム画像表示に関する画像処理装置100の一動作例を説明するためのブロック図であり、
図2に対応する図である。なお、
図5では、枠画像の表示を伴うことのないリアルタイム画像表示に関する画像処理を示している。また、
図6は、
図5の状態におけるリアルタイム画像表示の一動作例での処理について説明するための概念図である。
【0052】
ここでは、
図5に示すように、切替バーBAの端部が端子Taに対して接続されており、その結果、矢印A1で示すように、撮像部10からのそのままの基本画像G
0が出力されている。この場合、
図6に示すように、例えば、破線RDで囲って示す時刻t
3について一部抽出して示すように、撮像部10で実際に撮像された画像RI
3に一致した画像MI
3がディスプレイ表示部DAに表示される。
【0053】
以下、上記のような動作態様となることに関して、より具体的に説明する。まず、
図6は、連続画像を構成する各フレーム画像(以下、単にフレームとも言う)について、時系列に沿って刻々と変化していく様子を示している。すなわち、ここでは、一般に時刻を時刻t
k(k:自然数)で表すこととし、時刻t
1を最初のフレームとし、連続するフレームが進むごとに時刻t
1から時刻t
2,t
3,t
4,…と変化していく。同様に、各時刻t
kに対応する画像を、例えば画像RI
k(k:自然数)等と表示する。また、ここでは、説明を簡略化するため、連続する各フレームの画像中において常に1人の人物(利用者)HUのみが捉えられているものとし、当該画像上の人物HUが矢印AAに示す方向(画像中の右方向)に時間経過とともに徐々に進んでいるものとする。したがって、例えば図中最上段に示す撮像部10での実際の撮像状況を示す画像RI
kでは、時刻t
1に対応する画像RI
1において画像中やや左寄りにいる人物HUが、時間の経過とともにすなわち時刻t
kのkの値の増加とともに、徐々に右へ移動していく様子を捉えている。
【0054】
ここで、図中において上から二段目に示す画像FIkは、画像処理装置100に取り込まれた(キャプチャされた)入力画像を示している。ここでは、各画像FIkに対応して、そのすぐ下にフレーム番号を付しておく。つまり、画像FIkのフレーム番号がk番であるものとする。
【0055】
一方、図中上から三段目に示す画像MI
kは、画像処理装置100での各種処理を経て画像処理装置100から出力される出力画像を示している。ただし、
図5に例示する画像表示の態様の場合、枠の重畳等の画像処理が特になされないため、
図6に示すように、フレーム番号k番の画像FI
kがそのまま出力画像MI
kとして出力されることになる。特にこの場合、入力画像についてキャプチャ完了を待つことなく、キャプチャ開始とともに出力画像について外部への出力動作を開始することができるので、タイムラグがなく、あるいはほとんどなく、撮像部10での実際の撮像状況を示す画像RI
kに一致した画像MI
kがディスプレイ表示部DAに表示されることになる。なお、ここでは、画像FI
kの直下あるいは出力画像MI
kの直上に付したフレーム番号に示すように、1つのフレームについてのキャプチャ完了を待って、次のフレームのキャプチャ開始がなされ、この動作を繰り返すことで、リアルタイム画像の表示が継続される。
【0056】
一方、
図7は、枠画像の表示を伴うリアルタイム画像表示に関する画像処理装置100の一動作例を説明するためのブロック図であり、
図2及び
図5に対応する図である。また、
図8は、
図7の状態におけるリアルタイム画像表示の一動作例での処理について説明するための概念図であり、
図6に対応する図である。この場合、既述のように、枠画像の表示を可能にするための各種処理が必要となる。なお、
図8に示す画像中において常に1人の人物HUのみを捉えていることや、時刻t
kに対応させた添え字kについては、
図6の場合と同様であるので、説明を省略する。なお、ここではさらに、各画像において人物HUや枠画像FRについても、添え字kを付して、対応する時刻t
kごとに、人物HU
kや枠画像FR
kと表記する。
【0057】
以上において、ここでは、
図7に示すように、切替バーBAの端部が端子Tbに対して接続されており、その結果、矢印B1及びB2で示すように、撮像部10からのそのままの第1画像G
1に、第2画像G
2を加工処理して得られた座標データCDを重畳させて形成された重畳画像G
sが、ディスプレイ表示部DAに出力されている。この場合、
図8に示すように、例えば、破線RDで囲って示す時刻t
3について一部抽出して示すように、撮像部10で実際に撮像された画像RI
3に対して、画像MI
3がディスプレイ表示部DAに表示される。ここでの画像MI
3において、画像上の抽出対象の人物については、画像RI
3上の人物Hu
3に一致している。これに対して、画像MI
3において、枠表示については、時刻t
2における画像RI
2における枠画像FR
2が重畳されている。すなわち、枠表示についてのみ、リアルタイムなものからわずかに遅れた情報に基づく画像となっている。
【0058】
以下、上記のような動作態様となることに関して、より具体的に説明する。まず、図中最上段に示す画像RI
kや、上から二段目に示す画像FI
kについては、
図6の場合と同様である。次に、各時刻ごとについて人物HU
kの抽出と抽出結果に伴う枠画像FR
kの検出処理がなされる。この場合、まず、各フレーム番号における入力画像すなわち全体画像についてのキャプチャが開始され、キャプチャの完了後に全体画像中の人物HU
kの抽出及び抽出された人物HU
kに対応する枠の位置検出の処理すなわち枠検出処理がなされる。このような一連の処理に要する時間があることから、ここでの例では、抽出された枠画像FR
kに関するデータと、現在のリアルタイム画像とで、1フレーム分のタイムラグすなわち遅れが発生している。すなわち、上記処理による検出結果として抽出されたものが、第1フレームの画像RI
1に対応する枠画像FR
1であるのに対して、現在のリアルタイム画像は、第2フレームの画像RI
2となっている、といった状況となる。この場合において、本実施形態では、第2フレームの画像RI
2に、第1フレームに対応する枠画像FR
1を、重畳させて重畳画像MI
2としている。上記事項を、添え字k(k:2以上の自然数)を用いて一般化すると、過去(時刻t
k-1)のある瞬間のリアルタイム画像上の特定の対象物を示す枠画像FR
k-1を生成し、生成した枠画像FR
k-1を現在(時刻t
k)のリアルタイム画像RI
kに重畳させて重畳画像MI
kを形成している、ということになる。以上により得られた重畳画像MI
kが、ディスプレイ表示部DAに表示される。
【0059】
以上の場合、重畳画像MIkのうち枠画像FRkについてのみ若干(例えば1フレーム分)遅れることになるが、例えば歩行している人を捉えるものにおいては、何ら問題とならない程度に抑えられたものにできる。一方、現在のリアルタイム画像に対する枠画像の重畳の処理動作については、迅速に行うことが可能であり、枠付きのリアルタイム画像を滑らかに表示することが維持できる。なお、この場合において、第1フレームの画像については、例えば画像FI1をそのまま出力画像MI1として適用し、枠の無い表示としてもよい。例えば、30fpsのフレームレートで2次元画像データを取得しているといった場合には、上記のような遅れは、1/30秒程度ということになる。この程度の遅れであれば、駅での人の乗降りの確認等において支障が出るとは考えにくい。
【0060】
上記のように、本実施形態では、現在のリアルタイム画像に対して、過去のある瞬間のリアルタイム画像上の特定の対象物を示す枠画像を重畳させることで、遅れの無い滑らかな動画表示を維持しつつ、特定の対象物を示す枠画像の表示を可能にしており、さらに、かかる表示について処理の遅れを抑制した迅速な対応を可能としている。
【0061】
以下、
図9及び
図10を参照して、一比較例の画像表示に関する画像処理に関して説明する。
【0062】
図9は、比較例の画像表示に関する画像処理装置100cの一動作例を説明するためのブロック図であり、
図2及び
図7に対応する図である。また、
図10は、
図9の状態における画像表示の一動作例での処理について説明するための概念図であり、
図8に対応する図である。
【0063】
本比較例では、画像中から人物についての部分画像を抽出し、抽出した対象について枠表示付きの新たな全体画像を作成している点において、上記した実施形態のように、枠画像に対応する枠座標のデータに基づきリアルタイム画像に重畳させる態様と異なっている。
【0064】
以下、本比較例の画像処理装置100cの構成及び動作について説明する。なお、枠画像の表示を伴うことのない場合の画像処理については、上記した実施形態の場合と同様であるので、説明を省略する。したがって、
図9及び
図10は、枠画像の表示を伴う場合の説明をするための図となっている。
【0065】
図9に示すように、画像処理装置100cは、画像処理や画像処理に関連する各種処理を行う主制御部50cと、画像入力部IGcと、画像出力部OGcとを備える。特に、主制御部50cにおいて、枠付き画像作成部51cと、出力画像選択部52cと、入出力ポート53cとが設けられている。
【0066】
このうち、主制御部50cの枠付き画像作成部51cは、入力画像キャプチャCAと、枠データ抽出部FDcと、出力画像作成部ICとを有している。以上の構成により、枠付き画像作成部51cは、入力画像キャプチャCAで取り込んだ画像データについて、枠データ抽出部FDcにおいて枠画像に関する抽出を行うだけでなく、抽出された情報から新たな全体画像を作成している点において、
図2等に示す枠画像処理部51と異なっている。
【0067】
主制御部50cの出力画像選択部52cは、
図2等に示す出力画像作成部52と同様に、画像入力部IGcからの生の画像データを分岐する分岐部BRと、ディスプレイ表示部DAへ出力する画像についての出力内容を切り替える出力切替部SWとを有している。しかし、
図2等の出力画像作成部52と異なり、重畳画像形成部SIを有しない、すなわち重畳画像の形成は行わない。つまり、出力画像選択部52cは、専ら出力切替部SWに基づく出力画像の選択を行うものである点において、出力画像作成部52と異なる。言い換えると、枠付き画像の作成については、専ら枠付き画像作成部51cがその役割を担っている点において、主制御部50cの構成は、
図2等に示す主制御部50と異なっている。
【0068】
以上のような構成を有する主制御部50cによる枠付き画像の作成処理について説明する。この場合、まず、出力画像選択部52cの分岐部BRからの画像Gxを、枠付き画像作成部51cの入力画像キャプチャCAで受け付け、入力画像のキャプチャ(取り込み)がなされ、キャプチャした画像のデータが、枠データ抽出部FDcに対して出力される。次に、枠データ抽出部FDcが、キャプチャした画像から対象となる人物の画像を抽出し、抽出した画像に対する矩形状の枠画像の範囲を設定し、設定した枠画像の範囲の情報が、キャプチャした画像の情報とともに、出力画像作成部ICに対して出力される。最後に、出力画像作成部ICが、設定された枠画像の範囲とキャプチャした画像の情報とに基づいて新たな枠付き画像を出力画像として作成し、枠付き画像作成部51cにおける処理結果として出力される。
【0069】
なお、画像処理装置100cの構成要素のうち上記の構成以外については、
図2等に示す画像処理装置100における同名のものと同様の機能を有するため、説明を省略する。
【0070】
以下、画像処理装置100cの動作の一具体例について説明する。ここでは、既述のように、また、
図9に示すように、切替バーBAの端部が端子Tbに対して接続されており、その結果、矢印C1で示すように、撮像部10からの画像G
xを加工処理して得られた処理画像G
pが、ディスプレイ表示部DAに出力されている。この場合、
図10に示すように、例えば、破線RDで囲って示す時刻t
3について一部抽出して示すように、撮像部10で実際に撮像された画像RI
3に対して、画像MI
3がディスプレイ表示部DAに表示される。ここでの画像MI
3において、画像上の抽出対象の人物については、時刻t
1に対応する画像上の人物Hu
1に一致し、枠表示についても、時刻t
1に対応する枠画像FR
1が表示されている。すなわち、人物及び枠表示の双方が、リアルタイムなものから遅れた画像となっている。
【0071】
以下、上記のような動作態様となることに関して、
図10を用いてより具体的に説明する。まず、図中最上段に示す画像RI
kや、上から二段目に示す画像FI
kについては、
図8の場合と同様である。次に、入力画像キャプチャCAにおいて、各フレーム番号における入力画像すなわち全体画像についてのキャプチャがなされる。例えば第1フレームの画像FI
1についてキャプチャした場合、キャプチャの完了後、枠データ抽出部FDcにおいて、全体画像中の人物HU
1の抽出及び抽出された人物HU
1に対応する枠の位置検出の処理すなわち枠画像FR
1を特定する枠検出処理がなされる。さらに、枠検出処理完了後に、出力画像作成部ICにおいて枠画像FR
1と画像FI
1とに基づく新たな枠付き画像(処理画像)の作成がなされる。さらに、画像出力に際して、必要に応じて出力タイミングの同期処理がなされる。以上の場合、入力画像キャプチャCAでのキャプチャ処理の時間や枠に関する抽出処理の時間のみならず、新たな枠付き画像を作成する時間や出力タイミングの同期のための時間を要することになる。少なくとも、
図8に例示した場合よりも多くの時間を要することになる。ここでの例では、抽出された枠画像FR
kに関するデータと、現在のリアルタイム画像とで、2フレーム分のタイムラグすなわち遅れが発生している。すなわち、現在のリアルタイム画像は、既に第3フレームの画像RI
3に相当する時刻t
3になっているにもかかわらず、第1フレームの画像RI
1に関する表示になってしまっている、といった状況となる。このため、破線RDにおいて例示したように、人物及び枠表示の双方ともに、リアルタイムなものから遅れた画像となってしまっている。なお、この場合においても、第1及び第2フレームの画像については、例えば画像FI
1,FI
2をそのまま処理画像MI
1,MI
2として適用し、枠の無い表示とすることが考えられる。
【0072】
以上のような比較例の態様と異なり、本実施形態は、既述のように、リアルタイム画像上に遅れの少ない枠画像の重畳を迅速に行うことで、かかる事態を回避している。
【0073】
以下、
図11等を参照して、本実施形態における画像処理のうち、リアルタイム画像に対する枠画像の重畳処理について、具体的一例を説明する。
【0074】
図11は、画像処理装置100のうち、出力画像作成部52を構成するFPGAの機能について説明するためのブロック図である。また、
図12は、枠画像の描画のための画素データの置き換え手順について示す工程図であり、
図13は、
図12に示す工程に従った画素データの置き換えの動作について一例を概念的に示すブロック図である。本実施形態では、出力画像作成部52の重畳画像形成部SIにおいて、画素数と列数とに関する比較値に基づいて、枠画像の描画を行うか否かを決定している。
【0075】
以下、
図11を参照して、画像処理装置100の主制御部50のうち、特に、FPGAで構成される出力画像作成部52の構造について一例を説明する。既述のように、出力画像作成部52は、分岐部BRと、重畳画像形成部SIと、出力切替部SWとを有している。これらのうち、重畳画像形成部SIは、図示のように、設定レジスタSRと、矩形画像モジュールDMとを有し、さらに、矩形画像モジュールDMは、画像データ解析部GDと、矩形挿入部(矩形重畳部)ROとを有する。また、ここでは、出力切替部SWは、重畳画像形成部SIの設定レジスタSRからも各種信号SSを受け取るものとする。
【0076】
設定レジスタSRは、受け付けた情報等に基づき、矩形画像モジュールDMに対して枠描画の範囲に関する情報を送信する。
【0077】
矩形画像モジュールDMは、設定レジスタSRからの情報に基づき、分岐部BRからの第1画像G1の所定範囲に対して枠を描画する。このため、矩形画像モジュールDMのうち、画像データ解析部GDは、第1画像G1の情報(ビデオデータ)を、ピクセル単位で解析する。また、矩形挿入部ROは、ピクセル単位で解析された第1画像G1について、必要な箇所を枠画像用のデータに置き換えることで、枠描画を高速に行っている。
【0078】
既述のように、出力画像作成部52は、枠画像処理部51との通信により各種信号の授受を行っており、図示の例では、重畳画像形成部SIの設定レジスタSRにおいて、枠画像に関する異なる2点の座標データCDの授受がなされる。なお、画像処理の速度に影響を与えなければ、その他各種情報の授受を併せて行う態様としてもよい。また、設定レジスタSRは、座標データCDの情報に基づいて、描くべき枠に関する情報をピクセル単位で矩形画像モジュールDMの矩形挿入部ROに対して送信する。なお、座標データCDについては、二次元画面上の異なる2点のデータのみが枠画像処理部51から送信されるが、予め定められた色や太さの枠形状となるように、このデータに基づき、設定レジスタSRにおいて、描画すべき箇所(範囲)や色の情報がピクセル単位で設定され、設定されたピクセル単位の情報が、矩形挿入部ROに対して送信される。
【0079】
また、上記のほか、設定レジスタSRからの情報に基づき、出力切替部SWおける切替えを定めてもよい。例えば、設定レジスタSRにおいて、枠画像処理部51からの座標データCDに基づき、座標データCDの値と対象範囲RRとの比較から枠表示を行うべきか否かの判断結果を信号SSとして出力切替部SWに送信してもよい。あるいは、枠画像処理部51から得た外部機器からの各種情報に関して信号SSとして出力切替部SWに送信すること等も考えられる。
【0080】
以下、
図12を参照して、枠画像の描画のための画素データの置き換え手順について説明する。
【0081】
まず、
図12のうち上欄の行程αでは、ピクセル単位で解析されるとともにクロック信号に同期させたデジタルビデオ信号DD
0と、そのカウントを行う様子を示す二次元平面(xy面)を示す概念
図CIとが準備されて、これらに基づいて画面全体に映像を映し出すための情報の処理がなされる。ここでは、デジタルビデオ信号DD
0に示すように、1クロックごとにC/Y交互に流れており、2クロックで1画素となっている。なお、ここでは、色を示すデータPDcで1ピクセル、明るさを示すデータPDbで1ピクセルとし、2ピクセルで1画素が構成されるものとする。
【0082】
さらに、ここでは、横方向(x方向)について隣り合う2画素単位で明るさ及び色を規定する構成となっている。より詳しく説明すると、図示のように、色を示すデータPDcと明るさを示すデータPDbとが交互に並び、1組のデータPDc及びデータPDbによって1画素分のデータDT1が形成されており、さらに、横方向(x方向)について隣り合う2画素分のデータDT1,DT2を1組として、ひとまとまりのデータUN1が構成され、データUN1の単位で2画素分の明るさ及び色を規定している。つまり、データUN1が2画素単位の情報となっている。さらに言い換えると、2画素分を構成する4ピクセル単位の情報となっている。以上のようなデジタルビデオ信号DD
0が、概念
図CIにおいて矢印D1で示すように二次元平面(xy面)上を走査することで、1つの画面が形成される。なお、ここでは、二次元平面(xy面)は、描画範囲DR1と、描画範囲DR1の余白として設けられたブランクBL1,BL2で構成されている。例えば、画面がFHD(1920×1080画素)の場合、描画範囲DR1において、横方向(x方向)に1920画素を一例として、縦方向(y方向)に1080本のラインが続く構成となる。以上に即して横方向(x方向)についての画素数と縦方向(y方向)についての列数とが定まる。なお、ブランクBL1,BL2については、規定数の画素数で適宜構成される。また、ここでは、既述のように、2ピクセルで1画素が構成されるものとする。したがって、FHDであれば、横方向(x方向)についてのピクセル数が画素数の2倍となり、3840×1080ピクセルで1つの画面が構成される。また、図示のように、描画範囲DR1内の特定の範囲について、枠描画すべきピクセル(xy座標)が適宜定められる。具体的には、異なる2点の座標データCDに対応する右上の点SP1と、左下の点SP2に基づいて、枠描画の対象となる範囲FRdが定められる。
【0083】
次に、
図12のうち中欄の行程βでは、枠画像の描画位置に一致する画素データを、枠描画用画素データに置き換えのための準備がなされ、その様子について例示している。すなわち、デジタルビデオ信号DD
0を構成するデータのうち、範囲FRdの位置に一致するデータUN1について、これに対応する描画用画素データDD
1が準備され、データUN1であった箇所が、
図12のうち下欄の行程γに示すように、描画用画素データDD
1に置き換えられていく。以上のように、デジタルビデオ信号のストリーム内のピクセルデータを逐次置き換えていくことで、枠描画の重畳ができる。
【0084】
以下、
図13を参照して、上記した描画用画素データへの置き換えの判断処理に関して説明する。
図13は、画素データの置き換えの動作について一例を概念的に説明するためのブロック図であり、矩形挿入部ROにおける処理の様子を示している。このうち、
図13(A)は、枠を描画しない場合すなわち画素データの置き換えをしない場合の様子を示しており、
図13(B)は、枠を描画する場合すなわち画素データの置き換える場合の様子を示している。図示のように、ここでは、矩形挿入部ROは、枠描画をすべきか否か、すなわち置き換えをすべきか否かの判断のために座標について比較する比較器COと、比較器COでの比較結果に基づいて映像入力データ(入力画像データ)と描画用画素データ(矩形データ)とのうちの一を選択するセレクタSEとを備える。
【0085】
比較器COは、x座標の画素数をカウントするすなわち横方向についての位置を定めるピクセルカウンタPCと、y座標の列数をカウントするすなわち縦方向についての位置を定めるラインカウンタLCとから、比較の対象となるピクセルの位置を特定するとともに、範囲FRdの範囲を定める矩形座標RCから、枠描画を行う範囲の座標データを読出し、これらを比較する。
【0086】
セレクタSEは、デジタルビデオ信号DD0で構成される映像入力データ(入力画像データ)と、描画用画素データ(矩形データ)DD1とを受け付け、比較器COでの比較の結果に応じて、これらのうちの一を選択し、映像出力データ(出力画像データ)とする。
【0087】
以上において、比較器COでの比較の結果、
図13(A)に示すように、falseすなわち対象となるピクセルの位置が範囲FRdの範囲外であると判断された場合、セレクタSEは、当該ピクセルについて置き換えをしないように、矢印E1に示すような出力となる選択をする。一方、比較器COでの比較の結果、
図13(B)に示すように、trueすなわち対象となるピクセルの位置が範囲FRdの範囲内であると判断された場合、セレクタSEは、当該ピクセルについて置き換えをすべく、矢印E2に示すような出力となる選択をする。
【0088】
以上のようにして、1つの画面に対する枠描画がなされる。また、上記の動作については、ピクセル単位で行われ、1つの画面についての処理が終われば、再びピクセル座標の値が初期値に戻って、次の1つの画面の処理へと向かい、滞ることなく、次々と枠描画の処理が繰り返される。また、この場合、ピクセル単位での画像データの置き換え、すなわちピクセルデータの上書きという単純作業であることで、高速な枠描画処理が可能であり、枠付きのリアルタイム画像の生成に適したものとすることができる。
【0089】
以下、
図14のフローチャートを参照して、上記した枠画像の描画のための画素データの置き換え処理について一例を説明する。
【0090】
まず、画像処理装置100あるいは監視システム500が起動して、撮像部10からの画素データが主制御部50において受け付けられると、重畳画像形成部SIは、画素データを構成する1クロック分の映像入力データを取り込み(ステップS101)、ピクセルカウンタPCの値を+1する(ステップS102)。次に、重畳画像形成部SIは、ステップS102の結果、ピクセルカウンタPCの値が最大値を超えたか否かすなわちx方向について右端に到達したか否かを判断し(ステップS103)、超えていなければ(ステップS103:NO)、その検出位置で矩形挿入部ROの比較器COによる比較及びこれに基づく判定を行う(ステップS104)。すなわち、ピクセルカウンタPC及びラインカウンタLCと、矩形座標RCの座標情報とを比較し、矩形(枠)を描画する画素がどうかを判定する。
【0091】
一方、ステップS103において、ピクセルカウンタPCの値が最大値を超えたと判断された場合(ステップS103:YES)、ピクセルカウンタPCを0にするとともに、ラインカウンタLCを+1する(ステップS105)。すなわち、次のラインの左端を検出位置として取り扱う。この場合において、今度は、ステップS105の結果、ラインカウンタLCの値が最大値を超えたか否かすなわちy方向について下端に到達したか否かを判断し(ステップS106)、超えていなければ(ステップS106:NO)、その検出位置でステップS104の比較器COによる比較及びこれに基づく判定を行う。
【0092】
一方、ステップS106において、ラインカウンタLCの値が最大値を超えたと判断された場合(ステップS106:YES)、ラインカウンタLCを0にして(ステップS107)、その検出位置でステップS104の比較器COによる比較及びこれに基づく判定を行う。なお、ステップS107の場合、1つの画面についての処理が完了し、新たな画面についての処理が開始されたことになる。すなわち、次フレーム映像入力データについての処理であると判断される。
【0093】
ステップS104の比較器COによる比較(ステップS108)の結果、矩形枠の描画をすべき旨の判定がなされない場合(ステップS108:NO)、セレクタSEは、
図13(A)に例示したように、当該ピクセルについて置き換えをしない選択をする(ステップS109a)。すなわち、セレクタSEは、映像入力データをそのまま出力する。一方、ステップS104の比較器COによる比較(ステップS108)の結果、矩形枠の描画をすべき旨の判定がなされた場合(ステップS108:YES)、セレクタSEは、
図13(B)に例示したように、当該ピクセルについて置き換える選択をする(ステップS109b)。すなわち、セレクタSEは、映像入力データを矩形座標RCの座標情報の色データである描画用画素データ(矩形データ)に変更して(置き換えて)出力する。なお、以上の動作が、主制御部50における画素データの受け付けが継続される間、繰り返される。
【0094】
以上のように、本実施形態では、重畳画像形成部SIは、ピクセルカウンタPCでカウントされる画素数とラインカウンタLCでカウントされる列数とに関する比較値に基づいて、枠画像の描画を行うか否かを決定している。これにより、迅速かつ継続容易な枠の描画処理ができる。また、この際、重畳画像形成部SIは、画像データを構成する画素数及び列数によって位置がそれぞれ定まる各画素データのうち、画素数と列数とに関する比較の結果、枠画像の描画位置に一致する画素データを、枠描画用画素データに置き換えている。この場合、画素データの置換により迅速な枠の描画が可能になる。
【0095】
〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
【0096】
まず、上記実施形態では、
図4で例示したように、枠表示を行う対象となる対象範囲RRを、第1領域AR1及び第2領域AR2の双方に対応する画像上の領域として予め定めているが、これに限らず、対象範囲RRについては、種々の態様とすることができる。例えば、枠表示を行う対象範囲RRについては、固定的なものとせず、状況に応じて変化させてもよい。具体的には、
図15に示す一変形例において、
図15(A)のように、列車TRが存在する場合には、危険性が高く対象範囲RRを第1領域AR1及び第2領域AR2の双方を含む広めの範囲とする一方、
図15(B)のように、列車TRが存在しない場合には、危険性が低く対象範囲RRを第2領域AR2のみの狭めの範囲とする、といった構成としてもよい。
【0097】
また、上記では、画像枠FRの形状を矩形としているが、これに限らず、画像枠FRの形状を種々のものとしてもよく、例えば当該矩形に沿った楕円状や長円形状等とすることが考えられる。この場合、例えば矩形を基準に各形状が定められるものとしておけば、出力画像作成部52側で適宜処理をすることで、枠画像に関する座標データCDは、矩形の場合と同様、異なる2点で足りる。また、枠描画の処理に伴う実物との関係でのリアルタイム性の観点についての遅延の問題が無ければ、画像枠FRをさらに複雑な形状とすることも考えられる。例えば、縦横方向(xy方向)以外の斜め方向を取り入れ、さらにこれを組み合わせることで、複雑な形状とすることもできる。
【0098】
また、上記では、
図8を参照して説明したように、枠表示についてのみ、リアルタイムなものからわずかに遅れた情報に基づく画像となっているが、例えば検出人物の歩行速度等を連続画像データから予測し、これに基づいて描画する枠画像の重畳位置をずらすことで、枠画像の位置が検出人物の位置に合うようにしてもよい。
【0099】
また、上記では、説明の簡略化のため、1人の人物についての枠表示についてのみ説明したが、複数の人物が1つの画面に映っている場合においても、これらの人物について同時に枠表示をする態様とすることも可能である。例えば複数の画像処理部を設けておくことで、複数の人物を同時に捉えることが考えられる。実装としては、例えば16人までに対して同時に枠表示を行うような態様とすることが考えられる。
【0100】
また、上記では、人物を検出対象としているが、検出対象についても様々考えられ、例えば人物として特に杖(白杖等)や盲導犬を有する人物を捉えるようにしたり、人物以外のものとしてベビーカーや車いす等を検出したりしてもよい。このため、部分画像の抽出において、種々の画像処理エンジンを採用することができる。
【0101】
なお、上記において、例えば主制御部50において画像処理装置100に関する内部装置の故障検知を行い、当該故障検知の有無に基づいて出力切替部SWが出力内容を切り替えるものとしているが、この場合、例えば故障に際しては、枠表示を行わず、通常の画像をスルーで流すようにし、その旨を乗務員SAに対して通知するようにしてもよい。
【0102】
また、外部への通知をする通知部としてのスピーカSKは、利用者HUに対してのみならず、乗務員SAに対して通知を行うものとしてもよい。さらに、通知部としては、スピーカSKによる音声通知以外に、例えばランプの点灯による通知等、種々のものが考えられる。乗務員SAに対する通知については、枠表示がなされた場合の注意喚起の通知のほか、実際に転落があった場合の緊急アラーム通知等、種々の態様とすることが考えられる。また、列車のドアやホームドアにおけるドア挟まりがあったにもかかわらず列車が発車してしまった等の場合については、特に運転士に対して緊急通知を行うものとしてもよい。一方、利用者HUに対する通知については、例えば視覚障碍者等に対しては、ホーム柵の位置情報等と連動させて列車ドア位置への誘導(案内)を行うものとしてもよい。
【0103】
また、上記では、一例として、監視対象エリアを駅STのホームPFとしているが、これに限らず的確な人検出をすることが望まれる種々の場所を監視対象とすることができる。例えばエスカレーターやエレベーター等における利用者の監視に適用することが考えられる。
【0104】
また、撮像部10の配置についても、上記のように、ホームPFの上方側に設置されて下方側を撮像する場合に限らず、目的とする範囲を撮像できる種々の態様とすることができる。例えば、撮像対象とすべきホームの反対側に位置するホームに撮像部を設置すること等が考えられる。また、撮像部10等について、上記のような駅のホームの例であれば、ITV(industrial television)装置のような既存のシステムを利用し、これらに画像処理装置100等を付加して監視システム500を構成することも考えられる。
【0105】
また、撮像部10が、複数設定されるような場合においては、例えば撮像範囲が隣接する撮像部間での情報を、データ中においてリンクさせるようにしてもよい。これにより、より広い範囲に亘って連続的に人物のトラッキングを行うことができる。
【符号の説明】
【0106】
10…撮像部、50…主制御部、50c…主制御部、51…枠画像処理部、51c…枠付き画像作成部、52…出力画像作成部、52c…出力画像選択部、53…入出力ポート、53c…入出力ポート、100…画像処理装置、100c…画像処理装置、500…監視システム、A1…矢印、AA…矢印、AR1…領域、B1…矢印、BA…切替バー、BL1,BL2…ブランク、BR…分岐部、C1…矢印、CA…入力画像キャプチャ、CD…座標データ、CO…比較器、D1…矢印、DA…ディスプレイ表示部、DD0…デジタルビデオ信号、DD1…描画用画素データ、DM…矩形画像モジュール、DR1…描画範囲、DT1,DT2…データ、E1,E2…矢印、FD…枠データ抽出部、FDc…枠データ抽出部、FI1,FI2,FIk…画像、FL…床面、FR1,FR2,FRk…枠画像、FRd…範囲、G0…基本画像、G1…第1画像、G2…第2画像、GD…画像データ解析部、GG…画像、Gp…処理画像、Gs…重畳画像、Gx…画像、HU,HU1,HUk…利用者(人物)、IC…出力画像作成部、IG…画像入力部、IGc…画像入力部、LC…ラインカウンタ、MI1,MI2,MI3,MIk…画像、OG…画像出力部、OGc…画像出力部、PC…ピクセルカウンタ、PDb,PDc…データ、PF…ホーム、PT…座標位置、RC…矩形座標、RD…破線、RI1,RI2,RI3,RIk…画像、RO…矩形挿入部(矩形重畳部)、RR…対象範囲、SA…乗務員、SD…画像位置特定部、SE…セレクタ、SI…重畳画像形成部、SK…スピーカ、SP1,SP2…点、SR…設定レジスタ、SS…信号、ST…駅、SW…出力切替部、TK…線路、TR…列車、Ta,Tb,Tc…端子、UN1…データ、k…フレーム番号、t1,t2,t3,t4,tk…時刻、α,β,γ…行程