【実施例1】
【0024】
図1は、実施例1に係る図形探索装置100の構成を示すブロック図である。
この図形探索装置100は、画像入力部1と、エッジ画像作成部2と、探索領域設定部3と、図形特徴抽出部4と、図形判定部5とを具備している。これらの構成は、一般的なコンピュータシステム上に構築することが出来る。
【0025】
画像入力部1は、ビデオカメラで撮影した映像や通信回線を介して取得した映像から図形探索対象の画像を取得したり、静止画カメラで撮影したり通信回線を介して図形探索対象の画像を取得する。
図8に、画像入力部1が取得した図形探索対象の画像Gを例示する。
【0026】
エッジ画像作成部2は、公知のエッジ検出法により図形探索対象の画像Gからエッジ画像を作成する。
図9に、エッジ画像作成部2が作成したエッジ画像Eを例示する。エッジCは円形であり、エッジLは直線であるものとする。
【0027】
探索領域設定部3は、探索したい図形の最大サイズのものをちょうど含む程度のサイズの探索領域を設定し、その探索領域のサイズよりもエッジ画像Eのサイズが大きい場合は、エッジ画像E上の初期位置に探索領域を設定して図形特徴抽出部4に渡し、図形特徴抽出部4が図形特徴を抽出したら、エッジ画像E上の次の位置に探索領域を移動して図形特徴抽出部4に渡すことを繰り返して、エッジ画像Eの全域を走査する。
なお、探索したい図形の最大サイズのものをちょうど含む程度のサイズの探索領域を設定するのは、それよりサイズを大きくしてもノイズが増えるなどのデメリットがあるだけだからである。
図2に、方形の探索領域Fを例示する。この方形の探索領域Fでは、中心が基準点Oになっている。
図10に、エッジ画像E上の初期位置に設定した探索領域Fを例示する。この初期位置は、エッジ画像Eの
左上隅部分を探索領域Fがカバーしうる位置になっている。gは、探索領域F内に存在するエッジ上の一つの画素である。Qは、画素gと基準点Oとを結ぶ基準線分である。θは、画素gにおけるエッジCの接線が基準線分Qに対して成す角度(=基準線分Qの延長線から時計回りに画素gにおけるエッジCの接線を見た角度)である。rは、基準線分Qの長さである。
なお、角度θとして、画素gにおけるエッジCの法線が基準線分Qに対して成す角度を用いてもよい。
【0028】
図形特徴抽出部4は、探索領域F内に存在するエッジ上の全ての画素について、該画素と探索領域Fの基準点Oとを結ぶ基準線分Qに対するエッジの接線の成す角度θを求め、基準線分Qの長さをrとし且つ度数調整係数をAとするとき、該角度θについて度数A/rを計数した特徴ヒストグラムを作成し、該特徴ヒストグラムを探索領域F内に存在するエッジの図形特徴とする。
図5に、
図10の探索領域F内のエッジCに係る特徴ヒストグラムを例示する。
【0029】
図形判定部5は、特徴ヒストグラムを予め設定された判定規則に照合して探索したい図形が探索領域Fに含まれているか否かを判定する。
【0030】
この判定規則の作成に際しては、
図4に示す如き探索したい図形(ここでは円形)のエッジCのみを含む探索領域Fを作成し、
図3の図形特徴処理を実行する。
【0031】
図3のステップT1では、角度0°〜180°の全ての度数を0にしたヒストグラムを作成する。
ステップT2では、探索領域F内にエッジが存在するか否か判定し、エッジが存在するならステップT3へ進み、エッジが存在しなければステップT6へ進む。
【0032】
ステップT3では、連続しているエッジを1つのエッジとし、探索領域F内の各エッジに順番を付け、最初のエッジ上の全ての画素について、基準線分Qに対する該画素における当該エッジの接線の成す角度θを求め、基準線分の長さをrとし且つ係数をAとするとき、該角度θについて度数A/rをヒストグラムに加算する。なお、Aは、A/rがコンピュータで計数しやすい値となるように定める。
図4の例では、探索領域F内には1つのエッジCしかなく、そのエッジCが円形であり、その円の中心が基準点Oに一致している。このエッジC上のどの画素gでも角度θは90°になる。従って、
図5に示すように、80°〜100°に特徴的なピークが存在するヒストグラムになる。このピークの度数は、エッジCの円周上の画素数だけA/rを加算した値となる。エッジCの円周上の画素数は円周長2πrに比例するから、ピークの度数は2πr×A/r=2πAに比例した値となる。すなわち、ピークの度数は、円形の半径rに依存しない値となる。換言すれば、大きな円形でも小さな円形でもヒストグラムは同一になる。
【0033】
ステップT4では、探索領域F内に次のエッジが存在するならステップT5ヘ進み、存在しないならステップT6へ進む。
【0034】
ステップT5では、次のエッジ上の全ての画素について、基準線分Qに対する該画素における当該エッジの接線の成す角度θを求め、基準線分の長さをrとし且つ係数をAとするとき、該角度θについて度数A/rをヒストグラムに加算する。そして、ステップT4に戻る。
【0035】
ステップT6では、現在のヒストグラムを探索領域Fが含む図形特徴を表す特徴ヒストスラムとする。また、基準点Oの位置を図形位置とする。そして、処理を終了する。
【0036】
図4の探索領域Fに対して作成された
図5の特徴ヒストグラムは、判定規則作成用ヒストグラムである。この
図5の判定規則作成用ヒストグラムから、「80°〜100°のビンの度数が閾値以上であれば、円形である。」という判定規則を作成する。閾値は、理想的な円形からの変形の程度,エッジのかすれの程度,ノイズの混入の程度などを考慮して定めればよい。例えば
図5に示すように1.6πA(=理想的な円形の場合の度数2πAの80%)としてもよい。
つまり、閾値の調整によって、同一の図形と判定する範囲を調整することが出来る。
【0037】
図6は、実施例1に係る円形探索処理を示すフロー図である。
ステップS1では、画像入力部1は、検索対象となる画像として例えば
図8に示す画像Gを取り込む。
ステップS2では、エッジ画像作成部2は、例えばキャニー法により図形探索対象の画像Gを2値化・細線化し、例えば
図9に示すエッジ画像Eを作成する。
【0038】
ステップS3では、探索領域設定部3は、例えば
図10に示すように、エッジ画像E上の初期枠位置p0に探索領域Fを設定する。また、エッジ画像Eの全体を走査できるように移動して探索領域Fを設定する全ての位置を準備しておく。探索領域Fの移動は、通常は1画素ずつ移動する。
【0039】
ステップS4では、図形特徴抽出部4は、
図3に示す図形特徴抽出処理を実行する。
図10の探索領域F内は、
図4に示す探索領域F内と同じであるから、
図5の特徴ヒストグラムが得られる。拡大・縮小された円形でも
図5の特徴ヒストグラムが得られる。円周の途中が途切れていても、多少変形した円形でも
図5に類似した特徴ヒストグラムが得られる。
【0040】
ステップS5では、図形判定部5は、
図7に示す円形判定処理を実行する。
【0041】
図7のステップU1では、図形判定部5は、特徴ヒストグラムにおける80°〜100°のビンの度数が閾値である1.6πA以上であれば位置piで円形を検出したと判定し、そうでなければ位置piで円形を検出しないと判定する。そして、処理を終了する。
【0042】
図6に戻り、ステップS6では、探索領域Fを移動する次の位置が残っているかチェックし、残っていればステップS7へ進み、残っていなければエッジ画像Eの全域を走査したので処理を終了する。
【0043】
ステップS7では、探索領域設定部3は、次の位置に探索領域Fを設定する。
ステップS8では、図形特徴抽出部4は、
図3に示す図形特徴抽出処理を実行する。
ステップS9では、図形判定部5は、
図7に示す円形判定処理を実行する。そして、ステップS6に戻る。
【0044】
さて、
図11に示すように、円形のエッジCの80%未満が探索領域Fに含まれる場合、
図12に示すような特徴ヒストグラムとなるため、この位置では円形を検出しないと判定する。
【0045】
また、
図13に示すように、直線のエッジLが探索領域Fに含まれる場合、
図14に示すような特徴ヒストグラムとなるため、この位置では円形を検出しないと判定する。
【0046】
実施例1に係る円形探索処理によれば、拡大・縮小された円形でも、円周の途中が途切れていても、多少変形した円形でも、検出することが出来る。
【実施例2】
【0047】
実施例2の図形探索装置の構成は、実施例1で説明した
図1の構成と同じであるので、ここでの説明は省略する。
【0048】
実施例2の図形探索装置では、判定規則の作成に際しては、
図15に示す如き探索したい図形(ここでは文字「B」)のエッジのみを含む探索領域Fを作成し、
図3の図形特徴処理を実行する。これにより、
図16に示す如き判定規則作成用ヒストグラムが得られたとすると、「特徴ヒストグラムのピーク分布パターンと判定規則作成用ヒストグラムのピーク分布パターンの類似度が閾値以上であれば、探索したい図形である。」という判定規則を作成する。閾値は、理想的な図形からの変形の程度,エッジのかすれの程度,ノイズの混入の程度などを考慮して定めればよい。
【0049】
図17は、実施例2に係る図形探索処理を示すフロー図である。
ステップS1では、画像入力部1は、検索対象となる画像を取り込む。
ステップS2では、エッジ画像作成部2は、例えばキャニー法により図形探索対象の画像Gを2値化・細線化し、例えば
図19に示すエッジ画像Eを作成する。
【0050】
ステップS3では、探索領域設定部3は、エッジ画像上の初期枠位置p0に探索領域Fを設定する。また、エッジ画像の全体を走査できるように移動して探索領域Fを設定する全ての位置を準備しておく。通常は1画素ずつ移動する。
【0051】
ステップS4では、図形特徴抽出部4は、
図3に示す図形特徴抽出処理を実行する。この図形特徴抽出処理は、実施例1で説明した通りであるので、ここでの説明は省略する。
【0052】
ステップS15では、図形判定部5は、
図18に示す図形判定処理を実行する。
図18のステップU1では、図形判定部5は、特徴ヒストグラムのピーク分布パターンと判定規則作成用ヒストグラムのピーク分布パターンの類似度が閾値よりも高ければ枠位置piで図形を検出したと判定し、類似度が閾値よりも高くなければ枠位置piで図形を検出しないと判定する。類似度は、例えばバタチャリヤ距離を計算し、それを指標とすればよい。
つまり、閾値の調整によって、同一の図形と判定する範囲を調整することが出来る。
【0053】
ステップS6では、探索領域Fを移動する次の位置が残っているかチェックし、残っていればステップS7へ進み、残っていなければエッジ画像Eの全域を走査したので処理を終了する。
【0054】
ステップS7では、探索領域設定部3は、次の位置に探索領域Fを設定する。
例えば
図19に示す位置に探索領域Fが設定されたとする。
【0055】
ステップS8では、図形特徴抽出部4は、
図3に示す図形特徴抽出処理を実行する。
図19に示す位置に探索領域Fが設定されていた場合、
図20に示す如き特徴ヒストグラムが得られる。
図19に示すように図形(=文字「B」)が画像上で回転していても、その回転中心が基準点Oに合致していれば、図形と基準点Oの相対位置関係は回転に影響されないので、特徴ヒストグラムは不変である。なお、
図20のハッチングした度数は、探索領域F内に存在するノイズNのエッジに相当する誤差分を示している。
【0056】
ステップS19では、図形判定部5は、
図18に示す図形判定処理を実行する。そして、ステップS6に戻る。
【0057】
実施例2に係る図形探索処理によれば、回転・拡大・縮小された図形でも、一部が途切れていても、多少変形した図形でも、検出することが出来る。
なお、異なる複数の図形についての判定規則をそれぞれ用意しておけば、画像上の図形の種類を判別することも可能である。
【実施例4】
【0059】
図26は、本発明に係る動き追跡装置200の構成を示すブロック図である。
この動き追跡装置200は、動画取得部11と、静止画像取出部12と、実施例1の図形探索装置100と、移動経路取得部13とを具備している。これらの構成は、一般的なコンピュータシステム上に構築することが出来る。
【0060】
動画取得部11は、例えば防犯カメラで撮影したビデオ映像の如き動画を取得する。
【0061】
静止画像取出部12は、動画から時間経過順の複数の静止画像を取り出す。
【0062】
図形探索装置100は、時間経過順の複数の静止画像のそれぞれについて、探索したい図形を静止画像中で検出した位置piを出力する。
例えば
図27に示すように、手のエッジ画像のみを含む探索領域Fより、
図28に示す如き判定規則作成用ヒストグラムが得られたならば、「80°〜100°のビンの度数が閾値以上であれば、手である。」という判定規則を作成する。閾値は、理想的な円形からの変形の程度,エッジのかすれの程度,ノイズの混入の程度などを考慮して定めればよい。例えば
図28に示すようにπA(=理想的な円形の場合の度数2πAの50%)としてもよい。
そして、
図29(a)〜(c)に示すように、時間経過中の静止画像からそれぞれ作成したエッジ画像E1〜E3でそれぞれ手を検出した位置p1〜p3を出力する。
【0063】
移動経路取得部13は、位置p1〜p3を滑らかにつなぐ移動経路を取得する。
図29の(d)に示すように、手が頭の陰になっていても、先に取得した移動経路からエッジ画像E4での手の位置を推定することが出来る。