特開 2024-176758 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176758

(43)【公開日】2024-12-19

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241212BHJP

   H04N 7/18 20060101ALI20241212BHJP

   G06T 7/60 20170101ALI20241212BHJP

【ＦＩ】

G06T7/70 Z

H04N7/18 K

G06T7/60 150Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023095541

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】吉田 英達

(72)【発明者】

【氏名】中村 亘

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC14

5C054FE13

5C054HA19

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096EA43

5L096FA06

5L096FA59

5L096FA69

5L096HA02

5L096HA08

5L096KA04

(57)【要約】      （修正有）

【課題】画像から対象物の領域を正確に検出する画像処理装置、方法及びプログラムを提供する。
【解決手段】画像処理装置１において、処理部２は、撮像画像１０から所定種類の対象物２１を含む所定形状の検出領域１１を検出し、検出領域１１に対して輪郭検出を行うことによって検出領域１１から閉領域を検出し、検出された閉領域のうち面積が最大である閉領域を、対象物２１が写っている領域として特定する。これにより、対象物２１に近接する位置に対象物２１とは異なる種類の他の物体２２が写っている場合でも、対象物２１の領域を正確に検出できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像画像から所定種類の対象物を含む所定形状の検出領域を検出し、
前記検出領域に対して輪郭検出を行うことによって前記検出領域から１以上の閉領域を検出し、
前記１以上の閉領域のうち面積が最大である第１閉領域を、前記対象物が写っている領域として特定する、処理部、
を有する画像処理装置。

【請求項2】

前記処理部は、さらに、前記撮像画像のうち前記第１閉領域の第１部分画像を、前記第１閉領域の周囲の画像情報を用いた補間演算によって生成した第２部分画像で置き換える、
請求項１記載の画像処理装置。

【請求項3】

前記処理部は、さらに、
前記撮像画像における前記第１部分画像を前記第２部分画像で置き換えた第１補正画像を生成し、
前記撮像画像を第１フレームとして含む動画像のうち、前記第１フレームより前の第２フレームに基づいて生成された第２補正画像を取得し、
前記第１補正画像と前記第２補正画像との差分を計算することによって、前記第１補正画像から前記対象物とは異なる種類の物体を検出する、
請求項２記載の画像処理装置。

【請求項4】

前記処理部は、
前記撮像画像を第１フレームとして含む動画像における過去のフレームから、前記対象物が検出された前記検出領域が、前記第１フレームの前記検出領域と重複していない第２フレームを探索し、
前記第２フレームが探索された場合、前記第１フレームの前記検出領域の画像を前記第２フレームの前記検出領域の画像で置き換え、
前記第２フレームが探索されなかった場合、前記第１フレームの前記検出領域から前記１以上の閉領域を検出し、前記１以上の閉領域のうち前記第１閉領域の前記第１部分画像を前記第２部分画像で置き換える、
請求項２記載の画像処理装置。

【請求項5】

コンピュータが、
撮像画像から所定種類の対象物を含む所定形状の検出領域を検出し、
前記検出領域に対して輪郭検出を行うことによって前記検出領域から１以上の閉領域を検出し、
前記１以上の閉領域のうち面積が最大である第１閉領域を、前記対象物が写っている領域として特定する、
画像処理方法。

【請求項6】

コンピュータに、
撮像画像から所定種類の対象物を含む所定形状の検出領域を検出し、
前記検出領域に対して輪郭検出を行うことによって前記検出領域から１以上の閉領域を検出し、
前記１以上の閉領域のうち面積が最大である第１閉領域を、前記対象物が写っている領域として特定する、
処理を実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

【背景技術】

【0002】

近年、カメラを用いて監視対象の領域を撮像し、撮像した画像を画像処理して所望の対象物を検出する技術が普及している。例えば、車両や人物などの移動体を検出する技術がある。

【0003】

また、移動体の検出に関しては、例えば、入力された画像情報と、移動体が存在しない状態の背景画像との差分に基づいて画像中の変化領域を抽出し、変化領域の大きさ、明るさ、形状などに基づいて移動体の存在の有無を判定する移動体監視装置が提案されている。また、路面背景画像の作成に関しては、例えば、路面画像により作成した移動体マスク情報を基に移動体マスク画像を作成し、最初の移動体マスク画像をベースとして以後、移動体マスク画像のマスク領域以外の部分のみを更新する画像合成を繰り返す移動体除去方式が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４－２０８２０９号公報

【特許文献2】特開２００３－２９６７０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、撮像画像から対象物を検出した場合に、その撮像画像の領域のうち、検出された対象物を含む所定形状の領域が、対象物の検出結果として出力される技術がある。この技術では、検出対象ではない、対象物とは異なる種類の他の物体が、対象物に近い位置に存在して、他の物体が上記の所定形状の領域に含まれてしまう場合に、対象物の領域と他の物体の領域とを区別できないという問題がある。

【0006】

１つの側面では、本発明は、画像から対象物の領域を正確に検出可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

１つの案では、次のような処理部を有する画像処理装置が提供される。この画像処理装置において、処理部は、撮像画像から所定種類の対象物を含む所定形状の検出領域を検出し、検出領域に対して輪郭検出を行うことによって検出領域から１以上の閉領域を検出し、１以上の閉領域のうち面積が最大である第１閉領域を、対象物が写っている領域として特定する。

【0008】

また、１つの案では、上記の画像処理装置と同様の処理をコンピュータが実行する画像処理方法が提供される。
さらに、１つの案では、上記の画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。

【発明の効果】

【0009】

１つの側面では、画像から対象物の領域を正確に検出できる。

【図面の簡単な説明】

【0010】

【図1】第１の実施の形態に係る画像処理装置の構成例および処理例を示す図である。

【図2】第２の実施の形態に係る画像処理システムの構成例を示す図である。

【図3】画像処理装置のハードウェア構成例を示す図である。

【図4】画像処理装置が備える処理機能の構成例を示す図である。

【図5】画像補間を用いた移動体消去処理の第１の比較例を示す図である。

【図6】画像補間を用いた移動体消去処理の第２の比較例を示す図である。

【図7】第２の実施の形態における移動体消去処理例を示す図である。

【図8】異常物体の検出処理手順を示すフローチャートの例（その１）である。

【図9】異常物体の検出処理手順を示すフローチャートの例（その２）である。

【図10】異常物体の検出処理手順を示すフローチャートの例（その３）である。

【図11】バウンディングボックスの重複判定処理例を示す図である。

【図12】画像補間による移動体消去処理の例を示すフローチャートである。

【図13】消去済みフレームを用いた異常物体検出処理の例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像処理装置の構成例および処理例を示す図である。図１に示す画像処理装置１は、入力された撮像画像から所定種類の対象物の領域を検出する装置である。対象物としては、例えば、車両、人物などの移動体が検出される。

【0012】

画像処理装置１は、処理部２を有する。処理部２は、例えば、プロセッサである。この場合、処理部２の処理は、例えば、プロセッサが所定のプログラムを実行することで実現される。処理部２は、以下のような処理を実行する。

【0013】

処理部２は、入力された撮像画像から、上記の対象物を含む所定形状の検出領域を検出する。図１では、撮像画像１０から、対象物２１を含む検出領域１１が検出された場合を例示している。図１の検出領域１１は、矩形の形状をなしている。この場合、検出領域１１は「バウンディングボックス」と呼ばれる場合がある。

【0014】

対象物２１の検出方法としては、例えば、車両や人物などを認識する画像認識技術を利用可能である。例えば、機械学習によって生成された、画像認識のための学習済みモデルを用いて、対象物２１を検出することができる。

【0015】

ここで、図１の撮像画像１０では、対象物２１と近接する位置に、検出対象ではない、対象物２１とは異なる種類の他の物体２２が存在している。物体２２と対象物２１とが近いため、物体２２は検出領域１１の中に含まれてしまっている。この場合、対象物２１だけでなく物体２２の領域も検出領域１１が対象物２１の領域として検出されてしまい、対象物２１の領域を物体２２の領域とは区別して検出することができない。

【0016】

このような問題を解決するために、処理部２は、検出された検出領域１１に対して輪郭検出を行うことによって、検出領域１１から１以上の閉領域を検出する。閉領域が複数検出された場合、処理部２は、それらの閉領域のうち面積が最大である閉領域を、対象物２１が写っている領域として特定する。

【0017】

図１に示す画像１０ａでは、検出領域１１において検出された輪郭線が示されている。この例では、輪郭検出により検出領域１１からは対象物２１に対応する閉領域２１ａと物体２２に対応する閉領域２２ａとが検出されている。閉領域２１ａの面積は、閉領域２２ａより大きい。このため、処理部２は、閉領域２１ａを対象物２１が写っている領域として特定する。図１に示す画像１０ｂでは、特定された対象物２１の領域２１ｂが黒色で示されている。

【0018】

検出領域１１は、所望の対象物２１を検出した結果として生成され、対象物２１が存在する領域を示すものである。このため、検出領域１１には、検出対象の対象物２１が大きく写っており、検出対象でない他の物体が対象物２１より大きく写る可能性は低い。上記のように最大面積の閉領域２１ａを対象物２１が写っている領域として特定することで、他の物体が対象物２１と近接している場合でも、対象物２１が写っている領域を他の物体とは区別して精度よく検出することが可能となる。

【0019】

ところで、上記のように撮像画像１０から対象物２１の領域だけを検出できることにより、撮像画像１０から対象物２１を正確に消去した画像を生成可能となる。撮像画像１０から対象物２１だけを消去した画像には、検出対象でない他の物体（例えば、本来そこにあるはずのない異常な物体）だけが写っているため、この画像を他の物体の有無を検出するための画像として利用できるようになる。

【0020】

以下の第２の実施の形態では、上記技術を用いて他の物体を検出できるようにした画像処理システムを例示する。下記の画像処理システムでは、対象物として所定種類の移動体が検出され、他の物体として、所定種類の移動体以外の異常物体が検出されるものとする。

【0021】

〔第２の実施の形態〕
図２は、第２の実施の形態に係る画像処理システムの構成例を示す図である。図２に示す画像処理システムは、カメラ５０と画像処理装置１００を含む。なお、画像処理装置１００は、図１に示した画像処理装置１の一例である。

【0022】

カメラ５０は、移動体が移動する領域を監視する監視カメラである。例えば、移動体が車両である場合、カメラ５０は、車両が通行する道路を監視する。カメラ５０は、撮像された動画像を画像処理装置１００に送信する。

【0023】

画像処理装置１００は、カメラ５０からの動画像を受信し、受信した動画像から移動体を検出する。画像処理装置１００はさらに、移動体が検出された画像フレームから移動体の画像を消去することで、移動体は写っていないがそれ以外の異常物体は写り得る画像を生成し、生成された画像から異常物体を検知する。異常物体としては、例えば、車両から落下した落下物などが検出される。

【0024】

図３は、画像処理装置のハードウェア構成例を示す図である。画像処理装置１００は、例えば、図３に示すようなコンピュータとして実現される。図３に示す画像処理装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース（Ｉ／Ｆ）１０５、読み取り装置１０６および通信インタフェース（Ｉ／Ｆ）１０７を備える。

【0025】

プロセッサ１０１は、画像処理装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＧＰＵ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

【0026】

ＲＡＭ１０２は、画像処理装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

【0027】

ＨＤＤ１０３は、画像処理装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

【0028】

ＧＰＵ１０４には、表示装置１０４ａが接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置１０４ａとしては、液晶ディスプレイや有機ＥＬ（ElectroLuminescence）ディスプレイなどを用いることができる。

【0029】

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどを用いることができる。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどを用いることができる。

【0030】

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、半導体メモリなどを用いることができる。

【0031】

通信インタフェース１０７は、ネットワーク１０７ａを介して他の装置との間でデータの送受信を行う。例えば、カメラ５０がネットワーク１０７ａを介して画像処理装置１００に接続されている場合、通信インタフェース１０７は、カメラ５０から送信された動画像のデータを受信する。

【0032】

以上のようなハードウェア構成によって、画像処理装置１００の処理機能を実現することができる。
図４は、画像処理装置が備える処理機能の構成例を示す図である。図４に示すように、画像処理装置１００は、画像記憶部１１１、ＢＢ（バウンディングボックス）データ記憶部１１２、消去済み画像記憶部１１３、画像取得部１２１、移動体検出部１２２、移動体消去部１２３および異常物体検出部１２４を備える。

【0033】

画像記憶部１１１、ＢＢデータ記憶部１１２および消去済み画像記憶部１１３は、ＲＡＭ１０２、ＨＤＤ１０３など、画像処理装置１００が備える記憶装置に確保される記憶領域である。

【0034】

画像記憶部１１１には、カメラ５０から取得された動画像のデータ（すなわち、各画像フレームのデータ）が記憶される。
ＢＢデータ記憶部１１２には、画像フレームから検出されたバウンディングボックスに関するＢＢデータが記憶される。バウンディングボックスは、移動体を内包する矩形領域であり、移動体検出部１２２によって検出される。ＢＢデータは、バウンディングボックスが検出された画像フレームを示すフレーム識別情報（例えば、撮像時刻またはフレーム番号）と、検出されたバウンディングボックスの位置情報（例えば、矩形領域の左上座標、右上座標および左下座標）とを含む。

【0035】

消去済み画像記憶部１１３には、移動体消去部１２３によって移動体の消去処理が施された動画像のデータが記憶される。
画像取得部１２１、移動体検出部１２２、移動体消去部１２３および異常物体検出部１２４の処理は、例えば、プロセッサ１０１が所定のアプリケーションプログラムを実行することで実現される。

【0036】

画像取得部１２１は、カメラ５０によって撮像された動画像のデータを取得する。画像取得部１２１は、動画像に含まれる画像フレームのデータを、移動体検出部１２２に順次受け渡すとともに、画像記憶部１１１に格納する。

【0037】

移動体検出部１２２は、画像フレームから移動体を検出する。移動体検出部１２２は、移動体が検出されると、移動体を内包するバウンディングボックスに関するＢＢデータを生成して、ＢＢデータ記憶部１１２に格納する。

【0038】

移動体検出部１２２は、例えば、対象物検出用の学習済みモデルを用いて移動体を検出する。このような学習済みモデルは、例えば、対象物が写っている多数の画像を教師データとして用いた機械学習（例えば深層学習）によって生成される。これらの教師データには、対象物の位置に対応するバウンディングボックスの位置情報が付加されており、機械学習の際にはこれらの位置情報が正解データとして用いられる。このような移動体の検出技術としては、例えば、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Detector）、Ｒ－ＣＮＮ（Region-based Convolutional Neural Network）などを用いることができる。

【0039】

移動体消去部１２３は、ＢＢデータに基づいて、画像フレームから移動体を消去する。移動体消去部１２３は、移動体の消去処理が施された各画像フレームのデータを消去済み画像記憶部１１３に格納する。以下の説明では、移動体の消去処理が施された画像フレームを「消去済みフレーム」と記載する場合がある。

【0040】

異常物体検出部１２４は、消去済みフレーム間の差分演算によって、画像フレームから異常物体を検出する。
次に、移動体の消去処理について説明する。本実施の形態の画像処理装置１００は、異常物体を検出するために移動体を検出する。すなわち、画像処理装置１００は、画像フレームから移動体が検出されると、その画像フレームから移動体を消去する。このような移動体の消去処理が施された各画像フレームには、移動体は写っておらず、移動体以外の異常物体だけが写り得る。このため、移動体の消去処理が施された消去済みフレーム間の差分を計算することで、異常物体を検出可能になる。

【0041】

図５は、画像補間を用いた移動体消去処理の第１の比較例を示す図である。図５に示す画像フレーム２００には、移動体２０１が写っている。この例では、移動体２０１は道路を走行する車両である。移動体検出部１２２は、画像フレーム２００に対する移動体の検出処理を実行する。これにより、移動体２０１を含むバウンディングボックス２０２が検出される。図５に示す画像２００ａは、画像フレーム２００上にバウンディングボックス２０２を重畳表示した画像である。

【0042】

第１の比較例では、画像補間により、画像フレーム２００から移動体が消去される。具体的には、バウンディングボックス２０２の周囲の画素の画素値を用いて、補間演算によりバウンディングボックス２０２内の各画素の画素値が算出される。そして、算出された画素値によってバウンディングボックス２０２内の各画素の画素値が置き換えられる。補間演算の手法としては、例えば、最近傍法、バイリニア補間法などを用いることができる。このような処理により、画像フレーム２００から移動体２０１が消去された消去済みフレーム２００ｂが生成される。

【0043】

このような移動体の消去処理は、画像フレームから移動体が検出された場合に、その画像フレームだけを用いて移動体を消去できるというメリットがある。例えば、後述するように、画像フレームにおけるバウンディングボックス内の画像を、移動体が検出されていない過去の時刻の画像フレームにおけるバウンディングボックス内の画像によって置き換えることで、移動体を消去する方法がある。この方法は、移動体が検出されていない過去の時刻の画像フレームが存在しない場合には適用できない。例えば、移動体として多数の車両が頻繁に通る道路が撮影された場合には、車両が検出されていない画像フレームを見つけることが難しい場合がある。図５のような画像補間を用いた移動体消去処理は、このようなケースでも移動体を消去することができる。

【0044】

しかしながら、画像補間を用いた移動体消去処理は、移動体に近接する位置に異常物体が存在する場合には、移動体だけでなく異常物体も消去され得るという問題がある。
図６は、画像補間を用いた移動体消去処理の第２の比較例を示す図である。図６に示す画像フレーム２１０には、移動体２１１が写っているとともに、移動体２１１に近接する位置に異常物体２１２が写っている。移動体検出部１２２が、このような画像フレーム２１０から移動体２１１を含むバウンディングボックス２１３を検出したとする。図６に示す画像２１０ａは、画像フレーム２１０上にバウンディングボックス２１３を重畳表示した画像である。

【0045】

この例では、異常物体２１２が移動体２１１に近接しているために、バウンディングボックス２１３内に移動体２１１だけでなく異常物体２１２も含まれてしまっている。このような場合に、移動体消去部１２３によって画像補間を用いた移動体２１１の消去処理が行われると、消去済みフレーム２１０ｂに示すように移動体２１１だけでなく異常物体２１２も消去されてしまう。このため、異常物体検出部１２４は、消去済みフレーム２１０ｂを用いて異常物体２１２を検出することができなくなる。

【0046】

図７は、第２の実施の形態における移動体消去処理例を示す図である。上記の問題に対して、本実施の形態の移動体消去部１２３は、輪郭検出を用いて移動体消去処理を実行する。

【0047】

図７では、図６と同様に、画像フレーム２１０から移動体２１１と異常物体２１２を含むバウンディングボックス２１３が検出されたとする。画像２１０ａは、画像フレーム２１０上にバウンディングボックス２１３を重畳表示した画像である。この場合、移動体消去部１２３は、バウンディングボックス２１３内の画像に対して輪郭検出処理を実行する。移動体消去部１２３は、例えば、ＳｏｂｅｌフィルタやＣａｎｎｙ法を用いてバウンディングボックス２１３内の画像からエッジ検出を行い、得られたエッジ情報に基づいて輪郭線を抽出する。

【0048】

このような輪郭検出処理により、画像２１０ｃに示すように、バウンディングボックス２１３からは、移動体２１１に対応する閉領域２１１ａと、異常物体２１２に対応する閉領域２１２ａが検出される。閉領域２１１ａ，２１２ａは、輪郭線によって囲まれた領域である。

【0049】

次に、移動体消去部１２３は、検出された閉領域２１１ａ，２１２ａのそれぞれの大きさを比較する。具体的には、閉領域２１１ａ，２１２ａのそれぞれの面積、またはバウンディングボックス２１３に対する面積占有率を算出し、面積または面積占有率を比較する。なお、面積は、例えば、閉領域に含まれる画素数として算出することができる。

【0050】

図７の例では、バウンディングボックス２１３の面積が３００と算出される。また、閉領域２１１ａの面積は２３０と算出され、バウンディングボックス２１３に対する閉領域２１１ａの面積占有率は７７％と算出される。一方、閉領域２１２ａの面積は４０と算出され、バウンディングボックス２１３に対する閉領域２１２ａの面積占有率は１３％と算出される。

【0051】

移動体消去部１２３は、バウンディングボックス２１３から検出された閉領域のうち最大面積の領域を、移動体２１１の領域として特定する。図７の例では、閉領域２１２ａより閉領域２１１ａの面積の方が大きいので、閉領域２１１ａが移動体２１１の領域として特定される。すると、移動体消去部１２３は、画像フレーム２１０から画像補間によって閉領域２１１ａを消去する。具体的には、移動体消去部１２３は、閉領域２１１ａの周囲の画素を用いて、補間演算により閉領域２１１ａ内の各画素の画素値を算出し、算出された画素値によって閉領域２１１ａ内の各画素の画素値を置き換える。

【0052】

図７に示す消去済みフレーム２１０ｄは、元の画像フレーム２１０のうち、閉領域２１１ａ内の各画素の画素値が補間演算によって生成された画素値で置き換えられた画像フレームである。この消去済みフレーム２１０ｄでは、移動体２１１の領域が正確に消去されている一方、移動体２１１に近接している異常物体２１２は消去されずに残っている。

【0053】

バウンディングボックスは、所定種類の移動体を検出した結果として生成され、移動体が存在する領域を示すものである。このため、バウンディングボックスには、検出対象の移動体が大きく写っており、検出対象でない異常物体が移動体より大きく写る可能性は低い。上記のように最大面積の閉領域を移動体が写っている領域として特定し、この領域の画像情報だけを画像補間によって消去することで、異常物体が移動体と近接している場合でも、異常物体を消去せず、移動体だけを消去することができる。

【0054】

図８～図１０は、異常物体の検出処理手順を示すフローチャートの例である。
［ステップＳ１１］画像取得部１２１は、カメラ５０によって撮像された動画像における１つの画像フレームを取得し、移動体検出部１２２に受け渡すとともに画像記憶部１１１に格納する。以下、取得した画像フレームを「現フレーム」と記載する場合がある。

【0055】

［ステップＳ１２］移動体検出部１２２は、現フレームから移動体を検出する。
［ステップＳ１３］移動体検出部１２２は、現フレームから移動体が１つ以上検出されたかを判定する。移動体が１つ以上検出された場合、移動体検出部１２２は、検出された移動体ごとに、移動体を含むバウンディングボックスに関するＢＢデータを生成して、ＢＢデータ記憶部１１２に格納する。その後、処理が図９のステップＳ２１に進められる。一方、移動体が１つも検出されなかった場合、処理がステップＳ１４に進められる。

【0056】

［ステップＳ１４］移動体消去部１２３は、現フレームをそのまま消去済みフレームとして消去済み画像記憶部１１３に格納する。その後、処理が図１０のステップＳ３５に進められる。

【0057】

以下、図９を参照して説明を続ける。
［ステップＳ２１］ステップＳ２９までの移動体消去処理ループが、バウンディングボックスの検出数の分だけ繰り返し実行される。なお、移動体消去処理ループでは、現フレームから検出された処理対象のバウンディングボックスを「対象バウンディングボックス」と記載する場合がある。

【0058】

［ステップＳ２２］移動体消去部１２３は、現フレームより時間的に前の画像フレーム（過去フレーム）を１つ選択する。移動体消去処理ループ内でステップＳ２２が実行されるたびに、現フレームの直前の画像フレームを起点として１つずつ前の画像フレームが選択される。

【0059】

［ステップＳ２３］移動体消去部１２３は、ステップＳ２２で選択された過去フレームからバウンディングボックスが１つ以上検出されているかを判定する。ＢＢデータ記憶部１１２に、過去フレームに対応するＢＢデータが１つ以上格納されている場合に、バウンディングボックスが１つ以上検出されていると判定される。バウンディングボックスが１つ以上検出されている場合、処理がステップＳ２４に進められ、バウンディングボックスが１つも検出されていない場合、処理がステップＳ２６に進められる。

【0060】

［ステップＳ２４］移動体消去部１２３は、過去フレームから検出されたバウンディングボックスの少なくとも一部の領域が、対象バウンディングボックスの領域と重複するかを判定する。前者の領域が後者の領域と重複する場合、処理がステップＳ２５に進められ、重複しない場合、処理がステップＳ２６に進められる。

【0061】

ここで、図１１を用いて、ステップＳ２４の重複判定処理の例について説明する。図１１は、バウンディングボックスの重複判定処理例を示す図である。
図１１では、現フレームから検出された対象バウンディングボックスの領域について、左上を点Ａ、右上を点Ｂ、左下を点Ｃとする。また、過去フレームから検出されたバウンディングボックス（過去バウンディングボックス）の領域について、左上を点Ｄ、右上を点Ｅ、左下を点Ｆとする。なお、図１１中の左側から右側に向かう座標軸をＸ軸とし、図１１中の上側から下側に向かう座標軸をＹ軸とし、画像フレームの左上を座標の原点とする。

【0062】

また、図１１では、過去フレームから５つの過去バウンディングボックス２３１～２３５が検出されており、そして、移動体消去部１２３は、過去バウンディングボックス２３１～２３５の領域の少なくとも一部が、判定対象の対象バウンディングボックス２２１と重複するかを判定する。この判定では、過去バウンディングボックス２３１～２３５のうち、次の条件Ｃ１～Ｃ４をすべて満たす過去バウンディングボックスは、対象バウンディングボックス２２１と重複していると判定される。一方、条件Ｃ１～Ｃ４の少なくとも１つを満たさない過去バウンディングボックスは、対象バウンディングボックス２２１と重複していないと判定される。

【0063】

条件Ｃ１は、「対象バウンディングボックスの点ＡのＸ座標≦過去バウンディングボックスの点ＥのＸ座標」である。条件Ｃ１を満たさない過去バウンディングボックスは、対象バウンディングボックス２２１より左側に位置して対象バウンディングボックス２２１に重複しない過去バウンディングボックスである。図１１では、条件Ｃ１を満たさない過去バウンディングボックス２３１が重複していないと判定され、過去バウンディングボックス２３１が判定対象から除外される。

【0064】

条件Ｃ２は、「対象バウンディングボックスの点ＢのＸ座標≧過去バウンディングボックスの点ＤのＸ座標」である。条件Ｃ２を満たさない過去バウンディングボックスは、対象バウンディングボックス２２１より右側に位置して対象バウンディングボックス２２１に重複しない過去バウンディングボックスである。図１１では、判定対象として残った過去バウンディングボックス２３２～２２５のうち、条件Ｃ２を満たさない過去バウンディングボックス２３５が重複していないと判定され、過去バウンディングボックス２３５が判定対象から除外される。

【0065】

条件Ｃ３は、「対象バウンディングボックスの点ＡのＹ座標≦過去バウンディングボックスの点ＦのＹ座標」である。条件Ｃ３を満たさない過去バウンディングボックスは、対象バウンディングボックス２２１より上側に位置して対象バウンディングボックス２２１に重複しない過去バウンディングボックスである。

【0066】

条件Ｃ４は、「対象バウンディングボックスの点ＣのＹ座標≧過去バウンディングボックスの点ＤのＹ座標」である。条件Ｃ４を満たさない過去バウンディングボックスは、対象バウンディングボックス２２１より下側に位置して対象バウンディングボックス２２１に重複しない過去バウンディングボックスである。

【0067】

図１１では、判定対象として残った過去バウンディングボックス２３２～２３４の中に、条件Ｃ３，Ｃ４を満たさない過去バウンディングボックスは存在しない。このため、残った過去バウンディングボックス２３２～２３４が、対象バウンディングボックス２２１と重複すると判定される。

【0068】

以下、図９を参照して説明を続ける。
［ステップＳ２５］移動体消去部１２３は、ステップＳ２２で選択されていない過去フレームがあるかを判定する。未選択の過去フレームがある場合、処理がステップＳ２２に進められ、未判定の過去フレームのうち最も後の（最も新しい）過去フレームが選択される。一方、すべての過去フレームを選択済みの場合、処理がステップＳ２８に進められる。

【0069】

［ステップＳ２６］移動体消去部１２３は、ステップＳ２２で直近に選択された過去フレームから、対象バウンディングボックスと同じ領域内の画像を抽出する。
［ステップＳ２７］移動体消去部１２３は、ステップＳ２６で抽出された画像によって、対象バウンディングボックス内の画像を置き換える。

【0070】

［ステップＳ２８］移動体消去部１２３は、対象バウンディングボックスについて、画像補間による移動体消去処理を実行する。
［ステップＳ２９］移動体消去処理ループがバウンディングボックスの検出数の分だけ実行された場合には、処理が図１０のステップＳ３１に進められる。

【0071】

図１２は、画像補間による移動体消去処理の例を示すフローチャートである。図１２の処理は、図９のステップＳ２８の処理に対応する。
［ステップＳ４１］移動体消去部１２３は、現フレームから検出された対象バウンディングボックス内の画像に対して、輪郭検出処理を実行する。この処理により、輪郭線で囲まれた閉領域が１つ以上検出される。

【0072】

［ステップＳ４２］移動体消去部１２３は、ステップＳ４１の処理により２以上の閉領域が検出されたかを判定する。２以上の閉領域が検出された場合、処理がステップＳ４３に進められる。一方、閉領域が１つだけ検出された場合、検出された閉領域が移動体の領域として特定され、処理がステップＳ４５に進められる。

【0073】

［ステップＳ４３］移動体消去部１２３は、検出された各閉領域の面積を計算する。
［ステップＳ４４］移動体消去部１２３は、検出された閉領域のうち、算出された面積が最大の閉領域を、移動体の領域として特定する。

【0074】

［ステップＳ４５］移動体消去部１２３は、画像補間処理によって移動体を消去する。具体的には、移動体消去部１２３は、現フレームの画素のうち、移動体の領域として特定された閉領域の周囲の画素を用いて、補間演算により閉領域内の各画素の画素値を算出する。移動体消去部１２３は、算出された各画素の画素値によって、閉領域内の各画素の画素値を置き換える。

【0075】

以上の図１２の処理により、移動体消去部１２３は、移動体と近接する位置に異常物体が存在する場合でも、移動体の領域だけを異常物体の領域とは区別して特定できる。このため、移動体消去部１２３は、移動体と近接する異常物体を残したまま、移動体を消去することができる。

【0076】

ところで、図９に示した移動体消去処理ループでは、対象バウンディングボックスと重複する領域からバウンディングボックスが検出されていない過去フレームが存在する場合には、その過去フレームにおける対象バウンディングボックスと同じ領域内の画像によって、対象バウンディングボックス内の画像が置き換えられる（ステップＳ２７）。一方、上記のような過去フレームが存在しない場合には、現フレームの画像データだけを用いて、画像補間による移動体消去処理が行われる（ステップＳ２８）。

【0077】

ステップＳ２８の移動体消去処理は、補間演算によって生成された画像によって移動体の領域の画像が置き換えられる。置き換え後の画像は、補間演算によって生成されたものであるので、実空間において移動体を除去した場合にカメラ５０に写る実際の背景画像と、完全には一致しない。置き換え後の画像と実際の背景画像との差が大きい場合には、移動体消去後の消去済みフレームを用いた異常物体の検出精度が悪化する可能性がある。

【0078】

一方、ステップＳ２７の移動体消去処理は、対象バウンディングボックスにおける置き換え後の画像が、移動体を除去した場合の実際の背景画像と一致する可能性が高い。このため、移動体消去後の消去済みフレームを用いた異常物体の検出精度は比較的高いと考えられる。

【0079】

このような事情から、上記の移動体消去処理ループでは、対象バウンディングボックスと重複する領域からバウンディングボックスが検出されていない過去フレームが存在しない場合にのみ、画像補間による移動体消去処理が実行されるようになっている。これにより、移動体消去後の消去済みフレームを用いた異常物体の検出精度低下を抑制することができる。

【0080】

以下、図１０を参照して説明を続ける。
［ステップＳ３１］移動体消去部１２３は、ステップＳ２７またはステップＳ２８の処理によって現フレームから移動体が消去された消去済みフレームを、消去済み画像記憶部１１３に格納する。

【0081】

［ステップＳ３２］異常物体検出部１２４は、過去の画像フレームに対応する消去済みフレーム（過去の消去済みフレーム）を消去済み画像記憶部１１３から取得する。過去の消去済みフレームとしては、例えば、撮像時刻が現フレームより所定時間前の画像フレーム（例えば、１秒前の画像フレーム）に対応する消去済みフレームが取得される。異常物体検出部１２４は、現在の消去済みフレーム（ステップＳ３１で格納された消去済みフレーム）と、取得された過去の消去済みフレームとの間で、同じ画素での画素値の差分を計算する。

【0082】

［ステップＳ３３］異常物体検出部１２４は、ステップＳ３２の計算で差分があったかを判定する。差分があった場合、処理がステップＳ３４に進められ、差分がなかった場合、処理がステップＳ３５に進められる。

【0083】

［ステップＳ３４］異常物体検出部１２４は、異常物体が検出されたことを示すアラート情報を出力する。例えば、異常物体検出部１２４は、ステップＳ３２で差分が発生した位置を示す位置情報を、異常物体が検出された画像フレームを示す識別番号とともにアラート情報として画像処理装置１００の記憶装置に記録する。また、異常物体検出部１２４は、例えば、カメラ５０から取得した動画像を表示装置に表示させながら、異常物体が検出された位置を矩形領域などによって示して動画像に重畳表示させてもよい。

【0084】

［ステップＳ３５］異常物体検出部１２４は、異常物体の検出処理を終了するかを判定する。例えば、検出処理の終了操作がユーザによって行われた場合に、検出処理を終了すると判定される。検出処理を続行すると判定された場合、処理が図８のステップＳ１１に進められ、検出処理を終了すると判定された場合、図８～図１０の処理が終了する。

【0085】

前述のように、図１２に示した移動体消去処理により、移動体と近接する位置に異常物体が存在する場合でも、移動体の領域だけを異常物体の領域とは区別して特定できる。このため、移動体と近接する異常物体を残したまま、元の画像フレームから移動体を正確に消去することができる。そして、このようにして生成された消去済みフレームを用いて異常物体を検出することで、移動体と近接する位置に異常物体が存在する場合でも、異常物体を精度よく検出できる。

【0086】

図１３は、消去済みフレームを用いた異常物体検出処理の例を示す図である。図１０のステップＳ３２において、異常物体検出部１２４は、例えば、現在の消去済みフレーム２４１と、過去の（図１３では１秒前の）消去済みフレーム２４２のそれぞれについて、輪郭検出を行う。図１３では、現在の消去済みフレーム２４１から輪郭検出によって生成された輪郭画像２４１ａと、１秒前の消去済みフレーム２４２から輪郭検出によって生成された輪郭画像２４２ａを示している。輪郭画像２４１ａ，２４２ａは、元の画像の各画素のうち、輪郭の位置の画素の画素値を１とし、輪郭でない位置の画素の画素値を０としたものである。

【0087】

異常物体検出部１２４は、このようにして生成された輪郭画像２４１ａ，２４２ａの間で、同じ画素での画素値の差分を計算する。輪郭画像２４１ａ，２４２ａの間で画素値が異なる画素が、異常物体の領域の画素として検出される。図１３では例として、検出された異常物体の領域を含む矩形領域２４４を、現在の消去済みフレーム２４１に重畳して表示した画像２４３を示している。

【0088】

なお、図１０や図１３の処理では、現在の消去済みフレームと過去の消去済みフレームとの差分を基に異常物体が自動的に検出される。しかし、他の例として、異常物体検出部１２４は、このような異常物体の自動検出を行わずに、消去済み画像記憶部１１３に格納された消去済みフレームを含む動画像を出力して、表示装置に表示させてもよい。この場合、ユーザは、表示された動画像を視認することで異常物体を認識することができる。

【0089】

また、第２の実施の形態における移動体および異常物体としては、次のようなものを適用可能である。例えば、高速道路における異常物体検知に利用される場合、移動体としては、自動車やバイクなどの車両が検出され、異常物体としては、車両から落下した落下物、道路外から飛翔した物体、車両から降りた人、道路外から侵入した人などが検出される。また、車道や歩道における落下物検知に利用される場合、移動体としては、車両や人が検出され、異常物体としては、車両や人から落下した落下物が検出される。さらに、車道や公園などにおける散乱ごみや不法投棄の検知に利用される場合、移動体としては人が検出され、異常物体としては、散乱ごみや不法投棄された物体が検出される。

【0090】

また、上記の各実施の形態に示した画像処理装置１，１００の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。

【0091】

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

【0092】

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

【符号の説明】

【0093】

１ 画像処理装置
２ 処理部
１０ 撮像画像
１０ａ，１０ｂ 画像
１１ 検出領域
２１ 対象物
２１ａ，２２ａ 閉領域
２１ｂ 領域
２２ 物体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】