知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-09
(45)【発行日】2022-08-18
(54)【発明の名称】オブジェクト抽出装置、方法およびプログラム
(51)【国際特許分類】
G06T 7/254 20170101AFI20220810BHJP
【ＦＩ】
G06T7/254 B
【請求項の数】
15
(21)【出願番号】P 2019149690
(22)【出願日】2019-08-19
(65)【公開番号】P2021033407
(43)【公開日】2021-03-01
【審査請求日】2021-07-06
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】渡邊 良亮
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開２００６－２６８３４５（ＪＰ，Ａ）
【文献】特開２０１２－２５７１７３（ＪＰ，Ａ）
【文献】特開２０１１－０５３９１５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２５４
(57)【特許請求の範囲】
【請求項1】
映像の各フレームから、過去フレームを統計的に処理した背景モデルを背景とする背景差分計算によりオブジェクトを抽出するオブジェクト抽出装置において、各フレームからオブジェクト領域を検出する手段と、
フレーム間でのオブジェクト領域の変位情報を取得する手段と、
前フレームに用いた背景差分閾値を前記変位情報に基づいて現フレームの対応する画素領域に移動して現フレームに用いる背景差分閾値を決定する手段と、
前記背景モデルと現フレームとの差分を前記更新した背景差分閾値と比較する背景差分計算により現フレームの各画素を背景および前景のいずれかに識別する手段と、
現フレームに基づいて前記背景モデルを更新する手段とを具備したことを特徴とするオブジェクト抽出装置。
【請求項2】
前記背景モデルを更新する手段が背景モデルに現フレームを所定の更新率で反映させて更新する際の当該更新率を前記変位情報に基づいて決定する更新率決定手段を更に具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。
【請求項3】
前記更新率決定手段は、前記変位情報に基づいて、変位速度が大きい画素ほど更新率を高く調整することを特徴とする請求項２に記載のオブジェクト抽出装置。
【請求項4】
前記更新率決定手段は、現フレームに対するオブジェクト検出の結果に基づいて、オブジェクトが検出された画素の更新率を低く調整することを特徴とする請求項２または３に記載のオブジェクト抽出装置。
【請求項5】
前記背景モデルを更新する手段は、前記識別する手段による識別の結果に基づいて、前景に識別された画素は背景に識別された画素よりも低い更新率で更新することを特徴とする請求項２ないし４のいずれかに記載のオブジェクト抽出装置。
【請求項6】
前記背景差分閾値を決定する手段は、前記変位情報に基づいて決定した背景差分閾値を、現フレームに対するオブジェクト検出の結果に基づいて、オブジェクトが検出された画素について低く調整することを特徴とする請求項１ないし５のいずれかに記載のオブジェクト抽出装置。
【請求項7】
前記変位情報に基づいて背景差分閾値が移動された移動元の各画素の更新率を初期化する手段をさらに具備したことを特徴とする請求項２ないし５のいずれかに記載のオブジェクト抽出装置。
【請求項8】
前記変位情報に基づいて背景差分閾値が移動された移動元の各画素の背景差分閾値を初期化する手段をさらに具備したことを特徴とする請求項１ないし７のいずれかに記載のオブジェクト抽出装置。
【請求項9】
コンピュータが映像の各フレームから、過去フレームを統計的に処理した背景モデルを背景とする背景差分計算によりオブジェクトを抽出するオブジェクト抽出方法において、各フレームからオブジェクト領域を検出し、
フレーム間でのオブジェクト領域の変位情報を取得し、
前フレームに用いた背景差分閾値を前記変位情報に基づいて現フレームの対応する画素領域に移動して現フレームに用いる背景差分閾値を決定し、
前記背景モデルと現フレームとの差分を前記更新した背景差分閾値と比較する背景差分計算により現フレームの各画素を背景および前景のいずれかに識別し、
現フレームに基づいて前記背景モデルを更新することを特徴とするオブジェクト抽出方法。
【請求項10】
背景モデルに現フレームを所定の更新率で反映させて更新する際の当該更新率を前記変位情報に基づいて決定することを特徴とする請求項９に記載のオブジェクト抽出方法。
【請求項11】
前記変位情報に基づいて、変位速度が大きい画素ほど更新率を高く調整することを特徴とする請求項１０に記載のオブジェクト抽出方法。
【請求項12】
現フレームに対するオブジェクト検出の結果に基づいて、オブジェクトが検出された画素の更新率を低く調整することを特徴とする請求項１０または１１に記載のオブジェクト抽出方法。
【請求項13】
前記識別の結果に基づいて、前景に識別された画素は背景に識別された画素よりも低い更新率で更新することを特徴とする請求項１０ないし１２のいずれかに記載のオブジェクト抽出方法。
【請求項14】
前記変位情報に基づいて決定した背景差分閾値を、現フレームに対するオブジェクト検出の結果に基づいて、オブジェクトが検出された画素について低く調整することを特徴とする請求項９ないし１３のいずれかに記載のオブジェクト抽出方法。
【請求項15】
請求項９ないし１４のいずれかに記載のオブジェクト抽出方法をコンピュータに実行させるオブジェクト抽出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オブジェクト抽出装置、方法およびプログラムに係り、特に、映像の各フレームから、過去フレームを統計的に処理した背景モデルを背景とする背景差分計算によりオブジェクトを抽出するオブジェクト抽出装置、方法およびプログラムに関する。
【背景技術】
【0002】
主に画像中からの移動物体の検出や、非特許文献１に示されるような自由視点映像の制作などを目的として、前景領域と背景領域とを分離する手法が数多く提案されている。その中で、事前に撮影した前景の存在しない背景画像などをベースに背景の特徴をモデル化し、背景モデルと入力画像との差分が大きい領域を前景として抽出するアプローチは背景差分法と呼ばれる。
【0003】
背景差分法の例として、非特許文献２には、複数のガウス分布を混合させた混合ガウス分布を用いて背景をモデル化する手法が開示されている。非特許文献２は、混合ガウス分布によってモデル化された背景に対し、一定の差分以上の画素を前景として抽出することで前景と背景との分離を実現する。
【0004】
非特許文献２で使用される背景モデルは、フレームを経るごとに徐々に更新される機構を備えている。これにより、背景部分に変化が生じた場合にも、徐々に背景の特徴を学習することで、その状況に応じた背景モデルを保持することが可能になる。
【0005】
非特許文献３では、背景差分を実施する際に設定する前景抽出のための閾値を、人物の追跡によって得られる人物位置に応じて画素ごとに適応的に変化させることで、背景差分の精度を高める手法が開示されている。非特許文献３では、このような人物の認識や追跡情報に基づくパラメータ変更により、非特許文献２が開示する背景差分を用いた技術の精度をさらに向上させることが期待できる。
【0006】
特許文献１は、物体認識の結果に基づいて、背景差分法を実施する際の閾値および更新率の双方を画素ごとに動的に変更することで、高精度な前景抽出を実現する発明に関するものである。
【0007】
特許文献１では、前景として抽出したい物体が存在する可能性が高い領域の背景差分閾値を、物体認識の結果に基づいて低くすることで、抽出対象物体が前景として抽出されやすくできる。加えて、物体認識の結果に基づいて、物体が存在する画素の背景モデルの更新率を低くすることで、静止している物体に欠けが生じることを防止できる。
【先行技術文献】
【特許文献】
【0008】
【文献】特願2019-009705号
【非特許文献】
【0009】
【文献】H. Sankoh, S. Naito, K. Nonaka, H. Sabirin, J. Chen, "Robust Billboard-based, Free-viewpoint Video Synthesis Algorithm to Overcome Occlusions under Challenging Outdoor Sport Scenes", Proceedings of the 26th ACM international conference on Multimedia, pp. 1724-1732(2018)
【文献】C. Stauffer and W. E. L. Grimson, "Adaptive background mixture models for real-time tracking," 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 246-252 Vol. 2 (1999).
【文献】寺林賢司，梅田和昇，モロアレッサンドロ，"人物追跡情報を用いた背景差分のリアルタイム適応閾値処理" ,電気学会一般産業研究会資料, GID-09-17, pp.89-90(2009).
【文献】Gunnar Farneback, "Two-frame motion estimation based on polynomial expansion." In Proceedings of the 13th Scandinavian conference on Image analysis (SCIA'03), pp.363-370, 2003.
【文献】J. F. Henriques, R. Caseiro, P. Martins and J. Batista, "High-Speed Tracking with Kernelized Correlation Filters," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 37, no. 3, pp. 583-596, 2015.
【文献】K. He, G. Gkioxari, P. Dollar and R. Girshick, "Mask R-CNN," 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2980-2988 (2017).
【文献】J. Redmon and A. Farhadi,"YOLO9000: Better, Faster, Stronger," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 6517-6525 (2017).
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の発明者等は、非特許文献２，３及び特許文献１に開示されているような背景差分法ベースの手法で抽出したシルエットを用い、非特許文献１に代表されるような自由視点映像の制作を行って考察を行った。
【0011】
その結果、非特許文献１に開示されている自由視点映像技術の制作工程では、背景差分法を用いてシルエット画像を作成し、その後、各シルエット画像をベースに３次元空間上の積集合を計算することで視体積を生成し、対象物体の３Ｄモデル化を行うが、このときのシルエット抽出の精度が自由視点映像の品質に大きく影響を及ぼすことを確認した。
【0012】
非特許文献２に開示されている手法は、背景を統計的にモデル化し、徐々に更新を行うことで、緩やかな背景の変化や規則的な背景部分の変化に関してロバストにシルエット抽出を行えるという強みがあった。しかしながら、背景が複雑かつ急峻に変化するようなシーンには適用が難しかった。
【0013】
背景が複雑なシーンの例としては、スポーツの試合において選手やボールの抽出を行いたい場合に、選手の背後に頻繁に切り替わりが発生する広告表示用の液晶ディスプレイが配置されているシーンや、悪天候で背景の状況が常に大きく変化し続けるようなシーンが挙げられる。
【0014】
このようなシーンでは、背景が急激に変化することに加え、その背景の変化に規則性がないことも多いことから、背景を誤って前景として抽出してしまう可能性が高くなる。これらの抽出困難なシーンにおいて抽出を行うためには、非特許文献２の手法では精度的に不十分である。
【0015】
このような技術課題を解決するために、非特許文献３や特許文献１のように、人物追跡や人物認識を行い、その結果に基づいて、背景差分法の閾値や更新率を変更する手法が提案されていた。しかしながら、非特許文献３では、追跡で得られる矩形に基づいて、その内部の閾値を小さくし、抽出されやすくする機構しか開示されていない。したがって、対象物体の抽出をしやすくはなるものの、閾値を下げた領域ではノイズなどが多く発生しやすくなるという新たな課題が生じ得る。
【0016】
一方、特許文献１では、人物認識の結果に基づいて、閾値のみならず背景モデルの更新率にも変化を加えることで精度の高い抽出を行う。この閾値および更新率の調整は、あくまで毎フレームの人物認識の結果のみに基づいて行われ、特に複数フレームに渡って人物が連続で認識されているような領域の閾値は低く設定される。
【0017】
しかしながら、長く静止していた人物が突然動き出すような状況においては、物体が長く静止していた画素位置の閾値が、しばらくの間低く設定され続けるため、本領域でノイズが現れやすくなる。加えて、今まで物体が認識されていなかった領域、すなわち閾値の高い領域に物体が移動する場合には欠けが発生しやすくなるという問題があった。このように、特許文献１は対象物体の不規則な移動に関して、ノイズや欠けが発生しやすいという課題を有していた。
【0018】
本発明の目的は、上記の技術課題を解決し、オブジェクトが不規則に移動、静止するなど、その動きが激しい場合でもロバストなオブジェクト抽出を可能にするオブジェクト抽出装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0019】
上記の目的を達成するために、本発明は、映像の各フレームから、過去フレームを統計的に処理した背景モデルを背景とする背景差分計算によりオブジェクトを抽出するオブジェクト抽出装置において、以下の構成を具備した点に特徴がある。
【0020】
(1) 各フレームからオブジェクト領域を検出する手段(102)と、フレーム間でのオブジェクト領域の変位情報を取得する手段(103)と、前フレームに用いた背景差分閾値を前記変位情報に基づいて現フレームの対応する画素領域に移動して現フレームに用いる背景差分閾値を決定する手段(104a)と、前記背景モデルと現フレームとの差分を前記更新した背景差分閾値と比較する背景差分計算により現フレームの各画素を背景および前景のいずれかに識別する手段(105)と、現フレームに基づいて前記背景モデルを更新する手段(106)とを具備した。
【0021】
(2) 背景モデルを更新する手段(106)が背景モデルに現フレームを所定の更新率で反映させて更新する際の当該更新率を前記変位情報に基づいて決定する更新率決定手段(104b)を更に具備した。
【0022】
(3) 更新率決定手段(104b)は、前記変位情報に基づいて、変位速度が大きい画素ほど更新率を高く調整するようにした。
【0023】
(4) 更新率決定手段(104b)は、現フレームに対するオブジェクト検出の結果に基づいて、オブジェクトが検出された画素の更新率を低く調整するようにした。
【0024】
(5) 背景モデルを更新する手段(106)は、前記識別する手段(105)による識別の結果に基づいて、前景に識別された画素は背景に識別された画素よりも低い更新率で更新するようにした。
【0025】
(6) 背景差分閾値を決定する手段は、前記変位情報に基づいて決定した背景差分閾値を、現フレームに対するオブジェクト検出の結果に基づいて、オブジェクトが検出された画素について低く調整するようにした。
【0026】
(7) 前記変位情報に基づいて背景差分閾値が移動された移動元の各画素の更新率を初期化する手段をさらに具備した。
【0027】
(8) 前記変位情報に基づいて背景差分閾値が移動された移動元の各画素の背景差分閾値を初期化する手段をさらに具備した。
【発明の効果】
【0028】
(1) フレーム間でのオブジェクト領域の変位情報に基づいて、前フレームに用いた背景差分閾値を現フレームの対応する画素領域に移動して現フレームに用いる背景差分閾値を決定するので、オブジェクトが不規則に移動、静止するなど、その動きが激しい場合でもロバストなオブジェクト抽出が可能になる。
【0029】
(2) 背景モデルを更新する手段が背景モデルに現フレームを所定の更新率で反映させて更新する際の当該更新率を前記変位情報に基づいて決定するので、オブジェクトの動きに応じて背景モデルを適応的に最適化できるようになる。
【0030】
(3) 更新率決定手段は、変位速度が大きい画素ほど更新率を高く調整するので、長時間静止するオブジェクトについては更新処理の繰り返しによる欠けなどが発生しにくくなる一方、高速に移動するオブジェクトには高い更新率が割り当てられるので、輪郭を綺麗に削りやすくなる。
【0031】
(4) 更新率決定手段は、オブジェクトが検出された画素の更新率を低く調整するので、静止しているオブジェクトの識別結果に欠けが生じることを防止できるようになる。
【0032】
(5) 背景モデルを更新する手段は、前景に識別された画素は背景に識別された画素よりも低い更新率で更新するので、静止しているオブジェクトの識別結果に欠けが生じることを防止できるようになる。
【0033】
(6) 背景差分閾値を決定する手段は、変位情報に基づいて決定した背景差分閾値を、オブジェクトが検出された画素について低く調整するので、オブジェクトの検出された領域が背景差分計算により前景に識別しやすくなる。
【0034】
(7) 変位情報に基づいて背景差分閾値が移動された移動元の各画素の更新率を初期化する手段を具備したので、更新率が低い値に維持され続けることを原因とするノイズの発生を防止できるようになる。
【0035】
(8) 変位情報に基づいて背景差分閾値が移動された移動元の各画素の背景差部閾値を初期化する手段を具備したので、背景差分閾値が低い値に維持され続けることを原因とするノイズの発生を防止できるようになる。
【図面の簡単な説明】
【0036】
【図1】本発明の一実施形態に係るオブジェクト抽出装置の主要部の構成を示した機能ブロック図である。
【図2】オブジェクト検出の一例を示した図である。
【図3】オブジェクト追跡の一例を示した図である。
【図4】背景差分閾値の決定方法を示した図である。
【図5】背景差分閾値の移動元の画素に、移動させた背景差分閾値が残ることでノイズが発生する例を示した図である。
【図6】背景差分閾値の移動後、移動元の背景差分閾値を初期化する例を示した図である。
【図7】背景差分計算に基づく背景/前景の識別結果の表示例を示した図である。
【図8】本発明の一実施形態の動作を示したフローチャートである。
【発明を実施するための形態】
【0037】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクト抽出装置１の主要部の構成を示した機能ブロック図である。本実施形態では、映像の各フレームから背景差分によりオブジェクトを抽出する際に、背景として過去のフレーム画像を統計的に処理した背景モデルが用いられる。
【0038】
このようなオブジェクト抽出装置１は、CPU、メモリ、インタフェースおよびこれらを接続するバス等を備えた汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。
【0039】
フレーム画像取得部１０１は、カメラ２が撮影した映像からフレーム画像Iを取得し、オブジェクト検出部１０２、背景差分計算部１０５および背景モデル更新部１０６へ提供する。このフレーム画像Iは、カメラ等で撮影した映像をハードディスクなどに保存しておき、この保存された画像を入力として処理を行ってもよい。オブジェクト検出部１０２は、図２に一例を示したように、各フレームからオブジェクトを検出し、現フレームINにおける検出結果O (x, y)をオブジェクト分布LN (x, y)として出力する。ここで、Nはフレーム番号を示し、(x, y)はフレーム内での各画素の位置を示している。オブジェクト分布LN (x, y)では、オブジェクトが検出された画素には高い値、オブジェクトが検出されない画素には低い値が、0～1の範囲でそれぞれ登録される。
【0040】
本実施形態では、検出対象のオブジェクトを様々な環境下で撮影したカメラ映像の各フレームから画像特徴量を抽出し、深層学習の結果を法則化した学習モデルを用いて各オブジェクトを検出する。
【0041】
例えば、カメラ映像が球技を撮影した映像であれば、ボールや選手がオブジェクトとして検出される。このようなオブジェクト検出には、非特許文献６に開示されるように、オブジェクトの形状まで含めて抽出できる深層学習ベースの抽出手法や、非特許文献７に開示されるように、オブジェクトの矩形領域を抽出できる手法を適用できる。あるいは、HOG (Histograms of Oriented Gradients) 特徴量などの画像特徴量に基づいて各オブジェクトを抽出しても良い。
【0042】
なお、オブジェクト検出部１０２が各オブジェクトのクラスを識別できるように構成されていれば、識別クラスの情報も含めて出力するようにしても良い。識別クラスの情報とは、オブジェクトが、例えば"人物"なのか"ボール"なのかを識別するための情報である。
【0043】
また、オブジェクト検出部１０２が検出結果の確からしさを示す尤度を算出できるように構成されていれば、この尤度をオブジェクト検出結果O (x, y)に反映させ、後述する背景差分パラメータ決定部１０４におけるパラメータ決定に利用してもよい。
【0044】
さらに、オブジェクト分布LN (x, y)は、次式(1)に示すように、前フレームIN-1のオブジェクト分布LN -1と現フレームINのオブジェクト検出結果O (x, y)とを所定の割合mで加算した重み付け和として求めても良い。これにより、１つのフレームで物体認識に誤りが生じた場合でも、その影響が他のフレームに与える影響を軽減することができる。
【0045】
【数1】
【0046】
変位情報取得部１０３は、現フレームINに対するオブジェクト検出の結果と前フレームIN-1に対するオブジェクト検出の結果とを比較し、フレーム間での各オブジェクトの変位方向および変位量を変位情報として取得する。このとき、変位情報を非特許文献４に開示されたオプティカルフローの計算により取得するのであれば、一般的にオブジェクトの事前検出が不要なので、現フレームINおよび前フレームIN-1から変位情報を取得することができる。なお、オプティカルフローを用いれば変位情報を比較的高速かつ簡易に算出できるものの確度は十分とは言えない。
【0047】
その他にも、図３に示したように、検出したオブジェクトを追跡することで変位情報を得るアプローチがある。この場合、オブジェクト検出部１０２が検出したオブジェクト領域をスタートとして、非特許文献５に開示される物体追跡技術を用いてフレーム間でオブジェクトの位置を追跡していく。このとき、フレームごとにオブジェクト検出も並行して実施し、オブジェクト検出の結果が追跡結果と重なる場合には、検出結果を新しい追跡のスタートとして繰り返し追跡を行うようなアプローチを採用してもよい。これらのアプローチに基づき、変位情報取得部１０３はフレーム間での各画素の変位方向と変位量とを取得できる。
【0048】
背景差分パラメータ決定部１０４は、背景差分閾値決定部１０４ａ、更新率決定部１０４ｂおよび初期化部１０４ｃを含み、現フレームINに背景差分計算を適用する際の閾値（背景差分閾値）や背景（背景モデル）の更新率といった背景差分パラメータを決定する。
【0049】
前記背景差分閾値決定部１０４ａは、図４に示したように、前フレームIN-1のオブジェクト領域に適用された背景差分閾値を前記変位情報に基づいて現フレームINの対応する領域の各画素に移動させることで、現フレームINに適用する背景差分閾値を決定する。たとえば、前フレームIN-1から現フレームINへの変位情報を変位ベクトル(Δx, Δy)、前フレームIN-1に適用した背景差分閾値をTN-1(x, y)で表現すれば、現フレームINに適用する変位ベースの閾値TN_MOV(x, y)は次式(2)で求められる。
【0050】
【数2】
【0051】
なお、前フレームIN-1では独立していた２つのオブジェクトの画素が現フレームINでは同じ画素に移動してくるようなケースでは、同じ画素に２箇所から閾値が移動してくることが考えられる。このようなケースでは、各閾値の平均値あるいは小さい方の値を優先的に選択するなどの手段を採って変位ベースの閾値TN_MOV(x, y)を得る。
【0052】
また、デプス推定などに基づいて、重なった複数のオブジェクトの前後関係を判定することができる場合には、前面の移動物体の閾値を優先的に反映させるような機構を具備していてもよい。このときに、前フレームIN-1からの移動先に該当しない画素に関しては、次式(3)に基づいて前フレームIN-1の対応する画素の閾値TN-1_(x, y)をそのまま採用することができる。
【0053】
【数3】
【0054】
前記背景差分閾値決定部１０４ａは更に、前記移動ベースで背景差分閾値TN_MOV(x, y)を計算した後、オブジェクト検出部１０２が出力するオブジェクト検出の結果LN (x, y)をTN_MOV(x, y)に反映させるための調整値TC (x, y)を次式(4)により計算する。Tmaxはフレーム間での閾値の変化量の最大値を示す定数であり、予め設定されている。
【0055】
【数4】
【0056】
すなわち、オブジェクト分布LN (x, y)によりオブジェクトが存在するとされた画素が前景と判定されやすくするためには、その閾値を下げることが望ましい。そこで、本実施形態ではオブジェクトが存在する画素では負の調整値TC (x, y)が得られ、オブジェクトが存在しない画素では正の調整値TC (x, y)が得られるようにしている。
【0057】
前記背景差分閾値決定部１０４ａは、変位ベースの閾値TN_MOV(x, y)および調整値TC (x, y)を次式(5)に適用することにより、現フレームINに適用する最終的な背景差分閾値TN(x, y)を求める。
【0058】
【数5】
【0059】
このように、本実施形態ではオブジェクトが存在する可能性が高い領域に低い閾値が設定され、オブジェクトの存在可能性が低い領域には高い閾値が設定されるので、オブジェクトが抽出され易くなる効果が生まれる。
【0060】
更新率決定部１０４ｂは、後述する背景モデル更新部１０６が、前フレームまで（～IN-1）の各フレームを統計的に処理してモデル化した背景モデルに現フレームINの画素情報を反映して現フレームまで（～IN）の背景モデルに更新する際の当該反映の割合（更新率UN (x, y)）を前記変位情報に基づいて画素ごとに決定する。
【0061】
本実施形態では、更新率UN (x, y)がフレーム間で大幅に変化することを避けるため、前フレームIN-1に対する背景差分計算で用いた背景モデルを更新した際の更新率UN-1(x, y)と補正値UC(x, y)とに基づいて、現フレームINに対する背景差分計算で用いる背景モデルを更新するための更新率UN (x, y)を次式(6)で求める。
【0062】
【数6】
【0063】
ただし、更新率UN (x, y)は0～1の値の範囲を持つことから、0未満になる場合には0に、1より大きくなる場合には1になるように値を修正する。補正値UC(x, y)は、現フレームINでの各画素の更新率の変化量であり、次式(7)で求められる。
【0064】
【数7】
【0065】
ここで、Umaxはフレーム間での更新率の変化量の最大値を示す定数であり、予め手動で設定される。MN (x, y)は、フレーム間での各画素の変位量すなわち変位速度の指標値であり、変位速度が大きい画素ほど大きい値が入力されるように設計され、0～1の範囲で正規化した値を採る。これにより、MN(x, y)が1のときにUC (x, y)はUmaxとなり、MN (x, y)が0のときにUC (x, y)は-Umaxとなることから、MN(x, y)に応じて更新率が最大でUmaxだけ変化することになる。
【0066】
このように、本実施形態では変位速度が大きい画素には大きい更新率が割り当てられ、変位速度が小さい画素には小さい更新率が割り当てられるため、長時間静止するオブジェクトに関し、更新処理の繰り返しによる欠けなどが発生しにくくなる。また、高速に移動するオブジェクトには高い更新率が割り当てられるので、輪郭を綺麗に削りやすくなる。
【0067】
また、追跡中に別の物体が同じ位置に重なってくるようなケースでは、MN (x, y)が2つ得られるケースも考えられるが、この場合は平均や最大となる量MN (x, y)を採用することができる。また、閾値の決定と同様に、デプス推定などに基づいて、重なる複数の物体の前後関係を判定することができる場合には、前面の移動物体のMN (x, y)を優先的に反映させるような機構を設けても良い。
【0068】
さらに、閾値と同様に上式(7)にもオブジェクト分布LN (x, y)を反映させ、物体が存在する場合には更新率が低くなるような制御を追加しても良い。物体が存在する画素の更新率を低くすることで、静止物体の欠けなどを防止できる効果が期待できる。
【0069】
なお、オブジェクト検出部１０２が各オブジェクトのクラスを識別できるのであれば、識別クラスごとに前記最大値Umax、Tmaxを設定してもよい。これにより、例えば人物の肌の色が床の色と酷似しており欠けやすく、ボールは背景とかけ離れた色をしているため欠けにくいという状況下で、人物クラスのTmax（Tmax_person）を大きく、ボールクラスのTmax（Tmax_ball）を小さく設計することで、人物クラスの方が認識されたケースの方が閾値の変動量が大きくなり、人物が存在する可能性が高いと思われる領域では、抽出がされやすくなることなどの効果が期待できる。
【0070】
さらに、前記更新率UN (x, y)および閾値TN(x, y)の決定の際に、矩形ベースの追跡方法による変位ベクトルの取得と、オプティカルフローなどから得られる画素ベースの変位ベクトルを組み合わせるアプローチを用いてもよい。
【0071】
例えば、矩形ベースの追跡を実施している際に、当該矩形の中の画素にのみ、オプティカルフローを用いた変位ベクトルの取得を実施し、矩形内部にて、画素ごとに異なる閾値や更新率を得ることが考えられる。矩形ベースの追跡では一矩形につき一つの変位ベクトルしか得ることができないが、矩形内部で画素ベースの変位ベクトルを計算し、利用することによって、画素ごとに適応的に閾値と更新率を変化させることができる。これは、例えば上式(7)で利用される、各画素のMN (x, y)を矩形のMN1 (x, y)と画素ベースのMN2 (x, y)との重み付き和などを計算することで実現される。
【0072】
このような処理を加えることで、矩形そのものは停止しているものの、矩形の内部で物体に動きがあるような場合に、適切なパラメータを設定できる可能性が高くなる。また、矩形内部だけで画素ベースの変位ベクトルの取得を行うため、画像全体で画素ベースの変位ベクトルの取得を行う場合と比べて高速に計算することが可能となる。
【0073】
さらに、オブジェクト追跡領域ではその外側近傍の領域ほど背景/前景の識別結果が変化しやすいことから、矩形ベースの追跡であれば、矩形内の中央部に比べて外側の更新率を高目に微調整するなどの処理を加えても良い。
【0074】
初期化部１０４ｃは、閾値TN-1(x, y)を変位ベクトルに基づいて移動されると、移動元の各画素(x-Δx, y-Δy)の閾値おおよび更新率を初期化する。これは、図５に一例を示したように、オブジェクトが移動していく場合に、移動元の領域でノイズが発生しやすくなることを抑止するために行われる。
【0075】
すなわち、移動元の閾値および更新率を放置すると、暫くの間、閾値は高く、更新率は低く維持されるため、このようなノイズが発生する場合がある。そこで、図６に示したように、本実施形態では移動元の閾値と更新率を初期化することで、ノイズの発生を抑制する効果が期待できる。
【0076】
背景差分計算部１０５は、各画素が単一のガウスモデルでモデル化された背景モデルを背景として用い、フレーム画像取得部１０１が取得した現フレームINの各画素を背景差分により前景および背景のいずれかに識別する。
【0077】
本実施形態では、後述する背景モデル更新部１０６から、前フレームIN-1までの背景モデルとして、画素ごとに時間軸上の平均μN-1(x, y)および標準偏差σN-1(x, y)を取得し、ガウス分布を用いた背景差分において次式(8)を満たす画素(x, y)を背景に識別する。
【0078】
ここで、IN(x, y)は現フレームINの各画素の輝度値、zは標準偏差の何倍までを背景と判断するかを調節するパラメータであり、背景差分閾値TN(x, y)が大きいほど背景と判断される可能性が高くなる。
【0079】
【数8】
【0080】
なお、背景差分の判定に使う画像の色空間はグレースケールでも良いし、RGBやYUV等の色空間でも良いが、複数の色チャネルを持つ場合は、全てのチャネルを独立に処理し、全ての色が背景の条件を満たす画素が背景に識別されるようにすることが望ましい。
【0081】
また、上式(8)では標準偏差の項と閾値の項とを分けているが、背景差分閾値TN(x, y)に応じて標準偏差項の定数値zを調節するような機能を備えていてもよい。
【0082】
加えて、背景差分計算部１０５が計算結果として出力するマスクに対して何らかの後処理を実施しても良い。後処理とは、得られたマスクに対してフィルタ処理などを施すことによってマスクを洗練化する処理の総称であり、多くの背景差分アルゴリズムの中で、背景差分計算後に取り入れられている。
【0083】
後処理の代表例としてはメディアンフィルタなどのフィルタ処理によるノイズ除去や、輪郭の膨張(dilation)と縮退(erosion)を繰り返すことで細かいノイズを除去する処理などが挙げられる。また、ユーザが指定したサイズより小さい前景領域は無条件で背景として扱うようなノイズ除去処理を実施しても良いし、前景に囲まれる背景領域のサイズが小さい場合には、前景領域として穴埋めるなどの処理を実施しても良い。
【0084】
背景モデル更新部１０６は、現フレームに対する背景差分の計算結果に基づいて、背景として用いた背景モデルを次フレームIN+１用に更新する。本実施形態では、前フレームIN-1までの各画素の平均値μN-1(x, y)および標準偏差σN-1(x, y)が、現フレームINの画素情報および前記更新率決定部１０４ｂが決定した更新率UN(x, y)に基づいて更新される。すなわち、現フレームINの各画素の輝度値IN(x, y)を反映した各画素の平均μN(x, y)は次式(9)で計算される。
【0085】
【数9】
【0086】
さらに、現フレームの各画素の輝度値IN(x, y)を反映した各画素の標準偏差σN(x, y)は、次式(10)，(11)で計算される。
【0087】
【数10】
【0088】
【数11】
【0089】
なお、更新率UN(x, y)に関しては、背景差分計算部１０５による前景/背景の計算結果に基づいて、前景と判定された画素は背景と判定された画素よりも低い更新率で更新されるようにしても良い。一般に、背景の画素に対して高い更新率を、前景の画素に対して低い更新率を設定することで、前景と判定された領域が更新で欠けることを抑止できる効果が期待される。
【0090】
また、背景モデルに関しては、実際にシルエット画像の抽出を試みる前に、事前に一定時間に渡り背景モデルを記録し、その背景モデルを利用して背景差分計算部での計算を実施するような機構を有していてもよい。
【0091】
計算結果出力部１０７は、背景差分計算部１０５による背景/前景の計算結果を映像として出力する。出力形式は、例えば図７に示したように、各フレームを背景の画素領域でマスクして得られるカラー画像形式でも良いし、あるいは背景と前景とを識別できる2値のマスク画像形式でも良い。
【0092】
図８は、本発明の一実施形態の動作を示したフローチャートであり、ステップＳ１では、フレーム画像取得部１０１によりカメラ映像から今回のフレーム画像（現フレームIN）が取得される。ステップＳ２では、オブジェクト検出部１０２により現フレームINからオブジェクト領域が検出される。ステップＳ３では、変位情報取得部１０３により、前フレームIN-1から検出したオブジェクト領域と現フレームINから検出したオブジェクト領域とに基づいてフレーム間でのオブジェクト領域の変位情報(Δx, Δy)が取得される。
【0093】
ステップＳ４では、図４を参照して詳述したように、変位情報(Δx, Δy)および前フレームIN-1に適用した背景差分閾値TN-1(x, y)に基づいて変位ベース閾値TN_MOV(x, y)が計算される。ステップＳ５では、現フレームINに対するオブジェクト検出の結果に基づいて調整値TC(x, y)が計算される。ステップＳ６では、前記変位ベース閾値TN_MOV(x, y)および調整値TC(x, y)を上式(5)に適用することで、現フレームINに対する背景差分計算で用いる背景差分閾値TN(x, y)が決定される。
【0094】
ステップＳ７では、図６を参照して詳述したように、前フレームIN-1に適用した背景差分閾値TN-1(x, y)を前記変位情報に基づいて移動した際の移動元の各画素(x-Δx, y-Δy)に設定されていた背景差分閾値および更新率が、前記初期化部１０４ｃにより初期化される。ステップＳ８では、上式(7)に基づいて更新率の補正値UC(x, y)が計算される。ステップＳ９では、補正値UC(x, y)および前フレームIN-1に適用した更新率UN-1(x, y)を上式(6)に適用することで、現フレームINに対する背景差分計算で用いる背景モデルを次フレームIN+1用に更新するための更新率UN(x, y)が決定される。
【0095】
ステップＳ１０では、前フレームIN-1までの各フレームの画素情報を統計的に処理してモデル化した背景モデル（各画素の平均値μN-1(x, y)および標準偏差σN-1(x, y)）が取得される。ステップＳ１１では、前記背景差分計算部１０５が、現フレームINの画素情報と前記取得した背景モデルとの差分を前記背景差分閾値TN(x, y)と比較する背景差分計算を実行することで現フレームINの各画素が背景および前景のいずれかに識別される。
【0096】
ステップＳ１２では、前記ステップＳ９で決定した更新率UN(x, y)が、現フレームINに対する背景差分計算の結果に基づいて、前景と判定された画素は背景と判定された画素よりも低い更新率で更新されるように補正される。ステップＳ１３では、前フレームIN-1に対する背景差分計算で用いた背景モデル（平均値μN-1(x, y)，標準偏差σN-1(x, y)）、現フレームINの画素情報IN(x, y)および更新率UN(x, y)を上式(9)，(10)に適用することで背景モデルが次フレームIN+1用に更新される。
【0097】
ステップＳ１４では、映像が終了したか否かが判断される。終了していなければステップＳ１へ戻り、次フレームIN+1に対して上記の各処理が繰り返される。
【符号の説明】
【0098】
１...オブジェクト抽出装置，２...カメラ，１０１...フレーム画像取得部，１０２...オブジェクト検出部，１０３...変位情報取得部，１０４...背景差分パラメータ決定部，１０４ａ...背景差分閾値決定部，１０４ｂ...更新率決定部，１０４ｃ...初期化部，１０５...背景差分計算部，１０６...背景モデル更新部，１０７...計算結果出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
