知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024042703
(43)【公開日】2024-03-28
(54)【発明の名称】画像処理システム、画像処理方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240321BHJP
G06T 7/194 20170101ALI20240321BHJP
G06T 7/11 20170101ALI20240321BHJP
H04N 7/18 20060101ALI20240321BHJP
【ＦＩ】
G06T7/00 650B
G06T7/00 350B
G06T7/194
G06T7/11
H04N7/18 D
H04N7/18 K
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023217630
(22)【出願日】2023-12-25
(62)【分割の表示】P 2022091955の分割
【原出願日】2015-06-02
(31)【優先権主張番号】P 2014115205
(32)【優先日】2014-06-03
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】宮野 博義
(57)【要約】 （修正有）
【課題】好適に移動体を検出するための画像処理システム、画像処理方法及びプログラムを提供する。
【解決手段】画像処理システムは、映像を構成する複数の画像フレーム２０のうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であることを示す入力として、前記画像フレームに対して、移動体の映る画素を含む移動体領域に第１の図形のアイコン２５を配置し、背景領域には第２の図形のアイコン２３を配置する操作によって、前記入力を受け、前記入力に基づき、移動体を検出するためのパラメータを学習する学習手段に、前記入力された情報を出力する。
【選択図】図２
【解決手段】画像処理システムは、映像を構成する複数の画像フレーム２０のうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であることを示す入力として、前記画像フレームに対して、移動体の映る画素を含む移動体領域に第１の図形のアイコン２５を配置し、背景領域には第２の図形のアイコン２３を配置する操作によって、前記入力を受け、前記入力に基づき、移動体を検出するためのパラメータを学習する学習手段に、前記入力された情報を出力する。
【選択図】図２
【特許請求の範囲】
【請求項1】
映像を構成する複数の画像フレームそれぞれにおいて、車両が映る画素を示す予め定められた形状である第１アイコンと、前記車両が映らない画素を示す予め定められた形状である第２アイコンとの配置の入力を受け付ける入力部と、
前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する生成部と、
を備える
画像処理システム。
前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する生成部と、
を備える
画像処理システム。
【請求項2】
前記入力部は、前記画像フレームに対して、前記車両の映る画素を含む移動体領域を指定し、当該指定した位置に対応する位置に前記第１アイコンを配置する操作の入力を受け付ける、
請求項１記載の画像処理システム。
請求項１記載の画像処理システム。
【請求項3】
前記第１アイコンと前記第２アイコンは異なる
請求項２記載の画像処理システム。
請求項２記載の画像処理システム。
【請求項4】
前記入力部は、
前記映像を構成する複数の画像フレームに対する入力であって、前記複数の画像フレームのそれぞれのうち、選択された任意の１以上の画素に対し、前記車両の映る画素であることを示す入力であるか背景の画素であるかの入力を受ける、
請求項３記載の画像処理システム。
前記映像を構成する複数の画像フレームに対する入力であって、前記複数の画像フレームのそれぞれのうち、選択された任意の１以上の画素に対し、前記車両の映る画素であることを示す入力であるか背景の画素であるかの入力を受ける、
請求項３記載の画像処理システム。
【請求項5】
前記入力部は、
前記画像フレームのうち、選択された任意の１以上の画素に対し、前記車両の映る画素であることを示す入力を複数受け、
前記画像フレームに対して、前記車両の映る画素を含む移動体領域に複数の前記第１アイコンを配置する操作によって、前記入力を受ける
請求項１記載の画像処理システム。
前記画像フレームのうち、選択された任意の１以上の画素に対し、前記車両の映る画素であることを示す入力を複数受け、
前記画像フレームに対して、前記車両の映る画素を含む移動体領域に複数の前記第１アイコンを配置する操作によって、前記入力を受ける
請求項１記載の画像処理システム。
【請求項6】
前記複数の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記複数の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記複数の画像フレームの影響が小さい第３の背景モデルとの間で、それぞれ差異を算出する算出手段と、
前記入力に基づき、前記第１の背景モデル、前記第２の背景モデル、及び前記第３の背景モデルを用いて前記車両を検出するためのパラメータを学習する学習手段とを備えた
請求項１に記載の画像処理システム。
前記入力に基づき、前記第１の背景モデル、前記第２の背景モデル、及び前記第３の背景モデルを用いて前記車両を検出するためのパラメータを学習する学習手段とを備えた
請求項１に記載の画像処理システム。
【請求項7】
コンピュータが、
映像を構成する複数の画像フレームそれぞれにおいて、車両が映る画素を示す予め定められた形状である第１アイコンと、前記車両が映らない画素を示す予め定められた形状である第２アイコンとの配置の入力を受け付け、
前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する、
画像処理方法。
映像を構成する複数の画像フレームそれぞれにおいて、車両が映る画素を示す予め定められた形状である第１アイコンと、前記車両が映らない画素を示す予め定められた形状である第２アイコンとの配置の入力を受け付け、
前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する、
画像処理方法。
【請求項8】
コンピュータに、
映像を構成する複数の画像フレームそれぞれにおいて、車両が映る画素を示す予め定められた形状である第１アイコンと、前記車両が映らない画素を示す予め定められた形状である第２アイコンとの配置の入力を受け付ける処理と、
前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する処理と
を実行させるプログラム。
映像を構成する複数の画像フレームそれぞれにおいて、車両が映る画素を示す予め定められた形状である第１アイコンと、前記車両が映らない画素を示す予め定められた形状である第２アイコンとの配置の入力を受け付ける処理と、
前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明に係るいくつかの態様は、画像処理システム、画像処理方法及びプログラム記憶媒体に関する。
【背景技術】
【0002】
近年、ビデオ監視などの用途において、人や車等の移動体を検出し追跡することに対するニーズが高まっている。このようなニーズの高まりにあわせて、移動体を検出し、検出した移動体を追跡する手法が数多く提案されている。ここで移動体は、画像に映る物体のうち、常に移動をつづける物体のみに限られるものではなく、一時的に停止（静止／滞留ともいう。）する場合をも含む。換言すれば、移動体は、画像中の背景とみなされる部分以外に映る物体全般を指す。例えば、ビデオ監視での監視対象として一般的である人や車は、常に動いているわけではなく、一時的に停止したり駐車したりといった静止状態が発生する。そのため、一時的に停止する場合でも検出できるようにすることが、ビデオ監視などの用途において重要である。
【0003】
移動体を検出する手法の１つとして、背景差分法が知られている（例えば、非特許文献１及び非特許文献２参照）。背景差分法は、背景として記憶している画像と、カメラで撮影された画像とを比較して、違いのある領域を移動体として抽出する手法である。ここで、背景差分を用いて移動体を検出する場合、解析を行う時点における正確な背景抽出が必要となる。単純に観測開始時のデータを固定的に背景として利用する場合には、照明の変化など環境が変化していくことに伴う背景変化の影響を受けて誤検出が多く発生してしまうからである。そこで、このような課題を回避すべく、最新の一定時間内の観測画像から例えば各画素について平均値を算出する等の手法により、解析を行う時点での背景を推定することが多い。例えば非特許文献１には、背景の更新を逐次行いながら背景差分法を適用する方法が開示されている。
【0004】
一方、置き去りにされた物体や一定時間滞留する人物のような一時的な静止する物体に限定して抽出する技術も存在する（例えば、特許文献１参照）。特許文献１には、シーン中の動きを複数の異なる時間幅の背景モデルで解析する手法が開示されている。当該手法では、長時間のレンジで解析された長期背景モデルと、短時間のレンジで解析された短期背景モデルを作成する。そして、短期背景モデルに基づく背景差分で移動体が検知されず、長期背景モデルに基づく背景差分で移動体が検知される状態が所定回数継続すれば、一時的な静止物が存在するものとして、当該静止物が移動体として検出される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第５０５８０１０号公報
【非特許文献】
【0006】
【非特許文献1】川端敦、谷藤真也、諸岡泰男。「移動体像の抽出技術」、情報処理学会、vol.28、no.4、pp.395-402、1987
【非特許文献2】C. Stauffer and W. E. L. Grimson， “Adaptive background mixture models for real-time tracking”， Proceedings of CVPR， vol.2， pp． 246-252， 1999
【発明の概要】
【発明が解決しようとする課題】
【0007】
ここで、非特許文献１のように、逐次背景画像を更新していきながら解析対象の画像と背景画像との差分（「背景差分」ともいう。）を行う手法において、人や車等の移動体が背景画像を解析する時間幅よりも長時間滞在する場合を考える。この場合、当該移動体は背景画像の一部と判定されてしまうため、検知できないという課題がある。一方で、一時的な静止物を検出するために解析する時間幅を長くすると、照明変動のような外部ノイズによる背景変化の影響を受けやすくなるため、静止物以外の背景画像の一時的な変化を多く誤検出する課題が生じる。
【0008】
また、特許文献１は一時的な静止物を検出することを意図したものであるが、長期背景モデルに基づく背景差分が観測画像取得時の真の背景を表現できることを前提としている。そのため、照明変動のような時々刻々と背景が変化する環境では、長期背景モデルが観測画像取得時の真の背景との違いが大きくなるため、誤検出を十分に抑止するのは困難であった。
【0009】
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、好適に移動体を検出するための画像処理システム、画像処理方法及びプログラム記憶媒体を提供することを目的の１つとする。
【課題を解決するための手段】
【0010】
本発明に係る１の画像処理システムは、映像を構成する複数の画像フレームそれぞれにおいて、車両が映る画素を示す予め定められた形状である第１アイコンと、前記車両が映らない画素を示す予め定められた形状である第２アイコンとの配置の入力を受け付ける入力部と、前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する生成部と、を備えている。
【0011】
本発明に係る１の画像処理方法では、コンピュータが、映像を構成する複数の画像フレームそれぞれにおいて、車両が映る画素を示す予め定められた形状である第１アイコンと、前記車両が映らない画素を示す予め定められた形状である第２アイコンとの配置の入力を受け付け、前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する。
【0012】
本発明に係る１のプログラムは、コンピュータに、映像を構成する複数の画像フレームそれぞれにおいて、車両が映る画素を示す予め定められた形状である第１アイコンと、前記車両が映らない画素を示す予め定められた形状である第２アイコンとの配置の入力を受け付ける処理と、前記複数の画像フレーム上に存在する複数の前記第１アイコンおよび複数の前記第２アイコンの配置に基づき、前記車両を検出する検出器が学習可能であって前記車両を示す学習データを生成する処理とを実行させる。
【0013】
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
【発明の効果】
【0014】
本発明によれば、好適に移動体を検出するための画像処理システム、画像処理方法及びプログラム記憶媒体を提供することができる。
【図面の簡単な説明】
【0015】
【図1】背景モデルと入力画像フレームとの関係を説明するための図である。
【図2】表示画面の具体例を説明するための図である。
【図3】本実施形態に係る移動体検出手法を説明するための図である。
【図4】第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
【図5】第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
【図9】第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
【図10】第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
【発明を実施するための形態】
【0016】
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
【0017】
【0018】
本実施形態は、カメラ等の撮影装置により撮影された映像中から、人物や車などの、移動や一時的な滞留を繰り返す移動体を検出するための画像処理システムに関する。特に、本実施形態に係る画像処理システムでは、照明変動のような時々刻々と環境が変化する場合であっても、人や車などの移動体を好適に検出する。
【0019】
そのために本実施形態に係る画像処理システムは、図１に示すように、映像から切りだされた各時刻の画像フレームを元にそれぞれ作成される３つの背景モデルを生成し、これらの背景モデルを用いて移動体の検出を行う。これらの３つの背景モデルは、それぞれ背景モデルの元となる複数の画像フレームが撮影される時刻の時間幅（解析対象の時間幅）が異なる。以下、これらの３つの背景モデルを、長期背景モデル、中期背景モデル、及び短期背景モデルと呼ぶ。
【0020】
ここで、本実施形態に係る画像処理システムでは、短期背景モデル、中期背景モデル、及び長期背景モデルに対して非線形関数を適用することにより、移動体の写る領域（移動体領域）と移動体の存在しない背景領域とを判定する。より具体的には、本実施形態に係る画像処理システムは、非線形関数として、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ。畳み込みニューラルネットワークとも呼ぶ。）を用いて、移動体領域の判別を行う。当該手法は、（１）移動体を判別するための移動体検出モデル（パラメータ）を学習（教師付き学習）するフェーズと、（２）生成した移動体検出モデルを用いて移動体を検出するフェーズ、の大きく２つに分かれる。
【0021】
まず、移動体検出モデルを生成するための正解データの生成手法について説明する。画像処理システムは、正解データとして、入力された各撮影時刻の画像フレームに対して、移動体領域の画素と背景領域の画素との指定をユーザから受ける。図２に、移動体領域の画素と背景領域の画素との指定を受けるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面の画面例を示す。
【0022】
図２の例では、画像フレーム２０上に、カーソル２１が表示されている。ユーザはマウス等のポインティングデバイスによりカーソル２１を操作して、背景領域にはアイコン２３を配置し、人物が写る移動体領域にはアイコン２５を配置する。なお、ユーザは、画像フレーム２０の全画素について移動体領域であるか背景領域であるかを指定する必要はない。画像処理システムは、このように移動体領域か背景領域かの指定を受けた画素を用いてＣＮＮの移動体検出モデルを生成する。
【0023】
図３に、本実施形態に係る画像処理システムが利用可能なＣＮＮの具体例を示す。図３に示した例では、まず、移動体か否かを判別したい画素位置に対し、当該画素位置を中心とする５画素×５画素の画像を、短期背景モデルと中期背景モデルとの差分画像、短期背景モデルと長期背景モデルとの差分画像、及び中期背景モデルと長期背景モデルとの差分画像のそれぞれから抽出する。
【0024】
その上で、８種類の３×３×３フィルタを用いて、８種類の畳み込み処理を行うことにより、３画素×３画素の画像を８枚生成する。さらに、それぞれの画像内の画素値ｘに対して、以下の数式ｆ（ｘ）を適用することにより、非線形変換を行う。
【0025】
【数1】
【0026】
ここで、ａは８種類のフィルタで得られる画像の画素毎に定められるパラメータであり、教師付き学習により決定される。生成された３画素×３画素×８枚の画像は、ニューラルネットワークのノードに相当する。
【0027】
同様に、これらの３画素×３画素×８枚の画像に対して、１５種類の３×３×８フィルタを用いて、１５種類の畳み込み処理を行うことにより、１画素×１画素の画像を１５枚生成する。その上で、それぞれの画像内の画素値ｘに対して、上記ｆ（ｘ）を適用する。
ｆ（ｘ）に含まれるパラメータａは、上記の場合と同様に、１５種類のフィルタで得られる画像の画素毎に定められるパラメータであり、上記教師付き学習により決定される。生成された１画素×１画素×１５枚の画像は、ニューラルネットワークのノードに相当する。
ｆ（ｘ）に含まれるパラメータａは、上記の場合と同様に、１５種類のフィルタで得られる画像の画素毎に定められるパラメータであり、上記教師付き学習により決定される。生成された１画素×１画素×１５枚の画像は、ニューラルネットワークのノードに相当する。
【0028】
最後に、これらの１画素×１画素×１５枚の画像に対して、１種類の１×１×１５フィルタを用いて畳み込み処理を行い、１つの値を計算する。その上で、当該１つの値に対して上記ｆ（ｘ）を適用する。ｆ（ｘ）に含まれるパラメータａは、上記の場合と同様に、当該１つのフィルタで得られる値に対して定められるパラメータであり、上記教師付き学習により決定される。
【0029】
このような処理により得られる値を、ここでは移動体らしさｖとする。移動体であるか否かの判定は、ｖに対して予め定めた閾値Ｔとの比較によりおこなわれる。ｖ≧Ｔであれば、処理対象の画素位置は移動体であると判別され、ｖ＜Ｔであれば背景領域と判別される。閾値Ｔの値は予め定められるパラメータである。
【0030】
上述の通り、パラメータａやＴ等のＣＮＮに利用するパラメータは、教師付き学習によって推定され、後述の移動体検出パラメータ辞書に格納される。パラメータの学習を行うことで、例えば風による木の揺れ等、動きを検出しやすい時間幅の背景モデルをあまり利用せずに、人や車などの特定の移動体の動きを正しく検出しやすい時間幅の背景モデルを利用するといった、特定の移動体を検出しやすい移動体検出モデルを構築することが可能である。
【0031】
よって、本実施形態に係る画像処理システムは、照明変動や風等の外部ノイズによる背景変化の影響をうける環境下であっても、人や車などの移動体を、安定的に移動物体を検出できる。
【0032】
なお、図３の移動体検出モデルの例では、３枚の背景モデルの差分画像から、８枚及び１５枚の中間画像を生成し、最終的な移動体らしさｖを算出しているが、これに限られるものではない。例えば、入力となる背景モデルの差分画像は４以上であっても良いし、中間画像の枚数の数ももっと多く、若しくは少なくすることも可能である。
【0033】
（１．２ システム構成）
以下、図４及び図５を用いて、本実施形態に係る画像処理システムのシステム構成を説明する。図４は移動体検出のための移動体検出モデル（パラメータ）の生成に係る学習を行う画像処理システム１００のシステム構成を示す。また図５は生成された移動体検出モデルを用いて移動体を検出する画像処理システム２００のシステム構成を示す。なお、図４及び図５に係る画像処理システム１００及び２００は、同一の装置上で実現してもよいし、異なる装置上で実現しても良い。
以下、図４及び図５を用いて、本実施形態に係る画像処理システムのシステム構成を説明する。図４は移動体検出のための移動体検出モデル（パラメータ）の生成に係る学習を行う画像処理システム１００のシステム構成を示す。また図５は生成された移動体検出モデルを用いて移動体を検出する画像処理システム２００のシステム構成を示す。なお、図４及び図５に係る画像処理システム１００及び２００は、同一の装置上で実現してもよいし、異なる装置上で実現しても良い。
【0034】
（１．２．１ 学習に用いる画像処理システム１００のシステム構成）
まず、図４を参照しながら、移動体検出のためのＣＮＮの移動体検出モデルを生成するための画像処理システム１００のシステム構成について説明する。画像処理システム１００は、画像入力部１１０、領域指定部１２０、背景モデル取得部１３０、背景モデル更新部１４０、背景モデルデータベース（ＤＢ）１５０、背景モデル間距離計算部１６０、移動体検出モデル構築部１７０、及び移動体検出パラメータ辞書１８０を含む。
まず、図４を参照しながら、移動体検出のためのＣＮＮの移動体検出モデルを生成するための画像処理システム１００のシステム構成について説明する。画像処理システム１００は、画像入力部１１０、領域指定部１２０、背景モデル取得部１３０、背景モデル更新部１４０、背景モデルデータベース（ＤＢ）１５０、背景モデル間距離計算部１６０、移動体検出モデル構築部１７０、及び移動体検出パラメータ辞書１８０を含む。
【0035】
（１．２．１．１ 画像入力部１１０）
画像入力部１１０は、図示しないカメラなどの撮影装置から映像を構成する画像フレーム、すなわちそれぞれ撮影時刻の異なる画像フレームの入力を受ける。ここで、画像フレームはモノクロ画像であっても良いし、カラー画像であっても良い。モノクロ画像であれば、画像フレームには各画素に１つの値が含まれる。カラー画像であれば、画像フレームには各画素に３つの値（例えばＲＧＢ、ＹＣｂＣｒ等の色表現）を有する。或いは画像フレームには、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラなどにより得られる距離情報など、画素毎に４以上の値を有してもよい。
画像入力部１１０は、図示しないカメラなどの撮影装置から映像を構成する画像フレーム、すなわちそれぞれ撮影時刻の異なる画像フレームの入力を受ける。ここで、画像フレームはモノクロ画像であっても良いし、カラー画像であっても良い。モノクロ画像であれば、画像フレームには各画素に１つの値が含まれる。カラー画像であれば、画像フレームには各画素に３つの値（例えばＲＧＢ、ＹＣｂＣｒ等の色表現）を有する。或いは画像フレームには、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラなどにより得られる距離情報など、画素毎に４以上の値を有してもよい。
【0036】
（１．２．１．２ 領域指定部１２０）
領域指定部１２０は、画像フレームに対して、正解データを入力するためのＧＵＩをユーザに提供し、ユーザからの入力に応じて、画像フレーム内に含まれる画素に対して、移動体領域と背景領域との指定を行う。領域指定部１２０が表示装置に表示する表示画面の具体例は、図２に示した通りである。
領域指定部１２０は、画像フレームに対して、正解データを入力するためのＧＵＩをユーザに提供し、ユーザからの入力に応じて、画像フレーム内に含まれる画素に対して、移動体領域と背景領域との指定を行う。領域指定部１２０が表示装置に表示する表示画面の具体例は、図２に示した通りである。
【0037】
これにより、領域指定部１２０は、当該画像フレーム内のユーザの選択した画素についての、正解データ（移動体領域若しくは背景領域の区別）を用意することができる。
【0038】
なお、移動体領域と背景領域との指定は、画素に対して行うことからわかるように、画面上の様々な位置に対して点として入力する。様々な位置に対して点として入力することにより、少ない入力数でも多様性のある学習データが生成され、学習効率が良くなる。また、移動体領域と背景領域との指定は、さまざまな時刻の画像に対して実施する。これにより、より多様性のある学習データ（正解データ）が生成され、学習効率が良くなる。
【0039】
（１．２．１．３ 背景モデル取得部１３０）
背景モデル取得部１３０は、画像入力部１１０から入力された画像フレーム、及び、背景モデルＤＢ１５０に格納されている短期背景モデル、中期背景モデル、及び長期背景モデルの３つの背景モデルを読み込む。
背景モデル取得部１３０は、画像入力部１１０から入力された画像フレーム、及び、背景モデルＤＢ１５０に格納されている短期背景モデル、中期背景モデル、及び長期背景モデルの３つの背景モデルを読み込む。
【0040】
（１．２．１．４ 背景モデルＤＢ１５０）
背景モデルＤＢ１５０は、解析元となる画像フレームの撮影時刻の時間幅の異なる短期背景モデル、中期背景モデル、及び長期背景モデルを含む複数の背景モデルを格納する。
ここで、各背景モデルの形式は種々考えられるが、例えば画像入力部１１０から入力される画像フレームと同様の画像形式とすることができる。例えば背景モデルをモノクロ画像とするのであれば、各画素毎に１つの値が、カラー画像とするのであれば各画素毎に３つの値が含まれる。
背景モデルＤＢ１５０は、解析元となる画像フレームの撮影時刻の時間幅の異なる短期背景モデル、中期背景モデル、及び長期背景モデルを含む複数の背景モデルを格納する。
ここで、各背景モデルの形式は種々考えられるが、例えば画像入力部１１０から入力される画像フレームと同様の画像形式とすることができる。例えば背景モデルをモノクロ画像とするのであれば、各画素毎に１つの値が、カラー画像とするのであれば各画素毎に３つの値が含まれる。
【0041】
或いは、背景モデルは、各画素毎に、その元となった各画像フレームの画素値の尤度を示す、各画素毎の分布関数とすることもできる。ここで分布関数は、例えばヒストグラムとすることも考えられるし、或いは、複数のガウシアンの和による分布関数としてもよい。
【0042】
前述のとおり、短期背景モデル、中期背景モデル、及び長期背景モデルは、元となる画像フレームの撮影時刻の時間幅がそれぞれ異なり、短期背景モデル、中期背景モデル、長期背景モデルの順に、時間幅が長くなる。特に短期背景モデルに関しては、画像入力部１１０から入力された画像フレームを、そのまま短期背景モデルとして採用することも考えられる。その場合には、背景モデルＤＢ１５０では短期背景モデルを管理しないことも考えられる。
【0043】
（１．２．１．５ 背景モデル更新部１４０）
背景モデル更新部１４０は、背景モデル取得部１３０が取得した処理時刻の画像フレーム、及び背景モデルＤＢ１５０に記憶された背景モデルから、処理時刻の画像フレーム（最も新しい時刻の画像フレーム）を考慮した短期背景モデル、中期背景モデル、及び長期背景モデルを生成する。生成された背景モデルは、背景モデルＤＢ１５０に格納される。
背景モデル更新部１４０は、背景モデル取得部１３０が取得した処理時刻の画像フレーム、及び背景モデルＤＢ１５０に記憶された背景モデルから、処理時刻の画像フレーム（最も新しい時刻の画像フレーム）を考慮した短期背景モデル、中期背景モデル、及び長期背景モデルを生成する。生成された背景モデルは、背景モデルＤＢ１５０に格納される。
【0044】
本実施形態において、短期背景モデル、中期背景モデル、及び長期背景モデルは、それぞれ元となる画像フレームの撮影時刻の時間幅が異なる。図１に示すように、短期背景モデルは処理時刻から最も短い時間幅に撮影された画像フレームから、中期背景モデルはそれよりも長い時間幅に撮影された画像フレームから、長期背景モデルは最も長い時間幅に撮影された画像フレームから、それぞれ生成される。
【0045】
背景モデルの生成方法としては、例えば、各背景モデルごとに定められた時間幅分の画像フレームについて、画素値の平均値や最頻値を取ることが考えられる。或いは、前述のとおり背景モデルを画素毎の分布関数とするのであれば、時間幅内に含まれる各画像フレームの画素値の分布関数を生成してもよい。
【0046】
なお、本実施形態では、短期背景モデル、中期背景モデル、及び長期背景モデルは、それぞれ元となる画像フレームの撮影時刻の時間幅が異なるものとして説明しているが、これに限られるものではない。短期背景モデル、中期背景モデル、及び長期背景モデルは、処理時刻（最も新しい時刻）の画像フレームが与える影響の大きさの異なる背景モデルであると理解することもできる。すなわち、短期背景モデルは、処理時刻の画像フレームの与える影響が最も大きく、長期背景モデルは、処理時刻の画像フレームの与える影響は最も小さい。よって、時間幅という概念を用いる代わりに更新係数という概念を導入し、画像入力部１１０から入力された画像フレームを用いて背景モデルを更新する際の更新係数を短期背景モデル、中期背景モデル及び長期背景モデルで変えるようにしても良い。
【0047】
この場合、例えば、背景モデルがＩbgであり、画像入力部１１０から入力された画像フレームをＩとすると、
【0048】
【数2】
【0049】
として、背景モデルを更新することができる。この式において、ａは０以上１以下の定数であり、短期背景モデルと中期背景モデルと長期背景モデルとで異なる値を取る。短期背景モデル、中期背景モデル、及び長期背景モデルの定数をａ1、ａ2、ａ3とすると、
【0050】
【数3】
【0051】
との関係が成立する。ａ1＝１の場合には、短期背景モデルは新しい画像フレームで常に置き換えられる。また、ａ3＝０の場合には、長期背景モデルは固定の背景モデルを利用することを意味する。背景モデルとして固定の背景モデルを用いる場合であっても、同様の方式により更新することができる。
【0052】
（１．２．１．６ 背景モデル間距離計算部１６０）
背景モデル間距離計算部１６０は、背景モデル取得部１３０が取得した３つの背景モデル間の差異を数値で示す距離値を、各画素毎に計算する。具体的には、各画素毎に、短期背景モデルと中期背景モデルとの距離、短期背景モデルと長期背景モデルとの距離、中期背景モデルと長期背景モデルとの距離を、背景モデル間距離計算部１６０はそれぞれ算出する。
背景モデル間距離計算部１６０は、背景モデル取得部１３０が取得した３つの背景モデル間の差異を数値で示す距離値を、各画素毎に計算する。具体的には、各画素毎に、短期背景モデルと中期背景モデルとの距離、短期背景モデルと長期背景モデルとの距離、中期背景モデルと長期背景モデルとの距離を、背景モデル間距離計算部１６０はそれぞれ算出する。
【0053】
例えば、背景モデルを画像形式とする場合には、背景モデル間距離計算部１６０は、各画素の画素値の差分値もしくは差分ベクトルを算出した上で、その絶対値若しくは大きさを距離として計算することが考えられる。背景モデルが画素毎に複数の値を持っている場合、例えばＲＧＢやＹＣｂＣｒ、ＨＳＶ等のカラー画像形式である場合には、それぞれの値について差分値を算出した上で、それらの差分値の絶対値総和を、各画素の距離とすることも考えられる。或いは、処理対象の画素位置を中心とした近傍３画素×３画素画像や５画素×５画素画像等の近傍部分画像を抽出した上で、抽出された２つの近傍部分画像の画素値をそれぞれ２つのベクトルと捉え、当該２つのベクトルのベクトル間距離や正規化相関ｒを計算してもよい。この場合、例えばモノクロ画像形式の背景モデルで近傍３×３画像により距離を算出する場合には、９次元ベクトル同士の距離を算出することになる。
また、ＲＧＢカラー画像で近傍５×５画像により距離を算出する場合には、７５次元（５×５×３）ベクトル同士の距離を算出することになる。
また、ＲＧＢカラー画像で近傍５×５画像により距離を算出する場合には、７５次元（５×５×３）ベクトル同士の距離を算出することになる。
【0054】
なお、正規化相関ｒを距離に用いる場合には、相関ｒは１が最大値であり、ｒが１に近いほど同一に近いことを示す。よって、距離の尺度に変換するため、１－ｒを距離を示す値として用いることができる。或いは、エッジ強調フィルタなどで上記近傍部分画像に対して前処理を行った上で、距離を計算してもよい。
【0055】
また、背景モデルにヒストグラムなどの分布関数を用いている場合には、背景モデル間距離計算部１６０は、２つのヒストグラムの共通部分の面積や、バタチャリヤ距離などのヒストグラム距離計算手法を用いて、背景モデル間の距離を計算することができる。
【0056】
なお、上述の手法では、背景モデル間距離計算部１６０は画素毎に距離を計算するものとして説明したが、これに限られるものではない。例えば、画像をいくつかの領域単位であるメッシュ状に区切った上で、当該メッシュ単位毎に距離を算出する等の手法を用いることもできる。なお、距離はマイナス値を取るようにしても良い。
【0057】
また、短期背景モデル、中期背景モデル、及び長期背景モデルは、それぞれ異なる形式であることも考えられる。例えば、短期背景モデルは画像形式とし、中期背景モデルは画素毎の分布関数としてもよい。この場合、距離の計算方法としては、例えば、短期背景モデルで保持されている画素値を中心として、予め定めた標準偏差の正規分布のヒストグラムを生成する。そして、当該ヒストグラムを短期背景モデルにおける分布関数とみなして、当該ヒストグラムと中期背景モデルのヒストグラムとを比較することにより距離を算出する手法を採用することが考えられる。或いは、中期背景モデルの各画素の分布関数から画素毎に平均値を算出した上で、当該平均値の集合として生成される画像形式の中期背景モデルと、短期背景モデルとを比較することにより距離を算出することも考えられる。
【0058】
（１．２．１．７ 移動体検出モデル構築部１７０）
移動体検出モデル構築部１７０は、領域指定部１２０により与えられた正解データを用いて、ＣＮＮを用いて移動体を検出するための移動体検出モデル（ＣＮＮに対応するパラメータ）を生成する。より具体的には、移動体検出モデル構築部１７０は、与えられた正解データに最も近くなるように設定される。具体的には、Ｎ個の画素ｘi（ｉは１≦ｉ≦Ｎの整数）に対してそれぞれ正解データｙiが与えられるとする。ここで、例えば画素ｘiが背景領域であればｙi＝０、移動体領域であればｙi＝１とする。
移動体検出モデル構築部１７０は、領域指定部１２０により与えられた正解データを用いて、ＣＮＮを用いて移動体を検出するための移動体検出モデル（ＣＮＮに対応するパラメータ）を生成する。より具体的には、移動体検出モデル構築部１７０は、与えられた正解データに最も近くなるように設定される。具体的には、Ｎ個の画素ｘi（ｉは１≦ｉ≦Ｎの整数）に対してそれぞれ正解データｙiが与えられるとする。ここで、例えば画素ｘiが背景領域であればｙi＝０、移動体領域であればｙi＝１とする。
【0059】
ＣＮＮの各パラメータは、初期値としてはランダムな値を設定すれば良い。その後、上記Ｎ個の画素においてＣＮＮを用いて移動体らしさを計算する。ここで、画素ｘiに対する移動体領域若しくは背景領域のいずれであるかを示す推定結果（移動体らしさ）をｖiとする。このとき、以下の評価値Ｓを考える。
【0060】
【数4】
【0061】
当該評価値Ｓは、ＣＮＮによる推定結果が正解データに近いほど小さい値となる。よって、Ｓがなるべく小さくなるように、例えば確率的降下法などの勾配法を用いてＣＮＮのパラメータを求めれば良い。
【0062】
なお、評価値Ｓの算出方法は異なる方式を用いても良い。例えば、交差エントロピーに相当する値である
【0063】
【数5】
【0064】
とすることも考えられる。
【0065】
なお、上記の領域指定部１２０による正解データの生成方法は、ユーザがランダムな位置に対して行うものである。このような手法においては、学習データが十分ではなく、特定箇所の推定精度が悪くなる場合もある。そこで、領域指定部１２０により与えられた正解データにより学習を行うことにより移動体検出モデルを生成した上で、推定結果を見て推定精度の低いところに関して、追加で正解データを与え、当該正解データを用いて再度学習を行う、ということを繰り返すようにしても良い。
【0066】
このような処理により移動体検出モデル構築部１７０が生成した移動体検出パラメータは、移動体検出パラメータ辞書１８０に格納される。
【0067】
（１．２．２ 移動体検出に用いる画像処理システム２００のシステム構成）
次に、上記画像処理システム１００が生成した移動体検出モデルを用いて移動体を検出する画像処理システム２００のシステム構成について説明する。画像処理システム２００は、画像入力部２１０、背景モデル取得部２２０、背景モデル更新部２３０、背景モデルＤＢ２４０、背景モデル間距離計算部２５０、移動体検出部２６０、移動体検出パラメータ辞書２７０、及び結果出力部２８０を含む。
次に、上記画像処理システム１００が生成した移動体検出モデルを用いて移動体を検出する画像処理システム２００のシステム構成について説明する。画像処理システム２００は、画像入力部２１０、背景モデル取得部２２０、背景モデル更新部２３０、背景モデルＤＢ２４０、背景モデル間距離計算部２５０、移動体検出部２６０、移動体検出パラメータ辞書２７０、及び結果出力部２８０を含む。
【0068】
ここで、画像入力部２１０、背景モデル取得部２２０、背景モデル更新部２３０、背景モデルＤＢ２４０、背景モデル間距離計算部２５０、及び移動体検出パラメータ辞書２７０の機能は、それぞれ画像入力部１１０、背景モデル取得部１３０、背景モデル更新部１４０、背景モデルＤＢ１５０、背景モデル間距離計算部１６０、及び移動体検出パラメータ辞書１８０と同様であるため、説明を省略する。
【0069】
移動体検出部２６０は、移動体検出パラメータ辞書２７０に格納されたパラメータを用いた移動体検出モデルであるＣＮＮにより移動体か否かを判定する。移動体の具体的な検出方法については、図３を参照しながら前述したため、ここでは説明を省略する。なお、移動体検出部２６０は、静止中の移動体を、移動体検出パラメータ辞書２７０に格納されたパラメータを用いた移動体検出モデルにより検出し、移動中の移動体を、中期背景モデルと、短期背景モデルとの差分にもとづき検出するようにしても良い。
【0070】
結果出力部２８０は、移動体検出部２６０で得られた移動体の情報を出力する。出力方法は種々考えられるが、例えば、移動体領域を１とし、それ以外の領域を０とした２値画像によって出力することができる。或いは、当該２値画像に対してラベリング処理を施すことによって連結部分を生成し、連結部分毎に外接矩形を出力することも考えられる。
【0071】
若しくは、移動体検出部２６０で移動中の移動体と一時的に静止している移動体とを、移動体検出部２６０が検出できる場合を考える。この場合、例えば、移動中の移動体として検出された画素の画素値を１、一時的に静止している移動体として検出された画素の画素値を２、それ以外の画素値を０として、３値で出力することも考えられる。場合によっては、移動中の物体であるか静止中の物体であるかを判別しづらい場合も考えられるが、その場合には移動中の物体として１を出力してもよい。或いは、全体として４値をとることを可能とした上で、どちらかわからない画素に画素値３を出力するようにしても良い。
【0072】
（１．３ 処理の流れ）
以下、画像処理システム１００及び画像処理システム２００の処理の流れを、図６及び図７を参照しながら説明する。図６は画像処理システム１００の処理の流れを示すフローチャート、図７は画像処理システム２００の処理の流れを示すフローチャートである。
以下、画像処理システム１００及び画像処理システム２００の処理の流れを、図６及び図７を参照しながら説明する。図６は画像処理システム１００の処理の流れを示すフローチャート、図７は画像処理システム２００の処理の流れを示すフローチャートである。
【0073】
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。
【0074】
（１．３．１ 画像処理システム１００の処理の流れ）
まず、移動体検出のためのパラメータを学習する画像処理システム１００の処理の流れを、図６を参照しながら説明する。
まず、移動体検出のためのパラメータを学習する画像処理システム１００の処理の流れを、図６を参照しながら説明する。
【0075】
画像入力部１１０は、新しい画像フレーム（処理時刻の画像フレーム）の入力を受ける（Ｓ６０１）。また、領域指定部１２０は、入力を受けた画像フレームに対する正解データの入力を受けるべく、図２に具体例を示した表示画面を表示し、当該画像フレーム内のランダムな位置の１以上の画素に対して、ユーザから移動体領域であるか背景領域であるかの指定を受ける（Ｓ６０３）。当該指定により、領域指定部１２０は移動体領域であるか否かを示す正解データを生成する。ここで、画像入力部１１０による入力の受付は、所定枚数の複数の異なる時刻の画像フレームに対して行われる。ここで、所定枚数は任意であり、予め定められていても良く、また、ユーザによる指定を受け付けても良い。
【0076】
また、背景モデル取得部１３０は、背景モデルＤＢ１５０に格納された短期背景モデル、中期背景モデル、及び長期背景モデルを読み込む（Ｓ６０５）。背景モデル間距離計算部１６０は、各画素に対して、短期背景モデルと中期背景モデルとの間の距離、中期背景モデルと長期背景モデルとの間の距離、及び短期背景モデルと長期背景モデルとの間の距離を算出する（Ｓ６０７）。
【0077】
移動体検出モデル構築部１７０は、背景モデル間距離計算部１６０が算出した各背景モデルの、正解データが用意された画素に対してＣＮＮを適用し、評価値Ｓが小さくなるようなＣＮＮのパラメータを求める（Ｓ６０９）。すなわち、学習により移動体検出モデルを構築する。
【0078】
画像処理システム１００は、学習した移動体検出モデルによりサンプルデータの移動体検出結果を表示画面に表示する。画像処理システム１００は、表示の際、移動体検出結果に対する信頼度として、前述した推定結果（移動体らしさ）ｖiを検出した移動体領域の近辺に表示しても良い。または、ｖiの値に応じて、ヒートマップのように表示しても良い。具体的には、画像処理システム１００は、ｖiの値が高ければ高いほど赤く、低ければ低いほど青く表示するなどしても良い。このようにして、学習した移動体検出モデルによる移動体検出結果を、人が目視で判断する。移動体検出モデルによる移動体検出精度が十分であれば（Ｓ６１１のＹｅｓ）、移動体検出モデル構築部１７０は算出したパラメータを移動体検出パラメータ辞書１８０に出力する（Ｓ６１３）。
【0079】
もし移動体検出モデルによる移動体検出精度が不十分であれば（Ｓ６１１のＮｏ）、領域指定部１２０は図２のような表示画面により、特に検出精度の低い領域のランダムな画素に対して、移動体領域であるか否かの入力をユーザから受ける（Ｓ６１５）。その後、Ｓ６０５に戻って新たな正解データを用いた移動体検出モデルの構築を行う。
【0080】
（１．３．２ 画像処理システム２００の処理の流れ）
続いて、画像処理システム１００により生成されたＣＮＮのパラメータを用いた移動体検出に係る処理の流れを、図７を参照しながら説明する。
続いて、画像処理システム１００により生成されたＣＮＮのパラメータを用いた移動体検出に係る処理の流れを、図７を参照しながら説明する。
【0081】
画像入力部２１０は、新しい画像フレーム（処理時刻の画像フレーム）の入力を受ける（Ｓ７０１）。また、背景モデル取得部２２０は、背景モデルＤＢ２４０に格納された短期背景モデル、中期背景モデル及び長期背景モデルを読み込む（Ｓ７０３）。
【0082】
背景モデル間距離計算部２５０は、各画素に対して、短期背景モデルと中期背景モデルとの間の距離、中期背景モデルと長期背景モデルとの間の距離、及び短期背景モデルと長期背景モデルとの間の距離を算出する（Ｓ７０５）。移動体検出部２６０は、移動体検出パラメータ辞書２７０に格納された、画像処理システム１００が生成したパラメータを用いて、背景モデル間距離計算部２５０が算出した各背景モデル間の距離を入力として、各画素が移動体の映る領域であるか否かを判別する（Ｓ７０７）。結果出力部２８０は、検出結果を出力する（Ｓ７０９）。
【0083】
また、背景モデル更新部２３０は、画像入力部２１０から入力された画像フレームを用いて各背景モデルを更新し、更新した背景モデルを背景モデルＤＢ２４０に記憶させる（Ｓ７１１）。
【0084】
（１．４ ハードウェア構成の具体例）
以下、図８を参照しながら、上述してきた画像処理システム１００及び２００をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、前述のとおり、画像処理システム１００及び２００は同一のコンピュータ上に実装してもよいし、画像処理システム１００及び２００の機能を、それぞれ複数台のコンピュータ上に実装してもよい。
以下、図８を参照しながら、上述してきた画像処理システム１００及び２００をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、前述のとおり、画像処理システム１００及び２００は同一のコンピュータ上に実装してもよいし、画像処理システム１００及び２００の機能を、それぞれ複数台のコンピュータ上に実装してもよい。
【0085】
図８に示すように、コンピュータ８００は、プロセッサ８０１、メモリ８０３、記憶装置８０５、入力インタフェース（Ｉ／Ｆ）部８０７、データＩ／Ｆ部８０９、通信Ｉ／Ｆ部８１１、及び表示装置８１３を含む。
【0086】
プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することにより、画像処理システム１００及び２００の様々な処理を制御する。例えば、図４に示した画像入力部１１０、領域指定部１２０、背景モデル取得部１３０、背景モデル更新部１４０、背景モデル間距離計算部１６０、及び移動体検出モデル構築部１７０にかかる処理は、メモリ８０３に一時記憶された上で主にプロセッサ８０１上で動作するプログラムとして実現可能である。また、図５に示した画像入力部２１０、背景モデル取得部２２０、背景モデル更新部２３０、背景モデル間距離計算部２５０、移動体検出部２６０、及び結果出力部２８０にかかる処理も、同様に、メモリ８０３に一時記憶された上で主にプロセッサ８０１上で動作するプログラムとして実現可能である。
【0087】
メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。
【0088】
記憶装置８０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、画像処理システム１００及び２００の各機能を実現するための各種プログラムや、背景モデルＤＢ１５０及び２４０、並びに移動体検出パラメータ辞書１８０及び２７０を含む各種データ等を記憶できる。記憶装置８０５に記憶されているプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。
【0089】
入力Ｉ／Ｆ部８０７は、ユーザからの入力を受け付けるためのデバイスである。例えば、領域指定部１２０が提供する図２のような表示画面において、背景領域であるか移動体領域であるかの指定を行うためのユーザ操作は、入力Ｉ／Ｆ部８０７により入力される。
入力Ｉ／Ｆ部８０７の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ部８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介してコンピュータ８００に接続されても良い。
入力Ｉ／Ｆ部８０７の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ部８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介してコンピュータ８００に接続されても良い。
【0090】
データＩ／Ｆ部８０９は、コンピュータ８００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部８０９の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部８０９は、コンピュータ８００の外部に設けられても良い。その場合、データＩ／Ｆ部８０９は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００へと接続される。
【0091】
通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部の装置、例えば撮影装置（ビデオカメラや監視カメラ、デジタルカメラ）などとの間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ部８１１は画像処理システム１００の外部に設けられても良い。その場合、通信Ｉ／Ｆ部８１１は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００に接続される。
【0092】
表示装置８１３は、例えば、図２に例示した背景領域／移動体領域を指定するための表示画面や、結果出力部２８０が出力する移動体の検出結果等を表示するためのデバイスである。表示装置８１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置８１３は、コンピュータ８００の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブルなどを介してコンピュータ８００に接続される。
【0093】
（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る画像処理システム１００及び２００は、短期背景モデル、中期背景モデル、及び長期背景モデル間のそれぞれの差異を用いてＣＮＮにより移動体を検出する。特に、学習を用いることにより、例えば風による木の揺れなどで動きを検出しやすい時間幅の背景モデルをあまり利用せずに、人や車などの移動体を検出しやすい時間幅の背景モデルの寄与度を大きくすることにより、特定の移動体を誤検出を抑制しつつ検知することが可能である。また、照明変動のような外部ノイズによる背景変化の影響を受ける環境下においても、安定的に移動体を検出することができる。
以上説明したように、本実施形態に係る画像処理システム１００及び２００は、短期背景モデル、中期背景モデル、及び長期背景モデル間のそれぞれの差異を用いてＣＮＮにより移動体を検出する。特に、学習を用いることにより、例えば風による木の揺れなどで動きを検出しやすい時間幅の背景モデルをあまり利用せずに、人や車などの移動体を検出しやすい時間幅の背景モデルの寄与度を大きくすることにより、特定の移動体を誤検出を抑制しつつ検知することが可能である。また、照明変動のような外部ノイズによる背景変化の影響を受ける環境下においても、安定的に移動体を検出することができる。
【0094】
（２ 第２実施形態）
以下、第２実施形態を、図９及び図１０を参照しながら説明する。図９は、本実施形態に係る画像処理システム９００の機能構成を示すブロック図である。画像処理システム９００は、入力部９１０、及び学習部９２０とを含む。
以下、第２実施形態を、図９及び図１０を参照しながら説明する。図９は、本実施形態に係る画像処理システム９００の機能構成を示すブロック図である。画像処理システム９００は、入力部９１０、及び学習部９２０とを含む。
【0095】
入力部９１０は、映像を構成する複数の画像フレームのうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であるか移動体の映らない画素であるかの入力を受ける。
【0096】
学習部９２０は、入力部９１０から入力された、移動体の映る画素であるか移動体の映らない画素であるかの入力に基づき、移動体を検出するためのパラメータを学習する。
【0097】
また、画像処理システム１０００は、入力部１０１０及び検出部１０２０を含む。
【0098】
入力部１０１０は、撮影時刻の異なる複数の画像フレームの入力を受ける。
【0099】
検出部１０２０は、処理時刻の画像フレームを元に生成された第１の背景モデルと、第１の背景モデルよりも処理時刻の画像フレームの影響が小さい第２の背景モデルと、第２の背景モデルよりも処理時刻の画像フレームの影響が小さい第３の背景モデルとを用いて、対象画素の近傍領域の背景モデルの値を用いて畳み込み計算を１回以上行うことにより移動体を検出する。
【0100】
このように実装することで、本実施形態に係る画像処理システム９００及び画像処理システム１０００は、好適に移動体を検出することができる。
【0101】
（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
【0102】
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
【0103】
（付記１）
映像を構成する複数の画像フレームのうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であるか移動体の映らない画素であるかの入力を受ける入力手段と、前記入力に基づき、移動体を検出するためのパラメータを学習する学習手段とを備える画像処理システム。
映像を構成する複数の画像フレームのうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であるか移動体の映らない画素であるかの入力を受ける入力手段と、前記入力に基づき、移動体を検出するためのパラメータを学習する学習手段とを備える画像処理システム。
【0104】
（付記２）
前記処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとの間で、それぞれ差異を算出する算出手段、を更に備え、前記学習手段は、前記入力に基づき、前記第１の背景モデル、前記第２の背景モデル、及び前記第３の背景モデルを用いて移動体を検出するためのパラメータを学習する付記１に記載の画像処理システム。
前記処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとの間で、それぞれ差異を算出する算出手段、を更に備え、前記学習手段は、前記入力に基づき、前記第１の背景モデル、前記第２の背景モデル、及び前記第３の背景モデルを用いて移動体を検出するためのパラメータを学習する付記１に記載の画像処理システム。
【0105】
（付記３）
前記学習手段は、前記１以上の画素の近傍領域の背景モデルの値を用いて畳み込み計算を１以上行うことにより移動体を検出するための検出モデルに用いられる前記パラメータを学習する、付記１又は付記２記載の画像処理システム。
前記学習手段は、前記１以上の画素の近傍領域の背景モデルの値を用いて畳み込み計算を１以上行うことにより移動体を検出するための検出モデルに用いられる前記パラメータを学習する、付記１又は付記２記載の画像処理システム。
【0106】
（付記４）
前記学習手段は、前記畳み込み計算、及び、前記畳み込み計算の結果得られる値と比較される閾値とを前記パラメータとして学習する付記１乃至付記３のいずれか１項記載の画像処理システム。
前記学習手段は、前記畳み込み計算、及び、前記畳み込み計算の結果得られる値と比較される閾値とを前記パラメータとして学習する付記１乃至付記３のいずれか１項記載の画像処理システム。
【0107】
（付記５）
撮影時刻の異なる複数の画像フレームの入力を受ける入力手段と、処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとを用いて、対象画素の近傍領域の背景モデルの値を用いて畳み込み計算を１回以上行うことにより移動体を検出する検出手段とを備える画像処理システム。
撮影時刻の異なる複数の画像フレームの入力を受ける入力手段と、処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとを用いて、対象画素の近傍領域の背景モデルの値を用いて畳み込み計算を１回以上行うことにより移動体を検出する検出手段とを備える画像処理システム。
【0108】
（付記６）
前記第１の背景モデルと、前記第２の背景モデルと、前記第３の背景モデルとは、考慮される画像フレームの撮影時刻の時間幅が異なる付記５記載の画像処理システム。
前記第１の背景モデルと、前記第２の背景モデルと、前記第３の背景モデルとは、考慮される画像フレームの撮影時刻の時間幅が異なる付記５記載の画像処理システム。
【0109】
（付記７）
前記第１の背景モデルとして、前記処理時刻の画像フレームを用いる、付記５又は付記６記載の画像処理システム。
前記第１の背景モデルとして、前記処理時刻の画像フレームを用いる、付記５又は付記６記載の画像処理システム。
【0110】
（付記８）
映像を構成する複数の画像フレームのうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であるか移動体の映らない画素であるかの入力を受けるステップと、前記入力に基づき、移動体を検出するためのパラメータを学習するステップとをコンピュータが行う画像処理方法。
映像を構成する複数の画像フレームのうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であるか移動体の映らない画素であるかの入力を受けるステップと、前記入力に基づき、移動体を検出するためのパラメータを学習するステップとをコンピュータが行う画像処理方法。
【0111】
（付記９）
前記処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとの間で、それぞれ差異を算出する算出手段、を更に備え、前記学習手段は、前記入力に基づき、前記第１の背景モデル、前記第２の背景モデル、及び前記第３の背景モデルを用いて移動体を検出するためのパラメータを学習する付記８に記載の画像処理方法。
前記処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとの間で、それぞれ差異を算出する算出手段、を更に備え、前記学習手段は、前記入力に基づき、前記第１の背景モデル、前記第２の背景モデル、及び前記第３の背景モデルを用いて移動体を検出するためのパラメータを学習する付記８に記載の画像処理方法。
【0112】
（付記１０）
前記１以上の画素の近傍領域の背景モデルの値を用いて畳み込み計算を１以上行うことにより移動体を検出するための検出モデルに用いられる前記パラメータを学習する、付記８又は付記９記載の画像処理方法。
前記１以上の画素の近傍領域の背景モデルの値を用いて畳み込み計算を１以上行うことにより移動体を検出するための検出モデルに用いられる前記パラメータを学習する、付記８又は付記９記載の画像処理方法。
【0113】
（付記１１）
前記畳み込み計算、及び、前記畳み込み計算の結果得られる値と比較される閾値とを前記パラメータとして学習する付記８乃至付記１０のいずれか１項記載の画像処理方法。
前記畳み込み計算、及び、前記畳み込み計算の結果得られる値と比較される閾値とを前記パラメータとして学習する付記８乃至付記１０のいずれか１項記載の画像処理方法。
【0114】
（付記１２）
撮影時刻の異なる複数の画像フレームの入力を受けるステップと、処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとを用いて、対象画素の近傍領域の背景モデルの値を用いて畳み込み計算を１回以上行うことにより移動体を検出するステップとをコンピュータが行う画像処理方法。
撮影時刻の異なる複数の画像フレームの入力を受けるステップと、処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとを用いて、対象画素の近傍領域の背景モデルの値を用いて畳み込み計算を１回以上行うことにより移動体を検出するステップとをコンピュータが行う画像処理方法。
【0115】
（付記１３）
前記第１の背景モデルと、前記第２の背景モデルと、前記第３の背景モデルとは、考慮される画像フレームの撮影時刻の時間幅が異なる付記１２記載の画像処理方法。
前記第１の背景モデルと、前記第２の背景モデルと、前記第３の背景モデルとは、考慮される画像フレームの撮影時刻の時間幅が異なる付記１２記載の画像処理方法。
【0116】
（付記１４）
前記第１の背景モデルとして、前記処理時刻の画像フレームを用いる、付記１２又は付記１３記載の画像処理方法。
前記第１の背景モデルとして、前記処理時刻の画像フレームを用いる、付記１２又は付記１３記載の画像処理方法。
【0117】
（付記１５）
映像を構成する複数の画像フレームのうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であるか移動体の映らない画素であるかの入力を受ける処理と、
前記入力に基づき、移動体を検出するためのパラメータを学習する処理とをコンピュータに実行させるプログラム。
映像を構成する複数の画像フレームのうちのいくつかの異なる時刻の画像フレームに対する入力であって、処理時刻の画像フレームのうち、選択された任意の１以上の画素に対し、移動体の映る画素であるか移動体の映らない画素であるかの入力を受ける処理と、
前記入力に基づき、移動体を検出するためのパラメータを学習する処理とをコンピュータに実行させるプログラム。
【0118】
（付記１６）
前記処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとの間で、それぞれ差異を算出する算出手段、を更に備え、前記学習手段は、前記入力に基づき、前記第１の背景モデル、前記第２の背景モデル、及び前記第３の背景モデルを用いて移動体を検出するためのパラメータを学習する付記１５に記載のプログラム。
前記処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとの間で、それぞれ差異を算出する算出手段、を更に備え、前記学習手段は、前記入力に基づき、前記第１の背景モデル、前記第２の背景モデル、及び前記第３の背景モデルを用いて移動体を検出するためのパラメータを学習する付記１５に記載のプログラム。
【0119】
（付記１７）
前記１以上の画素の近傍領域の背景モデルの値を用いて畳み込み計算を１以上行うことにより移動体を検出するための検出モデルに用いられる前記パラメータを学習する、付記１５又は付記１６記載のプログラム。
前記１以上の画素の近傍領域の背景モデルの値を用いて畳み込み計算を１以上行うことにより移動体を検出するための検出モデルに用いられる前記パラメータを学習する、付記１５又は付記１６記載のプログラム。
【0120】
（付記１８）
前記畳み込み計算、及び、前記畳み込み計算の結果得られる値と比較される閾値とを前記パラメータとして学習する付記１５乃至付記１７のいずれか１項記載のプログラム。
前記畳み込み計算、及び、前記畳み込み計算の結果得られる値と比較される閾値とを前記パラメータとして学習する付記１５乃至付記１７のいずれか１項記載のプログラム。
【0121】
（付記１９）
撮影時刻の異なる複数の画像フレームの入力を受ける処理と、処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとを用いて、対象画素の近傍領域の背景モデルの値を用いて畳み込み計算を１回以上行うことにより移動体を検出する処理とをコンピュータに実行させるプログラム。
撮影時刻の異なる複数の画像フレームの入力を受ける処理と、処理時刻の画像フレームを元に生成された第１の背景モデルと、前記第１の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第２の背景モデルと、前記第２の背景モデルよりも前記処理時刻の画像フレームの影響が小さい第３の背景モデルとを用いて、対象画素の近傍領域の背景モデルの値を用いて畳み込み計算を１回以上行うことにより移動体を検出する処理とをコンピュータに実行させるプログラム。
【0122】
（付記２０）
前記第１の背景モデルと、前記第２の背景モデルと、前記第３の背景モデルとは、考慮される画像フレームの撮影時刻の時間幅が異なる付記１９記載のプログラム。
前記第１の背景モデルと、前記第２の背景モデルと、前記第３の背景モデルとは、考慮される画像フレームの撮影時刻の時間幅が異なる付記１９記載のプログラム。
【0123】
（付記２１）
前記第１の背景モデルとして、前記処理時刻の画像フレームを用いる、付記１９又は付記２０記載のプログラム。
前記第１の背景モデルとして、前記処理時刻の画像フレームを用いる、付記１９又は付記２０記載のプログラム。
【0124】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【0125】
この出願は、２０１４年６月３０日に出願された日本出願特願２０１４－１１５２０５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0126】
２０ ：画像フレーム
２１ ：カーソル
２３、２５ ：アイコン
１００ ：画像処理システム
１１０ ：画像入力部
１２０ ：領域指定部
１３０ ：背景モデル取得部
１４０ ：背景モデル更新部
１５０ ：背景モデルデータベース
１６０ ：背景モデル間距離計算部
１７０ ：移動体検出モデル構築部
１８０ ：移動体検出パラメータ辞書
２００ ：画像処理システム
２１０ ：画像入力部
２２０ ：背景モデル取得部
２３０ ：背景モデル更新部
２４０ ：背景モデルデータベース
２５０ ：背景モデル間距離計算部
２６０ ：移動体検出部
２７０ ：移動体検出パラメータ辞書
２８０ ：結果出力部
８００ ：コンピュータ
８０１ ：プロセッサ
８０３ ：メモリ
８０５ ：記憶装置
８０７ ：入力インタフェース部
８０９ ：データインタフェース部
８１１ ：通信インタフェース部
８１３ ：表示装置
９００ ：画像処理システム
９１０ ：入力部
９２０ ：学習部
１０００ ：画像処理システム
１０１０ ：入力部
１０２０ ：検出部
２１ ：カーソル
２３、２５ ：アイコン
１００ ：画像処理システム
１１０ ：画像入力部
１２０ ：領域指定部
１３０ ：背景モデル取得部
１４０ ：背景モデル更新部
１５０ ：背景モデルデータベース
１６０ ：背景モデル間距離計算部
１７０ ：移動体検出モデル構築部
１８０ ：移動体検出パラメータ辞書
２００ ：画像処理システム
２１０ ：画像入力部
２２０ ：背景モデル取得部
２３０ ：背景モデル更新部
２４０ ：背景モデルデータベース
２５０ ：背景モデル間距離計算部
２６０ ：移動体検出部
２７０ ：移動体検出パラメータ辞書
２８０ ：結果出力部
８００ ：コンピュータ
８０１ ：プロセッサ
８０３ ：メモリ
８０５ ：記憶装置
８０７ ：入力インタフェース部
８０９ ：データインタフェース部
８１１ ：通信インタフェース部
８１３ ：表示装置
９００ ：画像処理システム
９１０ ：入力部
９２０ ：学習部
１０００ ：画像処理システム
１０１０ ：入力部
１０２０ ：検出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2024-01-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮像画像において、対象物体の映る画素及び前記対象物体の映らない画素の指定を受ける入力手段と、
前記指定に基づき、前記撮像画像から前記対象物体の領域を特定する特定手段と、
を備え、
前記入力手段は、さらに前記特定手段により前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける、
画像処理システム。
前記指定に基づき、前記撮像画像から前記対象物体の領域を特定する特定手段と、
を備え、
前記入力手段は、さらに前記特定手段により前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける、
画像処理システム。
【請求項2】
前記指定はユーザが前記撮像画像に対して行う指定である、
請求項１に記載の画像処理システム。
請求項１に記載の画像処理システム。
【請求項3】
前記撮像画像は、映像を構成する複数の画像フレームであり、
前記入力手段は、複数の前記撮像画像に対する指定を受ける、
請求項１または２に記載の画像処理システム。
前記入力手段は、複数の前記撮像画像に対する指定を受ける、
請求項１または２に記載の画像処理システム。
【請求項4】
前記入力手段は、前記対象物体の映る複数の前記画素及び前記対象物体の映らない複数の前記画素の指定を受ける、
請求項１から３のいずれか１項に記載の画像処理システム。
請求項１から３のいずれか１項に記載の画像処理システム。
【請求項5】
前記対象物体は移動体である、
請求項１から４のいずれか１項に記載の画像処理システム。
請求項１から４のいずれか１項に記載の画像処理システム。
【請求項6】
前記特定手段は、前記指定に基づき得られた検出モデルを用いて、前記撮像画像から前記対象物体の領域を特定する、
請求項１から５のいずれか１項に記載の画像処理システム。
請求項１から５のいずれか１項に記載の画像処理システム。
【請求項7】
コンピュータが、
撮像画像において、対象物体の映る画素及び前記対象物体の映らない画素の指定を受け、
前記指定に基づき、前記撮像画像から前記対象物体の領域を特定し、
前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける、
画像処理方法。
撮像画像において、対象物体の映る画素及び前記対象物体の映らない画素の指定を受け、
前記指定に基づき、前記撮像画像から前記対象物体の領域を特定し、
前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける、
画像処理方法。
【請求項8】
コンピュータに、
撮像画像において、対象物体の映る画素及び前記対象物体の映らない画素の指定を受ける処理、
前記指定に基づき、前記撮像画像から前記対象物体の領域を特定する処理、
前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける処理、
を実行させるプログラム。
撮像画像において、対象物体の映る画素及び前記対象物体の映らない画素の指定を受ける処理、
前記指定に基づき、前記撮像画像から前記対象物体の領域を特定する処理、
前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける処理、
を実行させるプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
本発明に係る１の画像処理システムは、撮像画像において、対象物体の映る画素及び前記対象物体の映らない画素の指定を受ける入力手段と、前記指定に基づき、前記撮像画像から前記対象物体の領域を特定する特定手段と、を備え、前記入力手段は、さらに前記特定手段により前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
本発明に係る１の画像処理方法では、コンピュータが、撮像画像において、対象物体の映る画素及び前記対象物体の映らない画素の指定を受け、前記指定に基づき、前記撮像画像から前記対象物体の領域を特定し、前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【0012】
本発明に係る１のプログラムは、コンピュータに、撮像画像において、対象物体の映る画素及び前記対象物体の映らない画素の指定を受ける処理、前記指定に基づき、前記撮像画像から前記対象物体の領域を特定する処理、前記対象物体の領域が特定された後に、前記対象物体の映る画素または前記対象物体の映らない画素の少なくとも一方の指定を受ける処理、を実行させる。