特許 6880294 ずれ補正装置、ずれ補正方法及びずれ補正プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6880294

(24)【登録日】2021年5月7日

(45)【発行日】2021年6月2日

(54)【発明の名称】ずれ補正装置、ずれ補正方法及びずれ補正プログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20210524BHJP

   H04N 5/232 20060101ALI20210524BHJP

   G03B 15/00 20210101ALI20210524BHJP

【ＦＩ】

   H04N1/387

   H04N5/232 939

   H04N5/232 290

   H04N5/232 941

   G03B15/00 S

   G03B15/00 Q

【請求項の数】13

【全頁数】18

(21)【出願番号】特願2020-147244(P2020-147244)

(22)【出願日】2020年9月2日

(62)【分割の表示】特願2019-166156(P2019-166156)の分割

【原出願日】2019年9月12日

(65)【公開番号】特開2021-44802(P2021-44802A)

(43)【公開日】2021年3月18日

【審査請求日】2020年9月2日

(73)【特許権者】

【識別番号】394013002

【氏名又は名称】三菱電機インフォメーションシステムズ株式会社

(74)【代理人】

【識別番号】110002491

【氏名又は名称】溝井国際特許業務法人

(72)【発明者】

【氏名】阿部 紘和

(72)【発明者】

【氏名】中尾 尭理

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００８−２５６４１４（ＪＰ，Ａ）

【文献】 特開２００５−０６４６９９（ＪＰ，Ａ）

【文献】 特開２０１４−１７９９４０（ＪＰ，Ａ）

【文献】 特開２００８−２７１２４６（ＪＰ，Ａ）

【文献】 特開２０１２−０６５０２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ３／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

１台の撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記１台の撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記１台の撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定部によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部と
を備えるずれ補正装置。

【請求項2】

前記補正ずれ量は、前記１台の撮影装置の平行移動によるずれと、撮影方向のずれと、撮影領域の広さのずれとの少なくともいずれかを表す
請求項１に記載のずれ補正装置。

【請求項3】

前記表示部は、前記補正ずれ量を数値化した誤差値を表示する
請求項１又は２に記載のずれ補正装置。

【請求項4】

前記特徴抽出部は、前記第１マーク及び前記第２マークを表示した後に前記１台の撮影装置によって得られた撮影画像データである後画像データから複数の特徴点を抽出し、
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記ずれ補正装置は、さらに、
前記１台の撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する設定変更部
を備える請求項１から３までのいずれか１項に記載のずれ補正装置。

【請求項5】

前記ずれ補正装置は、さらに、
手動によるずれの補正が完了した完了通知の入力を受け付ける受付部
を備え、
前記後画像データは、前記受付部によって前記完了通知の入力が受け付けられた後に前記１台の撮影装置によって得られた撮影画像データである
請求項４に記載のずれ補正装置。

【請求項6】

撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更部と
を備えるずれ補正装置。

【請求項7】

前記ずれ補正装置は、さらに、
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部を備える請求項６に記載のずれ補正装置。

【請求項8】

前記ずれ補正装置は、さらに、
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、通知する通知部
を備える請求項６又は７に記載のずれ補正装置。

【請求項9】

前記特徴抽出部は、前記第１マーク及び前記第２マークを表示した後に撮影装置によって得られた撮影画像データである後画像データから複数の特徴点を抽出し、
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記設定変更部は、前記検知領域と前記マスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する
請求項７に記載のずれ補正装置。

【請求項10】

特徴抽出部が、１台の撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記１台の撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
表示部が、前記１台の撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示するずれ補正方法。

【請求項11】

特徴抽出部が、撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
設定変更部が、前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定するずれ補正方法。

【請求項12】

１台の撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記１台の撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記１台の撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定処理によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示処理と
を行うずれ補正装置としてコンピュータを機能させるずれ補正プログラム。

【請求項13】

撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更処理と
を行うずれ補正装置としてコンピュータを機能させるずれ補正プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、監視カメラといった撮影装置のずれを補正する技術に関する。

【背景技術】

【0002】

監視カメラといった撮影装置によって撮影領域を撮影して得られた撮影画像データから、対象物を検出することが行われている。例えば、撮影領域に対象物が存在しない状態で得られた撮影画像データである背景画像データと、撮影画像データとを比較することにより、対象物が検出される。

【0003】

風による振動又は物の衝突等の影響により、撮影装置がずれてしまうことがある。その結果、対象物が検出される領域がずれてしまうこと、又は、対象物の検出精度が低くなってしまうことがある。例えば、背景画像データと撮影画像データとを比較する場合に、撮影装置がずれ撮影領域がずれてしまうと、比較される位置がずれてしまい、対象物の検出精度が低くなってしまう。

【0004】

特許文献１には、対象画像と参照画像との画素の差分絶対値から対象画像と参照画像とのずれ量を計算して、対象画像の画角ずれを補正することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６−１３４６３６号公報

【特許文献2】特開２００８−２５６４１４号公報

【特許文献3】特開２００５−０６４６９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載された技術では、ある程度の小さな画角のずれについては補正できる。しかし、例えば、何かが撮影装置にぶつかってしまい、大きく画角がずれてしまったような場合には補正することはできない。
本開示は、撮影装置のずれを適切に補正可能にすることを目的とする。

【課題を解決するための手段】

【0007】

本開示に係るずれ補正装置は、
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定部によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部と
を備える。

【0008】

前記補正ずれ量は、前記撮影装置の平行移動によるずれと、撮影方向のずれと、撮影領域の広さのずれとの少なくともいずれかを表す。

【0009】

前記表示部は、前記補正ずれ量を数値化した誤差値を表示する。

【0010】

前記特徴抽出部は、前記第１マーク及び前記第２マークを表示した後に撮影装置によって得られた撮影画像データである後画像データから複数の特徴点を抽出し、
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記ずれ補正装置は、さらに、
前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する設定変更部
を備える。

【0011】

前記ずれ補正装置は、さらに、
手動によるずれの補正が完了した完了通知の入力を受け付ける受付部
を備え、
前記後画像データは、前記受付部によって前記完了通知の入力が受け付けられた後に前記撮影装置によって得られた撮影画像データである。

【0012】

本開示に係るずれ補正装置は、
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定部と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更部と
を備える。

【0013】

前記ずれ補正装置は、さらに、
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示部を備える。

【0014】

前記ずれ補正装置は、さらに、
前記補正ずれ量が前記基準ずれ量よりも大きい場合に、通知する通知部
を備える。

【0015】

前記特徴抽出部は、前記第１マーク及び前記第２マークを表示した後に撮影装置によって得られた撮影画像データである後画像データから複数の特徴点を抽出し、
前記ずれ特定部は、前記後画像データから抽出された前記複数の特徴点と、前記基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記後画像データのずれ量を残存ずれ量として特定し、
前記設定変更部は、前記検知領域と前記マスク領域との少なくともいずれかを前記残存ずれ量だけずらして設定する。

【0016】

本開示に係るずれ補正方法は、
特徴抽出部が、撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
表示部が、前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する。

【0017】

本開示に係るずれ補正方法は、
特徴抽出部が、撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出し、
ずれ特定部が、前記対象画像データから抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定し、
設定変更部が、前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する。

【0018】

本開示に係るずれ補正プログラムは、
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記撮影装置によって得られた撮影画像データに重畳させて、第１マークを表示するとともに、前記ずれ特定処理によって特定された前記補正ずれ量だけ前記第１マークをずらした第２マークを表示する表示処理と
を行うずれ補正装置としてコンピュータを機能させる。

【0019】

本開示に係るずれ補正プログラムは、
撮影装置によって得られた撮影画像データである対象画像データから複数の特徴点を抽出する特徴抽出処理と、
前記特徴抽出処理によって抽出された前記複数の特徴点と、前記撮影装置によって得られた撮影画像データであって、前記対象画像データとは異なる撮影画像データである基準画像データから抽出された複数の特徴点とに基づき、前記基準画像データに対する前記対象画像データのずれ量を補正ずれ量として特定するずれ特定処理と、
前記補正ずれ量が基準ずれ量以下の場合に、前記撮影装置によって前記撮影画像データが得られる撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを前記補正ずれ量だけずらして設定する設定変更処理と
を行うずれ補正装置としてコンピュータを機能させる。

【発明の効果】

【0020】

本開示では、撮影画像データに重畳させて、第１マークが表示されるとともに、補正ずれ量だけ第１マークをずらした第２マークが表示される。これにより、作業者が手動で撮影装置のずれを容易に補正することが可能になる。その結果、大きく撮影装置がずれてしまった場合にも、適切な位置に撮影装置を戻すことが可能である。

【図面の簡単な説明】

【0021】

【図1】実施の形態１に係るずれ補正装置１０の構成図。

【図2】実施の形態１に係るずれ補正装置１０の動作を示すフローチャート。

【図3】実施の形態１に係る表示処理の説明図。

【図4】変形例２に係るずれ補正装置１０の構成図。

【図5】実施の形態２に係るずれ補正装置１０の構成図。

【図6】実施の形態２に係るずれ補正装置１０の動作を示すフローチャート。

【図7】実施の形態２に係る設定変更処理の説明図。

【図8】実施の形態３に係るずれ補正装置１０の構成図。

【図9】実施の形態３に係るずれ補正装置１０の動作を示すフローチャート。

【発明を実施するための形態】

【0022】

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、コンピュータである。
ずれ補正装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

【0023】

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

【0024】

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

【0025】

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦ
ｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

【0026】

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。

【0027】

ずれ補正装置１０は、通信インタフェース１４を介して、監視カメラといった撮影装置４１と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）といった表示装置４２と接続されている。

【0028】

ずれ補正装置１０は、機能構成要素として、初期設定部２１と、画像取得部２２と、特徴抽出部２３と、ずれ特定部２４と、表示部２５とを備える。ずれ補正装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、ずれ補正装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、ずれ補正装置１０の各機能構成要素の機能が実現される。

【0029】

また、ストレージ１３は、基準データ記憶部３１と、設定データ記憶部３２とを実現する。

【0030】

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

【0031】

＊＊＊動作の説明＊＊＊
図２及び図３を参照して、実施の形態１に係るずれ補正装置１０の動作を説明する。
実施の形態１に係るずれ補正装置１０の動作手順は、実施の形態１に係るずれ補正方法に相当する。また、実施の形態１に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態１に係るずれ補正プログラムに相当する。

【0032】

（図２のステップＳ１０１：初期処理）
初期設定部２１は、ずれ補正装置１０の初期設定を行う。
具体的には、初期設定部２１は、撮影装置４１及び表示装置４２のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスといった、ずれ補正装置１０の動作に必要になる初期設定情報を取得する。例えば、初期設定部２１は、ずれ補正装置１０の使用者によって初期設定情報が入力される、あるいは、事前に設定されたストレージ１３のアドレスから初期設定情報を読み込む。そして、初期設定部２１は、初期設定情報に従い、ずれ補正装置１０の初期設定を行う。

【0033】

（図２のステップＳ１０２：データ取得処理）
初期設定部２１は、基準画像データを取得する。
具体的には、初期設定部２１は、基準データ記憶部３１から基準画像データを読み出す。基準画像データは、撮影装置４１の初期設置時に、撮影領域に対象物が存在しない状態で、撮影装置４１によって撮影領域が撮影されて得られた撮影画像データである。初期設定部２１は、基準画像データをメモリ１２に書き込む。

【0034】

（図２のステップＳ１０３：第１特徴抽出処理）
特徴抽出部２３は、ステップＳ１０２で取得された基準画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、基準画像データをメモリ１２から読み出す。特徴抽出部２３は、既存の方法により、基準画像データを構成する画素のうち、エッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、基準画像データの複数の特徴点としてメモリ１２に書き込む。
エッジ部分を抽出する方法としては、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）と、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）と、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）と、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）といった方法がある。なお、ＦＡＳＴは、Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔの略である。また、ＢＲＩＥＦは、Ｂｉｎａｒｙ Ｒｏｂｕｓｔ
Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓの略である。

【0035】

（図２のステップＳ１０４：画像取得処理）
画像取得部２２は、撮影装置４１によって得られた最新のフレームの撮影画像データを対象画像データとして取得する。画像取得部２２は、対象画像データをメモリ１２に書き込む。

【0036】

（図２のステップＳ１０５：第２特徴抽出処理）
特徴抽出部２３は、ステップＳ１０４で取得された対象画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、対象画像データをメモリ１２から読み出す。特徴抽出部２３は、対象画像データを構成する画素のうち、エッジ部分を抽出する。ここでは、特徴抽出部２３は、ステップＳ１０３で用いた方法と同じ方法により、対象画像データのエッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、対象画像データの複数の特徴点としてメモリ１２に書き込む。

【0037】

（図２のステップＳ１０６：補正ずれ量特定処理）
ずれ特定部２４は、ステップＳ１０５で対象画像データから抽出された複数の特徴点と、ステップＳ１０３で基準画像データから抽出された複数の特徴点とに基づき、基準画像データに対する対象画像データのずれ量を補正ずれ量として特定する。
具体的には、ずれ特定部２４は、対象画像データの複数の特徴点と、基準画像データの複数の特徴点とをメモリ１２から読み出す。ずれ特定部２４は、対象画像データの複数の特徴点それぞれと、基準画像データの複数の特徴点それぞれとを対応付けする。例えば、ずれ特定部２４は、ＫＮＮ（Ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）とＦＬＡＮＮ（Ｆａｓｔ Ｌｉｂｒａｒｙ ｆｏｒ Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ）といった既存の手法により、特徴点同士を対応付けすることができる。ずれ特定部２４は、特徴点間の対応関係に基づき、基準画像データに対する対象画像データの補正ずれ量を表す透視投影変換行列を計算する。例えば、ずれ特定部２４は、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）といった既存の手法により、特徴点間の対応関係から透視投影変換行列を計算することが可能である。ずれ特定部２４は、透視投影変換行列をメモリ１２に書き込む。

【0038】

（図２のステップＳ１０７：表示処理）
表示部２５は、ステップＳ１０４で取得された対象画像データに重畳させて、第１マークを表示するとともに、ステップＳ１０６で特定された補正ずれ量だけ第１マークをずらした第２マークを表示する。
具体的には、表示部２５は、対象画像データと透視投影変換行列とをメモリ１２から読
み出す。表示部２５は、対象画像データを表示装置４２に表示する。この際、表示部２５は、第１マークを表示装置４２に表示するとともに、透視投影変換行列によって第１マークを変換して得られた第２マークを表示装置４２に表示する。また、表示部２５は、透視投影変換行列が示す補正ずれ量を数値化した誤差値を表示装置４２に表示する。補正ずれ量は、Ｘ軸方向のずれ量と、Ｙ軸方向のずれ量と、ズームのずれ量と、角度のずれ量とを示す。ズームのずれ量は、撮影領域の広さのずれを表している。
例えば、図３に示すように第１マーク５１は四角形である。表示部２５は、対象画像データの中心に、第１マーク５１を表示する。また、表示部２５は、透視投影変換行列によって第１マークを変換して得られた第２マーク５２を表示する。第２マーク５２は、第１マーク５１に比べて、Ｘ軸方向のずれ量及びＹ軸方向のずれ量だけ位置がずれており、ズームのずれ量だけ大きさがずれており、角度のずれ量だけ回転している。なお、第１マーク５１は、対象画像データの中心を表しており、第２マーク５２は、基準画像データの中心を表している。

【0039】

その後、処理がステップＳ１０４に戻され、次のフレームの撮影画像データを対象画像データとして処理が実行される。

【0040】

図２に示す処理が実行されているときに、ずれ補正装置１０の使用者によって、表示装置４２に表示された第１マーク及び第２マークが参照され、撮影装置４１のずれが手動で補正される。具体的には、ずれ補正装置１０の使用者によって、第１マークと第２マークとが重なるように、撮影装置４１について、Ｘ軸方向及びＹ軸方向の位置と、ズームと、角度とが補正される。例えば、スマートフォンといった携帯端末を表示装置４２として用いることにより、ずれ補正装置１０の使用者は、表示装置４２を見ながら第１マークと第２マークとが重なるように撮影装置４１のずれを補正することが可能である。

【0041】

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係るずれ補正装置１０は、基準画像データに対する対象画像データのずれ量である補正ずれ量を計算する。そして、ずれ補正装置１０は、撮影画像データに重畳させて、第１マークを表示するとともに、補正ずれ量だけ第１マークをずらした第２マークを表示する。
これにより、作業者が手動で撮影装置のずれを容易に補正することが可能になる。その結果、大きく撮影装置がずれてしまった場合にも、適切な位置に撮影装置を戻すことが可能である。

【0042】

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、第１マークは四角形であった。しかし、第１マークは四角形に限らず、他の形状であってもよい。但し、第１マークは、Ｘ軸方向のずれ量と、Ｙ軸方向のずれ量と、ズームのずれ量と、角度のずれ量とを表す形状である必要がある。
例えば、縦線と横線とを組み合わせた十字形では、ズームのずれ量を表すことができない。また、円形では、角度のずれ量を表すことができない。そのため、このような形状ではなく、三角形及び五角形といった頂点数の少ない多角形が望ましい。

【0043】

＜変形例２＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例２として、各機能構成要素はハードウェアで実現されてもよい。この変形例２について、実施の形態１と異なる点を説明する。

【0044】

図４を参照して、変形例２に係るずれ補正装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、ずれ補正装置１０は、プロセッ
サ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

【0045】

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

【0046】

＜変形例３＞
変形例３として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

【0047】

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

【0048】

実施の形態２．
実施の形態２では、手動で補正された後に残った残存ずれ量について補正する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

【0049】

＊＊＊構成の説明＊＊＊
図５を参照して、実施の形態２に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、機能構成要素として、受付部２６と、設定変更部２７とを備える点が図１に示すずれ補正装置１０と異なる。受付部２６と、設定変更部２６とは、他の機能構成要素と同様に、ソフトウェア又はハードウェアで実現される。

【0050】

＊＊＊動作の説明＊＊＊
図６及び図７を参照して、実施の形態２に係るずれ補正装置１０の動作を説明する。
実施の形態２に係るずれ補正装置１０の動作手順は、実施の形態２に係るずれ補正方法に相当する。また、実施の形態２に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態２に係るずれ補正プログラムに相当する。

【0051】

ステップＳ２０１からステップＳ２０７の処理は、図２のステップＳ１０１からステップＳ１０７の処理と同じである。
但し、ステップＳ２０２では、初期設定部２１は、基準画像データを取得するとともに、設定データ記憶部３２から設定データを取得する。設定データは、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかが設定されている。初期設定部２１は、基準画像データと設定データとをメモリ１２に書き込む。

【0052】

（図６のステップＳ２０８：受付処理）
受付部２６は、手動によるずれの補正が完了したことを意味する完了通知の入力を受け付ける。
具体的には、ずれ補正装置１０の使用者によって撮影装置４１の補正が完了すると、使用者は完了通知をずれ補正装置１０に入力する。例えば、使用者は、タッチパネル又はキーボードを操作することにより、完了通知を入力する。すると、受付部２６は、完了通知
を受け付ける。
受付部２６は、完了通知を受け付けた場合には、処理をステップＳ２０９に進める。一方、受付部２６は、完了通知を受け付けていない場合には、処理をステップＳ２０４に戻して、次のフレームの撮影画像データを対象画像データとして処理を実行させる。

【0053】

（図６のステップＳ２０９：第２画像取得処理）
画像取得部２２は、撮影装置４１によって得られた最新のフレームの撮影画像データを後画像データとして取得する。つまり、後画像データは、第１マーク及び第２マークが表示され、使用者によって撮像装置４１の撮影領域が補正された後に撮影装置によって得られた撮影画像データである。画像取得部２２は、後画像データをメモリ１２に書き込む。

【0054】

（図６のステップＳ２１０：第３特徴抽出処理）
特徴抽出部２３は、ステップＳ２０９で取得された後画像データから複数の特徴点を抽出する。
具体的には、特徴抽出部２３は、後画像データをメモリ１２から読み出す。特徴抽出部２３は、後画像データを構成する画素のうち、エッジ部分を抽出する。ここでは、特徴抽出部２３は、ステップＳ２０３及びステップＳ２０５で用いた方法と同じ方法により、後画像データのエッジ部分を抽出する。特徴抽出部２３は、抽出されたエッジ部分を、後画像データの複数の特徴点としてメモリ１２に書き込む。

【0055】

（図６のステップＳ２１１：残存ずれ量特定処理）
ずれ特定部２４は、ステップＳ２１０で後画像データから抽出された複数の特徴点と、ステップＳ２０３で基準画像データから抽出された複数の特徴点とに基づき、基準画像データに対する後画像データのずれ量を残存ずれ量として特定する。
具体的には、ずれ特定部２４は、後画像データの複数の特徴点と、基準画像データの複数の特徴点とをメモリ１２から読み出す。ずれ特定部２４は、ステップＳ２０６と同様に、後画像データの複数の特徴点それぞれと、基準画像データの複数の特徴点それぞれとを対応付けする。そして、ずれ特定部２４は、ステップＳ２０６と同様に、特徴点間の対応関係に基づき、基準画像データに対する対象画像データの残存ずれ量を表す透視投影変換行列を計算する。ずれ特定部２４は、透視投影変換行列をメモリ１２に書き込む。

【0056】

（図６のステップＳ２１２：設定変更処理）
設定変更部２７は、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを、ステップＳ２１１で特定された残存ずれ量だけずらして設定する。
具体的には、設定変更部２７は、残存ずれ量と設定データとをメモリ１２から読み出す。ここでは、設定データは、マスク領域を示すものとする。設定変更部２７は、設定データが示すマスク領域を残存ずれ量だけずらした上で、設定データを設定データ記憶部３２に上書き保存する。
なお、ここでは、設定データは、マスク領域を示した。しかし、設定データが検知領域を示す場合には、設定変更部２７は検知領域を残存ずれ量だけずらす。また、設定データが検知領域及びマスク領域を示す場合には、設定変更部２７は、検知領域及びマスク領域を残存ずれ量だけずらす。

【0057】

図７に示すように、窓５３がマスク領域５４として指定されているとする。この場合には、残存ずれ量だけマスク領域５４が窓５３からずれた状態になっている。そのため、対象物を検知する対象外の領域である窓５３の一部部分についても、対象物の検知が行われてしまう。また、対象物を検知する対象の一部の領域についても、対象物の検知が行われなくなってしまう。その結果、誤検知及び検知漏れが発生する可能性がある。
しかし、設定変更部２７は、マスク領域を残存ずれ量だけずらして設定する。そのため
、マスク領域５４が窓５３に一致した状態になり、窓５３部分については対象物の検知が行われなくなり、その他の部分については対象物の検知が行われるようになる。

【0058】

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係るずれ補正装置１０は、手動での補正後に残っている残存ずれ量だけマスク領域等を補正する。これにより、手動での補正では補正しきれなかった細かなずれについても補正することが可能である。
例えば、手動では、１ピクセルといった細かなずれがなくなるほど正確に撮影装置４１をずらすことは難しい可能性がある。しかし、実施の形態２に係るずれ補正装置１０は、手動では補正しきれなかったずれを補正するため、精度よく対象物の検知が可能になる。

【0059】

＊＊＊他の構成＊＊＊
＜変形例４＞
撮影画像データを背景画像データと比較して対象物を検出する場合には、ステップＳ２０９で取得された後画像データを新たな背景画像データとして設定する。これにより、手動での補正が終わった後に得られた撮影画像データが新たな背景画像データとして設定されることになる。手動での補正により基準画像データが示す位置とは多少ずれがある場合にも、背景画像データを取得し直すことにより、適切に対象物を検出することが可能になる。
但し、後画像データに対象物が映っている場合には、後画像データは背景画像データには適さない。そのため、この場合には、図６のステップＳ２１２の後に取得された、対象物が映っていない撮影画像データを背景画像データとして設定する必要がある。

【0060】

実施の形態３．
実施の形態３では、ずれ量が大きい場合にのみ手動での補正を行う点が実施の形態２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。

【0061】

＊＊＊構成の説明＊＊＊
図８を参照して、実施の形態３に係るずれ補正装置１０の構成を説明する。
ずれ補正装置１０は、機能構成要素として、判定部２８と、通知部２９とを備える点が図５に示すずれ補正装置１０と異なる。判定部２８と通知部２９とは、他の機能構成要素と同様に、ソフトウェア又はハードウェアで実現される。

【0062】

＊＊＊動作の説明＊＊＊
図９を参照して、実施の形態３に係るずれ補正装置１０の動作を説明する。
実施の形態３に係るずれ補正装置１０の動作手順は、実施の形態３に係るずれ補正方法に相当する。また、実施の形態３に係るずれ補正装置１０の動作を実現するプログラムは、実施の形態３に係るずれ補正プログラムに相当する。

【0063】

ステップＳ３０１からステップＳ３０６の処理は、図６のステップＳ２０１からステップＳ２０６の処理と同じである。

【0064】

（図９のステップＳ３０７：判定処理）
判定部２８は、ステップＳ３０６で特定された補正ずれ量が基準ずれ量よりも大きいか否かを判定する。
具体的には、補正ずれ量に含まれるＸ軸方向のずれ量とＹ軸方向のずれ量とズームのずれ量と角度のずれ量とのそれぞれについて基準ずれ量が事前に設定される。つまり、Ｘ軸方向のずれ量についての基準ずれ量と、Ｙ軸方向のずれ量についての基準ずれ量と、ズームのずれ量についての基準ずれ量と、角度のずれ量についての基準ずれ量とが事前に設定
される。基準ずれ量は、どの程度のずれであれば、撮影装置４１を手動で補正することなく、設定データの補正だけで対応可能かによって定められる。そして、判定部２８は、Ｘ軸方向のずれ量とＹ軸方向のずれ量とズームのずれ量と角度のずれ量とのうち、少なくともいずれかが基準ずれ量よりも大きいか否かを判定する。
判定部２８は、少なくともいずれかが基準ずれ量よりも大きい場合には、処理をステップＳ３０８に進める。一方、判定部２８は、いずれも基準ずれ量以下である場合には、処理をステップＳ３１０に進める。

【0065】

（図９のステップＳ３０８：通知処理）
通知部２９は、補正ずれ量が基準ずれ量よりも大きいことを、ずれ補正装置１０の使用者に通知する。具体例としては、通知部２９は、補正ずれ量が基準ずれ量よりも大きいことを示すメッセージ等を、通信インタフェース１４を介して表示装置４２に送信する。

【0066】

（図９のステップＳ３０９：第１補正処理）
ずれ補正装置１０は、図６のステップＳ２０４からステップＳ２１２の処理を実行する。これにより、補正ずれ量を示す第１マーク及び第２マークを参照して、手動で補正がされた後に、残存ずれ量の補正が行われる。
あるいはステップＳ３０８で補正ずれ量が基準ずれ量より大きいことをずれ補正装置１０の使用者に通知した後、以降の処理は使用者に委ねるようにし、ステップＳ３０９の処理を省略して終了するように構成してもよい。つまり、ずれ量が大きい場合、図６のステップＳ２０４からステップＳ２１２の処理を実行するとしても、実行のタイミングは使用者に委ねるように構成してもよい。

【0067】

（図９のステップＳ３１０：第２補正処理）
図６のステップＳ２１２の処理と同様に、設定変更部２７は、撮影領域のうち、対象物を検知する対象の領域である検知領域と、対象物を検知する対象外の領域であるマスク領域との少なくともいずれかを、ステップＳ３０６で特定された補正ずれ量だけずらして設定する。

【0068】

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係るずれ補正装置１０は、ずれ量が大きい場合にのみ手動で撮影装置４１の補正を行い、ずれ量が小さい場合には設定データの補正だけを行う。これにより、ずれの補正にかかる手間を減らすことが可能である。
例えば、管理している撮影装置４１が１０００台以上のように多数存在する場合がある。この場合には、全ての撮影装置４１について手動で補正を行うには、手間がかかってしまう。しかし、実施の形態３に係るずれ補正装置１０では、必要になった場合にのみ手動で補正をすればよいので、手間を減らすことができる。

【0069】

以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

【符号の説明】

【0070】

１０ ずれ補正装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 初期設定部、２２ 画像取得部、２３ 特徴抽出部、２４ ずれ特定部、２５ 表示部、２６ 受付部、２７ 設定変更部、２８ 判定部、２９ 通知部、３１ 基準データ記憶部、３２ 設定データ記憶部、４１ 撮影装置、４２ 表示装置、５１ 第１マーク、５２ 第２マーク、５３ 窓、５４ マスク領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】