(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】情報処理装置、システム、情報処理方法及びプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20221128BHJP
H04N 7/18 20060101ALI20221128BHJP
G03B 15/00 20210101ALI20221128BHJP
【ＦＩ】
H04N5/232 290
H04N7/18 D
H04N7/18 E
H04N5/232 380
G03B15/00 S
G03B15/00 W
【請求項の数】
7
(21)【出願番号】P 2018160283
(22)【出願日】2018-08-29
(65)【公開番号】P2019115031
(43)【公開日】2019-07-11
【審査請求日】2021-07-21
(31)【優先権主張番号】P 2017248013
(32)【優先日】2017-12-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】小暮 憲太朗
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開２００７－３１１８６０（ＪＰ，Ａ）
【文献】特開２０１２－０８９９５４（ＪＰ，Ａ）
【文献】特開２０１６－０２５５１６（ＪＰ，Ａ）
【文献】特開平１１－２６１８６８（ＪＰ，Ａ）
【文献】特開２０１１－１３９３７６（ＪＰ，Ａ）
【文献】特開２０１４－３６３２３（ＪＰ，Ａ）
【文献】特開２０１６－３９５３９（ＪＰ，Ａ）
【文献】特開２０１７－１６８８８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ７／１８
Ｇ０３Ｂ １５／００
(57)【特許請求の範囲】
【請求項1】
魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、前記全方位画像から得られる部分画像を出力するためのパターンを設定する設定手段と、前記設定手段により設定されたパターンに基づいて、前記全方位画像から前記注目領域を含む部分画像を切り取る切り取り手段と、
前記切り取り手段により切り取られた部分画像に対して歪補正処理を行う補正手段と、
前記設定手段によって設定されたパターンに従って、前記補正手段により歪補正処理された部分画像を出力する出力手段と、
を有し、
前記設定手段は、さらに、前記魚眼レンズを有する撮像部の撮像方向に基づいて、前記パターンを設定し、前記撮像方向が水平方向である場合は、１つの部分画像を切り取り、前記撮像方向が垂直方向である場合には、２つの部分画像を切り取るパターンを設定する情報処理装置。
【請求項2】
前記設定手段は、前記全方位画像から得られる注目領域が２箇所の場合、前記２箇所の注目領域の位置が近接していれば前記２箇所の注目領域を含む１つの部分画像を切り取り、近接していなければそれぞれ１つの注目領域を含む２つの部分画像を切り取るパターンを設定する請求項１記載の情報処理装置。
【請求項3】
前記情報処理装置は、撮像装置である請求項１又は２記載の情報処理装置。
【請求項4】
前記情報処理装置は、撮像装置と通信可能なクライアント装置である請求項１乃至３何れか１項記載の情報処理装置。
【請求項5】
魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、前記全方位画像から得られる部分画像を出力するためのパターンを設定する設定手段と、前記設定手段により設定されたパターンに基づいて、前記全方位画像から前記注目領域を含む部分の画像を切り取る切り取り手段と、
前記切り取り手段により切り取られた部分画像に対して歪補正処理を行う補正手段と、
前記設定手段によって設定されたパターンに従って、前記補正手段により歪補正処理された画像を出力する出力手段と、
を有し、
前記設定手段は、さらに、前記魚眼レンズを有する撮像部の撮像方向に基づいて、前記パターンを設定し、前記撮像方向が水平方向である場合は、１つの部分画像を切り取り、前記撮像方向が垂直方向である場合には、２つの部分画像を切り取るパターンを設定するシステム。
【請求項6】
情報処理装置が実行する情報処理方法であって、魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、前記全方位画像から得られる部分画像を出力するためのパターンを設定する設定工程と、
前記設定工程により設定されたパターンに基づいて、前記全方位画像から前記注目領域を含む部分画像を切り取る切り取り工程と、
前記切り取り工程により切り取られた部分画像に対して歪補正処理を行う補正工程と、
前記設定工程によって設定されたパターンに従って、前記補正工程により歪補正処理された部分画像を出力する出力工程と、
を含み、
前記設定工程は、さらに、前記魚眼レンズを有する撮像部の撮像方向に基づいて、前記パターンを設定し、前記撮像方向が水平方向である場合は、１つの部分画像を切り取り、前記撮像方向が垂直方向である場合には、２つの部分画像を切り取るパターンを設定する情報処理方法。
【請求項7】
コンピュータを請求項１乃至４何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、監視カメラの種別の１つとして魚眼レンズを搭載した魚眼カメラが浸透してきている。１台で３６０°監視することができるので、台数・コストの削減につながる。また、魚眼カメラから得られる全方位画像をそのまま出力するだけではなく、複数種類の切り取り処理及び歪補正処理を行った画像や映像を出力可能なカメラがある。このようなカメラでは人体検知や動体検知といった各種Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ａｎａｌｙｓｉｓ等を使用する際も切り取り処理及び歪み補正処理後の画像を用いることも多い。更に、このようなカメラでは複数種類の切り取り処理及び歪み補正処理を行った複数の映像を出力して撮像環境や設置環境に応じた監視ができる。
しかしながら、ユーザーが監視している撮像シーンに対して適切な切り取り処理あるいは歪補正方式を、ユーザーインターフェースを介して設定する必要がある。また、一度設定した切り取り処理及び歪曲補正方式を用いていると撮像シーンの変化に対応できない。
例えば、特許文献１では、複数の画像の特徴量を検出し、指定された各画像の連続表示時間ごとに表示装置に切り替える方法が開示されている。
しかしながら、ユーザーが監視している撮像シーンに対して適切な切り取り処理あるいは歪補正方式を、ユーザーインターフェースを介して設定する必要がある。また、一度設定した切り取り処理及び歪曲補正方式を用いていると撮像シーンの変化に対応できない。
例えば、特許文献１では、複数の画像の特徴量を検出し、指定された各画像の連続表示時間ごとに表示装置に切り替える方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－２２２９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、魚眼カメラから得られる撮像画像の表示に関して、撮像シーン等に適した表示がより一層求められている。
【課題を解決するための手段】
【0005】
本発明の情報処理装置は、魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、前記全方位画像から得られる部分画像を出力するためのパターンを設定する設定手段と、前記設定手段により設定されたパターンに基づいて、前記全方位画像から前記注目領域を含む部分画像を切り取る切り取り手段と、前記切り取り手段により切り取られた部分画像に対して歪補正処理を行う補正手段と、前記設定手段によって設定されたパターンに従って、前記補正手段により歪補正処理された部分画像を出力する出力手段と、を有し、前記設定手段は、さらに、前記魚眼レンズを有する撮像部の撮像方向に基づいて、前記パターンを設定し、前記撮像方向が水平方向である場合は、１つの部分画像を切り取り、前記撮像方向が垂直方向である場合には、２つの部分画像を切り取るパターンを設定する。
【発明の効果】
【0006】
本発明によれば、撮像シーン等に適した、画像を出力することができる。
【図面の簡単な説明】
【0007】
【図1】カメラのハードウェア構成の一例を示す図である。
【図2】撮像部の一例を示す図である。
【図3】カメラのソフトウェア構成の一例を示す図である。
【図4】撮像画像の一例を示す図である。
【図5】出力部により出力される画像の一例を示す図である。
【図6】撮像画像の一例を示す図である。
【図7】出力部により出力される画像の一例を示す図である。
【図8】カメラの情報処理の一例を示すフローチャートである。
【図9】カメラの情報処理の一例を示すフローチャートである。
【図10】パターン１の一例を示す図である。
【図11】歪補正処理が行われた画像の一例を示す図である。
【図12】パターン２の一例を示す図である。
【図13】歪補正処理が行われた画像の一例を示す図である。
【図14】パターン３の一例を示す図である。
【図15】歪補正処理が行われた画像の一例を示す図である。
【図16】出力部により出力される画像の一例を示す図である。
【図17】撮像システムを構成する装置のハードウェア構成の一例を示す図である。
【図18】撮像システムを構成する装置のソフトウェア構成の一例を示す図である。
【図19】クライアント装置の情報処理の一例を示すフローチャートである。
【図20】撮像画像の一例を示す図である。
【図21】パターン２以外のパターンの一例を示す図である。
【図22】クライアント装置の情報処理の一例を示すフローチャートである。
【図23】パターン３の一例を示す図である。
【図24】歪補正処理が行われた画像の一例を示す図である。
【図25】パターン２の一例を示す図である。
【図26】歪補正処理が行われた画像の一例を示す図である。
【図27】パターン３の一例を示す図である。
【図28】歪補正処理が行われた画像の一例を示す図である。
【図29】パターン３の一例を示す図である。
【図30】歪補正処理が行われた画像の一例を示す図である。
【図31】パターン３の一例を示す図である。
【図32】パターン３の一例を示す図である。
【図33】歪補正処理が行われた画像の一例を示す図である。
【図34】パターン１の一例を示す図である。
【図35】歪補正処理が行われた画像の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について図面に基づいて説明する。以下では、撮像装置としてカメラを用いる場合について説明する。
【0009】
＜実施形態１＞
図１は、カメラ１０のハードウェア構成の一例を示す図である。カメラ１０は魚眼カメラである。カメラ１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、入力部１４と、表示部１５と、通信部１６と、を含む。撮像部１１は、被写体像を撮像する。撮像部１１の詳細は後述する図２に示す。ＣＰＵ１２は、カメラ１０の全体を制御する。メモリ１３は、プログラム、撮像部１１で撮像された画像、設定値等を記憶する。入力部１４は、ユーザーの選択操作等を入力し、ＣＰＵ１２に渡す。表示部１５は、ＣＰＵ１２の制御に基づき画面等を表示する。通信部１６は、カメラ１０をネットワークに接続し、他の装置との通信等を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することによって後述する図３に示すカメラ１０のソフトウェア構成、及び後述する図８のフローチャートの処理が実現される。カメラ１０は、情報処理装置の一例である。カメラ１０からネットワークを介して取得した全方位画像を蓄積する録画サーバ、又は全方位画像を表示させるための端末装置に対しても以下の実施形態を適用することが可能である。
図１は、カメラ１０のハードウェア構成の一例を示す図である。カメラ１０は魚眼カメラである。カメラ１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、入力部１４と、表示部１５と、通信部１６と、を含む。撮像部１１は、被写体像を撮像する。撮像部１１の詳細は後述する図２に示す。ＣＰＵ１２は、カメラ１０の全体を制御する。メモリ１３は、プログラム、撮像部１１で撮像された画像、設定値等を記憶する。入力部１４は、ユーザーの選択操作等を入力し、ＣＰＵ１２に渡す。表示部１５は、ＣＰＵ１２の制御に基づき画面等を表示する。通信部１６は、カメラ１０をネットワークに接続し、他の装置との通信等を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することによって後述する図３に示すカメラ１０のソフトウェア構成、及び後述する図８のフローチャートの処理が実現される。カメラ１０は、情報処理装置の一例である。カメラ１０からネットワークを介して取得した全方位画像を蓄積する録画サーバ、又は全方位画像を表示させるための端末装置に対しても以下の実施形態を適用することが可能である。
【0010】
図２は、撮像部１１の一例を示す図である。撮像部１１は、数枚のレンズ群からなるレンズ２０１、ＣＣＤやＣＭＯＳ等の撮像素子２０２を備える。また、撮像部１１は、雑音軽減を行う相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：ＣＤＳ）回路２０３を備える。また、撮像部１１は、カメラの利得制御を自動で行うゲインコントロールアンプ回路（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：ＡＧＣ）２０４を備える。また、撮像部１１は、アナログ信号をデジタル信号へと変換を行うＡ／Ｄ変換２０５を備える。
【0011】
図３は、カメラ１０のソフトウェア構成の一例を示す図である。撮像制御部１０１は、撮像部１１を制御し、撮像部１１からの信号を画像生成部１０２に渡す。画像生成部１０２は、受け取った信号に基づき撮像画像を生成する。判定部１０３は、撮像画像から撮像シーンを判定する。パターン設定部１０４は、撮像画像から部分画像を切り取り、更に歪み補正した画像を出力画像上に配置するパターンを設定する。切り取り位置設定部１０５は、設定されたパターンに従って撮像画像の切り取り位置を設定する。切り取り部１０６は、切り取り位置設定部１０５で設定された切り取り位置で画像を切り取る。歪補正処理部１０７は、切り取り部１０６により切り取られた画像に対応する歪補正を行い、パターン設定部１０４において設定されたパターンに基づいて切り取られた画像を出力画像として配置する処理を行う。出力部１０８は、歪補正処理部１０７で歪補正された画像信号を出力する。
【0012】
上述した各構成要素の動作について詳しく説明を行う。
まず、撮像装置について、図２及び図３を用いて詳しく説明を行う。撮像素子２０２は、撮像光学系としてのレンズ２０１を介して結像された被写体像を電気信号に変換する。レンズ２０１は歪みが多く画角が広い広角レンズや魚眼レンズでもよい。本実施形態では、撮像装置として魚眼レンズが備えられる魚眼カメラの場合に関して説明する。ＣＤＳ回路２０３は、撮像素子２０２から出力された電気信号に対して相関二重サンプリング処理等を実施する。ＡＧＣアンプ２０４は、ＣＤＳ回路２０３から出力された電気信号に対して増幅処理等を行う。Ａ／Ｄ変換２０５は、ＡＧＣアンプ２０４により増幅処理されたアナログ信号をデジタル信号へと変換する。撮像制御部１０１は、撮像部１１から得られた輝度信号及び色信号を画像生成部１０２に渡す。画像生成部１０２は、得られた輝度信号及び色信号からＲＧＢ画像やＹＵＶ画像等の画像信号を生成する。判定部１０３は、画像生成部１０２で生成された画像から注目領域の数、及び注目領域の位置を判定する。パターン設定部１０４は、判定部１０３で判定された画像内の注目領域の数及び位置（あるいは分布）に基づいてパターンを設定する。切り取り位置設定部１０５は、パターン設定部１０４において設定されたパターンに対応して、判定部１０３で判定された画像内の注目領域が切り取られる位置を設定する。このとき、１つの注目領域が分断されないような切り取り位置が設定される。切り取り部１０６は、切り取り位置設定部１０５で設定された切り取り位置を用いて画像生成部１０２で生成された画像から一部の画像を切り取る。歪補正処理部１０７は、切り取り部１０６で切り取られた画像に対して、種々の幾何学的変換等の歪補正処理を行う。そして、歪補正処理部１０７は、パターン設定部１０４で設定されたパターンに基づいて、歪み補正された画像を出力画像として配置する処理を実行する。
まず、撮像装置について、図２及び図３を用いて詳しく説明を行う。撮像素子２０２は、撮像光学系としてのレンズ２０１を介して結像された被写体像を電気信号に変換する。レンズ２０１は歪みが多く画角が広い広角レンズや魚眼レンズでもよい。本実施形態では、撮像装置として魚眼レンズが備えられる魚眼カメラの場合に関して説明する。ＣＤＳ回路２０３は、撮像素子２０２から出力された電気信号に対して相関二重サンプリング処理等を実施する。ＡＧＣアンプ２０４は、ＣＤＳ回路２０３から出力された電気信号に対して増幅処理等を行う。Ａ／Ｄ変換２０５は、ＡＧＣアンプ２０４により増幅処理されたアナログ信号をデジタル信号へと変換する。撮像制御部１０１は、撮像部１１から得られた輝度信号及び色信号を画像生成部１０２に渡す。画像生成部１０２は、得られた輝度信号及び色信号からＲＧＢ画像やＹＵＶ画像等の画像信号を生成する。判定部１０３は、画像生成部１０２で生成された画像から注目領域の数、及び注目領域の位置を判定する。パターン設定部１０４は、判定部１０３で判定された画像内の注目領域の数及び位置（あるいは分布）に基づいてパターンを設定する。切り取り位置設定部１０５は、パターン設定部１０４において設定されたパターンに対応して、判定部１０３で判定された画像内の注目領域が切り取られる位置を設定する。このとき、１つの注目領域が分断されないような切り取り位置が設定される。切り取り部１０６は、切り取り位置設定部１０５で設定された切り取り位置を用いて画像生成部１０２で生成された画像から一部の画像を切り取る。歪補正処理部１０７は、切り取り部１０６で切り取られた画像に対して、種々の幾何学的変換等の歪補正処理を行う。そして、歪補正処理部１０７は、パターン設定部１０４で設定されたパターンに基づいて、歪み補正された画像を出力画像として配置する処理を実行する。
【0013】
ここで、図４～図７を用いて切り取り部１０６で切り取り処理された画像及び歪補正処理部１０７で歪補正処理された画像に関して説明する。図４の全方位画像３０は、屋内の天井に設置された魚眼レンズを備えた魚眼カメラで、床に対して垂直な方向を撮像して得られた画像の例である。切り取り部１０６は、図４の全方位画像３０の破線で区切られた領域３００の部分を除外して、同じく破線で区切られた領域３０１、領域３０２をそれぞれ切り取る。そして歪補正処理部１０７が歪補正処理を行い、領域３０２を上下反転させて繋げた出力画像の例を図５に示している。図４は、領域３００を無効領域とみなして出力画像とせず、注目領域が含まれる領域３０１及び領域３０２を有効領域とみなして出力画像とする例である。更に、他の例として、図６に示すように、切り取り部１０６が注目領域である領域４００～４０２を部分的に切り取り、歪補正処理部１０７が歪補正処理を行う例が考えられる。図７の領域４００～４０２には、図６に示す切り取り領域４００～４０２の画像を歪み補正処理して出力された画像が配置されている。図６の例では、図６の領域４００～４０２を有効領域とみなして出力画像として用いられ、それ以外を無効領域とみなして出力画像としては用いられていない。なお、出力部１０８が３つの部分画像を合成して１つの画像として出力してもよいし、これら３つの部分画像を複数のストリームとして出力してもよい。４つ以上の場合も同様に、例えば出力部１０８が出力する画像の大きさに合わせて拡大縮小した後に各切り出し画像を合成して出力してもよいし、複数ストリームとして出力してもよい。出力部１０８は、歪補正処理部１０７で歪補正処理された画像信号を出力する。画像信号の出力先としてはカメラ１０に内蔵されているディスプレイでもよいし、通信部１６を介してネットワークに接続されている外部の端末装置でもよい。
【0014】
図８のフローチャートを用いて、カメラ１０が撮像画像の注目領域の条件に応じて画像を出力するためのパターン及び切り取り位置を設定する際の例を説明する。Ｓ１０１において、判定部１０３は、画像生成部１０２で生成された画像を取得する。この画像は歪み補正処理前の全方位画像である。次に、Ｓ１０２において、判定部１０３は、取得した歪み補正処理前の全方位画像から注目領域を抽出する。次に、Ｓ１０３において、判定部１０３は、注目領域が１箇所以上あるか否かを判定する。判定部１０３は、画像内の顔や人物の分布を算出し、画像内の顔や人物の数が設定された数より多い領域を注目領域として判定してもよいし、密集度が設定された値より高い領域を注目領域として判定してもよい。また、判定部１０３は、画像は一枚の画像から顔や人物の滞留度数や動線密度を算出してもよいし、複数枚の画像から顔や人物の滞留度数や動線密度を算出してもよい。なお、パターンマッチングを用いて顔あるいは人物を検出する場合、一旦歪み補正を行った画像に対して顔あるいは人物を検出する必要がある。また、判定部１０３は、解析を単純化して、所定サイズ以上の前景領域の数をカウントしてもよい。本実施形態では、判定部１０３は、歪み補正処理前の全方位画像内の周辺領域に対して、所定の大きさを有する領域内に人物が所定数（例えば３人）以上いる領域を注目領域と判定する。一方、判定部１０３は、歪み補正処理前の全方位画像内の中心領域に対して、当該設定された大きさを有する領域内に人物が１人以上存在する領域を注目領域とする。これは、歪み補正処理前の画像では、周辺部より中心部に存在する人物がより大きく撮影されるためである。前述の領域の設定された大きさは、予め全体画像に対して占める割合として決められメモリ１３に記憶されていてもよいし、入力部１４等を介したユーザー操作に応じて、メモリ１３等に記憶されていてもよい。判定部１０３は、注目領域が画像上に存在しない場合（Ｓ１０３でＮｏ）は、Ｓ１０４に遷移し、注目領域が１箇所以上画像上に存在する場合（Ｓ１０３でＹｅｓ）は、Ｓ１０５に遷移する。Ｓ１０４において、パターン設定部１０４は、予めユーザーによって設定されたパターンを設定する。また、切り取り位置設定部１０５は、当該パターンに対応する切り取り位置を設定する。ここで、予めユーザーによって設定されたパターンは、パターン１、パターン２、パターン３の内、何れか１つでもよいし、切り取り前の全方位画像であってもよい。本実施形態では、予めユーザーによって設定されたパターンとして、画像全体が俯瞰できる切り取り前の全方位画像とし、この全方位画像が出力されるものとする。Ｓ１０５において、判定部１０３は、注目領域が２箇所以上あるか否かを判定する。判定部１０３は、注目領域が２箇所以上存在しない場合（Ｓ１０５でＮｏ）は、Ｓ１０６に遷移し、注目領域が２箇所以上存在する場合（Ｓ１０５でＹｅｓ）は、Ｓ１０７に遷移する。
【0015】
Ｓ１０６において、パターン設定部１０４は、１箇所の注目領域に対応するため、分割画像を出力せずに１つの画像として出力するパターン１を設定する。また、切り取り位置設定部１０５は、設定されたパターン１に対応するように、１つの注目領域が含まれるような切り取り位置を設定する。Ｓ１０７において、判定部１０３は、注目領域が３箇所以上あるか否かを判定する。判定部１０３は、注目領域が３箇所以上存在しない場合（Ｓ１０７でＮｏ）は、Ｓ１０８に遷移し、注目領域が３箇所以上存在する場合（Ｓ１０７でＹｅｓ）は、Ｓ１０９に遷移する。Ｓ１０８において、パターン設定部１０４は、２箇所の注目領域に対応させるため、２画面分割画像（ダブルパノラマ）を生成し、出力するためのパターン２を設定する。また、切り取り位置設定部１０５は、設定されたパターン２に対応するように、検出された注目領域のそれぞれが分断されないような切り取り位置を設定する。Ｓ１０９において、パターン設定部１０４は、３箇所以上の注目領域に対応させるため、４画面分割画像を生成し、出力するためのパターン３を設定する。また、切り取り位置設定部１０５は、設定されたパターンに対応するように、注目領域を切り取る。
【0016】
図９のフローチャートを用いて、カメラ１０が設定されたパターン及び切り取り位置に基づいて画像を切り取り、歪補正を行い、出力する例を説明する。Ｓ１５０において、切り取り部１０６は、パターン設定部１０４で設定されたパターン及び切り取り位置設定部１０５で設定された位置に基づいて、撮像画像より注目領域を切り取る。切り取り部１０６は、Ｓ１０６で設定されたパターン１及び切り取り位置の例では図１０の全体画像から１箇所の破線で囲まれた左上に位置する注目領域５０１を切り取る。また、切り取り部１０６は、Ｓ１０８で設定されたパターン２及び切り取り位置の例では図１２の全体画像から２箇所の破線で囲まれた真ん中の無効領域を除く、半円で表される領域６０１及び６０２から部分画像を切り取る。すなわち、切り取られた２枚の画像のそれぞれ１つずつ注目領域が含まれるように切り取り位置を設定する。また、切り取り部１０６は、Ｓ１０９で設定されたパターン３及び切り取り位置の例では図１４の全体画像から３箇所の破線で囲まれた注目領域７０１、７０２、７０３を切り取る。Ｓ１５１において、歪補正処理部１０７は、Ｓ１５０で切り取られた画像に対して歪補正処理を実行する。例えば、歪補正処理部１０７は、パターンがパターン１、又はパターン３であった場合は、パターンに応じた歪み補正処理を実行する。また、例えば、歪補正処理部１０７は、設定されたパターンがパターン２であった場合は、パターン及び切り取り位置に応じた歪み補正処理を実行する。ここで、歪み補正処理とは、例えば、画像の拡大縮小や幾何学的変換等の処理である。Ｓ１５２において、出力部１０８は、Ｓ１５１で歪補正処理された画像を出力する。図１１は、Ｓ１０６の設定に従って図１０の注目領域５０１の画像が切り取られ、歪補正処理され、後述の図１７に示すクライアント装置２０へ出力された一例を示す図である。また、図１３は、Ｓ１０６の設定に従って図１２の領域６０１及び６０２が切り取られ、歪補正処理され、出力された一例を示す図である。図１３に示すように、パターン２ではダブルパノラマと呼ばれる２画面分割画像が出力されることになる。また、図１５は、Ｓ１０９の設定に従って図１４の注目領域７０１、７０２、７０３が切り取られ、歪補正処理され、出力された一例を示す図である。すなわち、パターン３では、４画面分割画像が出力されることになる。なお、パターン３が選択された場合であって、注目領域が３つしか存在しない場合、空き領域が生じる。この場合、出力部１０８は、図１６の画像のように切り取り画像７０１、７０２、７０３を並べ替え、空いている領域に対して図１６の８０１のように撮像画像である全方位画像を縮小して出力してもよい。この全方位画像は注目領域が五か所以上存在する場合に有効である。なお、図８に示すフローチャートでは、注目領域が３箇所以上存在する場合、パターン３が選択される。注目領域が５箇所以上存在する場合、１つずつ注目領域を分割画像に割り当てた場合、出力できない注目領域が生じることになる。本実施の形態では、注目領域が５箇所以上存在する場合、隣接する注目領域同士をグループ化して４グループ作成すればよい。また、注目領域が５箇所以上存在する場合、あるいは注目領域がオーバーラップして最適な切り取り位置が設定できない場合、部分画像を出力することなく、全体が俯瞰可能なように歪み補正前の全方位画像を出力してもよい。
【0017】
本実施形態の各パターンはそれぞれ切り取り時の例である。切り取り数及び切り取り位置の異なる他のパターンでもよい。また、各々のパターンの変更タイミングは、判定部１０３の判定結果に対して即時に反映してもよいし、予め決められた一定間隔でもよいし、ユーザーが任意に変更してもよい。切り取られた画像に対して歪補正処理部１０７で歪補正処理が行われ、出力部１０８で画像が出力される。
【0018】
以上説明したように、本実施形態の処理によれば、注目領域（注目被写体）が画像切り取りにより見切れることを防止することができる。また、ユーザーが設定することなく撮像シーン等に応じた適切な切り取り処理及び歪補正処理を行った画像を出力することができる。よって、撮像シーン等に応じて画像のパターン及び歪補正処理を適切に変更しているので監視に好適な画像を提供することができる。
【0019】
＜実施形態２＞
図１７は、撮像システムを構成する装置のハードウェア構成の一例を示す図である。撮像システムでは、カメラ１０とクライアント装置２０とがネットワークを介して通信可能に接続されている。ネットワークは有線であっても無線であってもよい。カメラ１０のハードウェア構成は実施形態１と同様である。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することによって後述する図１８に示すカメラ１０のソフトウェア構成等が実現される。クライアント装置２０は、ハードウェア構成として、ＣＰＵ２１と、メモリ２２と、入力部２３と、表示部２４と、通信部２５と、を含む。ＣＰＵ２１は、クライアント装置２０の全体を制御する。メモリ２２は、プログラム、カメラ１０から送信された画像、設定値等を記憶する。入力部２３は、ユーザーの選択操作等を入力し、ＣＰＵ２１に渡す。表示部２４は、ＣＰＵ２１の制御に基づき画面等を表示する。通信部２５は、クライアント装置２０をネットワークに接続し、他の装置（例えば、カメラ１０）との通信等を制御する。ＣＰＵ２１がメモリ２２に記憶されたプログラムに基づき処理を実行することによって後述する図１８に示すクライアント装置２０のソフトウェア構成、及び後述する図１９のフローチャートの処理が実現される。クライアント装置２０は、情報処理装置の一例である。
図１７は、撮像システムを構成する装置のハードウェア構成の一例を示す図である。撮像システムでは、カメラ１０とクライアント装置２０とがネットワークを介して通信可能に接続されている。ネットワークは有線であっても無線であってもよい。カメラ１０のハードウェア構成は実施形態１と同様である。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することによって後述する図１８に示すカメラ１０のソフトウェア構成等が実現される。クライアント装置２０は、ハードウェア構成として、ＣＰＵ２１と、メモリ２２と、入力部２３と、表示部２４と、通信部２５と、を含む。ＣＰＵ２１は、クライアント装置２０の全体を制御する。メモリ２２は、プログラム、カメラ１０から送信された画像、設定値等を記憶する。入力部２３は、ユーザーの選択操作等を入力し、ＣＰＵ２１に渡す。表示部２４は、ＣＰＵ２１の制御に基づき画面等を表示する。通信部２５は、クライアント装置２０をネットワークに接続し、他の装置（例えば、カメラ１０）との通信等を制御する。ＣＰＵ２１がメモリ２２に記憶されたプログラムに基づき処理を実行することによって後述する図１８に示すクライアント装置２０のソフトウェア構成、及び後述する図１９のフローチャートの処理が実現される。クライアント装置２０は、情報処理装置の一例である。
【0020】
図１８は、撮像システムを構成する装置のソフトウェア構成の一例を示す図である。カメラ１０の撮像部１１、画像生成部１０２に関しては、実施形態１と同様の構成のため説明を省略する。撮像方向検出部１２１は、撮像部１１の撮像方向を検出する。例えば、撮像方向検出部１２１は、ジャイロセンサの出力から撮像している角度を取得してもよい。クライアント装置２０の判定部１０３、パターン設定部１０４、切り取り位置設定部１０５、切り取り部１０６、歪補正処理部１０７、出力部１０８に関しては、実施形態１のカメラ１０の構成と同様であるため説明を省略する。通信処理部１２２は、カメラ１０と通信して、画像生成部１０２で生成された画像及び撮像方向検出部１２１で検出された撮像方向を受信する。
【0021】
次に、図１９に示すフローチャートを用いて、カメラ１０及びクライアント装置２０で構成される撮像システムが撮像画像の注目領域の条件に応じて画像のパターン及び切り取り位置を設定し出力する際の例を説明する。図１９のフローチャートのＳ１０１～Ｓ１０９に関しては、それぞれ実施形態１と同様の処理内容、かつ、処理フローのため説明を省略する。また、図１０～図１５のパターン等に関しては実施形態１と同様の処理内容のため説明を省略する。
Ｓ２０１では、判定部１０３は、撮像方向検出部１２１で検出され、通信処理部１２２を介して受信した撮像部１１の撮像方向に基づき撮像部１１の撮像方向が水平方向かどうかを判定する。このとき撮像方向が水平方向というのは、例えばカメラ１０が壁面に設置されている場合等であり、それ以外は天井に設置されて垂直方向を撮像している場合等である。判定部１０３は、撮像方向が水平方向であると判定すると、Ｓ１０６に遷移し、撮像方向が水平方向でないと判定すると、Ｓ１０８に遷移する。パターン２では全体画像の中心部分を除いた周辺画像に対して切り取り処理及び歪補正処理を行う。したがって、撮像方向が水平方向である場合、Ｓ１０６において、パターン設定部１０４は、パターン１を設定する。また、切り取り位置設定部１０５は、設定されたパターン１に対応するように２つの注目領域を含むような１つの部分画像を切り取る切り取り位置を設定する。このとき、注目領域は全方位画像の上下領域を除く中央部に出現すると考えられるので、全方位画像の中央部を切り取るように切り取り位置が設定される。一方で、撮像部１１が水平方向でない、すなわち、例えば、垂直方向を向いている場合、Ｓ１０８において、パターン設定部１０４は、パターン２を設定する。また、切り取り位置設定部１０５は、設定されたパターン２に対応するように、切り取られた２つの部分画像にはそれぞれ１つずつ注目領域が含まれるように切り取り位置が設定される。Ｓ２０２において、判定部１０３は、図２０のように全体画像の中央部に特定の動体等の注目領域が出現したか否かを判定する。判定部１０３は、全体画像の中央部に特定の動体等の注目領域が出現した場合（Ｓ２０２でＹｅｓ）は、Ｓ２０３に遷移し、全体画像の中央部に特定の動体等の注目領域が出現しない場合（Ｓ２０２でＮｏ）、図１９のフローチャートの処理を終了する。Ｓ２０３において、パターン設定部１０４は、一時的にパターン２以外のパターン、例えば図２１のようにパターン３を設定する。また、切り取り位置設定部１０５は、設定されたパターン３に従って、注目領域がそれぞれ含まれるように３つの部分画像が切り取られる位置を設定する。ここで、判定部１０３は、顔認識等で特定の被写体を特定の動体として認識してもよいし、動体の大きさ又は速度が予め決められた閾値又はユーザーが設定した閾値を超える場合に特定の動体と認識してもよい。また、画像の中央部とは、例えば、画像の中心から設定された範囲内のことである。パターン２は、第１のパターンの一例である。Ｓ２０３の処理は、第１のパターン以外のパターンを設定する処理の一例である。
Ｓ２０１では、判定部１０３は、撮像方向検出部１２１で検出され、通信処理部１２２を介して受信した撮像部１１の撮像方向に基づき撮像部１１の撮像方向が水平方向かどうかを判定する。このとき撮像方向が水平方向というのは、例えばカメラ１０が壁面に設置されている場合等であり、それ以外は天井に設置されて垂直方向を撮像している場合等である。判定部１０３は、撮像方向が水平方向であると判定すると、Ｓ１０６に遷移し、撮像方向が水平方向でないと判定すると、Ｓ１０８に遷移する。パターン２では全体画像の中心部分を除いた周辺画像に対して切り取り処理及び歪補正処理を行う。したがって、撮像方向が水平方向である場合、Ｓ１０６において、パターン設定部１０４は、パターン１を設定する。また、切り取り位置設定部１０５は、設定されたパターン１に対応するように２つの注目領域を含むような１つの部分画像を切り取る切り取り位置を設定する。このとき、注目領域は全方位画像の上下領域を除く中央部に出現すると考えられるので、全方位画像の中央部を切り取るように切り取り位置が設定される。一方で、撮像部１１が水平方向でない、すなわち、例えば、垂直方向を向いている場合、Ｓ１０８において、パターン設定部１０４は、パターン２を設定する。また、切り取り位置設定部１０５は、設定されたパターン２に対応するように、切り取られた２つの部分画像にはそれぞれ１つずつ注目領域が含まれるように切り取り位置が設定される。Ｓ２０２において、判定部１０３は、図２０のように全体画像の中央部に特定の動体等の注目領域が出現したか否かを判定する。判定部１０３は、全体画像の中央部に特定の動体等の注目領域が出現した場合（Ｓ２０２でＹｅｓ）は、Ｓ２０３に遷移し、全体画像の中央部に特定の動体等の注目領域が出現しない場合（Ｓ２０２でＮｏ）、図１９のフローチャートの処理を終了する。Ｓ２０３において、パターン設定部１０４は、一時的にパターン２以外のパターン、例えば図２１のようにパターン３を設定する。また、切り取り位置設定部１０５は、設定されたパターン３に従って、注目領域がそれぞれ含まれるように３つの部分画像が切り取られる位置を設定する。ここで、判定部１０３は、顔認識等で特定の被写体を特定の動体として認識してもよいし、動体の大きさ又は速度が予め決められた閾値又はユーザーが設定した閾値を超える場合に特定の動体と認識してもよい。また、画像の中央部とは、例えば、画像の中心から設定された範囲内のことである。パターン２は、第１のパターンの一例である。Ｓ２０３の処理は、第１のパターン以外のパターンを設定する処理の一例である。
【0022】
以上説明したように、本実施形態の処理によれば、実施形態１の効果に加え、特定の動体の監視に好適な画像を提供することができる。
【0023】
＜実施形態３＞
実施形態３では、撮像画像の注目領域の条件に応じてパターン及びパターンに対応する切り取り位置を設定する際の実施形態１及び２とは異なる場合の例を説明する。カメラ１０及びクライアント装置２０を構成するハードウェア構成及びソフトウェア構成に関しては上述の実施形態と同様のため説明を省略する。ＣＰＵ２１がメモリ２２に記憶されたプログラムに基づき処理を実行することによって後述する図２２のフローチャートの処理が実現される。
次に、図２２に示すフローチャートを用いて、カメラ１０及びクライアント装置２０で構成される撮像システムが撮像画像の注目領域の条件に応じて画像のパターン及び切り出し位置を設定し、出力する際の例を説明する。フローチャートのＳ１０６～Ｓ１０９、Ｓ２０１に関しては、それぞれ実施形態１及び実施形態２と同様の処理内容、かつ、処理フローである。また、実施形態１及び実施形態２のフローチャートでそれぞれ説明したＳ１０１～Ｓ１０５、Ｓ２０２、Ｓ２０３の処理を図２２に追加してもよい。
図２３～図２８のパターン等に関しては実施形態１と同様のため説明を省略する。
実施形態３では、撮像画像の注目領域の条件に応じてパターン及びパターンに対応する切り取り位置を設定する際の実施形態１及び２とは異なる場合の例を説明する。カメラ１０及びクライアント装置２０を構成するハードウェア構成及びソフトウェア構成に関しては上述の実施形態と同様のため説明を省略する。ＣＰＵ２１がメモリ２２に記憶されたプログラムに基づき処理を実行することによって後述する図２２のフローチャートの処理が実現される。
次に、図２２に示すフローチャートを用いて、カメラ１０及びクライアント装置２０で構成される撮像システムが撮像画像の注目領域の条件に応じて画像のパターン及び切り出し位置を設定し、出力する際の例を説明する。フローチャートのＳ１０６～Ｓ１０９、Ｓ２０１に関しては、それぞれ実施形態１及び実施形態２と同様の処理内容、かつ、処理フローである。また、実施形態１及び実施形態２のフローチャートでそれぞれ説明したＳ１０１～Ｓ１０５、Ｓ２０２、Ｓ２０３の処理を図２２に追加してもよい。
図２３～図２８のパターン等に関しては実施形態１と同様のため説明を省略する。
【0024】
Ｓ３０１において、判定部１０３は、注目領域が５箇所以上あるか否かを判定する。判定部１０３は、注目領域が５箇所以上存在しない場合（Ｓ３０１でＮｏ）は、Ｓ１０９に遷移し、注目領域が５箇所以上存在する場合（Ｓ３０１でＹｅｓ）は、Ｓ３０２に遷移する。Ｓ１０９において、図２３のように注目領域が５箇所未満の４箇所の場合に、パターン設定部１０４は、図２４のようにパターン３を選択し、領域１００１～領域１００４のそれぞれの対応関係で分割する。また、注目領域の数を５箇所の場合としているが、パターン設定部１０４で分割可能な分割数を超える数であればよい。Ｓ３０２において、判定部１０３は、撮影画像内に優先領域が設定されているか否かを判定する。判定部１０３は、撮影画像内に優先領域が設定されていない場合（Ｓ３０２でＮｏ）は、Ｓ３０３に遷移し、撮影画像内に優先領域が設定されている場合（Ｓ３０２でＹｅｓ）は、Ｓ３０６に遷移する。図２５は注目領域が５箇所ある場合の例であり、判定部１０３は、５箇所の位置関係を判定する。パターン２で５箇所すべての注目領域を出力可能なので、Ｓ３０３において、パターン設定部１０４は、図２６のようにパターン２を選択する。このとき、切り取り位置設定部１０５は、それぞれの注目領域が分断されない位置に切り取り位置を設定する。その結果、画像切り取り部１０６は、それぞれの注目領域が分断されない位置で領域１１０１と領域１１０２とを切り取る。また、歪補正処理部１０７は、歪み補正処理を行う。Ｓ３０４において、判定部１０３は、図２７のように注目領域である被写体が中央に位置する領域１１０３に侵入したか否かを判定する。判定部１０３は、被写体が中央に位置する領域に侵入した場合（Ｓ３０４でＹｅｓ）は、Ｓ３０５に遷移し、被写体が中央に位置する領域に侵入しない場合（Ｓ３０４でＮｏ）は、図２２のフローチャートの処理を終了する。Ｓ３０５において、パターン設定部１０４は、図２８のように図２７の領域１１０１～領域１１０３のすべての領域を含むことができる領域１１０４として全方位画像を一時的に選択してもよい。また、被写体が領域１１０３から消失した場合は、パターン設定部１０４は、図２６のようなパターン２が再設定されることになる。
【0025】
Ｓ３０６において、判定部１０３は、撮影画像内に検知領域が設定されている場合、設定されている検知領域内に検知対象が存在するか否かを判定する。判定部１０３は、撮影画像内に予め設定されている検知領域内に検知対象が存在しない場合（Ｓ３０６でＮｏ）は、Ｓ３０７に遷移し、撮影画像内に予め設定されている検知領域内に検知対象が存在する場合（Ｓ３０６でＹｅｓ）は、Ｓ３０８に遷移する。
図２９は、優先領域が設定されており、検知領域が設定されていない場合を示す例である。図２９の領域１２０５が優先領域として設定されている。優先領域は、その領域が注目領域として検出しているか否かにかかわらず、優先領域に対応する部分画像が切り取られ、出力される領域である。但し、優先領域は画像中の任意の領域にも設定することができる。また、優先領域は、複数設定されてもよい。図３１は、更に、画像中に設定されている検知領域１２０６の一例を示している。ここでいう検知領域は、人物が領域内に侵入又は領域から消失等の特定のイベントを検知するための領域である。図３２は、検知領域１２０６内に人物の侵入が検出されていることを表している。
Ｓ３０８において、パターン設定部１０４は、図３２に示される優先領域１２０５（１２０２）及び検知領域１２０６（１２０７）を選択し、更にステップ１０２において抽出された注目領域の中からより注目度の高い領域を選択する。そしてパターン設定部１０４は、図３３の画像の配置になるようにパターン３を設定する。このとき注目領域のうち、より注目度の高い領域として人数の多い領域１２０１及び１２０３が選択される。そして、切り取り位置設定部１０５は、優先領域１２０５、検知領域１２０６、及び領域１２０１及び領域１２０３の部分画像が切り取られる切り取り位置を設定する。その結果、画像切り取り部１０６は、領域１２０１、１２０３、１２０５、及び１２０６から部分画像を切り取る。この処理は、全方位画像内に優先領域が設定されている場合、画像切り取り部１０６が、優先領域が注目領域として検出しているか否かにかかわらず、優先領域に対応する部分画像を優先的に切り取る処理の一例である。また、この処理は、全方位画像内に検知領域が設定されている場合、画像切り取り部１０６が、検知領域が他の注目領域よりも注目度の低い注目領域として検出されたいた場合であっても、検知領域に対応する部分画像を優先的に切り取る処理の一例でもある。歪補正処理部１０７は、それぞれ切り取られた部分画像に対して歪み補正処理を行う。
Ｓ３０７において、検知領域が設定されていない場合、図２９に示される優先領域１２０５を選択し、更にステップＳ１０２において抽出された注目領域の中からより注目度の高い領域１２０１、１２０３、及び１２０４を選択する。そして、パターン設定部１０４は、図３０の配置になるようにパターン３を設定する。図２９では、検知領域が設定されていないため、図３２の領域１２０７と同じ位置に存在する図２９の注目領域は選択されずに注目領域１２０４が代わりに選択されている。その理由は、注目領域１２０４内の人数の方が図３２の領域１２０７と同じ位置に存在する図２９の注目領域内の人数より多く注目度が高いからである。なお、図２９の左側にも注目領域１２０４と同じ人数が存在する注目領域があるが、本実施の形態では、人物の属性として「女性」が優先される設定となっているため注目領域１２０４が選択されることになる。
また、切り取り位置設定部１０５は、選択された領域１２０１、１２０２（１２０５）、１２０３、１２０４に対応する部分画像が切り取られるように切り取り位置を設定する。
図２９は、優先領域が設定されており、検知領域が設定されていない場合を示す例である。図２９の領域１２０５が優先領域として設定されている。優先領域は、その領域が注目領域として検出しているか否かにかかわらず、優先領域に対応する部分画像が切り取られ、出力される領域である。但し、優先領域は画像中の任意の領域にも設定することができる。また、優先領域は、複数設定されてもよい。図３１は、更に、画像中に設定されている検知領域１２０６の一例を示している。ここでいう検知領域は、人物が領域内に侵入又は領域から消失等の特定のイベントを検知するための領域である。図３２は、検知領域１２０６内に人物の侵入が検出されていることを表している。
Ｓ３０８において、パターン設定部１０４は、図３２に示される優先領域１２０５（１２０２）及び検知領域１２０６（１２０７）を選択し、更にステップ１０２において抽出された注目領域の中からより注目度の高い領域を選択する。そしてパターン設定部１０４は、図３３の画像の配置になるようにパターン３を設定する。このとき注目領域のうち、より注目度の高い領域として人数の多い領域１２０１及び１２０３が選択される。そして、切り取り位置設定部１０５は、優先領域１２０５、検知領域１２０６、及び領域１２０１及び領域１２０３の部分画像が切り取られる切り取り位置を設定する。その結果、画像切り取り部１０６は、領域１２０１、１２０３、１２０５、及び１２０６から部分画像を切り取る。この処理は、全方位画像内に優先領域が設定されている場合、画像切り取り部１０６が、優先領域が注目領域として検出しているか否かにかかわらず、優先領域に対応する部分画像を優先的に切り取る処理の一例である。また、この処理は、全方位画像内に検知領域が設定されている場合、画像切り取り部１０６が、検知領域が他の注目領域よりも注目度の低い注目領域として検出されたいた場合であっても、検知領域に対応する部分画像を優先的に切り取る処理の一例でもある。歪補正処理部１０７は、それぞれ切り取られた部分画像に対して歪み補正処理を行う。
Ｓ３０７において、検知領域が設定されていない場合、図２９に示される優先領域１２０５を選択し、更にステップＳ１０２において抽出された注目領域の中からより注目度の高い領域１２０１、１２０３、及び１２０４を選択する。そして、パターン設定部１０４は、図３０の配置になるようにパターン３を設定する。図２９では、検知領域が設定されていないため、図３２の領域１２０７と同じ位置に存在する図２９の注目領域は選択されずに注目領域１２０４が代わりに選択されている。その理由は、注目領域１２０４内の人数の方が図３２の領域１２０７と同じ位置に存在する図２９の注目領域内の人数より多く注目度が高いからである。なお、図２９の左側にも注目領域１２０４と同じ人数が存在する注目領域があるが、本実施の形態では、人物の属性として「女性」が優先される設定となっているため注目領域１２０４が選択されることになる。
また、切り取り位置設定部１０５は、選択された領域１２０１、１２０２（１２０５）、１２０３、１２０４に対応する部分画像が切り取られるように切り取り位置を設定する。
【0026】
Ｓ３０９において、判定部１０３は、２つの注目領域が検出され、その検出された２つの注目領域の位置が近接しているかどうかを判定する。判定部１０３は、歪み補正前の魚眼カメラの円形の撮像画像のうちの１つの半円内（中心領域を除く）に２つの注目領域が存在している場合、近接していると判定する。判定部１０３は、図３４に示すように、２つの注目領域が近接していると判定した場合、Ｓ１０６に進む。即ち、パターン１が選択され、切り取り位置として中心領域を除く半円が設定される。歪み補正後の画像は、図３５に示すようなシングルパノラマ画像となる。一方、判定部１０３は、図１２に示すように、２つの注目領域が近接していないと判定した場合、Ｓ１０８に進む。その結果、図１３に示すようなダブルパノラマ画像が表示されることになる。
【0027】
以上説明したように、本実施形態の処理によれば、実施形態１及び実施形態２の効果に加え、特定の領域及び物体、動体を考慮した監視に好適な画像を提供することができる。
なお、実施形態１～３で説明したパターンの選択は適宜組み合わせることが可能である。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
なお、実施形態１～３で説明したパターンの選択は適宜組み合わせることが可能である。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0028】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。
また、上述したソフトウェア構成の一部又は全てをハードウェア構成として装置に実装してもよい。
また、ハードウェア構成としてＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることとしてもよい。
例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。
また、上述したソフトウェア構成の一部又は全てをハードウェア構成として装置に実装してもよい。
また、ハードウェア構成としてＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることとしてもよい。
【0029】
以上、上述した各実施形態によれば、ユーザーが設定することなく撮像シーン等に応じてリアルタイムに適切な切り取り処理及び歪補正処理を行った画像を出力することができる。
【符号の説明】
【0030】
１０ カメラ
１１ 撮像部
１２ ＣＰＵ
１１ 撮像部
１２ ＣＰＵ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】