特許 6971589 撮像装置、撮像システム、その制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971589

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】撮像装置、撮像システム、その制御方法およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211111BHJP

   G03B 37/00 20210101ALI20211111BHJP

   G03B 15/00 20210101ALI20211111BHJP

   G06T 5/00 20060101ALI20211111BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/232 380

   H04N5/232

   G03B37/00 A

   G03B15/00 S

   G06T5/00 725

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2017-37717(P2017-37717)

(22)【出願日】2017年2月28日

(65)【公開番号】特開2018-142939(P2018-142939A)

(43)【公開日】2018年9月13日

【審査請求日】2019年12月25日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】小暮 憲太朗

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２００８−２４４７３０（ＪＰ，Ａ）

【文献】 特開２０１４−１０３５４７（ＪＰ，Ａ）

【文献】 特開２０１５−２２６１４９（ＪＰ，Ａ）

【文献】 特開２００８−１１８３８７（ＪＰ，Ａ）

【文献】 特開２０１７−０２８６３３（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０８７７７２（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１１／００７４９８２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１５／１６

Ｇ０３Ｂ ３５／００ −３７／０６

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

画像を生成する撮像手段と、
前記画像において評価値を算出する領域を評価エリアとして設定する評価エリア設定手段と、
前記評価エリアから評価値を算出する評価値算出手段と、
前記評価値算出手段による算出結果に応じて前記撮像手段を制御する制御手段と、
前記画像が出力されるときの出力画像について、複数種類の出力画像の中から少なくとも１つを選択する選択手段と、
前記選択手段で選択された前記出力画像の種類に応じて、前記評価エリア設定手段により設定する前記評価エリアを決定する決定手段と、
前記選択手段で選択された出力画像の種類に応じた歪補正処理を行う歪補正手段と、
ユーザにより選択された任意の評価エリアの情報を取得する取得手段と
を有し、
前記決定手段は、前記任意の評価エリアと、前記歪補正手段により歪補正処理が実行される領域である有効領域とが重なる領域を前記評価エリアとして決定し、
前記評価エリア設定手段は、前記任意の評価エリアと前記有効領域とが重なる領域の前記評価値算出手段で算出する評価値の重み付けを変更することを特徴とする撮像装置。

【請求項2】

前記歪補正処理には、前記画像の一部の領域を除外して歪補正処理をする歪補正処理を含むことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記歪補正処理には、前記画像の一部の領域を切り出し、切り出し画像に対して歪補正処理をする歪補正処理を含むことを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記評価値算出手段は、輝度成分、色成分、コントラスト値、エッジ成分、ノイズ成分の内の少なくとも１つを評価値として算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記制御手段は、前記評価値算出手段により算出された評価値に基づいて、前記撮像手段の露出制御、フォーカス制御、ホワイトバランス制御、画像処理のうちの少なくとも１つを行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

画像を生成する撮像手段と、
前記画像において評価値を算出する領域を評価エリアとして設定する評価エリア設定手段と、
前記評価エリアから評価値を算出する評価値算出手段と、
前記評価値算出手段による算出結果に応じて前記撮像手段を制御する制御手段と、
前記画像が出力されるときの出力画像について、複数種類の出力画像の中から少なくとも１つを選択する選択手段と、
前記選択手段で選択された前記出力画像の種類に応じて、前記評価エリア設定手段により設定する前記評価エリアを決定する決定手段と、
前記選択手段で選択された出力画像の種類に応じた歪補正処理を行う歪補正手段と、
ユーザにより選択された任意の評価エリアの情報を取得する取得手段と
を有し、
前記決定手段は、前記任意の評価エリアと、前記歪補正手段により歪補正処理が実行される領域である有効領域とが重なる領域を前記評価エリアとして決定し、
前記評価エリア設定手段は、前記任意の評価エリアと前記有効領域とが重なる領域の前記評価値算出手段で算出する評価値の重み付けを変更することを特徴とする撮像システム。

【請求項7】

画像を生成する撮像手段を有する撮像装置の制御方法であって、
前記画像において評価値を算出する領域を評価エリアとして設定する評価エリア設定ステップと、
前記評価エリアから評価値を算出する評価値算出ステップと、
前記評価値算出ステップにおける算出結果に応じて前記撮像手段を制御する制御ステップと、
前記画像が出力されるときの出力画像について、複数種類の出力画像の中から少なくとも１つを選択する選択ステップと、
前記選択ステップで選択された前記出力画像の種類に応じて、前記評価エリア設定ステップで設定する前記評価エリアを決定する決定ステップと、
前記選択ステップで選択された出力画像の種類に応じた歪補正処理を行う歪補正ステップと、
ユーザにより選択された任意の評価エリアの情報を取得する取得ステップとを有し、
前記決定ステップでは、前記任意の評価エリアと、前記歪補正ステップにおいて歪補正処理が実行される領域である有効領域とが重なる領域を前記評価エリアとして決定し、
前記評価エリア設定ステップでは、前記任意の評価エリアと前記有効領域とが重なる領域の前記評価値算出ステップで算出する評価値の重み付けを変更することを特徴とする撮像装置の制御方法。

【請求項8】

請求項７に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。

【請求項9】

請求項８に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像システム、その制御方法およびプログラムに関し、特に、被写体撮影時のカメラ制御に用いる画像信号の評価エリアの設定に関する。

【背景技術】

【0002】

従来、監視カメラの種別の１つとして広角レンズを搭載した全方位カメラが浸透してきている。１台で３６０°監視することができるので、台数・コストの削減につながる。また、全方位カメラ魚眼画像（全方位画像）をそのまま出力する以外に、複数種類の表示形態に対応して歪補正処理を施した画像や映像を出力可能なカメラが一般的である。また、人体検知や動体検知といった各種Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ａｎａｌｙｓｉｓ（以下、ＶＣＡ）等を使用する際には、魚眼画像（全方位画像）に対して歪補正を施した後の画像を用いることも多い。更に、複数種類の歪補正処理を行った複数の映像を出力可能であり、撮影環境や設置環境に応じた監視ができることも特徴のひとつである。

【0003】

全方位カメラで切り出し範囲（表示範囲）を設定可能な構成において、特許文献１には、歪補正後の撮像画像における分割領域毎に画像処理パラメータを算出し、切り出し領域の画像に対して混合補正を行う方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−２２６１４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、全方位画像全体を１つの矩形に補正するように歪補正処理を行う構成について記載されているだけで、それ以外の異なる歪補正を施す場合については開示されていない。すなわち、ユーザーにより異なる歪補正を施したカメラの映像が要求された場合に、露出制御や画像処理などのカメラ制御が適切にされない場合がある。

【0006】

そこで、本発明の目的は、複数種類の異なる歪補正処理を施した映像を出力可能な構成において、出力する映像に最適なカメラ制御が可能な手段を提供することである。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明は、画像を生成する撮像手段と、前記画像において評価値を算出する領域を評価エリアとして設定する評価エリア設定手段と、前記評価エリアから評価値を算出する評価値算出手段と、前記評価値算出手段による算出結果に応じて前記撮像手段を制御する制御手段と、前記画像が出力されるときの出力画像について、複数種類の出力画像の中から少なくとも１つを選択する選択手段と、前記選択手段で選択された前記出力画像の種類に応じて、前記評価エリア設定手段により設定する前記評価エリアを決定する決定手段と、前記選択手段で選択された出力画像の種類に応じた歪補正処理を行う歪補正手段と、ユーザにより選択された任意の評価エリアの情報を取得する取得手段とを有し、前記決定手段は、前記任意の評価エリアと、前記歪補正手段により歪補正処理が実行される領域である有効領域とが重なる領域を前記評価エリアとして決定し、前記評価エリア設定手段は、前記任意の評価エリアと前記有効領域とが重なる領域の前記評価値算出手段で算出する評価値の重み付けを変更することを特徴とする。

【発明の効果】

【0008】

本発明によれば、複数種類の異なる歪補正処理を施した映像を出力可能な構成において、出力する映像に最適なカメラ制御を実現することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係る撮像システムの構成例を示す図

【図2】本発明の実施形態に係る撮像装置の撮像部の構成例を示す図

【図3】本発明の実施形態に係る映像（ストリーム）の種類の例

【図4】本発明の実施形態に係る全方位カメラで天井から床方向を撮影した画像の例

【図5】本発明の実施形態に係る全方位画像をダブルパノラマで表示した画像の例

【図6】本発明の実施形態に係る歪補正処理後に出力される画像の例

【図7】第１の実施形態に係る撮像装置の評価エリアの設定処理を示すフローチャート

【図8】第１の実施形態に係る図４および図５の歪補正処理が設定されている場合の評価エリアが設定された画像の例

【図9】第１の実施形態に係る図６および図６の歪補正処理が設定されている場合の評価エリアが設定された画像の例

【図10】第１の実施形態に係る図８および図９の評価エリアを考慮した場合の評価エリアが設定された画像の例

【図11】第２の実施形態に係る複数の映像に対して複数種類の歪補正処理が選択されている場合の例を示す表

【図12】本発明の第２の実施形態に係る撮像システムの評価エリア設定処理を示すフローチャート

【図13】第２の実施形態に係る評価エリア選択部で任意の評価エリアが選択されている場合の画像の例

【図14】第２の実施形態に係る歪補正選択部で歪補正が選択されている場合の評価エリアが設定された画像の例

【発明を実施するための形態】

【0010】

以下に、本発明の好ましい実施形態の一例を、添付の図面に基づいて詳細に説明する。以下では、撮像装置としてカメラを用いる場合を例に説明する。

【0011】

図１は、第１の実施形態に係る撮像システムの構成例を示す図である。図１において、撮像装置１０は、クライアント装置１１（情報処理装置）と相互に通信可能な状態に接続されている。

【0012】

撮像装置１０が有する撮像部１０１（撮像手段）は、被写体像を撮像するための撮像部（撮像手段）である。撮像部１０１は、不図示の撮像光学系としてのレンズから入射した光を、不図示の撮像素子が電気信号に変換する。撮像部１０１の動作は、後述する評価値算出部１０３により取得される評価値算出結果や、不図示の画像解析手段による画像認識結果や被写体情報に基づいて、制御部１０４によって制御される。

【0013】

画像生成部１０２は、撮像部１０１から出力された輝度信号および色信号からＲＧＢ画像やＹＵＶ画像等の画像信号を生成する。

【0014】

評価値算出部１０３は、画像生成部１０２で生成された画像信号の所定のエリアを評価して評価値を算出する。評価値としては、例えば、輝度成分、色成分、エッジ成分、コントラスト値、ノイズ成分、絞り情報、フォーカス情報、振れ情報などを算出できる。また、評価値は画像信号の領域毎に重み付けを変更してもよい。

【0015】

制御部１０４は、撮像装置１０の全体を制御し、撮像や画像処理、映像出力、などの制御を行う。図示しないＣＰＵ（コンピュータ）、メモリ（ＲＯＭ、ＲＡＭ）を有し、ＣＰＵはメモリからロードしたコンピュータプログラムに従い、撮像装置１０の各機能ブロックの制御およびそのために必要な演算を行う。例えば、撮像部１０１内の、撮像素子２０２内での露光時間制御、ＡＧＣ２０４内のゲイン制御等の露出制御およびホワイトバランスを制御する。また、レンズ２０１のズーム動作やフォーカス動作の制御を行う。

【0016】

評価エリア設定部１０５は、評価値算出部１０３で評価値を算出するために評価する評価エリアを設定し、設定された評価エリアの信号に基づいて、撮像部１０１や、後述する画像処理部を制御するためのパラメータが決定される。エリアは複数設定することが可能で、全体エリアやエリア内の所定領域、エリアの中心からの距離等に応じて評価値を算出する際の重み付けを変更してもよい。

【0017】

画像処理部１０６は、例えば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＤＳＰ）などから構成され、デジタル信号に対して色変換、信号処理された画像の階調変換を行うガンマ処理、ノイズ低減処理など種々の画像処理を行う。画像処理部１０６の動作は、評価値算出部１０３により取得される評価値算出結果や、不図示の画像解析手段による画像認識結果や被写体情報に基づいて、制御部１０４によって制御される。

【0018】

歪補正処理部１０７は、画像処理部１０６で画像処理を施された画像に対して幾何学的変換などの歪補正処理を行う。

【0019】

歪補正設定部１０８は、歪補正処理部１０７で行う歪補正の種類を設定する。歪補正の種類は、通信部１０９を介しクライアント装置１１（情報処理装置）から設定可能である。例えば、外部端末により出力映像（ストリーム）の種類を選択し、歪補正設定部１０８がその出力映像（ストリーム）の種類の情報に基づいた歪補正の種類を設定する。また、例えば、画像認識や動体検知などの解析機能や、解析機能が設定されている領域に基づいて歪補正の種類を設定してもよい。

【0020】

通信部１０９は、歪補正処理１０７で歪補正された画像信号をクライアント装置１１（情報処理装置）などの外部端末へ、要求された画像を出力し、また、映像配信を行う。画像信号の出力先、映像の配信先はカメラに内蔵されているディスプレイや独立している外部のディスプレイでもよい。また、画像信号から複数の映像ストリームを生成し出力してもよい。また、本システムの状態や処理結果などを外部ネットワークを介して外部端末に出力し、または本システムの動作を制御するための制御情報などを外部端末から入力するために用いられる。制御部１０４が、通信部１０９を介して入力された情報を取得し、その情報に基づいて各機能ブロックの制御を行う。

【0021】

クライアント装置１１（情報処理装置）に関して以下に説明する。評価エリア選択部１１１は、ユーザー操作により画像信号上の任意の評価エリアを選択する。

【0022】

歪補正選択部１１２は、ユーザー操作により歪補正の種類を選択する。

【0023】

表示部１１３は、撮像装置１０の出力部１０９からの出力を任意の表示形式で表示する。

【0024】

通信部１１４は、選択された評価エリアや歪補正の種類または出力映像（ストリーム）の種類の情報や、撮像装置１０に対する指示、画像解析結果などの情報を撮像装置１０へ出力する。また、撮像装置１０より出力された画像信号を入力し、表示部１１３へ表示させる。

【0025】

ここで、図２は本発明の実施形態に係る撮像装置の撮像部の構成例を示す図である。撮像部１０１は、レンズ２０１、撮像素子２０２、ＣＤＳ回路２０３、ＡＧＣ２０４、Ａ／Ｄ変換２０５を備える。

【0026】

レンズ２０１は、数枚のレンズ群からなり、被写体像を撮像素子２０２に結像する。レンズ２０１は歪みが多く画角が広い広角レンズや魚眼レンズでもよい。本実施形態では、魚眼レンズの場合に関して説明する。

【0027】

撮像素子２０２は、例えばＣＣＤやＣＭＯＳなどであり、撮像光学系としてのレンズ２０１を介して結像された被写体像を電気信号に変換する。

【0028】

ＣＤＳ回路２０３（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ回路）は、撮像素子２０２から出力された電気信号に対して雑音軽減を行う相関二重サンプリング処理などを実施する。

【0029】

ＡＧＣアンプ２０４（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ回路）は、カメラの利得制御を自動で行うゲインコントロールアンプ回路であり、ＣＤＳ回路２０３から出力された電気信号に対して増幅処理などを行う。

【0030】

Ａ／Ｄ変換２０５は、ＡＧＣアンプ２０４により増幅処理されたアナログ信号をデジタル信号へと変換する。

【0031】

ここで図３を用いて、映像（ストリーム）の種類と、歪補正設定部１０８で選択される歪補正の種類の例を説明する。図３は、本発明の実施形態に係る出力映像（ストリーム）の種類の例である。なお、映像の種類および歪み補正の種類は１例であり、分割数、分割エリアの形状などは以下に限られない。

【0032】

（Ａ）は、魚眼と称する。全方位画像の全領域が有効領域で、撮影した映像をそのまま配信する。歪補正設定部１０８では、歪補正処理をしない設定となる。

【0033】

（Ｂ）は、ダブルパノラマと称する。全方位画像を２分割し、歪補正処理を施した画像を合成したパノラマ画像として配信する。歪補正設定部１０８では、２分割された領域をそれぞれ矩形になるよう歪補正の種類を設定する。

【0034】

（Ｃ）は、シングルパノラマと称する。全方位画像を１つのパノラマ画像として配信する。歪補正設定部１０８では、全方位画像が１つの矩形になるような歪補正処理の種類を設定する。

【0035】

（Ｄ）は、４画ストリームと称する。全方位画像を４つの領域を切り出し、それぞれを１つのストリームとして配信する。歪補正設定部１０８では、４つの領域それぞれを矩形になる歪補正処理の種類を設定する。この図の例の場合、４分割であるので４本のストリームとして配信するが、分割数はこれに限られない。

【0036】

（Ｅ）は、４画合成と称する。（Ｄ）と同様に、全方位画像を４つの領域を切り出して画像補正を施すが、最終的に４つの画像を合成して配信する。歪補正設定部１０８で選択される歪補正処理の種類は、（Ｄ）と同様である。分割数はこれに限られない。

【0037】

なお、図３に示した例において、（Ｂ）、（Ｄ）、（Ｅ）の映像ストリームが選択されている場合は、全体画像の中心部分は映像として配信されない。

【0038】

ここで、図４〜図６を用いて歪補正処理部１０７で歪補正処理される画像の例を説明する。図４は、本発明の実施形態に係る全方位カメラで天井から床方向を撮影した画像の例である。図４の画像３０は、天井に設置された魚眼レンズを備えたカメラで、床に対して垂直な方向を撮影した場合の歪補正がされていない画像全体を示す。これは図３（Ａ）の魚眼画像と同等の画像である。

【0039】

図５は、本発明の実施形態に係る全方位画像をダブルパノラマ画像の例である。図３（Ｂ）に示したように、本実施形態において、ダブルパノラマとは、全方位画像の全体を２分割し、それぞれに対して歪補正を行い並べた画像形態である。図４の魚眼画像から、画像３０うちの破線で区切られた一部の領域３００の部分を除外して、同じく破線で区切られた領域３０１、領域３０２をそれぞれ切り出して歪補正処理を行い、領域３０２を上下反転させている。この場合、図４の破線で区切られた領域３００が無効領域、領域３０１および領域３０２が有効領域である。

【0040】

さらに、別の歪補正処理の例として、図６は、第１の実施形態に係る歪補正処理後に出力される画像の例である。図４の実線で区切られた領域４００〜４０２を部分的に切り出して、図６の領域４０１〜４０２のように切り出した部分画像を繋げて１つの画像として生成している。この場合、図４の実線で区切られた領域４００〜４０２が有効領域、それ以外が無効領域である。なお、ここでは切り出し領域を１つの画像として合成しているが、それぞれを別の映像ストリームとして配信する構成としてもよい。

【0041】

（第１の実施形態）
ここで、図７および図１０を用いて、本発明の第１の実施形態について詳細に説明する。まず、図７のフローチャートを用いて、設定されている歪補正処理の種類に応じて露出制御時の測光に用いる評価エリアを設定する際の例を説明する。

【0042】

図７は、本発明の第１の実施形態に係る撮像装置の評価エリアの設定処理を示すフローチャートである。図７のフローチャートは、制御部１０４によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部１０４が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。ここでは、撮像部１０１、画像生成部１０２、評価値算出部１０３、制御部１０４、評価エリア設定部１０５、画像処理部１０６、歪補正処理部１０７、歪補正設定部１０８、通信部１０９が主に動作することにより処理が実現される。

【0043】

まず、ステップＳ１０１では、歪補正設定部１０８で設定される歪補正処理の種類が複数設定されているか判定する。歪補正設定部１０８において単一種類の歪補正処理が設定されている場合はステップＳ１０２へ進み、複数種類の歪補正処理が設定されている場合は、ステップＳ１０３へ進む。

【0044】

ステップＳ１０２へ進んだ場合、設定されている歪補正処理は単一種類であるため、評価エリア設定部１０５は、歪補正設定部１０８で設定されている現在の歪補正処理の種類に応じた評価エリアを設定する。例えば、歪補正設定部１０８において図３（Ｂ）および図５に示したダブルパノラマの例のような歪補正処理が設定されている場合は、評価エリア設定部１０５は、ダブルパノラマにおける有効領域を評価エリアとして設定する。具体的には、図８に示すように、撮像範囲全体のうち灰色領域８０１を露出制御のための測光に用いる評価エリアとして設定する。ここで、図８に示す格子状の部分は、評価エリア設定部１０５で設定可能な評価領域を表していて、格子で示された領域ごとに評価エリアとするか否かを設定可能である。また、歪補正設定部１０８において図６のような歪補正処理が設定されている場合は、評価エリア設定部１０５は、図９に示すように灰色領域９０１〜９０３を露出制御のための測光に用いる評価エリアとして設定する。

【0045】

一方、ステップＳ１０３へ進んだ場合、歪補正設定部１０８において複数種類の歪補正処理が設定されているので、その設定された歪補正処理の種類の組み合わせを取得する。ここで、図１１には、複数の映像１〜５が出力映像として選択されている場合に、対応する歪補正設定部１０８の歪補正の種類の例を表として示している。例えば、歪補正処理１は図５のダブルパノラマと同様の歪補正処理で、歪補正処理２は図６の領域切り出しの場合と同様歪補正処理とする。例えば、取得した歪補正処理の組み合わせが図１１の映像４（魚眼）を除いた組合せだったとして、以下説明する。

【0046】

ステップＳ１０４へ進み、評価エリア設定部１０５は、歪補正処理の種類の組み合わせを考慮した評価エリアを設定する。取得した歪補正処理の組み合わせが図１１の映像４（魚眼）を除いた組合せだった場合、歪補正処理１（ダブルパノラマ対応の歪補正）および歪補正処理２（領域切り出しに対応した歪補正）の２種類の歪補正処理が設定されていることになる。その場合は、評価エリア設定部１０５は、図８と図９を組み合わせた図１０の灰色領域１００１を露出制御のための測光に用いる評価エリアとして設定する。

【0047】

以上のフローにより、評価エリア設定部１０５は評価エリアを設定し、その設定された評価エリアにおいて評価値算出部１０３で算出された評価値に基づいて露出制御を行う。以上、露出制御のフローについて説明したが、設定された評価エリアから評価値算出部１０３でエッジ成分やコントラスト値を評価値として算出することでフォーカス制御を行うことも可能である。また、色成分を評価値として算出して、ホワイトバランス制御やカラーバランス制御を行ってもよい。さらに、評価値算出部１０３でノイズ成分を評価値として算出して、ノイズ低減処理や種々のフィルタ処理などの画像処理を行ってもよい。

【0048】

（第２の実施形態）
次に、図１２〜図１４を用いて本実施の形態における第２の実施形態の一例を示す。第２の実施形態では、歪補正処理の設定とは別に、例えばユーザー指示等により評価エリアが選択可能な構成とする。また、本実施形態においては、クライアント装置１１の歪補正選択部１１２により映像配信（ストリーム）の種類を選択し、撮像装置１０は通信部１０９を介して受信した映像配信の種類に応じて、歪補正設定部１０８に歪補正処理の種類を設定する。ユーザーが歪補正選択部１１２により映像配信（ストリーム）の種類を選択し、例えば、図１１に示すように複数の映像１〜５に対応する対応する歪補正処理の種類（歪補正処理１、２）が、歪補正設定部１０８に設定される。

【0049】

まず、図１２に示すフローチャートを用いて、ユーザーがクライアント装置１１上で任意の評価エリアを選択している場合における露出制御の測光に用いる評価エリアを設定する制御の例を説明する。

【0050】

図１２は、本発明の第２の実施形態に係る撮像システムの評価エリア設定処理を示すフローチャートである。図１２のフローチャートは、制御部１０４によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部１０４が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。図１２のステップＳ１０１〜ステップＳ１０４に関しては、それぞれ前述の第１の実施形態の図７のステップＳ１０１〜ステップＳ１０４と同様の処理のため説明を省略する。

【0051】

次に、ステップＳ２０５では、評価エリア選択部１１１で、任意の評価エリアが選択されているかどうかを判定する。評価エリア選択部１１１により選択された任意の評価エリアを受信していない場合は処理を終了し、評価エリア設定部１０５は、前述のステップＳ１０４までの処理で設定された評価エリアを最終的な評価エリアとして設定する。

【0052】

評価エリア選択部１１１により選択された任意の評価エリアの情報を受信している場合は、ステップＳ２０６へ進む。ここで、評価エリア選択部１１１は、図１３に示すＵＩの例のように、クライアント装置１１の表示部１１３に全体画像を表示し、その画像上でユーザーが灰色領域１４０１のように領域を設定することで任意の評価エリアを選択させる。評価エリア選択のために表示する画像は実際に撮影している全方位画像の全体を表示してもよいし、事前記録しておいた画像上で指定する構成としてもよい。また、パノラマ画像を表示する構成としてもよい。評価エリアの設定方法は領域を囲むとか、評価領域ごとに１つ１つ選択していく、など既知の技術により指定可能である。ここでは、図１３の灰色領域１４０１が評価エリア選択部１１１で選択されていることとする。なお、選択した任意の評価エリアの情報は、通信部を介して撮像装置へ送られる。

【0053】

ステップＳ２０６では、評価エリア選択部１１１で選択された任意の評価エリアに、歪補正設定部１０８で設定されている歪補正処理の種類に基づいた無効領域が含まれているかどうかを判定する。例えば、図５（ダブルパノラマ）が設定されている場合は図８に示すように中央付近の一部の白領域が無効領域であり、任意の評価エリアである図１３の灰色領域１４０１に含まれている。評価エリア選択部１１１で選択された任意の評価エリア内に、歪補正設定部１０８に設定されている歪補正処理に基づく無効領域が含まれている場合は、ステップＳ２０７へ進む。含まれていない場合は、ステップＳ２０８へ進む。

【0054】

ステップＳ２０７では、評価エリア選択部１１１で選択された評価エリアから、歪補正設定部１０８に設定されている歪補正処理に基づく無効領域を除外する。例えば、図５（ダブルパノラマ）が設定されている場合は、図１４に示すように選択された任意の評価エリアから、歪補正処理に基づく無効領域（画像の中央部分）を除外した灰色領域１５０１を評価エリアとして設定する。その後、ステップＳ２０８へ進む。

【0055】

ステップＳ２０８では、評価エリア選択部１１１で選択されている任意の評価エリア（無効領域を除外したエリア）と、歪補正選択部１１２で選択されている（歪補正設定部１０８に設定されている）歪補正処理の有効領域に基づいて最終的な評価エリアを設定する。例えば、任意の評価エリアと歪補正処理の有効領域が重なる部分を最終的な評価エリアとして設定する。又は、例えば、任意の評価エリアと有効領域すべてを最終的な評価エリアとし、評価エリア選択部１１１で選択されている任意の評価エリアの領域の評価値算出部１０３で算出する評価値の重み付けを上げるように構成してもよい。

【0056】

ステップＳ２０６〜Ｓ２０８においても、複数のクライアント装置の歪補正選択部１１２により、複数の映像が選択されている場合は、歪補正処理の種類の組み合わせに基づいて、有効領域、無効領域を算出し、評価エリア設定を行う。さらに、図１１の例の場合は、歪補正処理１が最も適用されている映像数が多いので、歪補正処理１の有効領域に対する評価エリアの領域の評価値算出部１０３で算出される評価値の重み付けを上げるように制御してもよい。

【0057】

以上説明したように、本実施形態によれば、任意の評価エリアが設定されている場合に、歪補正処理に基づく評価エリアと、別に選択された任意の評価エリアの両方を加味した評価エリアを設定することができる。

【0058】

なお、本発明について、撮像装置１０に歪補正処理部１０７を持つ構成を例に説明したが、撮像装置１０からは撮像した画像全体を配信し、外部のサーバまたはクライアント装置側で歪補正処理を実行する構成としてもよい。

【0059】

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。

【0060】

本発明において、撮像部１０１、画像生成部１０２、評価値算出部１０３、制御部１０４、評価エリア設定部１０５、画像処理部１０６、歪補正処理部１０７、歪補正設定部１０８、通信部１０９の動作は、ＣＰＵがプログラムを実行することで実現してもよい。

【0061】

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したカメラは、デジタルスチルカメラやデジタルビデオカメラに適用することができる。

【0062】

また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

【0063】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0064】

１０１ 撮像部
１０２ 画像信号生成手段
１０３ 評価値算出部
１０４ 評価エリア設定部
１０５ 制御部
１０６ 画像処理部
１０７ 歪補正処理部
１０８ 歪補正選択部
１０９ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】