特許 5707268 画像処理装置およびこの画像処理装置を備える電子カメラおよび画像再生装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5707268

(24)【登録日】2015年3月6日

(45)【発行日】2015年4月22日

(54)【発明の名称】画像処理装置およびこの画像処理装置を備える電子カメラおよび画像再生装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20150402BHJP

   H04N 5/225 20060101ALI20150402BHJP

   G03B 17/18 20060101ALI20150402BHJP

   H04N 7/18 20060101ALN20150402BHJP

【ＦＩ】

   G06T1/00 A

   H04N5/225 C

   G03B17/18 Z

   !H04N7/18 E

   !H04N7/18 K

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2011-165621(P2011-165621)

(22)【出願日】2011年7月28日

(65)【公開番号】特開2013-29991(P2013-29991A)

(43)【公開日】2013年2月7日

【審査請求日】2014年3月28日

(73)【特許権者】

【識別番号】000223182

【氏名又は名称】ＴＯＡ株式会社

(74)【代理人】

【識別番号】100163979

【弁理士】

【氏名又は名称】濱名 哲也

(72)【発明者】

【氏名】瀧川 実

(72)【発明者】

【氏名】原 晋吾

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００３−２７４２２６（ＪＰ，Ａ）

【文献】 特開２００９−１９８８１７（ＪＰ，Ａ）

【文献】 国際公開第２００６／０４０９６０（ＷＯ，Ａ１）

【文献】 特開２００２−２７１６５４（ＪＰ，Ａ）

【文献】 特開２００６−１１５４４６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２２２ − ５／２５７

(57)【特許請求の範囲】

【請求項1】

縦方向および横方向に配列された複数画素により構成された撮像画像を処理する画像処理装置において、
前記撮像画像の縦エッジを抽出する縦方向エッジ処理、および
前記縦エッジの方向と前記縦方向とが一致する度合いを水平度パラメータとして算出する水平度処理を含み、
前記縦方向エッジ処理では、前記各画素について、演算に係る前記画素とこの画素の横に隣接する前記画素との輝度差の絶対値を縦成分コントラストとして算出し、
前記水平度処理では、設定画素範囲で、演算に係る前記画素とこの画素の横に隣接する前記画素との前記縦成分コントラストの差を中間演算値として算出し、各画素列について前記中間演算値の総和の絶対値を列コントラストとして算出し、さらに前記列コントラストの総和を前記水平度パラメータとする
ことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記水平度パラメータを画像情報として前記撮像画像に重畳する
ことを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置において、
前記水平度パラメータを前記撮像画像が処理される都度算出し、新たに算出された前記水平度パラメータを画像情報として前記撮像画像に重畳し、
かつ、前記水平度パラメータの算出開始時期から新たに前記撮像画像を処理する時期までの期間に算出される前記水平度パラメータのうち最も大きい値を前記水平度パラメータのピーク値とし、このピーク値を画像情報として前記撮像画像に重畳する
ことを特徴とする画像処理装置。

【請求項4】

請求項１〜３のいずれか一項に記載の画像処理装置において、
前記縦方向エッジ処理前に、各画素列について縦方向で平滑化処理をし、
この平滑化処理後の平滑化処理画像に基づいて前記水平度パラメータを算出する
ことを特徴とする画像処理装置。

【請求項5】

請求項４に記載の画像処理装置において、
前記平滑化処理は、前記撮像画像の縦方向で設定個数の画素について輝度を平均化する
ことを特徴とする画像処理装置。

【請求項6】

請求項１〜５のいずれか一項に記載の画像処理装置を備える電子カメラ。

【請求項7】

請求項１〜５のいずれか一項に記載の画像処理装置を備える画像再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像の水平度を算出する画像処理装置およびこの画像処理装置を備える電子カメラおよび画像再生装置に関する。

【背景技術】

【0002】

従来、撮像画像の水平方向と、撮像画像の横軸方向とを一致させるための技術として、特許文献１に記載の技術が知られている。同文献に記載の電子カメラは、カメラ内に同カメラの水平方向の傾き角度および仰角方向の傾き角度を検出する姿勢センサを備えている。そして、水平方向の傾き角度および仰角方向の傾き角度に基づいて、カメラのモニタ画面に水平撮影補助線を表示する。これにより、撮像者は、撮像画像の傾き、すなわち撮像画像の水平度を把握する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−２７１６５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、姿勢センサをカメラに搭載した場合、姿勢センサのないカメラに比べて大型になる。このため、姿勢センサを用いずに撮像画像の水平度を把握する技術が要求されている。

【0005】

本発明はこのような実情に鑑みてなされたものでありその目的は、姿勢センサを用いることなく撮像画像の水平度を把握することのできる画像処理装置ならびこの画像処理装置を備えた電子カメラおよび画像再生装置を提供することにある。

【課題を解決するための手段】

【0006】

以下、上記目的を達成するための手段を以下に記載する。
（１）請求項１に記載の発明は、縦方向および横方向に配列された複数画素により構成された撮像画像を処理する画像処理装置において、前記撮像画像の縦エッジを抽出する縦方向エッジ処理、および前記縦エッジの方向と前記縦方向とが一致する度合いを水平度パラメータとして算出する水平度処理を含み、前記縦方向エッジ処理では、前記各画素について、演算に係る前記画素とこの画素の横に隣接する前記画素との輝度差の絶対値を縦成分コントラストとして算出し、前記水平度処理では、設定画素範囲で、演算に係る前記画素とこの画素の横に隣接する前記画素との前記縦成分コントラストの差を中間演算値として算出し、各画素列について前記中間演算値の総和の絶対値を列コントラストとして算出し、さらに前記列コントラストの総和を前記水平度パラメータとすることを要旨とする。

【0007】

（２）請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記水平度パラメータを画像情報として前記撮像画像に重畳することを要旨とする。
（３）請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記水平度パラメータを前記撮像画像が処理される都度算出し、新たに算出された前記水平度パラメータを画像情報として前記撮像画像に重畳し、かつ、前記水平度パラメータの算出開始時期から新たに前記撮像画像を処理する時期までの期間に算出される前記水平度パラメータのうち最も大きい値を前記水平度パラメータのピーク値とし、このピーク値を画像情報として前記撮像画像に重畳することを要旨とする。

【0008】

なお、画像処理装置は、縦方向および横方向に配列された複数画素により構成された撮像画像を処理する画像処理装置であって、前記撮像画像の縦エッジを抽出する縦方向エッジ処理、および前記縦エッジの方向と前記縦方向とが一致する度合いを水平度パラメータとして算出する水平度処理を含み、前記縦方向エッジ処理では、前記各画素について、演算に係る前記画素とこの画素の横方向に隣接する前記画素との輝度差の絶対値を算出する、ように構成され得る。

【0009】

また、画像処理装置は、縦方向および横方向に配列された複数画素により構成された撮像画像を処理する画像処理装置であって、前記撮像画像の縦エッジを抽出する縦方向エッジ処理、および前記縦エッジの方向と前記縦方向とが一致する度合いを水平度パラメータとして算出する水平度処理を含み、前記縦方向エッジ処理では、前記各画素について、演算に係る前記画素とこの画素の横に隣接する前記画素との輝度差の絶対値を縦成分コントラストとして算出し、前記水平度処理では、設定画素範囲で、前記各画素についての前記縦成分コントラストの総和を前記水平度パラメータとして算出する、ように構成され得る。

【0011】

（４）請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の画像処理装置において、前記縦方向エッジ処理前に各画素列について縦方向で平滑化処理をし、平滑化処理後の平滑化処理画像に基づいて前記水平度パラメータを算出することを要旨とする。

【0012】

（５）請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記平滑化処理は、前記撮像画像の縦方向で設定個数の画素について輝度を平均化することを要旨とする。

【0013】

（６）請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の画像処理装置を備える電子カメラである。
（７）請求項７に記載の発明は、請求項１〜５のいずれか一項に記載の画像処理装置を備える画像再生装置である。

【発明の効果】

【0014】

本発明によれば、姿勢センサを用いることなく撮像画像の水平度を把握することのできる画像処理装置ならびこの画像処理装置を備えた電子カメラおよび画像再生装置を提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態の監視カメラについて、その斜視構造を示す斜視図。

【図2】同実施形態の監視カメラについて、そのカメラ部の構造を示すブロック図。

【図3】同実施形態の監視カメラについて、「水平度算出処理」の手順を示すフローチャート。

【図4】同実施形態の監視カメラで撮像した被写体の撮像画像図。

【図5】平滑化処理および縦方向エッジ処理された画像図。

【図6】平滑化処理および縦方向エッジ処理された画像の拡大図。

【図7】平滑化処理および縦方向エッジ処理された画像について、（ａ）は縦エッジが縦方向にあるときの画像図、（ｂ）は縦エッジが縦方向に対して斜めにあるときの画像図。

【図8】水平度処理の他の演算例を示し、（ａ）は縦エッジが縦方向にあるときの演算を説明する説明図、（ｂ）は縦エッジが縦方向に対して斜めにあるときの演算を説明する説明図。

【図9】表示装置の表示画面を示し、（ａ）は表示画面の一態様を示す画面図、（ｂ）は表示画面の他の態様を示す画面図。

【発明を実施するための形態】

【0016】

本発明の実施形態の監視カメラについて説明する。
図１に示すように、監視カメラ１は、円筒状の支持部１０と、被写体を撮影するカメラ部２０と、カメラ部２０の構成要素である撮像装置２１を回転させる回転機構３０（図２参照）とを備えている。

【0017】

支持部１０の一方の端面には、監視カメラ１を部屋の天井または側壁等に取り付けるための取り付け部が設けられている。支持部１０の他方の端面には、カメラ部２０が回転可能に設けられている。

【0018】

支持部１０の側面には水平度スイッチ１１が設けられている。水平度スイッチ１１は、撮像画像の水平度を算出する処理（以下、「水平度算出処理」）を実行するためのスイッチである。水平度スイッチ１１が「ＯＮ」にされたときは、水平度算出処理を実行し、「ＯＦＦ」にされたときは水平度算出処理を実行しない。

【0019】

回転機構３０（図２参照）は、独立した３つの回転軸を有する。第１回転軸Ｃ１は、支持部１０の中心軸と同軸上にある。第２回転軸Ｃ２は、第１回転軸Ｃ１に垂直な軸である。第３回転軸Ｃ３は、第１回転軸Ｃ１に垂直であり、かつ第２回転軸Ｃ２に垂直な軸である。

【0020】

撮像装置２１は、第１回転軸Ｃ１を中心軸として３６０度回転し、第２回転軸Ｃ２を中心軸として１８０度回転し、第３回転軸Ｃ３を中心軸として３６０度回転する。
撮像装置２１の向きは、同撮像装置２１を、第１回転軸Ｃ１を中心軸として回転するとともに第２回転軸Ｃ２を中心軸として回転することにより設定される。撮像画像の水平度の調整は、第３回転軸Ｃ３を中心軸として撮像装置２１を回転することにより行われる。

【0021】

図２を参照して、カメラ部２０について説明する。
カメラ部２０は、被写体を撮影する撮像装置２１と、撮像装置２１から出力するアナログ画像信号をデジタル画像信号に変換するアナログ信号処理回路２２と、デジタル画像信号に基づいて画像処理する画像処理回路２３（画像処理装置）と、撮像装置２１および画像処理回路２３を制御する制御回路２４とを備えている。

【0022】

撮像装置２１は、第１〜第３回転軸Ｃ３を備える回転機構３０に取付けられている。一方、カメラ部２０の構成要素のうち撮像装置２１以外の構成要素、すなわちアナログ信号処理回路２２、画像処理回路２３、および制御回路２４は、回転機構３０が装着される基板に取付けられている。

【0023】

撮像装置２１は、複数のレンズ２５と、レンズ２５による結像を電子情報に変換する撮像素子２６と、絞り機構２７と、焦点調整機構２８とを備えている。撮像素子２６は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）等のイメージセンサにより構成されている。撮像素子２６は、光学像を電子情報に変換してアナログ画像信号を形成する。

【0024】

アナログ信号処理回路２２は、撮像装置２１から出力されるアナログ画像信号をＲＧＢの各色の信号に分離し、ゲイン調整し、さらに、ゲイン調整された信号をデジタル画像信号に変換する。なお、撮像素子２６としてＣＭＯＳを採用する場合は、ＣＭＯＳイメージセンサとアナログ信号処理回路とを１チップもしくは１個のモジュールとして構成してもよい。

【0025】

画像処理回路２３は、アナログ信号処理回路２２から出力されたデジタル画像信号を輝度信号および色差信号に変換し、撮像画像を形成する。以降では、この変換を「通常画像処理」という。また、撮像画像の水平度を算出する「水平度算出処理」を実行する。「水平度算出処理」は、「平滑化処理」と「縦方向エッジ処理」と「水平度処理」とを含む。

【0026】

撮像画像は、縦方向および横方向に配列された画素により構成されている。撮像画像において縦方向に並ぶ画素の組を画素列とする。所定の画素は、行列により特定される。例えば、撮像画像の上端からｉ行目、横端からｊ列目の画素は、（ｉ，ｊ）により特定される。以降の説明では（ｉ，ｊ）により特定される画素を画素Ｘ（ｉ，ｊ）とする。そして、画素Ｘ（ｉ，ｊ）の輝度を「Ｙ_ｉ，ｊ」とする。

【0027】

平滑化処理では、撮像画像の縦方向において輝度を平均化する。すなわち、撮像画像の縦方向画素のうち、輝度の変化が大きいところを少なくする。これにより縦方向においてノイズが小さくなる。撮像画像の横方向に隣接する画素列の輝度差は、維持される。なお、画素列の輝度とは、画素列に含まれる画素の輝度の総和を示す。

【0028】

縦方向エッジ処理では、撮像画像の縦エッジを抽出する。
縦エッジは、横方向に隣り合う画素に輝度差があるところ（縦コントラスト）を示し、縦方向に輝度差のあるところとは区別される要素である。縦エッジの方向とは、縦コントラストが連続して存在するところの画素の並びをいう。縦コントラストが連続するところの画素の並びは、撮像画像の縦方向の輪郭線に対応する。

【0029】

水平度処理では、縦エッジの方向と撮像画像の縦方向とのが一致する度合いを示す水平度パラメータを算出する。水平度パラメータは、縦エッジ処理により抽出した縦エッジに基づいて算出される。

【0030】

制御回路２４は、画像処理回路２３で演算される光量情報に基づいて絞りを調整する。また、所定周期毎に画像処理回路２３の動作を制御する。さらに、水平度スイッチ１１のＯＮ操作に基づいて、画像処理回路２３に対し通常画像処理に加えて「水平度算出処理」を実行させる。水平度スイッチ１１のＯＦＦ操作に基づいて、画像処理回路２３に対し通常画像処理のみを実行させる。

【0031】

図３を参照して、制御装置が実行する「水平度算出処理」の手順を説明する。
この処理は、水平度スイッチ１１のＯＮ操作に基づいて実行される。また、一つの撮像画像に相当する画像データが画像処理回路２３で処理される都度、水平度算出処理が実行される。

【0032】

ステップＳ１００では、撮像画像において画素範囲（設定画素範囲）を設定する。画素範囲は、ステップＳ１１０以降の処理を行なう範囲を示す。この画像範囲は、初期値として撮像画像の全範囲に設定されている。

【0033】

ステップＳ１１０において、「平滑化処理」を実行する。すなわち、撮像画像が縦方向において輝度の平均化処理を行う。これにより、縦方向において画素の輝度のノイズが小さくなる。

【0034】

ステップＳ１２０において、「縦方向エッジ処理」を実行する。これにより、撮像画像の縦エッジが抽出される。
ステップＳ１３０において、縦方向エッジ処理された処理画像に対して「水平度処理」が実行される。これにより、撮像画像の水平度パラメータが算出される。

【0035】

ステップＳ１４０において、「表示処理」を実行する。撮像画像に、水平度パラメータを示すインジケータ画像情報を重畳し、表示用の撮像画像を形成する。
［平滑化処理］
平滑化処理の一例について説明する。

【0036】

平滑化処理では、（１）式で示される処理が行われる。

【0037】

【数1】

【0038】

この処理によれば、演算に係る画素Ｘ（ｉ，ｊ）と、この画素Ｘ（ｉ，ｊ）の上に隣接する画素Ｘ（ｉ−１，ｊ）と、画素Ｘ（ｉ，ｊ）の下に隣接する画素Ｘ（ｉ＋１，ｊ）との平均値を算出する。そしてこの平均値を、演算に係る画素Ｘ（ｉ，ｊ）の補正輝度Ｙ´_ｉ，ｊとする。

【0039】

このような処理により、縦方向に輝度が平滑化されるのに対して、横方向には輝度が平滑化しない。このため、撮像画像において、高輝度画素が縦方向に連続している部分は、平滑化処理により、その縦方向の画素列に含まれる画素全体の総輝度は維持される。一方、高輝度画素が横方向に連続している部分は、縦方向上下の画素と平滑化されることで輝度が小さくなる。すなわち、縦方向の平滑化処理によれば、高輝度画素が縦方向に連続する部分が強調される。

【0040】

［縦方向エッジ処理］
次に、縦方向エッジ処理について説明する。
縦方向エッジ処理では、平滑化処理後の画像（平滑化処理画像）について、各画素の補正輝度を参照し、演算に係る画素の補正輝度と、この画素に横方向に隣接する画素の補正輝度とを読み込み、これらの差の絶対値（以下、「縦成分コントラスト」）を算出する。具体的には、（２）式に示される処理を行う。

【0041】

【数2】

【0042】

・Ｚ_ｉ，ｊは、縦成分コントラスト。
・Ｙ´_ｉ，ｊは、平滑化処理後の画素Ｘ（ｉ，ｊ）の補正輝度を示す。
・Ｙ´_{ｉ，ｊ−１}は、平滑化処理後の画素Ｘ（ｉ，ｊ−１）の補正輝度を示す。

【0043】

この処理によれば、演算に係る画素Ｘ（ｉ，ｊ）とこの画素に横方向に隣接する画素Ｘ（ｉ，ｊ−１）について、両画素の補正輝度が同じであるときは、演算に係る画素Ｘ（ｉ，ｊ）に縦成分コントラストとして「０」が与えられる。

【0044】

これに対して、演算に係る画素Ｘ（ｉ，ｊ）とこの画素に横方向に隣接する画素Ｘ（ｉ，ｊ−１）について、両画素の補正輝度が異なるときは、演算に係る画素Ｘ（ｉ，ｊ）に縦成分コントラストとして「α（両画素の補正輝度の差の絶対値）」が与えられる。

【0045】

すなわち、縦方向エッジ処理によれば、横方向に並ぶ２つの画素について補正輝度に変化のない画素には、縦成分コントラストとして「０」が与えられる。一方、横方向に並ぶ２つの画素について補正輝度に変化のある画素には、縦成分コントラストとして補正輝度の差に応じた値が与えられる。横方向に補正輝度の差がある画素は、縦エッジを構成するため、このような処理により、撮像画像から縦エッジが抽出される。

【0046】

図４〜図６を参照して、縦方向エッジ処理を説明する。
図４は、被写体を監視カメラ１により撮像したときの撮像画像である。監視カメラ１の水平度が正確に調整されていないため、撮像画像内の被写体画像の鉛直方向と、撮像画像の縦方向とが一致していない。

【0047】

図５は、撮像画像を、平滑化処理および縦方向エッジ処理をした後の処理画像を示す。この図からは、撮像画像の横方向にのびるエッジの殆どが消去され、縦エッジが抽出されていることが分かる。

【0048】

図６は、図５の一部を拡大した図である。
図５では抽出された縦エッジは斜め方向に向いているように見えるが、図５を拡大すると、抽出された縦エッジは、縦方向に並ぶ高輝度画素の要素により構成されていることが分かる（図６参照）。

【0049】

［水平度処理］
図７を参照して、水平度処理の一例を示す。
水平度処理とは、上記したように、縦エッジの方向と撮像画像の縦方向とのが一致する度合いを示す水平度パラメータを算出する処理である。水平度パラメータ（ＰＨＬ）は、縦成分コントラスト（Ｚ）の総和として与えられる。

【0050】

【数3】

【0051】

縦成分コントラストの総和が、水平度パラメータとして用いることができる理由を、以下に説明する。
図７は、縦方向エッジ処理した後の撮像画像を図案化したものである。

【0052】

なお、図中においては、縦成分コントラストが「０」よりも大きい画素を「×」印として示す。また、破線の円は、縦エッジの長さを直径とする。以降、縦成分コントラストが「０」よりも大きい画素を「コントラスト画素」という。

【0053】

図７（ａ）は被写体の水平度がとれている場合を示す。この図７（ａ）には、処理画像の縦方向に、所定長さの縦エッジが示されている。この場合、コントラスト画素の個数は、縦エッジの長さに応じた数となり、コントラスト画素の数は８個となる。

【0054】

図７（ｂ）は被写体の水平度がとれていない場合を示す。
この場合、図７（ｂ）には、処理画像の縦方向に対し斜め方向に、所定長さの縦エッジが示されている。この場合、コントラスト画素の個数は、水平度がとれている場合のコントラスト画素の個数よりも少ない。すなわち、図７（ｂ）では、コントラスト画素は６個となる。これは、撮像画像が、縦方向および横方向に配列された画素の集合により構成されていること、各画素の辺の長さは対角線の長さよりも短いことによる。

【0055】

すなわち、コントラスト画素の個数は、縦エッジの方向と撮像画像の縦方向との一致度合いを示す。撮像画像における縦成分コントラストの総和は、コントラスト画素の個数と相関関係にあるため、縦成分コントラストの総和も縦エッジの方向と撮像画像の縦方向との一致度合いを示す。このため、縦成分コントラストの総和を水平度パラメータとして用いることができる。

【0056】

［水平度処理の変形例］
図８を参照して、水平度処理の他の例について説明する。
この水平度処理では、平滑化処理および縦方向エッジ処理が実行された処理画像において、各画素について、演算に係る画素とこれに横方向に隣接する画素との縦成分コントラスト（Ｚ）の差（Ｚ_ｉ，ｊ−Ｚ_{ｉ，ｊ−１}）を中間演算値として算出する。そして、各画素列について、中間演算値の総和を列コントラスト（Ｗ）として算出する。そして、撮像画像の全体において、列コントラストの総和を算出し、この総和を水平度パラメータ（ＰＨＬ）とする。具体的には、（４）式および（５）式の演算を行う。

【0057】

【数4】

（４）式は、列コントラスト（Ｗ）を示す。

【0058】

【数5】

【0059】

（５）式は、水平度パラメータ（ＰＨＬ）を示す。
図８（ａ）および図８（ｂ）を参照して、これら演算内容について説明する。
図８（ａ）は、縦方向エッジ処理した後の撮像画像の図案化した図であり、縦エッジが撮像画像の縦方向に沿っていることを示す。ここでは、各画素は以下の値が与えられているとする。
・画素列（ｊａ−２）に含まれる各画素は、縦成分コントラストが「０」である。
・画素列（ｊａ−１）に含まれる各画素は、縦成分コントラストが「０」である。
・画素列（ｊａ）に含まれる各画素は、縦成分コントラストが「１」である。
・画素列（ｊａ＋１）に含まれる各画素は、縦成分コントラストが「０」である。
・画素列（ｊａ＋２）に含まれる各画素は、縦成分コントラストが「０」である。

【0060】

このような画像について、（４）式および（５）式の処理を行うと、水平度パラメータの値は「１６」となる。
図８（ｂ）は、縦方向エッジ処理した後の撮像画像を図案化した図であり、縦エッジが撮像画像の縦方向に斜めであることを示す。ここでは各画素は以下の値が与えられているとする。なお、比較のため、全部の画素の縦成分コントラストの総和は、図８（ａ）の撮像画像の縦成分コントラストの総和と同じにしている。
・画素列（ｊａ−２）に含まれる各画素は、縦成分コントラストが「０」である。
・画素列（ｊａ−１）に含まれる２個の画素は、縦成分コントラストが「１」である。
・画素列（ｊａ）に含まれる４個の画素は、縦成分コントラストが「１」である。
・画素列（ｊａ＋１）に含まれる２個の画素は、縦成分コントラストが「１」である。
・画素列（ｊａ＋２）に含まれる各画素は、縦成分コントラストが「０」である。

【0061】

このような画像について、（４）式および（５）式の処理を行うと、水平度パラメータは「８」となる。
図８（ａ）の撮像画像と図８（ｂ）の撮像画像とは縦成分コントラストの総和が等しいが、（４）式および（５）式の処理によれば、水平度パラメータは異なる値をとる。これは、（４）式の効果である。

【0062】

（４）式では、所定の２つの画素列において、横並びに隣接する２つの画素について縦成分コントラストの差を算出し、各行にわたってこの差の総和の絶対値を算出する。縦成分コントラストのある画素が２つの画素列にわたって分散している場合は互いに打ち消しあう項が存在するため、縦成分コントラストのある画素が縦方向に一列に整列している場合に比べて、各行にわたる総和の絶対値が小さくなる。具体的には、列（ｊａ−１）についての（４）式の演算式は「（０−０）＋（０−０）＋（０−１）＋（０−１）＋（０−１）＋（０−１）＋（１−０）＋（１−０）」となり、４つの項で互いに打ち消しあう。すなわち、（４）式の処理は、撮像画像の縦方向と縦成分コントラストの並び方向（縦エッジ）との一致する度合いを算出する。

【0063】

以上のように、（４）式および（５）式によれば、撮像画像の縦方向に対して縦エッジが傾くほど、水平度パラメータが小さい値となる。すなわち、これらの式により、撮像画像を処理することにより、撮像画像が斜めになっているか否かの程度を評価することが可能となる。

【0064】

図９を参照して、画像処理回路２３が実行する表示処理について説明する。
表示処理では、水平度パラメータの値をインジケータ４０としての画像に形成し、この画像を撮像画像に重畳する処理を行う。また、所定期間（水平度パラメータの算出開始時期から新たに前記撮像画像を処理する時期までの期間）にわたる水平度パラメータの値のうち最も大きい値をピーク値として記憶する。そして、ピーク値に基づいてピークマークＰＭとしての画像を形成し、この画像を撮像画像に重畳する。

【0065】

すなわち、水平度算出処理の実行中、撮像画像には、インジケータ４０とピークマークＰＭが含まれる。そして、撮像画像が更新される都度、インジケータ４０とピークマークＰＭが更新される。

【0066】

以下、表示装置（画像再生装置）に示される撮像画像について説明する。
図９に示されるように、水平度処理により得られた水平度パラメータは、表示装置の表示画面上において、基準位置ＰＡを基点として横にのびるインジケータ４０の長さとして表示される。水平度パラメータが大きいときは、インジケータ４０が伸張し、水平度パラメータが小さいときは、インジケータ４０が短縮する。インジケータ４０は、撮像画像の処理毎に更新される。

【0067】

水平度処理の実行開始時期以降の期間において、水平度パラメータの最大値が更新されたときは、インジケータ４０の先端部分の位置に、ピークマークＰＭが移動する。ピークマークＰＭは、その後水平度パラメータの最大値が更新されたとき、さらに移動する。すなわち、ピークマークＰＭは水平度パラメータの最大値を示す。

【0068】

図９を参照して、監視カメラ１の設置方法について説明する。
作業者は、監視カメラ１を天井にとりつけるとき、表示装置（モニタ）を同監視カメラ１に接続する。表示装置には、監視カメラ１により撮像された撮像画像が表示される。作業者は、この撮像画像を見ながら、撮像装置２１を第１回転軸Ｃ１および第２回転軸Ｃ２を中心軸として回転し、撮像装置２１を所定方向に固定する。

【0069】

そして、作業者は、水平度スイッチ１１を「ＯＮ」に設定して、第３回転軸Ｃ３を中心軸として撮像装置２１を回転することにより撮像画像の水平度を調節する。水平度スイッチ１１を「ＯＮ」にすると、水平度算出処理が実行されるため、表示装置の表示画面には、インジケータ４０が表示される。

【0070】

ピークマークＰＭが最大となる位置が、撮像画像の縦エッジの方向と撮像画像の縦方向とが最も一致するところであるため、まず、ピークマークＰＭが最大値となる領域を探すことが好ましい。

【0071】

具体的には、作業者は、このインジケータ４０を見ながら、第３回転軸Ｃ３を中心軸として撮像装置２１を回転する。撮像装置２１の回転にともなって、撮像画像の縦エッジの方向と、撮像画像の縦方向との一致度合いが変わるため、インジケータ４０が変化する。インジケータ４０の横長さが大きくなる度に、ピークマークＰＭの位置が移動する。

【0072】

図９（ａ）は、撮像画像の縦エッジの方向と、撮像画像の縦方向とがずれている状態を示す。このとき、インジケータ４０の横長さは、基準位置ＰＡからピークマークＰＭまでの距離よりも短い。

【0073】

図９（ｂ）は、撮像画像の縦エッジの方向と、撮像画像の縦方向とが一致している状態を示す。このとき、インジケータ４０の横長さが最大となり、インジケータ４０の先端がピークマークＰＭの位置に重なる。このとき、撮像装置２１の水平度が高い状態にある。

【0074】

作業者は、このようなインジケータ４０を確認しながら監視カメラ１を設置することができるため、監視カメラ１の設置作業を短時間で済ますことができる。また、インジケータ４０は水平度算出処理に基づいて算出されているため、撮像画像の水平度は高い。

【0075】

（実施形態の効果）
本実施形態によれば以下の効果が得られる。
（１）本実施形態では、撮像画像の縦エッジを抽出する縦方向エッジ処理、および縦エッジの方向と縦方向とが一致する度合いを水平度パラメータとして算出する水平度処理を実行する。

【0076】

地面に設置される建物、屋内に設置される家具等の多くの人工物は、鉛直方向に沿った構成部品を有する。これら人工物の撮像画像には鉛直方向の輪郭線が含まれる。例えば、建物の柱の稜線は、撮像画像上で鉛直方向に延びる。ドアは鉛直方向に延びる。棚の側面も鉛直方向に延びる。このように人工物の撮像画像には鉛直方向の輪郭線が多いため、このような線を用いることにより、撮像画像の水平度を計ることが可能である。そこで、本実施形態では、撮像画像の縦エッジを抽出する。そして、縦エッジの方向と縦方向とが一致する度合いを水平度パラメータとして算出する。これにより、撮像画像の水平度を定量的に計ることができる。すなわち、姿勢センサを用いることなく、被写体の撮像画像の水平度を把握することができる。

【0077】

（２）本実施形態では、水平度パラメータを画像情報として撮像画像に重畳する。この構成によれば、撮像画像を表示装置で再生すると、撮像画像とともに水平度パラメータが表示画面に表示される。このため、撮像者は、表示装置の表示画面を見て、撮像画像の水平度を確認することができる。

【0078】

（３）本実施形態では、撮像画像が処理される都度水平度パラメータを算出し、新たに算出された水平度パラメータを撮像画像に重畳し、かつ、所定期間において算出される水平度パラメータのうち最も大きい値を水平度パラメータのピーク値とし、このピーク値を画像情報として撮像画像に重畳する。

【0079】

この構成では、所定期間（水平度パラメータの算出開始時期から新たに撮像画像を処理する時期までの期間）において算出される水平度パラメータのうち最も大きい値を水平度パラメータのピーク値として撮像画像に重畳する。このため、撮像者は、監視カメラ１を操作しながら、撮像画像が最も水平度がとれている状態にあるか否かを容易に判断することができる。

【0080】

（４）本実施形態では、縦方向エッジ処理では、各画素について、演算に係る画素とこの画素に横に隣接する画素との輝度差の絶対値を算出する。この処理によれば、撮像画像において横方向に濃淡がないところは「０」に近い値とされ、横方向で輝度差があるところは「０」よりも大きい値とされる。このようにして、縦エッジが抽出される。

【0081】

（５）本実施形態では、（３）式に基づいて水平度パラメータを算出する。
撮像画像の水平度が高いとき、撮像画像中で縦成分コントラストが増大する。このことを鑑みて、（３）式に示されるように縦成分コントラストの総和を水平度パラメータとする。これにより、撮像画像の水平度を把握することができる。

【0082】

（６）本実施形態の変形例では、（４）式および（５）式に基づいて水平度パラメータを算出する。
撮像画像の水平度が高いとき、撮像画像中で列コントラストの値が増大する。そこで、このような特性を鑑みて、（４）式および（５）式に示すように、列コントラストの総和を水平度パラメータとする。これにより撮像画像の水平度を把握することができる。

【0083】

（７）本実施形態では、縦方向エッジ処理前に、各画素列について縦方向で平滑化処理をする。
縦方向エッジ処理前の撮像画像において縦方向に輝度ばらつき（ノイズ）があるとき、撮像画像の実際の輪郭線に対応しない縦成分コントラストが形成されることに起因して、水平度パラメータが、撮像画像から認識される水平度から乖離した値をとることがある。この点、上記構成では、平滑化処理により、撮像画素の縦方向において輝度のばらつきを小さくする。これにより、水平度パラメータが実際の水平度から乖離した値を示すことを抑制することができる。

【0084】

（８）本実施形態では、（１）式により平滑化処理を行う。
この構成では、演算に係る画素を含む列の前後の画素を用いて平均値を算出する。すなわち、列方向の全部の画素を用いて平均化する処理ではないため、元の各画素の輝度がある程度維持される。このため、縦方向の全部の画素について輝度を平均する場合と比べて、水平度パラメータが実際の水平度から乖離した値を示すことが抑制される。

【0085】

（９）本実施形態の監視カメラ１は、上記構成の画像処理回路２３を備える。
この監視カメラ１によれば、水平度パラメータにより撮像画像の水平度を把握することができる。また、姿勢センサにより水平度を検出する監視カメラに比べて、小型にすることができる。

【0086】

（その他の実施形態）
本発明の実施態様は上記各実施形態に例示した態様に限られるものではなく、例えば以下のように変更することもできる。また以下の各変形例は、上記実施形態についてのみ適用されるものではなく、異なる変形例同士を互いに組み合わせて実施してもよい。

【0087】

・上記実施形態では、水平度算出処理の対象の範囲（設定画素範囲）を撮像画像の全範囲に設定しているが、この範囲を変更可能な構成としてもよい。例えば、撮像画像を複数の選択領域に区分し、これら領域のいずれかを選択できる構成とする。このような構成によれば、撮像画像において縦エッジが中央部に偏って存在する場合に、撮像画像の中央部分の選択領域を選択することが可能となる。これにより、撮像画像の水平度パラメータが実際の水平度から乖離することが抑制される。

【0088】

・上記実施形態では、平滑化処理を（１）式により行っているが、輝度を縦方向に平滑化するものであれば、どのような式を用いてもよい。例えば、（１）式では、３つの画素の輝度を平均化する処理を行なっているが、これに代えて、５つの画素の輝度を平均化する処理を行ってもよい。また、平滑化する画素について、その画素と上下の画素の輝度の平均値を算出するとき、その画素から離れた位置にある画素ほど平均化における寄与を小さくしてもよい。例えば、（１）式に代えて（６）式を用いることができる。

【0089】

【数6】

【0090】

・上記実施形態では、水平度算出処理の実行の際、撮像画像に対して平滑化処理を行っているが、これを省略することもできる。このように省略を行っても、上記（１）の効果が得られる。

【0091】

・上記実施形態では、縦方向エッジ処理を（２）式により行っているが、ここでの処理は、撮像画像の縦エッジを抽出する処理であればよく、（２）式を用いる方法に限定されない。例えば、（２）式では、互いに隣接する２つの画素の輝度差を算出する処理をするが、これに代えて、互いに隣接する２つの画素の輝度比を算出する処理を行ってもよい。あるいは、輝度差と輝度比を項とする一次式を用いて各画素について演算処理をしてもよい。

【0092】

・上記実施形態では、水平度処理を、（３）式、または（４）式および（５）式に基づいて行っているが、ここでの処理は、縦エッジの方向と縦方向とが一致する度合いを示すパラメータを算出する処理であればよく、これらの式を用いる方法に限定されない。

【0093】

例えば、撮像画像について、補正輝度が所定値以上である画素が縦方向に連続して整列する要素（以下、「縦成分」）を取り出し、縦成分の長さの平均値を水平度パラメータとすることもできる。すなわち、縦エッジが、撮像画像の縦方向に対して斜めになっているときは、縦成分の長さは短くなる。これに対して、縦エッジが、撮像画像の縦方向に沿って延びているときは、縦成分の長さが長くなる。この点を利用して、水平度パラメータを算出することができる。

【0094】

・上記実施形態では、撮像画像を表示する表示画面上で、インジケータ４０を、基準位置ＰＡを基点として横方向に伸縮する態様で表示しているが、インジケータ４０はこの態様に限定されない。例えば、縦方向に伸縮する態様で表示してもよい。また、インジケータ４０を、基準位置ＰＡを基点として回転する針として示すこともできる。

【0095】

・上記実施形態では、監視カメラ１に接続される表示装置にインジケータ４０を示す構成としているが、インジケータ４０を監視カメラ１本体に設けてもよい。この場合は、例えば、インジケータ４０を複数個のＬＥＤにより構成する。そして、水平度パラメータの値に応じて、が高いときは点灯するＬＥＤの個数を変化させる。

【0096】

・実施形態では、水平度算出処理を実行する画像処理回路２３を監視カメラ１内に設ける構成としているが、監視カメラ１に限らず、撮像画像を処理する機能を有する電子機器であれば、どのような電子機器にも、当該画像処理回路２３を設けることができる。例えば画素処理機能を備えたコンピュータ、電子カメラ、表示装置等に設けることができる。

【符号の説明】

【0097】

１…監視カメラ、１０…支持部、１１…水平度スイッチ、２０…カメラ部、２１…撮像装置、２２…アナログ信号処理回路、２３…画像処理回路（画像処理装置）、２４…制御回路、２５…レンズ、２６…撮像素子、２７…絞り機構、２８…焦点調整機構、３０…回転機構、４０…インジケータ。

【図1】

【図2】

【図3】

【図4】

【図7】

【図8】

【図9】

【図5】

【図6】