特許 7184654 撮影装置、画像補正方法、および画像補正プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】撮影装置、画像補正方法、および画像補正プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221129BHJP

   H04N 5/225 20060101ALI20221129BHJP

   G06T 5/00 20060101ALI20221129BHJP

   G03B 5/00 20210101ALI20221129BHJP

   G03B 15/00 20210101ALI20221129BHJP

【ＦＩ】

H04N5/232 290

H04N5/225 300

H04N5/225 900

G06T5/00 725

G03B5/00 L

G03B5/00 J

G03B15/00 S

【請求項の数】 5

(21)【出願番号】P 2019002522

(22)【出願日】2019-01-10

(65)【公開番号】P2020113862

(43)【公開日】2020-07-27

【審査請求日】2021-12-23

(73)【特許権者】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】吉田 秀行

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１７－２２０７４５（ＪＰ，Ａ）

【文献】特開２０１７－２１６５９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｇ０６Ｔ ５／００

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させる駆動部と、
前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を台形補正するプロセッサと、
前記画像センサの移動量および前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを記憶する記憶部と、を備え、
前記画像内の位置は、前記光軸の揺れ方向における位置であり、
前記プロセッサは、前記画像内の位置毎に前記揺れ方向に垂直な方向に前記伸縮倍率で画像を伸縮することにより、前記画像を台形補正する、
撮影装置。

【請求項2】

前記光軸の揺れ方向の角速度と前記レンズの焦点距離とに基づいて前記画像センサの目標移動量を算出する算出部と、
前記画像センサの移動量を測定する位置センサと、を備え、
前記駆動部は、前記目標移動量と前記移動量とに基づいて、前記位置センサを移動させる、
請求項１に記載の撮影装置。

【請求項3】

前記プロセッサは、前記画像センサの移動量ΔＹおよび前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを用いて、前記画像を台形補正する、
請求項１または２に記載の撮影装置。

【請求項4】

レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させ、
前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を台形補正し、
前記画像センサの移動量および前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを記憶することを有し、
前記画像内の位置は、前記光軸の揺れ方向における位置であり、
前記台形補正では、前記画像内の位置毎に前記揺れ方向に垂直な方向に前記伸縮倍率で画像を伸縮することにより、前記画像を台形補正する、
画像補正方法。

【請求項5】

実行されると、プロセッサに、
レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させ、
前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を台形補正し、
前記画像センサの移動量および前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを記憶することを有し、
前記画像内の位置は、前記光軸の揺れ方向における位置であり、
前記台形補正では、前記画像内の位置毎に前記揺れ方向に垂直な方向に前記伸縮倍率で画像を伸縮することにより、前記画像を台形補正する、
画像補正プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮影装置、画像補正方法、および画像補正プログラムに関する。

【背景技術】

【0002】

近年、画像センサの低価格化および高性能化に伴い、屋外に設置できる監視カメラの需要が増大している。例えば、台形補正に関して、例えば、カメラに生成させた撮影画像内において、台形補正すべき領域をユーザに適切に指定させることが可能な携帯端末が提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１５１５７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、屋外に設置された監視カメラは、土台に固定されている場合であっても、振動や風の影響により揺動することがある。監視カメラが揺動した場合、監視カメラが撮影する画像から、例えば、台形補正により歪みを除去することが好ましい。しかしながら、特許文献１に記載の技法においては、台形補正すべき領域をユーザが指定するので、台形補正すべき領域が時々刻々と変化する映像に対して当該技法を適用するのは、困難である。また、屋外に設置された監視カメラが絶えず揺動する場合、台形補正すべき領域をユーザが絶えず指定するのは、困難である。また、監視カメラの台数が多い場合、台形補正すべき領域をユーザが全ての監視カメラに対して指定するのは、困難である。

【0005】

本開示の一実施例は、撮影装置が撮影した画像における、撮影装置の揺動による変形を自動的に補正する、改善された撮影装置、画像補正方法、および画像補正プログラムの提供に資する。

【課題を解決するための手段】

【0006】

本開示に係る撮影装置は、レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させる駆動部と、前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を台形補正するプロセッサと、前記画像センサの移動量および前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを記憶する記憶部と、を備え、前記画像内の位置は、前記光軸の揺れ方向における位置であり、前記プロセッサは、前記画像内の位置毎に前記揺れ方向に垂直な方向に前記伸縮倍率で画像を伸縮することにより、前記画像を台形補正する構成を採る。

【0007】

本開示に係る画像補正方法は、レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させ、前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を台形補正し、前記画像センサの移動量および前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを記憶することを有し、前記画像内の位置は、前記光軸の揺れ方向における位置であり、前記台形補正では、前記画像内の位置毎に前記揺れ方向に垂直な方向に前記伸縮倍率で画像を伸縮することにより、前記画像を台形補正する構成を採る。

【0008】

本開示に係る画像補正プログラムは、実行されると、プロセッサに、レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させ、前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を台形補正し、前記画像センサの移動量および前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを記憶することを有し、前記画像内の位置は、前記光軸の揺れ方向における位置であり、前記台形補正では、前記画像内の位置毎に前記揺れ方向に垂直な方向に前記伸縮倍率で画像を伸縮することにより、前記画像を台形補正する構成を採る。

【0009】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示の一実施例によれば、撮影装置が撮影した画像における、撮影装置の揺動による変形を自動的に補正する、改善された撮影装置、画像補正方法、および画像補正プログラムを提供できる。

【0011】

本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0012】

【図1】本開示に係る監視カメラの構成の一例を示す図

【図2】撮影部の縦方向の揺れを説明する図

【図3A】撮影部の下方向の揺れを説明する図

【図3B】撮影部の下方向の揺れに起因するあおり画像を説明する図

【図4A】撮影部の上方向の揺れを説明する図

【図4B】撮影部の上方向の揺れに起因するあおり画像を説明する図

【図5】実施の形態１に係る監視カメラの動作を説明するフローチャート

【図6A】本開示に係る撮影部が撮影した台形補正前の画像

【図6B】本開示に係る台形補正後の画像

【図6C】本開示に係る切り出し前の画像

【図6D】本開示に係る切り出し後の画像

【図7】ＢＩＳ機構ユニットを備える撮影部の一例を示す斜視図

【図8】ＢＩＳ機構ユニットを備える他の撮影部を内部構造の一部と共に表した透視斜視図

【図9】図８に示した撮影部を後方斜め右上から見た透視斜視図

【図10】本開示に係る画像センサの露光タイミングの一例を説明する図

【図11】実施の形態２に係る監視カメラの動作を説明するフローチャート

【図12】撮影部の横方向の揺れを説明する図

【発明を実施するための形態】

【0013】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示は以下の実施の形態により限定されるものではない。

【0014】

（実施の形態１）
図１は、本開示に係る監視カメラ（撮影装置）１の構成の一例を示す図である。監視カメラ１は、撮影部（撮影モジュール）２００と、画像信号処理部（画像信号処理回路）４００と、記憶部（記憶回路、記憶素子）５００と、を備える。一例において、監視カメラ１は、プログラムを実行するプロセッサを備え、記憶部５００またはプロセッサが記憶するプログラムをプロセッサが実行することにより、撮影部２００と画像信号処理部４００との各構成要素の機能を実現する。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）である。他の一例において、撮影部２００または画像信号処理部４００は、撮影部２００または画像信号処理部４００の各構成要素の機能を実現するＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）である。なお、監視カメラ１を撮影装置１の一例に採って、本開示を説明するが、撮影装置１は、監視以外の目的に用いる撮影装置であってもよい。

【0015】

撮影部２００は、ＢＩＳ（In-body Image Stabilizer）機構ユニット（位置補正機構）１１０と、レンズ部（レンズモジュール）１３０と、ジャイロセンサ１４０と、角速度変換部（角速度変換回路、算出部、算出回路）１４１と、比較器（比較回路）１６０と、駆動制御部１７０と、を備える。

【0016】

ＢＩＳ機構ユニット１１０は、画像センサ１０４の受光面上に結像する被写体の像の揺れ方向の変位を安定化する。ＢＩＳ機構ユニット１１０は、画像センサ１０４と、位置センサ１５０と、センサ駆動部（駆動部）１８０と、を備える。

【0017】

画像センサ１０４は、受光面に受けた光を電気信号に変換する。画像センサ１０４は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）を含んで形成されてよい。画像センサ１０４の前段（被写体側）には、画像センサ１０４の受光面を覆うように保護ガラス（図示略）が配置されてもよい。保護ガラスにより、画像センサ１０４の受光面が保護される。

【0018】

位置センサ１５０は、揺れ方向に関する画像センサ１０４の基準位置からの変位量（移動量）ΔＹを検出し、変位量ΔＹの測定値ΔＹｍを出力する。揺れ方向は、レンズ１３１の光軸Ｏｃの方向に垂直な方向の１つであり、例えば、縦方向である。基準位置は、例えば、レンズ部１３０に揺れがない（即ち、撮影部２００に揺れがない）場合の画像センサ１０４の位置である。この場合、撮影部２００に揺れのない状態において変位の測定値ΔＹｍは値０を示す。一例において、基準位置は、レンズ部１３０の光軸調整を加味した値である。

【0019】

センサ駆動部１８０は、駆動制御部１７０の制御に応じて、画像センサ１０４を揺れ方向に移動させ、位置を調整する。センサ駆動部１８０は、例えば、レンズ部１３０の筐体または撮影部２００の筐体に固定されるＢＩＳモータを有する。センサ駆動部１８０は、変位量ΔＹが目標値ΔＹｔに等しくなるように画像センサ１０４を揺れ方向に移動させることにより、画像センサ１０４の受光面に結像した被写体の像に対する撮影部２００の揺れの影響を相殺させる。

【0020】

レンズ部１３０は、１つ以上のレンズ１３１を有する。レンズ１３１は、画像センサ１０４の受光面に被写体の像を結像する。以下、簡単の為に、レンズ１３１の個数を１個として、本開示を説明する。レンズ１３１は、撮影部２００の設置場所や撮影用途によって、様々な焦点距離や撮影範囲のレンズを用いることができる。レンズ部１３０は、レンズ１３１の状態を示す情報（レンズ情報）を出力する。レンズ情報は、例えば、焦点距離またはレンズズーム倍率である。

【0021】

ジャイロセンサ１４０は、揺れ方向に係る角速度ωを検出する。ジャイロセンサ１４０は、例えば、レンズ部１３０の筐体または撮影部２００の筐体に固定される。

【0022】

角速度変換部１４１は、ジャイロセンサ１４０が検出した揺れ方向に係る角速度ωに基づいて揺れ角度Δθを求める。揺れ角度Δθとは、レンズ１３１の光軸Ｏｃが基準方向となす角度の、揺れ方向成分である。基準方向は、例えば、撮影部２００が静止した状態におけるレンズ１３１の光軸Ｏｃ方向である。角速度変換部１４１は、例えば、角速度ωを時間で積分することにより、揺れ角度Δθを求める。さらに、角速度変換部１４１は、レンズ部１３０からレンズ情報を取得する。次いで、角速度変換部１４１は、揺れ角度Δθとレンズ情報とに基づいて、揺れ方向に係る画像センサ１０４の基準位置からの変位量ΔＹの目標値ΔＹｔを求める。

【0023】

比較器１６０は、揺れ方向に関する画像センサ１０４の基準位置からの変位量ΔＹの目標値ΔＹｔと測定値ΔＹｍとを比較し、差分値を出力する。例えば、目標値ΔＹｔと測定値ΔＹｍとが等しい場合、差分値は０となる。

【0024】

駆動制御部１７０は、比較器１６０が出力した差分値に基づいて、センサ駆動部１８０を制御する。一例において、駆動制御部１７０は、センサ駆動部１８０をＰＩＤ（Proportional-Integral-Diferential）制御する。駆動制御部１７０は、目標値ΔＹｔと測定値ΔＹｍの差分値が０に近づくように、センサ駆動部１８０をフィードバック制御する。

【0025】

画像信号処理部４００は、インターフェース（ＩＦ）部（インターフェース回路）４１０と、色空間変換部（色空間変換回路）４２０と、変形量生成部（変形量生成回路）４３０と、画像変形部（画像変形回路）４４０と、画像切出部（画像切出回路）４５０と、を備える。

【0026】

インターフェース（ＩＦ）部４１０は、画像センサ１０４から電気信号を入力し、ＲＧＢ色空間で表現される画像データに変換する。インターフェース部４１０は、例えば、ＡＤコンバータを含む。さらに、インターフェース部４１０は、画像センサ１０４から入力した電気信号に基づいて、画像センサ１０４の露光時間を制御する。一例において、インターフェース部４１０は、画像データに対して、ガンマ補正、ホワイトバランス補正、または傷補正といった画像処理を行う。

【0027】

色空間変換部４２０は、インターフェース部４１０から画像データを取得し、色空間を変換する。例えば、色空間変換部４２０は、ＲＧＢ色空間で表現される画像データを、ＹＣ（Ｙ：輝度信号、Ｃ：色差信号）信号で表現される画像データに変換する。

【0028】

変形量生成部４３０は、レンズ部１３０から取得するレンズ情報と、位置センサ１５０から取得する画像センサ１０４の変位の測定値ΔＹｍと、インターフェース部４１０から取得する露光時間と、の少なくとも１つに基づいて、変形パラメータを生成する。変形は、例えば、射影変形である。射影変形は、射影変換で表現される変形であり、台形補正を含む。ここで、台形補正とは、台形の領域を長方形にマップする射影変形のことである。変形パラメータとは、画像変形部４４０が画像を変形するときに使用するパラメータである。変形パラメータは、例えば、台形補正に用いられる変形パラメータである台形変形量である。台形変形量については、図５を参照して後述する。

【0029】

画像変形部４４０は、変形量生成部４３０から変形パラメータを取得し、取得した変形パラメータに基づいて色空間変換部４２０から取得した画像を変形する。変形は、例えば、射影変形であり、台形補正を含む。台形補正を用いた変形の一例について、図６Ａおよび図６Ｂを参照して後述する。

【0030】

画像切出部４５０は、画像変形部４４０から台形補正後の画像を取得し、取得した画像から対象領域に含まれる画像を切り出し処理する。対象領域は、例えば、長方形の形状の領域である。切り出し処理の詳細については、図６Ｃおよび図６Ｄを参照して後述する。

【0031】

記憶部５００は、撮影部２００または画像信号処理部４００が取得または生成するデータを記憶する。データは、例えば、図５を参照して後述する、レンズ１３１のレンズ情報と画像センサ１０４の変位の測定値ΔＹｍとに対する台形変形量、図６Ａ～図６Ｄを参照して後述する台形補正前後または切り出し前後の画像データである。また、一例において、記憶部５００は、接続された外部の機器（図示略）が記憶内容にアクセスするためのコントローラを備える。

【0032】

図２は、撮影部２００の縦方向の揺れを説明する図である。図２に示されるように、例えば、撮影部２００は、支持柱５１ａを介して、土台Ｂに固定される。例えば、空港、高層ビルディングの屋上、またはクレーン車のクレーン上部といった、比較的風の強い場所において、撮影部２００の後方から強風が吹いてきた場合、支持柱５１ａが撓り、撮影部２００の光軸Ｏｃは、縦方向に揺動する。また、土台Ｂがベルトコンベアの脇または高速道路の橋桁である場合、物の搬送または車両の通行に伴い、土台Ｂが振動し、撮影部２００も振動し、撮影部２００の光軸Ｏｃは、揺動する。このように、撮影部２００の光軸Ｏｃは、外乱によって振動または揺動しうる。

【0033】

図３Ａは、撮影部２００の下方向の揺れを説明する図である。図３Ｂは、撮影部２００の下方向の揺れに起因するあおりを説明する図である。簡単の為、図３Ａにおいて、撮影部２００が備える構成要素のうち、画像センサ１０４、レンズ部１３０、およびレンズ１３１以外の部材は、省略されている。

【0034】

撮影部２００が縦方向に揺動する場合、ある瞬間において、図３Ａに示されるようにレンズ１３１の光軸Ｏｃが下方向に揺れ角度Δθ傾く。この状態において、図３Ａに示されるように、被写体Ｔは、撮影部２００から見てレンズ１３１の光軸Ｏｃに対して角度Δθ上方に存在する。したがって、画像センサ１０４の受光面に結像する被写体Ｔの像の位置が、揺れ角度Δθおよびレンズ１３１の焦点距離に応じた変位量ΔＹだけ画像センサ１０４の受光面において下に移動する。そこで、画像センサ１０４を角度Δθに応じた変位量ΔＹだけ下に移動することにより、画像センサ１０４の受光面に結像する被写体Ｔの像の、画像センサ１０４における揺れ方向の変位を相殺することができる。

【0035】

一方、例えば、図３Ａに示されるようにレンズ１３１の光軸Ｏｃが下方向に揺れ角度Δθ傾いた場合、傾いていない場合と比較して、画像センサ１０４の受光面のより下側に結像する入射光ほど、焦点Ｑから画像センサ１０４の受光面までの光学距離の変化率がより大きい。その結果、色空間変換部４２０が生成する画像Ｐ１，Ｐ２は、図３Ｂに示されるように、下辺の長さｒ１が、上辺の長さｒ２，ｒ３より大きい台形形状を有するあおり画像となる。短辺の長さに対する長辺の長さの比率（以下、あおり量と称する）は、レンズ１３１の光軸Ｏｃの揺れ角度Δθが大きい、即ち画像センサ１０４の変位量ΔＹが大きい程、大きくなる。即ち、図３Ｂにおいて、ｒ２＞ｒ３である。また、あおり量は、レンズ１３１の焦点距離が短いほど、大きくなる。

【0036】

図４Ａは、撮影部２００の上方向の揺れを説明する図である。図４Ｂは、撮影部２００の上方向の揺れに起因するあおりを説明する図である。簡単の為、図４Ａにおいて、撮影部２００が備える構成要素のうち、画像センサ１０４、レンズ部１３０、およびレンズ１３１以外の部材は、省略されている。

【0037】

撮影部２００が縦方向に揺動する場合、ある瞬間において、図４Ａに示されるようにレンズ１３１の光軸Ｏｃが上方向に揺れ角度Δθ傾く。この状態において、図４Ａに示されるように、被写体Ｔは、撮影部２００から見てレンズ１３１の光軸Ｏｃに対して角度Δθ下方に存在する。したがって、画像センサ１０４の受光面に結像する被写体Ｔの像の位置が、揺れ角度Δθおよびレンズ１３１の焦点距離に応じた変位量ΔＹだけ画像センサ１０４の受光面において上に移動する。そこで、画像センサ１０４を角度Δθに応じた変位量ΔＹだけ上に移動することにより、画像センサ１０４の受光面に結像する被写体Ｔの像の、画像センサ１０４における揺れ方向の変位を相殺することができる。

【0038】

一方、例えば、図４Ａに示されるようにレンズ１３１の光軸Ｏｃが上方向に揺れ角度Δθ傾いた場合、傾いていない場合と比較して、画像センサ１０４の受光面のより上側に結像する入射光ほど、焦点Ｑから画像センサ１０４の受光面までの光学距離の変化率がより大きい。その結果、色空間変換部４２０が生成する画像Ｐ３，Ｐ４は、図４Ｂに示されるように、上辺の長さｒ４が、下辺の長さｒ５，ｒ６より大きい台形形状を有するあおり画像となる。あおり量は、レンズ１３１の光軸Ｏｃの揺れ角度Δθが大きい、即ち画像センサ１０４の変位量ΔＹが大きい程、大きくなる。即ち、図４Ｂにおいて、ｒ５＞ｒ６である。また、あおり量は、レンズ１３１の焦点距離が短いほど、大きくなる。

【0039】

上記に鑑み、監視カメラ１が画像センサ１０４の変位量ΔＹおよびレンズ１３１のレンズ情報に応じてあおり画像を台形補正する動作を、次に説明する。

【0040】

図５は、実施の形態１に係る監視カメラ１の動作を説明するフローチャートである。

【0041】

ステップＳ１０１において、変形量生成部４３０は、画像センサ１０４に入力される垂直同期（ＶＤ，Vertical Drive）信号のパルスに応じたタイミングで画像センサ１０４の位置を取得する。位置は、例えば、基準位置からの少なくとも１つの揺れ方向への変位量である。

【0042】

ステップＳ１０３において、変形量生成部４３０は、垂直同期信号の同一パルスに応じたタイミングでレンズ情報（例えば、レンズ１３１の焦点距離）を取得する。同一パルスとは、ステップＳ１０１において、変形量生成部４３０が画像センサ１０４の位置を取得したタイミングの基となったパルスである。

【0043】

ステップＳ１０５において、画像変形部４４０は、垂直同期信号の同一パルスに応じたタイミングで撮影部２００が撮影した台形補正前の画像を取得する。なお、画像は、色空間変換部４２０から直接取得した画像であってもよく、色空間変換部４２０が記憶部５００に一旦記憶させた画像であってもよい。

【0044】

図６Ａは、本開示に係る撮影部２００が撮影した台形補正前の画像Ｐ１１である。画像Ｐ１１は、レンズ１３１の光軸Ｏｃが下に揺れている状態で画像センサ１０４に結像した被写体の像のうち、画像センサ１０４の走査範囲に含まれる部分に対応する画像である。図６Ａに示されるように、画像Ｐ１１には、あおりが発生している。

【0045】

図５を再度参照する。ステップＳ１０７において、変形量生成部４３０は、揺れ方向に係る台形変形量を生成する。ここで、揺れ方向に係る台形変形量とは、例えば、台形補正前の画像の揺れ方向における位置（座標値）における、揺れ方向に垂直な方向への伸縮倍率である。揺れ方向が縦方向の場合、座標値は、垂直方向の座標値（縦座標値）となる。揺れ方向（縦方向）に垂直な方向は横方向であり、伸縮倍率は、台形補正前の画像の水平方向における伸縮倍率である。一例において、記憶部５００は、次の＜表１＞に示される、レンズ１３１の焦点距離と画像センサ１０４の縦方向の変位の測定値ΔＹｍとに対する、縦座標値毎の伸縮倍率を記述したテーブル（伸縮倍率を示すデータ）を記憶する。

【0046】

【表1】

【0047】

例えば、＜表１＞において、焦点距離２と変位の測定値ΔＹ_Ｎに対する縦座標値＃Ｌにおける伸縮倍率は、１．６０である。そして、変形量生成部４３０は、レンズ１３１の焦点距離と画像センサ１０４の変位の測定値ΔＹｍと、テーブルとに基づいて、台形変形量を生成する。一例において、変位の測定値ΔＹ_Ｎに対する縦座標値が、テーブル内に存在しない場合、テーブル内の伸縮倍率を内挿補間または外挿補間してもよい。

【0048】

一例において、変形量生成部４３０は、正または負の測定値ΔＹｍに対して、絶対値が等しく符号が異なる測定値－ΔＹｍのテーブルからルックアップした伸縮倍率の逆数を算出することにより、台形変形量を生成してもよい。他の一例において、変形量生成部４３０は、正または負の測定値ΔＹｍに対して、絶対値が等しく符号が異なる測定値－ΔＹｍのテーブルから、中央の縦座標値を挟んで反対側の縦座標値における伸縮倍率をルックアップすることにより、台形変形量を生成してもよい。これらにより、記憶部５００が記憶するテーブルの数を減少できる。

【0049】

ステップＳ１０９において、画像変形部４４０は、垂直同期信号の同一パルスに応じた画像Ｐ１１および台形変形量が揃った場合、画像Ｐ１１を台形変形する。一例において、画像変形部４４０は、ステップＳ１０７において変形量生成部４３０が記憶部５００から取得したテーブルから、縦座標値毎に、ルックアップした伸縮倍率で横方向に画像を伸縮する。他の一例において、画像変形部４４０は、ステップＳ１０７において変形量生成部４３０が記憶部５００から取得した、画像Ｐ１１の上辺および下辺に対応する２つの縦座標値における伸縮倍率を補間（例えば、線形補間）することによって、各縦座標値における伸縮倍率を算出する。次いで、画像変形部４４０は、縦座標値毎に算出した伸縮倍率で、縦座標値毎に横方向に画像を伸縮する。

【0050】

図６Ｂは、本開示に係る台形補正後の画像Ｐ１２である。縦座標値が画像Ｐ１１の上辺に近いほど大きい伸縮倍率で伸縮して台形補正された結果、画像Ｐ１１に発生していたあおりが画像Ｐ１２において解消されている。

【0051】

再度、図５を参照する。ステップＳ１１１において、画像切出部４５０は、台形変形された画像から対象範囲を切り出しする。

【0052】

図６Ｃは、本開示に係る切り出し前の画像Ｐ１２である。図６Ｄは、本開示に係る切り出し後の画像Ｐ１３である。画像Ｐ１２から、長方形の対象領域Ｒに含まれる画像が切り出された結果、あおりのない長方形の画像Ｐ１３が生成される。

【0053】

再度、図５を参照する。ステップＳ１１３において、画像信号処理部４００は、動作を継続するか否かを判断する。一例において、画像信号処理部４００は、監視カメラ１が通電している場合、動作を継続すると判断する。

【0054】

動作を継続する場合（ステップＳ１１３：Ｙｅｓ）、処理をステップＳ１０１に戻す。一方、動作を継続しない場合（ステップＳ１１３：Ｎｏ）、処理を終了する。

【0055】

［ＢＩＳ機構ユニットを備えるカメラの例］
画像センサ１０４に相当するイメージセンサをＢＩＳ機構ユニット１１０に相当する制御機構で制御する様々な撮影部２００に、本開示に係る画像信号処理部４００を接続することにより、本開示に係る監視カメラ１を構成できる。

【0056】

図７は、ＢＩＳ機構ユニット２９を備える撮影部２００（２００Ａ）の一例を示す斜視図である。

【0057】

図７、図８、および図９に示されるＢＩＳ機構ユニット２９は、図１に示されるＢＩＳ機構ユニット１１０に相当する。また、図７、図８、および図９に示されるレンズ部２７またはレンズ部３５は、図１に示されるレンズ部１３０に相当する。

【0058】

撮影部２００Ａは、例えば、円錐面を有する筒状の外カバー１１を有する。外カバー１１の上端は、天井又はポール等の被取付体に固定される取付筒１３を有する。撮影部２００Ａは、取付筒１３が鉛直方向上側となって、ポール等から垂下して取り付けられる。外カバー１１は、雨よけとして機能する。取付筒１３は、挿入したポール等を固定するための固定ボルト１５を、円周方向に等間隔で複数螺合している。取付筒１３は、外カバー１１の内方に通じる。外カバー１１内には、ポール等に通された電源線や信号線が、取付筒１３を通って導入される。

【0059】

外カバー１１の下面は、例えば円形開口となる。円形開口には、例えば円環状のリングカバー１７が着脱自在に取り付けられる。リングカバー１７の内穴１９からは、例えば透明樹脂材料を用いて構成されたドームカバー２１の半球側が垂下する。ドームカバー２１は、半球外殻と、半球外殻の開口周縁に同一半径で接続する円筒とを含む。円筒は、半球外殻と反対側に、リングカバー１７に固定されるフランジ（図示略）を有する。ドームカバー２１は、このフランジがリングカバー１７と外カバー１１との間に配置されて固定される。

【0060】

ドームカバー２１は、例えば成形性及び透明性に優れた樹脂材料を基板材料として用いる。樹脂材料としては、有機系樹脂材料、無機系樹脂材料を用いることができる。例えば、半球外殻の基板材料に、例えばポリカーボネートなどの有機系樹脂材料を用いてもよい。ポリカーボネートは、硬く衝撃に強いため好適である。また、アクリルなど透明性の良好な樹脂も使用可能である。

【0061】

ドームカバー２１は、その内側がカメラ収容空間となる。カメラ収容空間には、鉛直方向に沿う方向のパン回転中心Ｐｃと、パン回転中心Ｐｃに直角方向で交差するチルト回転中心Ｔｃと、を中心にパン回転及びチルト回転が自在となったカメラ部２３が配置される。カメラ部２３は、カメラ筐体２５にレンズ部２７を備える。カメラ筐体２５には、カメラ部２３の揺れの影響を勘案した補正（以下、「揺れ補正」（ＢＩＳ：in body image stabilizer）と称する場合がある）の処理を行うＢＩＳ機構ユニット２９が設けられる。ＢＩＳ機構ユニット２９は、カメラ筐体２５のベースの一例としてのレンズマウントベース３１に固定される揺れ補正機構１００を有する。揺れ補正機構１００には、イメージセンサ（図示略）が取り付けられている。

【0062】

図８は、ＢＩＳ機構ユニット２９を備える他の撮影部２００（２００Ｂ）を内部構造の一部と共に表した透視斜視図である。

【0063】

なお、上下前後左右の方向は、図８に示した矢印の方向に従うものとするが、これらの方向は、図７に示す撮影部２００Ａにおいても同様に適用できる。

【0064】

揺れ補正機構１００は、図７に示すドーム型の撮影部２００Ａと同様に、図８に示すボックス型の撮影部２００Ｂにも適用できる。撮影部２００Ｂは、箱（ボックス）状のカメラ筐体３３内にカメラ部２３（図８では不図示）を収容する。

【0065】

カメラ部２３は、レンズ部３５を備える。カメラ部２３には、カメラ部２３の揺れの影響を勘案した補正（揺れ補正）の処理を行うＢＩＳ機構ユニット２９が設けられる。ＢＩＳ機構ユニット２９は、カメラ筐体３３のベースの一例としてのレンズマウントベース３７に固定される揺れ補正機構１００を有する。揺れ補正機構１００は、レンズマウントベース３７に固定される。レンズマウントベース３７は、カメラ筐体３３に固定される。揺れ補正機構１００には、イメージセンサ（図示略）が取り付けられる。

【0066】

図９は、図８に示した撮影部２００Ｂを後方斜め右上から見た透視斜視図である。

【0067】

レンズマウントベース３７は、固定ブラケット３９によりカメラ筐体３３に固定される。レンズマウントベース３７は、一方の面（例えば図８に示す前面４１）でレンズ部３５を支持する。レンズマウントベース３７は、レンズ部３５を通る光軸Ｏｃに垂直な他方の面（例えば背面４３）に受光窓（図示略）が開口する。

【0068】

撮影部２００Ｂは、ＡＢＦ（Auto Back Focus）機構２５０を備える。固定ブラケット３９は、ＡＢＦ機構２５０の外周の少なくとも一部である。ＡＢＦ機構２５０は、ＡＢＦモータ２５１、スライドガイドピン２５２、ＡＢＦ予圧バネ２５３、を備える。また、ＡＢＦ機構２５０の内部には、ＢＩＳ機構ユニット２９が装着される。ＢＩＳ機構ユニット２９は、ＡＢＦ機構２５０の内部において、光軸Ｏｃの方向に沿って移動可能である。

【0069】

図９では、スライドガイドピン２５２及びＡＢＦ予圧バネ２５３がＢＩＳ機構ユニット２９の右側（図９に示す方向情報参照）に示されているが、ＢＩＳ機構ユニット２９の左側にも同様に配置される（図示略）。

【0070】

ＡＢＦモータ２５１は、固定ブラケット３９により規定される前後方向（光軸方向）の範囲内で、ＢＩＳ機構ユニット２９を前後方向に移動させるための駆動力を供給する。ＡＢＦモータ２５１のシャフト２５１ａは、前後方向に伸縮可能であり、ＡＢＦモータ２５１の駆動力に従って、ＢＩＳ機構ユニット２９の後面２９ａを押圧する。ＡＢＦモータ２５１は、ＢＩＳ機構ユニット２９を前後方向に移動させて、フォーカス調整するために用いられ得る。また、ＡＢＦモータ２５１は、ＢＩＳ機構ユニット２９に含まれるイメージセンサの前段の保護ガラスがクリーニングされる際にも、ＢＩＳ機構ユニット２９を前後方向に移動させる。

【0071】

スライドガイドピン２５２は、ＡＢＦ機構２５０の固定ブラケット３９とＢＩＳ機構ユニット２９との間に、光軸Ｏｃに沿って配置される。スライドガイドピン２５２は、ＢＩＳ機構ユニット２９の左右に配置される。

【0072】

ＡＢＦ予圧バネ２５３は、ＡＢＦ機構２５０の固定ブラケット３９とＢＩＳ機構ユニット２９との間に、光軸Ｏｃに沿って配置される。ＡＢＦ予圧バネ２５３の半径方向内側には、スライドガイドピン２５２が同軸で配置される。ＡＢＦ予圧バネ２５３は、ＡＢＦモータ２５１のシャフト２５１ａによりＢＩＳ機構ユニット２９の押圧に対して、ＢＩＳ機構ユニット２９を前後方向の所定位置に配置する。この場合、シャフト２５１ａにより前方向に押圧する力と、ＡＢＦ予圧バネ２５３の弾性力によりＢＩＳ機構ユニット２９を後方向に押圧する力と、が釣り合う位置に、ＢＩＳ機構ユニット２９が固定される。ＡＢＦ予圧バネ２５３は、ＢＩＳ機構ユニット２９の左右に配置される。

【0073】

なお、ＡＢＦ機構２５０は、撮影部２００Ｂに限らず、撮影部２００Ａにも同様に適用可能である。

【0074】

撮影部２００Ｂは、例えば天井面、壁面又はポールに取り付けられる。天井面、壁面又はポールには、図８に示したカメラ取付台４７が固定される。カメラ取付台４７は、固定フランジ部４９と、固定フランジ部４９から突出する支持柱５１と、支持柱５１の先端に設けられた方向調節部５３とを有する。方向調節部５３は、先端に、三脚取付ネジ５５を有する。三脚取付ネジ５５は、カメラ筐体３３の三脚取付座５７に螺合され、固定リング５９により固定される。

【0075】

方向調節部５３は、三脚取付ネジ５５の基端に設けた球体（図示略）を軸受に、球面対偶で支持する。従って、三脚取付ネジ５５は、軸受内で球体が向きを変えたり回転したりするピボット動作を可能とする。方向調節部５３は、三脚取付ネジ５５によりカメラ筐体３３を、鉛直方向に沿う方向のパン回転中心Ｐｃを中心にパン回転自在に支持するとともに、パン回転中心Ｐｃ上のチルト回転中心Ｔｃを中心にチルト回転自在に支持する。

【0076】

撮影部２００Ｂは、天井面、壁面又はポールに取り付けられる際に、撮影方向が設定される。撮影方向は、例えば天井面に取り付けられる場合には、やや傾斜して設定される。撮影方向が設定された撮影部２００Ｂは、方向調節部５３の固定レバー６１により、三脚取付ネジ５５（球面対偶）を固定する。

【0077】

揺れ補正機構１００は、上述した撮影部２００としての撮影部２００Ａや撮影部２００Ｂのいずれに設けられてもよい。

【0078】

実施の形態１によれば、監視カメラ１が撮影した画像Ｐ１１における、監視カメラ１の揺動による変形を自動的に補正できる。

【0079】

（実施の形態２）
実施の形態１においては、画像変形部４４０は、台形変形量の生成に用いるパラメータを取得した垂直同期信号のパルスに応じたタイミングと同一のパルスに応じたタイミングで、撮影部２００が撮影した台形補正前の画像Ｐ１１を取得する。ここで、画像Ｐ１１の露光時間が、撮影部２００が撮影したフレーム毎に異なる場合、露光時間に応じた台形変形量を用いることにより、より精度の良い台形補正が可能になる。

【0080】

図１０は、本開示に係る画像センサ１０４の露光タイミングの一例を説明する図である。図１０において、画像センサ１０４の露光時間Ｆ１，Ｆ２，Ｆ３，Ｆ４は、それぞれ、フレーム１，２，３，４の画像データに対応する出力信号を生成するために、画像センサ１０４の受光面を画像センサ１０４が露光する時間である。

【0081】

図１０に示されるように、画像センサ１０４がパルス周期ＴＦの垂直同期信号のパルスを入力後、一定期間（Ｖ－ＢＬＫ（Vertical-BLanKing）期間）ＴＢ経過後に、画像データに対応する信号が出力される。したがって、フレーム毎に露光時間（例えば、ｔ２，ｔ３，ｔ４）が変化する場合、露光時間経過後に画像データを出力できるように、露光の開始時間を変更する。露光の開始時間を変更すると、露光の中心位置（中心時間位置、中心タイミング）Ｔ２，Ｔ３，Ｔ４（画像センサ１０４中央の走査線の露光開始タイミングと露光終了タイミングとの中間点）も変化する。そこで、実施の形態２においては、露光の中心位置Ｔ２，Ｔ３，Ｔ４に応じて、台形変形量を調整する。

【0082】

図１１は、実施の形態２に係る監視カメラ１の動作を説明するフローチャートである。図１１に示されるフローチャートは、図５に示される実施の形態１に係るフローチャートと比較して、ステップＳ１０６およびステップＳ１０８を備える点において異なる。図５に示されるフローチャートと共通する点については、説明を省略する。

【0083】

ステップＳ１０６において、変形量生成部４３０は、画像センサ１０４に設定された露光時間ｔ２，ｔ３，ｔ４を取得し、露光の中心位置Ｔ２，Ｔ３，Ｔ４を算出する。一例において、設定された露光時間は、インターフェース部４１０から取得される。他の一例において、設定された露光時間は、撮影部２００から取得される。一例において、変形量生成部４３０は、画像センサ１０４に設定された走査線の数を取得し、走査線の数と、走査線当たりの信号読取時間と、露光時間ｔ２，ｔ３，ｔ４と、に基づいて、露光の中心位置Ｔ２，Ｔ３，Ｔ４を算出する。

【0084】

ステップＳ１０８において、変形量生成部４３０は、台形変形量を生成する。一例において、生成される台形変形量は、２つの台形変形量に基づいて、新たな生成される台形変形量である。例えば、露光の中心位置を挟む垂直同期信号の２つのパルスを、それぞれ、第１のパルスおよび第２のパルスとした場合、２つの台形変形量は、第１のパルスと同一のタイミングで生成された台形変形量と、第２のパルスと同一のタイミングで生成された台形変形量と、である。例えば、変形量生成部４３０は、第１のパルスと同一のタイミングで生成された台形変形量と、第２のパルスと同一のタイミングで生成された台形変形量と、を補間して、台形変形量を生成する。補間は、例えば、露光の中心位置Ｔ２（またはＴ３，Ｔ４）：（垂直同期信号のパルス周期ＴＦ―露光の中心位置Ｔ２（またはＴ３，Ｔ４）の比に基づく線形補間であってもよい。他の一例において、変形量生成部４３０は、露光の中心位置を挟む垂直同期信号の２つのパルスと同一のタイミングで取得した変位量ΔＹの２つの測定値ΔＹｍを、露光の中心位置に基づいて線形補間し、線形補間された値（補間変位量）に対して台形変形量を生成してもよい。

【0085】

実施の形態２によれば、露光の中心位置Ｔ２，Ｔ３，Ｔ４に基づいて調整された台形変形量を用いて、画像Ｐ１１を台形補正する。これにより、実施の形態１と比較して、監視カメラ１の揺動による変形をより精度良く自動的に補正できる。

【0086】

（その他の実施の形態）
実施の形態１および２においては、揺れ方向の一例に縦方向を採った。これに代えて、揺れ方向に横方向を採ってもよい。

【0087】

図１２は、撮影部２００の横方向の揺れを説明する図である。図１２には、撮影部２００をレンズ１３１の光軸Ｏｃ方向から見た図と上方向から見た図とが示されている。図１２に示されるように、例えば、撮影部２００は、支持柱５１ａを介して、土台Ｂに固定される。図２を参照して上述したのと同様に、比較的風の強い場所において、撮影部２００の横から強風が吹いてきた場合、支持柱５１ａが撓り、撮影部２００の光軸Ｏｃは、横方向に揺動する。

【0088】

この場合、撮影部２００は、例えば、横方向の揺れ角度Δφに係る角速度を測定するジャイロセンサ（図示略）を備えてもよい。ここで、横方向の揺れ角度Δφとは、レンズ１３１の光軸Ｏｃが基準方向となす角度の、横方向成分である。この場合、角速度変換部４３０は、横方向の揺れ角度Δφに係る角速度を時間で積分することにより横方向の揺れ角度Δφを算出してもよい。変形量生成部４３０は、横方向の揺れ角度Δφに基づく横方向の台形補正に係る台形変形量を生成してもよく、画像変形部４４０は、横方向の台形補正に係る台形変形量に基づいて横方向の台形補正を実行してもよい。一例において、記憶部５００は、次の＜表２＞に示される、レンズ１３１の焦点距離と画像センサ１０４の横方向の変位の測定値ΔＸｍとに対する、横座標値毎の伸縮倍率を記述したテーブルを記憶する。

【0089】

【表2】

【0090】

さらに、複数の揺れ方向に対処する場合、撮影部２００は、例えば、縦方向の揺れ角度Δθに係る角速度ωを測定するジャイロセンサ１４０と、横方向の揺れ角度Δφに係る角速度を測定するジャイロセンサ（図示略）と、を備えてもよい。この場合、画像変形部４４０は、例えば、横方向の台形補正と縦方向の台形補正とを実行してもよい。さらに、撮影部２００は、例えば、画像センサ１０４の受光面に平行な面内における回転量に係る角速度を測定するジャイロセンサ（図示略）を備えてもよい。この場合、画像変形部４４０は、例えば、回転量に係る角速度を時間で積分することにより算出された回転量に基づいて、画像を回転させてもよい。

【0091】

実施の形態１および２においては、センサ駆動部１８０は、レンズ１３１の光軸Ｏｃの方向に垂直な方向に画像センサ１０４を駆動した。これに代えて、または、これに加えて、センサ駆動部１８０が、レンズ１３１の光軸Ｏｃに対して画像センサ１０４を傾ける、またはレンズ１３１の光軸Ｏｃ方向に画像センサ１０４を駆動する実施の形態も考えられる。

【0092】

この場合、変形量生成部４３０は、センサ駆動部１８０の制御に用いられる情報を、例えば、駆動制御部１７０（図示略）、レンズ１３１の光軸Ｏｃ方向における画像センサ１０４の変位を測定する位置センサ（図示略）、またはレンズ１３１の光軸Ｏｃに対する画像センサ１０４の傾きを測定する傾きセンサ（図示略）から取得し、取得した情報に基づいて、画像の射影変形に用いられる変形パラメータを生成する。

【0093】

実施の形態２においては、台形補正に用いる台形変形量を、補間によって生成している。これに代えて、変形量生成部４３０は、レンズ情報と位置センサ１５０の変位の測定値ΔＹｍとを、露光の中心位置のタイミングで取得して、取得されたレンズ情報および測定値ΔＹｍに基づいて、台形変形量を生成してもよい。

【0094】

実施の形態１および２においては、センサ駆動部１８０は、画像センサ１０４の移動量ΔＹに応じて、レンズ１３１の光軸Ｏｃの方向に垂直な方向に画像センサ１０４を駆動した。これに代えて、センサ駆動部１８０は、レンズ１３１の光軸Ｏｃ方向の揺れ角度Δθに応じて、画像センサ１０４の露光位置（露光領域）を、光軸Ｏｃ方向の揺れ方向に移動させ、揺れ角度Δθとレンズ１３１の焦点距離とに応じて、台形変形量を生成する実施の形態も考えられる。この場合、画像センサ１０４を物理的に移動させなくてもよい。

【0095】

上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。また、角速度変換部１４１、比較器１６０、駆動制御部１７０、インターフェース部４１０、色空間変換部４２０、変換量生成部４３０、画像変形部４４０、および画像切出部４５０の少なくとも１つの機能を、プロセッサが実現してもよい。

【0096】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

【0097】

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0098】

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

【0099】

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

【0100】

通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。

【0101】

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

【0102】

本開示に係る撮影装置は、レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させる駆動部と、前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を変形するプロセッサと、を備える。

【0103】

本開示に係る撮影装置において、前記変形は、台形補正である。

【0104】

本開示に係る撮影装置において、前記画像センサの移動量および前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを記憶する記憶部を備え、前記画像内の位置は、前記光軸の揺れ方向における位置であり、前記プロセッサは、前記画像内の位置毎に前記揺れ方向に垂直な方向に前記伸縮倍率で画像を伸縮することにより、前記画像を台形補正する。

【0105】

本開示に係る撮影装置において、前記光軸の揺れ方向の角速度と前記レンズの焦点距離とに基づいて前記画像センサの目標移動量を算出する算出部と、前記画像センサの移動量を測定する位置センサと、を備え、前記駆動部は、前記目標移動量と前記移動量とに基づいて、前記位置センサを移動させる。

【0106】

本開示に係る撮影装置において、前記プロセッサは、前記画像センサが垂直同期信号のパルスを入力するタイミングで前記位置センサから取得した移動量に基づいて、前記画像を変形する。

【0107】

本開示に係る撮影装置において、前記プロセッサは、前記画像センサが垂直同期信号のパルスを入力するタイミングで前記位置センサから取得した移動量と前記画像センサの露光のタイミングとに基づいて、前記画像を変形する。

【0108】

本開示に係る撮影装置において、前記プロセッサは、前記画像センサの移動量ΔＹに対し、移動量－ΔＹおよび前記レンズの焦点距離に対する、前記画像内の位置における伸縮倍率を示すデータを用いて、前記画像を台形補正する。

【0109】

本開示に係る画像補正方法は、レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させ、前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を変形する。

【0110】

本開示に係る画像補正プログラムは、実行されると、プロセッサに、レンズの光軸の揺れ角度に応じて画像センサと前記レンズとの相対的な位置関係を変更させ、前記画像センサの移動量および前記レンズの焦点距離に基づいて、前記画像センサが撮影した画像を変形させる。

【産業上の利用可能性】

【0111】

本開示は、外乱によって振動または揺動しうる環境下で使用される監視カメラに有用である。

【符号の説明】

【0112】

１ 監視カメラ
１０４ 画像センサ
１１０ ＢＩＳ機構ユニット
１３０ レンズ部
１３１ レンズ
１４０ ジャイロセンサ
１４１ 角速度変換部
１５０ 位置センサ
１６０ 比較器
１７０ 駆動制御部
１８０ センサ駆動部
２００ 撮影部
４００ 画像信号処理部
４１０ インターフェース部
４２０ 色空間変換部
４３０ 変形量生成部
４４０ 画像変形部
４５０ 画像切出部
５００ 記憶部

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】