特開 2024-140052 デジタルカメラのパン又はチルト操作時におけるズレ補正技術

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024140052

(43)【公開日】2024-10-10

(54)【発明の名称】デジタルカメラのパン又はチルト操作時におけるズレ補正技術

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241003BHJP

   H04N 7/18 20060101ALI20241003BHJP

   G03B 15/00 20210101ALI20241003BHJP

【ＦＩ】

H04N23/60

H04N7/18 E

G03B15/00 S

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023051039

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】301022471

【氏名又は名称】国立研究開発法人情報通信研究機構

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】山崎 亮三

(72)【発明者】

【氏名】村上 雄樹

(72)【発明者】

【氏名】村田 健史

(72)【発明者】

【氏名】山本 和憲

【テーマコード（参考）】

5C054

5C122

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CF06

5C054CF07

5C054CG05

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC12

5C054FC15

5C054FD07

5C054FF02

5C054GB01

5C054HA19

5C122DA11

5C122EA06

5C122EA58

5C122EA63

5C122FH11

5C122GD06

5C122HA82

5C122HA88

5C122HB01

(57)【要約】

【課題】あるターゲットに対して一方側からパン又はチルトした場合と他方側からパン又はチルトする場合の撮影画像のズレを補正する。
【解決手段】カメラからの距離が既知である第一種ターゲットに対して左側からパンした撮影画像と右側からパンした撮影画像のズレ量を角度で正規化した値（Δｘ_ｉ）に基づいてカメラ固有のズレ特性に関する定数（Ｃ）を求め、この定数（Ｃ）を利用してカメラからの距離が未知である特定の第二種ターゲットに対して左側からパンした撮影画像と右側からパンした撮影画像のズレ量を角度で正規化した値（Δｘ_ｏ）を複数予め求めておき、カメラからの距離が未知である任意の第三種ターゲットにカメラをパンする場合には、この複数の正規化した値（Δｘ_ｏ）からの補間等により第三種ターゲットのパン値（ｘ）の補正量（±Δｘ_ｏ／２）を算出する。チルト操作についても同様である。
【選択図】図１

【特許請求の範囲】

【請求項1】

デジタルカメラのパン又はチルト操作時におけるズレを補正する方法であって、
補正対象のカメラからの距離が既知である一又は複数の特定の第一種ターゲットに対して、当該補正対象のカメラに当該第一種ターゲットのパン値（ｘ）又はチルト値（ｙ）を指定して、前記第一種ターゲットを挟んだ一方側から当該第一種ターゲットへパン又はチルトして撮影した場合と他方側から当該第一種ターゲットへパン又はチルトして撮影した場合との第一種画像を取得する第１工程と、
前記第一種画像を解析することにより、前記一方側からパン又はチルトして撮影した場合のズレ位置から前記他方側からパン又はチルトして撮影した場合のズレ位置までのズレ量を表すピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）と、当該ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）を求める第２工程と、
前記第２工程で求めた前記ピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）及び前記角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）から、前記補正対象のカメラ固有のズレ特性に関する定数（Ｃｘ，Ｃｙ）を求める第３工程と、
前記補正対象のカメラからの距離が未知である複数の特定の第二種ターゲットに対して、当該補正対象のカメラに当該第二種ターゲットのパン値（ｘ）又はチルト値（ｙ）を指定して、前記第二種ターゲットを挟んで一方側から当該第二種ターゲットへパン又はチルトして撮影した場合と他方側から当該第二種ターゲットへパン又はチルトして撮影した場合との第二種画像をそれぞれ取得する第４工程と、
前記第二種画像を解析することにより、前記一方側からパン又はチルトして撮影した場合のズレ位置から前記他方側からパン又はチルトして撮影した場合のズレ位置までのズレ量を表すピクセル値（ΔＰｘ_ｏ，ΔＰｙ_ｏ）を複数求める第５工程と、
前記第３工程で求めた前記定数（Ｃｘ，Ｃｙ）と前記第５工程で求めた複数の前記ピクセル値（ΔＰｘ_ｏ，ΔＰｙ_ｏ）から、前記ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を複数求める第６工程と、
前記補正対象のカメラからの距離が未知である任意の第三種ターゲットに対して前記補正対象のカメラをパン又はチルトするときに、前記第６工程で求めた複数の前記角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）に基づいて、前記補正対象のカメラに指定する当該第三種ターゲットのパン値（ｘ）又はチルト値（ｙ）の補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を求める第７工程と、を含む
方法。

【請求項2】

前記第１工程は、複数の前記第一種ターゲットに対して行われるものであり、
前記第２工程では、複数の前記第一種ターゲットについて前記ズレ量を表すピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）の平均を求める
請求項１に記載の方法。

【請求項3】

前記第７工程では、前記第６工程で求めた複数の前記角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）のうち、前記第三種ターゲットの近傍のパン値（ｘ）又はチルト値（ｙ）に対して前記第６工程で求めた前記角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）から、補間によって、当該第三種ターゲットに対するズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を求め、当該値（Δｘ_ｏ，Δｙ_ｏ）から前記補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を求める
請求項１に記載の方法。

【請求項4】

デジタルカメラのパン又はチルト操作時における補正量を求めるためのデータを生成する方法であって、
補正対象のカメラからの距離が既知である一又は複数の特定の第一種ターゲットに対して、当該補正対象のカメラに当該第一種ターゲットのパン値（ｘ）又はチルト値（ｙ）を指定して、前記第一種ターゲットを挟んで一方側から当該第一種ターゲットへパン又はチルトして撮影した場合と他方側から当該第一種ターゲットへパン又はチルトして撮影した場合との第一種画像を取得する第１工程と、
前記第一種画像を解析することにより、前記一方側からパン又はチルトして撮影した場合のズレ位置から前記他方側からパン又はチルトして撮影した場合のズレ位置までのズレ量を表すピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）と、当該ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）を求める第２工程と、
前記第２工程で求めた前記ピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）及び前記角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）から、前記補正対象のカメラ固有のズレ特性に関する定数（Ｃｘ，Ｃｙ）を求める第３工程と、
前記補正対象のカメラからの距離が未知である複数の特定の第二種ターゲットに対して、当該補正対象のカメラに当該第二種ターゲットのパン値（ｘ）又はチルト値（ｙ）を指定して、前記第二種ターゲットを挟んで一方側から当該第二種ターゲットへパン又はチルトして撮影した場合と他方側から当該第二種ターゲットへパン又はチルトして撮影した場合との第二種画像をそれぞれ取得する第４工程と、
前記第二種画像を解析することにより、前記一方側からパン又はチルトして撮影した場合のズレ位置から前記他方側からパン又はチルトして撮影した場合のズレ位置までのズレ量を表すピクセル値（ΔＰｘ_ｏ，ΔＰｙ_ｏ）を複数求める第５工程と、
前記第３工程で求めた前記定数（Ｃｘ，Ｃｙ）と前記第５工程で求めた複数の前記ピクセル値（ΔＰｘ_ｏ，ΔＰｙ_ｏ）から、前記ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を複数求める第６工程と、
前記第６工程で求めた複数の前記角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を含むデータを記憶装置に保存する工程を含む、
方法。

【請求項5】

デジタルカメラの制御装置であって、
前記デジタルカメラからの距離が未知である複数の特定のターゲットについて、各特定のターゲットを挟んでパン又はチルトの一方側のズレ位置から他方側のズレ位置までのズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）に関するデータをそれぞれ記憶した記憶部と、
前記デジタルカメラからの距離が未知である任意のターゲットに対して前記デジタルカメラをパン又はチルトするときに、前記記憶部に記憶されている前記データに基づいて、前記デジタルカメラに指定する当該任意のターゲットのパン値（ｘ）又はチルト値（ｙ）の補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を算出し、当該補正量を加算して前記デジタルカメラのパン又はチルト操作を制御するための制御信号を生成する制御部を備える
制御装置。

【請求項6】

前記制御部は、前記デジタルカメラの現在向きが前記任意のターゲットから所定閾値内の近傍である場合には、当該デジタルカメラの向きを当該任意のターゲットから一度遠ざけた後に、前記補正量を加算して前記デジタルカメラのパン又はチルト操作を実行する
請求項５に記載の制御装置。

【請求項7】

情報処理装置を請求項５に記載の制御装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルカメラのパン又はチルト操作時におけるズレを補正するための技術に関する。具体的に説明すると、本発明は、デジタルカメラのズレを補正する方法、補正量を求めるためのデータを生成する方法、デジタルカメラの制御装置、及び補正用のプログラムに関する。

【背景技術】

【0002】

災害の多い日本には、全国各地に災害監視などの目的でカメラが設置されている。このような監視用のカメラは、有線や無線ネットワークを通じて遠隔で操作することが有効であり、そのような遠隔操作の標準規格としてＯＮＶＩＦ（Open Network Video Interface Forum）が知られている（非特許文献１）。ＯＮＶＩＦは、インターネット等の通信回線を介して互いに接続されるカメラと外部の制御装置との間の通信インタフェースを共通化するための標準プロトコルである。ＯＮＶＩＦに対応したカメラは、安価なものから高価なものまで多様な製品が販売されている。

【0003】

このようなＯＮＶＩＦのプロトコルに従った遠隔操作のコマンドを実行することにより、カメラのパン、チルト、及びズームといった各種操作を行い所望のターゲットを撮影することや、カメラによる撮影画像を有線や無線のＩＰネットワークを介して外部の制御装置に伝送する技術が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－０２６６４２号公報

【非特許文献】

【0005】

【特許文献1】ONVIF Network Interface Specifications （https://www.onvif.org/profiles/specifications/）

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、標準的なＯＮＶＩＦ規格であるかその他の独自規格であるかによらず、カメラの機種によっては（特に安価な機種では）、あるターゲットに対して、右側からそのターゲットに向かってカメラをパンした場合の撮影画像と左側から同じターゲットに向かってカメラをパンした場合の撮影画像を比べると、同一のｘ座標値を指定したにもかかわらず、両画像に左右のズレが生じる場合がある。なお、チルト操作の場合には、あるターゲットに対して、上側からそのターゲットに向かってカメラをチルトした場合の撮影画像と下側から同じターゲットに向かってカメラをチルトした場合の撮影画像を比べると、同一のｙ座標値を指定したにもかかわらず、両画像に上下のズレが生じる。例えばパン操作時にこのようなズレが生じることになると、外部の制御装置からネットワークを介してカメラに対して同じ座標のターゲットを指定して撮影を行うようにコマンドを送信した場合に、そのカメラがそのターゲットに向かって左側からパンした場合と右側からパンした場合とで異なる撮影画像が得られることとなり、そのため以下のような問題が生じる。すなわち、ズレの大きさを表すピクセル値（ΔＰｘ，ΔＰｙ）は、カメラのズーム倍率に比例するため、例えばズーム倍率１倍のときには４ピクセルのズレであっても、そのカメラのズーム倍率を２５倍にアップすると１００ピクセルずれてしまうことになる。そして、災害監視などの目的でＯＮＶＩＦ対応のＰＴＺカメラを設置し運用する場合、通常はズーム倍率１倍でワイドに撮影し、もし画面内に発煙・発火などの異常が目視やＡＩなどで検出された場合には詳しく見るためにズーム倍率を上げる必要があるが、そのままズームアップしてしまうと異常点がフレームアウトしてしまうので、その異常点が画面の中央になるようにカメラをパンチルト操作する必要がある。しかしながら上記のような大きなズレが生じていると、特にＡＩなどによるアラートの自動処理などでは、その異常点が見過ごされてしまったり、正しい評価や判断がなされないといった問題が生じる。

【0007】

また、ＯＮＶＩＦの絶対値指定移動コマンドでは、その引数としてカメラのパン値をｘ座標の絶対値（－１＜ｘ≦１）で指定し、同じくカメラのチルト値をｙ座標の絶対値（－１＜ｙ≦１）で指定する。このとき、例えばカメラが３６０°に亘ってパン可能なものである場合、ｘ＝－１が－１８０°、ｘ＝１が１８０°に対応するため、例えばｘ＝０．０１は１．８°となり、ｘ＝－０．０１は－１．８°となる。一方で、カメラの最大のチルト角はパン角よりも小さいことが多く、例えばカメラのチルト角が１８０°に限られる場合、ｙ＝－１が－９０°、ｙ＝１が９０°に対応するため、例えばｙ＝０．０１は０．９°となる。このようにＯＮＶＩＦの絶対値指定移動コマンドでは、パン値とチルト値を比べると、例えば同じ０．０１単位でもパン値のほうが角度の振れ幅が大きいことがわかる。このため、ＯＮＶＩＦ規格に従った場合、一般的にあるターゲットに対するズレ量はパン操作の場合のほうが大きくなるとされている。
また、ＯＮＶＩＦでは、相対値を引数として指定する移動コマンドも用意されているが、ズレの生じる状況は絶対値指定移動コマンドを用いた場合と同様である。

【0008】

本発明は、このようなあるターゲットに対して一方側からパン又はチルトした場合と他方側からパン又はチルトした場合の撮影画像のズレを補正するための技術を提供することを主な目的とする。

【課題を解決するための手段】

【0009】

本発明の発明者らは、上記目的を達成する手段について鋭意検討した結果、例えばカメラからの距離が既知である第一種ターゲットに対して左側からパンした撮影画像と右側からパンした撮影画像のズレ量を角度で正規化した値（Δｘ_ｉ）に基づいてカメラ固有のズレ特性に関する定数（Ｃ）を求め、この定数（Ｃ）を利用してカメラからの距離が未知である特定の第二種ターゲットに対して左側からパンした撮影画像と右側からパンした撮影画像のズレ量を角度で正規化した値（Δｘ_ｏ）を複数予め求めておき、カメラからの距離が未知である任意の第三種ターゲットにカメラをパンする場合には、この複数の正規化した値（Δｘ_ｏ）からの補間等により第三種ターゲットのパン値（ｘ）の補正量（±Δｘ_ｏ／２）を算出することで、この第三種ターゲットに対してパンするときのカメラのズレを低減することができるようになるという知見を得た。なお、カメラのチルト操作についても同様である。そして、本発明者らは、上記知見に基づけば従来技術の課題を解決できることに想到し、本発明を完成させた。以下、本発明について具体的に説明する。

【0010】

本発明の第１の側面は、デジタルカメラのパン又はチルト操作時におけるズレを補正する方法に関する。本発明に係る補正方法は、以下の第１工程（Ｓ１）から第７工程（Ｓ７）を含む。第１工程（Ｓ１）から第３工程（Ｓ３）は、補正対象のカメラからの距離が既知である一又は複数の特定の第一種ターゲットを対象として行われる工程であり、例えば屋内にて実施される（屋内予備実験）。第４工程（Ｓ４）から第６工程（Ｓ６）は、補正対象のカメラからの距離が未知である複数の特定の第二種ターゲットを対象として行われる工程であり、例えば屋外にて実施される（屋外予備実験）。第７工程（Ｓ７）は、補正対象のカメラからの距離が未知である任意の第三種ターゲットに対して補正対象のカメラをパン又はチルトする工程であり、上記第１工程から第６工程を経て求められたデータを利用して当該カメラの補正量を求める。

【0011】

第１工程では、補正対象のカメラからの距離が既知である一又は複数の特定の第一種ターゲットに対して、当該補正対象のカメラに当該第一種ターゲットのパン値（ｘ）又はチルト値（ｙ）を指定して、第一種ターゲットを挟んだ一方側から当該第一種ターゲットへパン又はチルトして撮影した場合と他方側から当該第一種ターゲットへパン又はチルトして撮影した場合との第一種画像を取得する。なお、補正対象のカメラをターゲットに向けてパンする場合、例えばここにいう「一方側」とは当該ターゲットの左側であり、「他方側」とは当該ターゲットの右側である。また、補正対象のカメラをターゲットに向けてチルトする場合、例えばここにいう「一方側」とは当該ターゲットの上側であり、「他方側」とは当該ターゲットの下側である。

【0012】

第２工程では、第１工程で取得した第一種画像を解析することにより、一方側からパン又はチルトして撮影した場合のズレ位置から他方側からパン又はチルトして撮影した場合のズレ位置までのズレ量を表すピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）と、当該ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）を求める。ここにいう「ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）」とは、第一種ターゲットに対するズレ量をＯＮＶＩＦコマンドで指定されるカメラのパン値（－１＜ｘ≦１）又はチルト値（－１＜ｙ≦１）で表した値である。例えば、第一種ターゲットは、カメラからの距離（例えばｌ［ｍ］）が既知であることから、この第一種ターゲットの設置面（例えば壁面）上における上記のズレ量（Δｄｘ，Δｄｙ）の長さは三角測量法などによって求まる。また、例えば補正対象のカメラが最大３６０°（２π）でパン可能なものであれば、パン方向のズレ量（Δｄｘ）が上記パン値（－１＜ｘ≦１）でいうとどういう値となるかは、ｘが－１から１まで２だけ変化するときΔｄｘは２πｌで変化すること、すなわちΔｘ_ｉ＝（Δｄｘ／ｌ）／（２π／２）で求まる。また、同様に、例えば補正対象のカメラが最大１８０°（π）でチルト可能なものであれば、チルト方向のズレ量（Δｄｙ）がパン値（－１＜ｙ≦１）でいうとどういう値となるかは、ｙが－１から１まで２だけ変化するときΔｄｙはπｌで変化すること、すなわちΔｙ_ｉ＝（Δｄｙ／ｌ）／（π／２）で求まる。このようにして求めた「ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）」は、カメラから第一種ターゲットまでの距離によらず一定であることから、カメラからの距離が未知である他のターゲットに対しても応用できる値となる。

【0013】

第３工程では、第２工程で求めたピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）及び角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）から、補正対象のカメラ固有のズレ特性に関する定数（Ｃｘ，Ｃｙ）を求める。具体的には、パン方向のズレ特性を表す定数（Ｃｘ）は、Ｃｘ＝ΔＰｘ_ｉ／Δｘ_ｉで求められる。また、チルト方向のズレ特性を表す定数（Ｃｙ）は、Ｃｙ＝ΔＰｙ_ｉ／Δｙ_ｉで求められる。このようにして求めた定数（Ｃｘ，Ｃｙ）もカメラから第一種ターゲットまでの距離によらず一定であることから、カメラからの距離が未知である他のターゲットに対しても応用できる値となる。

【0014】

第４工程では、補正対象のカメラからの距離が未知である複数の特定の第二種ターゲットに対して、当該補正対象のカメラに当該第二種ターゲットのパン値（ｘ）又はチルト値（ｙ）を指定して、第二種ターゲットを挟んで一方側から当該第二種ターゲットへパン又はチルトして撮影した場合と他方側から当該第二種ターゲットへパン又はチルトして撮影した場合との第二種画像をそれぞれ取得する。なお、この第４工程は、前述した第１工程と同様の手順である。

【0015】

第５工程では、第４工程で取得した第二種画像を解析することにより、一方側からパン又はチルトして撮影した場合のズレ位置から他方側からパン又はチルトして撮影した場合のズレ位置までのズレ量を表すピクセル値（ΔＰｘ_ｏ，ΔＰｙ_ｏ）を複数求める。なお、この第５工程は、前述した第２工程と同様の手順である。ただし、カメラから第二種ターゲットまでの距離は未知であることから、第５工程では、「ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）」を求めることができず、この点において第２工程とは異なる。

【0016】

第６工程では、第３工程で求めた定数（Ｃｘ，Ｃｙ）と第５工程で求めた複数のピクセル値（ΔＰｘ_ｏ，ΔＰｙ_ｏ）から、ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を複数求める。ここにいう「ズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）」とは、第二種ターゲットに対するズレ量を例えばＯＮＶＩＦコマンドで指定されるカメラのパン値（－１＜ｘ≦１）又はチルト値（－１＜ｙ≦１）で表した値である。具体的には、カメラのパン値（Δｘ_ｏ）については、Δｘ_ｏ＝ΔＰｘ_ｏ／Ｃｘを計算すればよい。また、カメラのチルト値（Δｙ_ｏ）については、Δｙ_ｏ＝ΔＰｙ_ｏ／Ｃｙを計算すればよい。

【0017】

第７工程では、実際に、補正対象のカメラからの距離が未知である任意の第三種ターゲットに対して補正対象のカメラをパン又はチルトするときに、第６工程で求めた複数の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）に基づいて、補正対象のカメラに指定する当該第三種ターゲットのパン値（ｘ）又はチルト値（ｙ）の補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を求める。例えば、あるｘ座標の第三種ターゲットに対してカメラをパンするときには、この第三種ターゲットのｘ座標に最も近い第二種ターゲットについて求めたΔｘ_ｏを参照して、パン値の補正量（±Δｘ_ｏ／２）を決定することとしてもよい。例えば、あるｘ座標の第三種ターゲットに対して左側からカメラをパンするときには、ＯＮＶＩＦの絶対値指定移動コマンドを用いてカメラにｘ＋Δｘ_ｏ／２を引数として指定し、あるｘ座標の第三種ターゲットに対して右側からカメラをパンするときには、ＯＮＶＩＦの絶対値指定移動コマンドを用いてカメラにｘ－Δｘ_ｏ／２を引数として指定することができる。このような操作はあるｙ座標の第三種ターゲットに対してカメラをチルトするときも同様である。

【0018】

本発明に係るズレ補正方法において、第１工程は、複数の第一種ターゲットに対して行われるものであり、第２工程では、複数の第一種ターゲットについてズレ量を表すピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）の平均を求めることが好ましい。第１工程は、一つの第一種ターゲットについてのみ行われるものであってもよいが、第１工程を複数の第一種ターゲットについて行い、第２工程において、複数の第一種ターゲットについてズレ量を表すピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）の平均を求めることで、ズレ補正の精度を向上させることができる。

【0019】

本発明に係るズレ補正方法において、第７工程は、第６工程で求めた複数の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）のうち、第三種ターゲットの近傍のパン値（ｘ）又はチルト値（ｙ）に対して第６工程で求めた角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）から、補間によって、当該第三種ターゲットに対するズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を求め、当該値（Δｘ_ｏ，Δｙ_ｏ）から補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を求めることが好ましい。補間とは、ある既知の複数の数値データを基にして、それらのデータの各区間の範囲内を埋める数値を求めることを意味する。このように、既知の複数の正規化した値（Δｘ_ｏ，Δｙ_ｏ）から補間によって第三種ターゲットに対する正規化した値（Δｘ_ｏ，Δｙ_ｏ）を求めて、これから補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を算出することで、ズレ補正の精度を向上させることができる。

【0020】

本発明の第２の側面は、デジタルカメラのパン又はチルト操作時における補正量を求めるためのデータを生成する方法に関する。第２の側面に係るデータ生成方法は、前述した第１の側面に係るズレ補正方法について説明した第１工程から第６工程を含むが、第７工程は含まない。第２の側面に係るデータ生成方法は、前述した第７工程の代わりに、第６工程で求めた複数の「角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）」を含むデータを記憶装置に保存する工程（第８工程）を含む。「角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）」は、前述した通りカメラのパン操作又はチルト操作時における補正量を求めるのに有用であることから、このような「角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）」を含むデータを複数生成して、記憶装置に記憶しておくことに価値がある。

【0021】

本発明の第３の側面は、デジタルカメラの制御装置に関する。この制御装置は、補正対象となるデジタルカメラに対して有線又は無線（インターネット等）で接続されている。デジタルカメラの制御装置は、記憶部と制御部を備える。記憶部は、デジタルカメラからの距離が未知である複数の特定のターゲット（前述した第二種ターゲット）について、各特定のターゲットを挟んでパン又はチルトの一方側のズレ位置から他方側のズレ位置までのズレ量をパン角又はチルト角の角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）に関するデータをそれぞれ記憶している。制御部は、デジタルカメラからの距離が未知である任意のターゲット（前述した第三種ターゲット）に対してデジタルカメラをパン又はチルトするときに、記憶部に記憶されているデータに基づいて、デジタルカメラに指定する当該任意のターゲットのパン値（ｘ）又はチルト値（ｙ）の補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を算出し、当該補正量を加算してデジタルカメラのパン又はチルト操作を制御する。

【0022】

本発明の第３の側面に係る制御装置において、制御部は、デジタルカメラの現在向きが任意のターゲットから所定閾値内の近傍である場合には、当該デジタルカメラの向きを当該任意のターゲットから一度遠ざけた後に、補正量を加算してデジタルカメラのパン又はチルト操作を実行することが好ましい。デジタルカメラの現在向きが任意のターゲットに近すぎる場合、補正量を加算してデジタルカメラをターゲットにパン又はチルトしても、デジタルカメラが正確にターゲットに向かない場合がある。このため、一度、デジタルカメラの向きを任意のターゲットから一度遠ざけた後に、この補正量を加算してデジタルカメラをターゲットに改めてパン又はチルトすることで、デジタルカメラを精度良くターゲットに向けることができる。

【0023】

本発明の第４の側面は、パーソナルコンピュータ等の情報処理装置を、前述した第３の側面に係る制御装置として機能させるためのコンピュータプログラムに関する。このコンピュータプログラムは、インターネット等を通じて情報処理装置にダウンロード及びインストールされるものであってもよいし、ＣＤ－ＲＯＭ等の記録媒体に非一時的に記録されたものであってもよい。

【発明の効果】

【0024】

本発明によれば、あるターゲットに対して一方側からパン又はチルトした場合と他方側からパン又はチルトする場合の撮影画像のズレを補正することができる。

【図面の簡単な説明】

【0025】

【図1】図１は、デジタルカメラのズレ補正方法における各工程を端的に示したフロー図である。

【図2】図２は、屋内において位置決めされたカメラから複数の第一種ターゲットを撮影する測定実験の例を示している。

【図3】図３は、屋内撮影において補正前のカメラの撮影画像にズレが生じることを示した実験データの例を示している。

【図4】図４は、第一種ターゲットの撮影画像（第一種画像）から求められるズレ量の概念を示している。

【図5】図５は、屋内撮影において補正後のカメラの撮影画像ではズレが抑制されることを示した実験データの例を示している。

【図6】図６は、屋外において位置決めされたカメラから複数の第二種ターゲットを撮影する測定実験の例を示している。

【図7】図７は、屋外撮影において補正前のカメラの撮影画像にズレが生じることを示した実験データの例を示している。

【図8】図８は、第二種ターゲットの撮影画像（第二種画像）から求められるズレ量の概念を示している。

【図9】図９は、屋外撮影において補正後のカメラの撮影画像ではズレが抑制されることを示した実験データの例を示している。

【図10】図１０は、所定間隔毎に複数の第二種ターゲットについて測定したズレ量のピクセル値（ΔＰｘ_ｏ）の計測結果と、特定のターゲットについて個別に測定したズレ量のピクセル値（ΔＰｘ_ｏ）の計測結果の例を示している。

【図11】図１１は、補正対象のデジタルカメラとその制御装置の構成の一例を示したブロック図である。

【図12】図１２は、制御装置によるデジタルの制御方法の例を示している。

【発明を実施するための形態】

【0026】

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

【0027】

図１は、本発明に係るデジタルカメラのズレ補正方法に含まれる各工程を示している。以下この図１に示した工程に従って、本発明の内容を具体的な実験の手順とともに説明する。なお、以下では、一般的にズレ量が比較的大きくなるとされているカメラのパン操作を中心に説明を行う。ただし、本発明に係るズレ補正方法は、パン操作と同様の手順でカメラのチルト操作にも適用することができる。

【0028】

［１．屋内予備実験］
まず、本実施形態では、図１に示した第１工程（Ｓ１）から第３工程（Ｓ３）は、カメラからの距離が既知である第一種ターゲットを対象としたものであり、この第一種ターゲットは例えば屋内に配置される。第１工程（Ｓ１）では、カメラからの距離が既知である第一種ターゲットについて、左側からパンした場合と右側からパンした場合の撮影画像（第一種画像）を取得する。図２は、この工程を模式的に表している。図２に示されるように、例えば四方が壁で囲まれた屋内に補正対象となるカメラ１０を設置する。このカメラ１０は、撮影部（イメージセンサ）と、この撮影部をパン方向に回動させるパン機構と、この撮影部をチルト方向に回動させるチルト機構を持つ。なお、このカメラ１０は、パン方向には３６０°回転可能であり、チルト方向には１８０°回転可能となっている。この屋内には、壁面に第一種ターゲットＡ～Ｃが設置されており、カメラ１０の視線方向と直交する点にターゲットＢが設置され、その両隣にターゲットＡ及びターゲットＣが設置されている。各ターゲットＡ～Ｃの中心には、ターゲットＢに例示したように、垂直方向にマーカー線（ＭＬ）が描かれ、また水平方向にはこのマーカー線（ＭＬ）からの距離を測定できるように定規が貼付又は印刷されている。また、カメラ１０から各ターゲットＡ～Ｃまでの距離ｌ_ｉ［ｍ］（ｉ＝１，２，３）は予め測定された既知の値である。また、各ターゲットＡ～Ｃについて、ＯＮＶＩＦコマンドにおけるカメラ１０のパン方向の正確な絶対値座標値（－１．０＜ｘ≦１．０）、すなわちパン値ｘ_ｉ（ｉ＝１，２，３）も取得しておく。なお、ｘ＝０は０°であり、ｘ＝－１．０は－１８０°であり、ｘ＝１．０は１８０°であるため、ｘ＝－１．０とｘ＝１．０は実質的に同じ座標値である。図１に示した例では、ターゲットＡのパン値ｘは－０．２７９、ターゲットＢのパン値ｘは－０．２５８、ターゲットＣのパン値ｘは－０．２３５となっている。なお、各ターゲットＡ～Ｃのチルト方向の絶対値座標値（－１．０＜ｙ≦１．０）は、すべてｙ＝１．０（水平）とする。

【0029】

上記屋内環境下において、カメラ１０に各ターゲットＡ～Ｃのパン値ｘ_ｉをＯＮＶＩＦコマンドの引数として入力し、各ターゲットＡ～Ｃのマーカー線（ＭＬ）に向かってカメラ１０をパンした後に、各ターゲットＡ～Ｃの撮影を行う。ターゲットＢを対象とした具体的な実験手順としては、まず、乱数により、カメラ１０を各ターゲットＢの左右どちらに向けるかを決める（１）。次に、乱数により、カメラ１０を所定範囲でどのくらいの角度に向けるのかを決め、その角度に向けたときのカメラ１０のｘ座標値（パン値）をｘ_ｎとする（２）。例えば角度の所定範囲を±５４°とすると、５４°は（－１．０＜ｘ≦１．０）の絶対値座標系では０．３となるため、ｘ－０．３≦ｘ_ｎ≦ｘ＋０．３となる。なお、ｎは試行回数であり、本例ではｎ＝１，２，…，４００回となる。次に、ＯＮＶＩＦの絶対値指定移動コマンドの引数としてターゲットＢのパン値（ｘ＝－０．２５８）をカメラ１０に入力して、このターゲットＢへカメラ１０をパンして撮影する（３）。次に、カメラ１０に写された撮影画像、ここではＦＨＤ（１９２０×１０８０ｐｘ）画像Ｄ_ｎをｘ_ｎの値とともに制御装置２０等のコンピュータに保存する（４）。次に、このコンピュータで実行するパイソンプログラム等の画像処理により、撮影画像Ｄ_ｎ内のターゲットＢのマーカー線（ＭＬ）のｘ座標軸のピクセル値Ｖ_ｎを求める（５）。そして、ターゲットＢについては、上記した（１）～（５）の処理を４００回繰り返す。この実験により、４００組（ｎ＝１，２，…，４００）のデータセット（Ｄ_ｎ，ｘ_ｎ，Ｖ_ｎ）が得られる。

【0030】

続いて、第２工程（Ｓ２）では、まず、コンピュータによる画像処理により、第１工程で取得した複数の第一種画像のデータセットに基づいて、特定のターゲットに対してカメラ１０を左側からパンした場合の撮影画像と右側からパンした場合の撮影画像のズレ量のピクセル値（ΔＰｘ_ｉ）を求める。すなわち、上記した繰り返しの試行の結果、ターゲットＢ（ｘ＝－０．２５８）については、例えば図３に示すようなヒストグラムが得られる。そして、繰り返しの試行で求めた第一種画像のデータセット（Ｄ_ｎ，ｘ_ｎ，Ｖ_ｎ）から、ターゲットＢに対してカメラ１０を左側からパンした場合の撮影画像では平均何ピクセルほどズレが発生し、同様にターゲットＢに対してカメラ１０を右側からパンした場合の撮影画像では平均何ピクセルほどズレが発生するのかを求めることができる。そして、この屋内予備実験では、左側からパンした場合の撮影画像のズレ位置の平均値と右側からパンした場合の撮影画像のズレ位置の平均値の差分をΔＰｘ_ｉとする。図３に示したヒストグラム例の計算結果では、ΔＰｘ_ｉ＝６９．３［ｐｘ］となる。

【0031】

図４は、ここにいうズレ量（ΔＰｘ_ｉ）の概念を示したものである。つまり、図４（ａ）に示すように、カメラによる撮影画像の中心線（ＣＬ）が、例えばターゲットＢのマーカー線（ＭＬ）と完全に一致していることが理想である。しかしながら、図４（ｂ）に示すように、ターゲットＢの左側からこのターゲットＢに向かってカメラをパンして撮影した画像や、図４（ｃ）に示すように、ターゲットＢの右側からこのターゲットＢに向かってカメラをパンして撮影した画像では、撮影画像の中心線（ＣＬ）がターゲットＢのマーカー線（ＭＬ）とずれることが多い。図４（ｂ）と図４（ｃ）に示した例では、それぞれ、カメラのパン方向の回転が不足しており、撮影画像の中心線（ＣＬ）がターゲットＢのマーカー線（ＭＬ）に到達できていない。なお、カメラの特性によっては、カメラのパン方向の回転が過剰であり、撮影画像の中心線（ＣＬ）がターゲットＢのマーカー線（ＭＬ）を超えてしまう場合もある。このような場合に、図４（ｄ）に示すように、ターゲットＢの左側からパンした場合の撮影画像（図４（ｂ））の中心線（ＣＬ）とターゲットＢの右側からパンした場合の撮影画像（図４（ｃ））の中心線（ＣＬ）のズレ量を画像解析により求め、これらの中心線の間の距離をズレ量としてピクセル値で表すと「ΔＰｘ_ｉ」となる。なお、左側からパンした場合の撮影画像の中心線と右側からパンした場合の撮影画像の中心線は、それぞれ、前述したとおり複数回の試行の平均値から求めることができる。

【0032】

また、図４に示されるように、マーカー線（ＭＬ）の左右両側の壁面に定規を貼付又は印刷しておくことにより、コンピュータによる画像処理によって、この壁面において、ターゲットの左側からパンした撮影画像の中心線（ＣＬ）と右側からパンした撮影画像の中心線（ＣＬ）のズレ量の実際の寸法Δｄｘ［ｃｍ］を求めることができる。Δｄｘの値は、撮影画像がＦＨＤ（１９２０×１０８０ｐｘ）である場合、以下の＜式１＞により表される。

＜式１＞ Δｄｘ［ｃｍ］＝ΔＰｘ／１９２０×Ｌ［ｃｍ］

ここで、Ｌは、図４（ｄ）に示されるように、撮影画像に写っているターゲットが設けられた壁面上の横幅（つまり撮影画像全幅に収まる定規の長さ）である。例えば、このＬを３４．１［ｃｍ］とし、ΔＰｘ_ｉを前述した６９．３［ｐｘ］とした場合、Δｄｘは１．２３［ｃｍ］となる。なお、撮影画像がＦＨＤではなく４Ｋである場合、上記１９２０×１０８０ｐｘは、３８４０×２１６０ｐｘに置き換わることになる。

【0033】

また、第２工程（Ｓ２）では、上記手順で算出したズレ量のピクセル値（ΔＰｘ_ｉ）に基づいて、カメラ１０からの距離（ｌ_２）が既知であるターゲットＢについて、このズレ量をパン角（２π）で正規化した値（Δｘ_ｉ）を求める。正規化した値（Δｘ_ｉ）は、ターゲットＢに対するカメラ１０のズレ量（Δｄｘ）をＯＮＶＩＦコマンドで指定されるカメラのパン値（－１＜ｘ≦１）で表した値である。例えば補正対象のカメラ１０が最大３６０°（２π）でパン可能なものであれば、パン方向のズレ量（Δｄｘ）が上記パン値（－１＜ｘ≦１）でいうとどういう値となるかは、ｘが－１から１まで２だけ変化するときΔｄｘは２πｌ_２で変化することから求まる。つまり、ターゲットＢについての正規化した値（Δｘ_ｉ）は、以下の＜式２＞により表される。

＜式２＞ Δｘ_ｉ＝（Δｄｘ／ｌ_２）／（２π／２）

例えば、前述の通りΔｄｘが１．２３［ｃｍ］であり、距離ｌ_２が６５１［ｃｍ］である場合、Δｘ_ｉ＝（１．２３／６５１）／（２π／２）＝０．０００６０１４１４９９となる。

【0034】

続いて、第３工程（Ｓ３）では、上記した第２工程で求めたΔＰｘ_ｉ及びΔｘ_ｉの値に基づいて、補正対象のカメラ１０固有のズレ特性に関する定数（Ｃｘ）を求める。すなわち、定数Ｃｘは、以下の＜式３＞により表される。

＜式３＞ Ｃｘ＝ΔＰｘ_ｉ／Δｘ_ｉ

【0035】

ここで、もしカメラ１０からターゲットＢまでの距離ｌ_２が２倍になったとすると、Δｄｘも同様に２倍になるため、上記＜式２＞より、Δｘ_ｉの値は距離によらず一定となる。また、カメラ１０からターゲットＢまでの距離ｌ_２が２倍になったとすると、Δｄｘも同様に２倍になるが、上記＜式１＞におけるＬも２倍となるので、上記＜式１＞より、ΔＰｘの値も距離によらず一定であるといえる。従って、上記＜式３＞のΔＰｘ_ｉ／Δｘ_ｉにより求められる定数Ｃｘも距離によらず一定となる。従って、この定数Ｃｘは、補正対象のカメラ１０固有のズレ特性を示すものと捉えることができる。前述したターゲットＢについては、ΔＰｘ_ｉ＝６９．３であり、Δｘ＝０．０００６０１４１４９９であることから、上記＜式３＞により、定数Ｃｘ＝１１５２２８．２５５２８５となる。

【0036】

また、上記ターゲットＢについて行った第１工程から第３工程を、カメラ１０の位置は固定したまま、同じ屋内に配置されたターゲットＡ及びターゲットＣについても行うとよい。ターゲットＡ，Ｃの実験で求めた定数Ｃｘは、それぞれ前述したターゲットＢの実験で求めた定数Ｃｘと多少の誤差はあれどもほぼ同じ値となるはずである。なお、ターゲットＡ，Ｂ，Ｃそれぞれの実験で求めた定数Ｃｘの平均値を、カメラ１０固有の定数Ｃｘとしてもよい。このように、屋内予備実験により、カメラ１０からの距離が既知であるターゲットを利用して、カメラ１０からの距離によらず一定となる定数（Ｃｘ）を求めておくことにより、距離が不知であるターゲットについて同じカメラ１０のズレ量を算出する際にこの定数（Ｃｘ）を利用することができる。本実施形態では、ΔＰｘ_ｉ／Δｘ_ｉ＝Ｃｘ≒１１００００とする。

【0037】

なお、屋内予備実験でカメラ１０からの距離が既知であるターゲットにパンする場合のズレを補正する場合、前述した正規化した値（Δｘ_ｉ）を半分にした値（Δｘ_ｉ／２）が、パン操作時の補正量となる。つまり、屋内予備実験において、例えばターゲットＢにカメラ１０を右側からパンする場合には、最初からＯＮＶＩＦコマンドの引数としてｘ－Δｘ_ｉ／２をカメラ１０に指定し、例えばターゲットＢにカメラ１０を左側からパンする場合はｘ+Δｘ_ｉ／２を指定すればよい。その場合の実験結果は、図５のヒストグラムようになり、図４に示したヒストグラムと比較して、ズレ量が大幅に抑制されることがわかる。すなわち、図４に示したヒストグラムの計算結果では、ΔＰｘ_ｉ＝６９．３［ｐｘ］となっていたが、図４に示したヒストグラムの計算結果では、ΔＰｘ_ｉ＝４．２［ｐｘ］となり大幅な改善がみられる。

【0038】

［２．屋外予備実験］
続いて、図１に示した第４工程（Ｓ４）から第６工程（Ｓ６）は、カメラ１０からの距離が不知である第二種ターゲットを対象としたものであり、この第二種ターゲットは例えば屋外に配置されたものとする。第４～第６工程の屋外予備実験では、第１～第３工程までの屋内予備実験を行ったカメラ１０を引き続き実験の対象とする。屋外予備実験では、例えば図６に示されるように、屋外に存在する画像解析のし易い特徴点（例えば鉄塔や看板など）を適当に選択して第二種ターゲットとすればよい。

【0039】

図６に示されるように、第４工程（Ｓ４）では、前述した第１工程（Ｓ１）と同様に、カメラ１０に各ターゲットのパン値ｘ（例：－０．４１５）を引数として入力し、ターゲットに向かってカメラ１０をパンした後に、このターゲットの撮影を行う。具体的には、乱数により、カメラ１０をターゲットの左右どちらに向けるかを決める（１）。次に、乱数により、カメラ１０を所定範囲でどのくらいの角度に向けるのかを決め、その角度に向けたときのカメラ１０のｘ座標値（パン値）をｘ_ｎとする（２）。例えば角度の所定範囲を±５４°とすると、５４°は（－１．０＜ｘ≦１．０）の絶対値座標系では０．３となるため、ｘ－０．３≦ｘ_ｎ≦ｘ＋０．３となる。なお、ｎは試行回数であり、本例ではｎ＝１，２，…，１００となる。次に、ＯＮＶＩＦの絶対値指定移動コマンドに、ターゲットのパン値（ｘ＝－０．４１５）をカメラ１０に入力して、このターゲットへカメラ１０をパンして撮影する（３）。次に、カメラ１０に写された撮影画像、ここではＦＨＤ（１９２０×１０８０ｐｘ）画像Ｄ_ｎをｘ_ｎの値とともに制御装置２０等のコンピュータに保存する（４）。次に、このコンピュータで実行するパイソンプログラム等の画像処理により、撮影画像Ｄ_ｎ内のターゲットのｘ座標軸のピクセル値Ｖ_ｎを求める（５）。そして、一つのターゲットについて、上記した（１）～（５）の処理を４００回繰り返す。この実験により、一つのターゲットについて４００組（ｎ＝１，２，…，４００）のデータセット（Ｄ_ｎ，ｘ_ｎ，Ｖ_ｎ）が得られる。そして、この（１）～（５）の処理を、複数のターゲットについてそれぞれ繰り返し行う。図６に示した例では、パン値ｘ（－１．０＜ｘ≦１．０）において、左右に０．００５（すなわち０．９°）ごとにターゲットを設定して、各ターゲットについて（１）～（５）の処理を行うこととしている。

【0040】

続いて、第５工程（Ｓ５）では、前述した第２工程（Ｓ２）と同様に、コンピュータによる画像処理により、第４工程で取得した複数の第二種画像のデータセットに基づいて、特定のターゲットに対してカメラ１０を左側からパンした場合の撮影画像と右側からパンした場合の撮影画像のズレ量のピクセル値（ΔＰｘ_Ｏ）を求める。すなわち、上記した繰り返しの試行の結果、ターゲット（ｘ＝－０．４１５）については、例えば図７に示すようなヒストグラムが得られる。そして、繰り返しの試行で求めた第二種画像のデータセット（Ｄ_ｎ，ｘ_ｎ，Ｖ_ｎ）から、同ターゲットに対してカメラ１０を左側からパンした場合の撮影画像では平均何ピクセルほどズレが発生し、同様に同ターゲットに対してカメラ１０を右側からパンした場合の撮影画像では平均何ピクセルほどズレが発生するのかを求めることができる。そして、この屋外予備実験では、左側からパンした場合の撮影画像のズレ位置の平均値と右側からパンした場合の撮影画像のズレ位置の平均値の差分をΔＰｘ_Ｏとする。図７に示したヒストグラム例の計算結果では、ΔＰｘ_Ｏ＝２１０．４［ｐｘ］となる。このようなΔＰｘ_Ｏの値を、複数のターゲットのそれぞれについて求める。

【0041】

図８は、ここにいうズレ量（ΔＰｘ_Ｏ）の概念を示したものである。つまり、図８（ａ）に示すように、カメラによる撮影画像の中心線（ＣＬ）が、例えば特定のターゲット（鉄塔）の中心と完全に一致していることが理想である。しかしながら、図８（ｂ）に示すように、ターゲットの左側からこのターゲットに向かってカメラをパンして撮影した画像や、図８（ｃ）に示すように、ターゲットの右側からこのターゲットに向かってカメラをパンして撮影した画像では、撮影画像の中心線（ＣＬ）がターゲットの中心とずれることが多い。図８（ｂ）と図８（ｃ）に示した例では、それぞれ、カメラのパン方向の回転が不足しており、撮影画像の中心線（ＣＬ）がターゲットに到達できていない。なお、カメラの特性によっては、カメラのパン方向の回転が過剰であり、撮影画像の中心線（ＣＬ）がターゲットを超えてしまう場合もある。このような場合に、図８（ｄ）に示すように、ターゲットの左側からパンした場合の撮影画像（図８（ｂ））の中心線（ＣＬ）とターゲットの右側からパンした場合の撮影画像（図８（ｃ））の中心線（ＣＬ）のズレ量を画像解析により求め、このズレ量をピクセル値で表すと「ΔＰｘ_ｉ」となる。なお、左側からパンした場合の撮影画像の中心線と右側からパンした場合の撮影画像の中心線は、それぞれ、前述したとおり複数回の試行の平均値から求めることができる。

【0042】

ただし、第５工程（Ｓ５）は、第２工程（Ｓ２）工程とは異なり、カメラ１０からの距離が未知であるターゲットを対象としていることから、カメラ１０の撮影画像からは、ズレ量をパン角で正規化した値（Δｘ_ｏ）を求めることができない。そこで、続く第６工程（Ｓ６）では、第５工程で求めたΔＰｘ_Ｏの値と、第３工程で求めた定数Ｃｘの値に基づいて、この正規化した値（Δｘ_ｏ）を求める。つまり、定数Ｃｘは＜式３＞Ｃｘ＝ΔＰｘ_ｉ／Δｘ_ｉで求めた値であることから、これをΔｘ_ｏの式に援用すると、Δｘ_ｏは以下の＜式４＞により求めることができる。

＜式４＞ Δｘ_Ｏ＝ΔＰｘ_Ｏ／Ｃｘ

例えば、前述したとおり、このカメラ１０についての定数Ｃｘ≒１１００００であることから、上記ターゲット（ｘ＝－０．４１５）に対するカメラ１０のズレ量がΔＰｘ_Ｏ＝２１０．４［ｐｘ］である場合、Δｘ_Ｏ＝２１０．４／１１００００＝０．００１９１２７２７２７となる。

【0043】

屋外予備実験では、カメラ１０の方向によりターゲットとなす角度も異なってくることから、上記ΔＰｘ_Ｏの値は、カメラ１０から見たターゲットの方向（すなわちカメラ１０に入力するパン値ｘ）によって異なってくるため、Δｘ_Ｏも異なってくる。ただし、同ターゲットに向けたカメラ１０の補正量としては、屋内予備実験と同様に、カメラ１０を右側からパンする場合にはｘ－Δｘ_Ｏ／２としてコマンドを入力し、左側からパンする場合はｘ＋Δｘ_Ｏ／２としてコマンドを入力すればよい。例えば、ｘ＝－０．４１５のターゲットに向けてカメラ１０を左側からパンする場合にはコマンドの引数を（－０．４１５＋０．００１９１２７２７２７／２）として補正し、同ターゲットに向けてカメラ１０を右側からパンする場合にはコマンドの引数を（－０．４１５－０．００１９１２７２７２７／２）として補正する。この補正後の実験結果は、図９のヒストグラムようになり、図７に示したヒストグラムと比較して、ズレ量が大幅に抑制されることがわかる。図７に示したヒストグラムの計算結果では、ΔＰｘ_Ｏ＝２１０．４［ｐｘ］となっていたが、図９に示したヒストグラムの計算結果では、ΔＰｘ_Ｏ＝－１８．２［ｐｘ］となり大幅な改善がみられた。

【0044】

また、前述の通り、屋外撮影のように、カメラ１０からの距離が未知であるターゲットを対象に撮影する場合、上記Δｘ_Ｏの値はパン値ｘ（カメラ１０から見たターゲットの方向）よって異なってくるが、このパン値ｘによるΔｘ_Ｏの変化は滑らかである。そこで、例えば予めｘの値を－１．０～１．０（－１８０°～１８０°）まで所定値毎（例え０．１毎、０．０５毎、０．０１毎、又は０．００５毎）に変えていき、それぞれの値について、上記手順にてΔＰｘ_Ｏ又はΔｘ_Ｏの値を、制御装置２０等のコンピュータに記憶しておく。これにより、任意のパン値ｘに対してΔｘ_Ｏを求める際には、予め計算済みのパン値ｘに対するΔＰｘ_Ｏ又はΔｘ_Ｏをコンピュータから読み出し、読み出したΔＰｘ_Ｏ又はΔｘ_Ｏに基づく補間等によって、任意のパン値ｘに対するΔｘ_Ｏを算出することができるようになる。なお、予めΔＰｘ_Ｏ等の値を測定するｘ値の間隔は、必ずしも上記のように一定間隔ごとである必要はない。例えば鉄塔や看板などの特徴点が密集している箇所などではこのｘ値の間隔を密にして測定したり、反対に特徴点がほとんどない箇所ではｘ値の間隔を疎にして測定したりするなど、屋外の風景に応じてｘ値の間隔は適宜調整することができる。

【0045】

例えば図１０のグラフは、パン値ｘを－０．２４～－０．０７まで０．００５ずつ変えて、各パン値について上記手順にてΔＰｘ_Ｏを求めた結果を示している。なお、Δｘ_ＯはΔＰｘ_Ｏに比例するため、Δｘ_Ｏのグラフを作成した場合もこの図１０と同じ様な折れ線となる。この結果から、屋外撮影においてもパン値ｘが少し変化しただけではズレの大きさΔＰｘ_Ｏ（ピクセル値）も少ししか変化しないことが分かる。このため、任意のパン値ｘに対するΔＰｘ_Ｏは、ｘの近傍の予め実験済みの既知のΔＰｘ_Ｏを用いて補間によって求めることが可能であると分かる。例えば、図１０のグラフでは、パン値－０．２４とパン値－０．２４５についてはすでにΔＰｘ_Ｏを算出しており、Δｘ_Ｏも特定できている。このため、これらのパン値の間の任意の点についてΔｘ_Ｏを求めるためには、パン値－０．２４のΔｘ_Ｏとパン値－０．２４５のΔｘ_Ｏを参照して、これらの値の補間によってその任意の点のΔｘ_Ｏを求めることができる。具体的には、図１０には、別に無線局アンテナ（ｘ＝－０．２４１、－０．２１４）や時計台（ｘ＝－０．１７３）などの特徴点のある特定のターゲットに対して個別に第４工程（Ｓ４）及び第５工程（Ｓ５）のプロセスによって取得したΔＰｘ_Ｏの値をオーバープロットしている。このように、任意のターゲットのΔＰｘ_Ｏは、ほとんど予め０．００５きざみで測定したΔＰｘ_Ｏを繋ぐ折れ線上に位置していることから、他の任意のターゲットに対して補間によってΔＰｘ_Ｏ等を求めることは有効であるといえる。従って、図１に示した第１工程（Ｓ１）から第６工程（Ｓ６）は、補正対象となるカメラ１０について、距離が未知の多数のターゲットのパン値ｘについてそれぞれΔｘ_Ｏを求め、この多数のΔｘ_Ｏの値をデータとしてコンピュータに記憶しておくことが最終的な目的となる。このようなΔｘ_Ｏの値を多数含むデータからは、同カメラ１０について他の任意のターゲットにパンする場合の補正量を求めることができるため、このようなデータはカメラ１０の補正にとって有用なものであるといえる。

【0046】

［３．カメラの補正制御］
図１に示した第７工程（Ｓ７）は、第１工程（Ｓ１）から第６工程（Ｓ６）で生成したデータに基づいて、制御装置２０がカメラ１０のパン操作を補正する工程である。図１１は、制御装置２０と補正対象となるカメラ１０のハードウェア構成を示したブロック図である。

【0047】

図１１に示されるように、カメラ１０は、主に制御回路１１、通信部１２、撮影部１３、パン機構１４、及びチルト機構１５を備えている。このようなカメラ１０としては、インターネット等の通信回線を通じて遠隔制御可能な公知のネットワークカメラ（ＩＰカメラ）を採用することができる。制御回路１１は、その他の各要素１２～１５に接続されており、これらの全体的な制御を行うための回路である。通信部１２は、通信回路を介して制御装置２０と通信を行うための通信モジュールであり、有接ＬＡＮ又は無線ＬＡＮにて通信回路に接続されている。撮影部１３は、例えば、光導波用レンズ、光学ズーム用レンズ、メカシャッター、シャッタードライバ、ＣＣＤイメージセンサユニットやＣＭＯＳイメージセンサユニットといった光電変換素子、光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ）、ＩＣメモリなどで実現される。パン機構１４は、撮影部１３を物理的にパン方向（水平方向）に回転させるための機構であり、複数のギア等の組み合わせによって実現される。パン機構１４は、撮影部１３を３６０°全周に亘ってパン方向に回転させることができるものであることが好ましいが、例えばパンの上限は２７０°や１８０°であっても構わない。チルト機構１５は、撮影部１３を物理的にチルト方向（垂直方向）に回転させるための機構であり、複数のギア等の組み合わせによって実現される。チルト機構１５は、撮影部１３を３６０°全周に亘ってチルト方向に回転させることができるものであってもよし、例えばチルトの上限は２７０°や１８０°、９０°であっても構わない。

【0048】

また、制御装置２０は、主に制御部２１、通信部２２、記憶部２３、入力部２４、及び出力部２５を備えている。制御装置２０は、汎用的なコンピュータを採用することができる。制御部２１は、ＣＰＵ又はＧＰＵといったプロセッサで構成され、カメラ１０を遠隔制御するための演算処理や、その他制御装置２０全体の制御処理を行う。通信部２２は、有線ＬＡＮや無線ＬＡＮでインターネット等の通信回線に接続するための通信モジュールである。記憶部２３のメモリ機能は、ＲＡＭ等の揮発性メモリやフラッシュメモリ等の不揮発性メモリによって実現され、ストレージ機能はＨＤＤ及びＳＤＤといった不揮発性メモリによって実現される。入力部２４としては、キーボード、マウス、タッチパネル、マイクロフォン等の公知の入力装置を採用できる。出力部２５としては、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置、及びスピーカ等の音出力装置を採用できる。

【0049】

また、制御装置２０の記憶部２３には、ＯＮＶＩＦなどの公知の規格に従ってカメラ１０を遠隔制御するためのドライバプログラムが記憶されている。制御部２１は、このドライバプログラムを記憶部２３から読み出してメモリに展開し、このプログラムに従って、カメラ１０に送信するコマンド（制御信号）を生成するための所定の演算処理を行うことができる。カメラ１０は、通信回路を介して制御装置２０が生成したコマンドを受信すると、このコマンドに従って撮影部１３、パン機構１４、及びチルト機構１５を制御する。具体的には、撮影部１３によるズーム操作、パン機構１４による撮影部１３のパン操作、及び／又はチルト機構１５による撮影部１３のチルト操作が行われる。また、カメラ１０の撮影部１３により撮影された画像は、例えば所定の画像フォーマットに変換された後、通信回線を介して制御装置２０へ送信される。制御装置２０は、カメラ１０から受信した撮影画像を記憶部２３に記憶する。

【0050】

また、制御装置２０は、前述した第１工程から第６工程における画像解析を行うためのコンピュータとしても利用することができる。具体的には、制御装置２０は、補正対象となるカメラ１０の撮影画像を受信すると、これを画像解析し、前述したズレ量のピクセル値（ΔＰｘ_ｉ，ΔＰｙ_ｉ）、ズレ量を角度で正規化した値（Δｘ_ｉ，Δｙ_ｉ）、カメラ固有のズレ特性に関する定数（Ｃｘ，Ｃｙ）、ズレ量のピクセル値（ΔＰｘ_ｏ，ΔＰｙ_ｏ）、ズレ量を角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を算出する所定の演算処理を行うこととしてもよい。これらの値の演算方法は前述したとおりである。なお、制御装置２０には、前述した第６工程で求めた多数のズレ量を角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を含むデータが記憶されていれば十分であり、この値（Δｘ_ｏ，Δｙ_ｏ）を求めるための画像解析や演算処理は、この制御装置２０とは異なる他のコンピュータを用いて行ってもよい。

【0051】

また、制御装置２０の記憶部２３には、前述した第６工程で求めた多数のズレ量を角度で正規化した値（Δｘ_ｏ，Δｙ_ｏ）を含むデータが記憶されている。制御装置２０の制御部２１は、カメラ１０に対して任意のパン値又はチルト値を指定するコマンドを生成する際に、記憶部２３に記憶されているデータから補間等により任意のパン値又はチルト値の補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を求めることができる。そして、制御装置２０は、カメラ１０に対して、任意のパン値又はチルト値にこの補正量を加算したコマンドを送信し、カメラ１０はこのコマンドに従ってパン操作又はチルト操作を実行する。

【0052】

図１２には、制御装置２０によるカメラ１０の遠隔制御の一例を示している。図１２（ａ）は、一般的なパン操作の例を示し、図１２（ｂ）は、カメラ１０の向きがターゲットに近い場合に行う特殊なパン操作の例を示している。

【0053】

まず、図１２（ａ）に示されるように、例えばパン値ｘが－０．１２５であるターゲットＴに向けてカメラ１０をパンさせる場合、制御装置２０は、このカメラ１０にターゲットＴのパン値（－０．１２５）に補正量（±Δｘ／２）を加えた値をコマンドとして入力する。このときの補正量（±Δｘ／２）は、例えば図示されるようにカメラ１０をターゲットの右側からパンさせる場合には（－Δｘ／２）となり、反対にカメラ１０をターゲットの左側からパンさせる場合には（＋Δｘ／２）となる。また、この補正量は、他の多数のパン値に対して予め算出したΔｘの値のデータを利用し、ターゲットＴのパン値（－０．１２５）に対応したΔｘの値を補間等によって求めた後、ここで求めたΔｘを１／２とすることで算出することができる。なお、ターゲットＴのパン値（－０．１２５）が、予めΔｘの値を算出した他のパン値と一致している場合には、補間計算を行う必要はない。制御装置２０は、このようにして求めたコマンド（－０．１２５－Δｘ／２）をカメラ１０に入力する。すると、カメラ１０は、このコマンドに応じてパン操作を実行し、撮影部をターゲットＴに向ける。このパン操作は補正量を考慮して行われるものであることから、補正前と比較して、カメラ１０の光軸のターゲットＴとのズレはより抑えられたものとなる。

【0054】

次に、図１２（ｂ）に示されるように、例えばパン値ｘが－０．１２５であるターゲットＴに向けてカメラ１０をパンさせるときに、カメラ１０のパン操作前の向きがこのターゲットＴに近すぎる場合がある。このような場合、図１２（ａ）と同様に、単純にカメラ１０に対してターゲットＴのパン値ｘとその補正量を入力しても、ズレが効果的に抑制できない場合があることが確認されている。これは、カメラ１０のパン機構のハードウェア的な問題であると考えられ、特に安価な機種のカメラ１０ではこのような現象が頻発する。そこで、図１２（ｂ）に示されるように、カメラ１０のパン操作前のパン値がターゲットＴのパン値に対して所定閾値以内である場合には、制御装置２０は、ターゲットＴにパンするコマンドをカメラ１０に入力する前に、一度、カメラ１０の光軸をターゲットＴから一旦遠ざけるようにカメラ１０を制御すると良い。なお、カメラ１０をターゲットＴから遠ざける位置は、乱数によって決定してもよいし、所定の計算式（例えばターゲットＴのパン値ｘに所定値を加えること）により決定してもよい。その後、図１２（ａ）に示した例と同じように、制御装置２０は、補間計算等によって求めた補正量を加えたコマンド（－０．１２５－Δｘ／２）をカメラ１０に入力し、カメラ１０は、このコマンドに応じてパン操作を実行する。これにより、例えば図９に示したヒストグラムと同様に、カメラ１０をターゲットＴに対して右側からパンした場合と左側からパンした場合のいずれであっても、カメラ１０の光軸とターゲットＴとのズレを大幅に小さくすることができる。

【0055】

以上の手順を要約すると以下の通りである。
（１．屋内予備実験）
屋内において、カメラから壁面までの距離の測定などの準備をした後、ＯＮＶＩＦの絶対値指定移動コマンドを用いてターゲットへランダムな位置からパン操作又はチルト操作を多数回行い、平均的なズレ量（ΔＰｘ_ｉ，ΔＰｙ_ｉ）を測定し、これを角度によって正規化した値（Δｘ_ｉ，Δｙ_ｉ）を求め、定数（Ｃｘ＝ΔＰｘ_ｉ／Δｘ_ｉ，Ｃｙ＝ΔＰｙ_ｉ／Δｙ_ｉ）を求める。
（２．屋外予備実験）
屋外において、予め様々なパン値ｘ又はチルト値ｙに対して、上記屋内予備実験と同様の方法により平均的なズレの大きさズレ量（ΔＰｘ_ｉ，ΔＰｙ_ｉ）を測定し、屋内予備実験で求めた定数を用いて、ズレ量を角度で正規化した値（Δｘ_ｏ＝ΔＰｘ_ｏ／Ｃｘ，Δｙ_ｏ＝ΔＰｙ_ｏ／Ｃｙ）を求めておく。
（３．カメラの補正制御）
屋外における任意のパン値ｘ又はチルト値ｙに対しては、上記屋外予備実験で得ているパン値ｘ又はチルト値ｙの複数の近傍のΔｘ_ｏ又Δｙ_ｏから補間等により対応するΔｘ_ｏ又Δｙ_ｏを計算し、ＯＮＶＩＦの絶対値指定移動コマンドの引数として、任意のパン値ｘ又はチルト値ｙに補正量（±Δｘ_ｏ／２，±Δｙ_ｏ／２）を加えた値を指定する。これにより、カメラの光軸とターゲットのズレを大幅に小さくできる。

【0056】

なお、本願明細書では、主にターゲットに向けたカメラをパン操作する場合を例に挙げて本発明の内容を説明したが、上記した要約にあるように、本発明はカメラのパン操作のずれを補正する場合に限らず、カメラのチルト操作を補正する場合にも適用することが可能である。

【0057】

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

【符号の説明】

【0058】

１０…カメラ ２０…制御装置
１１…制御回路 ２１…制御部
１２…通信部 ２２…通信部
１３…撮影部 ２３…記憶部
１４…パン機構 ２４…入力部
１５…チルト機構 ２５…出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】