特許 7076131 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-19

(45)【発行日】2022-05-27

(54)【発明の名称】多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20220520BHJP

   H04N 5/232 20060101ALI20220520BHJP

   G03B 19/07 20210101ALI20220520BHJP

   G03B 15/00 20210101ALI20220520BHJP

   G06T 5/50 20060101ALI20220520BHJP

【ＦＩ】

H04N5/225 800

H04N5/232 930

G03B19/07

G03B15/00 H

H04N5/232 290

H04N5/232 380

H04N5/232 300

G06T5/50

H04N5/232 960

【請求項の数】 9

(21)【出願番号】P 2018055674

(22)【出願日】2018-03-23

(65)【公開番号】P2019169830

(43)【公開日】2019-10-03

【審査請求日】2020-12-22

(73)【特許権者】

【識別番号】714003531

【氏名又は名称】カムイ・イノベーション株式会社

(74)【代理人】

【識別番号】100110766

【弁理士】

【氏名又は名称】佐川 慎悟

(74)【代理人】

【識別番号】100133260

【氏名又は名称】小林 基子

(74)【代理人】

【識別番号】100169340

【弁理士】

【氏名又は名称】川野 陽輔

(74)【代理人】

【識別番号】100195682

【弁理士】

【氏名又は名称】江部 陽子

(74)【代理人】

【識別番号】100206623

【弁理士】

【氏名又は名称】大窪 智行

(72)【発明者】

【氏名】増田 孝

(72)【発明者】

【氏名】松浦 勝治

【審査官】大西 宏

(56)【参考文献】

【文献】特開２０１０－１３０６２８（ＪＰ，Ａ）

【文献】特開２０１５－１９４５８７（ＪＰ，Ａ）

【文献】米国特許第０９２８６６８０（ＵＳ，Ｂ１）

【文献】国際公開第２０１６／１９１７０８（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０２０６３２５８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｇ０３Ｂ １５／００ －１５／０３５

Ｇ０３Ｂ １５／０６ －１５／１６

Ｇ０３Ｂ １７／０４ －１７／１７

Ｇ０３Ｂ １９／００ －１９／１６

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ９／００ － ９／４０

(57)【特許請求の範囲】

【請求項1】

多眼撮影に用いられる多眼撮影用カメラヘッドと、複数の前記多眼撮影用カメラヘッドが接続される画像処理装置とからなる多眼カメラシステムであって、
前記多眼撮影用カメラヘッドは、
多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、
前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、
前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部と、を有しており、
前記画像処理装置は、
接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、
前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、
前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、
を有する、多眼カメラシステム。

【請求項2】

前記多眼撮影用カメラヘッドは、さらに、
前記全体画像中の一部を拡大表示する旨の指令に応じて、前記画像処理装置から前記全体画像における拡大領域を特定する拡大情報を取得するカメラ制御部と、
前記拡大情報に基づいて、前記全体画像用データのうち前記拡大領域に含まれる画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして出力する拡大領域抽出部と、を有しており、
前記画像処理装置は、さらに、
一または複数の前記多眼撮影用カメラヘッドから前記拡大画像用データを取得する拡大画像用メモリと、
前記拡大画像用メモリによって取得された前記拡大画像用データを合成して前記拡大画像として拡大画像表示装置に出力する拡大画像合成部と、
を有する、請求項１に記載の多眼カメラシステム。

【請求項3】

多眼撮影に用いられる多眼撮影用カメラヘッドであって、
多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、
前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、
前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部と、
を有する、多眼撮影用カメラヘッド。

【請求項4】

複数の前記全体画像用データを合成して全体画像を出力する画像処理装置から、前記全体画像における拡大領域を特定する拡大情報を取得するカメラ制御部と、
前記拡大情報に基づいて、前記全体画像用データのうち前記拡大領域に含まれる画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして出力する拡大領域抽出部と、
を有する、請求項３に記載の多眼撮影用カメラヘッド。

【請求項5】

請求項３または請求項４に記載の多眼撮影用カメラヘッドが複数接続される画像処理装置であって、
接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、
前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、
前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、
を有する、画像処理装置。

【請求項6】

請求項４に記載の多眼撮影用カメラヘッドが複数接続される画像処理装置であって、
接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、
前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、
前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、
一または複数の前記多眼撮影用カメラヘッドから前記拡大画像用データを取得する拡大画像用メモリと、
前記拡大画像用メモリによって取得された前記拡大画像用データを合成して前記拡大画像として拡大画像表示装置に出力する拡大画像合成部と、
を有する、画像処理装置。

【請求項7】

前記全体画像用メモリから取得した前記全体画像のモーションベクトル信号に基づいて、前記全体画像における変異領域を検出し、前記変異領域を拡大した変異画像として出力するための拡大情報を前記拡大領域抽出部へ出力する変異領域検出部と、
前記拡大領域抽出部が、前記拡大情報に基づいて、前記全体画像用データのうち前記変異領域に含まれる画像領域を変異画像の一部または全部を構成する変異画像用データとして出力するとともに、前記拡大画像合成部が、前記変異画像用データを合成して前記変異画像として出力したとき、前記変異画像を取得して記録する変異画像記録部と、
を有する、請求項６に記載の画像処理装置。

【請求項8】

多眼撮影に用いられる多眼撮影用プログラムであって、
多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、
多眼撮影に用いられる多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、
前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部
として多眼撮影用カメラヘッドを機能させる、多眼撮影用プログラム。

【請求項9】

多眼撮影に用いられる多眼撮影用カメラヘッドを用いた多眼撮影方法であって、
多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得ステップと、
前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正ステップと、
を有する、多眼撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多眼撮影に用いられる多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法に関するものである。

【背景技術】

【0002】

近年、４Ｋ解像度等を有する高解像度カメラが実用化され、広角で高解像度な画像を必要とする監視カメラや産業用カメラへの応用が期待されている。しかしながら、高額な部品、装置の大型化、処理速度の遅さ等の理由から、広く普及するには至っていない。そこで、従来、単眼のカメラヘッドを複数用いて広範囲な撮影領域を同時に撮影し、画像処理で接合することにより一つの全体画像を生成する多眼カメラシステムが提案されている。

【0003】

上記のような多眼カメラシステムとして、例えば、国際公開第２０１４／１９２４８７号には、複数の撮像素子から得られた画像を用いて所望の画像出力を得る多眼撮像システムが開示されている（特許文献１）。

【0004】

ただし、上記のような多眼カメラシステムにおいては、複数のカメラヘッドが平面上または円筒曲面上に配列されている場合、通常のレンズを使用する限り、各カメラヘッドで撮影された画像が異なるパースペクティブ（遠近感）を有する。このため、各画像をそのまま接合しても、各画像の両端部における歪みによって接合箇所が連続的にならないという問題がある。

【0005】

そこで従来、各カメラヘッドで撮影された各画像を仮想球体に投影し、各画像の中心点を仮想球体の中心に一致させることで、直線性の歪みを補正する処理が行われている。また、当該処理と同時に、各カメラヘッドに設けられたレンズに固有の歪みを補正する処理も行われている。これらの補正処理によって各画像の歪みが補正されるため、接合箇所が連続的となり、違和感のない全体画像が得られるようになっている。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開第２０１４／１９２４８７号

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来の多眼カメラシステムにおいては、上述した各種の補正処理が、複数のカメラヘッドに接続された画像処理装置側で行われている。このため、使用するカメラヘッドの台数が多くなるほど、画像処理装置にかかる処理負荷が増大し、処理速度が遅延するという問題がある。

【0008】

また、従来の画像処理装置においては、全てのカメラヘッドから出力された各画像が一旦、そのままの解像度でフレームメモリに書き込まれるようになっている。このため、使用するカメラヘッドの台数やカメラの解像度が大きくなるほど、フレームメモリに必要とされるメモリ容量が増大するため、画像処理装置が大型化し、消費電力や部品コストの増大を招いてしまうという問題がある。

【0009】

さらに、上述したメモリ容量の関係上、多眼カメラシステムの設計に際しては、処理しうる最大のカメラヘッド数を想定しなければならない。このため、従来の多眼カメラシステムでは当該カメラヘッド数に合わせた多眼カメラシステムの最適化が困難であるという問題もある。

【0010】

本発明は、このような問題点を解決するためになされたものであって、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化することができる多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法を提供することを目的としている。

【課題を解決するための手段】

【0011】

本発明に係る多眼カメラシステムは、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、多眼撮影に用いられる多眼撮影用カメラヘッドと、複数の前記多眼撮影用カメラヘッドが接続される画像処理装置とからなる多眼カメラシステムであって、前記多眼撮影用カメラヘッドは、多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部と、を有しており、前記画像処理装置は、接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、を有する。

【0012】

また、本発明に係る多眼カメラシステムの一態様として、拡大画像の画質を低下させることなく、拡大画像用メモリに必要な容量を低減するという課題を解決するために、前記多眼撮影用カメラヘッドは、さらに、前記全体画像中の一部を拡大表示する旨の指令に応じて、前記画像処理装置から前記全体画像における拡大領域を特定する拡大情報を取得するカメラ制御部と、前記拡大情報に基づいて、前記全体画像用データのうち前記拡大領域に含まれる画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして出力する拡大領域抽出部と、を有しており、前記画像処理装置は、さらに、一または複数の前記多眼撮影用カメラヘッドから前記拡大画像用データを取得する拡大画像用メモリと、前記拡大画像用メモリによって取得された前記拡大画像用データを合成して前記拡大画像として拡大画像表示装置に出力する拡大画像合成部と、を有していてもよい。

【0013】

本発明に係る多眼撮影用カメラヘッドは、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、多眼撮影に用いられる多眼撮影用カメラヘッドであって、多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部と、を有する。

【0014】

また、本発明に係る多眼撮影用カメラヘッドの一態様として、拡大画像の画質を低下させることなく、拡大画像用メモリの容量を低減するという課題を解決するために、複数の前記全体画像用データを合成して全体画像を出力する画像処理装置から、前記全体画像における拡大領域を特定する拡大情報を取得するカメラ制御部と、前記拡大情報に基づいて、前記全体画像用データのうち前記拡大領域に含まれる画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして出力する拡大領域抽出部と、を有していてもよい。

【0015】

本発明に係る画像処理装置は、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、上記の多眼撮影用カメラヘッドが複数接続される画像処理装置であって、接続されている全ての前記多眼撮影用カメラヘッドから、前記画像補正部によって補正された後の前記全体画像用データを取得する入力処理部と、前記入力処理部によって取得された全ての前記全体画像用データを全体画像表示装置の解像度に合わせてリサイズするリサイズ処理部と、前記リサイズ処理部によってリサイズされた全ての前記全体画像用データを合成して前記全体画像として全体画像表示装置に出力する全体画像用メモリと、を有する。

【0016】

また、本発明に係る画像処理装置の一態様として、拡大画像の画質を低下させることなく、拡大画像用メモリの容量を低減するという課題を解決するために、上記の多眼撮影用カメラヘッドが複数接続される、上記の画像処理装置であって、一または複数の前記多眼撮影用カメラヘッドから前記拡大画像用データを取得する拡大画像用メモリと、前記拡大画像用メモリによって取得された前記拡大画像用データを合成して前記拡大画像として拡大画像表示装置に出力する拡大画像合成部と、を有していてもよい。

【0017】

さらに、本発明に係る画像処理装置の一態様として、変異領域を自動的に検出し、その拡大画像を自動的に記録するという課題を解決するために、前記全体画像用メモリから取得した前記全体画像のモーションベクトル信号に基づいて、前記全体画像における変異領域を検出し、前記変異領域を拡大した変異画像として出力するための拡大情報を前記拡大領域抽出部へ出力する変異領域検出部と、前記拡大領域抽出部が、前記拡大情報に基づいて、前記全体画像用データのうち前記変異領域に含まれる画像領域を変異画像の一部または全部を構成する変異画像用データとして出力するとともに、前記拡大画像合成部が、前記変異画像用データを合成して前記変異画像として出力したとき、前記変異画像を取得して記録する変異画像記録部と、を有していてもよい。

【0018】

本発明に係る多眼撮影用プログラムは、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、多眼撮影に用いられる多眼撮影用プログラムであって、多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得部と、前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを記憶するパラメータ記憶部と、前記補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正部として多眼撮影用カメラヘッドを機能させる。

【0019】

本発明に係る多眼撮影方法は、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化するという課題を解決するために、多眼撮影に用いられる多眼撮影用カメラヘッドを用いた多眼撮影方法であって、多眼撮影範囲における所定の一部を撮影した部分画像を取得する部分画像取得ステップと、前記多眼撮影用カメラヘッドの取付位置に応じて定められ、前記部分画像の歪みを補正するための補正パラメータを用いて前記部分画像の歪みを補正し、全体画像の一部を構成する全体画像用データとして出力する画像補正ステップと、を有する。

【発明の効果】

【0020】

本発明によれば、画像処理装置の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化することができる。

【図面の簡単な説明】

【0021】

【図1】本発明に係る多眼撮影用カメラヘッドおよび画像処理装置を含む多眼カメラシステムの一実施形態を示す全体ブロック図である。

【図2】本実施形態における、多眼撮影用カメラヘッドの配列パターンの一例を示す図である。

【図3】本実施形態における、（ａ）全体画像、および（ｂ）拡大画像の一例を示す図である。

【図4】本実施形態において、（ａ）拡大率が４倍の場合、および（ｂ）拡大率が１６倍の場合の拡大領域を示す図である。

【図5】本実施形態において、拡大領域に含まれる画像領域が、（ａ）多眼撮影用カメラヘッド１台分の画像領域内にある場合、（ｂ）隣接する多眼撮影用カメラヘッド２台分の画像領域に渡る場合、（ｃ）互いに隣接する多眼撮影用カメラヘッド４台分の画像領域に渡る場合を示す図である。

【図6】本実施形態の多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置および多眼撮影用プログラムによって実行される、多眼撮影方法の主要な処理を示すフローチャートである。

【発明を実施するための形態】

【0022】

以下、本発明に係る多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法の一実施形態について図面を用いて説明する。

【0023】

本実施形態の多眼カメラシステム１は、図１に示すように、主として、多眼撮影範囲における所定の一部を撮影する複数の多眼撮影用カメラヘッド２と、これら複数の多眼撮影用カメラヘッド２が接続される画像処理装置３と、この画像処理装置３から出力される全体画像および拡大画像をそれぞれ表示する全体画像表示装置４および拡大画像表示装置５とから構成されている。以下、各構成について説明する。

【0024】

多眼撮影用カメラヘッド２は、多眼撮影範囲における所定の一部を撮影するものであり、複数台を所定の位置に配列することによって、多眼撮影範囲の全体をカバーするものである。例えば、図２に示すように、多眼撮影用カメラヘッド２が縦方向および横方向のそれぞれに４台分ずつ配列された場合、これら１６台の多眼撮影用カメラヘッド２のそれぞれで撮影された部分画像を合成することにより、図３（ａ）に示すように、多眼撮影範囲の全体をカバーする全体画像が得られる。なお、各部分画像内の番号は、図２に示す配列番号に対応する各多眼撮影用カメラヘッド２によって撮影されたことを示す。

【0025】

このように、多眼カメラシステム１においては、多眼撮影範囲が複数の多眼撮影用カメラヘッド２によって分担して撮影される。このため、図３（ｂ）に示すように、全体画像の一部を拡大した拡大画像を表示する際、その最大解像度は、各多眼撮影用カメラヘッド２によって撮影される部分画像の最大ピクセル数まで上げることができる。なお、多眼撮影用カメラヘッド２の配列パターンは、上記構成に限定されるものではなく、適宜変更されうる。また、本発明において、画像とは、静止画像および動画像の双方を含む概念である。

【0026】

本実施形態において、各多眼撮影用カメラヘッド２は、小型のデジタルカメラ等によって構成されており、図１に示すように、多眼撮影用プログラム２ａを記憶するプログラム記憶部２１と、画像処理に用いられる画像メモリ２２と、各種パラメータを記憶するパラメータ記憶部２３と、部分画像を取得する部分画像取得部２４と、部分画像を画質処理する画質処理部２５と、部分画像の歪みを補正する画像補正部２６と、多眼撮影用カメラヘッド２を制御するカメラ制御部２７と、拡大領域を抽出する拡大領域抽出部２８とを有している。

【0027】

なお、各多眼撮影用カメラヘッド２は、図示しないレンズや撮像素子の他、ＣＰＵ（Central Processing Unit）等の演算処理手段や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶手段を有している。そして、演算処理手段によって実行された多眼撮影用プログラム２ａが、記憶手段をプログラム記憶部２１、画像メモリ２２およびパラメータ記憶部２３として機能させるとともに、演算処理手段を上述した部分画像取得部２４、画質処理部２５、画像補正部２６、カメラ制御部２７および拡大領域抽出部２８として機能させるようになっている。以下、各構成部について説明する。

【0028】

プログラム記憶部２１には、本実施形態の多眼撮影用プログラム２ａがインストールされている。画像メモリ２２は、画像処理を行うために画像を記憶するメモリである。本実施形態において、画像メモリ２２は、画質処理部２５による画質処理の実行時、および画像補正部２６による補正処理の実行時のワーキングエリアとして使用される。このように、画質処理および補正処理の双方において共用することにより、メモリが有効活用されるようになっている。

【0029】

パラメータ記憶部２３は、各多眼撮影用カメラヘッド２によって撮影された部分画像の歪みを補正するための補正パラメータを記憶するものである。本実施形態において、補正パラメータとしては、多眼撮影用カメラヘッド２の取付位置に応じて定められるものであり、上述した直線性の歪みを補正するためのパラメータや、上述したレンズに固有の歪みを補正するためのパラメータが予め記憶されている。

【0030】

部分画像取得部２４は、撮像素子から多眼撮影範囲における所定の一部を撮影した部分画像を取得するものである。本実施形態において、部分画像取得部２４は、撮像素子から出力される映像信号（生データ）を所望の画像フォーマットに変換し、部分画像として出力するようになっている。また、画質処理部２５は、部分画像取得部２４によって取得された部分画像を画像メモリ２２に記憶させ、画質を最適化する画質処理を行うものである。

【0031】

画像補正部２６は、画質処理部２５によって画質処理された部分画像の歪みを補正するものである。本実施形態において、画像補正部２６は、パラメータ記憶部２３から補正パラメータを読み出し、画像メモリ２２において部分画像における直線性歪みや、レンズ固有の歪みを補正する。そして、画像補正部２６は、補正後の部分画像を全体画像の一部を構成する全体画像用データとして画像処理装置３の入力処理部３１へ出力するようになっている。

【0032】

カメラ制御部２７は、多眼撮影用カメラヘッド２の動作制御を行うものである。本実施形態において、カメラ制御部２７は、図１に示すように、画像処理装置３の入力処理部３１から制御信号を取得すると、当該制御信号に基づいて多眼撮影用カメラヘッド２の動作を制御する。また、カメラ制御部２７は、全体画像中の一部を拡大表示する旨の指令に応じて、画像処理装置３の入力処理部３１から拡大情報を取得すると、当該拡大情報に基づいて拡大領域を特定し、当該拡大領域に含まれる画像領域が全体画像用データにあるか否かを判定する。そして、当該判定の結果、上記画像領域がある場合、カメラ制御部２７は、拡大領域抽出部２８を制御し、当該画像領域を拡大領域として抽出させるようになっている。

【0033】

なお、本実施形態において、拡大情報は、全体画像における拡大領域を特定するための情報であり、拡大する位置を指定する拡大位置と、どの程度拡大するかを指定する拡大率とから構成されている。しかしながら、拡大情報は、これらに限定されるものではなく、拡大領域を特定しうる情報であればよい。

【0034】

拡大領域抽出部２８は、全体画像用データから拡大領域を抽出するものである。本実施形態において、拡大領域抽出部２８は、カメラ制御部２７による制御のもと、拡大情報に基づいて、画像メモリ２２内の全体画像用データ（補正後の部分画像）のうち拡大領域に含まれる画像領域があるか否かを判定する。そして、当該画像領域がある場合、拡大領域抽出部２８は、当該画像領域を抽出し、拡大画像の一部または全部を構成する拡大画像用データとして、画像処理装置３の拡大画像用メモリへ出力するようになっている。

【0035】

なお、本実施形態において、各多眼撮影用カメラヘッド２側の画像補正部２６およびカメラ制御部２７と、画像処理装置３側の入力処理部３１とは、画像信号および制御信号を伝送可能な広帯域伝送路を介して接続されている。また、各多眼撮影用カメラヘッド２側の拡大領域抽出部２８と、画像処理装置３側の拡大画像用メモリ３４とは、データバスを介して接続されている。しかしながら、この構成に限定されるものではなく、各信号を伝送しうるものであればよい。

【0036】

ここで、拡大率によって特定される拡大領域の具体例について説明する。本実施形態では、図２に示したとおり、４×４台の多眼撮影用カメラヘッド２を配列している。このため、拡大率が４倍に設定された場合、図４（ａ）に示すように、一台分の多眼撮影用カメラヘッド２の画像領域と同じサイズの拡大領域が特定される。また、拡大率が１６倍に設定された場合、図４（ｂ）に示すように、一台分の多眼撮影用カメラヘッド２の画像領域を縦横それぞれ４分の１にしたサイズの拡大領域が特定される。このように、拡大領域のサイズは、多眼撮影用カメラヘッド２の配列パターンと設定された拡大率とによって特定される。

【0037】

なお、拡大率の最小値は、特定される拡大領域と一台分の多眼撮影用カメラヘッド２の画像領域とが一致するように設定することが好ましい。これにより、データバスの伝送量が、最大でも一台分の多眼撮影用カメラヘッド２のピクセル数となるため、全体画像用データを伝送する広帯域伝送路と同じ周波数帯域のデータバスで接続することが可能となる。

【0038】

つぎに、拡大位置によって指定される拡大領域の具体例について説明する。まず、図５（ａ）に示すように、拡大領域に含まれる画像領域が１台の多眼撮影用カメラヘッド２の画像領域内にある場合、当該１台の多眼撮影用カメラヘッド２が、拡大領域に含まれる画像領域を出力する。また、図５（ｂ）に示すように、拡大領域に含まれる画像領域が、上下又は左右に隣接する２台の多眼撮影用カメラヘッド２の画像領域にまたがる場合、当該２台の多眼撮影用カメラヘッド２のそれぞれが、拡大領域に含まれる画像領域を出力する。さらに、図５（ｃ）に示すように、拡大領域に含まれる画像領域が、上下左右に隣接する４台の多眼撮影用カメラヘッド２の画像領域にまたがる場合、当該４台の多眼撮影用カメラヘッド２のそれぞれが、拡大領域に含まれる画像領域を出力する。以上のように、拡大率が同じ場合であっても、拡大位置に応じて、拡大画像用データを出力する多眼撮影用カメラヘッド２の台数が変化する。

【0039】

画像処理装置３は、多眼撮影用カメラヘッド２から取得した全体画像用データや拡大画像用データを処理するものである。本実施形態において、画像処理装置３は、図１に示すように、主として、各多眼撮影用カメラヘッド２から全体画像用データを取得する入力処理部３１と、各全体画像用データをリサイズするリサイズ処理部３２と、全体画像を出力する全体画像用メモリ３３と、各多眼撮影用カメラヘッド２から拡大画像用データを取得する拡大画像用メモリ３４と、拡大画像を出力する拡大画像合成部３５と、全体画像および拡大画像の出力を制御する画像制御部３６と、多眼撮影用カメラヘッド２を制御するコントロール部３７と、変異領域を検出する変異領域検出部３８と、変異画像を記録する変異画像記録部３９とを有している。

【0040】

なお、画像処理装置３は、ＣＰＵ（Central Processing Unit）等の演算処理手段や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶手段を備えたマイクロコンピュータによって構成されている。そして、演算処理手段によって実行された画像処理装置３用プログラムが、記憶手段を全体画像用メモリ３３および拡大画像用メモリ３４として機能させるとともに、演算処理手段を上述した入力処理部３１、リサイズ処理部３２、拡大画像合成部３５、画像制御部３６、コントロール部３７、変異領域検出部３８および変異画像記録部３９として機能させるようになっている。以下、各構成部について説明する。

【0041】

入力処理部３１は、多眼撮影用カメラヘッド２から全体画像用データを取得するものである。本実施形態において、入力処理部３１は、図１に示すように、画像処理装置３に接続されている全ての多眼撮影用カメラヘッド２から、画像補正部２６によって補正された後の全体画像用データを取得する。すなわち、全体画像用データは、全体画像として繋ぎ合わせる際に問題となる、直線性歪みやレンズ固有の歪みが既に補正された状態のデータである。

【0042】

このため、入力処理部３１は、各全体画像用データを全体画像用メモリ３３へ書き込むためのアドレス設定等のように、単純な処理を実行するだけでよく、画像処理装置３側で補正処理を行う従来の装置と比較して、回路が大幅に簡略化される。また、本実施形態において、入力処理部３１は、図１に示すように、拡大画像合成部３５を介して取得した拡大情報や制御信号を各多眼撮影用カメラヘッド２のカメラ制御部２７へ送信するようになっている。

【0043】

リサイズ処理部３２は、全体画像用データをリサイズするものである。本実施形態において、リサイズ処理部３２は、入力処理部３１によって取得された全ての全体画像用データを全体画像表示装置４の解像度に合わせてリサイズする。そして、最適な解像度にピクセル調整された全体画像用データのそれぞれは、入力処理部３１によって指定されたアドレスに従って全体画像用メモリ３３に書き込まれ、全体画像としてマッピングされるようになっている。

【0044】

全体画像用メモリ３３は、全体画像用データを合成し全体画像を出力するものである。本実施形態において、全体画像用メモリ３３は、画像制御部３６による制御のもと、リサイズ処理部３２によってリサイズされた全ての全体画像用データを合成して全体画像として全体画像表示装置４に出力する。また、本実施形態において、全体画像用メモリ３３は、全体画像表示装置４に合致する画像フォーマットが画像制御部３６から指定され、当該画像フォーマットで全体画像を出力するようになっている。

【0045】

さらに、本実施形態において、全体画像用メモリ３３は、複数枚のフレームメモリによって構成されており、各フレームメモリに合成後の全体画像が時系列に沿って順次格納されるようになっている。そして、全体画像用メモリ３３は、図１に示すように、時間的に前後する全体画像の差分に基づいて、モーションベクトル信号を変異領域検出部３８へ出力する。

【0046】

拡大画像用メモリ３４は、各多眼撮影用カメラヘッド２から拡大画像用データを取得するものである。本実施形態において、拡大画像用メモリ３４は、全ての多眼撮影用カメラヘッド２のうち、拡大領域に含まれる画像領域を有する、一または複数の多眼撮影用カメラヘッド２の拡大領域抽出部２８から拡大画像用データを取得し、所定のメモリ領域に書き込むようになっている。

【0047】

また、本実施形態において、拡大画像用データは、全体画像用データの一部が抽出されたものであるため、全体画像用データと同様、直線性歪みやレンズ固有の歪みが補正された後の状態である。このため、拡大画像用メモリ３４に複数の拡大画像用データが書き込まれた場合でも、接合箇所が連続的に繋ぎ合わされた１枚の拡大画像としてマッピングされる。

【0048】

なお、上述したとおり、従来の画像処理装置においては、使用するカメラヘッドの台数やカメラの解像度に応じて、大容量のフレームメモリが必要とされる。しかしながら、本実施形態では、拡大領域に含まれる画像領域のみが拡大画像用データとして出力されるため、拡大画像用メモリ３４の容量は、拡大領域として設定しうる最大の画像領域分のピクセル数を有していれば足りる。よって、従来のメモリ容量に比べて大幅に小さくできる。

【0049】

拡大画像合成部３５は、拡大画像用データを合成して拡大画像を出力するものである。本実施形態において、拡大画像合成部３５は、画像制御部３６を介して指定された拡大率に基づいて、拡大画像用メモリ３４に書き込まれた画像領域のみを読み出して合成し、拡大画像として拡大画像表示装置５へ出力する。また、本実施形態において、拡大画像用メモリ３４は、拡大画像表示装置５に合致する画像フォーマットが画像制御部３６から指定され、当該画像フォーマットで拡大画像を出力するようになっている。

【0050】

画像制御部３６は、全体画像および拡大画像の出力を制御するものである。本実施形態において、画像制御部３６は、全体画像用メモリ３３が全体画像を出力する際、全体画像表示装置４に合致する画像フォーマットを指定するとともに、拡大画像合成部３５が拡大画像を出力する際、拡大画像表示装置５に合致する画像フォーマットを指定する。

【0051】

また、本実施形態において、画像制御部３６は、図１に示すように、コントロール部３７から拡大情報や制御信号を取得すると、拡大画像合成部３５および入力処理部３１を介して、各多眼撮影用カメラヘッド２のカメラ制御部２７へ送信する役割を果たすようになっている。

【0052】

コントロール部３７は、画像処理装置３に接続されている全ての多眼撮影用カメラヘッド２を制御するものである。本実施形態において、コントロール部３７は、各多眼撮影用カメラヘッド２の動作状態を常時監視し、図１に示すように、各多眼撮影用カメラヘッド２の動作設定を行うための制御信号や、全体画像表示装置４から取得した拡大情報を画像制御部３６へ出力するようになっている。

【0053】

変異領域検出部３８は、全体画像における部分的な変異領域を検出するものである。本実施形態において、変異領域検出部３８は、全体画像用メモリ３３から取得した全体画像のモーションベクトル信号に基づいて、全体画像における変異領域を検出し、当該変異領域を特定する拡大情報を出力するようになっている。具体的には、変異領域検出部３８には、変異状態であることを示す閾値が予め設定されており、当該閾値を超えるモーションベクトル信号が検出されたとき、変異領域が発生したことを自動的に検出する。

【0054】

また、本実施形態において、モーションベクトル信号には、全体画像用メモリ３３における書込アドレス位置が含まれている。このため、変異領域検出部３８は、モーションベクトル信号に含まれる書込アドレス位置から、変異領域の拡大位置を特定するとともに、当該変異領域の大きさから拡大率を演算し、拡大位置および拡大率からなる拡大情報を自動的に生成してコントロール部３７へ送信するようになっている。

【0055】

さらに、本実施形態において、変異領域検出部３８は、図１に示すように、変異領域を検出したとき、全体画像表示装置４および変異画像記録部３９のそれぞれに警告信号を送信する。これにより、全体画像表示装置４では、変異領域が発生した旨が表示されるとともに、変異画像記録部３９では、変異領域を拡大した変異画像の記録が開始されるようになっている。

【0056】

変異画像記録部３９は、変異画像を自動的に記録するものである。本実施形態において、変異画像記録部３９は、変異領域検出部３８から警告信号を受信すると起動し、拡大画像合成部３５から出力された変異画像を所定時間分記録する。このとき、各多眼撮影用カメラヘッド２では、図１に示すように、拡大領域抽出部２８が、変異領域検出部３８から送信された拡大情報に基づいて、全体画像用データのうち変異領域に含まれる画像領域を変異画像の一部または全部を構成する変異画像用データとして出力する。そして、拡大画像合成部３５が、拡大領域抽出部２８から出力された変異画像用データを合成し、変異画像として変異画像記録部３９へ出力するようになっている。

【0057】

全体画像表示装置４は、多眼撮影範囲の全体を撮影した全体画像を表示するものである。本実施形態において、全体画像表示装置４は、入力機能と表示機能とを兼ね備えたタッチパネル等によって構成されており、全体画像用メモリ３３から出力された全体画像や変異領域検出部３８から出力された警告信号を表示する。また、全体画像表示装置４は、ユーザによって入力された拡大位置および拡大率からなる拡大情報をコントロール部３７へ入力するようになっている。

【0058】

拡大画像表示装置５は、全体画像の一部を拡大した拡大画像を表示するものである。本実施形態において、拡大画像表示装置５は、液晶ディスプレイ等によって構成されており、拡大画像合成部３５から出力された拡大画像や、変異画像記録部３９から出力された変異画像を表示する。なお、本実施形態では、全体画像表示装置４と拡大画像表示装置５とを別々に構成しているが、この構成に限定されるものではなく、ピクチャーインピクチャー機能、二画面表示機能または画面切り替え機能等を用いて、全体画像および拡大画像を一つの表示装置に表示してもよい。

【0059】

つぎに、本実施形態の多眼カメラシステム１、多眼撮影用カメラヘッド２、画像処理装置３、多眼撮影用プログラム２ａおよび多眼撮影方法による作用について、図６を参照しつつ説明する。

【0060】

まず、本実施形態の多眼カメラシステム１を用いて多眼撮影を行う場合、各多眼撮影用カメラヘッド２のパラメータ記憶部２３に、取付位置に応じて定められる補正パラメータを予め記憶させておく。

【0061】

つぎに、部分画像取得部２４が、撮像素子から多眼撮影範囲における所定の一部を撮影した部分画像を取得すると（ステップＳ１：部分画像取得ステップ）、画像補正部２６が部分画像の歪みを補正し、全体画像用データとして画像処理装置３へ出力する（ステップＳ２：画像補正ステップ）。このとき、各多眼撮影用カメラヘッド２からは、直線性歪みやレンズ固有の歪みが補正された状態の全体画像用データが出力される。このため、画像処理装置３側で補正する必要がなく、画像処理装置３の処理負荷が軽減される。

【0062】

一方、画像処理装置３では、入力処理部３１が、各多眼撮影用カメラヘッド２から全体画像用データを取得すると（ステップＳ３：入力処理ステップ）、リサイズ処理部３２が、各全体画像用データを全体画像表示装置４の解像度に合わせてリサイズし（ステップＳ４：リサイズ処理ステップ）、全体画像用メモリ３３に書き込む。このとき、各全体画像用データは、既に補正処理が施されているため、指定アドレスに従って全体画像用メモリ３３に書き込むだけで、違和感なく連続的に接合された全体画像がマッピングされる。

【0063】

また、本実施形態では、従来の画像処理装置のように、全てのカメラヘッドからの画像を高解像度のまま書き込むためのフレームメモリが不要となるため、画像処理装置３が小型化、省電力化および低コスト化される。さらに、システム設計に際しても、多眼撮影用カメラヘッド２の台数を気にする必要がないため、多眼カメラシステム１全体が容易に最適化される。

【0064】

つぎに、全体画像用メモリ３３が、全ての全体画像用データを合成して全体画像として全体画像表示装置４に出力する（ステップＳ５：全体画像出力ステップ）。これにより、全体画像表示装置４に全体画像が表示されるため、当該全体画像を見ながら拡大を希望する部分の拡大位置や拡大率を容易に指定することが可能となる。

【0065】

つづいて、本実施形態では、変異状態の自動検出機能を有しているため、変異領域検出部３８が、全体画像に変異領域があるか否かを判定する（ステップＳ６：変異領域検出ステップ）。当該判定の結果、変異領域が検出されなければ（ステップＳ６：ＮＯ）、ユーザからの拡大情報の入力を待機し（ステップＳ７）、当該入力がない限り（ステップＳ７：ＮＯ）、ステップＳ６へと戻る。

【0066】

一方、ステップＳ６において、変異領域検出部３８が変異領域を検出した場合（ステップＳ６：ＹＥＳ）、またはユーザから拡大情報が入力された場合（ステップＳ７：ＹＥＳ）、変異領域を特定する拡大情報またはユーザが指定した拡大情報が、画像処理装置３から各多眼撮影用カメラヘッド２へ送信される（ステップＳ８：拡大情報送信ステップ）。以下、ユーザが指定した拡大情報が送信された場合の処理と、変異領域に係る拡大情報が送信された場合の処理は、実質的に同じ処理であるため、後者については角括弧書きにて説明を省略する。

【0067】

各多眼撮影用カメラヘッド２では、カメラ制御部２７が拡大情報を取得すると（ステップＳ９：拡大情報取得ステップ）、当該拡大情報に基づいて、拡大領域抽出部２８が全体画像用データのうち拡大領域［変異領域］に含まれる画像領域があるか否かを判定する（ステップＳ１０：拡大領域判定ステップ）。当該判定の結果、拡大領域［変異領域］に含まれる画像領域がなければ（ステップＳ１０：ＮＯ）、拡大領域抽出部２８は拡大画像用データ［変異画像用データ］を出力することなく本処理を終了する。

【0068】

一方、ステップＳ１０における判定の結果、拡大領域［変異領域］に含まれる画像領域がある場合（ステップＳ１０：ＹＥＳ）、拡大領域抽出部２８が、当該画像領域を抽出し拡大画像用データ［変異画像用データ］として画像処理装置３へ出力する（ステップＳ１１：拡大画像用データ出力ステップ）。これにより、拡大領域［変異領域］に含まれる画像領域のみが拡大画像用データ［変異画像用データ］として出力されるため、拡大画像用メモリ３４の容量は、拡大領域として設定しうる最大の画像領域分のピクセル数を有していればよい。すなわち、拡大画像の画質を低下させることなく、拡大画像用メモリ３４に必要な容量が低減される。

【0069】

画像処理装置３では、一または複数の多眼撮影用カメラヘッド２から拡大画像用データ［変異画像用データ］を取得すると（ステップＳ１２：拡大画像用データ取得ステップ）、これらが直接拡大画像用メモリ３４に書き込まれる。このとき、拡大画像用データ［変異画像用データ］は、全体画像用データと同様、既に補正処理が施されているため、拡大画像用メモリ３４に書き込まれるだけで、違和感なく連続的に繋ぎ合わされた拡大画像［変異画像］がマッピングされる。

【0070】

つづいて、拡大画像合成部３５が、各拡大画像用データ［各変異画像用データ］を合成して拡大画像［変異画像］を拡大画像表示装置５に出力する（ステップ１３：拡大画像出力ステップ）。これにより、ユーザは、全体画像表示装置４に表示された全体画像を見ながら、所望の拡大画像を簡単かつ迅速に拡大画像表示装置５に表示させることが可能となる。このため、本実施形態の多眼カメラシステム１を用いて監視作業等を行う場合、監視範囲における死角がなく、監視者の作業負担が軽減する。

【0071】

また、本実施形態では、変異状態の自動検出機能を有しているため、変異状態が発生すると、自動的に検出されて変異画像が拡大画像表示装置５に表示されるとともに、当該変異画像が自動的に変異画像記録部３９に記録される（ステップＳ１４：変異画像記録ステップ）。このため、監視作業にかかる負担が一層低減し、変異画像が確実に記録される。

【0072】

以上のような本発明に係る多眼カメラシステム１、多眼撮影用カメラヘッド２、画像処理装置３、多眼撮影用プログラム２ａおよび多眼撮影方法によれば、以下のような効果を奏する。
１．画像処理装置３の処理負荷を軽減して小型化、省電力化および低コスト化でき、システム全体を容易に最適化することができる。
２．拡大画像の画質を低下させることなく、拡大画像用メモリ３４の容量を低減することができる。
３．変異領域を自動的に検出し、その拡大画像を自動的に記録することができる。
４．画像処理装置３を小型化できるため、全ての多眼撮影用カメラヘッド２を含めた一つのユニットとして構成することができる。
５．一ユニット化することにより、全ての組立作業や電気的調整を工場で完結でき、現場における、多眼撮影用カメラヘッド２の設置作業や調整作業を簡略化することができる。
６．監視作業に適用した場合、監視作業に係る負担を軽減し、監視精度を向上することができる。

【0073】

なお、本発明に係る多眼カメラシステム１は、前述した実施形態に限定されるものではなく、適宜変更することができる。

【0074】

例えば、同期信号を発生させる同期信号発生回路を画像処理装置３に設け、当該同期信号発生回路から出力された同期信号によって全ての多眼撮影用カメラヘッド２を同期させてもよい。これにより、全ての多眼撮影用カメラヘッド２が同期された状態で動作するため、全体画像用メモリ３３に書き込まれる各全体画像用データや、拡大画像用メモリ３４に書き込まれる各拡大画像用データに時間的なズレが発生しない。

【0075】

また、タイムコードを発生させるタイムコード発生回路を画像処理装置３に設け、全体画像用メモリ３３および拡大画像合成部３５のそれぞれにタイムコードを供給してもよい。これにより、全体画像および拡大画像のそれぞれに時間情報を挿入することができる。なお、上述した同期信号発生回路やタイムコード発生回路にＧＰＳ受信機を接続すれば、タイムコードの時間精度を向上することができる。

【符号の説明】

【0076】

１ 多眼カメラシステム
２ 多眼撮影用カメラヘッド
２ａ 多眼撮影用プログラム
３ 画像処理装置
４ 全体画像表示装置
５ 拡大画像表示装置
２１ プログラム記憶部
２２ 画像メモリ
２３ パラメータ記憶部
２４ 部分画像取得部
２５ 画質処理部
２６ 画像補正部
２７ カメラ制御部
２８ 拡大領域抽出部
３１ 入力処理部
３２ リサイズ処理部
３３ 全体画像用メモリ
３４ 拡大画像用メモリ
３５ 拡大画像合成部
３６ 画像制御部
３７ コントロール部
３８ 変異領域検出部
３９ 変異画像記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】