特許 7514125 画像処理装置およびそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-02

(45)【発行日】2024-07-10

(54)【発明の名称】画像処理装置およびそのプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20240703BHJP

【ＦＩ】

G06T15/20 500

【請求項の数】 7

(21)【出願番号】P 2020116455

(22)【出願日】2020-07-06

(65)【公開番号】P2022014229

(43)【公開日】2022-01-19

【審査請求日】2023-06-05

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】三ツ峰 秀樹

(72)【発明者】

【氏名】洗井 淳

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２００３－２５６８７４（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６８９６０（ＷＯ，Ａ１）

【文献】国際公開第２０００／０６４１７５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／２０

Ｇ０６Ｔ １９／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

複数の入力画像から、所定の世界座標系に設置した仮想カメラにより仮想的に撮影した出力画像を生成する画像処理装置であって、
前記世界座標系に参照平面を予め設定し、前記参照平面に前記出力画像の各画素の画像座標である出力画像座標を逆投影するようにして参照座標を求める逆投影部と、
前記参照平面上の参照座標を各入力画像に写像して対応座標に変換し、写像した前記各入力画像の品質を示す評価値を算出する変換部と、
前記各入力画像の対応座標の画素値である入力画素値と前記評価値との対に基づいて、前記出力画像の各画素の画素値である出力画素値を算出する算出部と、
を備え、
前記変換部は、前記参照平面と前記各入力画像との座標変換式、または、予め設定した射影変換行列による変換式を用いて、前記参照座標を前記各入力画像に写像して前記対応座標に変換し、
前記座標変換式または前記射影変換行列による変換式において、前記出力画像座標を前記対応座標で偏微分した偏導関数に基づいて、前記評価値を算出することを特徴とする画像処理装置。

【請求項2】

前記変換部は、前記各入力画像の辺縁側より中心側で大きな値の前記評価値を算出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記世界座標系において、前記各入力画像に含まれる被写体が、前記参照平面から予め設定した範囲内に位置することを特徴とする請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記世界座標系において、前記各入力画像の視点および前記出力画像の視点が、予め設定した範囲内に位置することを特徴とする請求項１から請求項３の何れか一項に記載の画像処理装置。

【請求項5】

前記逆投影部は、前記仮想カメラの位置、姿勢および焦点距離を含む逆投影パラメータに基づいて、前記出力画像座標を前記参照平面に逆投影することを特徴とする請求項１から請求項４の何れか一項に記載の画像処理装置。

【請求項6】

前記算出部は、前記評価値を重みとした前記入力画素値の加重平均により前記出力画素値を算出することを特徴とする請求項１から請求項５の何れか一項に記載の画像処理装置。

【請求項7】

コンピュータを、請求項１から請求項６の何れか一項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の入力画像から所望の範囲を切り出し・合成した画像と同等な出力画像を生成する画像処理装置およびそのプログラムに関する。

【背景技術】

【0002】

複数の入力画像から所望の範囲を切り出し・合成してより大きな画像を生成するスティッチング技術やモザイキング技術が知られている（特許文献１）。また、画像の一部を切り出し・射影変換を施して所望の画像を生成する技術も知られている。これら従来技術を用いれば、複数の入力画像から所望の範囲を切り出し・合成した画像を生成できる（以後、「従来技術１」と表記）。

【0003】

また、複数の入力画像を貼り合わせてパノラマ画像を生成する機能、パノラマ画像における関心領域を受信する機能、および関連する入力画像のフレームのみを取得して、隣接する画像間に知覚不能境界を有する高解像度フレームを得る機能を有するテレビ番組制作システムが知られている（特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６４２７６８８号公報

【文献】特許第６４３２０２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、従来技術１では、一旦大きな画像を生成する必要があることから、演算コストが増大し、メモリやプロセッサの規模が大きくなるという問題がある。特に、８Ｋのような高精細画像では、これらの問題が顕著となる。また、特許文献２に記載の技術では、隣接する画像間において知覚不能境界を得る具体的手法が開示されておらず、所望の高解像度フレームが必ずしも得られない。

【0006】

そこで、本発明は、演算コストを低減し、構成を簡略化できる画像処理装置およびそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

前記課題を解決するため、本発明に係る画像処理装置は、複数の入力画像から、所定の世界座標系に設置した仮想カメラにより仮想的に撮影した出力画像を生成する画像処理装置であって、逆投影部と、変換部と、算出部とを備える構成とした。

【0008】

かかる構成によれば、逆投影部は、世界座標系に参照平面を予め設定し、参照平面に出力画像の各画素の画像座標である出力画像座標を逆投影するようにして参照座標を求める。
また、変換部は、参照平面上の参照座標を各入力画像に写像して対応座標に変換し、写像した各入力画像の品質を示す評価値を算出する。
そして、算出部は、各入力画像の対応座標の画素値である入力画素値と評価値との対に基づいて、出力画像の各画素の画素値である出力画素値を算出する。
そして、変換部は、参照平面と各入力画像との座標変換式、または、予め設定した射影変換行列による変換式を用いて、参照座標を各入力画像に写像して対応座標に変換し、座標変換式または射影変換行列による変換式において、出力画像座標を対応座標で偏微分した偏導関数に基づいて、評価値を算出する。

【0009】

このように、画像処理装置では、画像の切り出し・合成処理と同等の処理を一括で実行し、各入力画像から出力画像を生成できる。このとき、画像処理装置では、参照平面を介するため、出力画像に無関係な入力画像の画素については演算処理を適用せず、演算コストを低減できる。さらに、画像処理装置では、従来技術のように大きな画像を扱う必要がないので、構成を簡略化できる。

【0010】

なお、本発明は、コンピュータを、前記した画像処理装置として機能させるためのプログラムで実現することもできる。

【発明の効果】

【0011】

本発明によれば、演算コストを低減し、構成を簡略化することができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る画像合成・切り出し装置の構成を示すブロック図である。

【図2】画像合成・切り出し装置の処理内容を説明する図である。

【図3】実施形態において、世界座標系と仮想カメラ座標系との関係を説明する図である。

【図4】実施形態において、世界座標系とカメラ座標系との関係を説明する図である。

【図5】実施形態に係る画像合成・切り出し装置の動作を示すフローチャートである。

【図6】実施例において、入力画像の枚数と撮影範囲を説明する図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。

【0014】

（実施形態）
［画像合成・切り出しシステムの概要］
図１を参照し、本実施形態に係る画像合成・切り出しシステム１の概要について説明する。
画像合成・切り出しシステム１は、複数の入力画像Ｉ^（ｃｎ）に対して、切り出し処理・合成処理と同等の処理を行って、画像座標（ｘ，ｙ）における出力画像Ｊの画素値Ｊ（ｘ，ｙ）を演算するものである。この出力画像Ｊは、複数の入力画像Ｉ^（ｃｎ）から所望の範囲を切り出し・合成した画像と同等の画像である。

【0015】

なお、ｎ∈｛１，…，Ｎ｝であり、Ｎは入力画像Ｉ^（ｃｎ）の最大枚数を表す。本実施形態では、一例として説明を簡単にするため、第１入力画像Ｉ^（ｃ１）および第２入力画像Ｉ^（ｃ２）という２枚の入力画像Ｉ^（ｃｎ）であることとする（Ｎ＝２）。従って、ｎ∈｛１，２｝となる。

【0016】

以下、出力画像Ｊの画像座標（ｘ，ｙ）を「出力画像座標」と略記する場合がある。また、出力画像Ｊの画像座標（ｘ，ｙ）の画素値Ｊ（ｘ，ｙ）を「出力画素値」と略記する場合がある。

【0017】

図１に示すように、画像合成・切り出しシステム１は、後記する画像合成・切り出し装置（画像処理装置）１０と、走査部２０と、画素値書込部２１と、出力フレームメモリ２２とを備える。

【0018】

まず、画像合成・切り出し装置１０には、第１フレームメモリ１３_１に第１入力画像Ｉ^（ｃ１）を書き込み、第２フレームメモリ１３_２に第２入力画像Ｉ^（ｃ２）を書き込む。続いて、出力画像Ｊの画像座標（ｘ，ｙ）を出力画像座標として、画像合成・切り出し装置１０に入力する。ここで、画像合成・切り出し装置１０に出力画像座標を入力する順序は任意である。例えば、走査部２０が、ラスタスキャンにより出力画像座標を画像合成・切り出し装置１０に順次入力すればよい。

【0019】

すると、画像合成・切り出し装置１０は、出力画像座標（ｘ，ｙ）の画素値Ｊ（ｘ，ｙ）を演算し、出力画素値として画素値書込部２１に出力する。画素値書込部２１は、走査部２０から入力した出力画像座（ｘ，ｙ）に対応する出力フレームメモリ２２のアドレスに対し、画像合成・切り出し装置１０から入力した出力画素値Ｊ（ｘ，ｙ）を記録する。走査部２０が出力画像全体の画素位置の走査を終了すると、出力フレームメモリ２２には出力画像Ｊが保持されている。

【0020】

［画像合成・切り出し装置の構成］
図１及び図２を参照し、本実施形態に係る画像合成・切り出し装置１０の構成について説明する。
画像合成・切り出し装置１０は、複数の入力画像Ｉ^（ｃｎ）から、所定の世界座標系に設置した仮想カメラにより仮想的に撮影した出力画像Ｊを生成するものである。このとき、画像合成・切り出し装置１０は、図２に示すように、参照平面Ｋを介して、複数の入力画像Ｉ^（ｃｎ）から出力画像Ｊを生成する。

【0021】

世界座標系とは、第１入力画像Ｉ^（ｃ１）または第２入力画像Ｉ^（ｃ２）で撮影された被写界における３次元的な座標系のことである。以後、世界座標系の座標を（Ｘ，Ｙ，Ｚ）と表記する。

【0022】

参照平面Ｋとは、世界座標系に予め設定した任意の曲面（平面を含む）のことである。この参照平面Ｋは、被写体全体が収まる面であることが好ましい。例えば、サッカー試合のケースでは、被写体となるサッカー選手や遊具がサッカーフィールド（地面）上に位置するので、図２に示すように、参照平面Ｋをサッカーフィールド（地面）に設定すればよい。また、例えば、被写体となる複数の絵画が壁面に配置されているケースでは、参照平面Ｋをその壁面に設定すればよい（不図示）。

【0023】

ここで、画像合成・切り出し装置１０の動作条件について説明する。画像合成・切り出し装置１０では、以下の条件甲または条件乙の何れかの動作条件を満たすことが好ましい。条件甲または条件乙の何れか一方が成立すれば、後記する逆投影部１１、第１変換部１２_１および第２変換部１２_２において、被写体の幾何学的な歪を抑制することができる。

【0024】

＜条件甲＞
条件甲では、世界座標系において、各入力画像Ｉ^（ｃｎ）で撮影された被写体が、近似的に参照平面Ｋ内に存在する。すなわち、条件甲は、第１入力画像Ｉ^（ｃ１）または第２入力画像Ｉ^（ｃ２）の被写体が、参照平面Ｋから予め設定した範囲内に位置するという動作条件である。第１入力画像Ｉ^（ｃ１）または第２入力画像Ｉ^（ｃ２）の撮影範囲（例えば、撮影範囲に内接する円の直径）に比して、参照平面Ｋから被写体までの距離が十分に小さな値（例えば、０．０１倍）となる。具体的には、第１入力画像Ｉ^（ｃ１）または第２入力画像Ｉ^（ｃ２）が直径１００ｍの範囲を撮影している場合、参照平面Ｋから被写体までの距離が±１ｍの範囲内になる。

【0025】

＜条件乙＞
条件乙では、各入力画像Ｉ^（ｃｎ）および出力画像Ｊの視点が近似的に同一位置になる。すなわち、条件乙は、第１入力画像Ｉ^（ｃ１）、第２入力画像Ｉ^（ｃ２）および出力画像Ｊの３画像の視点が、予め設定した範囲内に位置するという動作条件である。従って、これら３画像の視点が、有限の大きさの３次元領域内に存在する。有限の大きさの３次元領域は、３次元領域内の代表点から第１入力画像Ｉ^（ｃ１）または第２入力画像Ｉ^（ｃ２）で撮影されている被写体までの距離の最小値（最短被写体距離）に比して十分に小さくなる。例えば、有限の大きさの３次元領域は、最短被写体距離の０．０１倍の直径を有する球体となる。なお、３次元領域内の代表点は、例えば、重心、第１入力画像Ｉ^（ｃ１）の視点、第２入力画像Ｉ^（ｃ２）の視点、出力画像Ｊの視点、または、これらの視点を按分した点である。

【0026】

図１に示すように、画像合成・切り出し装置１０は、逆投影部１１と、変換部１２と、フレームメモリ１３と、画素値読出部１４と、合成部（算出部）１５とを備える。本実施形態では、画像合成・切り出し装置１０は、第１入力画像Ｉ^（ｃ１）および第２入力画像Ｉ^（ｃ２）のそれぞれに対応させて、第１変換部１２_１と、第２変換部１２_２と、第１フレームメモリ１３_１と、第２フレームメモリ１３_２と、第１画素値読出部１４_１と、第２画素値読出部１４_２とを備える。

【0027】

以後、第１入力画像Ｉ^（ｃ１）および第２入力画像Ｉ^（ｃ２）を個別に説明する場合、「第１変換部１２_１」、「第２変換部１２_２」のように表記する場合がある。また、第１入力画像Ｉ^（ｃ１）および第２入力画像Ｉ^（ｃ２）をまとめて説明する場合、「第ｎ変換部１２_ｎ」のように表記する場合がある（他の手段も同様）。

【0028】

＜逆投影部＞
図２に示すように、逆投影部１１は、世界座標系に参照平面Ｋを予め設定し、参照平面Ｋに出力画像Ｊの各画素の画像座標［ｘ，ｙ］^Ｔである出力画像座標を逆投影するようにして参照座標［Ｘ，Ｙ，Ｚ］^Ｔを求めるものである。このとき、逆投影部１１は、外部から入力した逆投影パラメータに基づいて、出力画像座標［ｘ，ｙ］^Ｔを参照平面Ｋに逆投影（例えば、逆透視投影）する。この逆投影パラメータは、出力画像Ｊを仮想的に撮影する仮想カメラの姿勢（パン角α、チルト角δ、ロール角θ）、仮想カメラの位置ｔおよび仮想カメラの焦点距離ｆと、参照平面Ｋの形状とを含んでいる。

【0029】

世界座標系は、任意に設定可能である。図３に示すように、世界座標系（Ｘ，Ｙ，Ｚ）は、Ｘ軸（水平方向）、Ｙ軸（奥行方向）、Ｚ軸（垂直方向）の順序で右手系をなす直交座標系とする。また、世界座標系の原点をＯ^（ｗ）とする。

【0030】

また、仮想カメラを基準とした座標系を仮想カメラ座標系とする。仮想カメラ座標系のｘ軸（水平方向）は、出力画像ＪのＸ軸と平行である。x軸の正方向は、被写界において、出力画像Ｊで右向きに撮影される側である。また、仮想カメラ座標系のｙ軸（垂直方向）は、出力画像ＪのＺ軸と平行である。y軸の正方向は、被写界において、出力画像Ｊで下向きに撮影される側である。図３に示すように、仮想カメラ座標系の原点Ｏ^（ｖ）は、出力画像Ｊの視点とする。また、仮想カメラ座標系のz軸は、x軸およびy軸に対し、ｘ軸、ｙ軸、ｚ軸の順序で右手系の直交座標系となるようにする。すなわち、仮想カメラ座標系のz軸は、仮想カメラの光軸と平行である。また、ｚ軸の正方向は、仮想カメラから被写界に向いた側である。

【0031】

出力画像Ｊは、以下の式（１）に示すように、世界座標系における位置ｔに第一光学主点を有する仮想カメラで撮影されたものとする。なお、仮想カメラの第一光学主点が出力画像Ｊの視点となる。

【0032】

【数1】

【0033】

世界座標系における方向ベクトルの各成分を仮想カメラ座標系における各成分に変換するための回転行列Ｒは、以下の式（２）で表される。

【0034】

【数2】

【0035】

仮想カメラの姿勢をパン角α、チルト角δおよびロール角φにより表すこととする。また、α＝δ＝φ＝０のときの仮想カメラの姿勢を基準姿勢と表記する。基準姿勢の３軸をｘ_０、ｙ_０およびｚ_０とする。図３に示すように、ｘ_０軸がＸ軸方向であり、ｙ_０軸が－Ｚ軸方向であり、ｚ_０軸がＹ軸方向である場合、世界座標から基準姿勢の座標系への回転行列Ｒ_０は、以下の式（３）で表される。

【0036】

【数3】

【0037】

パン角αによる回転行列Ｒ_１は、以下の式（４）で表される。

【0038】

【数4】

【0039】

チルト角δによる回転行列Ｒ_２は、以下の式（５）で表される。

【0040】

【数5】

【0041】

ロール角φによる回転行列Ｒ_３は、以下の式（６）で表される。

【0042】

【数6】

【0043】

以上のように、パン角α、チルト角δおよびロール角φが式（４）～式（６）でそれぞれ表されることから、回転行列Ｒは、以下の式（７）で表される。

【0044】

【数7】

【0045】

参照平面Ｋは、以下の式（８）で表される。なお、式（８）では、ａ、ｂ、ｃ、ｄは、参照平面Ｋの形状を表す係数であり、任意に設定できる。

【0046】

【数8】

【0047】

出力画像座標［ｘ，ｙ］^Ｔに対応する参照平面Ｋ上の点［Ｘ，Ｙ，Ｚ］^Ｔは、出力画像Ｊの視点から仮想カメラの座標［ｘ，ｙ，ｆ］^Ｔに向かうベクトルが、式（８）の参照平面Ｋと交差する点である。出力画像Ｊの視点から仮想カメラの座標［ｘ，ｙ，ｆ］^Ｔに向かうベクトルは、以下の（９）に示すように世界座標系で表すことができる。なお、λは、正の実数である。

【0048】

【数9】

【0049】

式（９）のベクトルが式（８）の参照平面Ｋと交差するときのλの値を求める。式（８）及び式（９）より、λの値は、以下の式（１０）で求めることができる。

【0050】

【数10】

【0051】

式（１０）で求めたλの値を式（９）に代入すると、出力画像座標［ｘ，ｙ］^Ｔから参照平面Ｋ上の点［Ｘ，Ｙ，Ｚ］^Ｔへの変換式は、以下の式（１１）で表される。

【0052】

【数11】

【0053】

ここで、参照平面Ｋで以下の式（１２）が成立する場合、すなわち、式（８）において、ａ＝ｂ＝ｄ＝０、かつ、ｃ≠０の場合、式（１１）は、以下の式（１３）で表される。

【0054】

【数12】

【数13】

【0055】

以上より、逆投影部１１は、式（１１）または式（１３）の変換式によって、出力画像座標［ｘ，ｙ］^Ｔを参照平面Ｋに逆投影し、世界座標系における参照座標［Ｘ，Ｙ，Ｚ］^Ｔを求める。例えば、参照平面Ｋをサッカーフィールド（地面）に設定した場合、式（１２）が成立するので、逆投影部１１は、式（１３）の変換式によって参照座標［Ｘ，Ｙ，Ｚ］^Ｔを求めればよい。
その後、逆投影部１１は、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第１変換部１２_１および第２変換部１２_２に出力する。

【0056】

＜変換部＞
図２に示すように、第ｎ変換部１２_ｎは、参照平面Ｋ上の参照座標［Ｘ，Ｙ，Ｚ］^Ｔを各入力画像Ｉ^（ｃｎ）に写像して第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔに変換し、写像した各入力画像Ｉ^（ｃｎ）の品質を示す第ｎ評価値ｅ^（ｃｎ）を算出するものである。本実施形態では、第ｎ変換部１２_ｎは、透視投影変換または射影変換により参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔに変換し、その後、第ｎ評価値ｅ^（ｃｎ）を算出する。
なお、第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔとは、参照平面Ｋ上の参照座標［Ｘ，Ｙ，Ｚ］^Ｔに対応する各入力画像Ｉ^（ｃｎ）の座標のことである。

【0057】

＜＜透視投影変換＞＞
まず、第ｎ変換部１２_ｎによる透視投影変換を説明する。
図４に示すように、第ｎ入力画像Ｉ^（ｃｎ）を撮影した第ｎ撮影カメラの位置ｕ^（ｃｎ）＝［ｕ_ｘ ^（ｃｎ），ｕ_ｙ ^（ｃｎ），ｕ_ｚ ^（ｃｎ）］は、世界座標系において、以下の式（１４）で表される。なお、第ｎ撮影カメラのカメラ座標系を「第ｎカメラ座標系」と略記し、第ｎカメラ座標系の原点をＯ^（ｃｎ）とする。また、第ｎ撮影カメラの第一光学主点が第ｎ入力画像Ｉ^（ｃｎ）の視点となる。

【0058】

【数14】

【0059】

また、世界座標系から第ｎカメラ座標系への回転行列Ｓは、以下の式（１５）で表される。

【0060】

【数15】

【0061】

ここで、第ｎ撮影カメラの姿勢をパン角α^（ｃｎ）、チルト角δ^（ｃｎ）およびロール角φ^（ｃｎ）により表すこととする。また、α^（ｃｎ）＝δ^（ｃｎ）＝φ^（ｃｎ）＝０のときの第ｎ撮影カメラの姿勢を基準姿勢と表記する。基準姿勢において、第ｎカメラ座標系のξ^（ｃｎ）、η^（ｃｎ）、ζ^（ｃｎ）の各軸が、世界座標系のＸ、－Ｚ、Ｙの各軸方向である場合を考える。この場合、式（３）および式（７）と同様、世界座標から第ｎカメラ座標への回転行列Ｓ^（ｃｎ）は、以下の式（１６）で表される。

【0062】

【数16】

【0063】

ここで、世界座標［Ｘ，Ｙ，Ｚ］^Ｔにある被写体を、第ｎ撮影カメラによって撮影した場合を考える。この場合、その画像座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔは、以下の式（１７）に示すように、透視投影による座標変換式で求められる。なお、第ｎ撮影カメラの焦点距離をｇ^（ｃｎ）とする。

【0064】

【数17】

【0065】

すなわち、第ｎ変換部１２_ｎは、外部から入力した第ｎ変換パラメータに基づいて、式（１７）の座標変換式を用いて、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔに変換する。この場合、第ｎ変換パラメータは、第ｎ撮影カメラの姿勢（パン角α^（ｃｎ）、チルト角δ^（ｃｎ）、ロール角θ^（ｃｎ））、第ｎ撮影カメラの位置ｕ^（ｃｎ）、および、第ｎ撮影カメラの焦点距離ｇ^（ｃｎ）を含んでいる。

【0066】

以上より、透視投影変換を行う場合、第１変換部１２_１は、第１変換パラメータに基づいて、式（１７）でｎ＝１とした座標変換式を用いて、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第１対応座標［ξ^（ｃ１），η^（ｃ１）］^Ｔに変換する。
また、第２変換部１２_２は、第２変換パラメータに基づいて、式（１７）でｎ＝２とした座標変換式を用いて、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第２対応座標［ξ^（ｃ２），η^（ｃ２）］^Ｔに変換する。
この透視投影変換によれば、第ｎ撮影カメラの姿勢、位置および焦点距離が既知であれば、後記するランドマークが不要なため、被写体を問わずに適用できるという利点がある。

【0067】

＜＜射影変換＞＞
次に、第ｎ変換部１２_ｎによる射影変換を説明する。
第ｎ変換部１２_ｎは、透視投影変換の代わりに射影変換（ホモグラフィー）を行ってもよい。以下、参照平面ＫがＺ＝０の場合について説明する。
第ｎ変換部１２_ｎにおける射影変換行列は、下の式（１８）で表される。

【0068】

【数18】

【0069】

この場合、参照座標［Ｘ，Ｙ，Ｚ］^Ｔから第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔへの変換式は、以下の式（１９）に示すように、式（１８）の射影変換行列による変換式となる。従って、第ｎ変換部１２_ｎは、外部から入力した第ｎ変換パラメータに基づいて、式（１９）を用いて、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔに変換すればよい。この場合、第ｎ変換パラメータは、第ｎ撮影カメラの射影変換行列を含んでいる。

【0070】

【数19】

【0071】

以上より、射影変換を行う場合、第１変換部１２_１は、第１変換パラメータに基づいて、式（１９）でｎ＝１とした変換式を用いて、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第１対応座標［ξ^（ｃ１），η^（ｃ１）］^Ｔに変換する。
また、第２変換部１２_２は、第２変換パラメータに基づいて、式（１９）でｎ＝２とした変換式を用いて、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第２対応座標［ξ^（ｃ２），η^（ｃ２）］^Ｔに変換する。

【0072】

この射影変換によれば、世界座標で記述された既知の４点（ランドマーク）が各入力画像Ｉ^（ｃｎ）に含まれていれば、第ｎ撮影カメラの姿勢、位置および焦点距離が未知でもよいため、利便性に優れるという利点がある。なお、各ランドマークは、同一平面上に位置する。

【0073】

＜＜評価値の算出：第１例＞＞
以下、第ｎ変換部１２_ｎによる評価値の算出法として、第１例～第３例をあげて説明する。
写像を行うと、画像の歪み、ぼやけ、色のにじみなどの収差、口径食（ビネッティング）や周辺減光が発生する。また、画像の中心側より辺縁側において、収差などの悪影響を受けやすく、品質が低下しやすくなる。そこで、第ｎ変換部１２_ｎは、写像後の第ｎ入力画像Ｉ^（ｃｎ）の品質を定量化した第ｎ評価値ｅ^（ｃｎ）を算出する。この第ｎ評価値ｅ^（ｃｎ）は、その値が大きいほど、写像後の第ｎ入力画像Ｉ^（ｃｎ）が高品質であることを示す。

【0074】

第１例の第ｎ評価値ｅ^（ｃｎ）は、第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔが第ｎ入力画像Ｉ^（ｃｎ）の中心側で大きな値となり、第ｎ入力画像Ｉ^（ｃｎ）の辺縁側で小さな値となるように定義したものである。また、第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔが第ｎ入力画像Ｉ^（ｃｎ）から外れる場合、第ｎ評価値ｅ^（ｃｎ）＝０となる。

【0075】

例えば、第ｎ評価値ｅ^（ｃｎ）は、以下の式（２０）で表される。ここでは、第ｎ入力画像Ｉ^（ｃｎ）の水平画素をＷ^（ｃｎ）垂直画素をＨ^（ｃｎ）とする。

【0076】

【数20】

【0077】

この第１例によれば、後記する合成部１５が、複数の入力画像Ｉ^（ｃｎ）のうち、より中心側に近い方の画素を重視して画素値を算出できる。その結果、出力画像Ｊが、画像の辺縁側で多く発生する収差などの悪影響を受けにくくなる。

【0078】

＜＜評価値の算出：第２例＞＞
第２例の第ｎ評価値ｅ^（ｃｎ）は、第ｎ入力画像Ｉ^（ｃｎ）の辺縁線（外周線）から第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔまでの距離に応じて定義したものである。また、第１例と同様、第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔが第ｎ入力画像Ｉ^（ｃｎ）から外れる場合、第ｎ評価値ｅ^（ｃｎ）＝０となる。

【0079】

例えば、第ｎ評価値ｅ^（ｃｎ）は、以下の式（２１）で表される。ここでは、第ｎ入力画像Ｉ^（ｃｎ）の外周線から第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔまでの距離をρ^（ｃｎ）とする。なお、定数σ^（ｃｎ）は、正の実数で任意に設定できる。また、ｍｉｎは、最小値を返す関数である。

【0080】

【数21】

【0081】

なお、距離ρ^（ｃｎ）は、第ｎ入力画像Ｉ^（ｃｎ）で最外周の各画素の中心から第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔまでの最短距離であってもよい。また、距離ρ^（ｃｎ）は、第ｎ入力画像Ｉ^（ｃｎ）を上下左右に１画素分または０．５画素分だけ拡張した各画素の中心から第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔまでの最短距離であってもよい。

【0082】

この第２例によれば、第１例と同様、出力画像Ｊが画像の辺縁側で多く発生する収差などの悪影響を受けにくくなる。

【0083】

＜＜評価値の算出：第３例＞＞
第３例の第ｎ評価値ｅ^（ｃｎ）は、式（１６）の座標変換式、または、式（１９）の変換式において、出力画像座標［Ｘ，Ｙ，Ｚ］を第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔで偏微分した偏導関数として定義したものである。なお、Ｚ成分の偏微分は、式（１６）の場合のみ行う。

【0084】

例えば、第ｎ評価値ｅ^（ｃｎ）は、以下の式（２２）で表される。また、第ｎ評価値ｅ^（ｃｎ）は、Ｚ成分を扱わない場合、以下の式（２３）で表される。

【0085】

【数22】

【数23】

【0086】

このとき、解像感が高い入力画像Ｉ^（ｃｎ）ほど、第ｎ評価値ｅ^（ｃｎ）が大きくなる。また、第１例および第２例と同様、第ｎ対応座標［ξ^（ｃｎ），η^（ｃｎ）］^Ｔが第ｎ入力画像Ｉ^（ｃｎ）から外れる場合、第ｎ評価値ｅ^（ｃｎ）＝０となる。
なお、第ｎ評価値ｅ^（ｃｎ）は、（２０）乃至式（２３）の合成（例えば線形和）によって定義してもよい。

【0087】

この第３例によれば、後記する合成部１５において、複数の入力画像Ｉ^（ｃｎ）のうち、より解像感が高くなる方を重視して画素値を算出できる。その結果、出力画像Ｊのぼやけを抑制し、高精細な出力画像Ｊを生成できる。

【0088】

以上より、第１変換部１２_１は、式（２０）～式（２３）の何れかでｎ＝１として、第１評価値ｅ^（ｃ１）を算出する。そして、第１変換部１２_１は、第１対応座標［ξ^（ｃ１），η^（ｃ１）］を第１画素値読出部１４_１に出力し、第１評価値ｅ^（ｃ１）を合成部１５に出力する。
第２変換部１２_２は、式（２０）～式（２３）の何れかでｎ＝２として、第２評価値ｅ^（ｃ２）を算出する。そして、第２変換部１２_２は、第２対応座標［ξ^（ｃ２），η^（ｃ２）］を第２画素値読出部１４_２に出力し、第２評価値ｅ^（ｃ２）を合成部１５に出力する。

【0089】

＜フレームメモリ＞
第ｎフレームメモリ１３_ｎは、第ｎ入力画像Ｉ^（ｃｎ）を保持するメモリであり、任意に指定する画像座標の画素値を読み出すことのできるランダムアクセスが可能なものとする。本実施形態では、第１フレームメモリ１３_１が第１入力画像Ｉ^（ｃ１）を保持し、第２フレームメモリ１３_２が第２入力画像Ｉ^（ｃ２）を保持する。

【0090】

＜画素値読出部＞
第ｎ画素値読出部１４_ｎは、第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））を第ｎフレームメモリ１３_ｎから読み出すものである。なお、第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））とは、第ｎ入力画像Ｉ^（ｃｎ）における対応座標（ξ^（ｃｎ），η^（ｃｎ））の画素値のことである

【0091】

ここで、第ｎ画素値読出部１４_ｎは、対応座標の座標値ξ^（ｃｎ），η^（ｃｎ）の何れか一方または両方が整数でない場合、その座標値を最近傍の整数値に丸めてもよい。この場合、第ｎ画素値読出部１４_ｎは、以下の式（２４）により、第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））を求める。

【0092】

【数24】

【0093】

また、第ｎ画素値読出部１４_ｎは、対応座標の座標値ξ^（ｃｎ），η^（ｃｎ）の何れか一方または両方が整数でない場合、双一次補間により第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））を決定してもよい。この場合、第ｎ画素値読出部１４_ｎは、以下の式（２５）で表される補間式により、第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））を求める。

【0094】

【数25】

【0095】

また、第ｎ画素値読出部１４_ｎは、図２に示すように、第ｎ入力画像Ｉ^（ｃｎ）の周縁から対応座標（ξ^（ｃｎ），η^（ｃｎ））までの距離ｄ_ｎに応じて、双一次補間により第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））を決定してもよい。例えば、入力画像Ｉ^（ｃｎ）が２枚の場合、第ｎ画素値読出部１４_ｎは、以下の式（２６）で表される補間式により、第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））を求める。

【0096】

【数26】

【0097】

この他、第ｎ画素値読出部１４_ｎは、対応座標の座標値ξ^（ｃｎ），η^（ｃｎ）の何れか一方または両方が整数でない場合、双三次補間、Ｌａｎｃｚｏｓ補間、スプライン補間などの補間式を用いて、第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））を決定してもよい。

【0098】

以上より、第１画素値読出部１４_１は、第１入力画素値Ｉ^（ｃ１）（ξ^（ｃ１），η^（ｃ１））を読み出し、読み出した第１入力画素値Ｉ^（ｃ１）（ξ^（ｃ１），η^（ｃ１））を合成部１５に出力する。
第２画素値読出部１４_２は、第２入力画素値Ｉ^（ｃ２）（ξ^（ｃ２），η^（ｃ２））を読み出し、読み出した第２入力画素値Ｉ^（ｃ２）（ξ^（ｃ２），η^（ｃ２））を合成部１５に出力する。

【0099】

＜合成部＞
合成部１５は、第ｎ画素値読出部１４_ｎから入力した第ｎ入力画素値Ｉ^（ｃｎ）（ξ^（ｃｎ），η^（ｃｎ））と第ｎ変換部１２_ｎから入力した第ｎ評価値ｅ^（ｃｎ）との対に基づいて、出力画素値Ｊ（ｘ，ｙ）を算出するものである。

【0100】

本実施形態では、合成部１５は、第１入力画素値Ｉ^（ｃ１）（ξ^（ｃ１），η^（ｃ１））と第２入力画素値Ｉ^（ｃ２）（ξ^（ｃ２），η^（ｃ２））とを、第１評価値ｅ^（ｃ１）と第２評価値ｅ^（ｃ２）とに応じて合成することで、出力画素値Ｊ（ｘ，ｙ）を算出する。例えば、合成部１５は、以下の式（２７）に示すように、第１評価値ｅ^（ｃ１）と第２評価値ｅ^（ｃ２）とを重みとした、第１入力画素値Ｉ^（ｃ１）（ξ^（ｃ１），η^（ｃ１））と第２入力画素値Ｉ^（ｃ２）（ξ^（ｃ２），η^（ｃ２））との加重平均により出力画素値Ｊ（ｘ，ｙ）を算出する。

【0101】

【数27】

【0102】

なお、式（２７）において、画素値Ｇ（ｘ，ｙ）は、出力画像座標［ｘ，ｙ］^Ｔに対応する第１入力画像Ｉ^（ｃ１）の画素および第２入力画像Ｉ^（ｃ２）の画素が存在しない場合や解像感が得られない場合に、第１入力画像Ｉ^（ｃ１）および第２入力画像Ｉ^（ｃ２）を穴埋めするための穴埋画像の各画素の画素値である。例えば、画素値Ｇ（ｘ，ｙ）は、第１入力画像Ｉ^（ｃ１）の画素および第２入力画像Ｉ^（ｃ２）に存在しない画素の最も近傍に位置するｅ^（ｃ１）＝ｅ^（ｃ２）＝０でない画素からの外挿値（例えば、０次ホールド）であってもよい。また、穴埋画像は、黒や青などの単色を表す画像としてもよい。また、穴埋画像は、画像座標に応じて濃淡を変えたグラデーション画像、カラーバー、市松格子状などの任意のパターンを有するパターン画像、または、雑音画像としてもよい。

【0103】

［画像合成・切り出し装置の動作］
図５を参照し、画像合成・切り出し装置１０の動作について説明する。
図５に示すように、ステップＳ１において、逆投影部１１は、出力画像座標［ｘ，ｙ］^Ｔを参照平面Ｋに逆投影し、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを求める。

【0104】

ステップＳ２において、第１変換部１２_１は、参照平面Ｋ上の参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第１入力画像Ｉ^（ｃ１）に写像して第１対応座標［ξ^（ｃ１），η^（ｃ１）］^Ｔに変換する。また、第２変換部１２_２は、参照平面Ｋ上の参照座標［Ｘ，Ｙ，Ｚ］^Ｔを第２入力画像Ｉ^（ｃ２）に写像して第２対応座標［ξ^（ｃ２），η^（ｃ２）］^Ｔに変換する。

【0105】

ステップＳ３において、第１変換部１２_１は、写像した第１入力画像Ｉ^（ｃ１）の品質を示す第１評価値ｅ^（ｃ１）を算出する。また、第２変換部１２_２は、写像した第２入力画像Ｉ^（ｃ２）の品質を示す第２評価値ｅ^（ｃ２）を算出する。

【0106】

ステップＳ４において、第１画素値読出部１４_１は、第１入力画素値Ｉ^（ｃ１）（ξ^（ｃ１），η^（ｃ１））を第１フレームメモリ１３_１から読み出す。また、第２画素値読出部１４_２は、第２入力画素値Ｉ^（ｃ２）（ξ^（ｃ２），η^（ｃ２））を第２フレームメモリ１３_２から読み出す。

【0107】

ステップＳ５において、合成部１５は、第１入力画素値Ｉ^（ｃ１）（ξ^（ｃ１），η^（ｃ１））と第２入力画素値Ｉ^（ｃ２）（ξ^（ｃ２），η^（ｃ２））とを、第１評価値ｅ^（ｃ１）と第２評価値ｅ^（ｃ２）とに応じて合成することで、出力画素値Ｊ（ｘ，ｙ）を算出する。

【0108】

［作用・効果］
以上のように、画像合成・切り出し装置１０は、画像の切り出し・合成処理と同等の処理を一括で実行し、各入力画像Ｉ^（ｃｎ）から出力画像Ｊを生成できる。このとき、画像合成・切り出し装置１０では、参照平面Ｋを介するため、出力画像Ｊに無関係な各入力画像Ｉ^（ｃｎ）の画素については演算処理を適用せず、演算コストを低減できる。さらに、画像合成・切り出し装置１０は、では、従来技術のように大きな画像を扱う必要がないので、小規模なメモリやプロセッサで演算処理を実行可能であり、構成を簡略化できる。

【0109】

なお、参照平面Ｋを介さず、各入力画像Ｉ^（ｃｎ）から出力画像Ｊを直接生成できるようにも思われる。しかし、画像合成・切り出し装置１０は、出力画像Ｊを直接生成する手法と比較し、以下で述べるような利点がある。
画像合成・切り出し装置１０では、参照平面Ｋに一度マッピングすることで、仮想カメラのパン・チルト・ズーム操作により、直感的に出力画像Ｊを生成できる。さらに、画像合成・切り出し装置１０では、入力画像Ｉ^（ｃｎ）の枚数変更、つまり、撮影カメラの台数変更にも容易に対応できる。例えば、画像合成・切り出し装置１０では、３台目の撮影カメラを追加する場合、３台目の撮影カメラに対応した変換パラメータを入力するだけでよい。
一方、出力画像Ｊを直接生成する手法では、仮想カメラのパン・チルト・ズームに応じた射影変換行列を都度生成する必要があり、非常に手間がかかる。また、出力画像Ｊを直接生成する手法では、撮影カメラの台数変更にも柔軟に対応できない。

【0110】

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明はこれに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、画像合成・切り出し装置と、走査部、画素値書込部および出力フレームメモリとを別々に構成したが、これらを一体化してもよい。
前記した実施形態において、入力画像がサッカーの試合を撮影した例で説明したが、入力画像は、これに限定されない。

【0111】

前記した実施形態では、入力画像Ｉ^（ｃｎ）が２枚であることとして説明したが、入力画像は３枚以上であってもよい。例えば、入力画像は、２枚～３０枚の間に収まる。図６には、入力画像を３枚、つまり、撮影カメラが３台の例を図示した。図６に示すように、第１入力画像Ｉ^（ｃ１）は、１台目の撮影カメラでサッカーフィールドの左半面をやや望遠で撮影したものである。また、第２入力画像Ｉ^（ｃ２）は、２台目の撮影カメラでサッカーフィールドの右半面をやや望遠で撮影したものである。また、第３入力画像Ｉ^（ｃ３）は、３台目の撮影カメラでサッカーフィールド全面を広角で撮影したものである。これら３枚の入力画像Ｉ^（ｃ１）～Ｉ^（ｃ３）を用いれば、サッカーフィールド内を高解像度でカバーしつつ、観客席もカバーすることができる。
なお、入力画像Ｉ^（ｃｎ）を３枚以上とした場合（Ｎ≧３）、画像合成・切り出し装置は、第ｎ変換部、第ｎフレームメモリおよび第ｎ画素値読出部を入力画像と同数備えればよい。また、入力画像Ｉ^（ｃｎ）の枚数、つまり、撮影カメラの台数を変更することも可能である。

【0112】

前記した実施形態では、参照平面が平面であるものとして説明したが、参照平面は、既知の曲面であってもよい。例えば、既知の曲面とは、二次曲面などのように数式によってモデル化された曲面であってもよく、ポリゴンのように面要素の集合として表現された曲面であってもよい。また、既知の曲面は、高度地図（ＤＥＭ： Digital Elevation Map）やボクセルのような標本化された表現の曲面であってもよい。これらの場合、逆投影部は、視点から仮想カメラの座標［ｘ，ｙ，ｆ］^Ｔに向かうベクトルと前記した既知の曲面との交点とを求め、その交点を参照座標［Ｘ，Ｙ，Ｚ］^Ｔとすればよい。

【0113】

前記した実施形態において、逆投影部は、第ｎ変換部と同様、射影変換（ホモグラフィー）により出力画像座標を参照平面に逆投影し、参照座標［Ｘ，Ｙ，Ｚ］^Ｔを求めてもよい。

【0114】

また、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した画像合成・切り出し装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0115】

１ 画像合成・切り出しシステム
１０ 画像合成・切り出し装置（画像処理装置）
１１ 逆投影部
１２ 変換部
１２_１ 第１変換部
１２_２ 第２変換部
１３ フレームメモリ
１３_１ 第１フレームメモリ
１３_２ 第２フレームメモリ
１４ 画素値読出部
１４_１ 第１画素値読出部
１４_２ 第２画素値読出部
１５ 合成部（算出部）
２０ 走査部
２１ 画素値書込部
２２ 出力フレームメモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】