特許 7489960 画像の合成のための方法及びデータ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-16

(45)【発行日】2024-05-24

(54)【発明の名称】画像の合成のための方法及びデータ処理システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240517BHJP

   G06T 7/00 20170101ALI20240517BHJP

   G06T 1/00 20060101ALI20240517BHJP

   G06T 15/20 20110101ALI20240517BHJP

【ＦＩ】

H04N23/60 500

G06T7/00 510F

G06T1/00 400H

G06T1/00 290Z

G06T1/00 340A

G06T15/20

【請求項の数】 12

(21)【出願番号】P 2021503548

(86)(22)【出願日】2019-07-29

(65)【公表番号】

(43)【公表日】2021-11-25

(86)【国際出願番号】 EP2019070332

(87)【国際公開番号】W WO2020021121

(87)【国際公開日】2020-01-30

【審査請求日】2022-05-06

(31)【優先権主張番号】102018118187.6

(32)【優先日】2018-07-27

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】504318164

【氏名又は名称】カール・ツアイス・アーゲー

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(72)【発明者】

【氏名】ヴィック，ミヒャエル

(72)【発明者】

【氏名】ヴォジェク，クリスティアン

(72)【発明者】

【氏名】ブラニク，ヴラダン

(72)【発明者】

【氏名】ジーファース，トルステン

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００５－２５２６８０（ＪＰ，Ａ）

【文献】特開２００４－２２７３３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １５／２０

(57)【特許請求の範囲】

【請求項1】

第１の連続フレームを用いて第２の連続フレームを生成する方法であって、前記第１の連続フレーム又は前記第２の連続フレームのフレームは、対物レンズの助けを借りて撮影される（Ｓ１１）、方法において、
前記方法は：
‐前記第１の連続フレームの前記フレームに関する前記対物レンズ内での光ビームの特性を決定するステップ（Ｓ１２）；
‐前記第１の連続フレームの各前記フレームの前記対物レンズ内での光ビームの特性を考慮に入れて、前記第２の連続フレームの前記フレームを生成する、又は適合させるステップ（Ｓ１４）
を含み、
前記決定するステップは、
撮像パラメータの時系列を記録するステップと、
前記撮像パラメータの時間的シーケンスの記録に基づいて前記第１の連続フレームの撮影を、仮想的に動作する仮想カメラを用いることにより計画するステップと（Ｓ３４）、
前記撮像パラメータの時間的シーケンスの記録を用いて前記第１の連続フレームの該撮影を実行するステップ（Ｓ３４）と、を含む、
方法。

【請求項2】

前記対物レンズ内での光ビームの特性を決定する前記ステップは、前記第１の連続フレームの前記フレームに関する前記対物レンズの入射瞳及び視野を決定するステップ（Ｓ１２）を含み；及び／又は
‐前記第２の連続フレームの前記フレームを生成する、又は適合させる前記ステップは、前記第１の連続フレームの各前記フレームの前記対物レンズの前記入射瞳及び前記視野を考慮に入れて実施される、請求項１に記載の方法。

【請求項3】

前記生成する、又は適合させるステップは、点像分布関数及び／又は光伝達関数及び／又はビーム関数の使用を含む、請求項２に記載の方法。

【請求項4】

第１の連続フレームの画像コンテンツと、第２の連続フレームの画像コンテンツとを結合させるステップ（Ｓ２５）を含み、
前記結合させるステップは、前記第２の連続フレームのフレームの画像コンテンツを前記第１の連続フレームのフレームの画像コンテンツに適合させるステップ、又は前記第２の連続フレームのフレームを生成するステップを含み、前記適合させるステップ及び前記生成するステップはそれぞれ、前記第１の連続フレームの各フレームの対物レンズの入射瞳及び視野を考慮して行われる、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記フレームを適合させる又は生成する前記ステップは、入射瞳及び視野を考慮に入れることに加えて、射出瞳の位置、被写界深度、ビネッティング、歪み、ぼけ、色誤差、焦点、対物レンズ内のレンズ素子の位置、アパーチャ、露光時間、色の見え及び／又は対物レンズ内での反射を考慮に入れることを含む、請求項４に記載の方法。

【請求項6】

前記第２の連続フレームの前記フレームを生成する前記ステップは、仮想シーンのレンダリングによって前記フレームを生成するステップ（Ｓ２４）を含む、請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記第２の連続フレームの前記フレームを適合させる前記ステップに、カメラ用の対物レンズを用いて前記フレームを生成するステップ（Ｓ２１）が先行する、請求項１～５のいずれか１項に記載の方法。

【請求項8】

第１の対物レンズに関する光ビームの特性を決定するステップが実施され、第２の連続フレームのフレームを生成するステップが、第２の対物レンズ内での光ビームの特性を更に考慮に入れて実施される、請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記決定するステップは：
前記フレームの前記第１の連続フレームの撮影時に、前記対物レンズの１つ以上の撮像パラメータを記録するステップ（Ｓ２２）
を含み、
前記適合させる、又は生成するステップは：
前記第２の連続フレームの前記フレームの適合又は生成に前記撮像パラメータを使用するステップ（Ｓ２４）
を含む、請求項１～８のいずれか１項に記載の方法。

【請求項10】

前記対物レンズの前記撮像パラメータは、前記第２の連続フレームの前記フレームの生成のためにリアルタイムで使用される、請求項９に記載の方法。

【請求項11】

映画撮影、写真撮影、コンピュータゲーム、医療用撮像、例えば顔認識のようなセキュリティアプリケーション、コンピュータベースシミュレーション、仮想現実、及び／又は産業的測定技法の分野のうちの１つ以上における、請求項１～１０のいずれか１項に記載の方法の使用。

【請求項12】

請求項１～１１のいずれか１項に記載のステップを実行するための手段を有する、データ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、第１の連続フレームを用いて第２の連続フレームを生成するための方法に関し、上記第１の連続フレームのフレームは、対物レンズの助けを借りて撮影される。特に本発明は、所定のパラメータに基づいて動画を修正及び／又は生成するための、ソフトウェアベースの方法に関する。

【背景技術】

【0002】

現在、例えば劇映画、コンピュータゲーム、医療用撮像、顔認識用セキュリティアプリケーションのためのアニメーション、コンピュータベースのシミュレーションにおけるアニメーション、仮想現実アプリケーションにおけるアニメーション、又は産業的測定技法におけるアニメーションは、レンダー又はレンダリングとも呼ばれる画像合成を用いて生成される。例えばここで使用される１つの技法は、仮想センサポイントからピンホールカメラ開口部を通って仮想３次元シーンに至る仮想ビーム経路を計算し、上記仮想シーンの衝突点に応じて、対応する色及び強度を上記センサポイントに割り当てるというものである。

【0003】

多くの場合、このような形式の画像合成によって生成されたフィルムシーケンスを実際に撮影されたシーンと重ね合わせる、又は一体化することが望まれる。例えば実際の俳優を伴うスタジオの状況を示す、実際に撮影された画像シーケンスに、例えば仮想のコンピュータアニメーションによる生物又は背景を示す、上述のように生成された画像コンテンツを、埋め込むことになる。

【0004】

ここで目的となるのは、実際の画像シーケンスに埋め込まれることになる画像コンテンツを可能な限りシームレスに統合することである。画像コンテンツによっては、実際に実物のコンテンツであることを視聴者に対して示唆することではなく、画像コンテンツ全体が、後処理を行うことなくネイティブに生成されているという印象を与えることが必要となる。現在、このような印象のために相当な努力が払われており、これにはポストプロダクションにおける画像毎の操作が主に含まれる。画像処理プログラムを用いて、実際に撮影された風景に可能な限り適合させることを目的として、個々の画像コンテンツに変更が加えられる。この画像後処理はほとんどの場合手動で実施しなければならず、また経験値に基づくものである。説得力のある視聴体験のためには、モデル化された特殊効果が実際の画像コンテンツといわば融合し、視聴者が断絶を感じないことが重要である。各状況のために適用される設定（ＦＯＶ、開口、入射瞳、位置、焦点距離等）は、物理モデルを用いてシミュレートされる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、第１の連続フレームを用いて第２の連続フレームを生成する方法を提示することであり、上記方法は、上述の要件を満たし、より高いレベルのシームレスな統合を提供し、また同時に必要な手作業を削減する。

【課題を解決するための手段】

【0006】

この目的は、独立請求項１に記載の方法によって達成される。第１の連続フレームを用いて第２の連続フレームを生成する本発明による方法（ここで上記第１又は第２の連続フレームのフレームは、対物レンズの助けを借りて撮影される）は、上記第１の連続フレームの上記フレームに関する上記対物レンズ内での光ビームの特性を決定するステップ、及び上記第１の連続フレームの各上記フレームの上記対物レンズ内での光ビームの特性を考慮に入れて、上記第２の連続フレームの上記フレームを生成する、又は適合させるステップを含む。

【0007】

上記第２の連続フレームの上記フレームの画像コンテンツを適合させる上記ステップは、既に計算された又は他の方法で生成されたフレームシーケンスを後で変換するステップを伴う場合がある。ここで例えば、上記第１の連続フレームの上記フレームを、上記第２の連続フレームの上記画像と、正確に結合させることができる。上記第２の連続フレームの上記フレームを生成する上記ステップは、対物レンズを用いたフレームシーケンスを生成するステップ、即ち従来の意味で画像シーケンスを撮影するステップ、又は仮想シーンに基づく画像合成（レンダリング）の意味でフレームシーケンスを計算するステップを伴う場合がある。ここで、上記第２の連続フレームの画像から、例えば人物又は物体といった個々の要素を抽出し、上記第１の連続フレームの画像に統合できる。

【0008】

好ましい実施形態では、上記対物レンズ内での光ビームの特性を決定する上記ステップは、上記第１の連続フレームの上記フレームに関する上記対物レンズの入射瞳及び視野を決定するステップを含む。

【0009】

上記対物レンズの入射瞳、及びＦｏＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）とも呼ばれる視野を決定する上記ステップにより、上記第２の連続フレームの上記フレームの画像コンテンツを適合させる又は生成する上記ステップにおいて、上記第２の連続フレームの画像コンテンツを計算又は変換するために、正確な視線方向、上記対物レンズが実際にキャプチャする視野、及び入射瞳を考慮できる。

【0010】

例えば、異なる対物レンズ‐被写体間距離に適合するための上記対物レンズのピント合わせプロセスにおいて、入射瞳及び／又は視野がわずかに、しかしながら明確に変化する場合がある。この効果は特に画像セクションの変化として知覚可能となり、画角変動（ドイツ語：Ｐｕｍｐｅｎ、英語：ｆｏｃｕｓ ｂｒｅａｔｈｉｎｇ）として知られている。この効果は、個々の撮影ではほとんど無関係であるが、フィルムシーケンスでは知覚可能となり、特にシミュレートされた又は仮想の、即ち計算された画像コンテンツを後で挿入する際に、従来のアプローチにとって大きな課題となる。追加されることになる画像コンテンツの計算の際に、入射瞳及び視野が既に考慮されていれば、画像コンテンツをはるかに容易な方法で、特に手作業をほとんど伴うことなく、結合させることができる。

【0011】

本発明の好ましい実施形態は、第１の連続フレームの画像コンテンツと、第２の連続フレームの画像コンテンツとを結合させるステップを含み、上記結合させるステップは、上記第２の連続フレームのフレームの画像コンテンツを上記第１の連続フレームのフレームの画像コンテンツに適合させるステップ、又は上記第２の連続フレームのフレームを生成するステップを含み、これらはそれぞれ、上記第１の連続フレームの各フレームの対物レンズの入射瞳及び視野を考慮して行われる。対物レンズの入射瞳の場所及び視野に関する情報を把握した上で、上記第２の連続フレームを生成した又は適合させた後、過度の適合を実施することなく、２つの上記画像シーケンスを結合させる、例えば２つの画像シーケンスを重ね合わせる、又は第２のフレームシーケンスの画像コンテンツを第１の画像シーケンスの画像コンテンツに挿入することができる。

【0012】

本発明の更なる実施形態では、フレームを適合させる又は生成する上記ステップにおいて、入射瞳及び視野に加えて、射出瞳の位置、被写界深度、場合によっては色依存性のビネッティング、歪み、ぼけ、色誤差、焦点、対物レンズ内のレンズ素子の位置、アパーチャ、露光時間、色の見え及び／又はカメラ内での反射を考慮に入れることが提供される。上述のパラメータは、個別に、又は任意の組み合わせで考慮できる。更に例えば光源の位置、光源の種類、影の分布及び強度、モーションブラー等といった他の関連するパラメータも検出できる。光源では、例えば光のスペクトル分布、放射特性、ビームの強度等を検出できる。対物レンズ又はシーンのより多くの特性を、上記適合させる又は生成するステップで利用できるようにし、また考慮に入れるほど、第２の画像シーケンスの画像コンテンツを第１の画像シーケンスの画像コンテンツにより良好に適合させることができる。

【0013】

フレームを適合させる、又は特に生成する上記ステップにおいて、十分に多数の上述のパラメータを考慮すると、視聴者は、結合された画像シーケンスが、その後に結合されることなく作成されたものであろうという印象を得ることができる。

【0014】

本発明のある実施形態では、上記第２の連続フレームの上記フレームを生成する上記ステップは、仮想シーンのレンダリングによって上記フレームを生成するステップを含む。これは一般的な要件であり、第１の連続フレームのフレームに関して、シーン内の入射瞳の場所及び対物レンズの視野を検出することによって、容易に実現できる。

【0015】

あるいは、本発明のある実施形態では、上記第２の連続フレームの上記フレームを適合させる上記ステップに、カメラ用の対物レンズを用いて上記フレームを生成するステップが先行してよい。このカメラ用の対物レンズは、第１の連続フレームの撮影に用いられた対物レンズと同一である必要はない。むしろ、第１及び第２の連続フレームの問題のない結合を実現できるように、入射瞳及び視野の決定に基づいて、第２のフレームシーケンスの画像コンテンツを変換できる。

【0016】

本発明のある発展形態では、上記決定するステップは、第１の連続フレームの撮影時に対物レンズの１つ以上の撮像パラメータを記録するステップを含む。例えば各フレームに関して又は複数のフレームに関してこのようにして検出された撮像パラメータ、例えば入射瞳、視野等は、第２の連続フレームを生成する又は適合させる際に使用できる。これにより、第１及び第２の連続フレームの結合のための労力が削減される。例えば、俳優又は物体がニュートラルな（例えば青色又は緑色の）背景の前で撮影される、いわゆるブルースクリーン又はグリーンスクリーン撮影では、このような撮影に使用されるパラメータを検出し、特に時間分析して、この撮影に基づく仮想シーンの生成において使用できる。これは、使用され得る設定に関して後で計算を実施する必要がないという利点を有し、これにより、これら２つのフレームシーケンスの画像コンテンツを容易に結合させることができ、また最終結果が極めてリアルな／本物らしいものとなる。

【0017】

この実施形態の更なる発展形態では、対物レンズの撮像パラメータは、第２の連続フレームのフレームを生成するためにリアルタイムで使用される。これを用いて、例えば、グリーンスクリーン／ブルースクリーンのシーンを、生成中、即ち撮影中にシミュレーションコンピュータへとリアルタイムで転送でき、上記シミュレーションコンピュータは、準備が終わった画像コンテンツ又は現在計算されている画像コンテンツとの予定された結合をリアルタイムで実行し、これをモニタ又はアイピースといったディスプレイに表示する。これにより、対応するブルースクリーン／グリーンスクリーンの撮影を、生成時に評価して、必要に応じて補正する、又は繰り返すことができる。

【0018】

本発明のある実施形態では、第１の対物レンズに関する光ビームの特性を決定するステップが実施され、第２の連続フレームのフレームを生成するステップが、第２の対物レンズ内での光ビームの特性を更に考慮に入れて実施される。これにより例えば、第１の対物レンズ（例えば広角対物レンズ）を用いて撮影された第１のフレームシーケンスを第２のフレームシーケンスへと変換でき、上記第２のフレームシーケンスはその後、異なる対物レンズ（例えば望遠対物レンズ）を用いて撮影されたかのような印象を生成する。

【0019】

本発明のある発展形態では、上記決定するステップは、撮像パラメータの時系列を記録するステップを含む。これにより、特に一連のフレームを厳密な時間的順序で撮影することを含むフィルム撮影において、全てのフレーム又はフレームの特定のサブセットに関して、結合に必要なパラメータを検出して考慮に入れることができる。例えば実際に撮影を開始する前に、カメラマンは、仮想的に動作するカメラを用いて仮想シーンで撮影を行うことができ、これによって撮影するシーンを計画する。これは、事前視覚化（ドイツ語：Ｐｒaｖｉｓｕａｌｉｓｉｅｒｕｎｇ、英語：Ｐｒｅｖｉｓｕａｌｉｚｉｎｇ）と呼ばれる場合もある。

【0020】

これにより、例えば様々なカメラ設定又は様々な種類の対物レンズを、芸術的側面及び／又は技術的実現可能性に関して試験及び審査できる。時間分析的に検出できる可能なパラメータは、例えば：対物レンズの位置；対物レンズの配向；焦点、開口部、及び／又はズームに関する現在の設定であり得る。これらの記録は、セットを計画するための後続の作業ステップにおいて使用できる。

【0021】

フィルムの撮影時間は通常コストがかかるものであり、制限されることが多いため、レンダリングによる事前視覚化を用いて、全体的なコストを最小限に抑える。事前視覚化（英語：Ｐｒｅｖｉｓｕａｌｉｓａｔｉｏｎ）の利点は、ディレクター、カメラマン又はＶＦＸスーパーバイザーが：照明；カメラの配置；カメラの動き；例えば焦点位置、焦点距離、又は被写界深度、配向、及び処理等の対物レンズの光学的設定といった、様々なステージングアプリケーションオプション及びアートディレクションアプリケーションオプションを、多大な生産コストを発生させることなく実験できることである。予算が大きなプロジェクトの場合、ディレクターは、視覚効果に関する部門で、又は特別な空間で、俳優と共同作業する。

【0022】

事前視覚化は、音楽、サウンドエフェクト、及びダイアログを追加することによって、完全に製作及び編集が行われたシーンのシーケンスの様相をエミュレートできる。これらは最も一般的には、スタント及び特殊効果（例えばクロマキー）があるシーンで使用される。事前視覚化中には、デジタルビデオ、写真、手書きアート、クリップアート、及び３Ｄアニメーションが組み合わされる。フィルム産業及び写真に加えて、事前視覚化のためのレンダリングのアプリケーションは、建造物の計画、美容手術、又は医療用インプラントの位置決定において使用できる。

【0023】

これに関連して、本発明による方法は更に、上述のように、撮像パラメータの時間的シーケンスの記録に基づく第１の連続フレームの撮影の計画、及び／又は撮像パラメータの時間的シーケンスの記録を用いた第１の連続フレームの撮影を含むことができる。これにより上述のように、極めてリアルな外観の撮影のシミュレーションを用いた高度な事前計画によって画像シーケンスを作成できる。

【0024】

本発明は更に、本発明による方法を実施するための手段を備えたデータ処理システム、及びコンピュータプログラムに関する。

【0025】

本発明によると、対物レンズ内のレンズの寸法、特性、及び場所を、シーンのシミュレーションに使用できる。上述のように、劇映画のための最新のアニメーションは、レンダリングによって作成される。ここでは、仮想ビームは、仮想センサピクセルから仮想ピンホールカメラ開口部を通って仮想３次元シーンまで追跡される。続いて、ビームがシーンのどこに当たるかに応じて、対応する色及び強度が上記ピクセルに与えられる。本発明によると、簡単なピンホールカメラモデルを、光学的設計プログラムのレイトレーシングに置き換える。これにより、対物レンズの極めてリアルなシミュレーションが可能となる。リアルさを更に高めるために、このレイトレーシング方法以外に、又はこれに加えて、波動光学的効果もシミュレートできる。ここでは例えば点像分布関数を、回折積分を用いて計算できる。

【0026】

本発明のある可能な実施形態は、シーンの計画のために、フィルムセットの３次元コンピュータモデルを使用すること（事前視覚化）からなるものとすることができる。このようなモデルでは、フィルム化されるシーンを例えば大まかにしかモデル化及び／又はアニメーション化せず、そこから、望ましいシーンに応じて、俳優、カメラ（並びにその設定及び位置）、必要な設備、書き割り、並びに／又は特殊効果に関する要件を導出できる。撮影を開始する前に、カメラマンは、仮想カメラを用いて仮想シーンでの撮影を計画する。カメラのリアルなシミュレーションにより、例えば実際の撮影の前に、様々なカメラ設定を試験できる。これにより、コストを節減でき、予想外の状況を把握でき、従ってシーンをより良好に計画できる。例えば、通常は手動で実施されるフォーカスの設定を、特に動きが速い被写体で練習すること、又は特定のタイプの対物レンズ（実際のプロトタイプ若しくはまだ実現されていないプロトタイプ）の適合性を試験することが可能である。また、芸術的側面及び技術的実現可能性に関する設定も試験できる。例えば位置、方向、焦点、開口部、ズーム位置を、シミュレーションにおいて時間分析して保存できる。続いてこれらの情報を用いてセットを計画する。任意に、このデータを電子制御式の実際のカメラに転送して、これらの一連の設定を実際のカメラで再生できる。

【0027】

別の実施形態は、３Ｄモデルに基づくフィルムシーンの部分的な又は完全な写実的生成を含むことができる。実際のフィルムのシーンを、コンピュータでアニメーション化されたシーンと重ね合わせること、例えば仮想生物を実際のシーンに重ね合わせること、及び／又は俳優を仮想シーンに重ね合わせること、又はこれら両方の組み合わせが可能である。このためにいわゆるグリーンスクリーンが使用されることが多い。実際のシーンとコンピュータアニメーションとの組み合わせの品質のためには、モデルにおける照明条件、モーションブラー、カラーレンダリング、ノイズ等が、実際のシーンの撮影とどの程度一致しているかかが重要である。これらのモデル化された特殊効果が風景と融合していない作品は、視聴者にとって簡単には十分にプロフェッショナルなものには見えない。ピンホールカメラモデルを用いた対物レンズのモデル化では、極めて単純化された様式で、対物レンズの（一定の）焦点距離だけが考慮される。シーンの遠近法的なレンダリングのみが、入射瞳及び射出瞳の場所、並びに対物レンズの焦点距離の変化に依存する。これらの瞳の場所は焦点距離及びズーム位置の関数であり、これらの関数は対物レンズに個別に依存している。シーンの深度によって決定されるｆ値もまた重要である。更に、歪み、周辺減光、カラーレンダリングの偏差、色誤差、反射依存性等といった、対物レンズの多数のパラメータが存在する。具体的には、グリーンスクリーンシーンの場合、例えば画像撮影時の位置、方向、焦点位置、開口部位置、及びズーム位置を、時間分析的に保存できる。これらの設定を、仮想シーンの生成時に使用する。利点としては、本物らしい外観、及び画像の重ね合わせが容易であることが挙げられる。

【0028】

あるいは、又は更に、グリーンスクリーンシーンの場合、画像撮影時の位置、方向、焦点位置、開口部位置、及びズーム位置を、リアルタイムシミュレーションに直接送ることもでき、両方の画像がアイピース内で又はディスプレイ上で重ね合わされる。

【0029】

全体として、本発明により、実施形態に応じて一連の利点を達成でき、仮想シーン内で事前に設定を行うことにより、カメラの設定時間を短縮できる。カメラによる撮影全体を事前に計画でき、またカメラの設定及びカメラの設定の変更を、仮想カメラにおいて記録して、実際のカメラで再現できる。特に必要なだけ繰り返すことができないシーンに関する特定のフィルム撮影の撮影品質を、カメラマンを事前に訓練することによって改善できる。仮想シーンの撮影時には、実際の対物レンズの正確なシミュレーションによって実際のシーンの撮影と同様の印象を生成できる。実際のカメラを用いてシミュレートされたシーンを、アニメーション化／生成できる。実際に存在しているレンズ／カメラに関して、仮想プロトタイピングを実施できる。

【0030】

本発明のある実施形態は、保存及び補間された点像分布関数データを用いた、コンピュータプログラムの文脈での、３Ｄ画像シミュレーションの実施を提供する。この方法は、以下のステップを含む：
選択された画素のグループに関して、射出瞳のサイズ、形状、及び場所を決定するステップであって、例えばグリッド間隔が約５．４ｍｍの２Ｄポイントグリッドを選択できる、ステップ；
他の画像位置に関して、選択された画素間で画素のサイズ、形状、及び場所を補間するステップ；
オブジェクト空間関数を入力するステップであって、上記オブジェクト空間関数は、対物レンズの入射瞳に対する距離に応じた強度の３次元関数として理解でき、上記オブジェクト空間関数は例えば、例えばＲＧＢデータ若しくはグレースケールデータといったスペクトル特性、及び／又はオブジェクトから入射瞳までの距離（深度マップ）を含む、ステップ；
上記オブジェクト空間関数を、オブジェクト空間及び画像空間の割り当てを実行する目的関数と結びつけることによって、点像分布関数を生成するステップであって、この方法において、上記点像分布関数は、対物レンズの光学設計データを含み、上記光学設計データは、対物レンズの個々の又は全ての光学素子のコーティングデータを含む場合がある、ステップ；
オブジェクト座標に関して上記点像分布関数を積分するステップ；
射出瞳による波面変形を考慮に入れるために、射出瞳の形状に関して上記点像分布関数を積分するステップ；
レンダリングされたオブジェクト空間を作成するステップ。

【0031】

更にこの実施形態では、デジタル収差（歪み及び／又は陰影等）の補正を実施できる。

【0032】

本発明の更なる代替実施形態は、光伝達関数のデータを用いた３Ｄ画像シミュレーションの実施を提供する。この方法は、以下のステップを含む：
選択された画素のグループに関して、射出瞳のサイズ、形状、及び場所を決定するステップであって、例えばグリッド間隔が約５．４ｍｍの２Ｄポイントグリッドを選択できる、ステップ；
他の画像位置に関して、選択された画素間で画素のサイズ、形状、及び場所を補間することにより、射出瞳関数を得るステップ；
オブジェクト空間関数を入力するステップであって、上記オブジェクト空間関数は、対物レンズの入射瞳に対する距離に応じた強度の３次元関数として理解でき、上記オブジェクト空間関数は若しくはオブジェクト空間関数は例えば、波長と光伝達関数との組み合わせから得ることができ、上記光伝達関数を得るためには、射出瞳関数の畳み込み（自己相関）が実行される、ステップ；
オブジェクト空間関数から連続フーリエ変換を計算するステップ；
ある固定波長の射出瞳座標に関して、光伝達関数とフーリエ変換されたオブジェクト空間関数との積を積分するステップ；
多数の波長にわたって上記計算を繰り返すステップ；
各カラーチャネル（スペクトル応答関数）の波長及び光源のスペクトル分布を積分するステップ；
各カラーチャネル（ＲＧＢ）に関する画像を生成するステップ；
各カラーチャネル（ＲＧＢ）に関する上記画像を重ね合わせて、写実的な画像を得るステップ。

【0033】

上述の実施形態では、焦点ぼけが激しいオブジェクト空間点に対してフーリエ変換を実行することが問題となる。これには、例えば３０×３０ではなく１０，０００×１０，０００といった、射出瞳の非常に高いラスターサンプリングが必要である。これには時間がかかり、実行時間が非常に長くなる。

【0034】

従って本発明のある代替実施形態は、３Ｄ画像シミュレーションのビーム追跡に基づく（レイトレーシング）レンダリングの実施を提供する。上記方法は、対物レンズに入射する光ビームが光源まで戻るという事実に基づくものである。この方法は、以下のステップを含む：
選択された画素のグループに関して、射出瞳のサイズ、形状、及び場所を決定するステップであって、例えばグリッド間隔が約５．４ｍｍの２Ｄポイントグリッドを選択できる、ステップ；
他の画像位置に関して、選択された画素間で画素のサイズ、形状、及び場所を補間するステップ；
ビーム方向を計算するステップであって、上記ビーム方向は例えば、射出瞳によって定義される境界内に位置する、ステップ；
ビーム関数を生成するステップであって、これは例えば確率関数を表すことができ、光線の方向依存性分布を示すことができ、また例えば入射座標を射出座標と結びつけることができ、各入射ビームからは、達成したいレンダリングの品質に応じて、数百から数百万の射出ビームが出ることができる、ステップ；
光源までの全てのビームをシミュレートするステップ；
全ての個々の射出ビームに関して、光源の角度空間及び光源までの距離を積分するステップ；
対物レンズからオブジェクトへと向かう各入射ビーム、例えば１０，０００個のビームに関して、上記方法を繰り返すステップ；
全ての入射ビームに関して、光源に到達する射出ビームを積分するステップ；
画像を作成するステップ。

【0035】

これより、本発明の例示的実施形態を、図面を参照して更に詳細に説明する。

【図面の簡単な説明】

【0036】

【図1A】図１Ａ、１Ｂは、本発明による第１の方法のフローチャート及び概略図である。

【図1B】図１Ａ、１Ｂは、本発明による第１の方法のフローチャート及び概略図である。

【図2A-2B】図２Ａ、２Ｂは、本発明による第２の方法のフローチャート及び概略図である。

【図3A-3B】図３Ａ、３Ｂは、本発明による第３の方法のフローチャート及び概略図である。

【図4】図４は、本発明による第４の方法の概略図である。

【発明を実施するための形態】

【0037】

図１Ａ、１Ｂは、第１の連続フレームを用いて第２の連続フレームを生成するための、本発明による第１の方法を示す。第１のステップＳ１１では、第１のフレームシーケンスを、実際のカメラ１０を用いて作成する。この第１の方法に関しては、この第１のフレームシーケンスが実際に保存されるかどうかは重要ではない。上記フレームシーケンスを保存することはできるが、生成だけして記録しないものとすることもできる。

【0038】

第２のステップ（Ｓ１２）では、上記第１の画像シーケンスのカメラ設定及びカメラ位置を検出する。これは好ましくは、画像シーケンスの作成中、即ち実際のカメラ１０を用いた第１の画像シーケンスの撮影中に実施される。これを撮影中に実施すると、第１の画像シーケンスの記録を省略できる。上記カメラ設定及びカメラ位置は、撮影を行う対物レンズの入射瞳の位置及び視野に関するものとすることができるが、例えば開口部／アパーチャ、露光時間、ズーム位置、焦点等といった更なるパラメータを検出することもできる。

【0039】

更なるステップ（Ｓ１３）では、上記カメラ設定及びカメラ位置をデータ１１として仮想カメラ１２に送信する。このステップは、初めの２つのステップＳ１１、Ｓ１２の後で実施することも、又はこれらと同時に実施することもできる。従って、第１の画像シーケンスの撮影（Ｓ１１）、カメラ設定及びカメラ位置の検出（Ｓ１２）、並びに送信（Ｓ１３）は、同時に実行することも、又は適切に途中で保存しながら時間的オフセットを伴って順次実行することもできる。これに応じてカメラ設定及び位置の送信を実施できる。

【0040】

仮想カメラ１２は、例えば画像合成プログラム１８の設定のためのパラメータに関するものとすることができ、上記画像合成プログラム１８によって、更なるステップＳ１４に従って仮想シーン１６から得られる仮想画像シーケンス１４を、上記カメラ設定及びカメラ位置を用いて生成できる。この画像合成プログラムは、例えばレイトレーシングアルゴリズムを用いる計算プログラムに関するものとすることができる。実際のカメラ１０によって得られたデータ、及び事前に分かっているいずれのデータを用いて、カメラ１０のモデルを画像合成プログラムで生成できる。このモデル、正確には仮想カメラ１２を用いて、一方では、対物レンズに固有の、従って光学撮像に関連する効果を取り入れることができる。これにより、使用されている対物レンズの、又はカメラ１０全体の、写実的なシミュレーションが可能となる。他方では、入射瞳及び視野の時間分析的なものであり得る検出に基づいて、実際のカメラ１０の移動と、これに関連し得る効果、例えば様々な場所における照明条件の影響、又はモーションブラー、カラーレンダリング、又はノイズとが、仮想画像の生成に影響を及ぼし得る。

【0041】

この方法のある具体的な実施形態では例えば、実際のカメラ１０を、仮想シーン１６内で仮想画像シーケンス１４を作成するための仮想カメラ１２のいわゆるコントローラとして、使用できる。
このようにして、コンピュータアニメーション化されたシーンを簡単な方法で生成できる。

【0042】

図２Ａ、２Ｂは、本発明による方法の第２の実施形態を示す。以下の複数の実施形態では、繰り返しを避けるために、同一の又は同等の特徴に対して同一の参照記号を使用し、個別に再度説明しない。図２Ａ、２Ｂの方法もまた、上述の方法と同様に、実際のカメラ１０を用いて第１の画像シーケンスを撮影すること（Ｓ２１）を提供する。この方法では、第１の画像シーケンスの撮影を、現実に存在する実際のシーン２０において実施し、実際の画像のシーケンス２２を得る。上述のように、この方法でも、カメラ設定及びカメラ位置を検出し（Ｓ２２）、仮想カメラ１２に送信する（Ｓ２３）。

【0043】

これらのステップＳ２１～Ｓ２３によって得られた情報を更なるステップ（Ｓ２４）で使用し、上記カメラ設定及びカメラ位置１１を考慮しながら、画像合成プログラム１８を用いて、仮想シーン１６内で仮想カメラ１２による第２の画像シーケンス２４を作成する。第２の仮想画像シーケンス２４の作成時には、例えば実際の画像のシーケンス２２のカメラ１０の入射瞳の場所及び視野に関する情報１１が既に使用可能となっている。ある具体的な用途では、第１の実際の画像のシーケンス２２は例えばフィルム撮影中のグリーンスクリーンシーンであってよい。このような場合、例えばカメラ１０の位置及び配向、焦点、開口部、ズーム状態は、画像の撮影中に時間分析的に検出できる。次にこの情報を、仮想シーン１６の生成、及び最終的には仮想画像シーケンス２４の生成に使用できる。

【0044】

更なるステップＳ２４では、第１の実際の画像のシーケンス２２と、第２の仮想画像のシーケンス２４とを、結合済み画像シーケンス２６へと結合させることができる。上述のグリーンスクリーン技術の例では、仮想画像のシーケンス２４の仮想画像コンテンツを、実際の画像のシーケンス２２の画像コンテンツに統合できる。ほとんどシームレスに挿入を実施できることにより、結合済みの画像シーケンス２６は本物らしい外観を有する。更に、重ね合わせ／挿入は極めて簡単な方法で実施できる。

【0045】

本発明による更なる実施形態を、図３Ａ、３Ｂに示す。第１のステップ（Ｓ３１）では、仮想シーン１６を、実際のシーン２０の空間データ及び他のデータ１３を考慮して生成する。第２のステップ（Ｓ３２）では、仮想カメラ１２を用いて第１の画像シーケンス２４を撮影する。この実施形態では、この第１の画像シーケンス２４を保存することは重要ではない。むしろこの実施形態の目的は、カメラマンが実際の画像のシーケンス２２を実際に撮影する前に、カメラの様々な設定を試験及び計画できるようにすることである。仮想カメラ１２による実際のカメラ１０の写実的なシミュレーションにより、この方法で様々なカメラ設定及びカメラ位置を、例えば芸術的側面及び技術的実現可能性に関しても計画及び試験できる。

【0046】

これに対応して、更なるステップにおいて仮想カメラ１２のカメラ設定及びカメラ位置を検出する（Ｓ３３）。これは好ましくは時間分析的に実施され、即ち検出される各カメラ設定及びカメラ位置には１つのタイムスタンプが割り当てられる。好ましくは、フレームシーケンスの各フレームに関して、設定及び位置を検出する。設計に応じて、検出の頻度を状況に適合させることもできる。従って例えば、画像ごとよりも少ない頻度も考えられる。頻度は、固定された頻度（画像ｎ枚ごと）に調整でき、又は発生し得る変更の関数として適合させることもできる。検出される設定としては例えば、位置、方向、焦点、開口部、又はズーム位置が挙げられる。次に、このようにして検出された情報を用いて、セット及びカメラでの撮影を計画できる。

【0047】

任意に、このようにして検出されたカメラ設定及びカメラ位置を、更なるステップにおいて実際のカメラ１０に送信できる（Ｓ３４）。これらの設定を、第２の連続フレームの実際の撮影において考慮に入れることができる。例えば実際のカメラ２０での撮影中に、設定シーケンスとしてこのカメラ設定を再生できるため、カメラマンの負担が軽減され、撮影中に撮影の細部の数が少なくなることを心配しなければならない。

【0048】

本発明による方法の更なる実施形態を図４に示す。この方法は、図４に記載されているように、ステップＳ４１、Ｓ４２による２つの方法ステップを提供し、これらは時間的に互いに独立して実施できる。

【0049】

ステップＳ４１によって、後続のレンダリングのための開始基準が作成され、これはここではＶＦＸ生成と呼ばれる。この開始基準は例えば、必要な３次元情報を含むある仮想シーンのデータとすることができる。

【0050】

３次元情報からレンダリングを実行するによってフレームのシーケンスを生成することを可能にする、他の何らかの基準を使用することもできる。例えば追加の深度情報を含む事前処理済み２次元画像、又は３次元シーンの３Ｄ位置が各画素に割り当てられている２次元画像を使用できる。ここで３Ｄ情報は、描画されるシーンに対して事前に定義された２次元画像に統合すること、描画されるシーンのためにエミュレートすること、又は描画されるシーンのために生成することができ、これは例えば、描画される実際のシーンを例えば３Ｄセンサを用いてキャプチャすることによって得られる３次元データに基づいて、行われる。

【0051】

ステップＳ４２では、対物レンズ／カメラデータを検出して、フレームのシーケンス（フィルムシーケンスの複数のフレーム）に割り当てることができる。上記検出は、例えばカメラの対物レンズに関連するものとすることができ、例えば上記対物レンズによって実施できる。

【0052】

好ましくは、対物レンズ／カメラデータの検出（Ｓ４２）と、フィルムシーケンスの検出（Ｓ４３）とは、同時に実施できる。

【0053】

対物レンズ／カメラデータは、対物レンズデータのシーケンスを含むことができ、ここで上記シーケンスは例えば、フレームに関する対物レンズ／カメラデータのセットを有する。あるいは、又は更に、フレームのシーケンス（フィルムシーケンス）全体に割り当てることができる対物レンズ／カメラデータだけを検出できる。

【0054】

対物レンズ／カメラデータとしては例えば、対物レンズ自体の可能な特性及び／又は設定に関する情報、例えば対物レンズのタイプ若しくは個々の対物レンズの識別、対物レンズの種類、対物レンズの焦点距離、較正された焦点距離、較正されたＴ値、被写界深度、過焦点距離、水平方向視野角、又は入射瞳の位置及び／若しくはサイズが挙げられる。この対物レンズ／カメラデータは例えば、第１の連続フレーム（フィルムシーケンス）の記録中に、実際のカメラ又は実際の対物レンズによって撮影できる。対物レンズ／カメラデータの決定／計算及び／又は記録は例えば、各焦点及び各有効Ｔ値に対して、並びに／又は各フレームに関して実施できる。

【0055】

あるいは、又は更に、対物レンズ／カメラデータは、対物レンズ内の１つ以上の、好ましくは全ての光学素子、例えばレンズ、開口部、及び／又はフィルタの特性を決定する、特定の物理的データを含むことができる。これらの物理的データは例えば、特にレンズ形状、素子のアパーチャ、例えば対物レンズの最大アパーチャ（最小のｆ値）、スペクトル透過率等であってよい。一般に、上記特定の物理的データは、対物レンズの光学的設計、従って撮像特性及び／又はレイトレーシング、レイキャスティング、点像分布関数、若しくは光伝達関数を使用する方法の実装に関する結論を導出することを可能にするようなデータとすることができる。

【0056】

更に、又はあるいは、対物レンズ／カメラデータは、実際に撮影されるシーンの３次元構造に関する情報を含むことができる。これらの３Ｄデータの検出（Ｓ４４）は例えば、対物レンズの特性及び／又は設定の検出（Ｓ４２）と並行して実施できる。

【0057】

上記３Ｄデータは、対物レンズ／カメラデータに統合できる。あるいは、又は更に、上記３Ｄデータをフィルムシーケンスデータに追加することもできる（Ｓ４５）。

【0058】

３Ｄデータの検出において、例えば１つ以上の３Ｄセンサを使用でき、これらは例えば、撮影されたシーンの光学的又は音響的スキャンによって空間データを作成し、上記空間データは、撮影されたフレームのシーケンス（フィルムシーケンス）に割り当てることができる。１つ以上のセンサは例えば、対物レンズ又はカメラとは別個に配設できる。好ましくは、１つ以上のセンサは、カメラ又は対物レンズ上に配置されるか、あるいはカメラ又は対物レンズに統合される。

【0059】

あるいは、又は更に、対物レンズ／カメラデータは、位置データ、場所データ、及び／又は運動データを含むことができ、これらは更に時間分析的に記録され、例えばフレームのシーケンス（フィルムシーケンス）の複数のフレームに割り当てることができる。この位置情報、場所情報、及び／又は運動情報により、撮影される実際のシーンに対するカメラ及び／又は対物レンズの位置、並びに撮影されるシーンに対するカメラ及び／又は対物レンズの配向を決定できる。時間分析的な検出によって、カメラ及び／又は対物レンズの運動に関する直接的又は間接的な情報を検出又は導出できる。例えば場所又は位置の変化から、カメラ及び／又は対物レンズの運動を導出できる。あるいは、又は更に、カメラ／対物レンズの運動を直接検出するセンサ、例えばジャイロセンサを使用できる。

【0060】

要約すると、対物レンズ／カメラデータは、対物レンズ特異性データ、実際のシーンの３Ｄデータ、及び／又は位置／場所／運動データを含むことができる。

【0061】

この対物レンズ／カメラデータを記録中にリアルタイムで処理して、レンダリングに使用できるようにすることが考えられる（Ｓ４６）。

【0062】

あるいは、又は更に、対物レンズ／カメラデータを記録して、時間的に記録の後で実施される更なる処理ステップで初めて使用できる（Ｓ４７）。

【0063】

ステップＳ４８では、レンダリング、即ち３次元データに基づく２次元画像の作成が実施される。

【0064】

レンダリングでは、対物レンズ／カメラデータ（Ｓ４６、Ｓ４７）を考慮に入れることができる。

【0065】

レンダリングは、以下の方法のうちの１つ以上を使用するアルゴリズムを用いて実施できる：レイトレーシング（ビーム関数）、レイキャスティング、点像分布関数、及び／又は光伝達関数。

【0066】

あるいは、又は更に、既に上述したように、２次元画像の作成時、例えば深度情報を伴う既に事前処理済みの２次元画像、又は３次元情報が統合された２次元画像を使用できる。レンダリングは、対物レンズ／カメラデータに基づく既存の２次元画像の補正しか表さない場合もある。

【0067】

対物レンズ／カメラデータを使用すると、レンダリングされたフレーム、又はフレームのシーケンス（フィルムシーケンス）に、この対物レンズ／カメラデータに属する対物レンズ／カメラを用いて撮影されたかのような印象を与える外観を与えることができる。

【0068】

対物レンズ／カメラデータは、対物レンズ／カメラデータの記録中にリアルタイムでレンダリングのために使用できる。対物レンズ／カメラデータは、対物レンズ／カメラデータの、レンダリング用コンピュータへの無線又は有線送信によって、レンダリングプロセスにおいてリアルタイムで使用できるようになり（Ｓ４６）、レンダリングのために使用できるようになる。

【0069】

あるいは、又は更に、既に撮影を行った対物レンズ／カメラデータをレンダリングのために使用する（Ｓ４７）ことを考えることができる。

【0070】

対物レンズ／カメラデータは、例えば時間分析されていない対物レンズ及び／又はレンズ固有データのみを含むものとすることもできる。

【0071】

あるいは、又は更に、対物レンズ／カメラデータは、例えば位置データ及び／若しくは場所データ並びに／又は運動データのみを含むものとすることもできる。

【0072】

ある実施形態では、様々な対物レンズ／カメラデータを組み合わせてレンダリングに使用することもできる。例えば、時間分析されていない第１の対物レンズの対物レンズ及び／又はレンズ固有データを、第２の対物レンズ／第２のカメラの位置データ及び／若しくは場所データ並びに／又は運動データと組み合わせることができる。よって例えば、第１の対物レンズを用いて撮影されたフィルムシーケンスは、第２の対物レンズの対物レンズ及び／又はレンズ固有データを用いたレンダリングのために、位置データ及び／若しくは場所データ並びに／又は運動データを提供できる。これにより、フィルムシーケンスが別の対物レンズで撮影されたかのような印象を与えることができる。レンダリングはリアルタイムで実施でき、又は後続のステップにおいて行うことができる。

【0073】

レンダリングは例えば、２４ｆｐｓのフレームレートで、２Ｋの解像度のフィルムシーケンスをリアルタイムで作成できる。計算能力の向上により、上述のフレームレートで４Ｋ又は８Ｋの解像度も可能となる。

【0074】

レンダリングされたフィルムシーケンスは、作成（Ｓ４４）中又はその後に、レンダリングモニタ上に視認可能に表示できる（Ｓ４９）。

【0075】

上述のように対物レンズ／カメラデータを含んでレンダリングされた第１の連続フレーム（第１のフレームシーケンス）は、後続のステップＳ５０において、実際に撮影された第２の連続フレーム（第２のフレームシーケンス）と結合させる（「コンポジット（Ｃｏｍｐｏｓｉｔｅ）」とする）ことができる。第２のフィルムシーケンスの撮影に使用された対物レンズ／カメラデータを用いて第１のフィルムシーケンスをレンダリングする、又は修正すると、これら２つのフィルムシーケンスの結合を、容易かつシームレスに行うことができる。

【0076】

あるフィルムシーケンスに結合されたフィルムシーケンスは、記録して（Ｓ５１）、コンポジットモニタ上に視認可能に表示できる（Ｓ５２）。

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】