知財求人 - 知財ポータルサイト「IP Force」
特表2024-531537アナモルフィックレンズによってキャプチャされた画像をモデル化することにおいて使用するための装置、方法およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-29
(54)【発明の名称】アナモルフィックレンズによってキャプチャされた画像をモデル化することにおいて使用するための装置、方法およびコンピュータプログラム
(51)【国際特許分類】
G06T 5/80 20240101AFI20240822BHJP
G06T 19/00 20110101ALI20240822BHJP
【ＦＩ】
G06T5/80
G06T19/00 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024513877
(86)(22)【出願日】2022-08-12
(85)【翻訳文提出日】2024-04-03
(86)【国際出願番号】 GB2022052113
(87)【国際公開番号】W WO2023031578
(87)【国際公開日】2023-03-09
(31)【優先権主張番号】2112543.0
(32)【優先日】2021-09-02
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】524073278
【氏名又は名称】クック・オプティクス・リミテッド
【氏名又は名称原語表記】ＣＯＯＫＥ ＯＰＴＩＣＳ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】シェレト，イアン
【テーマコード（参考）】
5B050
5B057
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA09
5B050CA01
5B050DA01
5B050EA19
5B050EA26
5B050FA02
5B057AA20
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD12
(57)【要約】
本開示は、アナモルフィックレンズを使用してキャプチャされた画像における幾何学歪みをモデル化するための装置、方法、およびコンピュータプログラムを提供する。装置は、１つ以上のプロセッサと、１つ以上の画像アレイを記憶する、メモリとを備えてもよい。各画像アレイは、歪んだ画像または歪んでいない画像を記憶してもよい。歪んだ画像は、アナモルフィックレンズを有する撮像システムによって画像平面上の２次元画像空間内にキャプチャされた３次元物体空間内のシーンの画像の画素値を表現する。歪んでいない画像は、２次元画像空間内にキャプチャされた３次元物体空間内のシーンの歪み補償された画像の画素値を表現し、それにおいて、歪んだ画像内の画像平面内の位置における情報は、アナモルフィックレンズの幾何学的歪み効果を除去するために変換されている。メモリはまた、歪んだ画像内の位置における画素値を歪んでいない画像内の位置における画素値にマッピングするために、アナモルフィックレンズ歪みモデルを使用して歪んだ画像と歪んでいない画像との間で変換するようにプロセッサのうちの１つ以上を構成するための命令であって、アナモルフィックレンズ歪みモデルが、多項式関係を有する、命令を含む。アナモルフィックレンズ歪みモデルは、歪んだ画像から画像アレイ内の歪んでいない画像を生成しおよび逆を行うために、または３次元物体空間内の物体のシーン、および３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルに基づいて、歪んだ画像を生成するために、装置によって使用可能である。
【特許請求の範囲】
【請求項1】
アナモルフィックレンズによって引き起こされる画像内の幾何学歪みを補償するために、歪んだ画像と歪んでいない画像との間で変換するための装置であって、１つ以上のプロセッサと、
メモリであって、
１つ以上の画像アレイであって、各々が、
アナモルフィックレンズを有する撮像システムによって画像平面上の２次元画像空間内でキャプチャされた３次元物体空間内のシーンの画像の画素値を表現する歪んだ画像、または
前記アナモルフィックレンズの前記幾何学的歪み効果を除去するために、前記歪んだ画像内の画像平面内の位置における情報が変換されている、２次元画像空間内でキャプチャされた前記３次元物体空間内の前記シーンの歪み補償された画像の画素値を表現する歪んでいない画像、を記憶する、１つ以上の画像アレイと、
前記歪んだ画像内の位置における画素値を前記歪んでいない画像内の位置における画素値にマッピングするために、アナモルフィックレンズ歪みモデルを使用して前記歪んだ画像と前記歪んでいない画像との間で変換するように前記プロセッサのうちの１つ以上を構成するための命令であって、前記アナモルフィックレンズ歪みモデルが、以下の多項式関係を有する、命令と、を記憶し、
【数1】
式中、xおよびyが、前記歪んだ画像内の点を指定し、x'およびy'が、前記歪んでいない画像内の前記変換された歪んでいない点を指定し、Dxi,jが、x軸歪み係数であり、Dyi,jが、y軸歪み係数であり、前記係数Dxi,jおよびDyi,jが、前記レンズのディセンタを特性付けるためにi＋j＝２に対して非ゼロであり、
前記アナモルフィックレンズ歪みモデルが、歪んだ画像から前記画像アレイ内の歪んでいない画像を生成しおよび逆を行うために、または３次元物体空間内の物体の前記シーン、および前記３次元物体空間内の前記アナモルフィックレンズのためのピンホールカメラモデルに基づいて、歪んだ画像を生成するために、前記装置によって使用可能である、メモリと、
を備える、装置。
【請求項2】
iが奇数でありjが偶数であるi＋j＝３、５、７に対して、前記係数Dxi,jが非ゼロである、請求項１に記載の装置。
【請求項3】
iが偶数でありjが奇数であるi＋j＝３、５、７に対して、前記係数Dyi,jが非ゼロである、請求項１または２に記載の装置。
【請求項4】
Dxi,jおよびDyi,jにおける他のすべての係数がゼロまたはヌルである、請求項２および３に記載の装置。
【請求項5】
前記メモリが、以下の多項式関係に基づいてアナモルフィック入射瞳モデルを使用して、前記光線が前記３次元物体空間内の前記点から通って進む、前記アナモルフィックレンズの入射瞳における光線基準面内の位置(Refx,Refy)を、前記歪んだ画像内の位置（x、y）に対して決定すること、
を行うための命令をさらに含み、
【数2】
式中、Sx3、Sy1、およびSy3が、アナモルフィック入射瞳シフト係数である、先行する請求項のいずれかに記載の装置。
【請求項6】
前記メモリが、前記３次元物体空間内の前記アナモルフィックレンズのためのピンホールカメラモデルを使用して、３次元物体空間内の物体のシーンを、前記画像アレイ内の前記シーンの歪んでいない画像に変換し、任意的に、請求項５に記載の決定された前記アナモルフィック入射瞳モデルを使用して、どこで前記光線が前記入射瞳を通過するかを定義することと、
前記アナモルフィックレンズ歪みモデルを使用して、前記画像アレイ内の前記シーンの前記歪んでいない画像を、前記画像アレイ内の前記画像の歪んだバージョンに、変換することと、
を行うための命令をさらに含む、先行する請求項のいずれかに記載の装置。
【請求項7】
前記３次元物体空間が、コンピュータ生成物体を含む仮想物体空間であり、前記ピンホールカメラモデル、アナモルフィックレンズ歪みモデルおよび任意的に前記アナモルフィック入射瞳モデルを使用して作出された前記仮想物体空間内の前記シーンの前記画像の前記歪んだバージョンが、前記アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像にオーバーレイされる、請求項６に記載の装置。
【請求項8】
前記メモリが、前記アナモルフィックレンズ歪みモデルを使用して、前記画像アレイ内のシーンの歪んだ画像を、前記画像アレイ内の前記画像の歪んでいないバージョンに、変換することと、
前記３次元物体空間内の前記アナモルフィックレンズのためのピンホールカメラモデルを使用して、前記画像アレイ内の前記シーンの前記歪んでいない画像を、３次元仮想物体空間内の前記画像の投影に変換し、任意的に、請求項５に記載の決定された前記アナモルフィック入射瞳モデルを使用して、どこで前記光線が前記入射瞳を通過するかを定義することと、
を行うための命令をさらに含む、先行する請求項のいずれかに記載の装置。
【請求項9】
前記シーンの前記歪んだ画像が、前記アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像である、請求項８に記載の装置。
【請求項10】
前記メモリが、前記現実世界３次元物体空間において光軸に沿って前記アナモルフィックレンズから異なる距離で取られた既知の間隔を有する試験グリッドマーキングの前記アナモルフィックレンズによってキャプチャされた現実世界の歪んだ画像を受信することと、
前記画像アレイ内の歪んだ前記試験グリッドマーキングの位置を決定することと、
前記歪み係数Dxi,jおよびDyi,jの値を決定して、前記歪んだグリッドマーキングを、前記既知の間隔に基づきかつ前記光軸を中心とする、歪んでいない、マーキングのグリッドに変換することと、
決定された前記値を、前記歪み係数Dxi,jおよびDyi,jの前記値として、メモリに記憶された前記アナモルフィックレンズ歪みモデルに記憶させることと、
を行うための命令をさらに含む、先行する請求項のいずれかに記載の装置。
【請求項11】
前記メモリが、近接場試験グリッドについての前記画像アレイ内の前記歪んだ試験グリッドマーキングの前記位置（x、y）に基づいて、前記アナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3の値を決定して、請求項５に記載の前記アナモルフィック入射瞳モデルを決定することと、
決定された前記値を、前記アナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3の前記値として、メモリに記憶された請求項５に記載の前記アナモルフィック入射瞳モデルに記憶することと、
を行うための命令をさらに含む、請求項１０に記載の装置。
【請求項12】
前記歪み係数Dxi,jおよびDyi,jならびに任意的に前記アナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3が、前記画像アレイ内の前記歪んだ試験グリッドマーキングの前記位置を生成するために、前記アナモルフィックレンズ歪みモデルおよび任意的に前記アナモルフィック入射瞳モデルをフィットさせるために、最適化アルゴリズムを使用して決定される、請求項１０または１１に記載の装置。
【請求項13】
先行する請求項のいずれかに記載の装置を使用して、アナモルフィックレンズを使用してシーンをキャプチャする効果を再現するために、３次元物体空間内の物体の前記シーンから画像平面に変換する方法であって、前記方法が、前記３次元物体空間内の前記アナモルフィックレンズのためのピンホールカメラモデルを使用して、３次元物体空間内の物体のシーンを、前記画像アレイ内の前記シーンの歪んでいない画像に変換し、任意的に、請求項５に記載の決定された前記アナモルフィック入射瞳モデルを使用して、どこで前記光線が前記入射瞳を通過するかを定義することと、
前記アナモルフィックレンズ歪みモデルを使用して、前記画像アレイ内の前記シーンの前記歪んでいない画像を、前記画像アレイ内の前記画像の歪んだバージョンに、変換することと、
を含む、方法。
【請求項14】
前記３次元物体空間が、コンピュータ生成物体を含む仮想物体空間であり、前記ピンホールカメラモデル、アナモルフィック入射瞳モデルおよびアナモルフィックレンズ歪みモデルを使用して作出された前記仮想物体空間内の前記シーンの前記画像の前記歪んだバージョンが、前記アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像にオーバーレイされる、請求項１３に記載の方法。
【請求項15】
請求項１～１２のいずれかに記載の装置を使用して、アナモルフィックレンズを使用してシーンをキャプチャする効果を打ち消すために、３次元物体空間内の物体の前記シーンの歪んだ画像から３次元仮想物体空間内の前記画像の投影に変換する方法であって、前記方法が、前記アナモルフィックレンズ歪みモデルを使用して、前記画像アレイ内のシーンの歪んだ画像を、前記画像アレイ内の前記画像の歪んでいないバージョンに、変換することと、
前記３次元物体空間内の前記アナモルフィックレンズのためのピンホールカメラモデルを使用して、前記画像アレイ内の前記シーンの前記歪んでいない画像を、３次元仮想物体空間内の前記画像の投影に変換し、任意的に、請求項５に記載の決定された前記アナモルフィック入射瞳モデルを使用して、どこで前記光線が前記入射瞳を通過するかを定義することと、
を含む、方法。
【請求項16】
前記シーンの前記歪んだ画像が、前記アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像である、請求項１５に記載の方法。
【請求項17】
請求項１３～１６のいずれかに記載の方法を動作させるように請求項１～１２のいずれかに記載の装置を構成するための命令を保持するコンピュータプログラム製品。
【請求項18】
請求項１に記載の決定されたアナモルフィックレンズ歪みモデルと、請求項５に記載の決定されたアナモルフィック入射瞳モデルと、
のうちの少なくとも１つを記憶する、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本開示は、特にアナモルフィックレンズによって作出される歪みを考慮するために画像を変換するための、画像処理の分野に関する。
本開示は、特にアナモルフィックレンズによって作出される歪みを考慮するために画像を変換するための、画像処理の分野に関する。
【背景技術】
【0002】
背景
カメラレンズは、典型的には、シーン内の直線が記録画像内のわずかに湾曲した線としてレンダリングされる、画像歪みを作出する。特定の状況（例えば、建築写真）では、これらの歪みは、望ましくなく、結果として生じる画像は、歪みを最小限に抑えるためにコンピュータソフトウェアを使用して後処理されることが多い。他の状況（例えば、シネマトグラフィ）では、歪みは、審美的に快く、記録映像に特有の特色を添えることができる。
カメラレンズは、典型的には、シーン内の直線が記録画像内のわずかに湾曲した線としてレンダリングされる、画像歪みを作出する。特定の状況（例えば、建築写真）では、これらの歪みは、望ましくなく、結果として生じる画像は、歪みを最小限に抑えるためにコンピュータソフトウェアを使用して後処理されることが多い。他の状況（例えば、シネマトグラフィ）では、歪みは、審美的に快く、記録映像に特有の特色を添えることができる。
【0003】
しかしながら、歪みが望ましいときでも、それらの厳密な形態の詳細な知識を有することは、しばしば重要である。そのような知識は、キャプチャされた画像を変換して、レンズに起因する歪みを、例えばそれらを複製することができるように、追加することを可能にし、または、歪みを除去して歪んでいない画像を明かして、例えば歪んでいない画像平面で画像を処理することを可能にする。そのような変換を可能にすることは、例えば、コンピュータ生成像を、歪み誘発レンズでキャプチャされた現実世界の映像とシームレスにマージすることを可能にする。類似して、純粋にコンピュータ生成の作品では、心地よい外観から恩恵を受ける目的で、レンズの特性的な歪みをシミュレートすることが望ましい場合がある。
【0004】
歪みの審美的態様が非常に重要である１つの具体的なクラスのレンズがあり、映画アナモルフィックレンズである。ここでは、垂直軸および水平軸において異なる焦点距離を有するレンズを作出するために、球面および円筒形の光学素子の組合せが使用され、画像は、ワイドスクリーン画像が標準的な長方形の画像平面にフィットするように、水平に絞られる。今日、これらのレンズは、いかなる技術的な理由のためよりもむしろそれらの特有の特色のために、ほぼ排他的に選択されている。
【0005】
アナモルフィックレンズの複雑な歪み特性を特性付けることは困難である可能性があり、既存の技術は、現実世界およびコンピュータ生成画像構成要素の正確なレジストレーションを有効にするために十分ではない場合がある。それゆえ、レンズ歪みをモデル化して補正するための改善された技術が引き続き必要とされている。
【0006】
上記の文脈において、本開示が考え出された。
【発明の概要】
【課題を解決するための手段】
【0007】
開示の概要
１つの態様から考察すると、本開示は、アナモルフィックレンズによって引き起こされる画像内の幾何学歪みを補償するために、歪んだ画像と歪んでいない画像との間で変換するための装置を提供する。装置は、１つ以上のプロセッサと、１つ以上の画像アレイを記憶する、メモリとを備える。各画像アレイは、アナモルフィックレンズを有する撮像システムによって画像平面上の２次元画像空間内でキャプチャされた３次元物体空間内のシーンの画像の画素値を表現する歪んだ画像、または、アナモルフィックレンズの幾何学的歪み効果を除去するために、歪んだ画像内の画像平面内の位置における情報が変換されている、２次元画像空間内でキャプチャされた３次元物体空間内のシーンの歪み補償された画像の画素値を表現する歪んでいない画像、を記憶する。メモリはまた、歪んだ画像内の位置における画素値を歪んでいない画像内の位置における画素値にマッピングするために、アナモルフィックレンズ歪みモデルを使用して歪んだ画像と歪んでいない画像との間で変換するようにプロセッサのうちの１つ以上を構成するための命令であって、アナモルフィックレンズ歪みモデルが、以下の多項式関係を有する、命令を記憶する。
１つの態様から考察すると、本開示は、アナモルフィックレンズによって引き起こされる画像内の幾何学歪みを補償するために、歪んだ画像と歪んでいない画像との間で変換するための装置を提供する。装置は、１つ以上のプロセッサと、１つ以上の画像アレイを記憶する、メモリとを備える。各画像アレイは、アナモルフィックレンズを有する撮像システムによって画像平面上の２次元画像空間内でキャプチャされた３次元物体空間内のシーンの画像の画素値を表現する歪んだ画像、または、アナモルフィックレンズの幾何学的歪み効果を除去するために、歪んだ画像内の画像平面内の位置における情報が変換されている、２次元画像空間内でキャプチャされた３次元物体空間内のシーンの歪み補償された画像の画素値を表現する歪んでいない画像、を記憶する。メモリはまた、歪んだ画像内の位置における画素値を歪んでいない画像内の位置における画素値にマッピングするために、アナモルフィックレンズ歪みモデルを使用して歪んだ画像と歪んでいない画像との間で変換するようにプロセッサのうちの１つ以上を構成するための命令であって、アナモルフィックレンズ歪みモデルが、以下の多項式関係を有する、命令を記憶する。
【0008】
【数1】
【0009】
式中、xおよびyは、歪んだ画像内の点を指定し、x'およびy'は、歪んでいない画像内の変換された歪んでいない点を指定し、Dxi,jは、x軸歪み係数であり、Dyi,jは、y軸歪み係数であり、係数Dxi,jおよびDyi,jは、レンズのディセンタを特性付けるためにi＋j＝２に対して非ゼロである。アナモルフィックレンズ歪みモデルは、歪んだ画像から画像アレイ内の歪んでいない画像を生成しおよび逆を行うために、または３次元物体空間内の物体のシーン、および３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルに基づいて、歪んだ画像を生成するために、装置によって使用可能である。
【0010】
実施形態では、iが奇数でありjが偶数であるi＋j＝３、５、７に対して、係数Dxi,jは非ゼロである。実施形態では、iが偶数でありjが奇数であるi＋j＝３、５、７に対して、係数Dyi,jは非ゼロである。実施形態では、Dxi,jおよびDyi,jにおける他のすべての係数は、ゼロまたはヌルである。
【0011】
実施形態では、メモリは、以下の多項式関係に基づいてアナモルフィック入射瞳モデルを使用して、光線が３次元物体空間内の点から通って進む、アナモルフィックレンズの入射瞳における光線基準面内の位置(Refx,Refy)を、歪んだ画像内の位置（x、y）に対して決定すること、を行うための命令をさらに含む。
【0012】
【数2】
【0013】
式中、Sx3、Sy1、およびSy3は、アナモルフィック入射瞳シフト係数である。
実施形態では、メモリは、３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルを使用して、３次元物体空間内の物体のシーンを、画像アレイ内のシーンの歪んでいない画像に変換し、任意的に、上記で本明細書に開示された決定されたアナモルフィック入射瞳モデルを使用して、どこで光線が入射瞳を通過するかを定義することと、アナモルフィックレンズ歪みモデルを使用して、画像アレイ内のシーンの歪んでいない画像を、画像アレイ内の画像の歪んだバージョンに、変換することと、を行うための命令をさらに含む。実施形態では、３次元物体空間は、コンピュータ生成物体を含む仮想物体空間であり、ピンホールカメラモデル、アナモルフィックレンズ歪みモデルおよび任意的にアナモルフィック入射瞳モデルを使用して作出された仮想物体空間内のシーンの画像の歪んだバージョンは、アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像にオーバーレイされる。
実施形態では、メモリは、３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルを使用して、３次元物体空間内の物体のシーンを、画像アレイ内のシーンの歪んでいない画像に変換し、任意的に、上記で本明細書に開示された決定されたアナモルフィック入射瞳モデルを使用して、どこで光線が入射瞳を通過するかを定義することと、アナモルフィックレンズ歪みモデルを使用して、画像アレイ内のシーンの歪んでいない画像を、画像アレイ内の画像の歪んだバージョンに、変換することと、を行うための命令をさらに含む。実施形態では、３次元物体空間は、コンピュータ生成物体を含む仮想物体空間であり、ピンホールカメラモデル、アナモルフィックレンズ歪みモデルおよび任意的にアナモルフィック入射瞳モデルを使用して作出された仮想物体空間内のシーンの画像の歪んだバージョンは、アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像にオーバーレイされる。
【0014】
実施形態では、メモリは、アナモルフィックレンズ歪みモデルを使用して、画像アレイ内のシーンの歪んだ画像を、画像アレイ内の画像の歪んでいないバージョンに、変換することと、３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルを使用して、画像アレイ内のシーンの歪んでいない画像を、３次元仮想物体空間内の画像の投影に変換し、任意的に、本明細書に開示された決定されたアナモルフィック入射瞳モデルを使用して、どこで光線が入射瞳を通過するかを定義することと、を行うための命令をさらに含む。実施形態では、シーンの歪んだ画像は、アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像である。
【0015】
実施形態では、メモリは、現実世界３次元物体空間において光軸に沿ってアナモルフィックレンズから異なる距離で取られた既知の間隔を有する試験グリッドマーキングのアナモルフィックレンズによってキャプチャされた現実世界の歪んだ画像を受信することと、画像アレイ内の歪んだ試験グリッドマーキングの位置を決定することと、歪み係数Dxi,jおよびDyi,jの値を決定して、歪んだグリッドマーキングを、既知の間隔に基づきかつ光軸を中心とする、歪んでいない、マーキングのグリッドに変換することと、決定された値を、歪み係数Dxi,jおよびDyi,jの値として、メモリに記憶されたアナモルフィックレンズ歪みモデルに記憶させることと、を行うための命令をさらに含む。
【0016】
実施形態では、メモリは、近接場試験グリッドについての画像アレイ内の歪んだ試験グリッドマーキングの位置（x、y）に基づいて、アナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3の値を決定して、本明細書に開示されたアナモルフィック入射瞳モデルを決定することと、決定された値を、アナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3の値として、メモリに記憶された本明細書に開示されたアナモルフィック入射瞳モデルに記憶することと、を行うための命令をさらに含む。
【0017】
実施形態では、歪み係数Dxi,jおよびDyi,jならびに任意的にアナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3は、画像アレイ内の歪んだ試験グリッドマーキングの位置を生成するために、アナモルフィックレンズ歪みモデルおよび任意的にアナモルフィック入射瞳モデルをフィットさせるために、最適化アルゴリズムを使用して決定される。
【0018】
別の態様から考察すると、本開示は、本明細書に開示された装置を使用して、アナモルフィックレンズを使用してシーンをキャプチャする効果を再現するために、３次元物体空間内の物体のシーンから画像平面に変換する方法を提供する。方法は、３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルを使用して、３次元物体空間内の物体のシーンを、画像アレイ内のシーンの歪んでいない画像に変換し、任意的に、開示された決定されたアナモルフィック入射瞳モデルを使用して、どこで光線が入射瞳を通過するかを定義することと、アナモルフィックレンズ歪みモデルを使用して、画像アレイ内のシーンの歪んでいない画像を、画像アレイ内の画像の歪んだバージョンに、変換することと、を含む。
【0019】
実施形態では、３次元物体空間は、コンピュータ生成物体を含む仮想物体空間であり、ピンホールカメラモデル、アナモルフィック入射瞳モデルおよびアナモルフィックレンズ歪みモデルを使用して作出された仮想物体空間内のシーンの画像の歪んだバージョンは、アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像にオーバーレイされる。
【0020】
別の態様から考察すると、本開示は、本明細書に開示された装置を使用して、アナモルフィックレンズを使用してシーンをキャプチャする効果を打ち消すために、３次元物体空間内の物体のシーンの歪んだ画像から３次元仮想物体空間内の画像の投影に変換する方法を提供する。方法は、アナモルフィックレンズ歪みモデルを使用して、画像アレイ内のシーンの歪んだ画像を、画像アレイ内の画像の歪んでいないバージョンに、変換することと、３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルを使用して、画像アレイ内のシーンの歪んでいない画像を、３次元仮想物体空間内の画像の投影に変換し、任意的に、本明細書に開示された決定されたアナモルフィック入射瞳モデルを使用して、どこで光線が入射瞳を通過するかを定義することと、を含む。
【0021】
実施形態では、シーンの歪んだ画像は、アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像である。
【0022】
別の態様から考察すると、本開示は、本明細書に開示された方法を動作させるように本明細書に開示された装置を構成するための命令を保持するコンピュータプログラム製品を提供する。
【0023】
別の態様から考察すると、本開示は、本明細書に開示された決定されたアナモルフィックレンズ歪みモデルと、本明細書に開示された決定されたアナモルフィック入射瞳モデルと、のうちの少なくとも１つを記憶する、コンピュータ可読媒体を提供する。
【0024】
図面の簡単な説明
本発明の実施形態は、添付の図面を参照して以下でさらに説明される。
本発明の実施形態は、添付の図面を参照して以下でさらに説明される。
【図面の簡単な説明】
【0025】
【図1】本開示の態様による例示的な画像処理装置の概略図である。
【図2A】撮像システムを特性付けることにおいて使用するための、アナモルフィック撮像システムによる撮像のための、試験グリッドを示す図である。
【図3】図１に示す例示的な画像処理装置による、ピンホールカメラモデル、アナモルフィック入射瞳モデル、およびアナモルフィックレンズ歪みモデルを使用して、物体空間内の試験グリッドを歪んだ画像に関連付けるアナモルフィック撮像システムの例示的なモデルを例解する図である。
【図4】本開示の態様による、試験グリッドの歪んだ画像がアナモルフィックレンズを使用してキャプチャされる、アナモルフィック撮像システムを特性付けるために、アナモルフィック入射瞳モデルおよびアナモルフィックレンズ歪みモデルを決定するための、例示的なアナモルフィックレンズ特性付け処理を示す図である。
【図5】本開示の態様による、ピンホールカメラモデル、アナモルフィック入射瞳モデル、およびアナモルフィックレンズ歪みモデルを使用して、物体空間内の３Dシーンを、アナモルフィック撮像システムにおいて特性的である３Dシーンの歪んだ画像に変換するための例示的な画像ワークフロー処理を示す図である。
【図6】本開示の態様による、ピンホールカメラモデル、アナモルフィック入射瞳モデル、およびアナモルフィックレンズ歪みモデルを使用して、アナモルフィック撮像システムにおいて特性的である歪んだ画像を、３D物体空間内の画像の投影に変換するための例示的な画像ワークフロー処理を示す図である。
【発明を実施するための形態】
【0026】
詳細な説明
以下、添付の図面を参照して、本開示の実施形態を説明する。しかしながら、本開示は実施形態に限定されず、それらに対するすべての変更および／または等価物もしくは置換も本開示の範囲に属することを認識すべきである。本明細書および図面全体を通して同じまたは類似の要素を指すために、同じまたは類似の参照符号を使用する場合がある。
以下、添付の図面を参照して、本開示の実施形態を説明する。しかしながら、本開示は実施形態に限定されず、それらに対するすべての変更および／または等価物もしくは置換も本開示の範囲に属することを認識すべきである。本明細書および図面全体を通して同じまたは類似の要素を指すために、同じまたは類似の参照符号を使用する場合がある。
【0027】
本明細書で使用される場合、特徴（例えば、数、機能、動作、または部品などの構成要素）を「有する(have)」、「有してもよい(may have)」、「含む(include)」、または「含んでもよい(may include)」という用語は、その特徴の存在を表示するものであり、他の特徴の存在を排除しない。
【0028】
本明細書の、説明および特許請求の範囲全体を通して、「含む(comprise)」および「含有する(contain)」という言葉およびそれらの変形は、「含むがこれに限定されない(including but not limited to)」を意味し、それらは、他の構成要素、整数またはステップを排除することを意図しない（かつ、それらを排除しない）。本明細書の、説明および特許請求の範囲全体を通して、文脈が別途要求しない限り、単数は複数を包含する。特に、不定冠詞が使用される場合、本明細書は、文脈が別途要求しない限り、複数性ならびに単数性を企図するものとして理解されることとなる。
【0029】
本明細書で使用される場合、「AまたはB」、「Aおよび／またはBのうちの少なくとも１つ」、または「Aおよび／またはBのうちの１つ以上」という用語は、AおよびBのすべての可能な組合せを含む場合がある。例えば、「AまたはB」、「AおよびBのうちの少なくとも１つ」、「AまたはBのうちの少なくとも１つ」は、（１）少なくとも１つのAを含む、（２）少なくとも１つのBを含む、または（３）少なくとも１つのAおよび少なくとも１つのBを含む、のすべてを表示する場合がある。
【0030】
本明細書で使用される場合、「～するように構成された（または設定された）」という用語は、事情に応じて、「～に適している」、「～する能力を有する」、「～に設計された」、「～に適合された」、「～するように作られた」、または「～する実力がある」という用語と互換的に使用される場合がある。「～するように構成された（または設定された）」という用語は、「～するようにハードウェアで特別に設計される」ことを本質的に意味しない。むしろ、「～するように構成された」という用語は、デバイスが別のデバイスまたは部品と一緒に動作を遂行できることを意味する場合がある。
【0031】
例えば、「A、B、およびCを遂行するように構成された（または設定された）プロセッサ」という用語は、メモリデバイスに記憶された１つ以上のソフトウェアプログラムを実行することによって動作を遂行してもよい汎用プロセッサ（例えば、CPUまたはアプリケーションプロセッサ）、または動作を遂行するための専用プロセッサ（例えば、組込みプロセッサ）を意味する場合がある。
【0032】
本明細書で使用される場合の用語は、単にそれらのいくつかの実施形態を説明するために提供されており、本開示の他の実施形態の範囲を限定するためではない。単数形「a」、「an」、および「the」は、文脈が別途明確に指示するのでない限り、複数の参照を含むことが、理解されることとなる。本明細書で使用される、技術および科学用語を含むすべての用語は、本開示の実施形態が属する分野の当業者によって一般的に理解されるのと同じ意味を有する。一般的に使用される辞書で定義されているものなどの用語は、関連技術の文脈におけるそれらの意味と一貫する意味を有すると解釈されるべきであり、理想化されたまたは過度に形式的な観念では、本明細書で明白にそのように定義されない限り、解釈されないことがさらに理解されよう。いくつかのケースでは、本明細書で定義される用語は、本開示の実施形態を排除すると解釈される場合がある。
【0033】
図全体を通して使用される場合、特徴または方法ステップは、そのような特徴または方法ステップがいくつかの実施形態における提供のための任意的な特徴であるが、それらが本開示の態様を実装するためのすべての実施形態で提供されるわけではないことを表示するために、破線で輪郭を描かれて示されている。すなわち、本開示の態様は、これらの任意的な特徴が含まれること、またはステップが遂行されることを、要求せず、それらは単に、さらなる任意的な実装の詳細を提供するために例解的な実施形態に含まれる。
【0034】
本発明の具体的な態様、実施形態または例と併せて説明される特徴、整数、特性または群は、本明細書で説明される任意の他の態様、実施形態または例に対して、それらと互換性がないのでない限り、適用可能であると理解されることとなる。本明細書（あらゆる添付の特許請求の範囲、要約書および図面を含む）に開示された特徴のすべて、および／またはそのように開示されたあらゆる方法もしくは処理のステップのすべては、そのような特徴および／またはステップのうちの少なくともいくつかが相互に排他的である組合せを除いて、任意の組合せで組み合わされてもよい。本開示は、以下のいずれの実施形態の詳細にも制限されない。
【0035】
ここで、本開示の態様による例示的な画像処理装置１１０の概略図を示す図１を参照する。
【0036】
画像処理装置１１０は、情報源１１１、１つ以上のプロセッサ１１２、およびメモリ１１３を含んでもよい。情報源１１１は、装置１１０によって特性付けられるアナモルフィック撮像システムによってキャプチャされた画像データまたはビデオデータを、処理のために装置１１０に提供するためのものである。代替的に、または加えて、情報源１１１は、コンピュータ生成画像データ、ビデオデータまたは３Dシーンデータを、処理のために装置１１０に提供して、それによって、装置１１０によって特性付けられるアナモルフィック撮像システムによってキャプチャされたかのような歪みを含むコンピュータ生成データを含む画像データを生成してもよい。画像／ビデオデータ、およびコンピュータ生成データが異なる源から取られ、一緒に処理される場合、合成画像は、例えば、特性付けられたアナモルフィック撮像システムによってキャプチャされた現実世界要素、および仮想３D物体空間内で生成されたコンピュータ生成物体を含む、本明細書に開示されたワークフローを使用して装置１１０によって生成されてもよく、合成画像は、それがアナモルフィック撮像システムによってキャプチャされたかのように見える。このやり方で、コンピュータ生成合成画像は、特性付けられたアナモルフィック撮像システムによってキャプチャされたかのように、画像処理装置１１０を使用して生成されてもよい。画像処理装置１１０は、情報源１１１から提供されるデータ上で、それが受信または生成される際に動作して、特性付けられたアナモルフィック撮像システムによってキャプチャされたかのように画像のリアルタイム合成を提供してもよい。情報源１１１は、画像処理装置１１０に対してローカルにデータを生成もしくは記憶してもよく、ハードドライブもしくはソリッドステートドライブなどの長期記憶装置を表現してもよく、または他の実施形態では、情報源１１１は、画像処理装置１１０に対して別個であってもよく、データをリモートで生成もしくは記憶しそれを処理のために画像処理装置１１０に提供してもよい。例えば、画像処理装置１１０に結合された情報源１１１は、物体空間内に仮想物体およびシーンを生成するための、外部アナモルフィック撮像システムおよび／または外部仮想世界環境を含んでもよい。画像処理装置１１０に提供される情報源１１１からの情報は、ビットマップなどの２D画像データ、またはアナモルフィック撮像システムのピンホールカメラモデルを使用して撮像するための３Dシーンデータとして含む、任意の適切なフォーマットであって、それによって処理するためのフォーマットによるものであり得る。
【0037】
プロセッサ１１２は、メモリ１１３にロードされることができる命令を実行する。プロセッサ１１２は、任意の適切な配置で任意の適切な数および種類のプロセッサまたは他のデバイスを含むことができる。プロセッサ１１２の例示的な種類は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、および特定用途向け集積回路を含む。
【0038】
メモリ１１３は、情報（データ、プログラムコード、および／または一時的もしくは永続的ベースの他の適切な情報など）を記憶しその検索を促進する実力がある、任意の構造によって提供されてもよい。メモリ１１３は、ランダムアクセスメモリまたは任意の他の適切な揮発性もしくは不揮発性記憶デバイスを表現することができる。メモリ１１３はまた、ランタイムにおいてメモリ１１３にロードするためのソフトウェアコードを記憶してもよい、リードオンリメモリ、ハードドライブ、フラッシュメモリ、または光ディスクなどの、データのより長期の記憶をサポートする、１つ以上の構成要素またはデバイスを含有してもよい。使用中、プロセッサ１１２およびメモリ１１３は、ランタイム環境（RTE：Runtime Environment）１１４を提供し、それにおいて、メモリ１１３にロードされた命令またはコードは、プロセッサによって実行されて、ランタイム環境１１４内にソフトウェアモジュールのインスタンスを生成することができる。
【0039】
メモリ１１３は命令を含み、それは、１つ以上のプロセッサ１１２によって実行されるとき、１つ以上のプロセッサ１１２が１つ以上の画像アレイ１１５、アナモルフィックレンズ歪みモデル１１６および画像処理ワークフローモジュール１１９をインスタンス化することを、引き起こす。実施形態では、メモリはまた、命令を含んでもよく、それは、１つ以上のプロセッサ１１２によって実行されるとき、１つ以上のプロセッサ１１２がアナモルフィック入射瞳モデル１１７および／またはレンズ特性付けモジュール１２０をインスタンス化することを、引き起こす。
【0040】
これらの構成要素機能的モジュールを実装することにより、装置１１０は、装置１１０によってモデル化されたアナモルフィック撮像システムを特性付けるために、アナモルフィック入射瞳モデルおよびアナモルフィックレンズ歪みモデルを決定するための、図４に関連して説明したランタイム方法を成し遂げるために、メモリ１１３に記憶されかつRTE１１４に実装された、命令によって構成可能であってもよい。装置１１０はまた、物体空間内の３Dシーンを、アナモルフィック撮像システムにおいて特性的である３Dシーンの歪んだ画像に変換するための、図５に関連して説明したランタイム方法を成し遂げるために、メモリ１１３に記憶されかつRTE１１４に実装された、命令によって構成可能であってもよい。装置１１０はまた、アナモルフィック撮像システムにおいて特性的である歪んだ画像を、３D物体空間内の画像の投影に変換するための、図６に関連して説明したランタイム方法を成し遂げるために、メモリ１１３に記憶されかつRTE１１４に実装された、命令によって構成可能であってもよい。
【0041】
【0042】
図２Ａは、撮像システムを特性付けることにおいて使用するための、アナモルフィック撮像システムによる撮像のための、例示的な試験グリッドを示す。グリッドは、既知の一貫した間隔でマーキングを有し、図３および図４に関連して以下に説明するように、物体空間内の距離においてアナモルフィック撮像システムによって撮像されることができ、キャプチャされた歪んだ画像は、アナモルフィックレンズ歪みモデル１１６およびアナモルフィック入射瞳モデル１１７における、アナモルフィック撮像システムを特性付けるための係数を決定するために、使用される。
【0043】
図２Ｂは、画像処理装置１１０によって特性付けられるアナモルフィック撮像システムによってキャプチャされた、図２Ａに示す試験グリッドの歪んだ画像を示し、それにおいて、アナモルフィックレンズの歪み特性が示されている。見ることができるように、垂直軸および水平軸において異なる焦点距離を与える球面および円筒形の光学素子の組合せをアナモルフィックレンズが有するおかげで、キャプチャされた画像は、水平に絞られ、各アナモルフィックレンズにおいて特性的である歪みを発生させる。この歪んだ画像空間内にコンピュータ生成物体を含めるために、画像を扱い、合成することは、合成されたコンピュータ生成コンテンツが、現実世界のシーンに正しく登録されず、アナモルフィック撮像システムを使用してキャプチャされたように正しく見える許容可能な合成画像を統合する目的で広範な手動編集を要求するため、挑戦的である。アナモルフィック撮像システムを使用して図２Ａの試験グリッドの画像をキャプチャすることによる、図２Ｂに示す試験グリッドの歪みは、理解を容易にするために、簡略化され誇張されていることに留意すべきである。本開示による各アナモルフィックレンズの正確な特性付けは、例えば、コンピュータ生成像の合成、または仮想カメラを使用したアナモルフィック撮像システムのシミュレーションを可能にするために、それによってキャプチャされたかのように、画像を適当にハンドリングおよび処理するために必要であることに留意すべきである。
【0044】
したがって、アナモルフィック撮像システムによって実際にまたは外見上でキャプチャされた画像のハンドリングまたは作出を可能にするために、およびシームレスな合成を促進するために、画像処理装置１１０を使用して、歪んだ画像と歪んでいない画像との間で変換して、アナモルフィック撮像システムの歪み効果を追加または除去してもよい。
【0045】
この事項において、画像処理装置１１０は、アナモルフィック撮像システムによってキャプチャされ情報源１１１によって提供される個別の画像もしくはビデオフレーム、および／または情報源１１１によって提供される３D仮想世界のシーンの画像などの、歪んだまたは歪んでいない画像を受信および記憶するための、１つ以上の画像アレイ１１５をRTE１１４に維持する。画像処理ワークフローモジュール１１９および／またはレンズ特性付けモジュール１２０は、画像アレイ１１５に記憶された画像データ上で動作して、アナモルフィック撮像システムの歪み効果を追加もしくは除去するかまたはアナモルフィック撮像システムを特性付けしてもよい。
【0046】
したがって、例として、アナモルフィック撮像システムによってキャプチャされた図２Ｂに示すような試験グリッドの歪んだ画像は、情報源１１１から画像処理装置１１０の画像アレイ１１５で受信され得る。
【0047】
使用中の画像処理装置１１０は、アナモルフィック撮像システムを特性付けるアナモルフィックレンズ歪みモデル１１６を含む。アナモルフィックレンズ歪みモデル１１６を使用して、歪んだ画像と歪んでいない画像との間で変換して、アナモルフィック撮像システムの歪み効果を追加または除去することができる。
【0048】
画像アレイ１１５に記憶された歪んだ画像内の任意の測定された点について、アナモルフィックレンズ歪みモデル１１６は、歪んだ画像内の位置（x、y）にある点を画像の歪んでいないバージョン内の位置（x'、y'）にある点にコンバートする、補正を指定する。歪んでいない座標は、７次まで定義された以下の多項式関係によって決定される。
【0049】
【数3】
【0050】
ここでは、xおよびyは、アナモルフィックレンズを有する撮像システムによって画像平面上の２次元画像空間内にキャプチャされた３次元物体空間内のシーンの画像の画素値を表現する、歪んだ画像内の点を指定する。
【0051】
また、x'およびy'は、２次元画像空間内にキャプチャされた３次元物体空間内のシーンの歪み補償された画像の画素値を表現する、歪んでいない画像内のマッピングされた（すなわち、歪み補正された）点を指定し、それにおいて、歪んだ画像内の画像平面内の位置における情報は、アナモルフィックレンズの幾何学的歪み効果を除去するために変換されている。
【0052】
Dxi,jは、式（３）によって与えられるx軸歪み係数であり、Dyi,jは、式（４）によって与えられるy軸歪み係数である。
【0053】
【数4】
【0054】
見ることができるように、iが奇数でありjが偶数であるi＋j＝３、５、７に対して、係数Dxi,jは非ゼロである。また、iが偶数でありjが奇数であるi＋j＝３、５、７に対して、係数Dyi,jは非ゼロである。Dxi,jおよびDyi,jにおける他のすべての係数は、ゼロまたはヌルである。
【0055】
したがって、DxおよびDyにおける９８個の歪み係数のうちの２４個のみが、非ゼロである。これらの具体的な係数だけが、アナモルフィック撮像システムを特性付けして、コンピューテーショナルな作業負荷を管理可能に保ちながら高度な精度を提供することができる。加えて、非ゼロ項の慎重な選択は、モデルの自由度の数を最小限に抑え、それによって、製造されたレンズの特性付けがより明快になる。
【0056】
重要なことに、見ることができるように、係数Dxi,jおよびDyi,jは、レンズのディセンタを特性付けるためにi＋j＝２に対して非ゼロである。これらの成分は、アナモルフィックレンズの歪み効果をふさわしく特性付けおよび補償することを可能にする。
【0057】
アナモルフィックレンズ歪みモデル１１６と併せて画像処理ワークフローモジュール１１９のワークフローにおけるワープなどの適切な変換処理を使用することにより、画像処理装置１１０はこのようにして、歪んだ画像と歪んでいない画像との間で変換することができ、および逆であり、アナモルフィック撮像システムの歪み効果を追加または除去するためにそれらの位置間で画素値をマッピングする。例えば、アナモルフィックレンズ歪みモデル１１６の使用は、画像処理装置１１０が、図２Ｃに示すように、画像アレイ１１５に受信および記憶された図２Ｂに示す歪んだ画像を、歪んでいない画像に変換することを可能にする。見ることができるように、この処理によって、アナモルフィックレンズ歪みモデル１１６は、図２Ｂに示す歪んだ画像内の位置（x、y）にある点の画素値を、図２Ｃに示す歪んでいない画像内の点（x'、y'）にマッピングするために使用される。
【0058】
上記で説明したアナモルフィックレンズ歪みモデル１１６は、アナモルフィック撮像システムに入るすべての光線が、３D空間内の単一の点、すなわちピンホールを通過すると想定する。このやり方で、画像処理ワークフローモジュール１１９は、アナモルフィック撮像システムのためにピンホールカメラモデルと併せてアナモルフィックレンズ歪みモデル１１６を使用して、物体空間内の３Dシーンと３Dシーンの歪んだ画像と歪んでいない画像との間で変換することができる。
【0059】
しかしながら、現実のレンズはこのピンホールカメラモデルから逸脱し、アナモルフィックレンズでは、これは再構築精度に著しい効果を有することができる。この効果は典型的には、レンズに比較的近い（約１メートル以下）、物体を撮像するときに重要である。
【0060】
アナモルフィックレンズの場合、これらの近接場歪みは、特に意義深い。球面レンズにある、よく理解されている物理的効果に加えて、アナモルフィックレンズは、垂直軸と水平軸との間の近軸入射瞳ポジションにおけるオフセットから起きる歪みに、独特に支配される。したがって、実施形態では、画像処理装置１１０は、アナモルフィック入射瞳モデル１１７を含み、それは、このオフセットのために、ピンホールカメラモデルを特性付けし、かつピンホールカメラモデルを補正するために使用されることができ、アナモルフィック入射瞳モデル１１７およびピンホールカメラモデルを使用して画像処理装置１１０によって撮像されるようにシミュレートされた、アナモルフィック撮像システムまたはコンピュータ生成物体を使用してキャプチャされた、近接物体の画像をハンドリングすることにおいて著しくより高い精度を与える。
【0061】
ピンホールカメラモデル、アナモルフィック入射瞳モデル、およびアナモルフィックレンズ歪みモデル１１６を使用して、物体空間内の試験グリッドを歪んだ画像に関連付けるアナモルフィック撮像システムの例示的なモデルを示す図３を参照すると、アナモルフィック入射瞳モデル１１７は、ポジションを計算し、ここで、それにおいて、（このケースでは図２Ａの試験グリッドを含有する）物体空間O内の位置からの光線は、光線基準面Pと呼ばれる平面と交差し、これは、光軸Aに垂直であり、水平軸近軸入射瞳と交差する。光線が光線基準面Pと交差するポジションは、アナモルフィック入射瞳モデル１１７によって与えられ、それは、キャプチャされた歪んだ画像Iにおけるx座標およびy座標における以下の多項式関係によって指定される。
【0062】
【数5】
【0063】
ここでは、xおよびyは、厳密にアナモルフィックレンズ歪みモデル１１６についての以前の歪み計算において使用されるように、キャプチャされた（すなわち歪んだ）点を指定する。Sx3、Sy1、およびSy3は、アナモルフィック入射瞳シフト係数である。(Refx,Refy,Refz)は、光線が光線基準面と交差する座標である。
【0064】
画像処理装置１１０の画像処理ワークフローモジュール１１９が、アナモルフィック入射瞳モデル１１７によって適合された通りのピンホールカメラモデルを使用して、３D物体空間O内のシーンからの光線と画像平面I上の点との間をマッピングするためには、２つの情報のみが必要であり、第１は、ピンホールを通る光線の方向であり、それは、画像平面Iまたは物体空間O内の位置によって決定され、第２は、光線基準面R内の点であり、光線はそれを通過し、これはアナモルフィック入射瞳モデル１１７によって決定される。このやり方で、これらの近接場効果は、近接場物体を含む歪んだ画像の変換の正確なハンドリングを可能にするために、補償されることができて、例えば、仮想物体空間内のアナモルフィック撮像システムの入射瞳に近接して位置するコンピュータ生成物体を画像に合成することができる。
【0065】
このやり方で、図３に見ることができるように、実施形態では、画像処理装置１１０の画像処理ワークフローモジュール１１９は、（情報源１１１から受信した仮想物体空間などの）３次元物体空間内の物体のシーンからの光線を画像アレイ１１５内のシーンの歪んだ画像にマッピングする目的で、アナモルフィックレンズ歪みモデル１１６と併せて、どこで光線が入射瞳を通過するかを定義するために、アナモルフィック入射瞳モデル１１７によって適合された、３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルを使用するワークフローを実装する。ワークフローは、このモデル化、および物体空間から歪んだ画像への変換を、ワンショットで遂行してもよく、または明示的な介在するステップがあってもよく、それにおいて、アナモルフィックレンズ歪みモデル１１６を使用してアナモルフィックレンズの歪み効果を再現する後続の歪みの前に、アナモルフィック入射瞳モデル１１７によって適合されたピンホールカメラモデルが使用されて画像アレイ１１５に歪んでいない画像を生成する。ここでは、ピンホールカメラモデル、アナモルフィック入射瞳モデルおよびアナモルフィックレンズ歪みモデルの使用は、３D物体空間Oにおけるシーンからの光線と画像平面I上の点との間でいずれかの方向にマッピングすることができることに留意すべきである。
【0066】
ここで、アナモルフィック撮像システムを特性付けるためにレンズ特性付けモジュール１２０によって実装される例示的な処理４００を、図４に関連して説明する。本開示の態様によるアナモルフィック撮像システムを特性付けることは、アナモルフィックレンズ歪みモデル１１６の歪み係数Dxi,jおよびDyi,jを決定することを含むのであるが、アナモルフィック入射瞳モデル１１７が、アナモルフィック撮像システムのピンホールカメラモデルを適合させるために使用される場合、ワークフローはまた、アナモルフィック入射瞳モデル１１７のアナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3を決定することを含んでもよい。
【0067】
処理４００は、ステップ４０１において、画像処理装置１１０が、既知の間隔を有する、例えば図２Ａに示すような、試験グリッドマーキングのアナモルフィックレンズによってキャプチャされた現実世界の歪んだ画像を受信し画像アレイ１１５に記憶することで始まる。図３に示すように、試験グリッドの画像は、現実世界３次元物体空間O内の光軸Aに沿ってアナモルフィックレンズからの異なる距離Dで取られてもよい。光軸に沿って異なる距離で取られた複数の歪んだ試験グリッド画像の使用は、歪み係数Dxi,jおよびDyi,jならびにアナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3（使用される場合）の決定が、物体空間全体を通して、位置について、高度な精度のものであることを可能にする。
【0068】
ステップ４０２において、画像処理装置１１０は、各歪んだ試験グリッド画像について、画像アレイ１１５内の歪んだ試験グリッドマーキングの位置を決定する。これは、図２Ａに示す例では、試験グリッドの水平線と平行線との間の交差であってもよく、それらの間の間隔は、物体空間O内の試験グリッドの平面内で一定である。しかしながら、図２Ｂに見ることができるように、これらの試験グリッド交差の間の間隔は、キャプチャされた画像においてアナモルフィックレンズによって歪んでいる。
【0069】
したがって、ステップ４０３において、画像処理装置１１０は、歪み係数Dxi,jおよびDyi,jの値を決定して、歪んだグリッドマーキングを、既知の間隔に基づきかつ光軸を中心とする、歪んでいない、マーキングのグリッドに変換する。上記で解説したように、歪み係数Dxi,jおよびDyi,jの決定は、アナモルフィックレンズ歪みモデル１１６を生成することを可能にし、それは、アナモルフィック撮像システムの歪み効果を特性付ける。これらの決定された値は、次いで、歪み係数Dxi,jおよびDyi,jの値として、メモリに記憶されたアナモルフィックレンズ歪みモデル１１６に記憶される。
【0070】
類似して、ステップ４０４において、アナモルフィック撮像システムのためにアナモルフィック入射瞳モデル１１７が生成されることとなる場合、画像処理装置１１０は、アナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3の値を、近接場試験グリッドのための画像アレイ内の歪んだ試験グリッドマーキングの位置（x、y）に基づいて決定する。これらの決定された値は、次いで、アナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3の値として、メモリに記憶されたアナモルフィック入射瞳モデル１１７に記憶される。
【0071】
ステップ４０３および４０４において、レンズ特性付けモジュール１２０は、画像アレイ１１５内のキャプチャされた歪んだ試験グリッドマーキングの位置を生成するために、アナモルフィックレンズ歪みモデルおよび任意的にアナモルフィック入射瞳モデルをフィットさせるために、最適化アルゴリズムを使用して、歪み係数Dxi,jおよびDyi,jならびに任意的にアナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3を決定してもよい。例えば、アナモルフィックレンズ歪みモデル１１６および任意的にアナモルフィック入射瞳モデル１１７がキャプチャされた試験グリッド画像を最も良好に再現することを引き起こす、歪み係数Dxi,jおよびDyi,jならびに任意的にアナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3の値を見つけるために、最小２乗フィッティングアルゴリズムが使用されることができる。
【0072】
図１に示す実施形態では、アナモルフィック撮像システムを特性付けるための処理４００は、レンズ特性付けモジュール１２０による処理制御下で画像処理装置１１０によって遂行されるが、アナモルフィック撮像システムを特性付ける処理４００は、他の所で、例えばアナモルフィックレンズの製造業者によって、遂行されてもよく、（歪み係数Dxi,jおよびDyi,jならびにアナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3の形態の）アナモルフィック撮像システムの特性付けは、例えばインターネットを介して、画像処理装置１１０において受信されてもよいことに留意すべきである。
【0073】
一旦歪み係数Dxi,jおよびDyi,jならびに任意的にアナモルフィック入射瞳シフト係数Sx3、Sy1、およびSy3が決定されたら、アナモルフィック撮像システムおよび特にアナモルフィックレンズは、次いで、アナモルフィックレンズ歪みモデル１１６および任意的にアナモルフィック入射瞳モデル１１７によって特性付けられるのであり、特性付けられたアナモルフィックレンズの歪み効果を追加または除去するために、ならびに（コンピュータ生成コンテンツを含有するものなどの）３D物体空間内のシーンとアナモルフィック撮像システムの歪みおよび近接場撮像効果を直接再現する画像平面との間で変換するために、画像処理ワークフローモジュール１１９によって使用されることができる。
【0074】
したがって、特性付けられたアナモルフィック撮像システムのために画像を処理するために画像処理ワークフローモジュール１１９によって実装される例示的なワークフロー処理５００、６００は、ここで図５および図６に関連して説明される。
【0075】
図５を参照すると、ワークフロー処理５００は、特性付けられたアナモルフィックレンズを使用してシーンをキャプチャする効果を再現するために、３次元物体空間内の物体のシーンから画像平面に変換するためのものである。
【0076】
ステップ５０１において、３次元物体空間内の物体のシーンが、画像処理ワークフローモジュール１１９によって、例えば情報源１１１から、受信される。３次元物体空間内の物体のシーンは、コンピュータ生成物体を含む仮想物体空間のものであってもよく、画像平面内のシーンの画像を作出するためにピンホールカメラモデルと共に使用するための画像処理ワークフローモジュール１１９による処理に適した任意の形態で受信されてもよい。
【0077】
ステップ５０２において、画像処理ワークフローモジュール１１９は、図３に例解するように、３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルを使用して、３次元物体空間内の物体の受信されたシーンを、画像アレイ１１５内のシーンの歪んでいない画像に変換する。実施形態では、上記で説明したように決定されたアナモルフィック入射瞳モデル１１７を使用して、ピンホールカメラモデルを適合させて、光線基準面内でどこで光線が入射瞳を通過するかを定義してもよい。このやり方で、アナモルフィック撮像システムに近い３D物体空間内の物体に対するアナモルフィックレンズの近接場効果を、ピンホールカメラモデルによって生成された歪んでいない画像において、考慮に入れることができる。
【0078】
次いで、ステップ５０３において、画像処理ワークフローモジュール１１９は、アナモルフィックレンズ歪みモデル１１６を使用して、画像アレイ１１５内のシーンの歪んでいない画像を、画像アレイ１１５内の画像の歪んだバージョンに変換する。その後、画像を変換するための処理は終了するのであり、例えば、ビデオ内の後続の画像フレームに対して繰り返されてもよい。
【0079】
このやり方で、アナモルフィック撮像システムによる物体のキャプチャを正確に再現する３D物体空間内の物体の歪んだ画像を作出することができる。実施形態では、ピンホールカメラモデル、アナモルフィック入射瞳モデルおよびアナモルフィックレンズ歪みモデルを使用して作出された、仮想物体空間内のシーンの画像の歪んだバージョンは、アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像にオーバーレイされる。したがって、画像処理装置１１０は、手動の適合または介在を要求せずに、アナモルフィック撮像システムを使用して両方がキャプチャされたかのように、キャプチャされた現実世界画像と共にコンピュータ生成物体を統合して、画像をシームレスかつ正確に合成するために使用されてもよい。このやり方で、アナモルフィックレンズによってキャプチャされた現実世界映像内でのコンピュータ生成物体のリアルタイム合成が有効になる。
【0080】
上記の処理５００において、介在するステップ５０２において、歪んでいない画像が生成されるが、実施形態において、歪んでいない画像は生成されなくてもよく、むしろ、処理５００は、画像アレイ１１５に記憶されたシーンの歪んだ画像内の位置に３D物体空間からの光線が直接マッピングされるように、ピンホールカメラモデル（アナモルフィック入射瞳モデル１１７によって任意的に適合される）およびアナモルフィックレンズ歪みモデル１１６を一緒に１つのステップで動作させてもよい。
【0081】
ここで図６に目を向けると、ワークフロー処理６００は、アナモルフィックレンズを使用してシーンをキャプチャする効果を打ち消すために、３次元物体空間内の物体のシーンの歪んだ画像から３次元仮想物体空間内の画像の投影に変換するためのものである。
【0082】
ステップ６０１において、３次元物体空間内の物体のシーンの歪んだ画像が、画像処理ワークフローモジュール１１９によって例えば情報源１１１から受信され、画像アレイ１１５に記憶される。シーンの歪んだ画像は、アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像であってもよい。
【0083】
ステップ６０２において、画像処理ワークフローモジュール１１９は、アナモルフィックレンズ歪みモデル１１６を使用して、画像アレイ１１５内のシーンの歪んだ画像を、画像アレイ１１５内の画像の歪んでいないバージョンに変換する。
【0084】
次いで、ステップ６０３において、画像処理ワークフローモジュール１１９は、３次元物体空間内のアナモルフィックレンズのためのピンホールカメラモデルを使用して、画像アレイ１１５内のシーンの歪んでいない画像を、３次元仮想物体空間内の画像の投影に変換する。その後、画像を変換するための処理は終了するのであり、例えば、ビデオ内の後続の画像フレームに対して繰り返されてもよい。
【0085】
実施形態では、上記で説明したように決定されたアナモルフィック入射瞳モデル１１７を使用して、どこで光線が入射瞳を通過するかを定義して、ピンホールカメラモデルを適合させてもよい。実施形態では、シーンの歪んだ画像は、アナモルフィックレンズによってキャプチャされた現実世界３次元物体空間の画像である。
【0086】
このやり方で、アナモルフィック撮像システムによってキャプチャされた現実世界画像を、例えば、仮想物体空間に投影することができ、仮想物体空間内の仮想物体を、現実世界画像によってキャプチャされたシーンと一緒に統合することを可能にする。その後、アナモルフィック撮像システムによってキャプチャされたかのような、現実世界画像を含む仮想物体空間のシーンの歪んだ画像を、処理５００を使用して作出することができる。このやり方で、アナモルフィックレンズによってキャプチャされた現実世界映像内でのコンピュータ生成物体の合成も有効になる。
【0087】
上記の処理６００において、介在するステップ６０２において、歪んでいない画像が生成されるが、実施形態において、歪んでいない画像は生成されなくてもよく、むしろ、処理６００は、画像アレイ１１５に記憶されたシーンの歪んだ画像内の位置が３D物体空間内の光線に直接マッピングされるように、ピンホールカメラモデル（アナモルフィック入射瞳モデル１１７によって任意的に適合される）およびアナモルフィックレンズ歪みモデル１１６を一緒に１つのステップで動作させてもよい。
【0088】
図５および図６に示す処理５００および６００は単なる例であり、画像処理装置１１０を使用する他のワークフローが可能である。例えば、キャプチャされた歪んだ画像は、画像処理装置１１０によって変換されてもよく、これにより、アナモルフィック撮像システムの効果を再現するための再度の後続の歪みの前に、コンピュータ生成画像を編集および追加するのがより容易であり得る。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】