特許 7605832 画像のデワープ回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】画像のデワープ回路

(51)【国際特許分類】

   G06T 5/80 20240101AFI20241217BHJP

   H04N 23/60 20230101ALI20241217BHJP

   H04N 23/698 20230101ALI20241217BHJP

【ＦＩ】

G06T5/80

H04N23/60 500

H04N23/698

【請求項の数】 10

(21)【出願番号】P 2022515656

(86)(22)【出願日】2020-06-03

(65)【公表番号】

(43)【公表日】2022-11-21

(86)【国際出願番号】 US2020035847

(87)【国際公開番号】W WO2021055027

(87)【国際公開日】2021-03-25

【審査請求日】2023-05-23

(31)【優先権主張番号】16/577,275

(32)【優先日】2019-09-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502161508

【氏名又は名称】シナプティクス インコーポレイテッド

(74)【代理人】

【識別番号】100205350

【弁理士】

【氏名又は名称】狩野 芳正

(74)【代理人】

【識別番号】100117617

【弁理士】

【氏名又は名称】中尾 圭策

(72)【発明者】

【氏名】マンチ、チャンドラナート

【審査官】高野 美帆子

(56)【参考文献】

【文献】米国特許出願公開第２０１３／００１６９１８（ＵＳ，Ａ１）

【文献】特開２０１７－０１７６７２（ＪＰ，Ａ）

【文献】特開２００９－１６４６７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／８０

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６９８

(57)【特許請求の範囲】

【請求項1】

画像処理のための方法であり、
順序付けられたシークエンスで、歪んだ画像空間における光景を描写する第１画像のピクセルを歪んだ画像空間から補正された画像空間へ再マッピングするための複数のデワープ行列を取得することと、
前記デワープ行列の前記順序に少なくとも部分的に基づいて、前記第１画像のピクセルのブロックを取得することと、
前記第１画像のピクセルの前記ブロックに基づいて、複数の画像タイルを生成することと、
前記複数の画像タイルを組み合わせて、補正された画像空間における前記光景を示す第２画像を生成することと、
を含み、
前記第２画像が、高さ及び幅が均一な複数のストライドに分割され、
各ストライドの前記高さが、前記画像タイルのうちの一つの高さと等しく、
各ストライドの前記幅が、前記第２画像の幅と等しく、
前記ストライドの各々が、順に並んだ２以上の前記画像タイルを含み、
前記第１画像のピクセルの前記ブロックを取得することが、
前記複数のストライドのうちの第１ストライドの前記画像タイルのそれぞれを生成するために用いられるピクセルの前記ブロックを特定し、かつ、前記第１ストライドの前記画像タイルを生成するために用いられるピクセルの前記ブロックが取得されるべき順序を特定する第１ルックアップテーブル（ＬＵＴ）を取得することと、
前記第１ＬＵＴに基づいて、前記第１ストライドの前記画像タイルを生成するために用いられるピクセルの前記ブロックを取得することと、
を含み、
前記画像タイルの各々は、１以上の前記デワープ行列をそれぞれ用いて、取得された１以上のピクセルの前記ブロックから補間される、
方法。

【請求項2】

前記ピクセルのブロックの各々が、前記第１画像のうちの複数の第１ピクセルを含み、
前記画像タイルの各々が、前記第２画像のうちの複数の第２ピクセルを含む、
請求項１の方法。

【請求項3】

ピクセルのブロックの各々に含まれる複数の前記第１ピクセルの数が、イメージタイルの各々に含まれる複数の前記第２ピクセルの数よりも多い、
請求項２の方法。

【請求項4】

前記順序付けられたシークエンスが、前記第２画像内の前記画像タイルのラスタ順序に少なくとも部分的に基づく、
請求項１から３のいずれか１つの方法。

【請求項5】

前記組み合わせることが、前記ラスタ順序で前記複数の画像タイルを記憶することを含む、
請求項４の方法。

【請求項6】

ピクセルの前記ブロックのうちの一つが、前記複数の画像タイルのうちの２以上の画像タイルの生成に使用されることを許容される
請求項１から５のいずれか１つの方法。

【請求項7】

前記デワープ行列を取得することが、
前記複数のストライドのうちの第１ストライドの前記画像タイルを生成するために用いられる前記デワープ行列を取得することと、
前記第１ストライドに対応する前記デワープ行列の各々が取得された後にのみ、前記複数のストライドのうちの第２ストライドの前記画像タイルを生成するために用いられる前記デワープ行列を取得することと、
を含む、
請求項６の方法。

【請求項8】

ピクセルの前記ブロックを取得することが、更に、
前記第１ＬＵＴによって特定されるピクセルの前記ブロックの各々が取得された後にのみ、前記複数のストライドのうちの第２ストライドの前記画像タイルのそれぞれを生成するために用いられるピクセルの前記ブロックを特定し、かつ、前記第２ストライドの前記画像タイルのそれぞれを生成するために用いられるピクセルの前記ブロックが取得されるべき順序を特定する第２ＬＵＴを取得すること、
を含む、
請求項６または７の方法。

【請求項9】

メモリバッファと、
ハードウェアロジックと、
を備え、
前記ハードウェアロジックが、
順序付けられたシークエンスで、歪んだ画像空間における光景を描写する第１画像のピクセルを歪んだ画像空間から補正された画像空間へ再マッピングするための複数のデワープ行列を取得し、
前記デワープ行列の前記順序に少なくとも部分的に基づいて、前記第１画像のピクセルのブロックを前記メモリバッファに読み出し、
前記第１画像のピクセルの前記ブロックに基づいて、複数の画像タイルを生成し、
前記複数の画像タイルを外部メモリに書き出して、補正された画像空間上の前記光景を示す第２画像を生成する、
ように構成され、
前記第２画像が、高さ及び幅が均一な複数のストライドに分割され、
各ストライドの前記高さが、前記画像タイルのうちの一つの高さと等しく、
各ストライドの前記幅が、前記第２画像の幅と等しく、
前記ストライドの各々が、順に並んだ２以上の前記画像タイルを含み、
前記第１画像のピクセルの前記ブロックを取得することが、
前記複数のストライドのうちの第１ストライドの前記画像タイルのそれぞれを生成するために用いられるピクセルの前記ブロックを特定し、かつ、前記第１ストライドの前記画像タイルのそれぞれを生成するために用いられるピクセルの前記ブロックが取得されるべき順序を特定する第１ルックアップテーブル（ＬＵＴ）を取得することと、
前記第１ＬＵＴに基づいて前記第１画像のピクセルの前記ブロックを取得することと、
を含み、
前記画像タイルの各々は、１以上の前記デワープ行列をそれぞれ用いて、取得された１以上のピクセルの前記ブロックから補間される、
デワープ回路。

【請求項10】

システムであり、
プロセッサと、
命令を記憶するメモリと、
デワープ回路と、
を備え、
前記命令は、前記プロセッサによって実行されたときに、前記システムに、順序付けられたシークエンスで、歪んだ画像空間から補正された画像空間へピクセルを再マッピングするための複数のデワープ行列を生成することを行わせ、
前記デワープ回路が、
前記デワープ行列の前記順序に少なくとも部分的に基づいて、前記歪んだ画像空間における光景を示す第１画像のピクセルのブロックを取得し、
前記第１画像のピクセルの前記ブロックに基づいて、複数の画像タイルを生成し、
前記複数の画像タイルを組み合わせて、前記補正された画像空間における前記光景を示す第２画像を生成する、
ように構成され、
前記第２画像が、高さ及び幅が均一な複数のストライドに分割され、
各ストライドの前記高さが、前記画像タイルのうちの一つの高さと等しく、
各ストライドの前記幅が、前記第２画像の幅と等しく、
前記ストライドの各々が、順に並んだ２以上の前記画像タイルを含み、
前記第１画像のピクセルの前記ブロックを取得することが、
前記複数のストライドのうちの第１ストライドの前記画像タイルのそれぞれを生成するために用いられるピクセルの前記ブロックを特定し、かつ、前記第１ストライドの前記画像タイルのそれぞれを生成するために用いられるピクセルの前記ブロックが取得されるべき順序を特定する第１ルックアップテーブル（ＬＵＴ）を取得することと、
前記第１ＬＵＴに基づいて前記第１画像のピクセルの前記ブロックを取得することと、
を含み、
前記画像タイルの各々は、１以上の前記デワープ行列をそれぞれ用いて、取得された１以上のピクセルの前記ブロックから補間される、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、一般には、画像処理に関する。

【背景技術】

【0002】

画像処理は、画像撮影デバイス（カメラなど）の能力または制限を考慮して、元の光景をできるだけ正確に再現し得るように、撮影された画像をディスプレイ上に描写することを可能にする。例えば、広角レンズは、標準的なレクティリニアレンズよりも大きな視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）（ＦＯＶ）を撮影するために使用される場合がある。しかしながら、広角レンズは、撮影された画像に幾何学的な非線形の歪みをまた導入する。幾何学的な歪みの例としては、放射状歪み又は樽状歪み、及び、接線歪み等が挙げられる。したがって、画像処理は、光景がより直線的に示されるように、撮影された画像の幾何学的な歪みを補正する場合がある。レンズ光学系及び／又は画像撮影デバイスのパースペクティブによって導入された幾何学的な歪みを逆転させるプロセスは、しばしばデワープと呼ばれる。

【発明の概要】

【0003】

この要約は、以下の詳細な説明において更に説明される概念の選択を、簡略な態様で紹介するために提供される。この要約は、請求された主題のキーとなる特徴、又は、必須の特徴を特定することを意図したものではなく、請求された主題の範囲を制限することを意図したものでもない。

【0004】

画像処理のための方法及び装置が開示される。本開示の革新的な一側面は、画像処理の方法として実装され得る。いくつかの実施形態では、当該方法は、順序付けられたシークエンスで、歪んだ画像空間における光景を描写する第１画像のピクセルを歪んだ画像空間から補正された画像空間へ再マッピングするための複数のデワープ行列を取得するステップと、デワープ行列の順序に少なくとも部分的に基づいて、第１画像のピクセルのブロックを取得するステップと、第１画像のピクセルのブロックに基づいて、複数の画像タイルを生成するステップであり、ここで、画像タイルの各々は、１以上のデワープ行列をそれぞれ用いて、取得された１以上のピクセルのブロックから補間されるステップと、複数の画像タイルを組み合わせて、補正された画像空間上の光景を示す第２画像を生成するステップと、を含む場合がある。

【0005】

本開示の革新的な他の側面は、画像処理システムとして実装され得る。いくつかの実施形態では、当該システムは、プロセッサと、メモリと、デワープ回路と、を備える場合がある。当該メモリは、プロセッサによって実行されたときに、システムに、順序付けられたシークエンスで、歪んだ画像空間から補正された画像空間へピクセルを再マッピングするための複数のデワープ行列を生成することを行わせる。

【0006】

デワープ回路は、デワープ行列の順序に少なくとも部分的に基づいて、歪んだ画像空間における光景を示す第１画像のピクセルのブロックを取得し、第１画像のピクセルのブロックに基づいて、複数の画像タイルを生成し、ここで、画像タイルの各々は、１以上のデワープ行列をそれぞれ用いて、取得された１以上のピクセルのブロックから補間され、複数の画像タイルを組み合わせて、補正された画像空間における光景を示す第２画像を生成する、ように構成される。

【図面の簡単な説明】

【0007】

本実施形態は、例として示されており、添付の図面の図によって限定されることを意図するものではない。

【0008】

【図1】図１は、いくつかの実施形態に係る、画像撮影及び表示システムのブロック図を示す。

【0009】

【図2】図２は、いくつかの実施形態に係る、レンズ幾何学歪み補正（ｌｅｎｓ ｇｅｏｍｅｔｒｉｃ ｄｉｓｔｏｒｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ）（ＬＧＤＣ）回路のブロック図を示す。

【0010】

【図3】図３は、いくつかの実施形態に係る、例示的な補正された画像空間を示す。

【0011】

【図4】図４は、補正された画像空間と歪んだ画像空間との間の例示的なピクセルマッピングを示す。

【0012】

【図5】図５は、いくつかの実施形態に係る、ＬＧＤＣシステムのブロック図を示す。

【0013】

【図6】図６は、いくつかの実施形態に係る、画像空間再マッピング制御器のブロック図を示す。

【0014】

【図7】図７は、いくつかの実施形態に係る、タイルデワープ回路のブロック図を示す。

【0015】

【図8】図８は、いくつかの実施形態に係る、画像空間再マッピング制御器の他のブロック図を示す。

【0016】

【図9】図９は、いくつかの実施形態に係る、例示的な画像処理動作を示す例示的なフローチャートである。

【発明を実施するための形態】

【0017】

以下の説明では、本開示の十分な理解を提供するために、具体的なコンポーネント、回路、及び、処理の例のような、多くの具体的な詳細が示される。本明細書で使われる「結合された」という言葉は、直接に接続されている、又は、仲介する１以上のコンポーネント又は回路を介して接続されていることを意味する。更に、以下の説明において、及び、説明を目的として、本開示の態様の十分な理解を提供するために、特定の命名法が用いられる。しかし、例示的な実施形態を実施するために、これらの具体的な詳細が必要でない場合があることが当業者には明らかであろう。他の例では、本開示が不明確になることを避けるために、周知の回路及びデバイスがブロック図の形式で示される。以下の詳細な説明のいくつかの部分は、過程、ロジックブロック、処理、及び、コンピュータのメモリ内のデータビットへの操作を他の記号で表現したもの、という形で提示されている。回路素子又はソフトウェアブロック間の相互接続は、バス又は単一の信号線として示される場合がある。バスのそれぞれは、代替的に単一の信号線であってもよく、単一の信号線のそれぞれは、代替的にバスであっても良く、単一の信号線又はバスは、コンポーネント間の通信のための無数の物理的又は論理的なメカニズムのうちの任意の１以上を表し得る。

【0018】

後述の議論から明らかなように、特にそうでないと述べられていない場合には、本出願を通して、「アクセスする」、「受信する」、「送信する」、「用いる」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均する」、「モニタする」、「比較する」、「適用する」、「更新する」、「計測する」、「導出する」、等のような表現を用いて行われる議論は、コンピュータシステム（又は同様の電子計算デバイス）のアクション及び処理を参照していると認められる。これらのコンピュータシステム（又は同様の電子計算デバイス）は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として示されるデータを、コンピュータシステムのメモリ若しくはレジスタ、又は他のそのような情報ストレージ、伝送器、又は表示デバイス内の物理量として同様に示される他のデータに操作及び変換する。

【0019】

本明細書で説明されている技術は、特定の方法で実施されると特に記載されない限り、ハードウェア、ソフトウェア、ファームウェア、又は、それらの任意の組み合わせで実施され得る。モジュール又はコンポーネントとして説明されている任意の構成は、集積ロジックデバイスにまとめて実装されるか、又は、個別に分離されているが相互運用が可能なロジックデバイスとして実装される場合もある。ソフトウェアで実装される場合、本技術は、実行されたときに上述の１以上の方法を実現する命令を含む、コンピュータ読取り可能な非一時的記憶媒体によって少なくとも部分的に実現される場合がある。コンピュータ読取り可能な非一時的記憶媒体は、コンピュータプログラム製品の一部を形成する場合がある。なお、コンピュータプログラム製品は、梱包材を含む場合がある。

【0020】

非一時的なプロセッサ読取り可能な記憶媒体は、同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＲＡＭ）、リードオンリーメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＮＶＲＡＭ）、電子的消去可能プログラマブルリードオンリーメモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）（ＥＥＰＲＯＭ）、フラッシュメモリ、他の既知の記憶媒体等、を含んでもよい。本技術は追加的に、あるいは代替的に、少なくとも一部が、コードを命令又はデータ構造の形で伝達または通信し、かつ、コンピュータ又は他のプロセッサによってアクセス、読取り、及び／又は、実行が可能な、プロセッサ読取り可能な通信媒体によって実現され得る。

【0021】

本明細書で開示される実施形態に関して説明される様々な例示的なロジックブロック、モジュール、回路、及び、命令は、１以上のプロセッサによって実行され得る。本明細書で用いられる「プロセッサ」という用語は、任意の汎用プロセッサ、従来のプロセッサ、コントローラ、マイクロコントローラ、特定用途プロセッサ、及び／又は、メモリに記憶された１以上のソフトウェアプログラムのスクリプト又は命令を実行可能な状態機械、を示す場合がある。

【0022】

図１は、いくつかの実施形態に係る、画像撮影及び表示システム１００のブロック図である。システム１００は、画像撮影デバイス１１０と、画像プロセッサ１２０と、画像表示デバイス１３０と、を備える。画像撮影デバイス１１０は、光景からの光１０１のパターンを撮影し、撮影した光１０１をデジタルの画像撮影データ１０２に変換する。画像撮影データ１０２は、光景を示すデジタル画像に対応する場合がある。画像表示デバイス１３０は、対応する表示面上に光パターンを再現することにより、デジタル画像を表示する。いくつかの態様において、画像撮影デバイス１１０はカメラであってもよく、画像表示デバイス１３０は（テレビ、コンピュータモニタ、及び、スマートフォン等のような）電子ディスプレイであってもよい。

【0023】

画像プロセッサ１２０は、画像撮影データ１０２に対して画像処理を行って、画像表示デバイス１３０上で（画像撮影デバイス１１０によって撮影された）元の光景をより正確に再現するために使用可能な画像描写データ１０３を生成する。いくつかの実施形態では、画像プロセッサ１２０は、画像撮影デバイス１１０に組み込まれるか、さもなくば、画像撮影デバイス１１０に含まれている場合がある。画像プロセッサ１２０は、画像信号処理（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）（ＩＳＰ）モジュール１２２と、レンズ幾何学歪み補正（ＬＧＤＣ）モジュール１２４と、を備える。ＩＳＰモジュール１２２は、デジタル画像の品質を向上させるために、画像撮影データ１０２内の様々なピクセル歪みを補正する場合がある。例示的なピクセル歪みには、周辺光量低下、収差、及びノイズが含まれるが、これらに限定されない。

【0024】

ＬＧＤＣモジュール１２４は、画像表示デバイス１３０上での表示により適した又は最適化された別の画像空間に、画像撮影データ１０２を変換または転送する場合がある。例えば、画像撮影デバイスの広角レンズは、画像撮影データ１０２に写された光景に（放射状又は樽状歪み、接線歪み、台形歪み、等といった）幾何学的な歪みを導入する場合がある。したがって、ＬＧＤＣモジュール１２４は、撮影された画像又は光景が画像表示デバイス１３０上でより直線的に見えるように、画像撮影デバイス１１０によって導入された幾何学的歪みを補正するように構成される場合がある。いくつかの実施形態では、画像描写データ１０３は、画像表示デバイス１３０に加えて、又は画像表示デバイス１３０に代えて、他のデバイスに提供される場合がある。例えば、コンピュータビジョン処理は、直線化された画像から利益を得る場合がある。コンピュータビジョン処理の例は、顔検出、物体検出、及び物体の追跡を含む場合があるが、これらに限定されない。

【0025】

本開示の態様は、特定のアプリケーションが、画像撮影データ１０２の処理をほぼリアルタイムで行う必要がある場合があることを認識している。例示的なリアルタイムアプリケーションには、（コンテンツ配信ネットワーク、ビデオ監視システム、ビデオ会議システム、等からのものといった）ストリーミングビデオのアプリケーション、及び、（顔認識システム、自動車運転支援システム、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）（ＡＲ）システムといった）コンピュータビジョンのアプリケーションが含まれるが、これらに限定されない。しかしながら、ＬＧＤＣの作動には、複雑な計算とデータ操作が必要である。完全にソフトウェア上でデワープを行う解法は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）（ＣＰＵ）の帯域幅又は処理能力の相当の部分を消費する場合がある。一方、完全にハードウェアのデワープアーキテクチャは、かなりの領域を占有する上、幾何学な構成が異なるレンズに対してデワープのアルゴリズムを再構成又は調整するための柔軟性が制限される場合がある。

【0026】

いくつかの実施形態では、画像プロセッサ１２０は、ハードウェア及びソフトウェアを組み合わせたソリューションとして、ＬＧＤＣモジュール１２４を実装する場合がある。より詳細には、本開示の態様は、（例えば、ＣＰＵ又は特定用途プロセッサによって実行される）ソフトウェアの柔軟性と拡張性を活用して、画像撮影デバイス１１０のレンズのパラメータに基づいて画像撮影データ１０２の１以上のピクセルを画像描写データ１０３の１以上のピクセルに再マッピングするための命令を生成する場合がある。本開示の態様は、更に、ハードウェアロジックの速度及び帯域幅を活用して、ＣＰＵによって生成された命令によって規定された計算及びデータ操作を実行する場合がある。

【0027】

いくつかの実施形態では、画像描写データ１０３の画像空間（例えば、「補正された画像空間」）は、デワープ操作がより細かい粒度で実行され得るように、複数のタイルに分割化又は細分化される場合がある。例えば、各タイルのサイズは、ＬＧＤＣモジュール１２４のメモリ帯域幅に少なくとも部分的に基づいて構成又は最適化される場合がある。タイルの粒度でピクセル再マッピング操作を実行することにより、画像撮影データ１０２のフレームまたは画像をデワープするために必要なハードウェアのオーバーヘッドの量が大幅に削減される。これは更に、画像描写データ１０３がほぼリアルタイムで生成可能となるように、画像処理のレイテンシ又は遅延を低減する場合がある。

【0028】

図２は、いくつかの実施形態に係る、レンズ幾何学的歪み補正（ＬＧＤＣ）回路２００のブロック図である。ＬＧＤＣ回路２００は、図１のＬＧＤＣモジュール１２４の一実施形態であり得る。そのため、ＬＧＤＣ回路２００は、歪んだ画像２０２の幾何学的な歪みを補正するように構成される場合がある。例えば、幾何学的な歪みは、歪んだ画像２０２を取得するために、又は、そうでなければ歪んだ画像２０２を生成するために使用される画像撮影デバイスのレンズ及び／又は他の特性によって導入される場合がある。いくつかの実施形態では、デワープ回路部２１０は、補正された画像２０４が実質的に直線的に見えるように、歪んだ画像２０２の１以上のピクセルを補正された画像２０４の１以上のピクセルに再マッピングするように構成される場合がある。

【0029】

図２の実施形態では、歪んだ画像２０２は、広角レンズを有するカメラ（又は他の画像撮影デバイス）によって撮影される場合がある。その結果、歪んだ画像２０２に描写された光景には、放射状に歪んで見える。例えば、（建物といった）直線を有する物体は、歪んだ画像２０２においては湾曲して見える。これに対し、補正された画像２０４に描かれた光景は、直線的に見える。例えば、直線を有する物体は、補正された画像２０４において直線的に見える。本明細書で使用する場合、「歪んだ画像空間、又は、ＤＩＳ（ｄｉｓｔｏｒｔｅｄ ｉｍａｇｅ ｓｐａｃｅ）」との用語は、歪んだ画像２０２の画像空間（例えば、デワープ前）を示し、「補正画像空間、又は、ＣＩＳ（ｃｏｒｒｅｃｔｅｄ ｉｍａｇｅ ｓｐａｃｅ）」との用語は、補正された画像２０４の画像空間（例えば、デワープ後）を示す。

【0030】

ＬＧＤＣ回路２００は、デワープ回路部２１０とメモリ２２０とを含む。デワープ回路部２１０は、歪んだ画像２０２に対応する画像データを受信する場合があり、補正された画像２０４に対応する補正された画像データを出力する場合がある。いくつかの態様において、補正された画像２０４は、歪んだ画像２０２と同じ寸法（例えば、ピクセルの高さ及びピクセルの幅）を有している場合がある。しかしながら、補正された画像２０４には、歪んだ画像２０２よりも少ない光景が描写される場合がある。例えば、歪んだ画像２０２の左上隅にある建物は、補正された画像２０４には描写されない。そして、デワープ回路部２１０は、歪んだ画像２０２の１以上のピクセルから補正された画像２０４の各ピクセルを補間する場合がある。

【0031】

いくつかの実施形態では、デワープ回路２１０は、画像撮影デバイスのカメラの１以上のレンズパラメータ２０６に少なくとも部分的に基づいて、歪んだ画像空間から補正された画像空間へのピクセルの再マッピングを決定する場合がある。例示的なレンズパラメータ２０６は、レンズの幾何学な構成及び焦点距離を含む場合があるが、これらに限定されない。デワープ処理は、カメラレンズによって導入された幾何学的歪みを逆転させることであるため、ピクセルの再マッピングは、カメラのレンズによって作成されたピクセルのマッピングの逆である場合がある。いくつかの態様では、デワープ回路部２１０は、多項式のレンズモデルに基づいてピクセルの再マッピング計算を決定する場合がある。いくつかの他の態様では、デワープ回路部２１０は、非多項式のレンズモデルに基づいてピクセル再マッピング計算を決定する場合がある。

【0032】

メモリ２２０は、デワーピングの処理を完了するために必要な任意のデータを記憶またはバッファするように構成される場合がある。メモリ２２０に記憶されたデータは、カメラのレンズパラメータ２０６、ピクセルの再マッピング計算（例えば、行列）、歪んだ画像のブロックをフェッチするためのインデックスの順序、歪んだ画像２０２の画像データ、及び補正された画像２０４の画像データを含み得るが、これらに限定されない。メモリ２２０の記憶容量は限られているため、歪んだ画像２０２及び／又は補正された画像２０４のフレーム全体についてのピクセルデータの完全なセットを記憶することは（不可能ではないにしても）非効率的であり得る。そのため、いくつかの実施形態では、ＬＧＤＣ回路２００は、補正された画像２０４の小部分（例えば、タイル）を一度に生成するように構成される場合がある。補正された画像２０４の各部分は、歪んだ画像２０２のピクセルのうち相対的に小さいサブセット（例えば、ブロック）上のみで補間されるため、本開示の態様は、メモリ２２０のメモリ帯域幅の要件を大幅に低減させ得る。

【0033】

図３は、いくつかの実施形態に係る、例示的な補正された画像空間３００を示す。補正された画像空間３００は、図２の補正された画像２０４の画像空間の一実施形態であり得る。図３に示すように、補正された画像空間３００は、サイズが等しい又はサイズが均一な複数のタイルＴ１（１）－Ｔｎ（ｍ）に分割又は細分化される。各タイルは、補正された画像空間３００の複数のピクセルを含む場合がある。いくつかの実施形態では、各タイルのサイズ（例えば、ピクセルの高さ及びピクセルの幅）は、少なくとも部分的に、（図２のメモリ２２０のような）ＬＧＤＣ回路のメモリ帯域幅に基づく場合がある。いくつかの他の実施形態では、各タイルのサイズは、少なくとも部分的に、補正された画像（図２の補正された画像２０４など）のピクセル深度及び／又はカラーフォーマットに基づく場合がある。

【0034】

タイルの各列は、それぞれにストライドを形成する場合がある。例えば、ストライドＳ１はタイルＴ１（１）－Ｔ１（ｍ）を含む場合があり、ストライドＳ２はタイルＴ２（１）－Ｔ２（ｍ）を含む場合があり、ストライドＳ３はタイルＴ３（１）－Ｔ３（ｍ）、を含む場合があり、以下同様である。したがって、ストライドＳ１－Ｓｎはそれぞれ、補正された画像空間３００の幅（例えば、タイルＴ１（１）－Ｔ１（ｍ）のピクセルを組み合わせた幅に対応する）に渡る場合があり、タイルのうちの１ピクセルの高さに等しい高さを有する場合がある。いくつかの実施形態において、デワープ処理は、ラスタ順序で、一度に１ストライドずつ、タイルのそれぞれに対して実行される場合がある。例えば、デワープ回路部は、ストライドＳ２の各タイルを左から右へ（たとえば、Ｔ２（１）、Ｔ２（２）、…、Ｔ２（ｍ））処理する前に、ストライドＳ１の各タイルを連続的に処理する場合がある（たとえば、Ｔ１（１）、Ｔ１（２）、…、Ｔ１（ｍ））。

【0035】

各ストライドのサイズ及び寸法は、少なくとも部分的に、表示更新のラスタ順序及び／又は各更新の粒度に基づく場合がある。図３の実施形態では、例えば、水平表示更新のためのほぼリアルタイムのデワープをサポートするために、ストライドＳ１－Ｓｎが補正された画像空間３００の水平行と対応するように示されている。他の実施形態では、例えば、垂直表示更新のためのほぼリアルタイムのデワープをサポートするために、ストライドが補正された画像空間３００の垂直列と対応する場合がある。例えば、デワープ回路部は、タイルの次の列について上から下へ（例えば、Ｔ１（２）、Ｔ２（２）、…、Ｔｎ（２））行う処理に進む前に、タイルの列全体を上から下へ（例えば、Ｔ１（１）、Ｔ２（１）、…、Ｔｎ（１））連続的に処理する場合がある。さらに、いくつかの実施形態では、補正された画像空間３００の複数のストライドが同時に処理される場合がある（例えば、マルチスレッドを用いて）。

【0036】

本開示の態様は、補正された画像空間３００と歪んだ画像空間との間のピクセルのマッピングが非線形であり得ることを認識している。図２の例を参照して、幾何学的な歪みは、画像の中心と比較して、歪んだ画像２０２のエッジ又は周辺部でより顕著になる場合がある。したがって、補正された画像２０４の中心部のピクセルは、歪んだ画像２０２の中心部のピクセルにマッピングされる可能性がある。しかしながら、補正された画像２０４の角及び縁におけるピクセルは、歪んだ画像２０２のそれぞれの角及び縁におけるピクセルにマッピングされない場合がある。むしろ、補正された画像２０４の角及び縁のピクセルは、歪んだ画像２０２の中心により近いピクセルにマッピングされる場合がある。

【0037】

図４は、補正された画像空間４１０と歪んだ画像空間４２０との間の例示的なピクセルマッピング４００を示す。補正された画像空間４１０は、図３の補正された画像空間３００の一実施形態であり得る。図４の実施形態では、歪んだ画像空間４２０の中心部では、比較的、歪みが顕著でない。例えば、補正された画像空間４１０の中心におけるタイル４１２は、歪んだ画像空間４２０の中心におけるピクセル４２２のブロックにマッピングされる場合がある。しかしながら、歪んだ画像空間４２０のエッジに向かって歪みが顕著に大きくなる。例えば、補正された画像空間４１０の左上隅のタイル４１４、タイル４１６、及び、タイル４１８はそれぞれに、歪んだ画像空間４２０のピクセル４２４の同じブロックにマッピングされる場合がある。

【0038】

そのため、いくつかの実施形態では、それぞれのデワープ行列（または行列のセット）が、補正された画像空間４１０の各タイルについて生成される場合がある。各デワープ行列は、補正された画像空間４１０の特定のタイルと、歪んだ画像空間４２０内の対応するピクセルのブロックとの間のピクセルマッピングを定義する場合がある。いくつかの実施形態では、歪んだ画像空間４２０内のピクセルの各ブロックのサイズ（例えば、ピクセルの高さ及びピクセルの幅）は、少なくとも部分的に、補正された画像空間４１０の各タイルのサイズ及び／又はＬＧＤＣ回路部のメモリ帯域幅に基づく場合がある。いくつかの態様において、補正された画像空間４１０のブロックのサイズ、及び、歪んだ画像空間４２０のタイルのサイズは、メモリ記憶フォーマットのタイル粒度に少なくとも部分的に基づいて構成される場合がある。より詳細には、タイルの粒度は、メモリに記憶された画像の画像フォーマット及びピクセル深度に応じて、ブロック及び／又はタイルのサイズを制限する場合がある。

【0039】

いくつかの実施形態では、補正された画像空間４１０のブロックのサイズと歪んだ画像空間４２０のタイルのサイズとの間の関係もまた、１以上のレンズ歪みパラメータに関連して変化する場合がある。例えば、歪んだ画像空間４２０が補正された画像空間４１０よりも実質的に広い視野を表すとき、歪んだ画像空間４２０のブロックサイズは、補正された画像空間４１０のタイルサイズよりも有意に大きくなる場合がある。しかしながら、それほど大きくない歪みについては、歪んだ画像空間４２０のブロックのサイズが、補正された画像空間４１０のタイルのサイズと近くなる場合がある。いくつかの態様において、歪んだ画像空間４２０のブロックは、補正された画像空間４１０のタイルよりも（例えば、少なくとも２倍のサイズで）大きい場合がある。以下でより詳細に説明するように、これは、補正された画像空間４１０の各タイルの処理のために必要となるブロック読出し処理（例えば、メモリからの）の数及び／又は頻度を低減させる場合がある。

【0040】

図５は、いくつかの実施形態に係る、ＬＧＤＣシステム５００のブロック図である。ＬＧＤＣシステム５００は、図２のＬＧＤＣ回路２００の一実施形態であり得る。したがって、ＬＧＤＣシステム５００は、画像撮影データ５０１内の幾何学的な歪みを補正するように構成される場合がある。ＬＧＤＣシステム５００は、画像空間再マッピング制御器５１０と、メモリ５２０と、タイルデワープ回路５３０と、を備える。

【0041】

画像空間再マッピング制御器５１０は、画像撮影データ５０１のピクセルを歪んだ画像空間から補正された画像空間へ再マッピングするために用いられる再マッピングデータ５０２を生成するように構成される場合がある。いくつかの実施形態では、再マッピングデータ５０２は、複数のデワープ行列と、デワープ行列によって使用されるべき、画像撮影データ５０１のピクセルのブロックを特定する複数のルックアップテーブル（ｌｏｏｋｕｐ ｔａｂｌｅ）（ＬＵＴ）と、を備える場合がある。図３及び図４に関連して説明したように、各デワープ行列は、補正された画像空間のそれぞれのタイルと歪んだ画像空間の１以上のピクセルのブロックとの間のピクセルマッピングを定義する場合がある。したがって、デワープ行列は、デワープ回路５３０によって実行されるべき一連のデワープ処理（例えば、計算）を定義する場合がある。

【0042】

画像空間再マッピング制御器５１０は、画像撮影データ５０１を撮影するために使用される画像撮影デバイスに関連付けられたレンズ構成データ５０３に少なくとも部分的に基づいて、デワープ行列を生成する場合がある。例えば、レンズ構成データ５０３は、画像撮影デバイスの（レンズの幾何学的な構成及び焦点距離といった）１以上のレンズパラメータを示す場合がある。いくつかの態様において、レンズ構成データ５０３は、デバイスの製造段階において再マッピング制御器５１０に提供される場合がある。いくつかの他の態様では、レンズ構成データ５０３及び／又は新たなレンズ構成データは、ＬＧＤＣシステム５００の製造後の任意の時点において再マッピング制御器５１０に提供される場合がある。したがって、ＬＧＤＣシステム５００は、様々な画像撮影デバイスによって撮影された画像をデワープするように構成（および再構成）される場合がある。

【0043】

ＬＵＴは、画像撮影データ５０１のピクセルのブロックがデワープ回路５３０によって取得され処理されるその順序を特定する場合がある。ＬＵＴによって特定されるブロックの順序は、少なくとも部分的に、デワープ回路５３０によってデワープ行列が実行されるべき順序に基づく場合がある。より詳細には、ＬＵＴは、デワープ回路５３０が、補正された画像空間の各タイルを補間するために、正しい順序で、ピクセルの必要なブロックを取得することを保証する場合がある。いくつかの実施形態において（例えば、図３に関連して上記で説明したように）、デワープ行列は、デワープ回路５３０によってラスタ順序で処理される場合がある。したがって、ＬＵＴによって特定されるブロックの順序もまた、補正された画像空間におけるタイルのラスタ順序に依存する場合がある。

【0044】

メモリ５２０は、デワープ処理を完了するために必要な任意のデータを記憶またはバッファリングするように構成される場合がある。いくつかの実施形態では、メモリ５２０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）である場合がある。メモリ５２０は、再マッピングデータストア５２２、歪画像空間（ＤＩＳ）画像データストア５２４、及び、補正画像空間（ＣＩＳ）画像データストア５２６を含む場合がある。再マッピングデータストア５２２は、再マッピング制御器からの再マッピングデータ５０２を記憶又はバッファリングする場合がある。ＤＩＳ画像データストア５２４は、画像撮影データ５０１を記憶又はバッファリングする場合がある。いくつかの態様では、ＤＩＳ画像データストア５２４は、歪んだ画像空間における光景を描写するフルフレームのピクセルデータを記憶するように構成される場合がある。ＣＩＳ画像データストア５２６は、（図１の画像表示デバイス１３０のような）別のデバイスまたは電子システムに出力されるべき画像描写データ５０７を記憶またはバッファリングする場合がある。いくつかの態様では、ＣＩＳ画像データストア５２６は、補正された画像空間における光景を描写するフルフレームのピクセルデータを記憶するように構成される場合がある。

【0045】

デワープ回路５３０は、画像撮影データ５０１に基づいて画像描写データ５０７を生成するように構成される場合がある。例えば、デワープ回路５３０は、画像撮影データ５０１の１以上のピクセルから、（例えば、双三次補間の技術を用いて）画像描写データ５０７の各ピクセルを補間する場合がある。いくつかの実施形態では、デワープ回路５３０は、補正された画像空間のタイルごとの粒度で作動する場合がある。より詳細には、デワープ回路５３０は、再マッピングデータストア５２２に記憶されるデワープ行列の順序（例えば、ラスタ順序）に基づき、補正された画像空間の各タイルを順次、処理する場合がある。

【0046】

デワープ回路５３０は、再マッピングデータストア５２２から再マッピングデータ５０２を取得して、補正された画像空間の各タイルに対応するデワープ行列を決定する場合がある。デワープ回路５３０はまた、再マッピングデータ５０２に含まれるＬＵＴに基づいて、処理される（例えば、画像撮影データ５０１の）ピクセルのブロックを決定する場合がある。例えば、デワープ回路５３０は、ＬＵＴによって特定される順序で、ＤＩＳ画像データストア５２４から１以上のＤＩＳ画像ブロック５０４を取得する場合がある。デワープ回路５３０は、デワープ行列によって定義されるように、ＤＩＳ画像ブロック５０４に対して双三次補間を実行し、１以上のＣＩＳ画像タイル５０６を生成する場合がある。デワープ回路５３０はそして、ＣＩＳ画像タイル５０６を画像描写データ５０７としてＣＩＳ画像データストア５２６に記憶する場合がある。したがって、ＣＩＳ画像タイル５０６は、補正された画像空間における画像撮影データ５０１の光景を描写するフルフレームの画像を生成するために、（たとえば、ラスタ順序で）組み合わされる場合がある。

【0047】

いくつかの実施形態では、再マッピング制御器５１０は、ソフトウェアで実現される場合がある。例えば、再マッピング制御器５１０は、汎用のプロセッサ又はＣＰＵによって実行される命令のセットを含む場合がある。これにより、デワープ行列の設計及び／又は構成において、より大きなスケーラビリティ及び柔軟性が提供される。例えば、カメラレンズの幾何学的歪みを反転させるためのアルゴリズムは、ユーザによって設定可能（及び再構成可能）である場合がある。したがって、本開示の態様は、（例えば、放射状歪みの、又は、接線歪みを補正するために）多項式のレンズモデルまたは非多項式のレンズモデルに基づくデワープ行列をサポートする場合がある。いくつかの他の態様において、デワープ行列は、チルト、ズーム、回転、及び、焦点の変更を含む（だがこれらに限定されない）追加的な幾何学的歪み補正をサポートするように構成または更新される場合がある。

【0048】

いくつかの実施形態において、デワープ回路５３０は、ハードウェアで実装される場合がある。例えば、デワープ回路５３０は、双三次補間または他のピクセル再マッピング機能といった、デワープ行列によって定義される計算又は数学的演算を実行するためにハードウェア化された、トランジスタまたはロジックゲートのセットを備える場合がある。これは、画像描写データ５０７を補間する際に、より速い速度及び帯域幅を提供する。タイルサイズの粒度で画像描写データ５０７を処理することによって、本開示の態様は、利用可能な帯域幅およびリソースの使用を最適化しつつも、デワープ処理のレイテンシを更に減少させ得る。その結果、画像描写データ５０７のフレームは、（たとえば、画像撮影データ５０１がシステム５００によって受信されるのと実質的に同じ速度で、画像描写データ５０７がＬＧＤＣシステム５００によって出力されるように）ほぼリアルタイムで生成され得る。

【0049】

図６は、いくつかの実施形態に係る、画像空間再マッピング制御器６００のブロック図である。再マッピング制御器６００は、図５の画像空間再マッピング制御器５１０の一実施形態であり得る。したがって、再マッピング制御器６００は、図５の画像撮影データ５０１のピクセルを歪んだ画像空間から補正された画像空間へ再マッピングするために使用するべき再マッピングデータを生成するように構成される場合がある。いくつかの実施形態では、再マッピング制御器６００は、補正画像空間（ＣＩＳ）の各ストライド６０２についてストライド再マッピングデータセット６０４を生成する場合がある。再マッピング制御器６００は、デワープ行列生成器６１０及び画像ブロックＬＵＴ生成器６２０を備える。

【0050】

デワープ行列生成器６１０は、少なくとも部分的に、画像撮影デバイスに関連付けられたレンズ構成データ６０３に基づいて、複数のデワープ行列Ｍ（１）－Ｍ（ｍ）を生成するように構成される。各デワープ行列Ｍ１（１）－Ｍ（ｍ）は、現在のＣＩＳ行列ストライド６０２のうちのそれぞれのＣＩＳ行列タイルＴ（１）－Ｔ（ｍ）と関連付けられる場合がある。各ＣＩＳ行列タイルＴ（）の行列要素は、ＣＩＳピクセルの行及び列のインデックスを参照し得る。いくつかの実施形態では、デワープ行列Ｍ（１）－Ｍ（ｍ）は、ＣＩＳのピクセルと歪画像空間（ＤＩＳ）のピクセルとの間のピクセルマッピングを定義する場合がある。したがって、各デワープ行列Ｍ（）の行列要素は、ＤＩＳピクセルの行及び列のインデックスを参照し得る。

【0051】

いくつかの実施形態では、行列生成器６１０は、（例えば、図３に関連して上記で説明したように）ＣＩＳ行列タイルＴ（１）－Ｔ（ｍ）の各々をラスタ順序で処理する場合がある。いくつかの態様において、デワープ行列の各要素は、参照されたＤＩＳブロック内のピクセルへの高精度なピクセル参照を含む場合がある。所与のＣＩＳ行列タイルの各ピクセルを処理するときに、関連するデワープ行列の要素はまた、そこからピクセルが補間されるべきＤＩＳブロック内のピクセル内ＤＩＳピクセルを参照するための１以上の部分座標を特定する。

【0052】

画像ブロックＬＵＴ生成器６２０は、各ＣＩＳ行列ストライド６０２に対して、ブロックルックアップテーブル（ＬＵＴ）をそれぞれに生成するように構成される。各ＬＵＴは、ＣＩＳ行列ストライド６０２に関連する１以上のＤＩＳブロックを特定する場合がある。メモリバッファ空間が制限され得るため、ＬＵＴは、ＤＩＳブロックが（図５のタイルデワープ回路５３０のような）デワープ回路部による処理のために取得されるべき順序を特定する場合がある。より詳細には、ＤＩＳブロックの順序は、必要なＤＩＳブロックがＣＩＳ行列タイルＴ（１）－Ｔ（ｍ）の各々の処理のために予めフェッチされ得るように、デワープ行列Ｍ（１）－Ｍ（ｍ）の順序と合致している場合がある。

【0053】

いくつかの実施形態では、ＬＵＴ生成器６２０は、デワープ行列Ｍ（１）－Ｍ（ｍ）の各々に含まれるピクセル参照に少なくとも部分的に基づいて、ＬＵＴに含まれるべきＤＩＳブロックを決定する場合がある。例えば、ＬＵＴ生成器６２０は、特定のデワープ行列（または行列のセット）内の最大及び最小のピクセル参照によって境界付けられる歪んだ画像空間内の領域を決定する場合がある。ＬＵＴ生成器６２０はさらに、特定された領域によって境界付けられる（または特定された領域に一致する）１以上のＤＩＳブロックを特定し、当該ＤＩＳブロックをデワープ行列と関連付ける場合がある。例えば、ＬＵＴ内の各ＤＩＳブロックは、それが付されるＣＩＳ行列の数、又は、他のインジケータと共に、ＤＩＳブロックの列及び行のオフセットアドレスによって特定される場合がある。

【0054】

ＬＵＴは、デワープ行列Ｍ（１）－Ｍ（ｍ）に付加され、ストライド再マッピングデータセット６０４として（図５のメモリ５２０のような）システムメモリに記憶される場合がある。いくつかの実施形態では、ＬＵＴは、データセット６０４のストレージへのオーバーヘッドを低減するために（例えば、ランレングス符号化を使用して）圧縮される場合がある。いくつかの他の実施形態では、再マッピング行列Ｍ（１）－Ｍ（ｍ）もまた、ストレージへのオーバーヘッドをさらに低減し、及び／又は、帯域幅の輻輳を緩和するために圧縮される場合がある。ＬＵＴ生成器６２０は、画像撮影データの各フレームについて、補正された画像空間の各ストライド６０２を連続して（例えば、ラスタ順序で）処理する場合がある。いくつかの態様において、ＬＵＴ生成器６２０は、ストライド再マッピングデータセット６０４の各々を連続的なデータストリームとして出力する場合がある。

【0055】

図７は、いくつかの実施形態に係る、タイルデワープ回路７００のブロック図である。デワープ回路７００は、図５のタイルデワープ回路５３０の一実施形態であり得る。このため、デワープ回路７００は、歪んだ画像データに基づいて、補正された画像データを生成するように構成される場合がある。いくつかの実施形態では、デワープ回路７００は、歪んだ画像空間の対応するブロックのピクセルデータ７０６からタイルピクセルデータ７０８を補間することにより、補正された画像空間の各タイルを個別に（例えば、ラスタスキャンの順序で）処理する場合がある。

【0056】

デワープ回路７００は、メモリインタフェース７１０、ストライド処理制御器７２０、歪画像空間（ＤＩＳ）入力バッファ７３０、補正画像空間（ＣＩＳ）出力バッファ７４０、補間器７５０、及び、タイミング制御器７６０を備える。メモリインタフェース７１０は、デワープ回路７００がそれを介して（図５のメモリ５２０といった）システムメモリと通信可能なインタフェースを提供する。メモリインタフェース７１０は、ストライド再マッピング（ｓｔｒｉｄｅ ｒｅｍａｐｐｉｎｇ）（ＳＲ）データ読出しクライアント７１２、ＤＩＳ画像ブロック読出しクライアント７１４、及び、ＣＩＳ画像ブロック書込みクライアント７１６を備える場合がある。ストライド再マッピングデータ読出しクライアント７１２は、ストライド読出しリクエスト７０１に応答して、メモリからストライド再マッピング（ＳＲ）データセット７０２を読み出す場合がある。ＤＩＳ画像ブロック読出しクライアント７１４は、ブロック読出しリクエスト７０５に応答して、メモリからブロックピクセルデータ７０６を読み出す場合がある。ＣＩＳ画像ブロック書込みクライアント７１６は、タイル書込みリクエスト７０７に応答して、タイルピクセルデータ７０８をメモリに書き込む場合がある。いくつかの態様では、ＣＩＳ画像ブロック書込みクライアント７１６は、ラスタスキャンの順序でタイルピクセルデータ７０８をメモリに書き込む場合がある。

【0057】

ストライド処理制御器７２０は、補正された画像空間のストライドを処理する場合がある。図３に関連して説明したように、補正された画像空間は、所定のピクセルの高さを有し、補正された画像空間の幅にまたがる複数のストライドを含む場合がある。ストライド処理制御器７２０は、補正された画像空間の各ストライドを処理するための各ストライド読出しリクエスト７０１を出力する場合がある。ストライド再マッピングデータ読出しクライアント７１２は、ストライド読出しリクエスト７０１に応答して、ＳＲデータセット７０２をストライド処理制御器７２０に返送する。図６に関連して説明したように、ＳＲデータセット７０２は、ブロックＬＵＴと、複数のデワープ行列Ｍ（１）－Ｍ（ｍ）と、を含む場合がある。各デワープ行列は、補正された画像空間の各タイルと１以上のＤＩＳブロックとの間のピクセルマッピングを定義する場合がある。ＬＵＴは、各デワープ行列に服するＤＩＳブロックを特定する場合がある。ストライド処理制御器７２０は、ブロックＬＵＴ及びデワープ行列を、それぞれＬＵＴバッファ７２２及び行列バッファ７２４に記憶する場合がある。いくつかの実施形態では、行列バッファ７２４は、一度に単一のデワーピング行列のみを記憶するように構成される場合がある。

【0058】

ＤＩＳ入力バッファ７３０は、ＬＵＴバッファ７２２からブロック情報７０３を読み出して、いずれのＤＩＳブロックがメモリから取り出されるべきかを決定する場合がある。例えば、ブロック情報７０３は、ＬＵＴから解析され、デワープ行列が処理されるべき順序でＤＩＳ入力バッファ７３０に提供される場合がある。ブロック情報７０３は、メモリから読み出されるべき１以上のＤＩＳブロックのインデックスと、各ＤＩＳブロックを参照するデワープ行列の数を示すカウント値と、を含む場合がある。ＤＩＳ入力バッファ７３０は、現在のブロック情報７０３に特定されるインデックスを有する各ＤＩＳブロック（又はＤＩＳブロックの集合）についてのブロック読出しリクエスト７０５をそれぞれ出力する場合がある。ＤＩＳ画像ブロック読出しクライアント７１４は、要求されたＤＩＳブロック（又は複数のＤＩＳブロック）のブロックピクセルデータ７０６を、ＤＩＳ入力バッファ７３０に返送する。ＤＩＳ入力バッファ７３０は、続くブロック情報７０３がＬＵＴバッファ７２２から読み出されるまで、ブロックピクセルデータ７０６を記憶又はバッファリングする場合がある。

【0059】

補間器７５０は、ブロックピクセルデータ７０６と、それぞれのデワープ行列７０４と、に基づいて、補正された画像空間の各タイルを処理する場合がある。例えば、補間器７５０は、行列バッファ７２４から各デワープ行列７０４をラスタ順序で読み出す場合がある。各デワープ行列７０４について、補間器７５０は、バッファリングされたブロックピクセルデータ７０６を用いて、デワープ行列７０４によって特定されるピクセルマッピングに従って、補正された画像空間の対応するタイルを生成する場合がある。いくつかの実施形態では、補間器７５０は、ブロックピクセルデータ７０６内のデワープ行列によって示される基準点の双三次補間に基づいて、各タイルを生成する場合がある。例えば、補間器７５０は、ブロックピクセルデータ７０６の４個のルナ（Ｙ）ピクセル及び４個のクロマ（ＵＶ）ピクセルと、デワープ行列７０４によって示されるフラクショナルオフセットと、を用いて各タイルを補間する場合がある。

【0060】

ＣＩＳ出力バッファ７４０は、完成されたタイルがＣＩＳ出力バッファ７４０に記憶されるまで、補間器７５０の出力（例えば、タイルピクセルデータ７０８）をバッファリングする場合がある。ＣＩＳ出力バッファ７４０内のタイルピクセルデータ７０８が補正された画像空間の完全なタイルを表すとき、ＣＩＳ出力バッファ７４０はタイルをシステムメモリに書き戻す場合がある。例えば、ＣＩＳ出力バッファ７４０は、タイルピクセルデータ７０８と共に、タイル書込みリクエスト７０７をＣＩＳ画像ブロック書込みクライアント７１６に出力する場合がある。いくつかの実施形態では、補間器７５０が補正された画像空間の次のタイル（又は次のデワープ行列７０４）の処理を開始する前に、完成された各タイルが、ラスタ順序でシステムメモリに書き込まれる場合がある。これに応じて、画像描写デバイス（または画像解析デバイス）は、デワープ回路７００によるデワープが完了すると、ほぼリアルタイムで、タイルピクセルデータ７０８を描写し得る。

【0061】

タイミング制御器７６０は、タイミング信号７０９を生成して、ストライド処理制御器７２０、ＤＩＳ入力バッファ７３０、及び、ＣＩＳ出力バッファ７４０のタイミングを制御する場合がある。より詳細には、タイミング信号７０９は、ストライド処理制御器７２０、ＤＩＳ入力バッファ７３０、及び、ＣＩＳ出力バッファ７４０の動作を同期させるために使用される場合がある。例えば、タイミング信号７０９は、ブロックＬＵＴが最初にＬＵＴバッファ７２２にロードされること、及び、ストライド処理制御器７２０がブロックピクセルデータ７０６に関連するデワープ行列７０４を取得する前に、ＤＩＳ入力バッファ７３０がＬＵＴによって特定されるブロックピクセルデータ７０６を取得することを保証する場合がある。複数のデワープ行列７０４が同じブロックピクセルデータ７０６に依存する場合があるため、ＤＩＳ入力バッファ７３０は、連続するデワープ行列７０４毎に新しいブロックピクセルデータ７０６を取得する必要はない。いくつかの態様において、ＤＩＳ入力バッファ７３０は、補間器７５０によって処理されたデワープ行列の数がＤＩＳ入力バッファ７３０に記憶された現在のＤＩＳブロック（又は複数のＤＩＳブロック）に関連するカウント値に達したときに、新しいブロック読出しリクエスト７０５を出力する場合がある。

【0062】

図８は、いくつかの実施形態に係る、画像空間再マッピング制御器８００の別のブロック図である。再マッピング制御器８００は、ＬＧＤＣシステム（図５のＬＧＤＣシステム５００など）に実装される場合がある。したがって、再マッピング制御器８００は、図６の画像空間再マッピング制御器６００の一実施形態であり得る。再マッピング制御器８００は、プロセッサ８１０及びメモリ８２０を備える。

【0063】

メモリ８２０は、画像キャプチャデータ及び／又は画像レンダリングデータを記憶するように構成された画像ピクセルデータストア８２１を含む場合がある。例えば、画像描写データは、歪んだ画像空間における光景の画像に対応する場合があり、画像描写データは、補正された画像空間におけるシーンの画像に対応する場合がある。メモリ８２０は、少なくとも以下のソフトウェア（ＳＷ）モジュールを記憶可能なコンピュータ読取り可能な非一時的記憶媒体（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードドライブといった１以上の不揮発性メモリ素子）を含む場合がある。
●補正画像空間（ＣＩＳ）のタイルと歪画像空間（ＤＩＳ）のブロックとの間のピクセルマッピングを表す複数のデワープ行列を生成するデワープ行列ＳＷモジュール８２２であって、デワープ行列ＳＷモジュール８２２は更に以下を含む：
〇ＬＧＤＣシステムのメモリ帯域幅の利用態様に少なくとも部分的に基づいて、各ＣＩＳタイルのサイズを設定するタイル設定サブモジュール８２３；
〇多項式レンズモデルに基づいてピクセルマッピングを決定する多項式モデリングサブモジュール８２４；及び
〇非多項式レンズモデルに基づいてピクセルマッピングを決定する非多項式モデリングサブモジュール８２５；及び
●各デワープ行列に関連する１以上のＤＩＳブロックを特定する複数のブロックＬＵＴを生成するブロックＬＵＴＳＷモジュール８２６であって、ブロックＬＵＴＳＷモジュール８２６は更に以下を含む：
〇ＬＧＤＣシステムのメモリ帯域幅の利用態様に少なくとも部分的に基づいて各ＤＩＳブロックのサイズを設定するブロック設定サブモジュール８２７、及び
〇少なくとも部分的に、デワープ行列の順序に基づいて、ＤＩＳブロックの各々のフェッチ順序を決定するブロック順序サブモジュール８２８。
各ソフトウェアモジュールは、プロセッサ８１０によって実行されるときに、再マッピング制御器８００に対応する機能を実行させる命令を含む。

【0064】

プロセッサ８１０は、再マッピング制御器８００に記憶された１以上のソフトウェアプログラムのスクリプトまたは命令を実行可能な任意の適切な１以上のプロセッサである場合がある。例えば、プロセッサ８１０は、命令８２２－命令８２８を実行して、補正された画像空間の各ストライドに対する（図６のデータセット６０４といった）ストライド再マッピングのデータセットを生成する場合がある。いくつかの実施形態では、プロセッサ８１０は、レイテンシの改善のために、複数のストライドに対して同時に又は並行して（例えば、マルチスレッドを用いて）演算を行うように構成される場合がある。より詳細には、ソフトウェアプロセスレイテンシは、プロセッサ８１０によって同時に作動されるスレッド数を増加させることによって低減され得る。

【0065】

プロセッサ８１０は、デワープ行列ＳＷモジュール８２２を実行して、ＣＩＳのタイルとＤＩＳのブロックとの間のピクセルマッピングを表す複数のデワープ行列を生成する場合がある。デワープ行列ＳＷモジュール８２２を実行する際に、プロセッサ８１０は、タイル設定サブモジュール８２３、多項式モデリングサブモジュール８２４、及び／又は、非多項式モデリングサブモジュール８２５を更に実行する場合がある。例えば、プロセッサ８１０は、タイル設定サブモジュール８２３を実行して、ＬＧＤＣシステムのメモリ帯域幅の利用態様に少なくとも部分的に基づいて、各ＣＩＳタイルのサイズを設定する場合がある。更に、プロセッサ８１０は、多項式モデリングサブモジュール８２４を実行して、多項式レンズモデルに基づいてピクセルマッピングを決定する場合がある。その上更に、プロセッサ８１０は、非多項式モデリングサブモジュール８２５を実行して、非多項式レンズモデルに基づいてピクセルマッピングを決定する場合がある。

【0066】

また、プロセッサ８１０は、ブロックＬＵＴＳＷモジュール８２６を実行して、各デワープ行列に関連する１以上のＤＩＳブロックを特定する複数のブロックＬＵＴを生成する場合がある。ブロックＬＵＴＳＷモジュール８２６を実行する際に、プロセッサ８１０は、ブロック設定サブモジュール８２７、及び／又は、ブロック順序サブモジュール８２８を更に実行する場合がある。例えば、プロセッサ８１０は、ブロック設定サブモジュール８２７を実行して、ＬＧＤＣシステムのメモリ帯域幅の利用態様に少なくとも部分的に基づいて、各ＤＩＳブロックのサイズを設定する場合がある。更に、プロセッサ８１０は、ブロック順序サブモジュール８２８を実行して、デワープ行列の順序に少なくとも部分的に基づいて、ＤＩＳブロックの各々のフェッチ順序を決定する場合がある。

【0067】

図９は、いくつかの実施形態に係る、例示的な画像処理動作９００を示す例示的なフローチャートである。図７の例を参照して、動作９００は、歪んだ画像データに基づいて補正された画像データを生成するために、タイルデワープ回路７００によって実行される場合がある。

【0068】

デワープ回路は、順序付けられたシーケンスで、第１画像のピクセルを歪んだ画像空間から補正された画像空間へ再マッピングするための複数のデワープ行列を、取得する場合がある（９１０）。第１画像は、歪んだ画像空間上での光景を示す場合がある。例えば、デワープ回路は、メモリからストライド再マッピングのデータセットを取得する場合がある。データセットは、ラスタ順序で配列された複数のデワープピクセルを含む場合がある。各デワープ行列は、ＣＩＳタイルと１以上のＤＩＳブロックとの間のピクセルマッピングをそれぞれに定義する場合がある。

【0069】

デワープ回路は、デワープ行列の順序に少なくとも部分的に基づいて、第１画像のピクセルのブロックを取得する場合がある（９２０）。例えば、ストライド再マッピングのデータセットは、各デワープ行列に服するＤＩＳブロックを特定するブロックＬＵＴをさらに含む場合がある。したがって、ＤＩＳブロックの順序は、少なくとも部分的に、デワープ行列がデワープ回路によって取得され処理されるべき順序に基づく場合がある。いくつかの実施形態では、デワープ回路は、ＬＵＴで特定された順序でＤＩＳブロックを取得する場合がある。

【0070】

デワープ回路は、第１画像のピクセルのブロックに基づいて複数の画像タイルを生成する場合がある。ここで、各画像タイルは、取得された１以上のピクセルブロックから、１以上のデワープ行列をそれぞれ用いて補間される（９３０）。例えば、デワープ回路は、取得されたＤＩＳブロックとそれぞれのデワープ行列とに基づいて、補正された画像空間の各タイルを処理する場合がある。いくつかの実施形態では、デワープ回路は、ＤＩＳブロック内のデワープ行列によって示される基準点の双三次補間に基づいて、各ＣＩＳタイルを生成する場合がある。

【0071】

次に、デワープ回路は、複数の画像タイルを組み合わせて、補正された画像空間における光景を示す第２画像を生成する場合がある（９４０）。図３に関連して上記で説明したように、複数のＣＩＳタイルは、ラスタ順序に配置されたときに、補正された画像空間上でのフルフレーム画像を形成する場合がある。いくつかの実施形態では、デワープ回路は、補正された画像空間の次のタイル（または次のデワープ行列）を処理する前に、各補間されたタイルをメモリに書き戻す場合がある。このため、画像描写デバイス（または画像解析デバイス）は、デワープ回路によるデワープが完了すると、ほぼリアルタイムで、第２画像をレンダリングし得る。

【0072】

当業者は、様々な異なる任意のテクノロジー及び技術を用いて、情報及び信号が表し得ることを理解するであろう。例えば、上述の説明を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、及び、チップは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光粒子、又は、これらの任意の組合せによって表し得る。

【0073】

さらに、当業者は、本明細書で開示された態様に関連して説明された様々な例示的なロジックブロック、モジュール、回路、及び、アルゴリズムのステップが、電気的なハードウェア、コンピュータソフトウェア、又は、両者の組合せとして実装し得ることを理解しよう。このハードウェアとソフトウェアの交換可能性を明確に図示するために、例示的な様々なコンポーネント、ブロック、モジュール、回路、及び、ステップが、一般に、その機能性の観点から上述のように説明されてきた。このような機能がハードウェア又はソフトウェアの何れで実装されるかは、システム全体に要求される特定のアプリケーションとデザイン上の制約に依存する。当業者は説明された機能を特定のアプリケーション毎に様々な方法で実装し得るが、そのような実装上の決定が、本開示の範囲からの逸脱を引き起こすと解釈されてはならない。

【0074】

本明細書で開示された態様に関連して説明された方法、手順、又はアルゴリズムは、ハードウェアにより直接的に、プロセッサによって実行されるソフトウェアモジュールにより、あるいは、両者の組合せにより、具体化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は、当技術分野において既知の他の形式の記憶媒体に存在し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。あるいは、記憶媒体はプロセッサに統合されてもよい。

【0075】

前述の明細書では、その具体的な例を参照して実施形態が説明されてきた。しかしながら、添付の特許請求の範囲に提示されているように、本開示のより広い範囲を逸脱することなく、それらに対して様々な変形や変更が成し得ることは明らかであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で解釈される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】