特許 7190574 命令リストの生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-07

(45)【発行日】2022-12-15

(54)【発明の名称】命令リストの生成

(51)【国際特許分類】

   G06T 15/04 20110101AFI20221208BHJP

【ＦＩ】

G06T15/04

【請求項の数】 22

(21)【出願番号】P 2021529818

(86)(22)【出願日】2018-11-27

(65)【公表番号】

(43)【公表日】2022-01-28

(86)【国際出願番号】 EP2018082661

(87)【国際公開番号】W WO2020108738

(87)【国際公開日】2020-06-04

【審査請求日】2021-06-21

(73)【特許権者】

【識別番号】302062931

【氏名又は名称】ルネサスエレクトロニクス株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】トスキ，ビョルン

【審査官】山口 大志

(56)【参考文献】

【文献】特開２０１０－２５７３５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／０３１０１０２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００８／０２２５０４７（ＵＳ，Ａ１）

【文献】特開２００９－２３１９３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

命令の順序付きリストを生成する、コンピュータによって実行される方法であって、前記命令の順序付きリストは、ソース座標系（３０）における基準入力画像（３３′）のストリップ（５０）内のトライアングル（５１）の頂点（５３）であるピクセル座標のリストを備え、前記頂点を宛先座標系（３２）における対応する出力画像（３３）に変換すると、前記トライアングルが、ラインメモリのブロック（４７）にマッピングする画像データのブロックにマッピングされ、前記方法は、
基準出力画像を前記宛先座標系における複数のタイル化されたセクション（３５）に分割することと、
セクションごとに、
前記セクションを前記ラインメモリのブロックに分割することによって、前記セクションにおけるピクセル（４６）のストリップ（５０）のアレイの第１の境界および第２の境界を定義することと、
ストリップごとに、
各ストリップに含まれているピクセルの各セットを一連の順序付きトライアングルに分割することと、
前記ストリップ内の各トライアングルの頂点ごとに宛先座標およびソース座標のセットを生成することと、
ソース座標系および宛先座標系（３０、３２）における前記頂点（５３）の座標を、前記命令の順序付きリストに格納することとを備える、方法。

【請求項2】

前記宛先座標系（３２）における複数のタイル化されたセクション（３５）の各々のコーナー（３４）を前記ソース座標系（３０）に変換して、複数の変換されたセクション（３５′）を生成することと、
変換されたセクションごとに、
ピクセル（４６）のｖ次元における最も広い範囲を求めることと、
前記ｖ次元にまたがるピクセル（４６）の数を前記ラインメモリのブロック（４７）の高さ（４５）で割ることとを備える、請求項１に記載の方法。

【請求項3】

セクション（３５）ごとに前記ストリップのアレイにおける各ストリップ（５０）の前記第１の境界および前記第２の境界を定義することは、
ソース座標におけるセクション（３５′）のエッジ（４４）の最高ｖ座標と最低ｖ座標との間の最大範囲に基づいて始点（４１）および終点（４２）を求めることと、
前記始点から開始し、前記終点に向かって時計回りおよび反時計回りに移動する、初期ヒットポイント（４３）の対を反復的に作成することとを備え、
前記エッジ（４４）上の隣接する初期ヒットポイント（４３）同士の間の距離はトライアングルのサイズによって求められ、
初期ヒットポイントの各対の間に初期ヒットライン（４８）を生成して、前記ストリップ（５０）の境界を形成することを備える、請求項１または２に記載の方法。

【請求項4】

各ストリップ（５０）の前記第１の境界および前記第２の境界を定義することは、
初期ヒットポイント（４３）を前記エッジ（４４）に沿って反復的に移動させて、リファインされたヒットポイント（５６）を生成することと、
前記リファインされたヒットポイント（５６）の対の間にリファインされたヒットライン（５７）を生成することとをさらに備える、請求項３に記載の方法。

【請求項5】

各ストリップ（５０）の前記第１の境界および前記第２の境界を定義することは、
前記リファインされたヒットライン（５７）に沿って一連の中間ラインポイント（５８
）を生成することをさらに備え、前記リファインされたヒットポイント（５６）と前記中間ラインポイントとの間の距離は前記トライアングル（５１）のサイズによって求められ、
中間ラインポイントをリファインされたヒットライン（５７）に対して直交して移動させて（５９）、リファインされたヒットポイント（５６）の前記ソース座標系（３０）におけるｖ座標に一致させて、最終位置中間ヒットポイント（６２）を生成することと、
最終位置中間ヒットポイントに交差するリファインされたヒットポイントの各対の間に最終位置ヒットライン（６３）を生成することとをさらに備える、請求項４に記載の方法。

【請求項6】

最初のライン（６１）が時計回り方向または反時計回り方向のいずれかにおいて前記始点（４１）に隣接する前記エッジ（４４）に追加されて、前記セクション（３５）の最初のストリップ（５０）の境界が定義される、請求項３～５のいずれか１項に記載の方法。

【請求項7】

最後のライン（６５）が時計回り方向または反時計回り方向のいずれかにおいて前記終点（４２）に隣接する前記エッジ（４４）に追加されて、前記セクション（３５）の最後のストリップ（５０）の境界が定義される、請求項３～５のいずれか１項に記載の方法。

【請求項8】

前記トライアングルを生成する前に、前記セクション（３５）の各コーナー（３４）が、それらのコーナーを頂点（５３）として含むストリップ（５０）に追加される、請求項１～７のいずれか１項に記載の方法。

【請求項9】

第１の境界上の第１のポイントと第２の境界上の第２のポイントとの間の第１の距離Ｌ１を、前記第２の境界上の第１のポイントと前記第１の境界上の第２のポイントとの間の第２の距離Ｌ２と比較することによって、各ストリップ（５０）内に生成される第１のトライアングル（５１）の頂点（５３）が求められ、
前記第１の距離Ｌ１が前記第２の距離Ｌ２以上である場合、前記第１の境界上の最初の２つのポイントがトライアングル頂点として用いられ、
前記第２の距離Ｌ２が前記第１の距離Ｌ１よりも大きい場合、前記第２の境界上の最初の２つのポイントがトライアングル頂点として用いられる、請求項１～８のいずれか１項に記載の方法。

【請求項10】

第１のトライアングルの第１の頂点から第２の頂点までのベクトルと前記第１のトライアングルの前記第１の頂点から第３の頂点までのベクトルとのクロス積によって、ストリップ（５０）内の第１のトライアングル（５１）のカリング方向（７３）が求められ、正のクロス積の場合は時計回りのカリング方向となり、負のクロス積の場合は反時計回りのカリング方向となる、請求項１～９のいずれか１項に記載の方法。

【請求項11】

ストリップ（５０）内の連続してレンダリングされるトライアングル（５１）の前記カリング方向（７３）は、前記第１のトライアングルのカリング方向とその反対のカリング方向とを交互に繰り返す、請求項１０に記載の方法。

【請求項12】

ストリップ（５０）内の隣接するトライアングル（５１）の前記カリング方向（７３）は同一である、請求項１１に記載の方法。

【請求項13】

前記命令の順序付きリストは表示リスト（２２）である、請求項１～１２のいずれか１項に記載の方法。

【請求項14】

歪み画像（９）を補正する、コンピュータによって実行される方法であって、前記方法は、
システムメモリ（１４）からテクスチャキャッシュ（２４）内に歪み画像を受信することと、
前記歪み画像のトライアングル（５１）を、システムメモリ（１４）に格納された命令の順序付きリストに格納された前記トライアングルの頂点（５３）の座標を用いて、歪み補正された画像上にテクスチャマッピングすることと、
これを宛先キャッシュ（２５）に格納することとを備え、
前記命令の順序付きリストは、ソース座標系（３０）および宛先座標系（３２）における基準入力画像（３６′）のストリップ（５２）内のトライアングル（５１）の頂点（５３）であるピクセル座標のリストを備え、前記ソース座標系における前記頂点を宛先座標系（３２）における対応する出力画像（３６）に変換すると、前記トライアングルが、ラインメモリのブロック（４７）にマッピングする画像データのブロックにマッピングされ、
前記対応する出力画像（３６）を前記宛先座標系における複数のタイル化されたセクション（３５）に分割することによって生成され、
セクションごとに、
前記セクションをラインメモリのブロックに分割することによって、前記セクションにおけるピクセル（４６）のストリップ（５０）のアレイの第１の境界および第２の境界を定義することと、
ストリップごとに、
各ストリップに含まれているピクセルの各セットを一連の順序付きトライアングルに分割することと、
前記ストリップ内の各トライアングルの頂点ごとに宛先座標およびソース座標のセットを生成することと、
ソース座標系および宛先座標系（３０、３２）における前記頂点（５３）の座標を、前記命令の順序付きリストに格納することとを備える、方法。

【請求項15】

１つ以上のプロセッサによって実行されると前記１つ以上のプロセッサに請求項１～１２のいずれか１項に記載の方法を実行させる命令を備える、コンピュータプログラム。

【請求項16】

請求項１５に記載のコンピュータプログラムを格納する、コンピュータ読取可能媒体。

【請求項17】

請求項１４に記載の方法を実行するように構成された、モジュール。

【請求項18】

ハードウェアモジュールである、請求項１７に記載のモジュール。

【請求項19】

少なくとも１つのプロセッサおよびメモリを備えるプロセッササブシステムと、
請求項１７または１８に記載のモジュールとを備える、モノリシック集積回路。

【請求項20】

歪み画像データを提供するための少なくとも１つのカメラ（９）と、
前記少なくとも１つのカメラから歪み画像データを受信するように配置された請求項１９に記載の集積回路とを備える、システム。

【請求項21】

請求項２０に記載のシステムを備える、自動車両。

【請求項22】

少なくとも１つのプロセッサと、
メモリとを備え、
前記少なくとも１つのプロセッサは請求項１の方法を実行するように構成される、コンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

分野
本発明は、テクスチャマッピングに基づく画像歪み補正に用いる表示リストなどの、命令の順序付きリストを生成することに関する。

【背景技術】

【0002】

背景
自動車両には、運転中または駐車中に車両の運転者を支援するために用いることができるライブ映像を提供可能な複数のカメラシステムが搭載されることが多くなっている。たとえば、使用事例として、道路標識検出、車線検出、駐車車線マーカー、歩行者検出などのためのフロントカメラまたはサラウンドビューが挙げられる。これらのシステムでは、単一のカメラで可能な最大視野を取り込むために広角レンズまたは魚眼レンズを用いることが多い。しかしながら、これらのタイプのレンズを用いて取り込んだ画像は歪んでいるため、それらを解釈するおよび／または処理することが困難である。自動車両上で用いる多くの視覚および後処理アルゴリズムは、たとえば歩行者までの距離を判定するために、「同一スケール」オブジェクトに依存する。画像歪み補正はリアルタイムで行われることが好ましい。画像歪み補正の例は、ＪＰ ２００９ ２６７６０３ Ａから知ることができる。

【0003】

テクスチャマッピングを用いて画像歪みを補正する場合がある。レンズ歪み補正は、「標準の」球面収差補正された投影レンズ（完全に平行化された画像から偏差を除去する）および画像平行化（通常は標準レンズと比べて異なる投影を有する「魚眼」レンズの場合に特に重要である）の形態であることができる。さらに、たとえば円筒マッピングなどの異なるマッピング、および、通常は３Ｄ「ボウル」もしくはイメージプレーンを用いるたとえば「３Ｄ」投影またはサラウンドビュー（「ヒューマンビジョン」）などの異なる投影を適用することができる。いくつかのタスク（たとえばパノラマ再現）については、歪み補正のみが、平行化なしで、特定のレンズに対して適用され得る。

【0004】

テクスチャマッピングは、歪み補正されたポリゴンメッシュとゆがんだポリゴンメッシュとの間の変換の実行を伴う。ソース座標系におけるゆがんだメッシュのポリゴンの頂点のテクスチャ座標には、歪んでいない宛先座標系における対応する座標が割り当てられる。これらの座標は、関連するコマンドとともに、命令の順序付きリストとして格納される。命令の順序付きセットは、表示リストの形態をとることができる。表示リストは、書き込みレジスタ（「レジスタセットアップ」）、同期（キャッシュフラッシング、割り込み、ＩＰ間の同期など）、およびトライアングルコマンド（Ｎ座標が続く）を含み得る、コマンドコードならびにデータを含むことができる。

【0005】

表示リストなどの命令の順序付きリストは、リアルタイムもしくはほぼリアルタイムで起こり得るオンラインで（すなわち実行時に）、またはオフラインで生成することができる。生成のタイミングは使用事例またはベンダに依存し得る。たとえば、フロントカメラ用の表示リストを数分毎または数十分毎に再生成して、熱応力、道路の影響などによるレンズ歪みの変化に合わせて調整してもよい。命令の順序付きリストを用いて、新たな歪み画像のどのピクセルをキャッシュメモリにロードすべきか、および無歪み画像にマッピングすべきかを判断することができる。

【0006】

画像データは、キャッシュラインメモリを用いて処理することができる。画像の領域はオンデマンドで（すなわちキャッシュミス時に）キャッシュラインメモリにロードされるか、またはそれらは予めロードされてもよい。領域はハードウェアによって暗黙的にロードされる。たとえば、ハードウェアは、各々が２５６バイトの２×１６本のキャッシュラインにマッピングする、（ｕ，ｖ）座標におけるテクスチャデータを要求してもよい。

【0007】

いくつかの例では、マルチウェイキャッシュは用いられず、ランダム置換はない。テクスチャマッピング機能が実行されてもよく、出力画像の無歪み領域が格納される。テクスチャマッピングの例は、ＵＳ ２０１５／０２５４８２０ Ａ１から知ることができる。

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、テクスチャマッピング画像データをキャッシュメモリに格納することには１つ以上の欠点があり得る。ソース－キャッシュのミスアライメントは、特に、たとえば広角レンズなどの高歪みレンズの場合に問題となり得る。たとえば、テクスチャキャッシュ内のまったく同じキャッシュラインにマッピングする画像の複数の領域（すなわちライン）にポリゴンストリップがまたがる場合は、キャッシュトラッシングが起こり得る。これはメモリ帯域幅を超えて、過度の性能ペナルティにつながる可能性がある。

【課題を解決するための手段】

【0009】

概要
本発明の第１の局面に従い、命令の順序付きリストを生成する方法が提供される。上記命令の順序付きリストは、ソース座標系における基準入力画像のストリップ内のトライアングルの頂点であるピクセル座標のリストを備え、上記頂点を宛先座標系における対応する出力画像に変換すると、上記トライアングルが、ラインメモリのブロック（本明細書では「テクスチャキャッシュ」と呼ぶ）にマッピングする画像データのブロックにマッピングされる。上記方法は、上記基準出力画像を上記宛先座標系における複数のタイル化されたセクションに分割することを備える。上記方法は、セクションごとに、上記セクションをラインメモリのブロックに分割することによって、上記セクションにおけるピクセルのストリップのアレイの第１の境界および第２の境界を定義することを備える。上記方法は、ストリップごとに、各ストリップに含まれているピクセルの各セットを一連の順序付きトライアングルに分割することと、上記ストリップ内の各トライアングルの頂点ごとに宛先座標およびソース座標のセットを生成することと、ソース座標系および宛先座標系における上記頂点の座標を、上記命令の順序付きリストに格納することとを備える。

【0010】

よって、頂点を宛先座標系における対応する出力画像に変換すると、読み出し時にキャッシュトラッシングが減少するかまたはないように、トライアングルを、ラインメモリのブロックにマッピングする画像データのブロックにマッピングすることができる。

【0011】

上記方法は、上記宛先座標系における複数のタイル化されたセクションの各々のコーナーを上記ソース座標系に変換して、複数の変換されたセクションを生成することによって、各セクションにおけるストリップの数を求めることをさらに含んでもよい。上記方法は、変換されたセクションごとに、ピクセルのｖ次元における最も広い範囲を求めることと、上記ｖ次元にまたがるピクセルの数を上記ラインメモリのブロックの高さで割ることとをさらに備えてもよい。

【0012】

上記方法は、ソース座標におけるセクションのエッジの最高ｖ座標と最低ｖ座標との間の最大範囲に基づいて始点および終点を求めることによって、セクションごとに上記ストリップのアレイにおける各ストリップの上記境界を定義することをさらに備えてもよい。上記方法は、上記始点から開始し、上記終点に向かって時計回りおよび反時計回りに移動する、初期ヒットポイントの対を反復的に作成することをさらに備えてもよく、上記エッジ上の隣接する初期ヒットポイント同士の間の距離はトライアングルのサイズによって求められる。上記方法は、初期ヒットポイントの各対の間に初期ヒットラインを生成して、上記ストリップの境界を形成することをさらに備えてもよい。

【0013】

上記方法は、初期ヒットポイントを上記エッジに沿って反復的に移動させて、リファインされたヒットポイントを生成することと、上記リファインされたヒットポイントの対の間にリファインされたヒットラインを生成することとによって、各ストリップの上記境界を定義することをさらに備えてもよい。

【0014】

上記方法は、上記リファインされたヒットラインに沿って一連の中間ラインポイントを生成することによって、各ストリップの上記境界を定義することをさらに備えてもよく、上記リファインされたヒットポイントと上記中間ラインポイントとの間の距離は上記トライアングルのサイズによって求められる。上記方法は、中間ラインポイントをリファインされたヒットラインに対して直交して移動させて、リファインされたヒットポイントの上記ソース座標系におけるｖ座標に一致させて、最終位置中間ヒットポイントを生成することと、最終位置中間ヒットポイントに交差するリファインされたヒットポイントの各対の間に最終位置ヒットラインを生成することとをさらに備えてもよい。

【0015】

上記方法は、最初のラインを時計回り方向または反時計回り方向のいずれかにおいて上記始点に隣接する上記エッジに追加して、上記セクションの最初のストリップの境界を定義することをさらに備えてもよい。

【0016】

上記方法は、最後のラインを時計回り方向または反時計回り方向のいずれかにおいて上記終点に隣接する上記エッジに追加して、上記セクションの最後のストリップの境界を定義することをさらに備えてもよい。

【0017】

上記方法は、上記トライアングルを生成する前に、上記セクションの各コーナーを、それらのコーナーを頂点として含むストリップに追加することをさらに備えてもよい。

【0018】

上記方法は、第１の境界上の第１のポイントと第２の境界上の第２のポイントとの間の第１の距離Ｌ１を、上記第２の境界上の第１のポイントと上記第１の境界上の第２のポイントとの間の第２の距離Ｌ２と比較することによって、各ストリップ内に生成される第１のトライアングルの頂点を求めることをさらに備えてもよく、上記第１の距離Ｌ１が上記第２の距離Ｌ２以上である場合、上記第１の境界上の最初の２つのポイントがトライアングル頂点として用いられ、上記第２の距離Ｌ２が上記第１の距離Ｌ１よりも大きい場合、上記第２の境界上の最初の２つのポイントがトライアングル頂点として用いられる。

【0019】

上記方法は、第１のトライアングルの第１の頂点から第２の頂点までのベクトルと上記第１のトライアングルの上記第１の頂点から第３の頂点までのベクトルとのクロス積によって、ストリップ内の第１のトライアングルのカリング方向を求めることをさらに備えてもよく、正のクロス積の場合は時計回りのカリング方向となり、負のクロス積の場合は反時計回りのカリング方向となる。

【0020】

上記方法は、ストリップ内の連続してレンダリングされるトライアングルの上記カリング方向を、上記第１のトライアングルのカリング方向とその反対のカリング方向とを交互に繰り返すことをさらに備えてもよい。

【0021】

上記方法は、ストリップ内の隣接するトライアングルの上記カリング方向を同一に維持することをさらに備えてもよい。

【0022】

命令の順序付きリストは、表示リストであってもよい。
命令の順序付きリストは、ＧＰＵに最適なテクスチャアクセスメッシュであってもよい。

【0023】

命令の順序付きリストは、ＯｐｅｎＧＬ Ｄｒａｗコマンドであってもよい。
命令の順序付きリストは、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＤｉｒｅｃｔＸ（登録商標）Ｄｒａｗコマンドであってもよい。

【0024】

命令の順序付きリストは、メッシュとして格納されてもよい。
本発明の第２の局面に従い、歪み画像を補正する方法が提供される。上記方法は、システムメモリからテクスチャキャッシュ内に歪み画像を受信することと、上記歪み画像のトライアングルを、システムメモリに格納された命令の順序付きリストに格納された上記トライアングルの頂点の座標を用いて、歪み補正された画像上にテクスチャマッピングすることと、これを宛先キャッシュに格納することとを備える。上記命令の順序付きリストは、ソース座標系および宛先座標系における基準入力画像のストリップ内のトライアングルの頂点であるピクセル座標のリストを備え、上記ソース座標系における上記頂点を宛先座標系における対応する出力画像に変換すると、読み出し時にラインメモリのブロック内に閉じ込められたキャッシュトラッシングがないように、上記トライアングルが、ラインメモリのブロックまたは「テクスチャキャッシュ」にマッピングする画像データのブロックにマッピングされる。上記命令の順序付きリストは、上記基準出力画像を上記宛先座標系における複数のタイル化されたセクションに分割することによって生成される。上記方法は、変換されたセクションごとに、上記変換された領域をラインメモリのブロックに割り当てることによって、ピクセルのストリップのアレイの第１の境界および第２の境界を定義することを備える。上記方法は、ストリップごとに、各ストリップに含まれているピクセルの各セットを一連の順序付きトライアングルに分割することと、上記ストリップ内の各トライアングルの頂点ごとに宛先座標およびソース座標のセットを生成することと、ソース座標系および宛先座標系おける上記頂点の座標を、上記命令の順序付きリストに格納することとを備える。

【0025】

本発明の第３の局面に従い、１つ以上のプロセッサによって実行されると上記１つ以上のプロセッサに第１の局面に係る方法を実行させる命令を備えるコンピュータプログラムが提供される。

【0026】

本発明の第４の局面に従い、第３の局面のコンピュータプログラムを格納するコンピュータ読取可能媒体を備えるコンピュータプログラムプロダクトが提供される。

【0027】

本発明の第５の局面に従い、第２の局面の方法を実行するように構成されたモジュールが提供される。

【0028】

当該モジュールはハードウェアモジュールであってもよい。
本発明の第６の局面に従い、少なくとも１つのプロセッサおよびメモリを備えるプロセッササブシステムと、第５の局面のモジュールとを備えるモノリシック集積回路が提供される。

【0029】

本発明の第７の局面に従い、歪み画像データを提供するための少なくとも１つのカメラと、上記少なくとも１つのカメラから歪み画像データを受信するように配置された第６の局面の集積回路とを備えるシステムが提供される。

【0030】

本発明の第８の局面に従い、第７の局面のシステムを備える自動車両が提供される。
自動車両は、オートバイ、自動車（「車」とも呼ぶ）、ミニバス、バス、トラックまたは大型トラックであってもよい。自動車両は、内燃機関および／または１つ以上の電気モータによって動力を供給されてもよい。

【0031】

本発明の第９の局面に従い、命令の順序付きリストを生成するためのコンピュータシステムが提供され、上記命令の順序付きリストは、ソース座標系［ｕ，ｖ］における基準入力画像のストリップ内のトライアングルの頂点であるピクセル座標のリストを備え、上記頂点を宛先座標系［ｘ，ｙ］における対応する出力画像に変換すると、読み出し時にラインメモリのブロック内に閉じ込められたキャッシュトラッシングがないように、上記トライアングルが、ラインメモリのブロック（または「テクスチャキャッシュ」）にマッピングする画像データのブロックにマッピングされる。上記コンピュータシステムは、少なくとも１つのプロセッサと、メモリとを備える。上記少なくとも１つのプロセッサは、第１の局面の方法を実行するように構成される。

【0032】

本発明の第１０の局面に従い、ソース座標系における基準入力画像のストリップ内のトライアングルの頂点であるピクセル座標のリストと、宛先座標系における対応する座標のリストとを備える表示リストが提供される。ピクセル座標のリストは、上記ソース座標系における単一のストリップ内の上記頂点が、ラインメモリのブロック（または「テクスチャキャッシュ」）にマッピングする画像データのブロックにマッピングされるように構成され、上記ソース座標系における上記頂点を上記宛先座標系におけるトライアングルにレンダリングすると、それらは不要なキャッシュトラッシングなしで基準出力画像を形成する。

【0033】

本発明の第１１の局面に従い、第１０の局面の表示リストを格納するコンピュータ読取可能媒体が提供される。

【0034】

次に、例示として、添付の図面を参照しながら本発明の特定の実施形態を説明する。

【図面の簡単な説明】

【0035】

【図1】歪み画像を生成する１つ以上のカメラと歪み補償モジュールとを含む自動車両を示す図である。

【図2】歪み補償モジュールの第１の概略ブロック図である。

【図3】歪み補償モジュールの第２の概略ブロック図である。

【図4】画像歪み補償時の表示リストの使用を概略的に示す図である。

【図5】歪み画像の例をソース座標ｕ、ｖを用いて示す図である。

【図6】歪み補正された画像の例を宛先座標ｘ、ｙを用いて示す図である。

【図7】座標の順序付きリストを生成する方法のプロセスフロー図である。

【図8】表示リスト生成モジュールの概略ブロック図である。

【図9】ソース座標ｕ、ｖにマッピングされている宛先座標ｘ、ｙにおける基準入力画像のセクションを示す図である。

【図10】セクションに分割された宛先座標ｘ、ｙにおける基準画像を示す図である。

【図11】図１０に示される画像に対応するセクションに分割されたソース座標ｕ、ｖにおける基準画像を示す図である。

【図12】宛先座標ｘ、ｙにおける基準画像のセクションを示す図である。

【図13】開始コーナーポイントおよび終了コーナーポイントが求められた、図１２に示される基準画像のセクションを示す図である。

【図14】ヒットポイントおよびヒットラインが追加された、図１２に示される基準画像のセクションを示す図である。

【図15】ヒットポイントおよびヒットラインが追加された、図１２に示される基準画像のセクションを示す図である。

【図16】ブロックラインメモリのストリップに分割されたソース座標ｕ、ｖにおける基準入力画像のセクションを示す図である。

【図17】ブロックラインメモリの例を示す図である。

【図18】宛先座標ｘ、ｙにおけるセクション、ならびに初期ヒットポイントおよび初期ヒットラインの例を示す図である。

【図19】図１８に示される第１の対のヒットポイントのリファインメントの例を示す図である。

【図20】図１９に示されるリファインされたヒットポイントおよびリファインされたヒットラインの例を示す図である。

【図21】中間ラインポイントの追加およびリファインメント、ならびに図２０に示されるリファインされたヒットラインのさらなるリファインメントの例を示す図である。

【図22】最終位置中間ヒットポイントおよび最終位置ヒットラインの例を示す図である。

【図23】図２２に示されるストリップ内に第１のトライアングルストリップを形成するために生成されるトライアングルの例を示す図である。

【図24】最終位置ヒットラインおよび最終位置ヒットポイントが生成された後の、図１８に示されるセクションの例を示す図である。

【図25】図２４に示されるセクションにおけるトライアングルストリップに沿った第１のトライアングルの生成を示す図である。

【図26】カリング方向がどのように求められるかを示す図である。

【図27】図２４に示されるセクションからの完全なトライアングルストリップの生成を示す図である。

【図28】図２４に示されるセクションにおけるトライアングルストリップ内にトライアングルを生成する前の余分なポイントの追加を示す図である。

【図29】図２４に示されるセクションにおいてトライアングルストリップを生成する際に必要なスワップを示す図である。

【図30】図２４に示されるセクションから生成された完全なトライアングルストリップの例を示す図である。

【図31】最終位置ヒットライン、および宛先座標系における基準画像のセクションをカバーするトライアングルストリップの例を示す図である。

【図32】最終位置ヒットライン、およびソース座標系における基準画像のセクションをカバーするトライアングルストリップの例を示す図である。

【発明を実施するための形態】

【0036】

特定の実施形態の詳細な説明
システム概要
図１を参照して、自動車両１が示されている。

【0037】

自動車両１は、高度な運転者支援システム２を含む。システム２は、車載通信バス５に接続された複数のデジタルまたはアナログカメラ３とヘッドユニット４とを含む。システム２は、ヘッドユニット４に接続されたディスプレイ６を含んでもよい。ディスプレイ６は、たとえば中央コンソール（図示せず）またはダッシュボード（図示せず）に位置するフラットパネルディスプレイの形態をとることができる。

【0038】

各デジタルまたはアナログカメラ３は、たとえば広角レンズなどのレンズ７と、画像センサ８とを含む。各カメラ３は、たとえば６０ｆｐｓの速度で画像データ９（または「画像フレーム」）を一連の画像フレーム（または「ピクチャ」）として取り込むことができる。画像データ９は、車載通信インターフェイス５を介してヘッドユニット４に１つ以上のデータフレームとして送信される。車載通信インターフェイスは、たとえば、通信バス、パラレルインターフェイス、シリアルインターフェイスを介したＭＩＰＩ ＣＳＩ－２、Ｅｔｈｅｒ／ＡＶＢまたはＰＣＩ－Ｅｘｐｒｅｓｓであってもよい。

【0039】

ヘッドユニット４は、マイクロコントローラ１０または他の同様のマイクロプロセッサベースのシステムを含む。マイクロコントローラ１０は、中央処理装置（ＣＰＵ）１２を含むＣＰＵサブシステム１１と、歪み補償モジュール１３と、システムメモリ１４と、バスシステム１５とを含む。マイクロコントローラ１０は、（他の異なるタイプの通信ネットワーク用の）他の通信ネットワークコントローラ、タイマなどの、他の周辺モジュール（図示せず）を含む。

【0040】

画像データ９はシステムメモリ１４に一時的に格納され、歪み補償モジュール１３によってリアルタイムで処理されてもよい。

【0041】

以下により詳細に説明するように、歪み補償モジュール１３は、歪み画像データ９に対してテクスチャマッピングを用いて画像歪み補正を行い、補正画像２３（図６）をバスシステム１５を介してシステムメモリ１４に出力する。補正画像２３（図６）はディスプレイ６に表示されてもよい。

【0042】

画像歪み補償処理
図２を参照して、歪み補償モジュール１３がより詳細に示されている。

【0043】

歪み補償モジュール１３は、ホストインターフェイス１６と、バスインターフェイス１７と、表示リストバッファ１８と、画像フィルタ１９と、トライアングルセットアップエンジン２０と、テクスチャキャッシュ２１とを含む。

【0044】

バスインターフェイス１７は、システムメモリ１４から表示リスト２２を受信し、表示リスト２２を表示リストバッファ１８に供給する。表示リスト２２は次にトライアングルセットアップエンジン２０に供給される。システムメモリ１４から受信した歪み画像データ９は、テクスチャキャッシュ２１に供給された後に画像フィルタ１９に渡される。ＣＰＵ１２は、ホストインターフェイス１６を介して歪み補償モジュールを構成および制御することができる。

【0045】

図３を参照して、複数の歪み補償モジュール１３_１、１３_２、１３_３、１３_４を用いて画像データを同時に処理することができる。各モジュール１３_１、１３_２、１３_３、１３_４は、各自のテクスチャキャッシュ２１_１、２１_２、２１_３、２１_４と宛先キャッシュ２５_１、２５_２、２５_３、２５_４とを有する。歪み補償モジュールの各々は、入出力においてＡＸＩ Ｍａｓｔｅｒインターフェイスを共有してもよい。

【0046】

表示リスト２２は、コマンドの順序付きリストを含む。これらは、次にレンダリングされるトライアングルストリップを形成するＮ個の次の頂点を読み込むようにモジュールに命令するレンダリング開始コマンド（または「ＴＲＩコマンド」）と、書き込みレジスタ（複数可）コマンドと、同期コマンドとを含んでもよい。各ＴＲＩコマンドは、ソース座標系３０（図５）における座標の順序付きセット、宛先座標系３２（図６）における対応する座標の順序付きセット、または色および／もしくはルミネッセンス補正値、のうちの１つを含んでもよい。

【0047】

ソース座標系３０（図５）における座標の順序付きセットは、歪み画像データ９の一部を定義する。宛先座標系３２（図６）における座標の順序付きリストは、歪み補正された画像データ２３の一部を定義する。

【0048】

表示リスト２２は、表示リストバッファ１８（図２）を介して歪み補償モジュール１３内にバス１５を通って供給される準備ができた状態で、システムメモリ１４に格納される。表示リストバッファ１８は、バッファが空になると新たなデータを要求する。表示リスト２２によって定義された各トライアングルによって参照される画像データ９は、テクスチャキャッシュ２１に供給された後、歪み補正された宛先座標系３２（図６）にテクスチャマッピングされて、歪み補正された画像データ２３を形成する。歪み補正された画像データ２３は、宛先キャッシュ２５に、または最終画像の矩形部分を保持可能なローカルＳＲＡＭに供給される。たとえば、ローカルＳＲＡＭは、結果として得られる画像の矩形部分を形成する、各々が５１２バイトからなる２５６ラインについてのストレージを提供してもよく、当該画像は、１６ビット／ピクセルモードで２５６×２５６ピクセル、または８ビット／ピクセルモードで５１２×２５６ピクセルである。

【0049】

歪み補正された画像データ２３は、キャッシュラインエビクションを用いて、またはキャッシュをフラッシュするもしくはＳＲＡＭをシステムメモリに転送する特別なコマンドを用いて、システムメモリ１４に格納される。

【0050】

他のコマンドの順序付きリストが作成されてもよい。たとえば、ＧＰＵ（すなわちＯｐｅｎＧＬ表示リスト）キャッシュレイアウトに最適なテクスチャアクセスメッシュを推定することができる（ＴＡＧ作成、およびキャッシュトラッシングなしに保持可能な領域）。ＯｐｅｎＧＬ Ｄｒａｗコマンド、およびＭｉｃｒｏｓｏｆｔ（登録商標）ＤｉｒｅｃｔＸ（登録商標）Ｄｒａｗコマンドが作成されてもよい。コマンドの順序付きリストは、たとえばテクスチャ座標を含む３Ｄモデルなどのメッシュとして格納されてもよい。

【0051】

図４を参照して、歪み補償モジュール１３はレジスタセットアップ２７をさらに有してもよい。レジスタセットアップ２７は、表示リスト２２におけるコマンドの順序付きリストの１つまたは複数のフォーマットをセットアップする。フォーマットは、物理メモリアドレス、幅、高さ、およびストライドを含むイメージプレーンＩ／Ｏセットアップを含んでもよい。フォーマットは、色フォーマット、トライアングルフォーマット、レンダリングフラグ、および制御レジスタを含んでもよい。基礎となる状態機械は、特定のコマンドを用いて変更されてもよく、たとえばＯｐｅｎＧＬカリング方向において（時計回り対反時計回りに）変更されてもよい。

【0052】

歪み補償モジュール１３は、画像データ９の各ラインが位置合わせされたメモリ場所で開始しなければならないことを要求し得る（すなわち、２５６バイトの倍数での入力については、下位８ビットはすべてゼロでなくてはならない）。この状況は、たとえば、キャッシュ実装に起因して、または他の理由で起こり得る。たとえば、２バイト／ピクセル（１６ビット／ピクセル）フォーマットの１０８０×１９２０ピクセルの画像は、位置合わせされた場所（２５６バイトの倍数）で次のラインを開始させるために１２８ピクセルの追加の「パディング」を有する必要があり得る。そのようなシナリオでは、ストライド（すなわちライン間のオフセット）を２０４８バイトに設定する必要がある。

【0053】

図５を参照して、ソース座標系（ｕ，ｖ）３０におけるカメラ３によって撮影された歪み画像９の例が示されている。歪みは、広角レンズおよび魚眼レンズに起因する歪みに典型的な重ね合わせグリッド線３１によって示されている。矩形画像９は、典型的には１９２０×１０８０ピクセルのサイズを有する。しかしながら、画像９はより大きくても小さくてもよく、および／または異なるアスペクト比を有してもよい。

【0054】

図６を参照して、宛先座標系（ｘ，ｙ）３２における歪み補正された画像２３の例が示されている。重ね合わせグリッド線３１′は、ソース座標系３０におけるグリッド線３１（図５）に対応する。グリッド線３１′は直線で画像２３にわたって均等に離間しているように見え、歪みが補正されたことを示している。

【0055】

表示リストの作成
図７～図３０を参照して、次に表示リスト２２を生成する方法を説明する。

【0056】

マッピング
特に図７～図１１を参照して、宛先座標系３２における基準画像３３（「較正画像」と呼ぶ場合もある）を用いてセクション３５の頂点３４_１、３４_２、３４_３、３４_４を生成する（ステップＳ１）。各セクション３５の頂点３４_１、３４_２、３４_３、３４_４の各々をソース座標系３０にマッピングする（ステップＳ２）。基準画像３３は歪み画像データ９と同じ寸法を有してもよい。しかしながら、基準画像３３は、入力画像データ９の関心領域（ＲＯＩ）の寸法、アスペクト比、および解像度を有してもよい。たとえば、１５３６ピクセル×５１２ピクセルの寸法を有する基準入力画像３３を用いて、１９２０ピクセル×１０８０ピクセルの寸法を有する入力画像データ９の特定のＲＯＩを分離してもよい。各基準画像３３は現実世界の較正パターンの完全な画像であり、すなわち、既知の寸法を有しており、宛先座標系３２において歪みがない。

【0057】

マッピングは、歪み補正の公式を提供する、および、たとえばサラウンドビューなどの画像投影も提供し得るマップ関数３７によって実行される。可能な歪み補正の公式として、逆のＢｒｏｗｎ－Ｃｏｎｒａｄｙの公式、「ＯｐｅｎＣＶ」歪み公式、またはルックアップテーブル３８の使用が挙げられる。しかしながら、他の画像歪み補償モデルを用いることもできる。マップ関数３７はＣＰＵ１２（図１）によって実行されることが好ましい。マッピングにより、ソース座標系３０において頂点３４_１′、３４_２′、３４_３′、３４_４′およびセクション３５′が生成される。マッピングされたセクション３５′は表示リスト生成器３９に供給され、表示リスト生成器３９はコマンドの順序付きリストを生成し、コマンドの順序付きリストは表示リスト２２として格納されてもよい。

【0058】

各セクション３５は４辺を有する。しかしながら、各セクション３５は３辺以上を有していればよい。辺の数が異なるセクションは、たとえば１つのカメラが画面全体にマッピングしない場合など、画像をクリップする場合に用いてもよい。

【0059】

特に図１０を参照して、宛先座標系３２における基準画像３３は、３２個の等しい正方形セクション３５に分割されている。基準画像３３は、任意の数のセクション３５に分割することができる。セクション３５は任意の形状を有することができる。各セクション３５は、基準画像３３以下の任意のサイズとすることができる。セクション３５は等しいサイズおよび形状を有してもよい。セクション３５は６４×６４ピクセルまたは１２８×６４ピクセルのサイズを有してもよい。しかしながら、セクション３５は、たとえば２５６×２５６ピクセル、５１２×１２８ピクセル、または５１２バイト×２５６ラインなど、他のサイズを有してもよい。基準画像３３は矩形であってもよく、１９２０×１０８０ピクセルのサイズを有してよい。

【0060】

基準画像３３の各セクション３５は、コーナーポイント３４においてマップ関数３７を評価することによって宛先座標（ｘ，ｙ）３２からソース座標（ｕ，ｖ）３０にマッピングされる。

【0061】

特に図１１を参照して、基準画像３３内の各セクション３５は、マップ関数３７を用いて宛先座標３２からソース座標３０にマッピングされる。明確にするために、ソース座標３０におけるマッピングされたセクション３５′は、ソース座標３０におけるマッピングされた画像３３′全体を示す図１０において互いに隣接して示されている。基準画像３３′は矩形であってもよく、１９２０×１０８０ピクセルのサイズを有してよい。

【0062】

ヒットポイントおよびヒットラインの生成
図１２および図１３を参照して、セクション３５ごとに始点４１および終点４２を求める（ステップＳ３）。始点４１および終点４２は、各セクション３５のエッジ４４に沿って最小または最大ｖ座標のいずれかに位置する。セクション３５ごとの最大ｖ座標および最小ｖ座標は、各ピクセル４６をエッジ４４に沿って宛先座標系［ｘ，ｙ］３２からソース座標系［ｕ，ｖ］３０にマッピングし、ピクセル４６ごとにｖ座標の値を評価することによって求められる。

【0063】

始点４１が最小ｖ値に位置する場合、終点４２は最大ｖ値に位置する。始点４１が最大ｖ値に位置する場合、終点４２は最小ｖ値に位置する。エッジ４４に沿った極値が複数ある（すなわち最小または最大ｖ座標が複数ある）場合は、１つの最小点および１つの最大点のうちの一方が始点４１として選択され、他方が終点４２として選択される。

【0064】

始点４１および終点４２はいずれも、ソース座標（ｕ，ｖ）３０および宛先座標（ｘ，ｙ）３２を含む。

【0065】

時計回り経路８０および反時計回り経路８１が始点４１から生成され、終点４２に達するまでエッジ４４に沿って移動する。時計回り経路８０および反時計回り経路８１に沿って進みながら、各頂点においてコーナーポイント８２を追加する（ステップＳ４）。最小または最大ｖ座標が頂点３４にある場合は、その頂点３４にはコーナーポイント８２は追加されない。

【0066】

特に図１３を参照して、生成された時計回り経路は、始点４１からエッジ４４に沿って最初に遭遇する頂点３４１へ移動し、次いでエッジ４４に沿って次に遭遇する頂点３４２へ移動し、次いでエッジ４４に沿って最後に遭遇する頂点３４３へ移動し、次いでエッジ４４に沿って終点４２に達するまで移動する。反時計回り経路は、始点４１からエッジ４４に沿って最初に遭遇する頂点３４４へ移動し、次いでエッジ４４に沿って終点４２に達するまで移動する。

【0067】

次に図１４～図１６を参照して、宛先座標３２における領域３５のエッジ４４に、初期ヒットポイント４３（「初期交点」とも呼ぶ）を対にして反復的に追加する（ステップＳ４およびＳ５）。始点４１から開始して、１対の初期ヒットポイントの一方４３_１１が時計回り経路８０に沿ってエッジ４４に追加され、当該１対の初期ヒットポイントの他方４３_２２が反時計回り経路８１に沿ってエッジ４４に追加される。エッジ４４に沿った初期ヒットポイントの対（４３_１１、４３_２２）は、ソース座標系３０において同じｖ座標を有する。初期ヒットポイント４３同士の間の間隔は、ラインメモリのブロック４７のピクセル４６の高さ４５によって求められる。

【0068】

任意に、初期ヒットポイント４３の各対が生成されると、初期ヒットポイント４３の各対の間に初期ヒットライン４８を反復的に生成する（ステップＳ６）。しかしながら、初期ヒットラインは、初期ヒットポイント４３の位置の何らかのリファインメントの後に初めて生成されてもよい。この段階では、初期ヒットライン４８は直線である。

【0069】

特に図１６を参照して、ブロックラインメモリ４７（または「キャッシュメモリ」）を、１２８ピクセルまたは２５６ピクセルの偶数の、および１２８ピクセルまたは２５６ピクセルの奇数の、ｕ座標のビット７またはビット８に分割して、ｕ次元における２５６ピクセルの「安全な重複領域」を可能にしている。１つのキャッシュラインは、厳密に２５６バイトの画像データを保持することができる。１ピクセル当たりのバイト数（ＢＰＰ）に応じて、これにより、１キャッシュライン当たり１２８ピクセル（２ＢＰＰ）または２５６ピクセル（１ＢＰＰ）のいずれかが得られる。このため、偶数／奇数のキャッシュラインは、ｘ座標のビット８（１ＢＰＰ）またはビット７（２ＢＰＰ）のいずれかによって決定される。ソース座標３０におけるセクション３５′がラインメモリのブロック４７の長さ４９よりも大きいピクセル４６のサイズを有する場合は、追加のラインメモリブロック４７を、当該ラインメモリブロック４７がセクション３５′の全領域を包含するまで追加することができる。

【0070】

セクション３５における初期ヒットライン４８をさらにリファインしてもよく、これは以下により詳細に説明する（ステップＳ７～Ｓ１０）。

【0071】

図１７を参照して、並んでいるラインメモリ（すなわちキャッシュメモリ）の２つのブロック４７の例が示されている。各ラインメモリブロック４７は、２５６バイトの１６本のラインを備えてもよい。しかしながら、ラインメモリブロック４７は、より少ないもしくはより多いラインを有することができ、および／または、各ライン内により少ない（たとえば６４バイト）もしくはより多いバイトを備えることができる。

【0072】

ラインメモリの１つの「偶数」ブロック４７およびラインメモリの１つの「奇数」ブロック４７を含む２５６バイトの２×１６本のラインがあってもよい。ラインメモリの隣接ブロック４７は画像データ９の隣接ラインを必ずしも保持しないが、頂点５３の座標はラインメモリの隣接ブロック４７を通って連続するように作成される。ラインメモリのブロック４７内の「以前の」ラインと「現在の」ラインとの間のアクティブブロックは画像データ９をラップアラウンドしてもよく、たとえば２４から３４までのｖ座標を用いる場合は、画像データ９の「上部」で充填されたキャッシュメモリライン８～１５と、画像データ９の「下部」で充填されたライン０～２とがある。

【0073】

使用するラインの数は、バイリニアフィルタリングに丸め許容誤差を加えたものを可能にするために、利用可能なラインの数よりも２つ低い数に保たれる。たとえば、１つのストリップ５０の高さ４５にまたがるラインメモリブロック４７は、利用可能なラインの数の半分から２を引いたものであってよい。

【0074】

再び図１６を、および図１８も参照して、隣接する初期ヒットライン４８は、セクション３５においてストリップ５０の第１および第２の境界を形成する。ストリップ５０をトライアングル５１に分割してトライアングルストリップ５２を作る（ステップＳ１１）。第１のトライアングルストリップは、第１の初期ヒットライン４８とエッジ４４の隣接部分との間に生成されてもよい。トライアングルストリップ５２は、始点４０に隣接したストリップで開始して終点４２に向かって移動するように生成される。トライアングルストリップ５２は、エッジ４４と生成された最終ヒットライン４８との間にストリップ５０に沿って生成される。ソース座標系および宛先座標系３０、３２の両方におけるトライアングル５１の頂点５３の座標を、表示リスト２２の一部として格納され得るＴＲＩコマンドとともに、座標の順序付きリストとして格納する（ステップＳ１２）。１つのトライアングル５１がラインメモリの複数のブロック４７にまたがっていてもよい。

【0075】

そのような表示リスト２２によって、テクスチャ座標３０のアクセスがテクスチャキャッシュ２１を最良に利用し、ロードされたすべてのピクセル４６がフェッチされる、処理される、またはアクセスされるまで「ワーキングセット」内に留まるように、トライアングル５１をレイアウトすることができる。ミスが発生すると処理（またはロード）がキャッシュハードウェア（ＨＷ）によって行われる。このように、セクション３５′のストリップ５０をテクスチャキャッシュ２１に効率的にフェッチする、処理する、またはアクセスすることができると、画像データ９の１つのストリップをロードするために必要なラインメモリのブロック４７の数が減少するため、不要なキャッシュトラッシングが減少する。キャッシュトラッシングが減少すると、ハードウェアのオーバーヘッドが減少するため、メモリ（たとえばＤＲＡＭ）帯域幅が節約できるので、より高速かつ効率的な処理がもたらされる。

【0076】

また、表示リスト２２によってトライアングルストリップ５２の形態のアクセスパターンを生成することができ、これを用いて、「ダブルバッファ」のような技術を使用して歪み画像データ９をフェッチ、処理、またはアクセスしてもよい。ハードウェアアプリケーションプロセッサの中には、「プリフェッチ」命令が発行されることにより、初期命令が与えられた直後に特定範囲のピクセルへのアクセスが始まるというハードウェア事前通知が可能になり得るものもある。

【0077】

トライアングルストリップ５２の生成のさらなる詳細を以下に説明する。
ヒットポイントおよびヒットラインのリファインメント
特に図１８、図１９および図２０を参照して、ソース座標系３０においてブロックラインメモリ４７をより良く用いるために、初期ヒットポイント４３の各対と（任意の）初期ヒットライン４８とをリファイン５５して、リファインされたヒットポイント５６およびリファインされたヒットライン５７を生成してもよく、リファインされたヒットライン同士の間の範囲は、ソース座標系３０におけるブロックラインメモリ４７の高さ４５に一致する（ステップＳ７およびＳ８）。初期ヒットポイント４３および初期ヒットライン４８は、始点４１と終点４２との間の時計回り経路および反時計回り経路８０、８１によって決定される順序で反復的に生成されてリファインされる。任意の初期ヒットライン４８が生成されない場合は、リファインされたヒットライン５７（「直線ヒットライン」とも呼ぶ）が、生成される最初のヒットラインである。これらのヒットライン５７は、リファインされたヒットポイント５６の対の間に生成される。図１８は、例示のためにのみ、すべての初期ヒットポイント４３および初期ヒットライン４８を示している。たとえば割線法など、いずれかの適切なリファインメント処理を用いることができる。

【0078】

図２１、図２２および図２３を参照して、リファインされたヒットライン５７は、リファインされたヒットポイント５６の対の間のラインである。リファインされたヒットライン５７は、ソース座標においてセクション３５′全体を効率的にロードすることができないブロックラインメモリ４８の境界を生成する場合がある。したがって、リファインされた各ヒットライン５７に沿っていくつかの中間ラインポイント５８が生成される。中間ラインポイント５８を、所望のトライアングル５１のサイズのエッジに一致する距離を置いて、リファインされたヒットライン５７に沿って追加する（ステップＳ９）。

【0079】

特に図２１、図２２および図２３を引き続き参照して、各セクション３５における最初の反復時に、最初のライン６１が、宛先座標系３２においてエッジ４４に沿って時計回り方向または反時計回り方向のいずれかにおいて始点４１と第１のリファインされたヒットポイント５６との間に生成される。時計回り経路または反時計回り経路８０、８１のいずれかに沿って移動する際に、始点４１と遭遇する第１のコーナーポイント８２との間のエッジ４４上にリファインされたヒットポイント５６が存在しない場合は、最初のライン６１は、始点と遭遇する第１のコーナーポイント８２（図２２では３４_２）との間に生成される。図１８～図２４では、時計回り経路８０は、始点４１（頂点３４_３としても識別される）からエッジ４４に沿って第１のコーナーポイント８２（頂点３４_４としても識別される）へ移動し、次いでエッジ４４に沿って終点４２（頂点３４_１としても識別される）に達するまで移動する。反時計回り経路８１は、始点４１（頂点３４_３としても識別される）からエッジ４４に沿って第１のコーナーポイント８２（頂点３４_４としても識別される）へ移動し、次いでエッジ４４に沿って終点４２（頂点３４_１としても識別される）に達するまで移動する。

【0080】

最初の反復時に、中間ラインポイント５８はリファインされたヒットライン５７に対して直交して移動させられ、アクティブに処理されているヒットラインとセクション３５の最初のライン６１との間のストリップ５０がトライアングル５１のサイズに一致するピクセル４６のサイズを有するまで、移動時に、リファインされたヒットライン５７を曲げる（ステップＳ１０）。最終位置中間ヒットポイント６２は、最終位置ヒットライン６３に沿っている。最終位置ヒットライン６３は湾曲していてもよい。

【0081】

特に図２２を参照して、最初のラインポイント６４が最初のライン６１上に生成される。最初のラインポイント６４は最初のライン６１に沿って均等に離間している。最初のラインポイント６４の数は、始点４１から最も近い最終位置ヒットライン６２に沿った最終位置ヒットポイント６１の数と等しい。

【0082】

２番目の反復から最後から２番目の反復までの各反復時に、中間ラインポイント５８はリファインされたヒットライン５７に対して直交して再び移動させられ、アクティブに処理されているリファインされたヒットラインと以前の反復で処理された最終位置ヒットライン６３との間のストリップ５０がトライアングル５１のサイズに一致するピクセル４６のサイズを有するまで、移動時に、リファインされたヒットライン５７を曲げる（ステップＳ１０）。

【0083】

図２４を参照して、最後の反復時に、最後のライン６５が、時計回り方向または反時計回り方向のいずれかにおいて終点４２に達するまで、セクション３５ごとに宛先座標系３２においてエッジ４４に沿って終点４２と最後のリファインされたヒットポイント５６との間に生成される。時計回り経路または反時計回り経路８０、８１のいずれかに沿って移動する際に終点４２と遭遇する最後のコーナーポイント８２との間のエッジ４４上にリファインされたヒットポイント５６が存在しない場合は、最後のライン６５は、終点４２から遭遇する最後のコーナーポイント８２までのエッジ４４の全長に沿って生成される。

【0084】

頂点３４がストリップ５０に隣接している場合は、頂点３４はトライアングル頂点５３としても用いられる。

【0085】

図２４を引き続き参照して、最終位置ヒットポイント５６の対ごとに最終位置ヒットライン６２が引かれている。例示のためにのみ、トライアングルストリップ５２がストリップ５０_４内に描かれている。

【0086】

トライアングルストリップの生成
図２３を参照して、最初のライン６１と最終位置ヒットライン６３との間の宛先座標系３２においてセクション３５のストリップ５０内にトライアングル５１が生成されて、トライアングルストリップ５２を作成している。トライアングル５１の頂点５３は、最終位置ヒットポイント６２と、最初のラインポイント６４と、リファインされたヒットポイント５６とによって求められる。

【0087】

図２４を参照して、トライアングルストリップ５２はストリップ５０ごとに反復的に生成され、始点４１に最も近い最終位置ヒットライン６２から開始して、終点４２に向かって移動する。トライアングルストリップ５２に分割される第１のストリップ５０は、始点４１に最も近い最終位置ヒットライン６２と、最初のライン６３と、エッジ４４とによって境界が付けられる。トライアングルストリップ５２に分割される第２のストリップ５０は、始点４１に最も近い第１および第２の最終位置ヒットライン６２とエッジ４４とによって境界が付けられる。反復は、終点４２の境界を付けるストリップ５０に達するまで継続する。トライアングルストリップ５２に分割される最終ストリップ５０は、終点４２の境界を付け、最終位置ヒットライン６２と、最後のライン６５と、エッジ４４とによって境界が付けられる。

【0088】

反復ごとに、第２の境界を形成する現在の最終位置ヒットライン６２と、第１の境界を形成する以前の最終位置ヒットライン６２とがある。第１のストリップ５０については、最初のライン６３が以前のヒットラインとして用いられる。最後の反復については、最後のライン６５が現在の最終位置ヒットラインとして用いられる。

【0089】

図２５を参照して、第１のトライアングルが第２のストリップ５０_２内に求められる。２つの距離Ｌ１とＬ２とを比較することによって、トライアングルストリップ５２の最初の３つのポイントが求められる。Ｌ１は、現在の最終位置ヒットライン上の第１のポイントと以前の最終位置ヒットラインに沿った第２のポイントとの間の距離である。Ｌ２は、以前の最終位置ヒットライン上の第１のポイントと現在の最終位置ヒットライン上の第２のポイントとの間の距離である。Ｌ１がＬ２以上である場合、トライアングルストリップ５２内の第１のトライアングル５１は、現在の最終位置ヒットラインに沿った最初の２つのポイントと以前の最終位置ヒットラインに沿った第１のポイントとの間に描かれる。

【0090】

図２６を参照して、トライアングルレンダリング時、カリングは、特定の向きを有するトライアングルの除去を可能にするためにトライアングルレンダリングハードウェア（ＨＷ）およびアプリケーションプログラミングインターフェイス（ＡＰＩ）上で用いられることが多い処理である。この処理は一般に「背面カリング」と呼ばれ、たとえば、２Ｄで投影されたトライアングルを確認するために３Ｄグラフィックスハードウェアとともに用いられる。いくつかの実装例では、トライアングルストリップが正しくレンダリングされることを確実にするために、レンダリングされるトライアングルについてのトライアングル向き（カリング＝レンダリングパイプラインからのトライアングルの除去）をしかるべく調整する必要がある。このため、必要なカリング方向が以前に設定された方向とは異なる場合に備えて、ハードウェアの構成レジスタ内の特定のビットを、ＴＲＩコマンドの前に「write register short」（ＷＴＳ）命令によって更新しなければならない場合がある。

【0091】

背面カリング処理が実行される場合、カリング方向７３はトライアングルストリップ５２内の第１のトライアングル５１に基づいて求められ得る。カリング方向７３は、画像歪み補償モジュール１３が歪み画像データ９のレンダリングに成功することができるように、表示リスト２２によってしかるべく更新する必要があり得る。カリング方向７３は、トライアングルストリップ５２内の最初の３つのトライアングル頂点５３によって定義されるトライアングル５１に基づく。背面カリングを有さないトライアングルレンダリング処理もある。トライアングルレンダリング処理の実行は座標系（たとえば、右手側対左手側）に依存し得る。レンダリング技術は、たとえばプレーンジオメトリを用いてもよい。

【0092】

【数1】

【0093】

図２７を参照して、ストリップ５０がトライアングルに分割されており、カリング方向７３は典型的には、トライアングルストリップ５２を生成する現在のまたは以前の最終位置ヒットライン上に残っているポイントがなくなるまで、時計回りと反時計回りとを交互に繰り返す。ストリップ５０内の第１のトライアングル５１のカリング方向だけはハードウェアによって決定する必要があり、当該カリング方向はストリップ内の後続の各トライアングルで更新する必要はない。

【0094】

図２８を参照して、トライアングルの縮退を避けるために、余分なポイント６６がエッジ４４に沿って追加されている。トライアングルストリップ５２が作られ、反復時に余分なポイント６６を組み込んでいる。

【0095】

図２９を参照して、以前の最終位置ヒットラインと次の最終位置ヒットラインとを接続するトライアングルエッジの長さをできるだけ短くするために、「スワップ」がトライアングルストリップ５２に追加されている。平均の接続エッジは、現在のおよび以前の最終位置ヒットライン６２に対してほぼ直交しているべきであり、これにより最短エッジが与えられる。これは、長距離にわたる非線形マッピングの線形補間による画質劣化を避けるためである。

【0096】

スワップが追加され得る状況は２つある。第１の状況は、トライアングル５１を作るために、現在のもしくは以前の最終位置ヒットラインのいずれかのすべてのポイントが用いられた、または最後のポイント間の距離が用いられた場合である。第２の状況は、以前のトライアングルを作るために用いた以前のポイントと以前の最終位置ヒットライン上の次のポイントとの間の距離（Ｌ３）が、以前の最終位置ヒットライン上の以前のポイントと現在の最終位置ヒットライン上の次のポイントとの間の距離（Ｌ４）以上である場合である。トライアングルレンダリングの処理時は、頻繁なスワップを避けるためにスワップを挿入するたびにペナルティが含まれる。スワップは以前のポイントを再び追加することによって追加され、この結果、ゼロサイズのトライアングルが生じ、これは典型的にはレンダリングハードウェアによって廃棄されるため、トライアングルの向きが効果的にスワップされる。この追加ポイントをトライアングル内の第２のポイントとして用いて、トライアングルストリップ５２内の次のトライアングル５１が生成される。

【0097】

図２９を引き続き参照して、ここに図示されている場合においてトライアングルエッジの長さを最小にすることは、Ｌ４がＬ３よりも短いため、Ｌ４を選択することを意味する。Ｌ４は、トライアングルストリップ５２内のトライアングル５１のうちの２つのトライアングルエッジになる。

【0098】

図３０を参照して、宛先座標におけるセクション３５のストリップ５０がトライアングル５１に分割されてトライアングルストリップ５２を作っている。ストリップ５２は１つのスワップおよび余分なポイント６６を含む。

【0099】

最大のトライアングル５１のサイズは、たとえばハードウェアの制約のために１２８ピクセルに制限され得る。しかしながら、最大のトライアングルサイズはより小さくても大きくてもよい。最大または最小のトライアングル５１のサイズを決定づける他の制約があってもよい。

【0100】

表示リストの実装
図３１を参照して、重ね合わされた最終位置ヒットライン６３の例を示す、宛先座標３２における歪み補正された画像データ２３の例示的なセクションが示されている。最終位置ヒットライン６３はセクションインターフェイスにおいて交わらなくてもよい。頂点５３を含むトライアングルストリップ５２の例が、このセクションにおけるストリップについて示されている。

【0101】

宛先座標系３２において、歪み補償モジュール１３は、命令の順序付きリスト（たとえば表示リスト２２）を用いて、トライアングルストリップ５２内に形成されるトライアングル５１をセットアップする。この処理によって、外側エッジ４４が生成され、宛先セクション３５に対してクリップされるスキャンライン単位の「ラン」（クリップ座標）が生成され、外側スキャンラインおよび／またはピクセルならびにいずれのゼロピクセルスキャンラインも廃棄される。

【0102】

宛先座標系３２における各ピクセル４６は、１つ以上のピクセル４６処理段階に入力され、当該段階では、ソース座標系３０と宛先座標系３２との間のマッピング技術を用いて実際のテクスチャ座標が求められる。当該マッピング技術は、たとえば、線形補間、重心座標、または他の方法であってもよい。

【0103】

ピクセル４６処理段階の別の例は、ＯｐｅｎＧＬにおけるピクセルシェーダであるが、レジスタセットアップによって求められた固定関数を用いる。

【0104】

これらの処理は、たとえば消費者３Ｄグラフィックスカードなどの他のハードウェ上で実行されてもよい。

【0105】

図３２を参照して、ソース座標系３０における歪み画像データ９の例示的なセクションが示されている。最終位置ヒットライン６３が例示のために重ね合わせられている。図２３からのトライアングルストリップ５２もここに示されている。ストリップ５０はラインメモリブロック４７の高さ４５である。

【0106】

他の実装例
上記で生成された命令の順序付きリストは、３Ｄメッシュ上への表面テクスチャのマッピング（「テクスチャアトラス作成」としても公知）、または大きなテクスチャアトラスを用いる３Ｄメッシュの高速レンダリングなど、さまざまなアプリケーションについての多種多様な実装例で用いられてもよい。

【0107】

そのような命令の順序付きリストは、本明細書に説明したのと同様に最適化され、データの一部をランダムアクセスメモリ（ＲＡＭ）にロードしてそれをレンダリングする必要があるたとえば地震学的画像などの大きなデータセットの効率的なレンダリングを可能にして、データセット全体をレンダリングするために必要なロードの数を最小にすることによって、レンダリング時間を最小にするために用いられてもよい。

【0108】

変形
上述の実施形態に対してさまざまな変形をなし得ることが理解されるであろう。このような変形は、画像歪み補正モジュールおよびそのコンポーネント部品の設計、製造、および使用において既に公知でありかつ本明細書に既に記載の特徴の代わりにまたはそれに加えて使用し得る、均等なその他の特徴を含み得る。ある実施形態の特徴は別の実施形態の特徴によって置き換えるまたは補足することができる。

【0109】

ＣＰＵは２つ以上あってもよい。
請求項は本願において特定の特徴の組み合わせについて作成したが、本発明の開示の範囲は、いずれかの請求項において現在クレームされているものと同じ発明に関連するか否か、および、これが本発明と同一の技術的課題のうちのいずれかまたはすべてを緩和するか否かとは関係なく、本明細書に明示的または暗示的に開示されている新規の特徴または新規の特徴の組み合わせも含むことを理解すべきである。本願または本願から派生するその他いずれかの出願の手続中に、このような特徴および／またはこのような特徴の組み合わせに関して新たな請求項を作成し得ることを、出願人は通知する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】