特表 2024-528865 フォービエイテッドレンダリングのための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-01

(54)【発明の名称】フォービエイテッドレンダリングのための装置及び方法

(51)【国際特許分類】

   G09G 5/391 20060101AFI20240725BHJP

   G09G 5/37 20060101ALI20240725BHJP

   G09G 5/00 20060101ALI20240725BHJP

   H04N 5/66 20060101ALI20240725BHJP

【ＦＩ】

G09G5/391

G09G5/37 320

G09G5/00 550X

G09G5/00 510A

H04N5/66 D

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024504189

(86)(22)【出願日】2022-08-03

(85)【翻訳文提出日】2024-02-06

(86)【国際出願番号】 US2022039333

(87)【国際公開番号】W WO2023014835

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】17/393,557

(32)【優先日】2021-08-04

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502161508

【氏名又は名称】シナプティクス インコーポレイテッド

(74)【代理人】

【識別番号】100205350

【弁理士】

【氏名又は名称】狩野 芳正

(74)【代理人】

【識別番号】100117617

【弁理士】

【氏名又は名称】中尾 圭策

(72)【発明者】

【氏名】山口 聡

(72)【発明者】

【氏名】北村 宏太

(72)【発明者】

【氏名】能勢 崇

【テーマコード（参考）】

5C058

5C182

【Ｆターム（参考）】

5C058AA18

5C058BA17

5C058BA25

5C058BA35

5C182AA02

5C182AA03

5C182AB33

5C182BA56

5C182CB13

5C182CB44

5C182CB54

5C182CC24

(57)【要約】

表示ドライバが、画像処理回路部と駆動回路部とを備える。画像処理回路部は、中心窩画像と、フルフレーム画像と、フルフレーム画像における中心窩画像の位置を指定する座標データとを受け取るように構成される。画像処理回路部は、更に、座標データにおけるデータエラーの検出に応じて、フルフレーム画像に基づいて中心窩画像と無関係に結果画像を生成するように構成される。駆動回路部は、結果画像に基づいて表示パネルを駆動するように構成される。

【特許請求の範囲】

【請求項1】

画像処理回路部であって、
中心窩画像と、フルフレーム画像と、前記フルフレーム画像における前記中心窩画像の位置を指定する座標データとを受け取り、
前記座標データにおけるデータエラーの検出に応じて、前記フルフレーム画像に基づいて、前記中心窩画像と無関係に結果画像を生成するように構成された画像処理回路部と、
前記結果画像に基づいて表示パネルを駆動するように構成された駆動回路部と、
を備える
表示ドライバ。

【請求項2】

前記画像処理回路部が、更に、前記フルフレーム画像を拡大するように構成され、
前記フルフレーム画像に基づいて前記中心窩画像と無関係に前記結果画像を生成することが、前記座標データにおける前記データエラーの検出に応じて前記拡大されたフルフレーム画像を前記結果画像として出力することを含む、
請求項１に記載の表示ドライバ。

【請求項3】

前記画像処理回路部が、更に、
第２中心窩画像と、第２フルフレーム画像と、前記第２フルフレーム画像における前記第２中心窩画像の位置を指定する第２座標データとを受け取り、
前記第２座標データにおけるデータエラーの不検出に応じて前記第２中心窩画像を前記第２フルフレーム画像とマージすることによって第２結果画像を生成するように構成され、
前記駆動回路部が、更に、前記第２結果画像に基づいて前記表示パネルを駆動するように構成された
請求項１に記載の表示ドライバ。

【請求項4】

前記画像処理回路部が、更に、前記第２フルフレーム画像を拡大するように構成され、
前記第２結果画像を生成することが、更に、前記第２座標データにおけるデータエラーの不検出に応じて前記第２中心窩画像を前記拡大された第２フルフレーム画像とマージすることを含む
請求項３に記載の表示ドライバ。

【請求項5】

前記座標データが、前記フルフレーム画像に画素データとして埋め込まれ、
前記画像処理回路部が、前記フルフレーム画像から前記座標データを抽出するように構成された、
請求項１に記載の表示ドライバ。

【請求項6】

前記座標データが、それぞれが前記中心窩画像の前記位置を指定する同一のデータを備えるように生成された複数のデータ部分を備え、
前記画像処理回路部が、前記複数のデータ部分の不一致に基づいて前記データエラーを検出するように構成された
請求項１に記載の表示ドライバ。

【請求項7】

更に、前記中心窩画像を格納するように構成されたグラフィックランダムアクセスメモリを備え、
前記画像処理回路部が、前記座標データに基づくタイミングで前記グラフィックランダムアクセスメモリから前記中心窩画像を取得するように構成された
請求項１に記載の表示ドライバ。

【請求項8】

表示パネルと、
表示ドライバであって、
中心窩画像と、フルフレーム画像と、前記フルフレーム画像における前記中心窩画像の位置を指定する座標データとを受け取り、
前記座標データにおけるデータエラーの検出に応じて、前記フルフレーム画像に基づいて前記中心窩画像と無関係に結果画像を生成し、
前記結果画像に基づいて表示パネルを駆動するように構成された表示ドライバと、
を備える
表示システム。

【請求項9】

前記表示ドライバが、更に、前記フルフレーム画像を拡大するように構成され、
前記フルフレーム画像に基づいて前記中心窩画像と無関係に前記結果画像を生成することが、前記座標データにおける前記データエラーの前記検出に応じて前記拡大されたフルフレーム画像を前記結果画像として出力することを含む、
請求項８に記載の表示システム。

【請求項10】

前記表示ドライバが、更に、
第２中心窩画像と、第２フルフレーム画像と、前記第２フルフレーム画像における前記第２中心窩画像の位置を指定する第２座標データとを受け取り、
前記第２座標データにおけるデータエラーの不検出に応じて前記第２中心窩画像を前記第２フルフレーム画像とマージすることによって第２結果画像を生成し、
前記第２結果画像に基づいて前記表示パネルを駆動するように構成された
請求項８に記載の表示システム。

【請求項11】

前記表示ドライバが、更に、前記第２フルフレーム画像を拡大するように構成され、
前記第２結果画像を生成することが、更に、前記第２座標データにおいてデータエラーが検出されないことに応じて前記第２中心窩画像を前記拡大された第２フルフレーム画像とマージすることを含む
請求項１０に記載の表示システム。

【請求項12】

前記座標データが、前記フルフレーム画像に画素データとして埋め込まれ、
前記表示ドライバが、前記フルフレーム画像から前記座標データを抽出するように構成された、
請求項８に記載の表示システム。

【請求項13】

前記座標データが、それぞれが前記中心窩画像の前記位置を指定する同一のデータを備えるように生成された複数のデータ部分を備え、
前記表示ドライバが、前記複数のデータ部分の不一致に基づいて前記データエラーを検出するように構成された
請求項８に記載の表示システム。

【請求項14】

前記表示ドライバが、更に、前記中心窩画像を格納するように構成されたグラフィックランダムアクセスメモリを備え、
前記表示ドライバが、前記座標データに基づくタイミングで前記グラフィックランダムアクセスメモリから前記中心窩画像を取得するように構成された
請求項８に記載の表示システム。

【請求項15】

前記表示パネルと前記表示ドライバとが、ヘッドマウントディスプレイ（ＨＭＤ）に組み込まれている、
請求項８に記載の表示システム。

【請求項16】

中心窩画像と、フルフレーム画像と、前記フルフレーム画像における前記中心窩画像の位置を指定する座標データとを受け取ることと、
前記座標データにおけるデータエラーの検出に応じて、前記フルフレーム画像に基づいて前記中心窩画像と無関係に結果画像を生成することと、
前記結果画像に基づいて表示パネルを駆動することと、
を含む
方法。

【請求項17】

前記フルフレーム画像を拡大することを更に含み、
前記フルフレーム画像に基づいて前記中心窩画像と無関係に前記結果画像を生成することが、前記座標データにおける前記データエラーの検出に応じて前記拡大されたフルフレーム画像を前記結果画像として出力することを含む、
請求項１６に記載の方法。

【請求項18】

第２中心窩画像と、第２フルフレーム画像と、前記第２フルフレーム画像における前記第２中心窩画像の位置を指定する第２座標データとを受け取ることと、
前記第２座標データにおけるデータエラーの不検出に応じて前記第２中心窩画像を前記第２フルフレーム画像とマージすることによって第２結果画像を生成することと、
前記第２結果画像に基づいて前記表示パネルを駆動することと、
を更に含む
請求項１６に記載の方法。

【請求項19】

前記第２フルフレーム画像を拡大することを更に含み、
前記第２結果画像を生成することが、更に、前記第２座標データにおけるデータエラーの不検出に応じて前記第２中心窩画像を前記拡大された第２フルフレーム画像とマージすることを含む
請求項１８に記載の方法。

【請求項20】

前記フルフレーム画像から前記座標データを抽出することを更に含み、
前記座標データが、前記フルフレーム画像に画素データとして埋め込まれている、
請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示された技術は、全体として、フォービエイテッドレンダリングのための装置及び方法に関する。

【背景技術】

【0002】

フォービエイテッドレンダリング (foveated rendering) は、人間の中心視覚に対応する中心窩領域と周辺視覚に対応する周辺領域とを含むことがある「フォービエイテッド画像(foveated image)」を生成する技術である。人間の視覚を模擬するために、フォービエイテッドレンダリングは、高い微細さ（又は解像度）の中心窩画像を、低い微細さのフルフレーム画像にマージする又は重ね合わせることによって行われることがある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本概要は、発明を実施するための形態において下記に更に説明する概念の選択を簡素化した形態で紹介するために提供されている。本概要は、請求された主題の重要な特徴又は本質的な特徴を特定することを意図するものではなく、請求された主題の範囲を限定することを意図するものでもない。

【0004】

一以上の実施形態において、表示ドライバが提供される。表示ドライバは、画像処理回路部と駆動回路部とを備えている。画像処理回路部は、中心窩画像と、フルフレーム画像と、フルフレーム画像における中心窩画像の位置を指定する座標データとを受け取るように構成されている。画像処理回路部は、更に、座標データにおけるデータエラーの検出に応じて、中心窩画像と無関係に、フルフレーム画像に基づいて結果画像を生成するように構成されている。駆動回路部は、結果画像に基づいて表示パネルを駆動するように構成されている。

【0005】

一以上の実施形態において、表示システムが提供される。表示システムは、表示パネルと表示ドライバとを備えている。表示ドライバは、中心窩画像と、フルフレーム画像と、フルフレーム画像における中心窩画像の位置を指定する座標データとを受け取るように構成されている。表示ドライバは、更に、座標データにおけるデータエラーの検出に応じて、中心窩画像と無関係に、フルフレーム画像に基づいて結果画像を生成するように構成されている。表示ドライバは、更に、結果画像に基づいて表示パネルを駆動するように構成されている。

【0006】

一以上の実施形態において、表示パネルを駆動する方法が提供される。該方法は、中心窩画像と、フルフレーム画像と、フルフレーム画像における中心窩画像の位置を指定する座標データとを受け取ることを含む。該方法は、更に、座標データにおけるデータエラーの検出に応じて、中心窩画像と無関係に、フルフレーム画像に基づいて結果画像を生成することを含む。該方法は、更に、結果画像に基づいて表示パネルを駆動することを含む。

【0007】

実施形態の他の観点は、以下の記載及び添付された特許請求の範囲から明らかであろう。

【図面の簡単な説明】

【0008】

本開示の上記された特徴が詳細に理解可能なように、上記に簡潔に要約されている本開示のより具体的な説明が、実施形態を参照してなされることがある。実施形態のうちのいくつかは添付図面に図示されている。しかしながら、本開示は他の同様に有効な実施形態を認めているのであるから、添付図面が本開示の例示的な実施形態を図示しているにすぎず、従って発明の技術的範囲を限定していると考えるべきでないことに留意すべきである。

【0009】

【図1】図１は、一以上の実施形態による、表示システムの例示的な構成を図示している。

【0010】

【図2A】図２Ａは、一以上の実施形態による、中心窩画像が、フルフレーム画像に座標データによって指定された位置においてマージされた結果画像の例を図示している。

【0011】

【図2B】図２Ｂは、フォービエイテッドレンダリングにおける結果画像の破損の例を図示している。

【0012】

【図3A】図３Ａは、一以上の実施形態による、表示ドライバの例示的な構成を図示している。

【0013】

【図3B】図３Ｂは、一以上の実施形態による、表示ドライバの例示的な構成を図示している。

【0014】

【図4A】図４Ａは、一以上の実施形態による、一フレーム期間の間にコントローラから表示ドライバに送られる画像データのデータフォーマットの例を図示している。

【0015】

【図4B】図４Ｂは、一以上の実施形態による、一フレーム期間の間にコントローラから表示ドライバに送られる画像データのデータフォーマットの他の例を図示している。

【0016】

【図5】図５は、一以上の実施形態による、フォービエイテッドレンダリングのための例示的な方法を図示している。

【0017】

理解を容易にするために、可能であれば、図面に共通の同一の要素を指し示すために同一の参照符号が用いられている。一の実施形態に開示された要素は、特に記載しなくとも他の実施形態に有益に使用され得ることが予期されている。同一の要素を互いに区別するために、参照符号に添字が付されることがある。本明細書で参照する図面は、特に言及がない限り、寸法通りに描かれていると理解されるべきではない。また、提示及び説明の明確性のために、図面は、しばしば、詳細又は構成部品が省略されて簡単化される。図面及び議論は、以下に議論する原理を説明するために役立つものであり、類似の符号は類似の要素を示している。

【発明を実施するための形態】

【0018】

下記の発明を実施するための形態は、本質的に例示的なものに過ぎず、開示された技術や、開示された技術の応用や使用を限定する意図はない。更に、上記の背景技術、概要又は下記の発明を実施するための形態に提示された明示又は暗示の理論に拘束される意図もない。本明細書において「結合」されたという記載は、直接に接続されること、又は、一以上の介在するコンポーネント又は回路を介して接続されることを意味する。

【0019】

フォービエイテッドレンダリングは、人間の中心視覚に対応する中心窩領域と周辺視覚に対応する周辺領域とを含むことがある「フォービエイテッド画像」を生成する技術である。フォービエイテッド画像レンダリングは、少ないハードウェアでユーザエクスペリエンスを向上するために、ヘッドマウントディスプレイ（ＨＭＤ）システム（例えば、バーチャルリアリティ（ＶＲ）システム）において広く使用されている。

【0020】

フォービエイテッドレンダリングを達成する一つの手法は、中心窩画像をフルフレーム画像にマージする又は重ね合わせることである。中心窩画像は、ユーザの中心視覚に対応することがあり、フルフレーム画像は、ユーザの全視野に対応することがある。人間の視覚を模擬するために、中心窩画像は、フルフレーム画像よりも多くの単位面積当たり視覚情報（又は詳細）を含むことがある。フルフレーム画像における中心窩画像の位置は、アイトラッキングによって検出されることがあるユーザの視線方向に基づいて決定されることがある。

【0021】

ＨＭＤシステムにおいて表示パネルを駆動するように構成された表示ドライバ（例えば、表示ドライバ集積回路（ＤＤＩＣ））は、フォービエイテッドレンダリングに対応していることがある。このような場合、表示ドライバは、表示ドライバの外部のコントローラから中心窩画像とフルフレーム画像とを受け取り、中心窩画像をフルフレーム画像にマージするように構成されることがある。

【0022】

様々な実装において、コントローラは、座標データを生成することがある。該座標データは、フルフレーム画像における中心窩画像の位置を指定する。外部コントローラは、更に、座標データを表示ドライバに送信する。座標データは、アイトラッキングによって検出されたユーザの視線方向に基づいて生成されることがある。表示ドライバは、中心窩画像がフルフレーム画像において座標データによって指定された位置に位置するように、中心窩画像をフルフレーム画像にマージするように構成されることがある。

【0023】

一つの問題は、座標データにおけるデータエラーの発生であり得る。データエラーの有り得る原因としては、表示ドライバ、又は、表示ドライバと外部コントローラの間の通信リンクに印加される電磁的干渉（ＥＭＩ）又はノイズ、表示ドライバ及び／又は外部コントローラにおけるソフトエラー、及び、表示ドライバ及び／又は外部コントローラの誤動作が挙げられ得る。座標データにおけるデータエラーは、フォービエイテッドレンダリングによって生成されたフォービエイテッド画像の深刻な破損を引き起こす可能性がある。本開示は、破損したフォービエイテッド画像が表示パネルに表示されるのを避けるための様々な手法を提供する。

【0024】

一以上の実施形態において、表示ドライバが、画像処理回路部と駆動回路部とを備えている。画像処理回路部は、中心窩画像と、フルフレーム画像と、フルフレーム画像における中心窩画像の位置を指定する座標データとを受け取るように構成される。画像処理回路部は、更に、座標データにおけるデータエラー検出に応じて、フルフレーム画像に基づいて中心窩画像と無関係に結果画像を生成するように構成される。フルフレーム画像に基づいて中心窩画像と無関係に結果画像を生成することは、結果画像としてフルフレーム画像を使用すること、又は、中心窩画像を参照することなくフルフレーム画像に対して画像処理（例えば、拡大）を行うことによって結果画像を生成することを含むことがある。駆動回路部は、結果画像に基づいて表示パネルを駆動するように構成される。以下では、本開示の様々な実施形態が詳細に説明される。

【0025】

図１は、一以上の実施形態における、表示システム１０００の例示的な構成を図示している。表示システム１０００は、バーチャルリアリティ（ＶＲ）システムのようなヘッドマウントディスプレイ（ＨＭＤ）システムとして構成され得る。図示された実施形態では、表示システム１０００が、表示ドライバ１００と、表示パネル２００と、コントローラ３００とを備えている。表示パネル２００は、液晶表示（ＬＣＤ）パネル、有機発光ダイオード（ＯＬＥＤ）表示パネル、又は他の適切な表示パネルであってもよい。

【0026】

図示された実施形態では、コントローラ３００が、中心窩画像とフルフレーム画像とを表示ドライバ１００に送信するように構成されている。中心窩画像は、ユーザの中心視野に対応していることがあり、フルフレーム画像は、ユーザの全視野に対応していることがある。一以上の実施形態では、フルフレーム画像は、中心窩画像と同一の解像度を有しているが、より広い表示エリアを包含することがある。他の実施形態では、フルフレーム画像が中心窩画像の解像度と異なる解像度を有していることがある。表示ドライバ１００は、中心窩画像とフルフレーム画像とに基づいて結果画像を生成し、該結果画像に基づいて表示パネル２００を駆動するように構成される。結果画像は、中心窩画像がフルフレーム画像に重ね合わされたフォービエイテッド画像であることがある。実装によっては、表示ドライバ１００は、表示パネル２００に結果画像を表示するように構成されてもよい。他の実装では、表示ドライバ１００は、該結果画像に画像処理を行い、該画像処理によって得られた画像を表示パネル２００に表示するように更に構成されてもよい。

【0027】

様々な実施形態において、表示ドライバ１００は、コントローラ３００から受け取ったフルフレーム画像を拡大し、中心窩画像を拡大されたフルフレーム画像にマージして結果画像を生成するように構成される。一の実装では、拡大されたフルフレーム画像は、コントローラ３００から受け取った元のフルフレーム画像のＮ倍の大きさであり得る。ここで、Ｎは、１より大きい拡大係数である。拡大係数は、２以上の自然数であり得る。実装によっては、中心窩画像と元のフルフレーム画像とが同一数の画素を有しており、拡大されたフルフレーム画像が、元のフルフレーム画像（及び中心窩画像）のＮ^２倍の数の画素を有していることがある。この場合、結果画像の中心窩画像以外の部分は、中心窩画像よりも単位面積当たりの視覚情報が少なく、周辺視野を有効に模擬している。

【0028】

一以上の実施形態において、コントローラ３００は、更に、表示ドライバ１００に座標データを送信するように構成される。該座標データは、フルフレーム画像における中心窩画像の位置を指定する。このような実施形態では、表示ドライバ１００は、中心窩画像が、拡大されたフルフレーム画像において座標データによって指定された位置に位置しているように結果画像を生成するように構成される。座標データは、フルフレーム画像又は拡大されたフルフレーム画像における中心窩画像の特定の画素（例えば、左上隅の画素）の座標を示すことがある。図２Ａは、一以上の実施形態による、中心窩画像が座標データによって指定された位置（又は座標）にマージされた結果画像の例を図示している。

【0029】

図１に図示された表示システム１０００に関する一つの問題は、座標データにおけるデータエラーであり得る。データエラーの有り得る原因としては、表示ドライバ１００及び／又は表示ドライバ１００とコントローラ３００との間の通信リンクに印加される電磁的干渉（ＥＭＩ）又はノイズ、表示ドライバ１００及び／又はコントローラ３００におけるソフトエラー、及び、表示ドライバ１００及び／又はコントローラ３００の誤動作が挙げられ得る。座標データにおけるデータエラーは、結果画像の深刻な破損を生じさせ得る。図２Ｂは、結果画像の破損の例を図示している。座標データにおいてデータエラーが発生すると、中心窩画像が拡大されたフルフレーム画像に誤った位置でマージされ、結果画像に矛盾を生じさせ得る。

【0030】

表示パネル２００に表示される結果画像の破損を緩和又は回避するために、一以上の実施形態では、表示ドライバ１００が、座標データにおけるデータエラーの検出に応じて、中心窩画像に無関係にフルフレーム画像に基いて結果画像を生成するように構成される。様々な実装において、表示ドライバ１００は、座標データにおけるデータエラーの検出に応じて、中心窩画像を拡大されたフルフレーム画像にマージせずに拡大されたフルフレーム画像を結果画像として出力するように構成されてもよい。表示ドライバ１００は、更に、座標データにおいてデータエラーの不検出に応じて、中心窩画像を拡大されたフルフレーム画像にマージすることによってフォービエイテッド画像を生成し、該フォービエイテッド画像を結果画像として出力するように構成されることがある。このような実装では、結果画像は、フォービエイテッド画像又は拡大されたフルフレーム画像のいずれかであり得る。以下では、このように構成された表示ドライバ１００の実施形態の例を説明する。

【0031】

図３Ａは、一以上の実施形態による、表示ドライバ１００の例示的な構成を図示している。図示された実施形態では、表示ドライバ１００が、インタフェース回路部１０２と、グラフィックランダムアクセスメモリ（ＧＲＡＭ）１０４、１０６と、画像処理回路部１０８と、駆動回路部１１０とを備えている。

【0032】

インタフェース回路部１０２は、コントローラ３００から中心窩画像とフルフレーム画像とを受け取るように構成されている。中心窩画像とフルフレーム画像とは、各画素の画素データを含む画像データの形態でインタフェース回路部１０２に送信され得る。インタフェース回路部１０２は、更に、コントローラ３００から座標データを受け取るように構成されている。該座標データは、フルフレーム画像における中心窩画像の位置を指定している。

【0033】

図４Ａは、一以上の実施形態による、一フレーム期間の間にコントローラ３００から表示ドライバ１００に送信される画像データのデータフォーマットの例を図示している。図４Ａにおいて、各行は、一水平期間の間に送信されるデータを示している。「ＶＳ」は、フレーム期間の開始を示す垂直同期パケットを示しており、「ＨＳ」は、水平同期期間の開始を示す水平同期パケットを示している。「ＶＢＰ」は垂直バックポーチを示しており、「ＶＦＰ」は、垂直フロントポーチを示しており、「ＨＢＰ」は水平バックポーチを示しており、「ＨＦＰ」は水平フロントポーチを示している。「中心窩画像＃１」から「中心窩画像＃Ｍ」は、総合して中心窩画像の画像データを示している。ここで、「中心窩画像＃ｉ」は、中心窩画像のｉ番目の水平ラインの画像データを示している。ただし、ｉは、１からＭの整数である。更に、「フルフレーム画像＃１～＃Ｍ」は、総合してフルフレーム画像の画像データを示している。ここで、「フルフレーム画像＃ｉ」は、フルフレーム画像のｉ番目の水平ラインの画像データを示している。

【0034】

図示された実施形態では、座標データが、フルフレーム画像の画像データの画素データとして埋め込まれている。他の実施形態では、座標データが、画像データの他の位置に埋め込まれてもよい。更に他の実施形態では、座標データが、画像データとは別に表示ドライバ１００に送信されてもよい。

【0035】

図３Ａに戻り、インタフェース回路部１０２は、更に、中心窩画像をＧＲＡＭ１０４に転送し、フルフレーム画像をＧＲＡＭ１０６に転送するように構成されている。インタフェース回路部１０２は、中心窩画像及び／又はフルフレーム画像を処理し、処理した中心窩画像及び／又はフルフレーム画像をＧＲＡＭ１０４及び／又は１０６に転送するように構成されてもよい。

【0036】

ＧＲＡＭ１０４は、インタフェース回路部１０２から受け取った中心窩画像を格納するように構成され、ＧＲＡＭ１０６は、インタフェース回路部１０２から受け取ったフルフレーム画像を格納するように構成されている。他の実施形態では、図３Ｂに図示されているように、ＧＲＡＭ１０６が省略され、フルフレーム画像がインタフェース回路部１０２から画像処理回路部１０８に供給されてもよい。

【0037】

画像処理回路部１０８は、中心窩画像とフルフレーム画像とに基づいて結果画像を生成するように構成される。図示された実施形態では、画像処理回路部１０８が、座標データ検出器１１２と、拡大回路部１１４と、同期及びマージ回路部１１６とを備えている。

【0038】

座標データ検出器１１２は、座標データにおけるデータエラーを検出するように構成される。座標データがフルフレーム画像の画像データの画素データとして埋め込まれる実施形態では、座標データ検出器１１２が、フルフレーム画像の画像データから座標データを抽出し、抽出した座標データにおけるデータエラーを検出するように構成されてもよい。座標データのデータエラー検出は、巡回冗長検査又は他のエラー検出技術に基づいてもよい。一の実装では、座標データ検出器１１２は、座標データにおけるデータエラーの検出に応じて座標データエラーフラグをアサートし、座標データにおけるデータエラーの不検出に応じて座標データエラーフラグをディアサートするように構成される。

【0039】

拡大回路部１１４は、フルフレーム画像を拡大し、拡大されたフルフレーム画像を同期及びマージ回路部１１６に供給するように構成される。一の実装では、拡大されたフルフレーム画像は、コントローラ３００から受け取ったフルフレーム画像のＮ倍の大きさであってもよい。ここで、Ｎは、１より大きい拡大係数である。拡大係数Ｎは、２以上の自然数であってもよい。実装によっては、拡大されたフルフレーム画像が、元のフルフレーム画像のＮ^２倍の数の画素を含んでいてもよい。

【0040】

同期及びマージ回路部１１６は、中心窩画像とフルフレーム画像とに基づいて結果画像を生成するように構成されている。結果画像の生成は、座標データにおけるデータエラーの検出に応じて行われる。様々な実施形態において、同期及びマージ回路部１１６は、座標データにおけるデータエラーの不検出に応じて（例えば、座標データエラーフラグのディアサートに応じて）、拡大されたフルフレーム画像において中心窩画像が座標データによって指定された通りに位置しているように中心窩画像を拡大されたフルフレーム画像とマージすることによって結果画像を生成するように構成されてもよい。

【0041】

同期及びマージ回路部１１６は、更に、座標データにおけるデータエラーの検出に応じて（例えば、座標データエラーフラグのアサートに応じて）、拡大されたフルフレーム画像に基づき、中心窩画像と無関係に結果画像を生成するように構成されてもよい。一の実装では、同期及びマージ回路部１１６が、座標データにおけるデータエラーの検出に応じて、中心窩画像を拡大されたフルフレーム画像とマージすることなく、拡大されたフルフレーム画像を結果画像として出力するように構成されることがある。座標データにおけるデータエラーの検出に応じて中心窩画像を拡大されたフルフレーム画像とマージすることを省略することで、表示パネル２００に表示される結果画像の破損が有効に緩和又は回避される。

【0042】

同期及びマージ回路部１１６は、更に、座標データに基づいて、ＧＲＡＭ１０４及び１０６からの中心窩画像及びフルフレーム画像の取得の間の同期を達成するように構成され得る。一の実装では、同期及びマージ回路部１１６が、ＧＲＡＭ１０６からフルフレーム画像を連続して取得する間に、座標データに基づくタイミングでＧＲＡＭ１０４から中心窩画像を取得するように構成され得る。座標データに基づいて決定されたタイミングで中心窩画像を取得することで、中心窩画像を、フルフレーム画像に座標データによって指定された位置にマージすることが可能になり得る。

【0043】

画像処理回路部１０８は、更に、同期及びマージ回路部１１６によって生成された結果画像に一以上の他の画像処理を行い、該画像処理によって生成された画像を駆動回路部１１０に転送するように構成されてもよい。画像処理回路部１０８によって行われる画像処理としては、色調整、ガンマ変換、オーバードライビング、又は、他の画像処理が含まれ得る。

【0044】

駆動回路部１１０は、画像処理回路部１０８によって生成された結果画像に基づいて表示パネル２００を駆動するように構成される。いくつかの実施形態では、駆動回路部１１０が、表示パネル２００に結果画像を表示するように表示パネル２００を駆動するように構成される。

【0045】

図４Ｂは、一以上の実施形態による、一フレーム期間の間にコントローラ３００から表示ドライバ１００に送信される画像データのデータフォーマットの他の例を図示している。座標データは、各データ部分が中心窩画像の位置を指定する同一のデータを含んでいる、複数のデータ部分を含んでいてもよい。図示された実施形態では、座標データは、フルフレーム画像の画像データに別々に埋め込まれた２つのデータ部分を含んでいる。

【0046】

座標データが、図４Ｂに図示されているように、それぞれが中心窩画像の位置を指定する同一のデータを含む複数のデータ部分を含んでいる実施形態では、画像処理回路部１０８は、該複数のデータ部分の不一致に基づいてデータエラーを検出するように構成されてもよい。一の実装では、画像処理回路部１０８が、複数のデータ部分の一つが複数のデータ部分の他の一つと異なる場合にデータエラーを検出するように構成されてもよい。一の実装では、座標データ検出器１１２が、フルフレーム画像の画像データから座標データのデータ部分を抽出し、該データ部分の不一致に基づいて座標データのデータエラーを検出するように構成されてもよい。座標データが図４Ｂに図示されるように２つのデータ部分を含んでいる実施形態では、座標データ検出器１１２が、該２つのデータ部分が互いに異なるときに、データエラーを検出するように構成されてもよい。

【0047】

図５の方法５００は、一以上の実施形態による、フォービエイテッドレンダリングを達成するための例示的なステップを図示している。図５に図示されているステップの一以上が、省略され、繰り返され、及び／又は図５に図示されている順序と異なる順序で実行されてもよいことに留意されたい。更に、２以上のステップが同時に実施されてもよいことに留意されたい。

【0048】

該方法は、ステップ５０２において、中心窩画像と、フルフレーム画像と、該中心窩画像のフルフレーム画像における位置を示す座標データとを受け取ることを含む。続いて、ステップ５０４において、座標データにおけるデータエラーの検出に応じて、中心窩画像と無関係にフルフレーム画像に基づいて結果画像を生成する。該方法は、更に、ステップ５０６において、結果画像に基づいて表示パネルを駆動することを含む。該方法は、更に、ステップ５０８において、第２中心窩画像と、第２フルフレーム画像と、該第２中心窩画像の第２フルフレーム画像における位置を示す第２座標データとを受け取ることを含む。続いて、ステップ５１０において、第２座標データにおけるデータエラーの不検出に応じて、第２中心窩画像を第２フルフレーム画像にマージすることによって第２結果画像を生成する。該方法は、更に、ステップ５１２において、第２結果画像に基づいて表示パネルを駆動することを含む。

【0049】

多くの実施形態が説明されているが、本開示の利益を有する当業者は、技術的範囲から逸脱しない他の実施形態が考案可能であると理解するであろう。従って、本開示の技術的範囲は、添付の特許請求の範囲によってのみ限定されるべきである。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【国際調査報告】