特許 7498288 マルチビュースタイル変換のシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-03

(45)【発行日】2024-06-11

(54)【発明の名称】マルチビュースタイル変換のシステムおよび方法

(51)【国際特許分類】

   H04N 13/122 20180101AFI20240604BHJP

   H04N 13/111 20180101ALI20240604BHJP

   G06T 15/20 20110101ALI20240604BHJP

【ＦＩ】

H04N13/122

H04N13/111

G06T15/20 500

【請求項の数】 28

(21)【出願番号】P 2022552455

(86)(22)【出願日】2021-01-28

(65)【公表番号】

(43)【公表日】2023-04-13

(86)【国際出願番号】 US2021015570

(87)【国際公開番号】W WO2021178079

(87)【国際公開日】2021-09-10

【審査請求日】2022-11-21

(31)【優先権主張番号】62/983,739

(32)【優先日】2020-03-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514274546

【氏名又は名称】レイア、インコーポレイテッド

【氏名又は名称原語表記】ＬＥＩＡ ＩＮＣ．

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100093676

【弁理士】

【氏名又は名称】小林 純子

(74)【代理人】

【識別番号】100126354

【弁理士】

【氏名又は名称】藤田 尚

(72)【発明者】

【氏名】ダルクィスト，ニコラス

(72)【発明者】

【氏名】グナシーラン，サラバナ

(72)【発明者】

【氏名】コーリ，プネート

(72)【発明者】

【氏名】リー，エドワード

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１２－０６０３４５（ＪＰ，Ａ）

【文献】特開２０１３－２２５７４０（ＪＰ，Ａ）

【文献】国際公開第２０２０／００４０１３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／０１３６３３７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００８２４０７（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１３９８５８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／００２６９５６（ＵＳ，Ａ１）

【文献】特表２０１３－５２４６２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００－１３／３９８２

Ｇ０６Ｔ １５／２０

(57)【特許請求の範囲】

【請求項1】

処理回路と、
命令を含むメモリとを備えるマルチビュースタイル変換システムであって、前記命令が前記処理回路によって実行されると、前記処理回路に、
シーンの第１視点（fisrt perspective）を表す第１画像、前記第１画像に対応する第１視差マップ、および前記シーンの第２視点（second perspective）を表す第２画像を受信させ、
前記第１画像に適用されたスタイル変換モデルを表す第１スタイル化画像を生成させ、
前記第１スタイル化画像および前記第１視差マップに基づいて、前記第１スタイル化画像の前記第２視点への第１シフトを含むスタイル化シフト画像を生成させ、
前記スタイル化シフト画像のガイドフィルタおよび前記第２画像に基づいて第２スタイル化画像を生成させ、前記ガイドフィルタが、前記第２画像に基づいて前記第２スタイル化画像におけるエッジ特性を処理する、マルチビュースタイル変換システム。

【請求項2】

マルチビューディスプレイをさらに備え、
前記命令が、前記処理回路にさらに、
前記第１視差マップに基づいて前記第１スタイル化画像を生成させ、
前記第２画像に対応する第２視差マップに基づいて前記第２スタイル化画像を生成させ、前記第１スタイル化画像および前記第２スタイル化画像が、マルチビューディスプレイによって同時にレンダリングされるように構成され、
前記命令が、前記処理回路にさらに、
前記第１スタイル化画像および前記第２スタイル化画像を前記マルチビューディスプレイに表示させる、請求項１に記載のマルチビュースタイル変換システム。

【請求項3】

前記命令が、前記処理回路にさらに、
前記第１スタイル化画像および前記第２スタイル化画像に基づいて複数のスタイル化視点ビューを合成させ、
前記複数のスタイル化視点ビューを前記マルチビューディスプレイに表示させる、請求項２に記載のマルチビュースタイル変換システム。

【請求項4】

前記命令が、前記処理回路にさらに、前記第２スタイル化画像への第２ガイドフィルタの適用に基づいて第２フィルタ後画像として前記第２スタイル化画像を生成させ、前記第２フィルタ後画像の生成が、前記第２画像にさらに基づく、請求項１に記載のマルチビュースタイル変換システム。

【請求項5】

前記命令が、前記処理回路にさらに、前記第１スタイル化画像への第１ガイドフィルタの適用に基づいて第１フィルタ後画像として前記第１スタイル化画像を生成させ、前記第１フィルタ後画像の生成が、前記第１画像にさらに基づく、請求項４に記載のマルチビュースタイル変換システム。

【請求項6】

前記第１ガイドフィルタが、第１ガイド鮮明化フィルタを含み、前記第１ガイド鮮明化フィルタが、前記第１画像内の第１複数のエッジに基づいて前記第１スタイル化画像を鮮明化し、
前記第２ガイドフィルタが、第２ガイド鮮明化フィルタを含み、前記第２ガイド鮮明化フィルタが、前記第２画像内の第２複数のエッジに基づいて前記第２スタイル化画像を鮮明化する、請求項５に記載のマルチビュースタイル変換システム。

【請求項7】

前記命令が、前記処理回路にさらに、前記第１画像および前記スタイル変換モデルに基づいて前記第１スタイル化画像を生成させる、請求項１に記載のマルチビュースタイル変換システム。

【請求項8】

前記スタイル変換モデルが、複数のターゲットスタイル画像に関する機械学習を介して訓練されたスタイル変換ニューラルネットワークを含む、請求項７に記載のマルチビュースタイル変換システム。

【請求項9】

前記命令が、前記処理回路にさらに、
ターゲットスタイル画像を受信させ、
前記ターゲットスタイル画像へのニューラルスタイル変換（ＮＳＴ）アルゴリズムの適用に基づいてターゲットスタイルを識別させ、
前記ターゲットスタイルに基づいて前記スタイル変換モデルを生成させる、請求項７に記載のマルチビュースタイル変換システム。

【請求項10】

前記第１視差マップが、前記第１画像および前記第２画像に基づいて生成され、前記第２画像の第２複数の画像点に対する前記第１画像の第１複数の画像点の水平座標の差を表し、
第２視差マップが、前記第１画像および前記第２画像に基づいて生成され、前記第１画像の前記第１複数の画像点に対する前記第２画像の前記第２複数の画像点の水平座標の差を表す、請求項１に記載のマルチビュースタイル変換システム。

【請求項11】

前記命令が、前記処理回路にさらに、
前記第１スタイル化画像および前記第１視差マップに基づいて、第１外挿画像であって、前記第１画像に関連付けられた前記シーンの前記第１視点に基づいて第３視点に外挿された第１合成視点を表す第１外挿画像を生成させ、
前記第２スタイル化画像および前記第２視差マップに基づいて、第２外挿画像であって、前記第２画像に関連付けられた前記シーンの前記第２視点に基づいて第４視点に外挿された第２合成視点を表す第２外挿画像を生成させ、
前記第１外挿画像および前記第２外挿画像を前記マルチビューディスプレイに表示させる、請求項２に記載のマルチビュースタイル変換システム。

【請求項12】

前記命令が、前記処理回路にさらに、
前記第１スタイル化画像を第１の所望の出力視点から再投影することに基づいて第１スタイル化視点画像を生成させ、
前記第２スタイル化画像を第２の所望の出力視点から再投影することに基づいて第２スタイル化視点画像を生成させ、
前記第１スタイル化視点画像および前記第２スタイル化視点画像を前記マルチビューディスプレイに表示させる、請求項２に記載のマルチビュースタイル変換システム。

【請求項13】

前記第１の所望の出力視点が、デバイスマルチビューディスプレイに関連付けられた第１デバイス視点に基づき、
前記第２の所望の出力視点が、前記デバイスマルチビューディスプレイに関連付けられた第２デバイス視点に基づく、請求項１２に記載のマルチビュースタイル変換システム。

【請求項14】

前記命令が、前記処理回路にさらに、
第３の所望の出力視点から第３スタイル化画像を再投影することに基づいて第３スタイル化視点画像を生成させ、
第４の所望の出力視点から第４スタイル化画像を再投影することに基づいて第４スタイル化視点画像を生成させ、
前記第３スタイル化視点画像および前記第４スタイル化視点画像を前記マルチビューディスプレイに表示させる、請求項１２に記載のマルチビュースタイル変換システム。

【請求項15】

シーンの第１視点を表す第１画像、前記第１画像に対応する第１視差マップ、および前記シーンの第２視点を表す第２画像を受信するステップと、
前記第１画像に適用されたスタイル変換モデルを表す第１スタイル化画像を生成するステップと、
前記第１スタイル化画像および前記第１視差マップに基づいて、前記第１スタイル化画像の前記第２視点への第１シフトを含むスタイル化シフト画像を生成するステップと、
前記スタイル化シフト画像のガイドフィルタおよび前記第２画像に基づいて第２スタイル化画像を生成するステップであって、前記ガイドフィルタが、前記第２画像に基づいて前記第２スタイル化画像におけるエッジ特性を処理するステップとを含む、マルチビュースタイル変換方法。

【請求項16】

前記第１視差マップに基づいて第１スタイル化画像を生成するステップと、
前記第２画像に対応する第２視差マップに基づいて第２スタイル化画像を生成するステップとを含み、前記第１スタイル化画像および前記第２スタイル化画像が、マルチビューディスプレイによってレンダリングされるように構成される、請求項１５に記載のマルチビュースタイル変換方法。

【請求項17】

前記第１スタイル化画像および前記第２スタイル化画像に基づいて複数のスタイル化視点ビューを合成するステップをさらに含む、請求項１６に記載のマルチビュースタイル変換方法。

【請求項18】

前記第２スタイル化画像への第２ガイドフィルタの適用に基づいて第２フィルタ後画像として前記第２スタイル化画像を生成するステップをさらに含み、前記第２フィルタ後画像の前記生成が、前記第２画像にさらに基づくステップをさらに含む、請求項１６に記載のマルチビュースタイル変換方法。

【請求項19】

前記第１スタイル化画像への第１ガイドフィルタの適用に基づいて第１フィルタ後画像として前記第１のスタイル化画像を生成するステップをさらに含み、前記第１フィルタ後画像の生成が、前記第１画像にさらに基づく、請求項１８に記載のマルチビュースタイル変換方法。

【請求項20】

前記第１ガイドフィルタが第１ガイド鮮明化フィルタを含み、前記第１ガイド鮮明化フィルタが、前記第１画像内の第１複数のエッジに基づいて前記第１スタイル化画像を鮮明化し、
前記第２ガイドフィルタが第２ガイド鮮明化フィルタを含み、前記第２ガイド鮮明化フィルタが、前記第２画像内の第２複数のエッジに基づいて前記第２スタイル化画像を鮮明化する、請求項１９に記載のマルチビュースタイル変換方法。

【請求項21】

前記第１画像および前記スタイル変換モデルに基づいて前記第１スタイル化画像を生成するステップをさらに含む、請求項１５に記載のマルチビュースタイル変換方法。

【請求項22】

前記スタイル変換モデルが、複数のターゲットスタイル画像に関する機械学習を介して訓練されたスタイル変換ニューラルネットワークを含む、請求項２１に記載のマルチビュースタイル変換方法。

【請求項23】

ターゲットスタイル画像を受信するステップと、
前記ターゲットスタイル画像へのニューラルスタイル変換（ＮＳＴ）アルゴリズムの適用に基づいてターゲットスタイルを識別するステップと、
前記ターゲットスタイルに基づいて前記スタイル変換モデルを生成するステップとをさらに含む、請求項２１に記載のマルチビュースタイル変換方法。

【請求項24】

前記第１視差マップが、前記第１画像および前記第２画像に基づいて生成され、前記第２画像の第２複数の画像点に対する前記第１画像の第１複数の画像点の水平座標の差を表し、
第２視差マップが、前記第１画像および前記第２画像に基づいて生成され、前記第１画像内の前記第１複数の画像点に対する前記第２画像内の前記第２複数の画像点の水平座標の差を表す、請求項１５に記載のマルチビュースタイル変換方法。

【請求項25】

前記第１スタイル化画像および前記第１視差マップに基づいて、第１外挿画像であって、前記第１画像に関連付けられた前記シーンの前記第１視点に基づいて第３視点に外挿された第１合成視点を表す第１外挿画像を生成するステップと、
前記第２スタイル化画像および前記第２視差マップに基づいて、第２外挿画像であって、前記第２画像に関連付けられた前記シーンの前記第２視点に基づいて第４視点に外挿された第２合成視点を表す第２外挿画像を生成するステップとをさらに含む、請求項１６に記載のマルチビュースタイル変換方法。

【請求項26】

前記第１スタイル化画像を第１の所望の出力視点から再投影することに基づいて第１スタイル化視点画像を生成するステップと、
前記第２スタイル化画像を第２の所望の出力視点から再投影することに基づいて第２スタイル化視点画像を生成するステップとをさらに含む、請求項１６に記載のマルチビュースタイル変換方法。

【請求項27】

前記第１の所望の出力視点が、デバイスマルチビューディスプレイに関連付けられた第１デバイス視点に基づき、
前記第２の所望の出力視点が、前記デバイスマルチビューディスプレイに関連付けられた第２デバイス視点に基づく、請求項２６に記載のマルチビュースタイル変換方法。

【請求項28】

第３の所望の出力視点から第３スタイル化画像を再投影することに基づいて第３スタイル化視点画像を生成するステップと、
第４の所望の出力視点から第４スタイル化画像を再投影することに基づいて第４スタイル化視点画像を生成するステップとをさらに含む、請求項２６に記載のマルチビュースタイル変換方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年３月１日に出願された米国仮特許出願第６２／９８３，７３９号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

電子ディスプレイは、多種多様なデバイスおよび製品のユーザに情報を伝達するためのほぼユビキタスな媒体である。最も一般的に使用されている電子ディスプレイには、陰極線管（ＣＲＴ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、エレクトロルミネセントディスプレイ（ＥＬ）、有機発光ダイオード（ＯＬＥＤ）、アクティブマトリクスＯＬＥＤ（ＡＭＯＬＥＤ）ディスプレイ、および電気泳動ディスプレイ（ＥＰ）、ならびに電気機械的または電気流体的光変調を使用する様々なディスプレイ（例えば、デジタルマイクロミラーデバイス、エレクトロウェッティングディスプレイなど）が含まれる。一般に、電子ディスプレイは、アクティブディスプレイ（すなわち、光を発するディスプレイ）またはパッシブディスプレイ（すなわち、別の光源によって提供される光を変調するディスプレイ）のいずれかに分類され得る。アクティブディスプレイの最も明白な例は、ＣＲＴ、ＰＤＰ、およびＯＬＥＤ／ＡＭＯＬＥＤである。

【0003】

電子ディスプレイに表示されるコンテンツおよび関連情報は、一般に、グラフィックスプロセッシングユニット（ＧＰＵ）を使用してレンダリングされ、ディスプレイドライバに渡される。場合によっては、元のコンテンツ、特に画像または写真は、レンダリング前に操作または修正されてもよい。操作または修正は、例えば、情報の表示に関連付けられたＧＰＵまたは別のプロセッサを使用して提供され得る。

【発明の概要】

【0004】

本明細書に記載の原理による例および実施形態の様々な特徴は、添付の図面と併せて以下の詳細な説明を参照することによってより容易に理解することができ、同様の参照番号は同様の構造要素を示す。
本開示は、以下の［１］から［２８］を含む。
［１］処理回路と、
命令を含むメモリとを備えるマルチビュースタイル変換システムであって、上記命令が上記処理回路によって実行されると、上記処理回路に、
シーンの第１視点（fisrt perspective）を表す第１画像、上記第１画像に対応する第１視差マップ、および上記シーンの第２視点（second perspective）を表す第２画像を受信させ、
上記第１画像に適用されたスタイル変換モデルを表す第１スタイル化画像を生成させ、
上記第１スタイル化画像および上記第１視差マップに基づいて、上記第１スタイル化画像の上記第２視点への第１シフトを含むスタイル化シフト画像を生成させ、
上記スタイル化シフト画像のガイドフィルタおよび上記第２画像に基づいて第２スタイル化画像を生成させ、上記ガイドフィルタが、上記第２画像に基づいて上記第２スタイル化画像におけるエッジ特性を処理する、マルチビュースタイル変換システム。
［２］マルチビューディスプレイをさらに備え、
上記命令が、上記処理回路にさらに、
上記第１視差マップに基づいて上記第１スタイル化画像を生成させ、
上記第２画像に対応する第２視差マップに基づいて上記第２スタイル化画像を生成させ、上記第１スタイル化画像および上記第２スタイル化画像が、マルチビューディスプレイによって同時にレンダリングされるように構成され、
上記命令が、上記処理回路にさらに、
上記第１スタイル化画像および上記第２スタイル化画像を上記マルチビューディスプレイに表示させる、上記［１］に記載のマルチビュースタイル変換システム。
［３］上記命令が、上記処理回路にさらに、
上記第１スタイル化画像および上記第２スタイル化画像に基づいて複数のスタイル化視点ビューを合成させ、
上記複数のスタイル化視点ビューを上記マルチビューディスプレイに表示させる、上記［２］に記載のマルチビュースタイル変換システム。
［４］上記命令が、上記処理回路にさらに、上記第２スタイル化画像への第２ガイドフィルタの適用に基づいて第２フィルタ後画像として上記第２スタイル化画像を生成させ、上記第２フィルタ後画像の生成が、上記第２画像にさらに基づく、上記［１］に記載のマルチビュースタイル変換システム。
［５］上記命令が、上記処理回路にさらに、上記第１スタイル化画像への第１ガイドフィルタの適用に基づいて第１フィルタ後画像として上記第１スタイル化画像を生成させ、上記第１フィルタ後画像の生成が、上記第１画像にさらに基づく、上記［４］に記載のマルチビュースタイル変換システム。
［６］上記第１ガイドフィルタが、第１ガイド鮮明化フィルタを含み、上記第１ガイド鮮明化フィルタが、上記第１画像内の第１複数のエッジに基づいて上記第１スタイル化画像を鮮明化し、
上記第２ガイドフィルタが、第２ガイド鮮明化フィルタを含み、上記第２ガイド鮮明化フィルタが、上記第２画像内の第２複数のエッジに基づいて上記第２スタイル化画像を鮮明化する、上記［５］に記載のマルチビュースタイル変換システム。
［７］上記命令が、上記処理回路にさらに、上記第１画像および上記スタイル変換モデルに基づいて上記第１スタイル化画像を生成させる、上記［１］に記載のマルチビュースタイル変換システム。
［８］上記スタイル変換モデルが、複数のターゲットスタイル画像に関する機械学習を介して訓練されたスタイル変換ニューラルネットワークを含む、上記［７］に記載のマルチビュースタイル変換システム。
［９］上記命令が、上記処理回路にさらに、
ターゲットスタイル画像を受信させ、
上記ターゲットスタイル画像へのニューラルスタイル変換（ＮＳＴ）アルゴリズムの適用に基づいてターゲットスタイルを識別させ、
上記ターゲットスタイルに基づいて上記スタイル変換モデルを生成させる、上記［７］に記載のマルチビュースタイル変換システム。
［１０］上記第１視差マップが、上記第１画像および上記第２画像に基づいて生成され、上記第２画像の第２複数の画像点に対する上記第１画像の第１複数の画像点の水平座標の差を表し、
第２視差マップが、上記第１画像および上記第２画像に基づいて生成され、上記第１画像の上記第１複数の画像点に対する上記第２画像の上記第２複数の画像点の水平座標の差を表す、上記［１］に記載のマルチビュースタイル変換システム。
［１１］上記命令が、上記処理回路にさらに、
上記第１スタイル化画像および上記第１視差マップに基づいて、第１外挿画像であって、上記第１画像に関連付けられた上記シーンの上記第１視点に基づいて第３視点に外挿された第１合成視点を表す第１外挿画像を生成させ、
上記第２スタイル化画像および上記第２視差マップに基づいて、第２外挿画像であって、上記第２画像に関連付けられた上記シーンの上記第２視点に基づいて第４視点に外挿された第２合成視点を表す第２外挿画像を生成させ、
上記第１外挿画像および上記第２外挿画像を上記マルチビューディスプレイに表示させる、上記［２］に記載のマルチビュースタイル変換システム。
［１２］上記命令が、上記処理回路にさらに、
上記第１スタイル化画像を第１の所望の出力視点から再投影することに基づいて第１スタイル化視点画像を生成させ、
上記第２スタイル化画像を第２の所望の出力視点から再投影することに基づいて第２スタイル化視点画像を生成させ、
上記第１スタイル化視点画像および上記第２スタイル化視点画像を上記マルチビューディスプレイに表示させる、上記［２］に記載のマルチビュースタイル変換システム。
［１３］上記第１の所望の出力視点が、デバイスマルチビューディスプレイに関連付けられた第１デバイス視点に基づき、
上記第２の所望の出力視点が、上記デバイスマルチビューディスプレイに関連付けられた第２デバイス視点に基づく、上記［１２］に記載のマルチビュースタイル変換システム。
［１４］上記命令が、上記処理回路にさらに、
第３の所望の出力視点から第３スタイル化画像を再投影することに基づいて第３スタイル化視点画像を生成させ、
第４の所望の出力視点から第４スタイル化画像を再投影することに基づいて第４スタイル化視点画像を生成させ、
上記第３スタイル化視点画像および上記第４スタイル化視点画像を上記マルチビューディスプレイに表示させる、上記［１２］に記載のマルチビュースタイル変換システム。
［１５］シーンの第１視点を表す第１画像、上記第１画像に対応する第１視差マップ、および上記シーンの第２視点を表す第２画像を受信するステップと、
上記第１画像に適用されたスタイル変換モデルを表す第１スタイル化画像を生成するステップと、
上記第１スタイル化画像および上記第１視差マップに基づいて、上記第１スタイル化画像の上記第２視点への第１シフトを含むスタイル化シフト画像を生成するステップと、
上記スタイル化シフト画像のガイドフィルタおよび上記第２画像に基づいて第２スタイル化画像を生成するステップであって、上記ガイドフィルタが、上記第２画像に基づいて上記第２スタイル化画像におけるエッジ特性を処理するステップとを含む、マルチビュースタイル変換方法。
［１６］上記第１視差マップに基づいて第１スタイル化画像を生成するステップと、
上記第２画像に対応する第２視差マップに基づいて第２スタイル化画像を生成するステップとを含み、上記第１スタイル化画像および上記第２スタイル化画像が、マルチビューディスプレイによってレンダリングされるように構成される、上記［１５］に記載のマルチビュースタイル変換方法。
［１７］上記第１スタイル化画像および上記第２スタイル化画像に基づいて複数のスタイル化視点ビューを合成するステップをさらに含む、上記［１６］に記載のマルチビュースタイル変換方法。
［１８］上記第２スタイル化画像への第２ガイドフィルタの適用に基づいて第２フィルタ後画像として上記第２スタイル化画像を生成するステップをさらに含み、上記第２フィルタ後画像の上記生成が、上記第２画像にさらに基づくステップをさらに含む、上記［１６］に記載のマルチビュースタイル変換方法。
［１９］上記第１スタイル化画像への第１ガイドフィルタの適用に基づいて第１フィルタ後画像として上記第１のスタイル化画像を生成するステップをさらに含み、上記第１フィルタ後画像の生成が、上記第１画像にさらに基づく、上記［１８］に記載のマルチビュースタイル変換方法。
［２０］上記第１ガイドフィルタが第１ガイド鮮明化フィルタを含み、上記第１ガイド鮮明化フィルタが、上記第１画像内の第１複数のエッジに基づいて上記第１スタイル化画像を鮮明化し、
上記第２ガイドフィルタが第２ガイド鮮明化フィルタを含み、上記第２ガイド鮮明化フィルタが、上記第２画像内の第２複数のエッジに基づいて上記第２スタイル化画像を鮮明化する、上記［１９］に記載のマルチビュースタイル変換方法。
［２１］上記第１画像および上記スタイル変換モデルに基づいて上記第１スタイル化画像を生成するステップをさらに含む、上記［１５］に記載のマルチビュースタイル変換方法。
［２２］上記スタイル変換モデルが、複数のターゲットスタイル画像に関する機械学習を介して訓練されたスタイル変換ニューラルネットワークを含む、上記［２１］に記載のマルチビュースタイル変換方法。
［２３］ターゲットスタイル画像を受信するステップと、
上記ターゲットスタイル画像へのニューラルスタイル変換（ＮＳＴ）アルゴリズムの適用に基づいてターゲットスタイルを識別するステップと、
上記ターゲットスタイルに基づいて上記スタイル変換モデルを生成するステップとをさらに含む、上記［２１］に記載のマルチビュースタイル変換方法。
［２４］上記第１視差マップが、上記第１画像および上記第２画像に基づいて生成され、上記第２画像の第２複数の画像点に対する上記第１画像の第１複数の画像点の水平座標の差を表し、
第２視差マップが、上記第１画像および上記第２画像に基づいて生成され、上記第１画像内の上記第１複数の画像点に対する上記第２画像内の上記第２複数の画像点の水平座標の差を表す、上記［１５］に記載のマルチビュースタイル変換方法。
［２５］上記第１スタイル化画像および上記第１視差マップに基づいて、第１外挿画像であって、上記第１画像に関連付けられた上記シーンの上記第１視点に基づいて第３視点に外挿された第１合成視点を表す第１外挿画像を生成するステップと、
上記第２スタイル化画像および上記第２視差マップに基づいて、第２外挿画像であって、上記第２画像に関連付けられた上記シーンの上記第２視点に基づいて第４視点に外挿された第２合成視点を表す第２外挿画像を生成するステップとをさらに含む、上記［１６］に記載のマルチビュースタイル変換方法。
［２６］上記第１スタイル化画像を第１の所望の出力視点から再投影することに基づいて第１スタイル化視点画像を生成するステップと、
上記第２スタイル化画像を第２の所望の出力視点から再投影することに基づいて第２スタイル化視点画像を生成するステップとをさらに含む、上記［１６］に記載のマルチビュースタイル変換方法。
［２７］上記第１の所望の出力視点が、デバイスマルチビューディスプレイに関連付けられた第１デバイス視点に基づき、
上記第２の所望の出力視点が、上記デバイスマルチビューディスプレイに関連付けられた第２デバイス視点に基づく、上記［２６］に記載のマルチビュースタイル変換方法。
［２８］第３の所望の出力視点から第３スタイル化画像を再投影することに基づいて第３スタイル化視点画像を生成するステップと、
第４の所望の出力視点から第４スタイル化画像を再投影することに基づいて第４スタイル化視点画像を生成するステップとをさらに含む、上記［２６］に記載のマルチビュースタイル変換方法。

【図面の簡単な説明】

【0005】

【図1A】本明細書に記載の原理と一致する実施形態による、一例におけるマルチビューディスプレイの斜視図を示す。

【0006】

【図1B】本明細書に記載の原理と一致する実施形態による、一例におけるマルチビューディスプレイのビュー方向に対応する特定の主角度方向を有する光ビームの角度成分のグラフ表示を示す。

【0007】

【図2】本明細書に記載の原理と一致する実施形態による、一例におけるマルチビュースタイル変換方法のフローチャートを示す。

【0008】

【図3】本明細書に記載の原理と一致する実施形態による、一例におけるガイドフィルタの適用を示す。

【0009】

【図4】本明細書に記載の原理と一致する実施形態による、一例におけるマルチビュースタイル変換出力アレイのフローチャートを示す。

【0010】

【図5A】本明細書に記載の原理と一致する実施形態による、一例におけるマルチビュースタイル変換方法の結果を示す。

【図5B】本明細書に記載の原理と一致する実施形態による、一例におけるマルチビュースタイル変換方法の結果を示す。

【図5C】本明細書に記載の原理と一致する実施形態による、一例におけるマルチビュースタイル変換方法の結果を示す。

【0011】

【図6A】本明細書に記載の原理と一致する実施形態による、様々な例におけるマルチビュースタイル変換デバイスを示す。

【図6B】本明細書に記載の原理と一致する実施形態による、様々な例におけるマルチビュースタイル変換デバイスを示す。

【発明を実施するための形態】

【0012】

特定の例および実施形態は、上記参照図に示された特徴に加えて、およびその代わりに、他の特徴を有する。これらおよび他の特徴は、上記参照図を参照することにより、以下に詳述される。

【0013】

本明細書に記載の原理による例は、電子ディスプレイへ適用されたマルチビュースタイル変換を提供する。特に、本明細書に記載の原理の実施形態は、すべての画像にわたってコンシステントな結果を生成する方法で、マルチビュー画像の個々のビューにスタイル変換を適用する方法を提供してもよい。いくつかの実施形態では、マルチビュースタイル変換は、携帯デバイス上でグラフィックスプロセッシングユニット（ＧＰＵ）アクセラレーションを用いて実行されてもよい。様々な実施形態によれば、マルチビュースタイル変換は、個々のアルゴリズムをシステムから切り離すことができるモジュール式パイプラインを含む。

【0014】

いくつかの実施形態では、ニューラルネットワークを使用して、２個より多い視点を有するマルチビュー画像にニューラルスタイル変換を提供してもよい。様々な実施形態によれば、本明細書に記載のマルチビュースタイル変換は、すべてのビュー間で実質的にコンシステントであり、一対のビューの両方からのステレオ情報を使用し、携帯プラットフォームでのオンデマンド性のためにＧＰＵアクセラレーションがされ得るスタイル変換をもたらしてもよい。

【0015】

様々な実施形態によれば、電子ディスプレイのバックライトは、（例えば、異なる色の）光を回折的に結合するためにマルチビーム回折格子を使用してもよく、またはより一般には、マルチビーム要素を使用して、導光体からの光を散乱させて、結合され、散乱され、または放射された光を、電子ディスプレイの１個のビュー方向または複数のビュー方向に対応する、異なる主角度方向に向けてもよい。いくつかの例または実施形態では、異なる主角度方向を有する光ビーム（「異なる方向の光ビーム」とも呼ばれる）を使用して、またいくつかの実施形態では、異なる色を有する光ビームを使用して、マルチビュー画像として３次元（３Ｄ）情報を表示してもよい。例えば、異なる方向の異なる色の光ビームは、変調され、「眼鏡を使わない」３Ｄまたはマルチビュー電子ディスプレイのピクセルとして機能する場合がある。

【0016】

本明細書では、「２次元ディスプレイ」すなわち「２Ｄディスプレイ」は、画像が見られる方向に関係なく（すなわち、２Ｄディスプレイの所定の視野角内または視野範囲内で）実質的に同じ画像のビューを提供するように構成されたディスプレイとして定義される。多くのスマートフォンおよびコンピュータモニターに見られる従来の液晶ディスプレイ（ＬＣＤ）は、２Ｄディスプレイの例である。本明細書では、対照的に、「マルチビューディスプレイ」は、マルチビュー画像の異なるビューを、異なるビュー方向に、または異なるビュー方向から提供するように構成された電子ディスプレイまたはディスプレイシステムとして定義される。特に、異なるビューは、マルチビュー画像のシーンまたはオブジェクトの異なる斜視図を表してもよい。本明細書に記載の片側バックライトおよび片側マルチビューディスプレイの用途には、携帯電話（例えば、スマートフォン）、時計、タブレットコンピュータ、携帯コンピュータ（例えば、ラップトップコンピュータ）、パソコン、コンピュータモニター、自動車ディスプレイコンソール、カメラディスプレイ、ならびに様々な他の携帯もしくは実質的に非携帯の、ディスプレイアプリケーションおよびデバイスが含まれるが、これらに限定されない。

【0017】

図１Ａは、本明細書に記載の原理と一致する実施形態による、一例におけるマルチビューディスプレイ１１０の斜視図を示す。図１Ａに示すように、マルチビューディスプレイ１００は、見られるマルチビュー画像を表示するためのスクリーン１１２を備える。スクリーン１１２は、例えば、電話（例えば、携帯電話、スマートフォンなど）、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータのコンピュータモニター、カメラディスプレイ、または実質的にいかなる他のデバイスの電子ディスプレイ、のディスプレイスクリーンであってもよい。

【0018】

マルチビューディスプレイ１００は、スクリーン１１２に対して異なるビュー方向１１６にマルチビュー画像の異なるビュー１１４を提供する。ビュー方向１１６は、スクリーン１１２から様々な異なる主角度方向に延びる矢印として示され、異なるビュー１１４は、矢印（すなわち、ビュー方向１１６を図示する）の終端に網掛けされた多角形ボックスとして示され、４個のビュー１１４および４ビュー方向１１６のみが示されているが、それらに限定するものではなくすべては例として示されている。図１Ａでは異なるビュー１１４がスクリーンの上にあるように示されているが、マルチビュー画像がマルチビューディスプレイ１１０に表示される場合、ビュー１１４は実際にはスクリーン１１２に、またはその近くに現れることに留意されたい。スクリーン１１２の上にビュー１１４を描画することは、図示を簡単にすることだけを目的としており、特定のビュー１１４に対応するビュー方向１１６のそれぞれ１つの方向からマルチビューディスプレイ１１０を見ることを表すことを意味する。マルチビューディスプレイ１００によって提供されるマルチビュー画像の異なるビュー１１４とは反対に、２Ｄディスプレイが一般に表示画像の単一のビュー（例えば、複数の異なるビュー１１４のうちの１個のビュー）を提供するように構成されることを除いて、２Ｄディスプレイは、マルチビューディスプレイ１１０と実質的に同様であり得る。

【0019】

ビュー方向、または同等に、マルチビューディスプレイのビュー方向に対応する方向を有する光ビームは、一般に、本明細書の定義により、角度成分｛θ，φ｝によって与えられる主角度方向を有する。角度成分θは、本明細書では光ビームの「仰角成分」または「仰角」と呼ばれる。角度成分φは、光ビームの「方位角成分」または「方位角」と呼ばれる。定義により、仰角θは（例えば、マルチビューディスプレイスクリーンの面に垂直な）鉛直面における角度であり、方位角φは（例えば、マルチビューディスプレイスクリーンの面に平行な）水平面における角度である。

【0020】

図１Ｂは、本明細書に記載の原理と一致する実施形態による、一例におけるマルチビューディスプレイのビュー方向（例えば、図１Ａのビュー方向１１６）に対応する特定の主角度方向を有する光ビーム１２０の角度成分｛θ，φ｝のグラフ表示を示す。さらに、光ビーム１２０は、本明細書の定義により、特定の点から放射または発散される。すなわち、定義により、光ビーム１２０は、マルチビューディスプレイ内の特定の原点に関連付けられた中心光線を有する。図１Ｂは、光ビーム（またはビュー方向）の原点Ｏも示す。

【0021】

本明細書では、「回折格子」は、一般に、回折格子に入射する光の回折を提供するように配置された複数の機構（すなわち、回折機構）として定義される。いくつかの例では、複数の機構は、周期的または準周期的に配置されてもよい。例えば、回折格子は、１次元（１Ｄ）アレイに配置された複数の機構（例えば、材料表面の複数の溝または隆起部）を含んでいてもよい。他の例では、回折格子は、機構の２次元（２Ｄ）アレイであってもよい。回折格子は、例えば、材料表面のバンプまたは穴の２Ｄアレイであってもよい。

【0022】

したがって、本明細書の定義により、「回折格子」は、回折格子に入射する光の回折を提供する構造である。光がライトガイドから回折格子に入射する場合、提供される回折または回折散乱は、回折格子が回折によって導光体からの光を結合し得るという点で、「回折結合」をもたらす場合があり、したがって「回折結合」と呼ばれてもよい。回折格子はまた、回折によって（すなわち、回折角において）光の角度をリダイレクトまたは変化させる。特に、回折の結果として、回折格子を出る光は、一般に、回折格子に入射する光（すなわち、入射光）の伝播方向とは異なる伝播方向を有する。回折による光の伝播方向の変化は、本明細書では「回折的リダイレクション」と呼ばれる。したがって、回折格子は、回折格子に入射する光を回折的にリダイレクトする回折機構を含む構造であると理解されてもよく、光が導光体から入射する場合、回折格子はまた、導光体からの光を回折的に結合してもよい。

【0023】

さらに、本明細書の定義により、回折格子の機構は、「回折機構」と呼ばれ、材料表面での、材料表面内の、および材料表面上（すなわち、２つの材料間の境界）の１つまたはそれ以上の機構であってもよい。材料表面は、例えば、導光体の表面であってもよい。回折機構は、表面での、表面内の、または表面上の１つまたはそれ以上の溝、隆起部、穴、およびバンプを含むがこれらに限定されない、光を回折する様々な構造のいずれかを含んでいてもよい。例えば、回折格子は、材料表面内に、複数の実質的に平行な溝を含んでもよい。別の例では、回折格子は、材料表面から隆起する複数の平行な隆起部を含んでいてもよい。回折機構（例えば、溝、隆起部、穴、バンプなど）は、１つまたはそれ以上の正弦波プロファイル、矩形プロファイル（例えば、バイナリ回折格子）、三角形プロファイル、および鋸歯プロファイル（例えば、ブレーズド格子）を含むがこれらに限定されない、回折を提供する様々な断面形状またはプロファイルのいずれかを有していてもよい。

【0024】

本明細書に記載の様々な例によれば、回折格子（例えば、以下に説明するように、マルチビーム要素の回折格子）を使用して、導光体（例えば、導光板）からの光を回折的に外側に散乱してまたは外側に結合してもよい。特に、局所的に周期的な回折格子の回折角θ_ｍまたは局所的に周期的な回折格子によって提供される回折角θ_ｍは、以下の式（１）によって与えられ、

【数1】

式中、λは光の波長であり、ｍは回折次数であり、ｎは導光体の屈折率であり、ｄは回折格子の機構間の距離または間隔であり、θ_ｉは回折格子への光の入射角である。簡単にするために、式（１）は、回折格子が導光体の表面に隣接し、導光体の外側の材料の屈折率が１に等しい（すなわち、ｎ_ｏｕｔ＝１）と仮定する。一般に、回折次数ｍには整数が与えられる。回折格子によって生成される光ビームの回折角θ_ｍは、式（１）によって与えられてもよく、回折次数は正（例えば、ｍ＞０）である。例えば、回折次数ｍが１に等しい（すなわち、ｍ＝１）場合、一次回折が提供される。

【0025】

本明細書では、「マルチビュー画像」および「マルチビューディスプレイ」という用語で使用される、「マルチビュー」または同等に「マルチビュー」という用語は、複数のビューのビュー間の、異なる視点を表す、または角度視差を含む複数のビューとして定義される。さらに、本明細書では、「マルチビュー」という用語は、本明細書の定義により、２個より多い異なるビュー（すなわち、最低３個のビューであり、一般には３個より多いビュー）を明確に含む。したがって、本明細書で使用される「マルチビューディスプレイ」は、シーンまたは画像を表すために２個の異なるビューのみを含む立体ディスプレイとは明確に区別される。しかしながら、マルチビュー画像およびマルチビューディスプレイは２個より多いビューを含む場合があるが、本明細書の定義により、マルチビュー画像は、一度にマルチビューのうちの２個のみ（例えば、１つの眼につき１個のビュー）を選択することによって、対の立体画像として（例えば、マルチビューディスプレイで）見られてもよいことに留意されたい。

【0026】

「マルチビューピクセル」は、本明細書では、マルチビューディスプレイの、同様の複数の異なるビューの各々の「ビュー」ピクセルを表すサブピクセルのセットとして定義される。特に、マルチビューピクセルは、マルチビュー画像の異なるビューの各々のビューピクセルに対応する、またはビューピクセルを表す個々のサブピクセルを有していてもよい。さらに、マルチビューピクセルのサブピクセルは、本明細書の定義により、サブピクセルの各々が異なるビューのうちの１個に対応する所定のビュー方向に関連付けられているという点で、いわゆる「指向性ピクセル」である。さらに、様々な例および実施形態によれば、マルチビューピクセルのサブピクセルによって表される異なるビューピクセルは、異なるビューの各々において、同等または少なくとも実質的に同様の位置または座標を有していてもよい。例えば、第１マルチビューピクセルは、マルチビュー画像の異なるビューの各々の｛ｘ_１，ｙ_１｝に位置するビューピクセルに対応する個々のサブピクセルを有していてもよく、第２マルチビューピクセルは、マルチビュー画像の異なるビューの各々の｛ｘ_２，ｙ_２｝に位置するビューピクセルに対応する個々のサブピクセルを有していてもよい。

【0027】

本明細書では、「マルチビュー画像」は、複数の画像（すなわち、３個より多い画像）として定義され、複数の画像の各々は、マルチビュー画像の異なるビュー方向に対応する異なるビューを表す。したがって、マルチビュー画像は、マルチビューディスプレイに表示される場合、深度の知覚を容易にし得、したがって、例えば、見る人には３Ｄシーンの画像であるように見え得る画像（例えば、２次元画像）の集合である。

【0028】

本明細書に記載の原理と一致する実施形態は、集積回路（ＩＣ）、超大規模集積（ＶＬＳＩ）回路、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィックスプロセッシングユニット（ＧＰＵ）などのうちの１つまたはそれ以上、およびファームウェア、ソフトウェア（例えばプログラムモジュールまたは命令セット）、ならびに上記のうちの２つまたはそれ以上の組み合わせを含むがこれらに限定されない、様々なデバイスおよび回路を使用して実装されてもよい。例えば、一実施形態または要素は、ＡＳＩＣまたはＶＬＳＩ回路内の回路要素として実装されてもよい。ＡＳＩＣまたはＶＬＳＩ回路を使用する実装は、ハードウェアベース回路の実装の例である。

【0029】

別の例では、一実施形態は、動作環境、またはソフトウェアベースのモデリング環境（例えば、マサチューセッツ州、ネイティックにあるＭａｔｈＷｏｒｋｓ社のＭＡＴＬＡＢ（登録商標））であって、コンピュータによってさらに実行される（例えば、メモリに格納され、プロセッサ、または、汎用コンピュータのグラフィックスプロセッサによって実行される）モデリング環境で実行されるコンピュータプログラミング言語（例えば、Ｃ／Ｃ＋＋）を使用するソフトウェアとして実装されてもよい。１つまたはそれ以上の、コンピュータプログラムまたはソフトウェアが、コンピュータプログラムメカニズムを構成してもよく、プログラミング言語は、コンピュータのプロセッサまたはグラフィックスプロセッサによって実行されるように、コンパイルまたはインタープリタされてもよく、例えば、構成可能であっても、または構成されてもよい（これらは、この説明では交換可能に使用される場合がある）。

【0030】

さらに別の例では、本明細書に記載の装置、デバイス、またはシステム（例えば、画像プロセッサ、カメラなど）のブロック、モジュール、すなわち要素は、実際の、すなわち物理的な回路を使用して（例えば、ＩＣまたはＡＳＩＣとして）実装されてもよく、別のブロック、モジュール、すなわち要素は、ソフトウェアまたはファームウェアで実装されてもよい。特に、本明細書の定義によれば、いくつかの実施形態は、実質的にハードウェアベースの回路手法、またはデバイス（例えば、ＩＣ、ＶＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、ファームウェアなど）を使用して実装されてもよく、他の実施形態はまた、例えば、ソフトウェアを実行するためのコンピュータプロセッサまたはグラフィックスプロセッサを使用して、ソフトウェアまたはファームウェアとして、あるいはソフトウェアもしくはファームウェアとハードウェアベースの回路との組み合わせとして実装されてもよい。

【0031】

さらに、本明細書で使用される場合、冠詞「ａ」は、特許技術における「ａ」の通常の意味、すなわち「１つまたはそれ以上」を有することを意図している。例えば、「マルチビューディスプレイ」は１つまたはそれ以上のマルチビューディスプレイを意味し、したがって、本明細書では「マルチビューディスプレイ」は「（複数の）マルチビューディスプレイ」を意味する。また、本明細書における「上部(top)」、「下部(bottom)」、「上方(upper)」、「下方(lower)」、「上(up)」、「下(down)」、「前(front)」、「後ろ(back)」、「第１(first)」、「第２(second)」、「左(left)」、または「右(right)」への言及はいずれも、本明細書における限定を意図するものではない。本明細書では、「約(about)」という用語は、値に適用される場合、一般に、その値を生成するために使用される機器の許容範囲内を意味するか、または特に明記しない限り、プラスまたはマイナス１０％、もしくは、プラスまたはマイナス５％、もしくは、プラスまたはマイナス１％を意味し得る。さらに、本明細書で使用される「実質的に」という用語は、大部分、ほとんどすべて、またはすべて、もしくは約５１％～約１００％の範囲内の量を意味する。さらに、本明細書の例は、例示のみを意図しており、限定するものではなく説明の目的で提示されている。

【0032】

図２は、本明細書に記載の原理と一致する実施形態による、一例におけるマルチビュースタイル変換方法２００のフローチャートを示す。図２に示すように、マルチビュー画像をスタイル化するための例示的な方法２００は、スタイル情報および入力画像情報を受信することと、受信したスタイル情報と一致する複数の出力画像を合成することまたは提供することとを含む。例えば、方法２００は、スタイルガイドＧ_ｓ２０５、左視差マップΔ_ｌ２１０、右視差マップΔ_ｒ２１５、左ステレオ入力ビューＩ_ｌ２２０、および右ステレオ入力ビューＩ_ｒ２２５を受信することを含む。方法２００は、左右の画像に関して説明されているが、左右の画像それぞれに対応する方法を適用してもよい。

【0033】

一例では、左ステレオ入力ビューＩ_ｌ２２０および右ステレオ入力ビューＩ_ｒ２２５には、対応する左視差マップΔ_ｌ２１０および右視差マップΔ_ｒ２１５が提供されてもよい。別の例では、視差マップ２１０および２１５は、左ステレオ入力ビューＩ_ｌ２２０および右ステレオ入力ビューＩ_ｒ２２５に基づいて推定されてもよい。一例では、視差マップ２１０および２１５は、複数の入力ステレオ画像について訓練されたニューラルネットワークに基づいて推定される。

【0034】

図２の例では、方法２００は、スタイルガイドＧ_ｓ２０５に基づいて左ステレオ入力ビューＩ_ｌ２２０のスタイル化２３０をするためにスタイル変換ネットワークを適用してスタイル化左画像Ｓ_ｌ２４０を生成することを含む。スタイル変換ネットワークを適用して一方の入力ステレオビューのみ、スタイル化２３０をすることは、様々な利点を提供する。２つのステレオ画像の一方のスタイル化２３０は、複数のビュー間のスタイルのコンシステンシーを提供し、それによって入力の小さな変化に対するスタイル変換ネットワークの感度によって引き起こされる影響を低減または排除する。

【0035】

例えば、各ビューを個別にスタイル化する際の問題は、ステレオビュー間の視差効果を含み得ることであり、この視差効果は、視覚的差異を引き起こす可能性があり、またはスタイル化フィーチャが、図４の拡大画像４５０に示すような、スタイル化ステレオ画像間の位置または外観の変更をもたらし得る。このようなインコンシステンシーは、例えば、マルチビューディスプレイで３Ｄコンテンツを視聴する場合、見る人の疲労を引き起こす可能性がある。この問題に対するソリューションは、２つのステレオ画像のうちの一方に、スタイル化２３０を使用することを含み得る。このソリューションは、携帯電子デバイス（例えば、スマートフォン）の例えばマルチビューディスプレイデバイスに対して、計算コストの削減をさらに提供することができる。すなわち、一度スタイル化して多数の出力フレームまたは出力ビューを合成することは、すべての出力フレームまたは出力ビューを個別にスタイル化するよりも計算上かなり効率的である。本ソリューションの別の利点は、２つのステレオ画像のうちの一方のスタイル化２３０によって、様々なスタイル変換ネットワークとの互換性を改善できることを含み得る。例えば、このソリューションは、特にマルチビューレンダリングのために修正および再訓練することを低減または排除するのを助けることができ、それにより、方法２００は、様々なスタイル変換ネットワークに、改善された機能を提供する場合があり、改善された品質および性能を提供する場合がある。

【0036】

方法２００の例は、スタイル化右画像Ｓ_ｒ２４５を生成するために、左視差マップΔ_ｌ２１０に基づいて第１スタイル化左画像Ｓ_ｌ２４０の再投影２３５をすることを含む。一例では、スタイル化左画像Ｓ_ｌ２４０は、例えばビュー合成モジュールを使用して、右ステレオ入力ビューＩ_ｒ２２５と同じ視点のスタイル化右画像Ｓ_ｒ２４５を生成するために再投影される。一例では、再投影２３５は、１つまたはそれ以上の中央処理装置（ＣＰＵ）およびグラフィックスプロセッシングユニット（ＧＰＵ）で実行されてもよい。一例では、再投影２３５は、例えば非遮蔽領域を塗りつぶすことのために近傍領域をサンプリングするための順方向ワーピング、深度テスト、およびインペインティング技術のうちの１つまたはそれ以上を含む。順方向ワーピングは、ソース画像に変換を適用する画像歪みプロセスである。ソース画像からのピクセルは、走査線順に処理されてもよく、結果は、ターゲット画像に投影される。深度テストは、シェーダによって処理される画像のフラグメント、または処理されるべき画像のフラグメントが、書き込まれているサンプルの深度に関してテストされる深度値を有するプロセスである。フラグメントは、テストが失敗したときに破棄される。また、深度バッファは、テストに合格したときにフラグメントの出力深度で更新される。インペインティングとは、画像の欠落または未知の領域を塗りつぶすことを指す。いくつかの技術は、近傍ピクセルに基づいてピクセル値を予測すること、または近傍ピクセルを未知の領域または欠落領域に反映することを含む。画像の欠落領域または未知の領域は、別のシーンオブジェクトによって部分的に覆われているシーンオブジェクトを指すシーンの非遮蔽から生じ得る。この点において、再投影は、元の視点からシーンの新しい視点を構築するための画像処理技術を含んでいてもよい。したがって、結果として生成されたスタイル化右画像Ｓ_ｒ２４５は、スタイル化左ビューの右視点への再投影であり、スタイル化右画像Ｓ_ｒ２４５のスタイルフィーチャは、生成されたスタイル化右画像Ｓ_ｒ２４５内の対応する位置に移される。

【0037】

方法２００の例は、ガイドフィルタモジュール２５０をスタイル化左画像Ｓ_ｌ２４０に適用してフィルタ後スタイル化左ビューＳ_ｌ’２６０を生成することと、同様にガイドフィルタモジュール２５５をスタイル化右画像Ｓ_ｒ２４５に適用してフィルタ後スタイル化右ビューＳ_ｒ’２６５を生成することとを含む。一例では、ガイドフィルタモジュール２５０は、エッジ認識ガイドフィルタリングを使用して、スタイル化左画像Ｓ_ｌ２４０およびスタイル化右画像Ｓ_ｒ２４５を精緻化するように構成されたフィルタを含む。エッジ認識ガイドフィルタリングは、左ステレオ入力ビューＩ_ｌ２２０および右ステレオ入力ビューＩ_ｒ２２５において検出されたエッジに基づくことができる。例えば、マルチビューディスプレイで画像を見る場合、エッジ配置の品質は、３Ｄ知覚体験を向上または低下させる可能性があるが、いくつかの例では、スタイル変換プロセスは、３Ｄシーン内のオブジェクトのエッジを劣化させる可能性がある。スタイル化画像２４０および２４５に、それぞれ対応する非スタイル化ビュー２２０および２２５をガイドとして使用してガイドフィルタモジュール２５０を適用することにより、エッジのスタイル化を低減しながら元の３Ｄオブジェクトのエッジを強化することができ、したがって、より没入型のまたはロバストな３Ｄ体験をもたらす。ガイドフィルタモジュール２５０の適用例は、以下に説明する図３に示されている。

【0038】

方法２００は、異なる視点にそれぞれ対応する複数のスタイル化画像Ｓ_１、Ｓ_２、Ｓ_３、およびＳ_４２８０を生成するための、フィルタ後スタイル化左ビューＳ_ｌ’２６０およびフィルタ後スタイル化右ビューＳ_ｒ’２６５の合成２７０を含む。一例では、合成２７０は、例えば左視差マップΔ_ｌ２１０および右視差マップΔ_ｒ２１５に基づくことができるように、フィルタ後スタイル化左ビューＳ_ｌ’２６０およびフィルタ後スタイル化右ビューＳ_ｒ’２６５を複数の視点ｘ_１、ｘ_２、．．．、ｘ_ｎに再投影することを含む。この再投影は、複数の視点ｘ_１、ｘ_２、．．．、ｘ_ｎに適用される再投影２３５と同様である。一例では、視点スタイル化画像Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４２８０の各々は、複数の視点ｘ_１、ｘ_２、．．．、ｘ_ｎの各々へのフィルタ後スタイル化左ビューＳ_ｌ’２６０およびフィルタ後スタイル化右ビューＳ_ｒ’２６５の再投影、ならびに左ステレオ入力ビューＩ_ｌ２２０および右ステレオ入力ビューＩ_ｒ２２５に対応する左右の視点への視点の近接度に基づくブレンドに基づく。

【0039】

図３は、本明細書に記載の原理と一致する実施形態による、一例におけるガイドフィルタ適用３００を示す。図３は、スタイル化画像Ｓの、ガイドフィルタ適用前のもの３１０、およびガイドフィルタ適用後のもの３２０一例を示す。拡大フィルタ前画像３１５および拡大フィルタ後画像３２５は、ガイドフィルタを適用することが、スタイル変換によって導入されたエッジの影響を低減しながら、元の３Ｄシーンにおけるエッジとのコンシステンシーを高めることを示している。

【0040】

図４は、本明細書に記載の原理と一致する実施形態による、一例におけるマルチビュースタイル変換出力アレイ４００のフローチャートを示す。図４に示すように、スタイルガイド４０５は、左視差マップ４１０、右視差マップ４１５、左ステレオ入力ビュー４２０、右ステレオ入力ビュー４２５に適用される。第１の例示的なスタイル化画像対４３０および４３５は、スタイル化されて投影されたが、ガイドエッジフィルタを適用していない画像に対応する。第１の例示的なスタイル化画像対４３０および４３５からの拡大画像４５０に見られるように、インコンシステントなフィーチャ、およびその他のインコンシステントなスタイル化が、ガイドエッジフィルタを適用することなくスタイル化および投影された対のステレオ画像から生じ得る。これらのインコンシステンシーは、見る人の立体画像に集中する能力を低減させ、それによって３Ｄを見る疲労を増加させ得る。第２の例示的なスタイル化画像対４６０および４６５は、スタイル化、投影、およびガイドエッジフィルタを使用してフィルタ化された画像に対応する。第２の例示的なスタイル化画像対４６０および４６５からの拡大画像４７０に見られるように、フィーチャおよびスタイル化のコンシステンシーは、ガイドエッジフィルタの適用によって改善される。この改善されたコンシステンシーは、マルチビューディスプレイで複数の画像を見る際のユーザの集中力および快適さを改善する。

【0041】

マルチビュースタイル変換ＭＳＴのための本システムおよび方法は、他のソリューションに対して様々な利点を提供する。表１は、６つの異なる方法または技術の各々を使用して、４個のビュー（例えば、視点）、８個のビュー、および１６個のビューを有するスタイル化マルチビュー画像をレンダリングするためのいくつかの実施形態における平均実行時間の比較を示す。

【表1】

【0042】

表１は、ベースラインのＣＰＵおよびＧＰＵのソリューション、手法ＡおよびＢ、ならびに本マルチビュースタイル変換（ＭＳＴ）のＣＰＵおよびＧＰＵのソリューションを比較している。ベースラインＣＰＵおよびベースラインＧＰＵのソリューションは、合成ビューの各々に個別にニューラルスタイル変換を単純に適用する。表１に示すように、本ＭＳＴＣＰＵおよび本ＭＳＴＧＰＵは、視点ビューの数に対して線形にスケーリングする。これは、線形にスケーリングしないベースラインＣＰＵおよびベースラインＧＰＵのソリューションと比較して、計算効率の改善を提供する。本ＭＳＴＣＰＵおよび本ＭＳＴＧＰＵは、スタイルコンシステントなビューをさらに生成し、したがって計算効率を改善する。

【0043】

本ＭＳＴＣＰＵおよび本ＭＳＴＧＰＵは、手法Ａに対して改善を提供する。手法Ａは、立体入力ビューの各々にニューラルスタイル変換を適用することと、その後、スタイル化された対の視差マップおよび元の視差マップを入力として使用して新規ビュー合成を実行することとを含む。手法Ａは、ベースラインＣＰＵおよびベースラインＧＰＵよりも高速に実行されるが、レンダリングされたビューは、望ましくないゴーストアーチファクトおよび立体視対間の全体的にコンシステントなスタイル化を生成し、これが視聴疲労につながる可能性がある。

【0044】

手法Ｂは、手法Ａよりも出力画像のスタイルのインコンシステンシーを改善しようとするものである。手法Ｂは、ニューラルスタイルを入力左画像のみに適用して、スタイル化左画像を作成し、その後、このスタイル化左画像のみから新規ビューを合成することを含む。手法Ｂは、元の自然な左右の画像の両方を同時に使用してビュー合成を実行することをさらに含み、この自然なマルチビュー画像は、スタイル化マルチビュー画像上のガイドフィルタパスのガイドとして使用される。結果として得られるマルチビュー画像は、ぶれアーチファクトを低減するために鮮明化される。この方法は、比較的鋭いエッジを有するコンシステントなスタイル化ビューを生成するが、手法Ｂは、スタイル化新規ビュー合成に左画像のみを使用するため、深度効果が限定される。さらに、手法Ｂは、ガイドフィルタリングステップにおける整列したエッジの低減をもたらし、出力ビューには、エッジの周りにゴーストアーチファクトが生成される。

【0045】

マルチビュースタイル変換方法２００は、ベースライン、手法Ａ、および手法Ｂに対する改善を提供し、同時に改善された計算効率を提供する。特に、マルチビュースタイル変換方法２００は、携帯デバイス上でＧＰＵアクセラレーションがされる場合を含む、オンデマンド性を有する改善されたマルチビューのコンシステントなスタイル化画像を提供する。

【0046】

図５Ａ～図５Ｃは、本明細書に記載の原理と一致する実施形態による、様々な例におけるマルチビュースタイル変換方法の結果５００を示す。図５Ａは、入力５１０例えば元のステレオ対、視差マップ、およびスタイルガイドを受け取り、出力５１５を生成する、４ビューの一例を示す。同様に、図５Ｂは、入力５２０を受け取り、出力５２５を生成する８ビューの一例を示し、図５Ｃは、入力５３０を受け取り、出力５３５を生成する１６ビューの一例を示す。図５Ａ～図５Ｃに見られるように、本マルチビュースタイル変換方法２００は、オブジェクトの位置、回転、または遮蔽に関係なく、各合成画像内のオブジェクトのコンシステントなスタイル化をもたらす。図５Ａ～図５Ｃの例における異なるビューは、マルチビューディスプレイのそれぞれの異なるビューまたはビュー視点に対応することができる。

【0047】

図６Ａ～図６Ｂは、本明細書に記載の原理と一致する実施形態による、様々な例におけるマルチビュースタイル変換デバイス６００を示す。図６Ａは、本明細書に記載の原理の実施形態による、一例におけるマルチビューディスプレイ６２８を含む電子デバイス６００のブロック図を示す。図示するように、電子デバイス６００は、グラフィックスプロセッシングユニット（ＧＰＵ）６１０を備える。グラフィックスプロセッシングユニット６１０は、別個の３Ｄ視点を有するスタイル化マルチビュー画像６１２（例えばスタイル化マルチビュー画像）を生成するように構成される。

【0048】

スタイル化マルチビュー画像６１２を受信した後、ドライバ６１６は、スタイル化マルチビュー画像６１２をバッファ６１８に格納してもよい。バッファ６１８は、３Ｄビューを有するスタイル化マルチビュー画像６１２全体、例えば、３Ｄビデオのフルフレームを格納することができることに留意されたい。その後、マッピング回路６２０（例えば、制御論理またはルーティング論理、より一般にはマッピングまたは変換ブロック）は、スタイル化マルチビュー画像６１２を合成画像６２２に変換する。次に、ドライバ回路６２４は、合成画像６２２に基づいてピクセル駆動信号６２６をマルチビューディスプレイ６２８に向ける、すなわちマルチビューディスプレイ６２８にかける。いくつかの実施形態では、スタイル化マルチビュー画像６１２は、複数の異なるフォーマットのうちの１つを有する画像ファイルを有するか、またはそのような画像ファイルと互換性がある。

【0049】

別個のドライバ６１６の代わりに、いくつかの実施形態では、ドライバ６１６の機能の一部またはすべてがグラフィックスプロセッシングユニットに含まれる。これは、本明細書に記載の原理の別の実施形態による、一例におけるマルチビューディスプレイ６２８を含む電子デバイス６３０のブロック図を示す図６Ｂに示されている。特に、図６Ｂにおいて、グラフィックスプロセッシングユニット６１０は、ドライバ６１６の構成要素を含む。

【0050】

図６Ａおよび図６Ｂは、マルチビューディスプレイ６２８を含む電子デバイスにおける画像処理技術を示しているが、いくつかの実施形態では、画像処理技術は、電子デバイス６００および６３０のうちの１つの、１つまたはそれ以上の構成要素、例えばマルチビューディスプレイ６２８の１つまたはそれ以上の構成要素などに実装され、マルチビューディスプレイ６２８の残りの構成要素または電子デバイス６００および６３０のうちの１つとは別に、または併せて提供され得る。

【0051】

いくつかの実施形態では、電子デバイス６００および６３０は処理回路、例えば、メモリに格納された命令を実行するように構成された中央処理装置（ＣＰＵ）を含んでいてもよい。この命令は、オペレーティングシステムによってサポートされるアプリケーションの一部であってもよい。この命令は、ＣＰＵ、ＧＰＵ、またはそれらの組み合わせによって実行されるソフトウェアプログラムルーチンの一部であってもよい。例えば、ビュー合成は、ＣＰＵまたはＧＰＵによって実行されるソフトウェアとして実装されてもよく、ガイドフィルタは、ＣＰＵによって実行されるソフトウェアとして実装されてもよい。

【0052】

本開示の様々な態様は、本明細書で識別されるスタイル化の問題に対するソリューションの提供を助けることができる。例えば、例１は、処理回路と、命令を含むメモリとを備えるマルチビュースタイル変換システムであって、命令が処理回路によって実行されると、処理回路に、シーンの第１視点を表す第１画像、第１画像に対応する第１視差マップ、シーンの第２視点を表す第２画像、および第２画像に対応する第２視差マップを受信させ、第１画像に適用されたスタイル変換モデルを表す第１スタイル化画像を生成させ、第１スタイル化画像および第１視差マップに基づいて、第１スタイル化画像の第２視点への第１シフトを含むスタイル化シフト画像を生成させ、スタイル化シフト画像のガイドフィルタおよび第２画像に基づいて第２スタイル化画像を生成させ、ガイドフィルタが、第２画像に基づいて第２スタイル化画像におけるエッジ特性を処理させる、マルチビュースタイル変換システムを含むことができる。シフト画像(shifted image or shift image)は、元の画像からシフトされた視点ビューを有する画像である。シフトとは、画像のビューをシフトして新しい画像を生成することを指す。シフトは、再投影技術を使用して実行されてもよい。元の画像からシフト画像を生成するために、元の画像の様々な領域が引き伸ばされ、再配置され、またはワーピングされてもよい。

【0053】

例２において、例１の主題が、マルチビューディスプレイを備え、命令が、処理回路にさらに、スタイル化シフト画像および第１視差マップに基づいて第１スタイル化画像を生成させ、第２スタイル化画像および第２視差マップに基づいて第２スタイル化画像を生成させ、第１スタイル化画像および第２スタイル化画像が、マルチビューディスプレイによる同時使用のために構成され、命令が、処理回路にさらに、第１スタイル化画像および第２スタイル化画像をマルチビューディスプレイに表示させることを含む。

【0054】

例３において、例２の主題が、命令が、処理回路にさらに、第１スタイル化画像および第２スタイル化画像に基づいて複数のスタイル化視点ビューを合成させ、複数のスタイル化視点ビューをマルチビューディスプレイに表示させることを含む。

【0055】

例４において、例１～３の主題が、命令が、処理回路にさらに、第２スタイル化画像への第２ガイドフィルタの適用に基づいて第２フィルタ後画像を生成させ、第２スタイル化画像の生成が第２フィルタ後画像にさらに基づくことを含む。

【0056】

例５において、例４の主題が、命令が、処理回路にさらに、第１スタイル化画像への第１ガイドフィルタの適用に基づいて第１フィルタ後画像を生成させ、第１スタイル化画像の生成が、第１フィルタ後画像にさらに基づくことを含む。

【0057】

例６において、例５の主題が、第１ガイドフィルタが第１ガイド鮮明化フィルタを含み、第１ガイド鮮明化フィルタが、第１画像内の第１複数のエッジに基づいて第１スタイル化画像を鮮明化し、第２ガイドフィルタが第２ガイド鮮明化フィルタを含み、第２ガイド鮮明化フィルタが、第２画像内の第２複数のエッジに基づいて第２スタイル化画像を鮮明化することを含む。いくつかの実施形態では、ガイド鮮明化フィルタを使用して、低周波数を除去するハイパスフィルタを使用することにより、検出されたエッジを鮮明化してもよい。

【0058】

例７において、例１～例６の主題が、命令が、処理回路にさらに、第１画像およびスタイル変換モデルに基づいて第１スタイル化画像を生成させることを含む。

【0059】

例８において、例７の主題が、スタイル変換モデルが、複数のターゲットスタイル画像に関する機械学習を介して訓練されたスタイル変換ニューラルネットワークを含むことを含む。

【0060】

例９において、例７～例８の主題が、命令が、処理回路にさらに、ターゲットスタイル画像を受信させ、ターゲットスタイル画像へのニューラルスタイル変換（ＮＳＴ）アルゴリズムの適用に基づいてターゲットスタイルを識別させ、ターゲットスタイルに基づいてスタイル変換モデルを生成させることとを含む。

【0061】

例１０において、例１～例９の主題が、命令が、処理回路にさらに、第１画像および第２画像に基づいて、第１視差マップであって、第２画像の第２複数の画像点に対する第１画像の第１複数の画像点の水平座標の差を表す第１視差マップを生成させ、第１画像および第２画像に基づいて第２視差マップであって、第１画像の第１複数の画像点に対する第２画像の第２複数の画像点の水平座標の差を表す第２視差マップを生成させることを含む。例えば、視差マップは、マルチビュー画像のビュー間の見かけのピクセル差を示す。この点において、視差マップは、ピクセルがマルチビューディスプレイのどこにレンダリングされるべきかを指定することによって、レンダリングされたピクセルの見かけの視差を制御する。視差が約０である場合、オブジェクトを表すピクセルが、見る人には、異なるビューにわたって同じ位置で見える。マルチビューディスプレイ上にレンダリングされる場合、視差が約０のピクセルは、見る人には、スクリーンディスプレイに位置するように見えるが、０でない視差を有するピクセルは、ディスプレイのスクリーンの前または後ろに表示される。

【0062】

異なるビューにわたる水平座標の差が、異なる視点から見た同じオブジェクトのピクセル位置の差をもたらし、視差を生じさせる。いくつかの実施形態では、視差マップが、鉛直視差、水平視差、またはその両方を示してもよい。したがって、異なるビューの、対応するピクセル間の差が、鉛直方向、水平方向、またはその両方におけるものであってもよい。

【0063】

例１１において、例１～例１０の主題が、命令が、処理回路にさらに、第１スタイル化画像および第１視差マップに基づいて、第１外挿画像であって、第１画像に関連付けられたシーンの第１視点に基づいて第３視点に外挿された第１合成視点を表す第１外挿画像をさせ、第２スタイル化画像および第２視差マップに基づいて、第２外挿画像であって、第２画像に関連付けられたシーンの第２視点に基づいて第４視点に外挿された第２合成視点を表す第２外挿画像を生成させ、第１外挿画像および第２外挿画像をマルチビューディスプレイに表示させることを含む。ビュー合成が、コンピュータビジョン技術、順方向ワーピング、深度テスト、インペインティング技術、またはそれらの任意の組み合わせを使用して、１個またはそれ以上の元のビューから新しいビューを人工的に予測、外挿、または内挿することを含んでいてもよい。

【0064】

例１２において、例１～例１１の主題が、命令が、処理回路にさらに、第１スタイル化画像を第１の所望の出力視点から再投影することに基づいて第１スタイル化視点画像を生成させ、第２スタイル化画像を第２の所望の出力視点から再投影することに基づいて第２スタイル化視点画像を生成させ、第１スタイル化視点画像および第２スタイル化視点画像をマルチビューディスプレイに表示させることを含む。所望の出力視点は、マルチビューディスプレイによって生成されるビューの主角度方向に対応する。

【0065】

例１３において、例１２の主題が、第１の所望の出力視点が、デバイスマルチビューディスプレイに関連付けられた第１デバイス視点に基づき、第２の所望の出力視点が、デバイスマルチビューディスプレイに関連付けられた第２デバイス視点に基づくことを含む。

【0066】

例１４において、例１２～例１３の主題が、命令が、処理回路にさらに、第３の所望の出力視点から第３スタイル化画像を再投影することに基づいて第３スタイル化視点画像を生成させ、第４の所望の出力視点から第４スタイル化画像を再投影することに基づいて第４スタイル化画像を生成させ、前記第３スタイル化視点画像および前記第４スタイル化視点画像を前記マルチビューディスプレイに表示させることを含む。

【0067】

例１５は、シーンの第１視点を表す第１画像、第１画像に対応する第１視差マップ、シーンの第２視点を表す第２画像、および第２画像に対応する第２視差マップを受信するステップと、第１画像に適用されたスタイル変換モデルを表す第１スタイル化画像を生成するステップと、第１スタイル化画像および第１視差マップに基づいて、第１スタイル化画像の第２視点への第１シフトを含むスタイル化シフト画像を生成するステップと、スタイル化シフト画像のガイドフィルタおよび第２画像に基づいて第２スタイル化画像を生成するステップであって、ガイドフィルタが、第２画像に基づいて第２スタイル化画像におけるエッジ特性を処理するステップとを含む、マルチビュースタイル変換方法である。

【0068】

例１６において、例１５の主題が、スタイル化シフト画像および第１視差マップに基づいて第１スタイル化画像を生成するステップと、第２スタイル化画像および第２視差マップに基づいて第２スタイル化画像を生成するステップとを含み、第１スタイル化画像および第２スタイル化画像が、マルチビューディスプレイによる同時使用のために構成される。

【0069】

例１７において、例１６の主題が、第１スタイル化画像および第２スタイル化画像に基づいて複数のスタイル化視点ビューを合成するステップを含む。

【0070】

例１８において、例１５～例１７の主題が、第２スタイル化画像への第２ガイドフィルタの適用に基づいて第２フィルタ後画像を生成するステップを含み、第２スタイル化画像の生成が第２フィルタ後画像にさらに基づくことを含む。

【0071】

例１９において、例１８の主題が、第１スタイル化画像への第１ガイドフィルタの適用に基づいて第１フィルタ後画像を生成するステップを含み、第１スタイル化画像の生成が第１フィルタ後画像にさらに基づくことを含む。

【0072】

例２０において、例１９の主題が、第１ガイドフィルタが第１ガイド鮮明化フィルタを含み、第１ガイド鮮明化フィルタが、第１画像内の第１複数のエッジに基づいて第１スタイル化画像を鮮明化し、第２ガイドフィルタが第２ガイド鮮明化フィルタを含み、第２ガイド鮮明化フィルタが第２画像内の第２複数のエッジに基づいて第２スタイル化画像を鮮明化することを含む。

【0073】

例２１において、例１５～例２０の主題が、第１画像およびスタイル変換モデルに基づいて第１スタイル化画像を生成するステップを含む。

【0074】

例２２において、例２１の主題が、スタイル変換モデルが、複数のターゲットスタイル画像に関する機械学習を介して訓練されたスタイル変換ニューラルネットワークを含むことを含む。

【0075】

例２３において、例２１～例２２の主題が、ターゲットスタイル画像を受信するステップと、ターゲットスタイル画像へのニューラルスタイル変換（ＮＳＴ）アルゴリズムの適用に基づいてターゲットスタイルを識別するステップと、ターゲットスタイルに基づいてスタイル変換モデルを生成するステップとを含むことを含む。

【0076】

例２４において、例１５～例２３の主題が、第１画像および第２画像に基づいて、第１視差マップであって、第２画像の第２複数の画像点に対する第１画像の第１複数の画像点の水平座標の差を表す第１視差マップを生成するステップと、第１画像および第２画像に基づいて、第２視差マップであって、第１画像の第１複数の画像点に対する第２画像の第２複数の画像点の水平座標の差を表す第２視差マップを生成するステップとを含む。

【0077】

例２５において、例１５～例２４の主題が、第１スタイル化画像および第１視差マップに基づいて、第１外挿画像であって、第１画像に関連付けられたシーンの第１視点に基づいて第３視点に外挿された第１合成視点を表す第１外挿画像を生成するステップと、第２スタイル化画像および第２視差マップに基づいて、第２外挿画像であって、第２画像に関連付けられたシーンの第２視点に基づいて第４視点に外挿された第２合成視点を表す第２外挿画像を生成するステップとを含む。

【0078】

例２６において、例１５～例２５の主題が、第１スタイル化画像を第１の所望の出力視点から再投影することに基づいて第１スタイル化視点画像を生成するステップと、第２スタイル化画像を第２の所望の出力視点から再投影することに基づいて第２スタイル化視点画像を生成するステップとを含む。

【0079】

例２７において、例２６の主題が、第１の所望の出力視点が、デバイスマルチビューディスプレイに関連付けられた第１デバイス視点に基づき、第２の所望の出力視点が、デバイスマルチビューディスプレイに関連付けられた第２デバイス視点に基づくことを含む。

【0080】

例２８において、例２６～例２７の主題が、第３スタイル化画像を第の３所望の出力視点から再投影することに基づいて第３スタイル化視点画像を生成するステップと、第４スタイル化画像を第４の所望の出力視点から再投影することに基づいて第４スタイル化視点画像を生成するステップとを含む。

【0081】

こうして、第１スタイル化画像および第２スタイル化画像をマルチビューディスプレイに表示するマルチビュースタイル変換システムおよび方法の例および実施形態を説明した。上記の例は、本明細書に記載の原理を表す多数の特定の例の一部の例示にすぎないことを理解されたい。当分野の技術者は、以下の特許請求の範囲によって定義される範囲から逸脱することなく、多数の他の構成を容易に考案することができるは明らかである。

【符号の説明】

【0082】

１００ マルチビューディスプレイ
１１０ マルチビューディスプレイ
１１２ スクリーン
１１４ ビュー
１１６ ビュー方向
１２０ 光ビーム
２００ マルチビュースタイル変換方法
２１０ 視差マップ
２２０ 非スタイル化ビュー
２３０ スタイル化
２３５ 再投影
２４０ スタイル化画像
２５０ ガイドフィルタモジュール
２５５ ガイドフィルタモジュール
２７０ 合成
３００ ガイドフィルタ適用
３１０ ガイドフィルタ
３１５ 拡大フィルタ前画像
３２０ ガイドフィルタ
３２５ 拡大フィルタ後画像
４００ マルチビュースタイル変換出力アレイ
４０５ スタイルガイド
４１０ 左視差マップ
４１５ 右視差マップ
４２０ 左ステレオ入力ビュー
４２５ 右ステレオ入力ビュー
４３０ スタイル化画像
４５０ 拡大画像
４６０ スタイル化画像
４７０ 拡大画像
５００ 結果
５１０ 入力
５１５ 出力
５２０ 入力
５２５ 出力
５３０ 入力
５３５ 出力
６００ 電子デバイス
６１０ グラフィックスプロセッシングユニット
６１２ スタイル化マルチビュー画像
６１６ ドライバ
６１８ バッファ
６２０ マッピング回路
６２２ 合成画像
６２４ ドライバ回路
６２６ ピクセル駆動信号
６２８ マルチビューディスプレイ
６３０ 電子デバイス
６３２ グラフィックスプロセッシングユニット

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】