特許 7120740 適応的デプスガイドノンフォトリアリスティックレンダリング方法、対応するコンピュータプログラム製品、コンピュータ読取可能搬送媒体及びデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-08

(45)【発行日】2022-08-17

(54)【発明の名称】適応的デプスガイドノンフォトリアリスティックレンダリング方法、対応するコンピュータプログラム製品、コンピュータ読取可能搬送媒体及びデバイス

(51)【国際特許分類】

   G06T 15/02 20110101AFI20220809BHJP

【ＦＩ】

G06T15/02

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2017034569

(22)【出願日】2017-02-27

(65)【公開番号】P2017174416

(43)【公開日】2017-09-28

【審査請求日】2020-02-26

(31)【優先権主張番号】16305227.7

(32)【優先日】2016-02-29

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】バイヤール，カロリーヌ

(72)【発明者】

【氏名】ジュエ，ピエリック

(72)【発明者】

【氏名】アローム，ヴァンサン

【審査官】板垣 有紀

(56)【参考文献】

【文献】特開２００５－３４１５６９（ＪＰ，Ａ）

【文献】米国特許第０９６０７２０７（ＵＳ，Ｂ１）

【文献】Fritz Albregtsen，REGION & EDGE BASED SEGMENTATION，INF 4300 - Digital Image Analysis，2010年09月22日，pp.1-58，https://www.uio.no/studier/emner/matnat/ifi/INF4300/h10/undervisningsmateriale/INF4300-2010-f03-segmentation.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

同じシーンの少なくとも１つの画像の組のノンフォトリアリスティックレンダリングの方法であって、前記方法は、
リファレンスデプスを取得することと、
少なくとも１つの画像の前記組のオールインフォーカス（ＡＩＦ）画像から、第１の画像を取得することであって、前記第１の画像は、異なる基準で生成される異なるデプスの領域の組を含み、異なる基準は、領域生成の異なる粒度レベルに対応し、領域の前記組の領域は、前記領域の第１デプスと前記リファレンスデプスとの間の焦点ぼけの程度に依存する基準で前記ＡＩＦ画像から生成されることと、
前記第１の画像を少なくとも１つの画像の前記組からのエッジ画像と組み合わせることによって少なくとも１つの画像の前記組をノンフォトリアリスティックレンダリングすることと、
を含む、方法。

【請求項2】

領域の前記組は、前記ＡＩＦ画像の階層化セグメンテーションから取得される、請求項１に記載の方法。

【請求項3】

領域の前記組は、前記基準に従って前記ＡＩＦ画像の重み付けエッジ表現にしきい値を付すことによって取得される、請求項１に記載の方法。

【請求項4】

前記エッジ画像は、前記ＡＩＦ画像のエッジ抽出から取得され、前記エッジ画像は、異なるエッジ抽出基準で生成される異なるデプスのエッジ領域の組を含み、異なるエッジ抽出基準は、エッジ抽出の異なる粒度レベルに対応し、エッジ領域の前記組のエッジ領域は、前記エッジ領域の第２デプスと前記リファレンスデプスとの間の前記焦点ぼけの程度に依存するエッジ抽出基準で前記ＡＩＦ画像から生成される、請求項２に記載の方法。

【請求項5】

エッジ領域の前記組は、前記エッジ抽出基準に従って前記ＡＩＦ画像の重み付けエッジ表現にしきい値を付すことによって取得される、請求項４に記載の方法。

【請求項6】

前記第１の画像を前記エッジ画像と組み合わせることは、前記エッジ画像のエッジを前記第１の画像上に重ね合わせて表示することを含む、請求項４に記載の方法。

【請求項7】

前記基準は、前記領域のデプスと前記リファレンスデプスとの間の差の関数である、請求項１に記載の方法。

【請求項8】

前記領域の前記デプスと前記リファレンスデプスとの間の前記差が減少するにつれて、前記領域生成の粒度レベルが増加する、請求項７に記載の方法。

【請求項9】

前記リファレンスデプスが、注視トラッキング分析から自動的に取得される請求項１に記載の方法。

【請求項10】

前記リファレンスデプスが、ユーザインタフェースを通してユーザ選択を受け取ることによって取得される、請求項１に記載の方法。

【請求項11】

同じシーンの少なくとも１つの画像の前記組が、ライトフィールドデータ取得デバイスによって供給されるライトフィールドコンテンツから得られる、請求項１に記載の方法。

【請求項12】

同じシーンの少なくとも１つの画像の組のノンフォトリアリスティックレンダリングのためのデバイスであって、前記デバイスはプロセッサを含み、前記プロセッサは、
リファレンスデプスを取得することと、
少なくとも１つの画像の前記組のオールインフォーカス（ＡＩＦ）画像から、第１の画像を取得することであって、前記第１の画像は、異なる基準で生成された異なるデプスの領域の組を含み、異なる基準は、領域生成の異なる粒度レベルに対応し、領域の前記組の領域は、前記領域のデプスと前記リファレンスデプスとの間の焦点ぼけの程度に依存する基準で前記ＡＩＦ画像から生成されることと、
前記第１の画像を少なくとも１つの画像の前記組からのエッジ画像と組み合わせることによって、少なくとも１つの画像の前記組をノンフォトリアリスティックレンダリングすることと、
を行うように構成される、デバイス。

【請求項13】

コンピュータプログラムであって、請求項１乃至１１のいずれか１項に従う方法を実行するプログラムコード命令を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理の分野にあり、シーンのノンフォトリアリスティック表現のレンダリングに関する技術に関連する。より正確には、本開示は、シーンに関連するデプス画像（depth image）に関するノンフォトリアリスティックコンテンツ（non-photorealistic content）のレンダリング（rendering）に関する技術に関連する。本開示の技術は、ライトフィールドデータ取得デバイスを通して得られたライトフィールドコンテンツ（light field content）に排他的ではなく特に適用することができる。

【背景技術】

【0002】

本セクションは、技術の様々な態様を読者に紹介することを意図し、それは、以下で説明され及び／又は請求される本開示の様々な態様に関係し得る。この検討は、本発明の様々な態様のより良い理解を手助けする背景情報を読者に提供することに役立つと考える。その結果、これらの表現は、この観点で読まれるべきであり、従来技術を自白するためではないことを理解されたい。

【0003】

ノンリフォトアリスティックレンダリングは、従来のフォトリアリスティックなコンピュータグラフィックスに代わるものである。アーティストに良く知られた抽象化の原理を使うことによって、ノンフォトリアリスティックレンダリングは、ペインティング、ドローイング、テクニカルイラストレーションなどの様々な美術のスタイルによるコンテンツ（画像又はビデオ）のレンダリングを含む。その意味を持つ構造を明確にするために、画像単純化に対する純粋な芸術的なゴールから、目的が変わるかも知れない。

【0004】

多くのノンフォトリアリスティックレンダリング技術は、－シーンの漫画風イメージ抽出の作成に存在するような－シーン（例えば、写真又は３Ｄモデル）のリアリスティック表現上で実行される少なくとも２つの主な動作に依存する：それらはリージョンフラットニング（region flattening：領域のフラット化）とラインドローイング（line drawing：線による描画）である。

【0005】

リージョンフラットニングは、色などのインスタンス画像プロパティに対して使用することによって、意味のある視覚情報（visual information）を保存する一方、不必要な細部を取り除くことによって画像コンテンツを単純化することを含む。

【0006】

ラインドローイングは、シーンのコンテンツをコンパクト且つ審美的観点から記述するライン（line：線）の一貫性のある組を抽出することを含む。

【0007】

ノンフォトリアリスティックレンダリングの問題は、シーンの３Ｄ（３次元）モデル又は２Ｄ（２次元）表現に基づいているかに依存して、非常に異なる点である。３Ｄモデルから２Ｄノンフォトリアリスティックコンテンツをレンダリングするとき、ラインドローイングは、例えば、見えない輪郭（contours）又はしわ（creases）から導き出すことができる。シーンの２Ｄ表現から２Ｄノンフォトリアリスティックコンテンツをレンダリングするとき（例えば、写真に基づいて、通常「画像ベースノンフォトリアリスティックレンダリング」として指される技術）、シーン内のオブジェクト（objects）の３Ｄ形状にアクセスする確実な方法はない。すべての意味のあるライン（線）及び領域は、それ故に、画像自体から抽出しなければならない。画像ベースのノンフォトリアリスティックレンダリングに関する殆どの既存技術は、画像抽象化に対する共通のアプローチである、エッジ検出（edge detection）方法及び／又はセグメンテーション（segmentation）方法に依存している。セグメンテーションは、例えば、平均シフトアルゴリズム（mean shift algorithm）の使用によって実行することができる。意味のあるラインの抽出に関して、ガウスの差分フィルタ（difference-of-Gaussian filter）又はフローガイドガウスの差分（flow-guided difference-of-Gaussian）などの拡張された関連技術（ノイズを抑制する一方で、ラインの一貫性を著しく改善する）は、芸術的なイラストレーションに対して特に効果的であることが証明されている。

【0008】

しかしながら、画像ベースノンフォトリアリスティックレンダリングの既存のソリューションに対していくつかの制限がまだ残っている。

【0009】

例えば、多くの写真は、エッジ検出及びセグメンテーションアルゴリズムが不完全に動作するアウトオブフォーカスエリア（out-of-focus areas：ピンぼけエリア）を含んでいる：これらのエリアでは、より正確ではなく、よりロバストでない。結果として、ラインドローイング及びフラット化領域（flattened-regions）の境界は、レンダリングされたノンフォトリアリスティックコンテンツの対応するエリアで不規則で一貫性がなく（irregular and inconsistent）、それは、目にとって不愉快で注意をそらせる結果となる。

【0010】

従来のノンフォトリアリスティックレンダリング技術の別の欠点は、同じ方法で画像全体が処理され、そしてノンフォトリアリスティック効果は、それ故に、結果として生じたノンフォトリアリスティックコンテンツ全体に亘って一定である。デカルロ（DeCarlo）他の「写真のスタイライゼーション及び抽象化（Stylization and Abstraction of Photographs）」では、写真からノンフォトリアリスティックコンテンツをレンダリングする技術が提案され、意味があると予測される画像の領域が他の領域よりもより細かい基準で処理される。しかしながら、この技術は、画像自体の構成（composition）を考慮しないので（フォアグラウンド、バックグラウンドなどの観点で）、画像のコヒーレント（coherent）な部分の関数においてノンフォトリアリスティック効果を適用する（例えば、シーン内の特定されたオブジェクトなどの）。その上、これは、アウトオブフォーカスエリアにおける既に言及したセグメンテーション及びエッジ抽出の問題に対処しない。

【0011】

従って、従来技術の少なくとも１つの欠点を防ぐコンテンツのノンフォトリアリスティックレンダリングに関する技術の提供が望ましいだろう。簡単化のために、説明の全体に亘って、コンテンツのノンフォトリアリスティックレンダリングに関する技術が、ノンフォトリアリスティックコンテンツのレンダリングに関する方法として単に言及されるが、とはいえ、それはコンテンツのノンフォトリアリスティックレンダリングを対象とする。

【発明の概要】

【0012】

本開示の実施形態による、同じシーンの少なくとも１つの画像の組からノンフォトリアリスティックコンテンツをレンダリングする方法を提供する。少なくとも１つの画像の組は、領域の組を含むデプス画像と関連し、この領域の組の各領域は、所定のデプスの領域に対応している。このような方法は、下記を含む：
・セグメント化画像を生成することであって、セグメント化画像は、複数のセグメンテーション基準の所定のセグメンテーション基準と共に生成された少なくとも１つのセグメント化領域を含み、少なくとも１つのセグメント化領域は、領域の組の少なくとも１つの領域に対応し、
・バイナリエッジ画像を生成することであって、バイナリエッジ画像は、複数のエッジ抽出基準の所定のエッジ抽出基準と共に生成された少なくとも１つのバイナリエッジ領域を含み、少なくとも１つのバイナリエッジ領域は、領域の組の少なくとも１つの領域に対応し、
・セグメント化画像とバイナリエッジ画像を組み合わせることによって、ノンフォトリアリスティックコンテンツをレンダリングすること。

【0013】

従って、本開示は、ノンフォトリアリスティックコンテンツのレンダリングに関して異なるアプローチに依存する：シーンを表現する画像全体は同じように処理されず、シーンに関連するデプス画像において利用可能なデプス情報について画像に亘ってノンフォトリアリスティック効果が変化するノンフォトリアリスティックコンテンツをレンダリングすることができる。提案する技術と共に、領域フラットニング（例えば、色セグメンテーションを経由して取得される）、及びラインドローイング（エッジ抽出を経由して取得される）は、お互いに独立して画像に亘って変化することができる。

【0014】

実施形態によれば、セグメンテーション基準は、領域の組の少なくとも１つの領域から決定される。

【0015】

このようにして、セグメント領域に適用されるセグメンテーション基準は、この領域に関連するデプスの関数である。

【0016】

実施形態によると、所定のセグメント化領域は、領域の組の所定の領域に対応し、所定のセグメント化領域に適用されるセグメンテーション基準は、所定のセグメント化領域に対応する領域の組の所定の領域のデプスと第１のリファレンスデプスとの間の差の関数である。

【0017】

このようにして、セグメンテーション基準は、第１のリファレンスデプスに関して、画像の各部分の焦点ぼけの程度（defocus degree：ピンぼけの程度）に依存して変化する。

【0018】

実施形態によると、エッジ抽出基準は、領域の組の少なくとも１つの領域から決定される。

【0019】

このようにして、バイナリエッジ領域を取得するために適用されるエッジ抽出基準は、この領域に関連するデプスの関数である。

【0020】

実施形態によると、所定のバイナリエッジ領域は、領域の組の所定の領域に対応し、所定のバイナリエッジ領域に適用されるエッジ抽出基準は、所定のバイナリエッジ領域に対応する領域の組の所定の領域のデプスと、第２のリファレンスデプスとの間の差の関数である。

【0021】

このようにして、エッジ抽出基準は、第２のリファレンスデプスに関して画像の各部の焦点のぼけの程度に依存して変化する。

【0022】

本開示の別の実施形態によると、セグメント化領域は、階層化画像表現から決定され、それは、同じシーンの少なくとも１つの画像の組から抽出されたオールインフォーカス画像（all-in-focus image：すべてピントが合った画像）の階層化セグメンテーションを通して取得される。

【0023】

それ故に、階層化セグメンテーションプロセスは、オールインフォーカス画像―それはフィールドの拡張されたデプスを持ち－上で実行され、セグメンテーションプロセスは、画像のどこでも良く実行される。有利なことに、この階層化セグメンテーションは、その後取得される第１のリファレンスデプスから独立して一度実行される。言い換えれば、階層化画像表現は、例えば、プリプロセッシング段階で、オールインフォーカス画像から一度事前に計算され、その後、新しい第１のリファレンスデプスが所定のシーンに対して取得される度に、新しいノンフォトリアリスティックコンテンツをレンダリングするために使用される。このようにして、新しいノンフォトリアリスティックコンテンツをレンダリングするために必要な計算能力及び時間は、それ故に、最適化される。オールインフォーカス画像の階層化セグメンテーションは、例えば、ツリー表現の形式を取り、セグメント化領域は、例えば、ツリー表現の所定のレベルで、セグメント化オールインフォーカス画像から対応するセグメント化領域を抽出することによって取得され、レベルは、セグメント化領域に対して予想されるセグメンテーション基準に対応する。

【0024】

本開示の別の実施形態によると、バイナリエッジ領域は、重み付けエッジ表現から決定され、それは、同じシーンの少なくとも１つの画像の組から得られたオールインフォーカス画像のエッジ抽出を通して取得される。

【0025】

それ故に、エッジ抽出プロセスは、オールインフォーカス画像上で実行され－それは、フィールドの拡張されたデプスを持ち－エッジ抽出プロセスは、画像のどこでも良く実行される。有利なことに、このエッジ抽出プロセスは、その後取得され得る第２のリファレンスデプスから独立して、一度だけ行われる。言い換えれば、重み付けエッジ表現は、例えば、オールインフォーカス画像から一度、事前に計算され、そして、次に、新しい第２のリファレンスデプスが所定のシーンに対して取得されたときはいつでも、新しいノンフォトリアリスティックコンテンツをレンダリングするために使用される。このようにして、新しいフォトリアリスティックコンテンツのレンダリングのために必要な計算能力及び時間は、それ故に、最適化される。重み付けエッジ表現は、オールインフォーカス画像に適用されるエッジ抽出プロセスの結果であり（例えば、ガウシアン差分フィルタリング技術など）、すべての抽出されたエッジピクセルが評価された２Ｄ表現の形式を取る。バイナリエッジ領域は、例えば、オールインフォーカス画像の重み付けエッジ表現における対応する領域を抽出することによって、バイナリエッジ領域内の程度の差があるがエッジをキープするしきい値を使って次に取得され、しきい値は、バイナリエッジ領域に対する予想されるエッジ抽出基準に応答する。

【0026】

実施形態によると、セグメント化領域デプスと第１のリファレンスデプスとの間の差が減少するにつれて、セグメンテーション基準の粒度レベルは、増加する。

【0027】

このようにして、より詳細は、例えば、第１のリファレンスデプスに対応する関心領域（region of interest）に表示される。

【0028】

実施形態によると、バイナリエッジ領域デプスと第２のリファレンスデプスの差が減少するにつれて、エッジ抽出基準の粒度レベルは、増加する。

【0029】

このようにして、より詳細は、例えば、第２のリファレンスデプスに対応する関心領域に表示される。

【0030】

実施形態によると、第１のリファレンスデプスは、注視トラッキング分析（gaze-tracking analysis）によって、自動的に取得される。

【0031】

このようにして、第１のリファレンスデプスのマニュアルの選択に対する代替案が提案され、シーンの視覚に魅力的なエリア（eye-attractive area）に対応する第１のリファレンスデプスが自動的に取得される。

【0032】

実施形態によると、第２のリファレンスデプスは、注視トラッキング分析により自動的に取得される。

【0033】

このようにして、第２のリファレンスデプスのマニュアルの選択に対する代替案が提案され、シーンの視覚に魅力的なエリアに対応する第２のリファレンスデプスは、自動的に取得される。

【0034】

１つの実施形態において、第１及び第２のリファレンスデプスは、１つの同じリファレンスデプスである。

【0035】

１実施形態によると、同じシーンの少なくとも１つの画像の組は、ライトフィールドデータ取得デバイスによって供給されるライトフィールドコンテンツから得られる。

【0036】

このようにして、データのこれらの部分―同じシーンの画像、オールインフォーカス画像及びデプス画像の組―は、周知のライトフィールドデータ取得デバイス出力であるので、本開示の１つの実施形態によるノンフォトリアリスティックコンテンツのレンダリング方法を実行するために使用されるデータの部分への容易なアクセスが提供される。

【0037】

本開示は、同じシーンの少なくとも１つの画像の組からノンフォトリアリスティックコンテンツをレンダリングするためのデバイスにも関係する。画像の組は、領域の組を含むデプス画像に関連し、領域の組の各領域は、所定のデプスの領域に対応している。そのようなデバイスは、
・セグメント化画像を生成するモジュールであって、セグメント化画像は、複数のセグメンテーション基準の所定のセグメンテーション基準で生成された少なくとも１つのセグメント化領域を含み、少なくとも１つのセグメント化領域は、領域の組の少なくとも１つの領域に対応し、
・バイナリエッジ画像を生成するモジュールであって、バイナリエッジモジュールは、複数のエッジ抽出基準の所定のエッジ抽出基準で生成された少なくとも１つのバイナリエッジ領域を含み、少なくとも１つのバイナリエッジ領域は、領域の組の少なくとも１つの領域に対応し、
・セグメント化画像とバイナリエッジ画像を組み合わせることによって、ノンフォトリアリスティックコンテンツをレンダリングするモジュールと、
を含む。

【0038】

本開示は、また通信ネットワークからダウンロード可能な及び／又はコンピュータによって読取可能な媒体上に記録された及び／又はプロセッサによって実行可能な、上述の方法を実行するためのプログラムコード命令を含む、コンピュータプログラム製品に関係する。

【0039】

本開示は、また、上述の方法を実行するためのプログラムコード命令を含み、その中に記憶されコンピュータプログラム製品を含み、プロセッサによって実行される能力がある非一時的コンピュータ読取可能媒体に関連する。

【0040】

そのようなコンピュータプログラムは、コンピュータ読取可能記憶媒体上に記憶することができる。本明細書で使用されるコンピュータ読取可能記憶媒体は、その中に情報を記憶する特有の機能及びそこから情報を読み出すことを提供する特有の機能が与えられた非一時的な記憶媒体である。コンピュータ読取可能記憶媒体は、例えば、しかし制限されることなく、電子的、磁気的、光学式、電磁気的、赤外線の、又は半導体システム、装置、又はデバイス、又は上述のものの任意の適切な組み合わせであり得る。本原理が適用できるコンピュータ読取可能記憶媒体のより具体的な実例を提供するが、下記は、当業者によって容易に理解されるように、単に説明の目的であり、包括的なリストではないことを理解されたい：ポータブルコンピュータディスケット、ハードディスク、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上述の任意の適切な組み合わせ。

【0041】

上述の一般的な説明及び以下の詳細な説明の両方は、典型的で、説明的であり、請求される発明の制限ではないことが理解される。

【0042】

明細書中での参照「１つの実施形態（one embodiment）」又は「１実施形態（an embodiment）」は、説明した実施形態が、特定の機能、構造、又は特徴を含むことができ、すべての実施形態は、特定の機能、構造、又は特徴を必ずしも含む必要はないことを示すことも理解されたい。さらに、そのような語句は、必ずしも同じ実施形態を指す必要はない。さらにまた、特定の機能、構造、又は特徴が実施形態と関連して説明されたとき、明示的に記載されているか否かにかかわらず他の実施形態と関連して、そのような機能、構造、又は特徴に影響を及ぼす当業者の範囲内で提出される。

【図面の簡単な説明】

【0043】

本開示の実施形態は、例として、保護の範囲を制限することなく、以下の説明及び図面を参照してより良く理解することができる。

【0044】

【図1】３Ｄシーンの２Ｄ表現に関連するデプス画像の実例を示す。

【図2】本開示の実施形態による、ノンフォトリアリスティックコンテンツのレンダリングに関する提案された技術の一般的な原理を説明するフローチャートである。

【図3】本開示の実施形態による、ノンフォトリアリスティックコンテンツのレンダリングに関するプロセスを説明するフローチャートである。

【図4】本開示の実施形態による、ノンフォトリアリスティックコンテンツをレンダリングするのに有用なデータを生成するために実行されるプリプロセッシング段階を説明するフローチャートである。

【図5】本開示の実施形態によるノンフォトリアリスティックコンテンツのレンダリングに対する装置の実例を説明する概略的なブロック図である。

【0045】

図中のコンポーネントは、発明の原理を説明することに応じて配置される代わりに、縮小拡大や強調する必要は必ずしもない。

【発明を実施するための形態】

【0046】

本開示の一般的な原理は、同じシーンの少なくとも１つの画像の組からノンフォトリアリスティックコンテンツのレンダリングに関する特有の技術に依存する。従来技術との関係で既に示したように、ノンフォトリアリスティックレンダリングは、リージョンフラットニング及びラインドローイングという２つのタスクに通常主に依存する画像抽象（image abstraction）（漫画スタイルの画像抽象など）の作成にある。添付図面を参照して以下でより完全に説明されるように、本開示において、シーンの少なくとも１つの画像の組に関連するデプス画像において利用可能なデプス情報を使用して、画像ベースノンフォトリアリスティックレンダリング（ＮＰＲ：Non-Photorealistic Rendering）を拡張することが提案される。

【0047】

この開示は、しかしながら、多くの代替の形式で具体化することができ、本明細書に記載された実施形態に制限して解釈されるべきではない。その結果、本開示は、様々な変更や代替形式を受け入れる余地があり、それらについての特定の実施形態は、図面に例として示され、詳細は本明細書で説明される。しかしながら、開示された特定の形式に開示を制限する意図は無く、しかし、それどころか、本開示は、請求項によって定義される開示の趣旨と範囲内に含まれるすべての変更、均等物、及び代替案をカバーする点を理解すべきである。類似の番号は、図面の説明のあらゆる場合で同様の要素を指す。

【0048】

用語、第１の、第２のなどが本明細書中で様々な要素を説明するために使用され得るが、これらの要素は、これらの用語によって制限されるべきではない点も理解されるだろう。これらの用語は、１つの要素を他の要素から区別するためだけに使用される。例えば、本開示の教える内容から逸脱することなく、第１の要素は、第２の要素と呼ぶこともでき、同様に、第２の要素を第１の要素と呼ぶことができる。

【0049】

明示的に説明されていなくても、本実施形態及び変形は、任意の組合せ又はサブコンビネーションにおいて用いることができる。

【0050】

上で紹介したように、提案の技術は、シーンの画像の組に関連するデプス画像の使用に依存して、かなり興味があるノンフォトリアリスティックコンテンツのレンダリングを行う。デプスデータ又はデプスマップとしてときどき指される用語、デプス画像（depth image：深度画像）は、文字通りの狭い意味で解釈されるべきではない。デプス画像は、例えば、３Ｄシーンの２Ｄ表現（すなわち、画像（イメージ））であり、各ピクセルがデプス又は視差情報（disparity information）に関連している。そのような情報は、基準点（reference point）からのシーンのオブジェクトの距離を表す（例えば、シーンの表現を取得するために使用される取得システムの位置、又はシーンにおける別のオブジェクトの位置など）。言い換えれば、デプス画像は、取得されたシーンにおけるオブジェクト間の距離を表すデプス情報を含み、デプス情報は、デジタルファイル又は任意のフォーマットの表として記憶することができる。任意の他の手段によって計算し、取得することもできる。図１は、２Ｄ表現（１００）に関連するデプス画像（１０１）の実例を示す。この例において、デプス画像（１０１）の各ピクセルは、グレースケールでエンコードされたデプス情報に関連する（各ピクセルの光強度（light intensity）は、例えば、１６ビットのグレースケールでエンコードされる）。もちろん、図１の実例は、説明に役立つだけのものであり、デプス画像は、他の形式を取ることができる。しかしながら、どのような形式を取っても、デプス画像は、領域の集合、すなわち領域の組として見ることができ、領域の組の各領域は所定のデプスの領域に対応する。

【0051】

提案した技術によると、デプス画像は、シーンの２Ｄ表現（すなわち、画像）を領域の別の組に分割することを許し、領域の別の組の各領域は、デプス画像内で、所定のデプスの領域又は異なる所定のデプスのいくつかの領域の結合に対応する。本開示の一般的な原理は、異なる基準で領域の別の組の領域を処理することを含み、ノンフォトリアリスティック効果が画像に亘って変化するノンフォトリアリスティックコンテンツを最終的に再構成する。

【0052】

本開示の１つの実施形態において、提案する技術は、図２に関連して説明されるように、３つの主なステップに依存する：
・シーンのセグメント化画像を生成するための第１のステップ２１であって、シーンのセグメント化画像はセグメント化領域の組の集合によって形成され、各セグメント化領域は、セグメント化領域の組の別の領域に適用されたものから異なることができるセグメンテーション基準でセグメント化され、
・シーンのバイナリエッジ画像を生成するための第２のステップ２２であって、シーンのバイナリエッジ画像はバイナリエッジ領域の組の集合によって形成され、各バイナリエッジ領域は、バイナリエッジ領域の組の別の領域に適用されたものから異なることができるエッジ抽出基準で処理され、
・シーンを表現するノンフォトリアリスティックコンテンツをレンダリングする第３のステップ２３であって、第１のステップ２１で生成されたセグメント化画像と第２のステップ２２で生成されたバイナリエッジ画像を組み合わせることによって行われる。

【0053】

セグメント化領域の組（ステップ２１で）又はバイナリエッジ領域（ステップ２２で）に含まれる領域は、デプス画像内で、所定のデプスの領域又は異なる所定のデプスのいくつかの領域の結合に対応する。

【0054】

ステップ２１で言及したセグメンテーションは、例えば、色ベースセグメンテーション（color-based segmentation）又はテクスチャベースセグメンテーション（texture-based segmentation）などの任意のタイプの画像セグメンテーション技術であり得る（たとえ、上述のように、典型的な実施形態が色ベースセグメンテーションに関連して説明されたとしても）。

【0055】

第１及び第２のステップ（２１、２２）は、どのような順番だとしても、並行して又は順番に処理される。

【0056】

セグメント化画像とバイナリエッジ画像を組合せることによって、ステップ２３において、ステップ２２で生成されたバイナリエッジ画像のエッジを、ステップ２１で生成されたセグメント化画像上に重ね合わせることをここでは意味する。

【0057】

本開示は、それ故に、シーンの画像全体が同じ方法で処理されない、オリジナルのノンフォトリアリスティックレンダリング技術を説明する。以下で示すように、本開示のいくつかの他の実施形態と関連して、提案された技術は非常に柔軟性があり、デプス情報の使用の結果、生成されたノンフォトリアリスティックコンテンツの画像構成の観点から一貫性の著しい程度を維持しながら、多くのノンフォトリアリスティック効果の可能性を提供する。

【0058】

図３は、本開示の実施形態によるノンフォトリアリスティックコンテンツのレンダリングに関するプロセスを説明するフローチャートである。同じシーンの少なくとも１つの画像の組（ＳＩ：set of images）が利用可能である。画像の組（ＳＩ）に含まれる画像は、同じ視野角から見たシーンの２Ｄ表現に対応する。これらは、例えば、シーンを取得するために使用されるライトフィールドデータ取得デバイスによって供給されるライトフィールドコンテンツから得られる。代替案としては、これらは、同じ視野角だが違う焦点距離から従来のハンドヘルドカメラを使用して取られた各シーンの１連の２Ｄ画像に対応する。これらは、コンピュータ生成画像（ＣＧＩ）でシミュレーションしたシーンの画像でもあり得る。

【0059】

画像の組（ＳＩ）に関連するデプス画像も利用可能である。このデプス画像は、任意の手段で取得されることができる。例えば、シーンを取得するために使用されるライトフィールドデータ取得デバイスによって、又は従来のカメラを使用して異なる視点から取られたシーンのいくつかの画像から、供給されるライトフィールドコンテンツから計算される。

【0060】

図３の特定の実施形態は、デプス画像に加えて、２つの追加のデータの部分の使用を含み、ノンフォトリアリスティックコンテンツのレンダリングを実行する。これらのデータの２つの部分は、一方は、階層化画像表現（hierarchical image representation）（後で使用され、シーンのデプスガイド（depth-guided）セグメント化画像を生成する）であり、他方は、重み付けエッジ表現（weighted-edge representation）（後で使用され、シーンのデプスガイドバイナリエッジ画像である）である。

【0061】

１つの実施形態において、これらのデータの２つの部分は、例えば、プリプロセッシング段階で、図４を関連して説明される、ノンフォトリアリスティックコンテンツのレンダリングに先立って事前に生成される。プリプロセッシング段階の間、階層化セグメンテーションステップ４１及びエッジ抽出ステップ４２は、シーンの画像表現上で実行される。プリプロセッシング段階が適用される画像は、画像の組（ＳＩ）の任意の画像であり得る。さらに以下で説明されるように、好ましい実施形態によると、それは、この画像の組（ＳＩ）の間で選ばれた、又はこの画像の組（ＳＩ）から計算された、特定の画像である。１つの実施形態において、このプリプロセッシング段階は、また、ノンフォトリアリスティックコンテンツのレンダリングの実行に後に役に立つデプス画像の生成の機会も提供する。

【0062】

ステップ４１において、階層化画像表現は、シーンの画像から生成される。そのような表現は、シーン全体のセグメント化画像の順序付けられた組の形式を取り、各セグメント化画像は、他とは異なるセグメンテーション基準（segmentation scale）を有する。このような階層化画像を取得することを許す多くの複数の基準のセグメンテーションアルゴリズムが視覚のコミュニティに存在するので、この技術は、その結果、ここでは詳細に説明しない。例えば、既に先行技術と関連して引用した「写真のスタイライゼーション及び抽象化（Stylization and Abstraction of Photographs）」論文［ＤｅＣａｒｌｏ ２００２］は、色セグメンテーションに基づき、階層化画像表現を取得する１つの適切な技術を提案する。図４に説明されるように、この階層化画像表現は、ツリー（tree：木）のように表現することができる（図４のツリーの図は、「写真のスタイライゼーション及び抽象化（Stylization and Abstraction of Photographs）」論文から引用した）。一旦この階層化画像表現が生成されると、ツリーのレベル、多くの領域（第１の基準で）を含む色セグメント化画像（細かい基準）、又はそれとは逆に、それ故に取得可能な少ない領域（粗い基準で）、に依存して、利用可能な任意の所定の基準でセグメント化画像は、取得可能である。

【0063】

ステップ４２で、シーンの重み付けエッジ表現が生成される。重み付けエッジ表現は、シーンの画像に適用されるエッジ抽出プロセス（例えば、ガウシアンの差分又はガウシアンフィルタリング技術のフローガイド差分など）の結果であり、すべての抽出されたエッジピクセルが評価された２Ｄ表現の形式を取る。重み付けエッジ表現のエッジピクセルが評価されているので、この表現にしきい値を付して、しきい値に依存して多かれ少なかれエッジを含むシーンのバイナリエッジ画像を取得する。ある程度、このしきい値は、それ故に、エッジ抽出基準と見なすことができ、多くのエッジ（しきい値が低い場合）、又は反対に少ないエッジ（しきい値が高い場合）を含むバイナリエッジ画像を取得することができる。

【0064】

１つの実施形態において、ステップ４１の階層化セグメンテーションプロセス及びステップ４２のエッジ抽出プロセスは、シーンの画像の組（ＳＩ）の中の任意の画像上で実行される。しかしながら、好ましい実施形態において、２つ以上の画像が、画像の組（ＳＩ）で利用可能な場合、当業者が良い結果を導くと分かっている画像上に階層化セグメンテーションとエッジ抽出プロセスを実行することは特に興味深い。これは例えば、「ベストインフォーカス（best-in focus：最もピントが合った）」画像、すなわち、フィールドのベストデプスを持つ画像を画像の組（ＳＩ）の中で特定することによって（手作業で又は自動的に）、これは行われる。いくつかの実施形態において、そのような画像は、画像の組（ＳＩ）からも計算される。例えば、画像の組（ＳＩ）がライトフィールドコンテンツから導かれた場合、それらのデプスが何であっても、すべてのピクセルがピントが合っているオールインフォーカス画像（ＡＩＦ：all-in-focus）を計算することが可能であり得る。このオールインフォーカス画像は、フィールドの拡張したデプスを持つので、セグメンテーションとエッジ抽出アルゴリズムはどこでも良く実行される。結果として生じる階層化画像表現と重み付けエッジ表現の精度は、それ故に、改善され、以下で説明するように、ノンフォトリアリスティックコンテンツのレンダリングに対する利益を提示する。

【0065】

図３に戻って参照すると、本開示の特定の実施形態による、デプス画像、階層化画像表現及び重み付けエッジ表現を使用したノンフォトリアリスティックコンテンツのレンダリングがこれから説明される。

【0066】

既に前もって導入したように、提案された技術の一般的な原理によるノンフォトリアリスティックレンダリングは、シーンのセグメント化画像とバイナリ画像を組み合わせることを含み、シーンに関連するデプス画像に関連する特定の方法で、セグメント化画像とバイナリエッジ画像が生成される。

【0067】

ステップ３３で、デプス画像表現と階層化画像表現はシーンの色セグメント化画像を生成するために使用され、そこで、セグメンテーション基準は、画像に亘って変化する。異なるセグメンテーション基準での画像全体のセグメンテーションは、図４に関連して説明されたプリプロセッシング段階の間に既に実行されているので、階層化画像表現中に利用可能であり、ステップ３３は、それ故に、純粋にセグメンテーションのステップよりもデプスガイドセグメンテーション基準選択として見られる。

【0068】

ステップ３３で実行されるメカニズムが、これから詳述される。

【0069】

デプス画像中の所定のデプスの領域に対応する各領域に対して、所定のデプスに関連するレベルが、所定のマッピングに従って、階層化画像表現ツリー中で選択される。このレベルは、特定のセグメンテーション基準の表現であり、シーン全体の関連するセグメント化画像が、階層化画像表現中で利用可能である。デプス画像を使用して、シーン全体のこのセグメント化画像から、デプス画像中の考慮されるデプスの領域に対応するセグメント化領域を抽出することがそれ故に可能である。

【0070】

この動作は、デプス画像中にある所定のデプスのすべての領域に対してセグメント化領域を読み出すことを繰り返す。

【0071】

デプス画像にあるすべての領域に対応するすべてのセグメント化領域が一度読み出されると、パズルのように、すべてのセグメント化領域を一緒に元に戻すことによって、シーン全体のセグメント化画像を再構成することが次に可能になる。すべてのセグメント化領域は、異なる基準でセグメント化されるので、それ故に、ステップ３３のプロセスは、シーン全体のセグメント化画像の生成を生じ、そこでは、セグメンテーション基準は画像に亘って変化する。

【0072】

このデプスを有する領域に対する階層化画像表現中で選択するデプスとセグメンテーション基準の間のマッピングは、任意の所定の関数であり得る。

【0073】

本開示の１つの実施形態において、このマッピングは、適応的で、例えば、デプス画像中で利用可能なデプスレベルの数によってインスタンスが決まる。例えば、シーンのフォアグラウンドに対応する領域は、階層化画像表現で利用可能なより細かいセグメンテーション基準で処理され、一方、シーンのバックグラウンドに対応する領域は、階層化画像表現で利用可能なより粗いセグメンテーション基準で処理される。すべての中間のデプスは、階層化画像表現中で利用可能な中間セグメンテーション基準で次に処理される。以前の実例は、もちろん、制限がなく、他の適応的マッピングは、以下で説明するように提案することができる。

【0074】

本開示の別の実施形態において、オプションのステップ３１で、ステップ３３のデプスガイドセグメンテーション基準の前に、第１のリファレンスデプスが取得される。デプスガイドセグメンテーション基準の選択は、次に、実行され、画像の同じデプス領域に対して選択されたセグメンテーション基準は、領域のデプスと第１のリファレンスデプスとの間の差の関数である。言い換えれば、この実施形態によると、セグメンテーション基準は、第１のリファレンスデプスに関連して、画像の各部のピンボケのようなもの（a kind of defocus）の程度に依存して変化する。変形例において、この第１のリファレンスデプスは、例えば、入力デバイスとグラフィカルユーザインタフェースの使用を通して、スクリーンに表示されるシーンの画像内の特に感心領域（例えば、画像の組（ＳＩ）の画像）を選択することをユーザに許すことによって、手作業で行われる。代替案としては、第１のリファレンスデプスは、自動的に取得され、例えば、注視トラッキング技術のお蔭で、画像中の特に興味がある領域の検出が可能となる。この実施形態の特定の実装において、セグメント化領域デプスと第１のリファレンスデプスとの間の差が減少するにつれて、セグメンテーション基準の粒度レベルが増加する。第１のリファレンスデプスを持つ領域内で、階層化画像表現中で利用可能なより細かいセグメンテーション基準は、例えば、選択された１つである。階層化画像表現中で利用可能なより粗いセグメンテーション基準は、例えば、第１のリファレンスデプスの観点で最も大きいデプス差を持つ領域に対して選択される。

【0075】

今説明された１つにかなり類似するプロセスは、エッジ抽出に関して、ステップ３４で実行される。ステップ３４で、デプス画像と重み付けエッジ表現は、シーンのバイナリエッジ画像を生成するために使用され、そこでは、エッジ抽出基準が画像に亘って変化する。図４に関連して説明されたプリプロセッシング段階の間、イメージ全体のエッジ抽出が既に行われるので、そのため、各検出されたエッジがシーンのその重要性（例えば、その勾配（gradient：グラディエント））を表す値と関連する重み付け表現の生成が起こり、ステップ３４は、それ故、純粋なエッジ抽出のステップよりもデプスガイドエッジ抽出基準選択（depth-guided edge extraction scale selection）としてあり得る。

【0076】

ステップ３４で実行されるメカニズムがこれから詳述される。

【0077】

デプス画像中の所定のデプスの領域に対応する各領域に対して、所定のデプスに関連するしきい値が、所定のマッピングに従って、選択される。このしきい値は、次に、重み付けエッジ表現にしきい値を付けるために使用され、多かれ（低いしきい値）少なかれ（高いしきい値）エッジを含むシーン全体のバイナリエッジ画像が取得される。このしきい値は、それ故に、特定のエッジ抽出基準を表す。デプス画像を使って、シーン全体のこのバイナリエッジ画像からデプス画像中で考慮されるデプスの領域に対応するバイナリエッジ領域を抽出することが次に可能である。

【0078】

この動作は、デプス画像中にある所定のデプスのすべての領域に対するバイナリエッジ領域の読み出しを繰り返す。

【0079】

デプス画像中にあるすべての領域に対応するすべてのバイナリエッジ領域が一度読み出されると、パズルのようにすべてのバイナリエッジ領域を一緒に戻すことによって、シーン全体のバイナリエッジ画像を再構成することが、次に可能である。すべてのバイナリエッジ領域が異なるエッジ抽出基準を持つので、ステップ３４のプロセスは、それ故に、シーン全体のバイナリエッジ画像を生成する結果となり、そこでは、エッジ抽出基準が画像に亘って変化する。

【0080】

重み付けエッジ表現に適用されるデプスとエッジ抽出基準の間のマッピングは、このデプスを持つ領域に対して、任意の所定の関数であり得る。

【0081】

本開示の１つの実施形態において、このマッピングは適応的であり、デプス画像中で利用可能なデプスレベルの数に依存する。例えば、シーンのフォアグラウンドに対応する領域は、非常に低いしきい値（Ｈ_ｍｉｎ）で処理され、一方、シーンのバックグラウンドに対応する領域は、非常に高いしきい値（Ｈ_ｍａｘ）で処理される。すべての中間的なデプスは、中間のエッジ抽出基準、すなわち、Ｈ_ｍｉｎとＨ_ｍａｘとの間のしきい値で、次に処理される。以前の実例は、もちろん、非制限的であり、他の適応的マッピングは、以下に説明するように提案することができる。

【0082】

本開示の別の実施形態において、オプションのステップ３２で、ステップ３４のデプスガイドエッジ抽出基準選択の前に、第２のリファレンスデプスが取得される。デプスガイドエッジ抽出基準選択は、次に、実行され、画像の同じデプス領域に対して選択されたエッジ抽出基準は、領域デプスと第２のリファレンスデプスとの間の差の関数である。言い換えれば、この実施形態に従って、エッジ抽出基準は、第２のリファレンスデプスに関連して、画像の各部のピントのずれたような程度に依存して変化する。この第２のリファレンスデプスは、手作業で取得することができ、例えば、入力デバイスとグラフィカルユーザインタフェースの使用を通して、スクリーン上に表示されるシーンの画像（例えば、画像の組（ＳＩ）の画像）内の特に感心領域を選択することをユーザに許す。代替案として、これは自動的に行うこともでき、例えば、注視トラッキング技術のお蔭で、画像中の特に興味がある領域の検出が許される。この実施形態の特定の実装において、バイナリエッジ領域デプスと第２のリファレンスデプスとの間の差が減少するにつれて、エッジ抽出基準の粒度レベルが増加する。例えば、第２のリファレンスデプスを有する領域内で、重み付けエッジ表現の対応する領域で利用可能なすべての抽出されたエッジは、ノンフォトリアリスティックコンテンツがレンダリングされたとき、表示される（非常に低いしきい値を使って）他の領域に対して、考慮される領域のデプスが第２のリファレンスデプスからより異なるようになるとき（より強い勾配を持つエッジのみが保持される）、次第に少ないエッジが表示されるような方法で、しきい値が増加される。１つの実装において、デプスにおける差が所定のしきい値より大きいときは、任意のエッジを表示しないことを人は決定することができる。

【0083】

もちろん、ステップ３３と３４は、いかなる順番であろうとも、並行して、又は１つずつ処理することができる。

【0084】

ステップ３５で、ステップ３３で生成されたセグメント化画像とステップ３４で生成されたバイナリエッジ画像とを組み合わせことによって、ノンフォトリアリスティックコンテンツが、最終的にレンダリングされる。前に既に説明したように、セグメント化画像とバイナリエッジ画像を組み合わせることによって、セグメント化画像上にバイナリエッジ画像のエッジを重ねることは、それ故に、最終的なノンフォトリアリスティックコンテンツをレンダリングすることになることをここでは意味する。

【0085】

提案された技術に関連してこれから様々な考察が示され、より正確には、図３と図４に関連して示された特定の実施形態に対する。

【0086】

同じシーンのいくつかの異なるノンフォトリアリスティックレンダリングを生成するために後で使用することができるデータの部分の事前の計算を可能にするので、図４に関連して説明されたプリプロセッシング段階の実行は、多くの利点を有する。そのようにして、階層化画像表現と重み付けエッジ表現は、所定のシーンに対して一度計算され、そのシーンの任意のノンフォトリアリスティック表現のレンダリングに必要な計算能力と時間が削減される。

【0087】

非常に精密な階層化画像表現と重み付けエッジ表現を取得することができるので、このプリプロセッシング段階を実行するベースとして、オールインフォーカス画像（又は少なくとベストインフォーカス画像）の使用は、また非常に重要である。結果として、本開示のそのような実施形態に従って生成されたノンフォトリアリスティックコンテンツ内の遷移は、一定で一貫性（regular and consistent）がある。このプリプロセッシング段階が直接通常の画像（例えば、シーンの画像の組（ＳＩ）からランダムに選択された）に適用される場合は、対象外になることに注意すべき点は重要である：そのような画像のピンボケした部分におけるブラー効果（blurring effect）のため、生成されたノンフォトリアリスティックコンテンツ内のラインドローイングとフラット化領域の境界は、不規則で一貫性がなく、それは、目とって不愉快又は魅力的ではない結果となり得る。ライトフィールドコンテンツは、通常、取得されたシーンに関連するデプス画像とオールインフォーカス画像の容易な生成を許すので、提案された技術は、従って、ライトフィールドコンテンツから得られた画像の組からノンフォトリアリスティックコンテンツを生成することに特に適合する。

【0088】

アプリケーションの異なる分野に適合する実施形態は、それ故に、例えば、一方でライトフィールドコンテンツからのノンフォトリアリスティックレンダリングに適合する実施形態であり、他方で従来の画像からノンフォトリアリスティックレンダリングに適合する実施形態であると考えられる。

【0089】

ライトフィールドコンテンツに関連する実施形態は、例えば、ライトフィールド取得デバイスに実装され、それは例えば、プレノプティックデバイス（plenoptic device）又はカメラアレイ、又はライトフィールドデータを扱う任意のデバイスである。プレノプティックデータの組は、シーンの正確な階層化画像表現と重み付けエッジ表現が生成できる、デプス画像及びオールインフォーカス画像を含む―又はこれらの計算を許す―ため、ある程度、提案された技術は、それ故に、シーンに関連するプレノプティックデータの組からノンフォトリアリスティックコンテンツのレンダリングを許す。これらの実施形態において、レンダリングされたノンフォトリアリスティックコンテンツに亘って変化するノンフォトリアリスティック効果だけではなく、ノンフォトリアリスティックコンテンツのレンダリングの一般的なプロセスも改善される（プリプロセッシング段階におけるオールインフォーカス画像の使用により、画像のピントが合っていない部分内でのノンフォトリアリスティックレンダリングの問題が解決される）。

【0090】

従来の画像に関連する実施形態は、例えば、画像処理に興味がある任意のデバイス、例えば、従来からのカメラ、コンピュータ、ＴＶセットなどで、実行される。そのような実施形態は、また、それらのデバイスに組み込まれた画像又はビデオ処理ソフトウェアに実装することもできる。これらの実施形態は、同じシーンの画像の組と関連するデプス画像の両方を使用するお蔭で、プレノプティック効果がコンテンツに亘って変化するノンフォトリアリスティックコンテンツのレンダリングも許す。画像の組において利用可能な画像に依存して、ベストインフォーカス画像は、プリプロセッシング段階で選択又は計算され、そして、使用され、それ故に、拡張されたノンフォトリアリスティックレンダリングを生じる。

【0091】

提案した技術は、非常に柔軟性があり、取得可能であり得るノンフォトリアリスティック効果の観点でかなり実現性を提供する点にも留意されたい。例えば、図３において説明されたノンフォトリアリスティックレンダリングプロセスに関して、第１及び第２のリファレンスデプスは、１つの同じリファレンスデプスであることもあり、ないこともあり得る点に留意されたい。セグメンテーション基準選択とエッジ抽出基準をガイドするルール（すなわち、マッピング）は、お互いに非常に異なり得る点にも留意されたい。これらの基準を選択するために実行されるマッピングに依存して、ラインドローイング、又はその反対なしに、フラット化領域に限定してノンフォトリアリスティックレンダリングを実行することさえ可能である。

【0092】

ノンフォトリアリスティック効果が画像に亘って変化することがあり、シーンのコヒーレントな部分に通常対応する（例えば、シーン内の特定のオブジェクトなど）画像の同じデプス領域のそれぞれに亘って一定であり得る、ノンフォトリアリスティックコンテンツのレンダリングを許すので、最終的に提案された技術とのいくらかの一貫性が、画像構成に関して維持される。

【0093】

本開示は、様々な形式で具体化することができ、上述の実例に制限されないことを理解されたい。特に、提案の技術は、画像であるノンフォトリアリスティックコンテンツのレンダリングに関して主に説明してきたが、本開示の範囲から逸脱することなく、ビデオのノンフォトリアリスティックコンテンツのレンダリング対しても適用することもできる。

【0094】

図５は、本開示の実施形態に従った、ノンフォトリアリスティックコンテンツのレンダリングに関連するデバイスの実例を説明する概略的ブロック図である。そのようなデバイスは、興味のあり得る画像処理の任意のデバイスであり、コンピュータ、セットトップボックス、ＴＶセット又は例えばスマートフォン、タブレット、ライトフィールド取得デバイスなどのポータブルハンドヘルドデバイスである。

【0095】

図５に説明される装置５００は、プロセッサ５０１、記憶ユニット５０２、入力デイバス５０３、出力デバイス５０４、及びバス５０６によって接続されたインタフェースユニット５０５を含む。もちろん、コンピュータ装置５００の構成要素は、バス５０６を使用したバス接続以外の接続によって接続することができる。

【0096】

プロセッサ５０１は、装置５００の動作を制御する。記憶ユニット５０２は、プロセッサ５０１によって実行される少なくとも１つのプログラム、例えばデプス画像、オールインフォーカス画像、計算された階層化画像表現や重み付けエッジ表現、プロセッサ５０１によって実行される計算によって使用されるパラメータ、プロセッサ５０１によって実行される計算の中間データなどを含む様々なデータを記憶する。プロセッサ５０１は、任意の既知の適切なハードウェア、又はソフトウェア、又はハードウェアとソフトウェアの組合せによって形成される。例えば、プロセッサ５０１は、例えば、処理回路などの専用のハードウェアによって、又はそのメモリに記憶されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラマブル処理ユニットによって、形成される。

【0097】

記憶ユニット５０２は、プログラム、データなどをコンピュータ読取可能な方法で記憶する能力を持つ任意の適切な記憶装置又は手段によって形成される。記憶ユニット５０２の実例は、例えば、読取及び書込ユニットに装着される例えば、半導体メモリデバイス、及び磁気、光学式、又は磁気光学式の記録媒体などの非一時的コンピュータ読取可能記憶媒体を含む。プログラムは、上述の本開示の実施形態に従って、プロセッサに５０１にノンフォトリアリスティックコンテンツをレンダリングするためのプロセスを実行させる。

【0098】

入力デバイス５０３は、ユーザによってコマンドを入力するための例えば、キーボード、マウスのようなポインティングデバイスなどとして形成される。ノンフォトリアリスティックレンダリングが、例えば、ライトフィールド取得デバイス又は従来からのカメラなどの画像取得デバイス内で実行される実施形態において、入力デバイス５０３は、シーンを取得するために使用される光学デバイスも備える。他の追加のデバイスは、例えば、注視トラッキングを実行するカメラなどの入力デバイスの一部であり得る。

【0099】

出力デバイス５０４は、例えば上述のレンダリングのための方法を適用することによって決定される最終的な画像を表示するための例えばディスプレイデバイスによって形成される。入力デバイス５０３と出力デバイス５０４は、例えばタッチスクリーンによって一体化して形成することができる。入力デバイス５０３は、第１及び／又は第２のリファレンスデプスを選択するためにオペレータによって使用することができ、第１及び／又は第２のリファレンスデプスは、さらに、これらのリファレンスデプスに関連するそのピンボケの程度に依存して各領域に適用されるセグメンテーション基準及びエッジ抽出基準を決定するために使用することができる。そのような第１と第２のリファレンスデプスは、次に、記憶ユニット５０２に記憶することができる。

【0100】

インタフェースユニット５０５は、装置５００と外部装置との間のインタフェースを提供する。インタフェースユニット５０５は、ケーブル又はワイヤレス通信を経由して外部装置と通信可能である。いくつかの実施形態において、外部装置は、ディスプレイデバイス、又は例えば、この実行が装置５００自体によってサポートされないときに、上述のプリプロセッシング段階を実行するように構成されたデバイスであり得る。

【0101】

ただ１つのプロセッサ５０１が図５に示されているが、そのようなプロセッサは、本開示の実施形態に従って装置５００によって実行される機能を具体化する種々のモジュール及びユニットを備えることができることを理解されるべきであり、そられは、
・セグメント化画像を生成するモジュールであって、セグメント化画像は、複数のセグメンテーション基準の所定のセグメンテーション基準で生成された少なくとも１つのセグメント化領域を含み、少なくとも１つのセグメント化領域は、領域の組の少なくとも１つの領域に対応し、
・バイナリエッジ画像を生成するモジュールであって、バイナリエッジモジュールは、複数のエッジ抽出基準の所定のエッジ抽出基準で生成された少なくとも１つのバイナリエッジ領域を含み、少なくとも１つのバイナリエッジ領域は、領域の組の少なくとも１つの領域に対応し、
・セグメント化画像とバイナリエッジ画像を組み合わせることによって、ノンフォトリアリスティックコンテンツをレンダリングするモジュールである。

【0102】

これらのモジュール及びユニットは、相互に通信可能且つ協働可能ないくつかのプロセッサ５０１においても具体化することができる。
（付記１）
同じシーンの少なくとも１つのイメージの組のノンフォトリアリスティックレンダリングの方法であって、デプス画像と関連する少なくとも１つの画像の前記組は、領域の組を含み、領域の前記組の各領域は、所定のデプスの領域に対応しており、
前記方法は、
セグメント化画像を生成することであって、前記セグメント化画像は、複数のセグメンテーション基準の所定のセグメンテーション基準で生成される少なくとも１つのセグメント化領域を含み、前記少なくとも１つのセグメント化領域は、領域の前記組の少なくとも１つの領域に対応し、
バイナリエッジ画像を生成することであって、前記バイナリエッジ画像は、複数のエッジ抽出基準の所定のエッジ抽出基準で生成された少なくとも１つのバイナリエッジ領域を含み、前記少なくとも１つのバイナリエッジ領域は、領域の前記組の前記少なくとも１つの領域に対応し、
前記セグメント化画像及び前記バイナリエッジ画像を組み合わせることによって少なくとも１つの画像の前記組をレンダリングすることと、を含む、方法。
（付記２）
セグメンテーション基準は、領域の前記組の前記少なくとも１つの領域から決定される、付記１に記載の方法。
（付記３）
所定のセグメント化領域は、領域の前記組の所定の領域に対応し、前記所定のセグメント化領域に適用される前記所定のセグメンテーション基準は、前記所定のセグメント化領域に対応する領域の前記組の前記所定の領域のデプスと第１のリファレンスデプスとの間の差の関数である、付記１に記載の方法。
（付記４）
エッジ抽出基準は、領域の前記組の前記少なくとも１つの領域から決定される、付記１に記載の方法。
（付記５）
所定のバイナリエッジ領域は、領域の前記組の所定の領域に対応し、前記所定のバイナリエッジ領域に適用される前記所定のエッジ抽出基準は、前記バイナリエッジ領域に対応する領域の前記組の前記所定の領域のデプスと第２のリファレンスデプスとの間の差の関数である、付記１に記載の方法。
（付記６）
セグメント化領域は、階層化画像表現から決定され、前記階層化画像表現は、同じシーンの少なくとも１つの画像の前記組から抽出されたオールインフォーカス画像（ＡＩＦ）の階層化セグメンテーションを通して取得される、付記１に記載の方法。
（付記７）
バイナリエッジ領域は、重み付けエッジ表現から決定され、前記重み付けエッジ表現は、同じシーンの少なくとも１つの画像の前記組から抽出されたオールインフォーカス画像（ＡＩＦ）のエッジ抽出を通して取得される、付記１に記載の方法。
（付記８）
セグメント化領域のデプスと前記第１のリファレンスデプスとの間の前記差が減少するにつれて、セグメンテーション基準の粒度レベルが増加する、付記３に記載の方法。
（付記９）
バイナリエッジ領域のデプスと前記第２のリファレンスデプスとの間の前記差が減少するにつれて、エッジ抽出基準の粒度レベルが増加する、付記５に記載の方法。
（付記１０）
前記第１のリファレンスデプスが、注視トラッキング分析から自動的に取得される付記３に記載の方法。
（付記１１）
前記第２のリファレンスデプスが、注視トラッキング分析から自動的に取得される、付記５に記載の方法。
（付記１２）
同じシーンの少なくとも１つの画像の前記組が、ライトフィールドデータ取得デバイスによって供給されるライトフィールドコンテンツから得られる、付記１に記載の方法。
（付記１３）
同じシーンの少なくとも１つの画像の組のノンフォトリアリスティックレンダリングのためのデバイスであって、前記少なくとも１つの画像の組は、領域の組を含むデプス画像に関連し、領域の前記組の各領域は、所定のデプスの領域に対応し、
前記デバイスは、
セグメント化画像を生成するモジュールであって、前記セグメント化画像は、複数のセグメンテーション基準の所定のセグメンテーション基準で生成された少なくとも１つのセグメント化領域を含み、前記少なくとも１つのセグメント化領域は、領域の前記組の少なくとも１つの領域に対応し、
バイナリエッジ画像を生成するモジュールであって、前記バイナリエッジ画像は、複数のエッジ抽出基準の所定のエッジ抽出基準で生成された少なくとも１つのバイナリエッジ領域を含み、前記少なくとも１つのバイナリエッジ領域は、領域の前記組の少なくとも１つの領域に対応し、
前記セグメント化画像と前記バイナリエッジ画像を組み合わせることによって、少なくとも１つの画像の前記組をレンダリングするモジュールと、を含む、デバイス。
（付記１４）
コンピュータによって読み取り可能であり、プロセッサによって実行可能な、通信ネットワークからダウンロード可能な又は媒体に記録されたコンピュータプログラム製品であって、付記１乃至１２のいずれか１項に従う方法を実行するプログラムコード命令を含む、コンピュータプログラム製品。

【図1】

【図2】

【図3】

【図4】

【図5】