特許 7534257 描画システム、端末、サーバ及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】描画システム、端末、サーバ及びプログラム

(51)【国際特許分類】

   G06T 5/94 20240101AFI20240806BHJP

   G06T 19/00 20110101ALI20240806BHJP

【ＦＩ】

G06T5/94

G06T19/00 600

【請求項の数】 10

(21)【出願番号】P 2021062692

(22)【出願日】2021-04-01

(65)【公開番号】P2022158062

(43)【公開日】2022-10-14

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１６－０８２４９８（ＪＰ，Ａ）

【文献】特開２００５－２４２１６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

端末側標準描画部及び統合部を備える端末と、サーバ側標準描画部、高品位描画部及び抽出部を備えるサーバと、を備える描画システムであって、
前記端末側標準描画部は、標準ダイナミックレンジにおいて、高輝度側を高感度とする第１トーンマッピング設定で所定ＣＧ（コンピュータグラフィックス）コンテンツを描画して第１描画情報を得て、且つ、低輝度側を高感度とする第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第２描画情報を得ており、
前記サーバ側標準描画部は、前記標準ダイナミックレンジにおいて、前記第１トーンマッピング設定で前記所定ＣＧコンテンツを描画して第３描画情報を得て、且つ、前記第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第４描画情報を得ており、
前記高品位描画部は、前記標準ダイナミックレンジよりも大きい高ダイナミックレンジにおいて、前記所定ＣＧコンテンツを描画して第５描画情報を得ており、
前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報または前記第４描画情報から判定処理で選択されたものとの差分を抽出情報として抽出し、
前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報または前記第２描画情報から前記判定処理で選択されたものを加算することにより、前記高品位描画部で描画された第５描画情報を復元し、
前記抽出部と前記統合部とで共通して用いる前記判定処理は、小領域が高輝度寄りであるか低輝度寄りであるかを判定するものであり、
高輝度寄りと判定された場合は、前記抽出部は前記第３描画情報を選択し、且つ、前記統合部は前記第１描画情報を選択し、
低輝度寄りと判定された場合は、前記抽出部は前記第４描画情報を選択し、且つ、前記統合部は前記第２描画情報を選択することを特徴とする描画システム。

【請求項2】

端末側標準描画部及び統合部を備える端末と、サーバ側標準描画部、高品位描画部及び抽出部を備えるサーバと、を備える描画システムであって、
前記端末側標準描画部は、標準ダイナミックレンジにおいて、高輝度側を高感度とする第１トーンマッピング設定で所定ＣＧ（コンピュータグラフィックス）コンテンツを描画して第１描画情報を得て、且つ、低輝度側を高感度とする第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第２描画情報を得ており、
前記サーバ側標準描画部は、前記標準ダイナミックレンジにおいて、前記第１トーンマッピング設定で前記所定ＣＧコンテンツを描画して第３描画情報を得て、且つ、前記第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第４描画情報を得ており、
前記高品位描画部は、前記標準ダイナミックレンジよりも大きい高ダイナミックレンジにおいて、前記所定ＣＧコンテンツを描画して第５描画情報を得ており、
前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報または前記第４描画情報との差分を抽出情報として抽出し、
前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報または前記第２描画情報を加算することにより、前記高品位描画部で描画された第５描画情報を復元し、
前記抽出部は、小領域ごとの前記第３描画情報における画素値の代表値が所定閾値を超える場合に、当該小領域について前記第５描画情報と前記第３描画情報との差分を前記抽出情報として抽出し、超えない場合に、当該小領域について前記第５描画情報と前記第４描画情報との差分を前記抽出情報として抽出し、
前記統合部は、小領域ごとの前記第１描画情報における画素値の代表値が所定閾値を超える場合に、当該小領域について前記抽出情報と前記第１描画情報とを加算することで前記第５描画情報を復元し、超えない場合に、当該小領域について前記抽出情報と前記第２描画情報とを加算することで前記第５描画情報を復元することを特徴とする描画システム。

【請求項3】

端末側標準描画部及び統合部を備える端末と、サーバ側標準描画部、高品位描画部及び抽出部を備えるサーバと、を備える描画システムであって、
前記端末側標準描画部は、標準ダイナミックレンジにおいて、高輝度側を高感度とする第１トーンマッピング設定で所定ＣＧ（コンピュータグラフィックス）コンテンツを描画して第１描画情報を得て、且つ、低輝度側を高感度とする第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第２描画情報を得ており、
前記サーバ側標準描画部は、前記標準ダイナミックレンジにおいて、前記第１トーンマッピング設定で前記所定ＣＧコンテンツを描画して第３描画情報を得て、且つ、前記第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第４描画情報を得ており、
前記高品位描画部は、前記標準ダイナミックレンジよりも大きい高ダイナミックレンジにおいて、前記所定ＣＧコンテンツを描画して第５描画情報を得ており、
前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報または前記第４描画情報との差分を抽出情報として抽出し、
前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報または前記第２描画情報を加算することにより、前記高品位描画部で描画された第５描画情報を復元し、
前記抽出部は、小領域ごとに前記第３描画情報における画素値変動が前記第４描画情報における画素値変動よりも大きいかの真偽を判定し、真の場合に当該小領域について前記第５描画情報と前記第３描画情報との差分を前記抽出情報として抽出し、偽の場合に当該小領域について前記第５描画情報と前記第４描画情報との差分を前記抽出情報として抽出し、
前記統合部は、小領域ごとに前記第１描画情報における画素値変動が前記第２描画情報における画素値変動よりも大きいかの真偽を判定し、真の場合に当該小領域について前記抽出情報と前記第１描画情報とを加算することで前記第５描画情報を復元し、偽の場合に当該小領域について前記抽出情報と前記第２描画情報とを加算することで前記第５描画情報を復元することを特徴とする描画システム。

【請求項4】

前記第１描画情報及び前記第３描画情報は前記第１トーンマッピング設定に加えて第１態様で描画されており、且つ、前記第２描画情報及び前記第４描画情報は前記第２トーンマッピング設定に加えて第２態様で描画されており、前記第１態様及び前記第２態様は、光源モデル、反射モデル、または、前記所定ＣＧコンテンツにおける３次元モデルパラメータの少なくともいずれかの設定として与えられることを特徴とする請求項１ないし３のいずれかに記載の描画システム。

【請求項5】

前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報または前記第４描画情報に対して前記第５描画情報を予測する予測係数を適用した情報と、の差分を抽出情報として抽出し、
当該予測係数は前記サーバから前記端末へと送信され、
前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報または前記第２描画情報に前記予測係数を適用した情報を加算することにより、前記高品位描画部で描画された第５描画情報を復元することを特徴とする請求項１ないし４のいずれかに記載の描画システム。

【請求項6】

端末側標準描画部及び統合部を備える端末と、サーバ側標準描画部、高品位描画部及び抽出部を備えるサーバと、を備える描画システムであって、
前記端末側標準描画部は、標準ダイナミックレンジにおいて、高輝度側を高感度とする第１トーンマッピング設定で所定ＣＧ（コンピュータグラフィックス）コンテンツを描画して第１描画情報を得て、且つ、低輝度側を高感度とする第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第２描画情報を得ており、
前記サーバ側標準描画部は、前記標準ダイナミックレンジにおいて、前記第１トーンマッピング設定で前記所定ＣＧコンテンツを描画して第３描画情報を得て、且つ、前記第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第４描画情報を得ており、
前記高品位描画部は、前記標準ダイナミックレンジよりも大きい高ダイナミックレンジにおいて、前記所定ＣＧコンテンツを描画して第５描画情報を得ており、
前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報または前記第４描画情報との差分を抽出情報として抽出し、
前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報または前記第２描画情報を加算することにより、前記高品位描画部で描画された第５描画情報を復元し、
前記端末側標準描画部ではさらに、少なくとも１段階の中輝度領域を高感度とする第３トーンマッピング設定において前記所定ＣＧコンテンツを描画して少なくとも１つの第６描画情報を得ていることにより、ｎを３以上の整数として高輝度側から低輝度側へ順にｎ段階で高感度とした描画情報を得ており、
前記サーバ側標準描画部ではさらに、前記第３トーンマッピング設定において前記所定ＣＧコンテンツを描画して少なくとも１つの第７描画情報を得ていることにより、高輝度側から低輝度側へ順に前記ｎ段階で高感度とした描画情報を得ており、
前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報、前記第４描画情報または前記少なくとも１つの第７描画情報による前記ｎ段階で高感度とした描画情報の中から判定処理によって選択されたものとの差分を抽出情報として抽出し、
前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報、前記第２描画情報または前記少なくとも１つの第６描画情報による前記ｎ段階で高感度とした描画情報の中から前記判定処理によって選択されたものを加算することにより、前記高品位描画部で描画された第５描画情報を復元し、
前記抽出部と前記統合部とで共通して用いる前記判定処理は、小領域が高輝度寄りであるか低輝度寄りであるかを、高輝度寄りから前記ｎ段階のうち何番目であるかとして判定するものであり、
ｋを１以上ｎ以下の整数として前記ｎ段階のうちｋ番目であると判定された場合に、
前記抽出部は前記ｎ段階のうちｋ番目の描画情報を選択し、且つ、前記統合部は前記ｎ段階のうちｋ番目の描画情報を選択することを特徴とする描画システム。

【請求項7】

前記端末はさらに、
対象を撮像して撮像画像を得る撮像部と、
前記撮像画像を解析して、前記対象の種別と、当該対象を基準とした前記撮像部の位置姿勢と、を対象情報として認識する認識部と、を備え、
前記所定ＣＧコンテンツは、前記対象情報に応じて描画される、前記端末における拡張現実表示のためのコンテンツであることを特徴とする請求項１ないし６のいずれかに記載の描画システム。

【請求項8】

端末側標準描画部及び統合部を備える端末と、サーバ側標準描画部、高品位描画部及び抽出部を備えるサーバと、を備える描画システムにおける端末であって、
前記端末側標準描画部は、標準ダイナミックレンジにおいて、高輝度側を高感度とする第１トーンマッピング設定で所定ＣＧ（コンピュータグラフィックス）コンテンツを描画して第１描画情報を得て、且つ、低輝度側を高感度とする第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第２描画情報を得ており、
前記サーバ側標準描画部は、前記標準ダイナミックレンジにおいて、前記第１トーンマッピング設定で前記所定ＣＧコンテンツを描画して第３描画情報を得て、且つ、前記第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第４描画情報を得ており、
前記高品位描画部は、前記標準ダイナミックレンジよりも大きい高ダイナミックレンジにおいて、前記所定ＣＧコンテンツを描画して第５描画情報を得ており、
前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報または前記第４描画情報から判定処理で選択されたものとの差分を抽出情報として抽出し、
前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報または前記第２描画情報から前記判定処理で選択されたものを加算することにより、前記高品位描画部で描画された第５描画情報を復元し、
前記抽出部と前記統合部とで共通して用いる前記判定処理は、小領域が高輝度寄りであるか低輝度寄りであるかを判定するものであり、
高輝度寄りと判定された場合は、前記抽出部は前記第３描画情報を選択し、且つ、前記統合部は前記第１描画情報を選択し、
低輝度寄りと判定された場合は、前記抽出部は前記第４描画情報を選択し、且つ、前記統合部は前記第２描画情報を選択することを特徴とする端末。

【請求項9】

端末側標準描画部及び統合部を備える端末と、サーバ側標準描画部、高品位描画部及び抽出部を備えるサーバと、を備える描画システムにおけるサーバであって、
前記端末側標準描画部は、標準ダイナミックレンジにおいて、高輝度側を高感度とする第１トーンマッピング設定で所定ＣＧ（コンピュータグラフィックス）コンテンツを描画して第１描画情報を得て、且つ、低輝度側を高感度とする第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第２描画情報を得ており、
前記サーバ側標準描画部は、前記標準ダイナミックレンジにおいて、前記第１トーンマッピング設定で前記所定ＣＧコンテンツを描画して第３描画情報を得て、且つ、前記第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第４描画情報を得ており、
前記高品位描画部は、前記標準ダイナミックレンジよりも大きい高ダイナミックレンジにおいて、前記所定ＣＧコンテンツを描画して第５描画情報を得ており、
前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報または前記第４描画情報から判定処理で選択されたものとの差分を抽出情報として抽出し、
前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報または前記第２描画情報から前記判定処理で選択されたものを加算することにより、前記高品位描画部で描画された第５描画情報を復元し、
前記抽出部と前記統合部とで共通して用いる前記判定処理は、小領域が高輝度寄りであるか低輝度寄りであるかを判定するものであり、
高輝度寄りと判定された場合は、前記抽出部は前記第３描画情報を選択し、且つ、前記統合部は前記第１描画情報を選択し、
低輝度寄りと判定された場合は、前記抽出部は前記第４描画情報を選択し、且つ、前記統合部は前記第２描画情報を選択することを特徴とするサーバ。

【請求項10】

コンピュータを請求項８に記載の端末または請求項９に記載のサーバとして機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば拡張現実表示等の用途における描画をサーバサイドレンダリング方式を利用して行う描画システム、端末、サーバ及びプログラムに関する。

【背景技術】

【0002】

撮像対象と撮像部との相対的な位置および姿勢を推定し関連情報を提示する拡張現実において、リアルタイムかつ高品位に情報を提示することができれば、利用者の利便性を向上させることができる。ここで、例えば特許文献１のように、計算資源等に制約のあるユーザ端末において高品位な拡張現実等の情報提示を実現するために、高品位な描画を計算資源の豊富なサーバで行うサーバサイドレンダリング方式がある。

【0003】

特許文献１では、サーバに備え付けられた撮像部で対象を撮像し撮像情報に撮像された撮像対象を認識した結果に応じて関連情報を描画した上で、描画結果を端末へ伝送し端末で提示する手法を開示している。このとき、サーバの高性能な計算リソースを利用することで関連情報は高品位に描画されうる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－４４６５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、高品位の一例として、従来の画像より大きな明暗の差を表現するハイ（高）ダイナミックレンジ（HDR：High Dynamic Range）による描画が想定される。現在HDRの提示に対応した端末が市販されているがHDRの描画にはハードウェアアクセラレーションが利用できないため端末での描画が困難である。

【0006】

ここで、特許文献１等の従来のサーバサイドレンダリング方式においては、描画を全てサーバ側に委ねており、端末側では描画結果を表示するのみである。このため、従来方式によりHDR描画をサーバ側で行わせたとする場合、描画結果のサーバ側から端末側への映像伝送が必要であるため、通信帯域が狭いと実現できないという問題がある。特に、HDRを想定した場合、HDRは従来のスタンダード（標準）ダイナミックレンジ（SDR：Standard Dynamic Range）以上のビット深度で輝度を表現するため、伝送量の多さがより顕著になる。

【0007】

上記従来技術の課題に鑑み、本発明は、通信帯域の圧迫を抑制して高品質な描画結果を提供することが可能な描画システム、端末、サーバ及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明は端末側標準描画部及び統合部を備える端末と、サーバ側標準描画部、高品位描画部及び抽出部を備えるサーバと、を備える描画システムであって、前記端末側標準描画部は、標準ダイナミックレンジにおいて、高輝度側を高感度とする第１トーンマッピング設定で所定ＣＧ（コンピュータグラフィックス）コンテンツを描画して第１描画情報を得て、且つ、低輝度側を高感度とする第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第２描画情報を得ており、前記サーバ側標準描画部は、前記標準ダイナミックレンジにおいて、前記第１トーンマッピング設定で前記所定ＣＧコンテンツを描画して第３描画情報を得て、且つ、前記第２トーンマッピング設定で前記所定ＣＧコンテンツを描画して第４描画情報を得ており、前記高品位描画部は、前記標準ダイナミックレンジよりも大きい高ダイナミックレンジにおいて、前記所定ＣＧコンテンツを描画して第５描画情報を得ており、前記抽出部は、小領域ごとに前記第５描画情報と、前記第３描画情報または前記第４描画情報との差分を抽出情報として抽出し、前記統合部は、小領域ごとに前記抽出情報に対して、前記第１描画情報または前記第２描画情報を加算することにより、前記高品位描画部で描画された第５描画情報を復元することを特徴とする。また、前記描画システムにおける端末またはサーバであることを特徴とする。また、コンピュータを前記端末または前記サーバとして機能させるプログラムであることを特徴とする。

【発明の効果】

【0009】

本発明によれば、端末側では標準ダイナミックレンジにおいて少なくとも２段階のトーンマッピング設定で所定ＣＧコンテンツを標準描画し、サーバ側でも同様に標準ダイナミックレンジにおいて少なくとも２段階のトーンマッピング設定で所定ＣＧコンテンツを標準描画し、且つ、高ダイナミックレンジにおいて所定ＣＧコンテンツを高品位描画し、サーバ側で小領域ごとに少なくとも２段階の標準描画のいずれかと高品位描画との差分を抽出して端末側へと送信し、端末側でサーバ側の差分抽出の逆処理として、この差分を少なくとも２段階の標準描画のいずれかと加算することにより、端末及びサーバでそれぞれ利用可能な計算資源を活用しつつ、通信帯域の圧迫を抑制して端末側において高品質な描画結果を復元することが可能となる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る描画システム100の機能ブロック図である。

【図2】トーンマッピング設定の区別の模式例を示すトーンマッピングカーブのグラフを示す図である。

【図3】第１描画情報G1(t)ないし第５描画情報G5(t)の模式例を示す図である。

【図4】図１の構成における、SDR品質で同一の描画を行う端末側標準描画部及びサーバ側標準描画部が２段階の描画を行う構成に対する変形例に対して、中間段階の描画も行うことで３段階の描画を行う構成を示す図である。

【図5】一般的なコンピュータにおけるハードウェア構成を示す図である。

【発明を実施するための形態】

【0011】

図１は、一実施形態に係る描画システム100の機能ブロック図である。描画システム100は、インターネット等のネットワークを介して相互に通信可能とされる端末10及びサーバ20で構成される。図示するように機能ブロック構成として、端末10は撮像部11及び認識部12を含む描画対象指定部16、第１描画部1及び第２描画部2を含む端末側標準描画部13、統合部14及び提示部15を備える、サーバ20は第３描画部3及び第４描画部4を含むサーバ側標準描画部23、高品位描画部としての第５描画部5及び抽出部8を備える。

【0012】

本実施形態においては通信機能により、端末10及びサーバ20の間では、端末10が送信してサーバで受信する情報として詳細を後述する認識部12で得る対象情報OB(t)を送受信し、この逆にサーバ20が送信して端末10で受信する情報として詳細を後述する抽出部8で得る抽出情報E(t)並びに係数α(t)及びβ(t)を送受信する。

【0013】

描画システム100はその全体的な動作として、例えば30fps（frame per second）や120fpsといったような所定の表示処理レートに応じたリアルタイムの各時刻t(t=1,2,…)において端末10で現実世界にある対象の撮像を行い、撮像された対象に応じた描画処理を端末10及びサーバ20において行い、描画結果を端末10において提示情報D(t)としてリアルタイムで表示することで、端末10を利用するユーザに対して撮像された対象に応じた拡張現実表示を提供することができる。

【0014】

以下、図１に示される描画システム100におけるリアルタイムの各時刻t(t=1,2,…)での各機能部の処理の詳細を説明する。

【0015】

撮像部11は、後段側の認識部12において認識される対象が存在する実世界の撮像を行い、得られた撮像画像Pを端末10内の認識部12及び統合部14へと出力する。ここで、撮像がなされた時刻t（リアルタイムの処理タイミングとしての離散的な時刻t=1,2,…）を紐づけた撮像画像P(t)として出力される。撮像部11はハードウェアとしてはカメラで構成することができ、端末10を利用するユーザが当該カメラを操作することにより、（例えばカメラを対象に向ける操作などを行うことにより、）撮像部11による撮像が行われる。

【0016】

認識部12は撮像部11で得た撮像画像P(t)に対して、撮像されている対象の種類（物体種別）を認識し、且つ、この対象の位置姿勢を計算した結果の対象情報OB(t)を求め、この対象情報OB(t)を第１描画部1及び第２描画部2（端末側標準描画部13）へと出力すると共に、通信機能を介してサーバ20の第３描画部3及び第４描画部4（サーバ側標準描画部23）並びに第５描画部5（高品位描画部）へと送信する。すなわち、これら第１描画部1ないし第５描画部5へとそれぞれ出力される対象情報OB(t)は、撮像画像P(t)に撮像されている対象の種類の情報と、この対象の位置姿勢の情報と、で構成されるものである。なお、対象情報OB(t)には、時刻tの撮像画像P(t)から求めた情報として、この撮像の時刻tの情報が紐づいている。

【0017】

認識部12における撮像画像から撮像されている対象の物体種別を認識する処理と、当該対象の位置姿勢を計算する処理とには、既存の拡張現実表示技術等において利用されている任意の既存手法を用いることができる。例えば、画像よりSIFT特徴情報等の特徴点及び特徴量の検出を行い、リファレンスとなる１種類以上の物体種別に関して予め登録されている特徴情報との照合を行い、照合により特徴情報同士が最も一致すると判定される物体種別を対象の認識結果とし、この照合の際に一致した特徴点同士の画像座標の対応関係を与える変換（平面射影変換）の関係として、対象の位置姿勢を得るようにしてもよい。３次元コンピュータグラフィックスの分野において既知のように、こうして得られる対象の位置姿勢は、所定の３次元世界座標系内における対象の座標(X,Y,Z)_[世界]と、撮像部11を構成するハードウェアとしてのカメラにおける３次元カメラ座標系での対象の座標(X,Y,Z)_[カメラ]と、の変換関係として表現されるものであり、当該カメラの外部パラメータに相当するものである。

【0018】

第１描画部1及び第２描画部2は、端末側標準描画部13として、それぞれがSDRで描画を行い、当該２回分のSDR描画を後述する統合部14において場合分けして組み合わせることによって、後述するサーバ20の第５描画部5におけるHDR描画を可能な範囲でエミュレート（模倣）するための構成である。こうして端末10の計算資源（サーバ20ほど豊富ではない標準的な計算資源）において、ハードウェアアクセラレーションを利用可能なSDR描画（２回）により、ハードウェアアクセラレーションが利用不可能なHDR描画をエミュレート可能となる。

【0019】

具体的に、第１描画部1及び第２描画部2は、認識部12から得た対象情報OB(t)に基づき、拡張現実表示するための仮想対象としての３次元モデルを２次元画像平面上に描画することでそれぞれ第１描画情報G1(t)及び第２描画情報G2(t)を得て、この第１描画情報G1(t)及び第２描画情報G2(t)を統合部14へと出力する。ここで、対象情報OB(t)における物体種別より、描画システム100で実現する拡張現実表示の用途に応じたコンテンツとして管理者等により予め用意され、端末10上あるいはネットワーク上（サーバ20上でもよい）に保存されているこの物体種別に応じた所定の３次元モデルを読み込み、この３次元モデルを対象情報OB(t)における位置姿勢に配置して２次元画像平面（撮像部11を構成するカメラの画像平面）上に描画することで、第１描画情報G1(t)及び第２描画情報G2(t)を得ることができる。３次元コンピュータグラフィックスの分野においてビューイングパイプラインの関係として既知のように、この２次元画像平面上への描画は、撮像部11をハードウェアとして構成するカメラについて既知の内部パラメータを用いて行うことができる。

【0020】

一方、サーバ20側において、第３描画部3、第４描画部4及び第５描画部5は、第１描画部1及び第２描画部2における処理と同様に、認識部12から得た対象情報OB(t)に基づき、拡張現実表示するための仮想対象としての３次元モデルを２次元画像平面上に描画することで第３描画情報G3(t)、第４描画情報G4(t)及び第５描画情報G5(t)をそれぞれ得て、この第３描画情報G3(t)、第４描画情報G4(t)及び第５描画情報G5(t)を抽出部8へと出力する。ここで、第３描画部3、第４描画部4及び第５描画部5において描画を行う際の、対象情報OB(t)の物体種別に応じて参照する描画対象の所定の３次元モデルと、描画の際の位置姿勢の反映の仕方とは、第１描画部1及び第２描画部2におけるものと同一である。（すなわち、サーバ20側においても、サーバ20上あるいはネットワーク上に保存されている物体種別に応じた所定の３次元モデル（第１描画部1及び第２描画部2で利用したのと同様のもの）を読み込んで、第３描画部3、第４描画部4及び第５描画部5で描画を行う。）

【0021】

ここで特に、第３描画部3及び第４描画部4で構成されるサーバ側標準描画部23の処理は、第１描画部1及び第２描画部2で構成される端末側標準描画部13の処理と同一であって、サーバ20側で端末10の描画結果と同一結果を再現することで、後述する抽出部8における抽出情報E(t)のデータ量を抑制する等の役割を担うものである。

【0022】

すなわち、第１描画部1の描画処理と第３描画部3の描画処理とは同一であり、両者共に、SDR描画における第１描画態様において描画を行うことで、結果として得られる第１描画情報G1(t)及び第３描画情報G3(t)は同一となる。同様に、第２描画部2の描画処理と第４描画部4の描画処理とは同一であり、両者共にSDR描画における第２描画態様において描画を行うことで、結果として得られる第２描画情報G2(t)及び第４描画情報G4(t)は同一となる。

【0023】

一方、第５描画部5は、第１描画部1ないし第４描画部4が描画したのと同一の３次元モデルを同一の位置姿勢において描画するが、第１描画部1ないし第４描画部4におけるSDR描画よりも高品位となるHDR描画を行う、という相違点がある。

【0024】

以上をまとめると、対象情報OB(t)に応じた同一のCG（コンピュータグラフィックス）コンテンツに関して、以下の３通りの描画が行われる。
（１）第１描画部1及び第３描画部3 …SDR描画の第１描画態様
（２）第２描画部2及び第４描画部4 …SDR描画の第２描画態様
（３）第５描画部5 …HDR描画

【0025】

これら描画態様の区別に関しては種々の実施形態が可能である。例えば、（１）、（２）のSDR描画と（３）のHDR描画との区別に関して、ダイナミックレンジをそれぞれ標準品位（例えば8ビット階調）と高品位（例えば16ビット階調）とに設定して区別することができ、この区別に連動させる形でさらに、トーンマッピングや光源モデルや反射モデルの区別も設けるようにしてもよい。

【0026】

SDR描画における（１）第１描画態様と（２）第２描画態様との区別に関しては、共通の標準品位のダイナミックレンジによるSDR描画のもとで、トーンマッピングの設定を明るめにする（明るい部分を明瞭に描画する）設定、すなわち、高輝度側をより高感度にするトーンマッピング設定と、これとは逆方向の暗めにする（暗い部分を明瞭に描画する）設定、すなわち、低輝度側をより高感度にするトーンマッピング設定と、の区別として設けることができ、この区別に連動させる形でさらに、光源モデルや反射モデルの区別も設けるようにしてもよい。

【0027】

図２は、当該トーンマッピング設定の区別の模式例を示すトーンマッピングカーブのグラフであり、SDRとして8ビット深度（最小値0が最も暗く、最大値255が最も明るい）において、第１グラフGR1が（１）第１描画態様の設定例として高輝度側をより高感度に設定し、第２グラフGR2が（２）第２描画態様の設定例として低い輝度側をより高感度に設定している。

【0028】

以上のように（１）～（３）の描画態様の区別を設けたうえでさらに、当該区別に連動させる形で３次元モデルパラメータ（ポリゴン数など）の区別を設定してもよい。

【0029】

図３は、以上のように区別した設定のもとで描画される第１描画情報G1(t)ないし第５描画情報G5(t)の模式例を示す図であり、共通の3D-CGコンテンツとして画像領域全体に渡って旅館の室内（窓から屋外の景色も見えている）を描画する場合の例である。この例では、下段に説明用に示す画像領域全体Rのうち、窓の外の屋外景色部分は晴天時の昼間の光源モデルを反映して高輝度寄り領域HRとして描画され、当該窓の領域以外の室内部分は室内光源モデルを反映して低輝度寄り領域LRとして描画されるように、描画モデルとしてのCGコンテンツが予め設定されている。

【0030】

図３に例示されるように、上段側に例示される第５描画情報G5(t)は画像領域全体Rに渡って輝度変化の情報が欠落することなく明瞭に描画されている。また、中段左側に例示される第１描画情報G1(t)及び第３描画情報G3(t)において、高輝度寄り領域HRは輝度変化の情報が欠落することなく明瞭に描画されるが、低輝度寄り領域LRは黒つぶれまたは黒つぶれに近い状態となって輝度変化の情報が欠落して不明瞭に描画される。逆に、中段右側に例示される第２描画情報G2(t)及び第４描画情報G4(t)において、低輝度寄り領域LRは輝度変化の情報が欠落することなく明瞭に描画されるが、高輝度寄り領域HRは白飛びまたは白飛びに近い状態となって輝度変化の情報が欠落して不明瞭に描画される。

【0031】

なお、図３の例は模試例であって、実際にCGコンテンツを描画する際に常に、下段側に示すように画像領域全体Rが高輝度寄り領域HR又は低輝度寄り領域LRの２通りに明確に分かれるとは限らない。例えば、これらの中間的な位置づけとしての中輝度領域が存在して、当該中輝度領域においてはSDR描画による第１描画情報G1(t)ないし第４描画情報G4(t)の全てが、輝度変化の情報を欠落させることなく明瞭に描画されるといったことも起こりうる。

【0032】

抽出部8は、第５描画部5でHDR描画により得た第５描画情報G5(t)と、第３描画部3及び第４描画部4でSDR描画によりそれぞれ得た第３描画情報G3(t)及び第４描画情報G4(t)と、の相違を抽出情報E(t)として抽出し、通信機能を介してこの抽出情報E(t)及び以下で説明する係数α(t)及びβ(t)を端末10の統合部へと送信する。一実施形態では抽出部8は、以下の式(1)で示されるように場合分けを行ったうえで、第５描画情報G5(t)と、当該場合分けに応じて選ばれる第３描画情報G3(t)あるいは第４描画情報G4(t)と、の差分画像として、抽出情報E(t)を抽出することができる。

【0033】

【数1】

【0034】

式(1)において、thは予め設定した閾値を表し、α(t)及びβ(t)はE(t)を最小化する予測係数の組として乗数及びバイアスを表す。係数α(t)及びβ(t)は式(1)と同様の場合分けによる以下の式(1A)の最適化（最小化）解として、既存の最小二乗法などで求めることができ、場合分けを行う単位として小領域Bごと（例えば画像領域全体を所定分割した矩形状のブロック領域など）に設定することが望ましい。

【0035】

【数2】

【0036】

なお、小領域（例えばブロックBとする）単位で式(1)（及び同様の判定式を有する式(1A)）の場合分けを行う場合、条件式「G3(t)>th」の判定は、当該ブロックBでの画素値の代表値（例えば平均値）としてG3(t)=G3(t)_[B]を求め、この代表値に対して条件式「G3(t)_[B]>th」の判定を行えばよい。一方、当該判定して場合分けした後に式(1)で差分を求める場合は、差分画像として画素位置(x,y)ごとに差分を求めるようにすればよい。従って、抽出情報E(t)は画素位置(u,v)ごとの値E(t)_(u,v)として求めるようにすればよい。一方、α(t)及びβ(t)は、式(1A)のようにブロックBごとに最小二乗法などで求めるようにすればよい。式(1)等では簡潔に記載する観点から、以上のように条件判定及び当該判定条件のもとでのα(t)及びβ(t)等の係数算出はブロックBなどの小領域単位で行い、差分画像としての抽出情報E(t)は画素位置(u,v)ごとに求めることを添え字等によって明記していないが、以下で説明するその他の式においても式(1)と同様であるものとして、簡潔化した表記を用いることとする。

【0037】

また、式(1)の変形例として、１行目の条件判定を「if G3(t)>G4(t)」として小領域ごとに判定してもよい。

【0038】

また、式(1)とは別の実施形態として、以下の式(2)を用いてもよい。

【0039】

【数3】

【0040】

上記示されるように、式(2)は式(1)の場合分け判定式を「G3(t)>th」に代えて「v(G3(t))>v(G4(t))」とした以外は、式(1)と同様である。予測係数α(t),β(t)も、式(1A)の判定式を「v(G3(t))>v(G4(t))」としたものの最小解として同様に求めるようにすればよい。当該判定に用いる関数v()は、第３描画情報G3(t)及び第４描画情報G4(t)の小領域ごとの変動を算出する関数を表し、小領域内の画素の分散などを利用できる。変動が大きい描画情報を差分画像としての抽出情報E(t)の抽出の基準に選択することで差分を小さくする効果が得られる。

【0041】

なお、式(1),(2)のいずれを用いる場合も、判定対象となる小領域が、図３で模式的に説明した高輝度寄り領域HRまたは低輝度寄り領域LRのいずれに該当するものかを、それぞれの判定式により自動的に推定することが可能となり、判定式が真の場合は式(1),(2)の１行目が適用されて高輝度寄り領域HRであるものとして第３描画情報G3(t)を用いて、最小差分画像としての抽出情報E(t)算出のための予測係数としてのα(t)及びβ(t)が算出される。逆に、判定式が偽の場合は式(1),(2)の２行目が適用されて低輝度寄り領域LRであるものとして第４描画情報G4(t)を用いて、最小差分画像としての抽出情報E(t)算出のための予測係数としてのα(t)及びβ(t)が算出される。

【0042】

既に説明した通り、差分画像としての抽出情報E(t)は、各画素位置(u,v)において第５描画情報G5(t)の画素値G5(t)_(u,v)から第３描画情報G3(t)の画素値G3(t)_(u,v)あるいは第４描画情報G4(t)の画素値G4(t)_(u,v)を減算した、差分の画素値を与えた画像E(t) _(u,v)として得ることができる。（一方、係数α(t)及びβ(t)はブロック等の小領域Bごとに求める。）この差分の画素値E(t) _(u,v)は、ゼロ又は正負いずれの値も取りうる。

【0043】

第３描画情報G3(t)、第４描画情報G4(t)及び第５描画情報G5(t)は、図３でも例示したように、同一の３次元モデルを同一の位置姿勢において描画しているものであるため、互いに描画品質は異なるが、画素値の空間的な分布の相関は高く、差分画像としての抽出情報E(t)は、（最小差分を得るための予測係数α(t)及びβ(t)の適用もあることから、）第５描画情報G5(t)と比べて顕著に情報量が削減されたものとなる。本実施形態においては、端末10とサーバ20との間でネットワークを経由して情報量の大きい第五描画情報G5(t)等を送受信するのではなく、情報量の小さい抽出情報E(t)（及び同様に、画像と比べて情報量の小さい対象情報OB(t)並びに予測係数α(t)及びβ(t)）を送受信することにより、ネットワークの帯域を圧迫しない効果が得られる。

【0044】

なお、以上の説明における各情報の変数名表記からも明らかなように、撮像画像P(t)の撮像時刻tが紐づいた対象情報OB(t)を受け取ってサーバ20の各部で処理を行って得られる第３描画情報G3(t)、第４描画情報G4(t)、第５描画情報G5(t)及び抽出情報E(t)並びに係数α(t)及びβ(t)に関しても、この撮像時刻tが紐づいたものとして得られるものとなる。

【0045】

統合部14は、共通の撮像時刻tが紐づいたものとして第１描画部1から得られる第１描画情報G1(t)と、第２描画部2から得られる第２描画情報G2(t)と、抽出部8から得られる抽出情報E(t)（並びに係数α(t)及びβ(t)）と、撮像部11から得られる撮像画像P(t)と、を用いて、この時刻tにおける拡張現実表示としての提示情報D(t)を生成し、提示部15へと出力する。

【0046】

統合部14では、サーバ20側で求めている高品質な第５描画情報G5(t)を端末10側で復元する処理を行ってから、当該復元された第５描画情報G5(t)を対象情報OB(t)に応じた拡張現実表示として撮像画像P(t)に対して重畳することで、拡張現実表示を実現した画像として提示情報D(t)を得ることができる。（なお、図３の例では、画像領域全体に渡ってCGコンテンツを描画していることから、結果的に撮像画像P(t)を全て上書きする形での提示情報D(t)（現実空間の位置姿勢と連動するが、撮像画像P(t)による現実空間とは独立の仮想空間の表示を実現する提示情報D(t)）を得る例となっている。）

【0047】

ここで、統合部14による復元処理は、抽出部8による抽出処理の逆処理として、次のようにすればよい。

【0048】

すなわち、第１描画部1ないし第５描画部5の説明で既に述べたように、端末10において求めた第１描画情報G1(t)及び第２描画情報G2(t)はサーバ20において求めた第３描画情報G3(t)及び第４描画情報G4(t)と同じものであるという関係「G1(t)=G3(t)」及び「G2(t)=G4(t)」を利用する。具体的には、統合部14において以下の式(3)又は式(4)の加算処理により第１描画情報G1(t)あるいは第２描画情報G2(t)と差分画像としての抽出情報E(t)とを統合し、第１描画情報G1(t)あるいは第２描画情報G2(t)に対して抽出情報E(t)の差分を反映することにより、第５描画情報G5(t)を復元することができる。

【0049】

【数4】

【0050】

抽出部8で式(1)の実施形態を用いた場合は、式(1)と同一条件式での場合分けにより式(1)とは逆の計算で式(3)により復元すればよく、抽出部8で式(2)の実施形態を用いた場合は、式(2)と同一条件式での場合分けにより式(2)とは逆の計算で式(4)により復元すればよい。（すなわち、前述した関係「G1(t)=G3(t)」及び「G2(t)=G4(t)」により、式(1)と式(3)が共通処理における正方向及び逆方向として対応（差分抽出処理及びその逆処理の復元処理として対応）し、同様に、式(2)と式(4)とが共通処理におけるものとして対応している。）

【0051】

式(3),(4)のいずれの場合も、係数α(t)及びβ(t)はブロック等の小領域Bごとにサーバ20の抽出部8で算出され端末10へと送信された情報を、統合部14において同様に利用すればよい。

【0052】

概要を前述した通り、端末側標準描画部13はSDR描画を第１描画情報G1(t)及び第２描画情報G2(t)として２通り行うことでHDR描画をエミュレートするものであるが、具体的には式(3),(4)のようにして、（同一描画を行うサーバ側標準描画部23に関しても既に説明した通り、）統合部14において高輝度寄り領域HRについては第１描画情報G1(t)を復元用に選択し、低輝度寄り領域LRについては第２描画情報G2(t)を復元用に選択することで、サーバ20における第５描画部5でのHDR描画のエミュレートが実現されることとなる。そして、エミュレートでHDR描画の第５描画情報G5(t)に対して不足している（相違している）内容に関しては、差分画像としての抽出情報E(t)並びに係数α(t)及びβ(t)で補完することにより、エミュレートではなくほぼ完全な第５描画情報G5(t)の復元が可能となる。（差分画像である抽出情報E(t)を非可逆圧縮符号化してサーバ20から端末10へと送信した場合は、符号化誤差が加わった状態で端末10において抽出情報E(t)が復号されるため、サーバ20での第５描画情報G5(t)は完全には復元できない。）

【0053】

一方、式(3)又は式(4)における場合分け判定についても、統合部14において単独で実施することが可能であるため、小領域ごとに第１描画情報G1(t)又は第２描画情報G2(t)のいずれを復元に用いるかを指定する情報に関して、サーバ20から端末10側へと送信することは不要であり、ネットワークの帯域を圧迫しない効果が得られる。（すなわち、前述した関係「G1(t)=G3(t)」及び「G2(t)=G4(t)」のもとで、サーバ20の抽出部8において小領域ごとに第３描画情報G3(t)又は第４描画情報G4(t)のいずれを差分計算に用いるか判定したのと同様に、統合部14でも小領域ごとに第１描画情報G1(t)又は第２描画情報G2(t)のいずれを復元に用いるかを判定することができる。）

【0054】

提示部15は、ハードウェアとしてディスプレイで構成されるものであり、統合部14から得られた提示情報D(t)を、端末10のユーザに対して表示する。

【0055】

以上、本発明の一実施形態によれば、計算リソースが豊富なサーバ20においてサーバサイドレンダリングにより高品質な第５描画情報G5(t)と、端末10の側で生成するのと同様な第３描画情報G3(t)及び第４描画情報G4(t)と、を生成し、ネットワークを介して送信するのはこれらの差分として、情報量が第５描画情報G5(t)と比べて削減された抽出情報E(t)並びに予測係数α(t)及びβ(t)を送信し、端末10側ではその計算リソースにおいて可能な品質の第１描画情報G1(t)及び第２描画情報G2(t)を生成したうえで、受信した抽出情報E(t)を反映することで、高品質な第５描画情報G5(t)を端末10自身において直接に生成することなく復元し、提示情報D(t)を得ることができる。

【0056】

すなわち、本発明の一実施形態によれば、サーバサイドレンダリング方式によるサーバ20の豊富な計算リソースを活用して、ネットワークの帯域を圧迫することなく、計算リソースが限られている端末10において高品質な拡張現実表示を実現することが可能となる。ここで、抽出情報E(t)はデータサイズが小さいため、サーバ20と端末10との間での伝送時間も短縮可能である。予測係数α(t)及びβ(t)に関してもブロック等の小領域ごとに算出するためデータサイズを抑制できる。

【0057】

以下、種々の補足例、代替例、追加例などに関して説明する。

【0058】

＜１＞ 各実施形態の描画システム100は既に説明したように拡張現実表示に利用可能であり、拡張現実表示では例えば遠隔地に存在する対象物をＣＧコンテンツとして仮想空間上に描画して、臨場感を持って眺める等の体験をユーザに提供することが可能である。また例えば、ＣＧコンテンツとして遠隔地に存在する相手側ユーザのアバタを描画することで、アバタを介した遠隔コミュニケーションを実現することも可能である。これにより、１箇所の実地にユーザが移動して当該実地を体験することなく拡張現実表示で済ませたり、あるいは相手側ユーザと対面での実コミュニケーションを行わずにアバタによる遠隔コミュニケーションで済ませることも可能となり、ユーザ移動に必要となるエネルギー資源を節約することで二酸化炭素排出量を抑制できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標１３「気候変動とその影響に立ち向かうため、緊急対策を取る」に貢献することが可能となる。

【0059】

＜２＞ 拡張現実表示に関して、図３では画像領域全体に渡って描画する例を示したが、画像領域の一部のみに存在する仮想オブジェクトを描画し、当該仮想オブジェクトが存在しない背景部分については、統合部14及び提示部15で背景として撮像画像P(t)を表示するようにしてもよい。すなわち、撮像画像P(t)に対して仮想オブジェクトを重畳表示するようにしてもよい。提示部15を実現するディスプレイがスマートフォン端末等における通常の液晶ディスプレイや、ビデオシースルー型HMD（ヘッドマウントディスプレイ）である場合、このように撮像画像P(t)に対して仮想オブジェクトを重畳表示すればよい。一方で、提示部15を実現するディスプレイが光学シースルー型HMDである場合は、撮像画像P(t)に相当する実際の景色がユーザの目に当該HMDを透過して直接に見える状態にあるため、撮像画像P(t)を背景表示することなく、マスク画像としての仮想オブジェクトを当該HMD上に表示し、実際の景色に対して重畳した状態としてユーザに見えるようにすればよい。

【0060】

このように、画像領域の一部のみに存在する仮想オブジェクトを描画する場合は、第１描画情報G1(t)ないし第５描画情報G5(t)はマスク画像として描画すればよい。マスク外の領域（描画がなされず値が設定されていない領域）において、差分画像としての抽出情報E(t)の画素値は任意の値を設定できるが、この際、近傍の画素値を設定することで高周波成分を抑制したうえで、マスク情報を含まない通常画像（ただし、前述の通り正負またはゼロの画素値を取りうる）としてサーバ20から端末10へと送信することが望ましい。（なお、端末10の端末側標準描画部13では対象情報OB(t)により自身で描画を行うことでサーバ20側と同様のマスク情報を生成できるため、抽出情報E(t)におけるマスク外領域の情報は無視（削除）して、第５描画情報G5(t)を復元することができる。）

【0061】

＜３＞ 以上の例では端末10の位置姿勢及び撮像されている対象物の種別に応じて拡張現実表示のためのＣＧコンテンツを描画するものとしたが、任意内容のＣＧコンテンツを描画することが可能である。すなわち、対象情報OB(t)として端末10の位置姿勢及び撮像されている対象物を与えることで描画するＣＧコンテンツが定まるものとしたが、対象情報OB(t)は、端末10及びサーバ20において描画する、任意の共通内容（ただしダイナミックレンジ等の描画態様は前述の通り異なる）のＣＧコンテンツを特定する任意情報を用いることができる。例えばウェブページ上に描画するＣＧコンテンツを特定する情報として対象情報OB(t)を出力するように、描画対象指定部16が設定されていてもよい。（すなわち、図１に示した撮像部11及び認識部12で構成される描画対象指定部16は、描画システム100において描画するＣＧコンテンツの好適な例として、拡張現実表示を設定する場合の例であり、当該構成以外の描画対象指定部16も可能である。）

【0062】

＜４＞ 図１の例では、SDR品質で同一の描画を行う端末側標準描画部13及びサーバ側標準描画部23が、明るい側の１段階と暗い側の１段階との２段階の描画を行うものとしたが、全く同様にして、これら２段階の間にある１つ以上の中間段階も含む、３段階以上の描画を行う実施形態も可能である。図４は、図１に示される２段階の描画を行う端末側標準描画部13及びサーバ側標準描画部23の変形例として、１つの中間段階を追加した描画の構成を示す図である。すなわち、端末側標準描画部13及びサーバ側標準描画部23において図４では、図１の構成に追加して、中間段階で第６描画情報G6(t)及び第７描画情報G7(t)をそれぞれ描画する第６描画部6及び第７描画部7が追加されている。

【0063】

なお、図４では、２段階から３段階に拡張された端末側標準描画部13及びサーバ側標準描画部23以外の部分は図１と同様であるため、描画システム100における一部として、当該拡張された端末側標準描画部13及びサーバ側標準描画部23の周辺部分の構成のみを示している。

【0064】

既に説明したのと同様に、第６描画情報G6(t)及び第７描画情報G7(t)では対象情報OB(t)に応じて共通のＣＧコンテンツを、中間部分の輝度範囲を高感度とするトーンマッピング設定において描画するという同一の処理を行うことで、同一の描画結果としての第６描画情報G6(t)及び第７描画情報G7(t)を得る。

【0065】

抽出部8及び統合部14においても、既に説明した２段階の描画結果を利用するのと全く同様にして、３段階の描画結果を利用した処理を行えばよく、抽出部8での式(1)の実施形態を３段階で適用する場合、以下の式(5)を利用すればよい。th2は中間段階を扱うための所定の閾値としてth2<thの範囲で設定しておく。統合部14でも対応する同様の処理（式(3)を３段階に拡張したものとしての、式(5)の逆処理による処理）で第５描画情報G5(t)を３段階の描画を使い分けて復元することができるが、同様説明の重複となるためその説明は省略する。抽出部8での式(2)の実施形態（及び対応する統合部14の式(4)の実施形態）も全く同様に３段階に拡張できるが、同様説明の重複となるためその説明は省略する。明るい側から暗い側まで４段階以上にトーンマッピング設定を分けて設定して描画を行う場合も全く同様に拡張することができるが、同様説明の重複となるためその説明は省略する。

【0066】

【数5】

【0067】

＜５＞ 係数α(t)及びβ(t)はサーバ20の抽出部8から端末10の統合部14へと送信して復元を行うものとした。この係数α(t)及びβ(t)に関して、事前に端末10及びサーバ20で共有しておく所定値を利用する（α(t)=α及びβ(t)=βとして、時刻tにも小領域Bにも依存しない定数α及びβを利用する）設定を用いてもよい。当該設定のもと、端末10の統合部14においてサーバ20の抽出部8と同様の処理（前述した関係「G1(t)=G3(t)」及び「G2(t)=G4(t)」のもとでの同一処理）を逆方向のものとして行うことにより、サーバ20から端末10への係数送信を行うことなく、統合部14において単独で第５描画情報G5(t)を復元することができる。

【0068】

例えば、「α=1及びβ=0」との設定であれば、抽出部8では単純な差分（一般の予測係数α(t)及びβ(t)の形による予測を適用しない、単純な差分）として抽出情報E(t)を求め、同様に、統合部14では単純な加算処理によって第５描画情報G5(t)を復元することとなる。あるいは、SDR描画のダイナミックレンジをR1とし、HDR描画のダイナミックレンジをR2として、「α=R2／R1及びβ=0」との設定を用いるようにしてもよい。

【0069】

＜６＞ 図５は、一般的なコンピュータ装置80におけるハードウェア構成の例を示す図である。描画システム100における端末10及びサーバ20の各々は、このような構成を有する１台以上のコンピュータ装置80として実現可能である。なお、２台以上のコンピュータ装置80で端末10及びサーバ20のそれぞれを実現する場合、ネットワークNW経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置80は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ79及びLiDARセンサやGPS等の画像撮像以外を用いたセンシングや計測を行う１種類以上のセンサ78と、これらの間でデータを授受するためのバスBSと、を備える。

【0070】

端末10及びサーバ20の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。提示部15はディスプレイ76として実現することで、拡張現実表示を出力してよく、前述の通りスマートフォン等のディスプレイを用いてもよいし、光学シースルー型またはビデオシースルー型によるヘッドマウントディスプレイを用いてもよい。撮像部11はカメラ79として実現することができる。

【符号の説明】

【0071】

10…端末、20…サーバ
1…第１描画部、2…第２描画部、13…端末側標準描画部、3…第３描画部、4…第４描画部、23…サーバ側標準描画部、5…第５描画部、8…抽出部、14…統合部、15…提示部
11…撮像部、12…認識部、16…描画対象指定部

【図1】

【図2】

【図3】

【図4】

【図5】