特許 7471034 画像処理システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-04-11

(45)【発行日】2024-04-19

(54)【発明の名称】画像処理システム及び画像処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240412BHJP

   H04L 67/131 20220101ALI20240412BHJP

【ＦＩ】

G06T19/00 A

H04L67/131

【請求項の数】 12

(21)【出願番号】P 2023211494

(22)【出願日】2023-12-14

【審査請求日】2023-12-18

【早期審査対象出願】

(73)【特許権者】

【識別番号】521322982

【氏名又は名称】近藤 生也

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(74)【代理人】

【識別番号】230115200

【弁護士】

【氏名又は名称】幸谷 泰造

(72)【発明者】

【氏名】近藤 生也

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１８－０９２２２５（ＪＰ，Ａ）

【文献】特開２０２０－１６１０９６（ＪＰ，Ａ）

【文献】特開２０２３－０１６１３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／００ －１９／２０

Ｈ０４Ｌ ６７／１３１

(57)【特許請求の範囲】

【請求項1】

不特定の第三者が参加可能な仮想空間に配置され得る対象オブジェクトに関する視覚データの生成に用いる3次元モデルを格納する対象端末と、
前記仮想空間において前記対象オブジェクトを仲介する仲介装置と、を備え、
前記仲介装置は、相手端末によって視聴可能な前記仮想空間を提供し、
前記対象端末は、
前記仮想空間において前記対象オブジェクトを視認する視線方向を含む視点情報を受信する受信部と、
前記視点情報に基づいて、前記仮想空間における前記対象オブジェクトに関する視覚データを生成する制御部と、
前記相手端末と前記対象端末との間の端末間通信によって、前記視覚データを前記相手端末に送信する送信部と、を備える、画像処理システム。

【請求項2】

前記仲介装置は、前記端末間通信に用いるアドレス情報として、前記相手端末に対応するアドレス情報を前記対象端末に送信する装置側送信部を備える、請求項１に記載の画像処理システム。

【請求項3】

前記制御部は、前記視覚データとして、前記仮想空間において前記対象オブジェクトを2次元画像として表示する視覚データを生成する、請求項１に記載の画像処理システム。

【請求項4】

前記送信部は、第1相手端末に対する前記視覚データの送信を省略し、第2相手端末に対する前記視覚データの送信を実行する、請求項１に記載の画像処理システム。

【請求項5】

前記第1相手端末は、特定条件を満たさない前記相手端末であり、
前記第2相手端末は、前記特定条件を満たす前記相手端末である、請求項４に記載の画像処理システム。

【請求項6】

前記視点情報は、前記仮想空間において前記対象オブジェクトを視認する視点位置を含み、
前記第1相手端末は、前記仮想空間において前記対象オブジェクトに対する距離が閾値よりも離れた前記視点位置を送信する前記相手端末であり、
前記第2相手端末は、前記仮想空間において前記対象オブジェクトに対する距離が前記閾値よりも近い前記視点位置を送信する前記相手端末である、請求項４に記載の画像処理システム。

【請求項7】

前記送信部は、第1条件を満たす2以上の視点情報を送信する2以上の相手端末に対して、前記2以上の視点情報を代表する代表視点情報に基づいた前記視覚データを送信する、請求項１に記載の画像処理システム。

【請求項8】

前記送信部は、特定視点情報に対して第2条件を満たす視点情報を送信する1以上の特定相手端末に対して、前記特定視点情報に基づいた前記視覚データを送信する、請求項１に記載の画像処理システム。

【請求項9】

前記装置側送信部は、第1相手端末に対応する前記アドレス情報の前記対象端末に対する送信を省略し、第2相手端末に対応する前記アドレス情報の前記対象端末に対する送信を実行する、請求項２に記載の画像処理システム。

【請求項10】

前記第1相手端末は、仲介条件を満たさない前記相手端末であり、
前記第2相手端末は、前記仲介条件を満たす前記相手端末である、請求項９に記載の画像処理システム。

【請求項11】

前記視点情報は、前記仮想空間において前記対象オブジェクトを視認する視点位置を含み、
前記第1相手端末は、前記仮想空間において前記対象オブジェクトに対する距離が閾値よりも離れた前記視点位置を送信する前記相手端末であり、
前記第2相手端末は、前記仮想空間において前記対象オブジェクトに対する距離が前記閾値よりも近い前記視点位置を送信する前記相手端末である、請求項９に記載の画像処理システム。

【請求項12】

不特定の第三者が参加可能な仮想空間に配置され得る対象オブジェクトに関する視覚データの生成に用いる3次元モデルを格納する対象端末と、前記仮想空間において前記対象オブジェクトを仲介する仲介装置と、を備える画像処理システムで用いる画像処理方法であって、
前記仲介装置が、相手端末によって視聴可能な前記仮想空間を提供するステップと、
前記対象端末が、前記仮想空間において前記対象オブジェクトを視認する視線方向を含む視点情報を受信するステップと、
前記対象端末が、前記視点情報に基づいて、前記仮想空間において前記対象オブジェクトに関する視覚データを生成するステップと、
前記対象端末が、前記相手端末と前記対象端末との間の端末間通信によって、前記視覚データを前記相手端末に送信するステップと、を備える、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム及び画像処理方法に関する。

【背景技術】

【0002】

近年、3DoF（Degree of Freedom）、6DoFなどの自由視点映像の生成において、自由視点映像をサーバ側にて生成する技術（クラウドレンダリング）について提案されている（例えば、特許文献１、２）。

【先行技術文献】

【特許文献】

【0003】

【文献】特表2020-515316号公報

【文献】特表2022-532302号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

仮想世界の利用が進む中、3Dオブジェクトを不特定の第三者に見せたいというユーザのニーズも存在する。クラウドレンダリングは、この課題を解決しているが、コストの高さなどの理由からクラウドサーバの利用はできるだけ避けるか小規模に抑えたいというニーズがある。また、クラウドサーバのサーバ管理者による3Dオブジェクトの目的外使用や3Dオブジェクトの流出等への懸念から、そもそもクラウドサーバの利用を望まないユーザのニーズも想定する必要がある。

【0005】

そこで、本発明は、上述した課題を解決するためになされたものであり、3Dモデルを頒布することなく、3Dモデルを用いて生成される視覚データの提供を可能とする画像処理システム及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

開示の態様は、不特定の第三者が参加可能な仮想空間に配置され得る対象オブジェクトに関する視覚データの生成に用いる3次元モデルを格納する対象端末と、前記仮想空間において前記対象オブジェクトを仲介する仲介装置と、を備え、前記仲介装置は、前記仮想空間において前記対象オブジェクトの視聴を要求する相手端末と前記対象端末との間の端末間通信に用いるアドレス情報を前記対象端末に送信する装置側送信部を備え、前記対象端末は、前記仮想空間において前記対象オブジェクトを視認する視線方向を含む視点情報を受信する受信部と、前記視点情報に基づいて、前記仮想空間における前記対象オブジェクトに関する視覚データを生成する制御部と、前記端末間通信によって、前記視覚データを前記相手端末に送信する送信部と、を備える、画像処理システムである。

【0007】

開示の態様は、不特定の第三者が参加可能な仮想空間に配置され得る対象オブジェクトに関する視覚データの生成に用いる3次元モデルを格納する対象端末と、前記仮想空間において前記対象オブジェクトを仲介する仲介装置と、を備える画像処理システムで用いる画像処理方法であって、前記仲介装置が、前記仮想空間において前記対象オブジェクトの視聴を要求する相手端末と前記対象端末との間の端末間通信に用いるアドレス情報を前記対象端末に送信するステップと、前記対象端末が、前記仮想空間において前記対象オブジェクトを視認する視線方向を含む視点情報を受信するステップと、前記対象端末が、前記視点情報に基づいて、前記仮想空間における前記対象オブジェクトに関する視覚データを生成するステップと、前記対象端末が、前記端末間通信によって、前記視覚データを前記相手端末に送信するステップと、を備える、画像処理方法である。

【発明の効果】

【0008】

本発明によれば、3Dモデルを頒布することなく、3Dモデルを用いて生成される視覚データの提供を可能とする画像処理システム及び画像処理方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る画像処理システム100を示す図である。

【図2】図２は、実施形態に係る対象端末10を示す図である。

【図3】図３は、実施形態に係る仲介サーバ30を示す図である。

【図4】図４は、実施形態に係るBillboardについて説明するための図である。

【図5】図５は、実施形態に係るBillboardについて説明するための図である。

【図6】図６は、実施形態に係るBillboardについて説明するための図である。

【図7】図７は、実施形態に係るBillboardについて説明するための図である。

【図8】図８は、実施形態に係るBillboardについて説明するための図である。

【図9】図９は、実施形態に係る画像処理方法を示す図である。

【図10】図１０は、変更例2に係る画像処理方法を示す図である。

【発明を実施するための形態】

【0010】

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものである。

【0011】

［実施形態］
（画像処理システム）
以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る画像処理システム100を示す図である。

【0012】

図１に示すように、画像処理システム100は、対象端末10と、相手端末20と、仲介サーバ30と、を有する。対象端末10、相手端末20及び仲介サーバ30は、ネットワーク110によって接続される。特に限定されるものではないが、ネットワーク110は、インターネットによって構成されてもよい。ネットワーク110は、ローカルエリアネットワークを含んでもよく、移動体通信網を含んでもよく、VPN（Virtual Private Network）を含んでもよい。

【0013】

対象端末10は、対象オブジェクト（以下、3Dオブジェクト）を見せたいユーザによって用いられる端末である。ユーザは、3Dオブジェクトの3次元モデル（以下、3Dモデル）の所有者であってもよい。対象端末10は、パーソナルコンピュータであってもよく、スマートフォンであってもよく、タブレット端末であってもよく、クラウドコンピュータであってもよい。対象端末10は、3Dオブジェクトを表示するための視覚データを出力する端末であればよい。対象端末10は、3Dオブジェクトの3Dモデルを格納する。3Dモデルは、特定サーバによって提供される仮想空間に配置され得る。特定サーバは、仲介サーバ30であってもよく、仲介サーバ30以外のサーバ（例えば、仮想空間を提供するクラウドサービスを提供するサーバなど）であってもよい。

【0014】

ここで、視覚データは、単なる画像を表示するデータだけではなく、深度マップ付きの画像、法線マップ付きの画像、凹凸のある画像、高さマップのある画像、分割された画像、複数枚重ねられた画像などのデータを含んでもよい。従って、視覚データは、画像のデータ形式（.png, .jpg等）で表現されなくてもよい。視覚データは、圧縮や暗号化等によって変換されていてもよい。視覚データはそのまま使われてもよく、ライティング、高解像度化、画風変換等の追加の処理が施された後に使われてもよい。視覚データは、3Dモデルそのものではなく、視覚データの単体で3Dモデルを復元することができないが、3Dモデルについてある視点に対応したレンダリング結果を表示するためのデータであればよい。

【0015】

実施形態では、対象端末10は、不特定の第三者が参加可能な仮想空間に配置され得る3Dオブジェクトに関する視覚データの生成に用いる3次元モデルを格納する対象端末の一例である。

【0016】

相手端末20は、3Dオブジェクトの視聴を要求する視聴者によって用いられる端末である。相手端末20は、パーソナルコンピュータであってもよく、スマートフォンであってもよく、タブレット端末であってもよい。相手端末20は、ヘッドマウントディスプレイであってもよい。相手端末20は、視覚データに基づいて3Dオブジェクトを表示する機能を有していてもよい。

【0017】

実施形態では、相手端末20は、仮想空間において3Dオブジェクトの視聴を要求する相手端末の一例である。

【0018】

仲介サーバ30は、相手端末20を対象端末10に仲介するサーバである。仲介サーバ30は、不特定の第三者が参加可能な仮想空間を提供してもよい。上述した3Dオブジェクトは、仮想空間に配置されてもよい。ここで、不特定の第三者は、対象端末10のユーザによって許可を得ていない第三者を意味してもよい。許可は、3Dオブジェクトの3Dモデルの利用に関する許可であってもよい。許可は、仲介サーバ30の運営者を介する間接的な許可（例えば、運営者とユーザとの間の契約及び運営者と視聴者との間の契約などによる許可）であってもよい。

【0019】

例えば、仲介サーバ30は、仮想空間において3Dオブジェクトに関する情報を表示することによって、3Dオブジェクトに関する情報に興味を持つ視聴者（相手端末20）を募集してもよい。3Dオブジェクトに関する情報は、3Dオブジェクトのサンプルであってもよい。サンプルは、3Dオブジェクトの解像度を落としたメッシュであってもよく、3Dオブジェクトの画像であってもよい。3Dオブジェクトに関する情報は、3Dオブジェクトの3Dモデルの作成者などの説明を含んでもよい。

【0020】

実施形態では、仲介サーバ30は、仮想空間において3Dオブジェクトを仲介する仲介装置の一例である。

【0021】

（対象端末）
以下において、実施形態に係る対象端末10について説明する。図２は、実施形態に係る対象端末10を示す図である。

【0022】

図２に示すように、対象端末10は、通信部11と、格納部12と、制御部13と、を有する。

【0023】

通信部11は、通信モジュールによって構成されてもよい。通信モジュールは、IEEE802.11a/b/g/n/ac/ax、LTE、5G、6Gなどの規格に準拠する無線通信モジュールであってもよく、IEEE802.3などの規格に準拠する有線通信モジュールであってもよい。

【0024】

通信部11は、相手端末20及び仲介サーバ30と通信を実行してもよい。対象端末10と相手端末20との間の直接的な通信は、端末間通信と称されてもよい。

【0025】

通信部11は、端末間通信で用いるアドレス情報を仲介サーバ30から受信してもよい。アドレス情報は、3Dオブジェクトに関する視覚データの宛先（例えば、相手端末20のIPアドレスなど）であってもよい。

【0026】

通信部11は、仮想空間において3Dオブジェクトを視認する視線方向を含む視点情報を受信してもよい。視点情報は、仮想空間において3Dオブジェクトを視認する視点位置を含んでもよい。通信部11は、相手端末20から視点情報を受信してもよい。

【0027】

通信部11は、端末間通信によって、3Dオブジェクトに関する視覚データを相手端末20に送信してもよい。3Dオブジェクトに関する視覚データは、後述する制御部13によって生成されてもよい。

【0028】

格納部12は、SSD（Solid State Drive）、HDD（Hard Disk Drive）、RAM（Random Access Memory）などの記憶媒体によって構成されており、様々な情報を格納する。

【0029】

格納部12は、3Dオブジェクトの3Dモデルを格納する。特に限定されるものではないが、3Dモデルの種類は、ワイヤフレーム、サーフェイスモデル、ソリッドモデルなどであってもよい。3Dモデルは、外観や形状にアニメーションを持つ又は持てる3Dモデルでもよい。3Dモデルは、外観や形状を変更できる3Dモデルでもよい。3Dモデルは、外観や形状を事前に持たずとも、外観や形状を生成できるプログラムでもよい。3Dモデルは、外観や形状を明示的なデータで持たずとも、複数の視点の画像情報を補間する処理などによって、視点情報に対応した視覚データを生成できるプログラムでもよい。3Dモデルは、これらの組合せであってもよい。特に限定されるものではないが、3Dモデルのデータは、所定拡張子（例えば、“.obj”、“.ply”、“.glb”など）で管理されるデータであってもよい。

【0030】

制御部13は、少なくとも1つのプロセッサを含んでもよい。少なくとも1つのプロセッサは、CPU（Central Processing Unit）、MPU（Micro Processing Unit）、GPU（Graphics Processing Unit）、1以上のIntegrated Circuit、1以上のDiscrete Circuit、及び、これらの組合せによって構成されてもよい。

【0031】

制御部13は、仮想空間における3Dオブジェクトに関する視覚データを生成する。具体的には、制御部13は、相手端末20 から受信する視点情報に基づいて、3Dオブジェクトに関する視覚データを生成する。

【0032】

例えば、制御部13は、3Dオブジェクトに関する視覚データとして、仲介サーバ30から受信する視点情報に基づいて、仮想空間において3Dオブジェクトを2次元画像として表示する視覚データを生成してもよい。このような2次元画像は、Billboardと称されてもよい。制御部13は、格納部12に格納される3Dモデルを用いてBillboardの視覚データを生成する。

【0033】

このような前提下において、制御部13は、以下に示す動作を実行してもよい。

【0034】

制御部13は、第1相手端末に対する視覚データの送信を省略し、第2相手端末に対する視覚データの送信を実行してもよい。第1相手端末及び第2相手端末としては、以下に示すオプションが考えられる。

【0035】

オプション1では、第1相手端末は、特定条件を満たさない相手端末であり、第2相手端末は、特定条件を満たす相手端末であってもよい。特定条件としては、以下に示すオプションが考えられる。

【0036】

オプション1-1では、特定条件は、抽選に当選することであってもよい。抽選は、相手端末20に割り当てられた乱数が所定乱数である場合に、相手端末20が当選する形式であってもよい。

【0037】

オプション1-2では、特定条件は、仮想空間において3Dオブジェクトが相手端末20の視聴者の視界に入った順番が所定順番以内であることであってもよい。相手端末20の視聴者の視界に入った順番は、所定タイミング（例えば、仮想空間に3Dオブジェクトが配置されてから一定時間が経過したタイミング、対象端末10のユーザによって選択されたタイミングなど）でリセットされてもよい。

【0038】

オプション1-3では、特定条件は、仲介サーバ30の運営者に対する相手端末20の視聴者の課金状況が条件を満たすことであってもよい。例えば、特定条件は、視点情報に基づいた3Dオブジェクトの視聴のための課金を行っていることであってもよい。

【0039】

オプション2では、第1相手端末は、仮想空間において3Dオブジェクトに対する距離が閾値よりも離れた視点位置を送信する相手端末であり、第2相手端末は、仮想空間において3Dオブジェクトに対する距離が閾値よりも近い視点位置を送信する相手端末であってもよい。

【0040】

すなわち、3Dオブジェクトに対する距離が閾値よりも離れた視点位置を送信する第1相手端末については、3Dオブジェクトに興味を持っているか否か定かではなく、視点情報に基づいて3Dオブジェクトが変化しなくても差し支えない可能性が高い。従って、対象端末10の端末間通信の負荷軽減が優先されてもよい。

【0041】

実施形態では、通信部11は、仮想空間において3Dオブジェクトを視認する視線方向を含む視点情報を受信する受信部を構成する。制御部13は、視点情報に基づいて、仮想空間における3Dオブジェクトに関する視覚データを生成する制御部を構成する。通信部11は、端末間通信によって、視覚データを相手端末20に送信する送信部を構成する。

【0042】

（仲介サーバ）
以下において、実施形態に係る仲介サーバ30について説明する。図３は、実施形態に係る仲介サーバ30を示す図である。

【0043】

図３に示すように、仲介サーバ30は、通信部31と、格納部32と、制御部33と、を有する。

【0044】

通信部31は、通信モジュールによって構成されてもよい。通信モジュールは、IEEE802.31a/b/g/n/ac/ax、LTE、5G、6Gなどの規格に準拠する無線通信モジュールであってもよく、IEEE802.3などの規格に準拠する有線通信モジュールであってもよい。

【0045】

通信部31は、対象端末10及び相手端末20と通信を実行する。通信部31は、仮想空間を表示するためのデータを対象端末10及び相手端末20に送信してもよい。通信部31は、3Dオブジェクトの視聴を要求する相手端末20から、相手端末20のアドレス情報を受信してもよい。通信部31は、端末間通信に用いるアドレス情報として、相手端末20のアドレス情報を対象端末10に送信してもよい。

【0046】

格納部32は、SSD（Solid State Drive）、HDD（Hard Disk Drive）などの記憶媒体によって構成されており、様々な情報を格納する。

【0047】

格納部32は、仮想空間を表示するためのデータを格納する。格納部32は、対象端末10のユーザの会員登録が必要とされる場合に、対象端末10のユーザの会員情報を管理してもよい。会員情報は、ユーザの氏名、ユーザのハンドル名、対象端末10のアドレス情報などを含んでもよい。同様に、格納部32は、相手端末20の視聴者の会員登録が必要とされる場合に、相手端末20の視聴者の会員情報を管理してもよい。会員情報は、視聴者の氏名、視聴者のハンドル名、相手端末20のアドレス情報などを含んでもよい。

【0048】

制御部33は、少なくとも1つのプロセッサを含んでもよい。少なくとも1つのプロセッサは、CPU（Central Processing Unit）、MPU（Micro Processing Unit）、GPU（Graphics Processing Unit）、1以上のIntegrated Circuit、1以上のDiscrete Circuit、及び、これらの組合せによって構成されてもよい。

【0049】

制御部33は、相手端末20の要求に応じて、対象端末10に対する相手端末20のアドレス情報の送信を通信部に指示してもよい。

【0050】

実施形態では、通信部31は、仮想空間において3Dオブジェクトの視聴を要求する相手端末20と対象端末10との間の端末間通信に用いるアドレス情報を対象端末10に送信する装置側送信部を構成する。

【0051】

（Billboard）
以下において、実施形態に係るBillboardについて説明する。図４～図８は、実施形態に係るBillboardについて説明するための図である。Billboardは、上述した視覚データの一例であると考えてもよく、上述した視覚データに基づいて生成されてもよい。

【0052】

ここでは、3DオブジェクトがCG（Computer Graphics）などで作成された人間の顔であり、仮想空間において人間の胴体に人間の顔が重畳されるケースについて例示する。人間の胴体は、CG（Computer Graphics）技術によって予め生成された3Dモデルであってもよい。

【0053】

また、説明を明確化するために、視聴者が仮想空間において3Dオブジェクトを視認する視点（以下、視聴者視点）を例に挙げて説明する。視聴者視点は、上述した視点情報によって特定される。視聴者視点は、仮想空間を定義する絶対的な座標軸において、仮想空間内において視聴者が3Dオブジェクトを視認する視点であると考えてもよい。

【0054】

このようなケースにおいて、視聴者視点においては、Billboardの傾きは、視聴者視点に対してBillboardが正対するように変更されてもよい。すなわち、視点情報に基づいてBillboardの傾きが変更される。一方で、視聴者視点とは異なる視点（以下、他の視点）においては、Billboardの傾きは、視聴者視点と他の視点との間の相対的な差異に基づいて変更されてもよい。Billboardの傾きは、垂直軸を中心とする傾きを含んでもよく、水平軸を中心とする傾きを含んでもよく、奥行軸を中心とする傾きを含んでもよい。Billboardの傾きは、視聴者視点によって変更された傾きと同期されてもよい。すなわち、Billboardの傾きは、視聴者視点と他の視点との間の相対的な差異に基づいて変更されてもよい。

【0055】

このような前提下において、図４～図８に示すように、視聴者視点の画像において、仮想空間400において、3Dオブジェクト200を含むBillboard210を胴体410に重畳するケースについて例示する。

【0056】

第1に、図４に示すように、視聴者視点が胴体410を正面から視認する視点であるケースについて説明する。視聴者視点に対してBillboard210が正対するようにBillboard210の傾きが変更される。Billboard210上において、3Dオブジェクト200に関する表示画像は、視聴者視点に関するパラメータに基づいて生成される。

【0057】

第2に、図５に示すように、視聴者視点が胴体410を略30°左側から視認する視点であってもよい。視聴者視点に対してBillboard210が正対するようにBillboard210の傾きが変更される。Billboard210上において、3Dオブジェクト200に関する表示画像は、視聴者視点に関するパラメータに基づいて生成される。

【0058】

第3に、図６に示すように、視聴者視点が胴体410を略30°右側から視認する視点であってもよい。視聴者視点に対してBillboard210が正対するようにBillboard210の傾きが変更される。Billboard210上において、3Dオブジェクト200に関する表示画像は、視聴者視点に関するパラメータに基づいて生成される。

【0059】

第4に、Billboard210の傾きについて説明する観点から、視聴者視点と異なる他の視点で視認され得る画像について説明する。図７に示すように、視聴者視点が胴体410を正面から視認する視点である場合において、他の視点は、胴体410を略30°右側から視認する視点であってもよい。Billboard210の傾きは、視聴者視点に対してBillboard210が正対するように変更されるため、他の視点においては、Billboard210の傾きは、視聴者視点と他の視点との相対的な差異に基づいて変更される。

【0060】

第5に、Billboard210の傾きについて説明する観点から、視聴者視点と異なる他の視点で視認され得る画像について説明する。図８に示すように、視聴者視点が胴体410を略30°左側から視認する視点である場合に、仮想空間視点は、胴体410を略30°右側から視認する視点であってもよい。Billboard210の傾きは、視聴者視点に対してBillboard210が正対するように変更されるため、他の視点においては、Billboard210の傾きは、視聴者視点と他の視点との相対的な差異に基づいて変更される。

【0061】

図４～図８では、説明の明確化のために、仮想空間400においてBillboard210を明示しているが、Billboard210において3Dオブジェクト200を除いた部分は透明であってもよい。すなわち、3Dオブジェクト200を除いた部分において、仮想空間400の画像が表示されてもよい。

【0062】

Billboardは、ある視聴者に対して表示され、ある視聴者以外の他の視聴者に対して表示されなくてもよい。1人の視聴者に対して1つのBillboardが用意されてもよい。

【0063】

（画像処理方法）
以下において、実施形態に係る画像処理方法について説明する。図９は、実施形態に係る画像処理方法を示す図である。

【0064】

図９に示すように、ステップS10において、相手端末20は、3Dオブジェクトの視聴要求を仲介サーバ30に送信する。

【0065】

ステップS11において、仲介サーバ30は、対象端末10と相手端末20との間の直接的な端末間通信で用いるアドレス情報を対象端末10に送信する。アドレス情報は相手端末20のIPアドレスであってもよい。

【0066】

ステップS20において、相手端末20は、仮想空間において3Dオブジェクトを視認する視線方向を含む視点情報を対象端末10に送信する。

【0067】

ステップS21において、対象端末10は、仮想空間における3Dオブジェクトに関する視覚データを生成する。対象端末10は、格納部12に格納される3Dモデルを用いて、視点情報に基づいて視覚データを生成する。3Dオブジェクトに関する視覚データは、3DオブジェクトをBillboardとして表示する視覚データであってもよい。

【0068】

ステップS22において、対象端末10は、端末間通信によって、視覚データを相手端末20に送信する。

【0069】

（作用及び効果）
実施形態では、対象端末10は、相手端末20のアドレス情報を仲介サーバから受信するとともに、端末間通信にって視覚データを相手端末20に送信する。このような構成によれば、対象端末10に格納された3Dモデルを頒布することなく、3Dモデルを用いて生成される視覚データを提供することができる。

【0070】

実施形態では、対象端末10は、相手端末20から送信される視点情報に基づいて、仮想空間において3DオブジェクトをBillboardとして表示する視覚データを生成してもよい。このような構成によれば、3Dモデルを相手端末20に渡すことなく、3Dモデルを用いて生成される視覚データを提供することができる。

【0071】

実施形態では、対象端末10は、第1相手端末に対する視覚データの送信を省略し、第2相手端末に対する視覚データの送信を実行してもよい。このような構成によれば、全ての相手端末20に対して視覚データを送信する必要がなく、端末間通信の通信負荷を軽減することができる。

【0072】

［変更例1］
以下において、実施形態の変更例1について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0073】

変更例1では、対象端末10の処理負荷を軽減するために、対象端末10は以下に示す動作を実行してもよい。

【0074】

第1に、対象端末10は、第1条件を満たす2以上の視点情報を送信する2以上の相手端末に対して、2以上の視点情報を代表する代表視点情報に基づいた視覚データを送信してもよい。代表視点情報は、代表視線方向を含んでもよい。代表視線方向は、2以上の視点情報の各々に含まれる2以上の視線方向の間の視線方向であればよく、2以上の視線方向のいずれか1つであってもよく、2以上の視線方向の中間地点であってもよい。代表視点情報は、代表視点位置を含んでもよい。代表視点位置は、2以上の視点情報の各々に含まれる2以上の視点位置の間の視点位置であればよく、2以上の視点位置のいずれか1つであってもよく、2以上の視点位置の中間地点であってもよい。

【0075】

例えば、第1条件は、2以上の視点情報の各々に含まれる2以上の視線方向によって形成される角度が所定角度以内である条件であってもよい。第1条件は、2以上の視点情報の各々に含まれる2以上の視点位置の距離が所定距離以下である条件であってもよい。

【0076】

第2に、対象端末10は、特定視点情報に対して第2条件を満たす視点情報を送信する1以上の特定相手端末に対して、特定視点情報に基づいた視覚データを送信してもよい。特定視点情報は、特定視線方向を含んでもよい。特定視点情報は、特定視点位置を含んでもよい。特定視点情報は、対象端末10のユーザによって設定されてもよい。特定視点情報としては、1以上の特定視点情報が設定されてもよい。

【0077】

例えば、第2条件は、視点情報に含まれる視線方向と特定視線方向とによって形成される角度が所定角度以内である条件であってもよい。視点情報に含まれる視点位置と特定視点位置との距離が所定距離以下である条件であってもよい。

【0078】

（作用及び効果）
変更例1では、対象端末10は、第1条件を満たす2以上の視点情報を送信する2以上の相手端末に対して、2以上の視点情報を代表する代表視点情報に基づいた視覚データを送信してもよい。このような構成によれば、視覚データの一部を共通化することができるため、対象端末10の処理負荷を軽減することができる。

【0079】

変更例1では、対象端末10は、特定視点情報に対して第2条件を満たす視点情報を送信する1以上の特定相手端末に対して、特定視点情報に基づいた視覚データを送信してもよい。このような構成によれば、視点情報に基づいた視覚データの生成を簡略化することができるため、対象端末10の処理負荷を軽減することができる。

【0080】

［変更例2］
以下において、実施形態の変更例2について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0081】

実施形態では、相手端末20に対して対象端末10が3Dオブジェクトに関する視覚データを生成する。これに対して、変更例2では、一部の相手端末20に対して仲介サーバ30が一部の対象端末10の代わりに3Dオブジェクトに関する視覚データを生成する。すなわち、一部の対象端末10がクラウドレンダリングを利用するケースについて説明する。

【0082】

変更例2では、クラウドレンダリングを利用する対象端末10に格納された3Dモデルは、仲介サーバ30にも格納される。クラウドレンダリングを利用する対象端末10は、クラウドレンダリングの利用に関する課金を行った対象端末10であってもよい。

【0083】

以下において、対象端末10がクラウドレンダリングの利用が許可された端末であるケースについて説明する。

【0084】

図１０に示すように、ステップS30において、対象端末10は、格納部12に格納された3Dモデルを仲介サーバ30に送信する。

【0085】

ステップS31において、仲介サーバ30は、対象端末10から受信する3Dモデルを格納する。

【0086】

ステップS40において、相手端末20は、仮想空間において3Dオブジェクトを視認する視線方向を含む視点情報を仲介サーバ30に送信する。

【0087】

ステップS41において、仲介サーバ30は、ステップS31で格納される3Dモデルを用いて、視点情報に基づいて3Dオブジェクトに関する視覚データを生成する。仲介サーバ30で生成される視覚データは、3DオブジェクトをBillboardとして表示する視覚データであってもよい。

【0088】

ステップS42において、仲介サーバ30は、3Dオブジェクトに関する視覚データを相手端末20に送信する。

【0089】

（作用及び効果）
変更例2では、クラウドレンダリングを利用する対象端末10については、仲介サーバ30に格納される3Dモデルを用いた視覚データの生成（クラウドレンダリング）が許容される。このような構成によれば、仲介サーバ30に3Dモデルを提供する必要があるものの、3Dモデルが無制限に流出することを抑制しながら、対象端末10が大きな計算資源を用意することなく、仲介サーバ30の計算資源が許す限り多くの相手端末20に対して、3Dモデルを用いて生成される視覚データを提供することができる。

【0090】

［変更例3］
以下において、実施形態の変更例3について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0091】

変更例3では、仲介サーバ30は、第1相手端末に対応するアドレス情報の対象端末に対する送信を省略し、第2相手端末に対応するアドレス情報の対象端末に対する送信を実行してもよい。すなわち、仲介サーバ30は、視覚データの送信が省略される第1相手端末については、アドレス情報の送信（仲介処理）を実行せずに、視覚データの送信が実行される第2相手端末については、アドレス情報の送信（仲介処理）を実行する。第1相手端末及び第2相手端末としては、実施形態と同様に、以下に示すオプションが考えられる。

【0092】

オプション1では、第1相手端末は、仲介条件を満たさない相手端末であり、第2相手端末は、仲介条件を満たす相手端末であってもよい。仲介条件は、上述した特定条件と同様であってもよい。

【0093】

オプション2では、第1相手端末は、仮想空間において3Dオブジェクトに対する距離が閾値よりも離れた視点位置を送信する相手端末であり、第2相手端末は、仮想空間において3Dオブジェクトに対する距離が閾値よりも近い視点位置を送信する相手端末であってもよい。

【0094】

すなわち、3Dオブジェクトに対する距離が閾値よりも離れた視点位置を送信する第1相手端末については、3Dオブジェクトに興味を持っているか否か定かではなく、視点情報に基づいて3Dオブジェクトが変化しなくても差し支えない可能性が高い。従って、対象端末10の端末間通信の負荷軽減が優先されてもよい。

【0095】

［変更例4］
以下において、実施形態の変更例4について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0096】

実施形態では、対象端末10は、第1条件を満たす2以上の視点情報を送信する2以上の相手端末に対して、2以上の視点情報を代表する代表視点情報に基づいた視覚データを送信してもよい。変更例4では、このような動作の変更例として以下に示す動作が実行されてもよい。

【0097】

具体的には、2以上の相手端末に含まれる少なくとも1つの相手端末20は、代表視点情報に基づいた視覚データを対象端末10から受信する代わりに、代表視点情報に基づいた視覚データを他の相手端末20から受信してもよい。他の相手端末20は、代表視点情報に基づいた視覚データを対象端末10から受信する1次相手端末であってもよく、代表視点情報に基づいた視覚データを1次相手端末から受信する2次相手端末であってもよい。

【0098】

［変更例5］
以下において、実施形態の変更例5について説明する。以下においては、実施形態に対する相違点について主として説明する。

【0099】

実施形態では、対象端末10は、特定視点情報に対して第2条件を満たす視点情報を送信する1以上の特定相手端末に対して、特定視点情報に基づいた視覚データを送信してもよい。変更例5では、このような動作の変更例として以下に示す動作が実行されてもよい。

【0100】

具体的には、1以上の特定相手端末に含まれる少なくとも1つの相手端末20は、特定視点情報に基づいた視覚データを対象端末10から受信する代わりに、特定視点情報に基づいた視覚データを他の相手端末20から受信してもよい。他の相手端末20は、特定視点情報に基づいた視覚データを対象端末10から受信する1次相手端末であってもよく、特定視点情報に基づいた視覚データを1次相手端末から受信する2次相手端末であってもよい。

【0101】

［その他の実施形態］
本発明は上述した開示によって説明したが、上述した開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

【0102】

上述した開示では、視点情報は、相手端末20から端末間通信によって対象端末10に送信される。しかしながら、上述した開示はこれに限定されるものではない。対象端末10のアドレス情報が相手端末20に提供されないケースにおいては、視点情報は、仲介サーバ30を経由して相手端末20から間接的に対象端末10に送信されてもよい。

【0103】

上述した開示では特に触れていないが、対象端末10に格納される3Dモデルは、予め定められた相手端末20に提供されてもよい。予め定められた相手端末20は、対象端末10のユーザによって3Dモデルの利用が許可された相手端末20であってもよい。例えば、対象端末10は、相手端末20から3Dオブジェクトの視聴が要求された場合に、3Dモデルのデータ（例えば、“.obj”、“.ply”、“.glb”などの拡張子によって管理されるデータ）を相手端末20に送信してもよい。このような構成によれば、相手端末20は、3Dモデルのデータの受信以降の処理において、視点情報を送信することなく、仮想空間において3Dモデル（3Dオブジェクト）を視聴することができる。3Dモデルの利用が許可された相手端末20に3Dモデルを渡すことにはなるが、3Dモデルの無制限な流出は抑制することができる。

【0104】

上述した開示では特に触れていないが、対象端末10から3Dオブジェクトを表示するための視覚データが相手端末20に送信されていない場合に、相手端末20は、3Dオブジェクトのサンプルを表示してもよい。サンプルを表示するためのデータは、対象端末10から送信されてもよく、仲介サーバ30から送信されてもよい。サンプルは、3Dオブジェクトの解像度を落としたメッシュであってもよく、3Dオブジェクトの画像であってもよい。

【0105】

上述した開示では、3Dオブジェクトに関する情報に興味を持つ視聴者（相手端末20）を募集する際に、3Dオブジェクトに関する情報として3Dオブジェクトのサンプルを仮想空間において表示するケースについて例示した。しかしながら、上述した開示はこれに限定されるものではない。3Dオブジェクトに関する情報は仮想空間において表示されなくてもよい。

【0106】

上述した開示では特に触れていないが、視聴を要求するとは、ユーザが能動的に要求するケースに加えて、仲介サーバ30（システム）が視聴者の視点位置を監視すること等によって、仲介サーバ30（システム）が自動的に要求するケースを含んでもよい。例えば、3Dオブジェクトに関する情報の表示位置と視聴者の視点位置との距離が閾値以下である場合に、自動的に視聴の要求が実行されてもよい。或いは、仮想空間において3Dオブジェクトが配置されたエリア（例えば、部屋やワールドなど）に視聴者の視点位置が入った場合に、自動的に視聴の要求が実行されてもよい。

【0107】

上述した開示では特に触れていないが、視覚データの送信を省略するとは、標準のフレームレート又は解像度で3Dオブジェクトを表示する視覚データの送信が行われないことを意味していればよい。例えば、視覚データの送信が省略されるケースであっても、標準のフレームレートよりも低いフレームレート又は標準の解像度よりも低い解像度で3Dオブジェクトを表示する視覚データの送信が行われてもよい。

【0108】

上述した開示では特に触れていないが、仲介サーバ30が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。

【0109】

或いは、仲介サーバ30が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

【0110】

［付記］
第1の特徴は、不特定の第三者が参加可能な仮想空間に配置され得る対象オブジェクトに関する視覚データの生成に用いる3次元モデルを格納する対象端末と、前記仮想空間において前記対象オブジェクトを仲介する仲介装置と、を備え、前記仲介装置は、前記仮想空間において前記対象オブジェクトの視聴を要求する相手端末と前記対象端末との間の端末間通信に用いるアドレス情報を前記対象端末に送信する装置側送信部を備え、前記対象端末は、前記仮想空間において前記対象オブジェクトを視認する視線方向を含む視点情報を受信する受信部と、前記視点情報に基づいて、前記仮想空間における前記対象オブジェクトに関する視覚データを生成する制御部と、前記端末間通信によって、前記視覚データを前記相手端末に送信する送信部と、を備える、画像処理システムである。

【0111】

第2の特徴は、第1の特徴において、前記制御部は、前記視覚データとして、前記仮想空間において前記対象オブジェクトを2次元画像として表示する視覚データを生成する、画像処理システムである。

【0112】

第3の特徴は、第1の特徴又は第2の特徴において、前記送信部は、第1相手端末に対する前記視覚データの送信を省略し、第2相手端末に対する前記視覚データの送信を実行する、画像処理システムである。

【0113】

第4の特徴は、第3の特徴において、前記第1相手端末は、特定条件を満たさない前記相手端末であり、前記第2相手端末は、前記特定条件を満たす前記相手端末である、画像処理システムである。

【0114】

第5の特徴は、第3の特徴又は第4の特徴において、前記視点情報は、前記仮想空間において前記対象オブジェクトを視認する視点位置を含み、前記第1相手端末は、前記仮想空間において前記対象オブジェクトに対する距離が閾値よりも離れた前記視点位置を送信する前記相手端末であり、前記第2相手端末は、前記仮想空間において前記対象オブジェクトに対する距離が前記閾値よりも近い前記視点位置を送信する前記相手端末である、画像処理システムである。

【0115】

第6の特徴は、第1の特徴乃至第5の特徴の少なくともいずれか1つにおいて、前記送信部は、第1条件を満たす2以上の視点情報を送信する2以上の相手端末に対して、前記2以上の視点情報を代表する代表視点情報に基づいた前記視覚データを送信する、画像処理システムである。

【0116】

第7の特徴は、第1の特徴乃至第6の特徴の少なくともいずれか1つにおいて、前記送信部は、特定視点情報に対して第2条件を満たす視点情報を送信する1以上の特定相手端末に対して、前記特定視点情報に基づいた前記視覚データを送信する、画像処理システムである。

【0117】

第8の特徴は、第1の特徴乃至第7の特徴の少なくともいずれか1つにおいて、前記装置側送信部は、第1相手端末に対応する前記アドレス情報の前記対象端末に対する送信を省略し、第2相手端末に対応する前記アドレス情報の前記対象端末に対する送信を実行する、画像処理システムである。

【0118】

第9の特徴は、第8の特徴において、前記第1相手端末は、仲介条件を満たさない前記相手端末であり、前記第2相手端末は、前記仲介条件を満たす前記相手端末である、画像処理システムである。

【0119】

第10の特徴は、第8の特徴又は第9の特徴において、前記視点情報は、前記仮想空間において前記対象オブジェクトを視認する視点位置を含み、前記第1相手端末は、前記仮想空間において前記対象オブジェクトに対する距離が閾値よりも離れた前記視点位置を送信する前記相手端末であり、前記第2相手端末は、前記仮想空間において前記対象オブジェクトに対する距離が前記閾値よりも近い前記視点位置を送信する前記相手端末である、画像処理システムである。

【0120】

第11の特徴は、不特定の第三者が参加可能な仮想空間に配置され得る対象オブジェクトに関する視覚データの生成に用いる3次元モデルを格納する対象端末と、前記仮想空間において前記対象オブジェクトを仲介する仲介装置と、を備える画像処理システムで用いる画像処理方法であって、前記仲介装置が、前記仮想空間において前記対象オブジェクトの視聴を要求する相手端末と前記対象端末との間の端末間通信に用いるアドレス情報を前記対象端末に送信するステップと、前記対象端末が、前記仮想空間において前記対象オブジェクトを視認する視線方向を含む視点情報を受信するステップと、前記対象端末が、前記視点情報に基づいて、前記仮想空間における前記対象オブジェクトに関する視覚データを生成するステップと、前記対象端末が、前記端末間通信によって、前記視覚データを前記相手端末に送信するステップと、を備える、画像処理方法である。

【符号の説明】

【0121】

10・・・対象端末、11・・・通信部、12・・・格納部、13・・・制御部、20・・・相手端末、30・・・仲介サーバ、31・・・通信部、32・・・格納部、33・・・制御部、100・・・画像処理システム、110・・・ネットワーク、200・・・3Dオブジェクト、210・・・Billboard、400・・・仮想空間、410・・・胴体

【要約】

【課題】 3Dモデルを頒布することなく、3Dモデルを用いて生成される視覚データの提供を可能とする画像処理システム及び画像処理方法を提供する。
【解決手段】 画像処理システムは、不特定の第三者が参加可能な仮想空間に配置され得る対象オブジェクトに関する視覚データの生成に用いる3次元モデルを格納する対象端末と、前記仮想空間において前記対象オブジェクトを仲介する仲介装置と、を備え、前記仲介装置は、前記仮想空間において前記対象オブジェクトの視聴を要求する相手端末と前記対象端末との間の端末間通信に用いるアドレス情報を前記対象端末に送信する装置側送信部を備え、前記対象端末は、前記仮想空間において前記対象オブジェクトを視認する視線方向を含む視点情報を受信する受信部と、前記視点情報に基づいて、前記仮想空間における前記対象オブジェクトに関する視覚データを生成する制御部と、前記端末間通信によって、前記視覚データを前記相手端末に送信する送信部と、を備える。
【選択図】 図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】