特許 7319215 情報システム、端末及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-24

(45)【発行日】2023-08-01

(54)【発明の名称】情報システム、端末及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230725BHJP

   H04N 21/2343 20110101ALI20230725BHJP

   H04N 21/437 20110101ALI20230725BHJP

   H04N 21/431 20110101ALI20230725BHJP

【ＦＩ】

G06T19/00 600

H04N21/2343

H04N21/437

H04N21/431

【請求項の数】 10

(21)【出願番号】P 2020038634

(22)【出願日】2020-03-06

(65)【公開番号】P2021140539

(43)【公開日】2021-09-16

【審査請求日】2022-02-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２０１４－０２６５９０（ＪＰ，Ａ）

【文献】特開２０１８－１４２０９０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６８９８０５１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２１／２３４３

Ｈ０４Ｎ ２１／４３７

Ｈ０４Ｎ ２１／４３１

(57)【特許請求の範囲】

【請求項1】

ネットワークを介して相互に通信可能とされる端末及びサーバを備える情報システムであって、前記端末は撮像部、認識部、抽出部、提示部を備え、前記サーバは第２描画部を備え、
前記撮像部は、撮像を行うことにより撮像画像を取得し、
前記認識部は、前記撮像画像を解析して当該撮像画像に撮像されている対象を認識した結果と、当該対象の位置姿勢を推定した結果とを対象情報として求め、
前記抽出部は、前記対象情報に基づき、前記第２描画部で描画する対象において遮蔽が発生する箇所を抽出情報として抽出し、
前記第２描画部は、前記対象情報に応じたコンテンツを、前記抽出情報において遮蔽発生箇所とされる箇所を除外して描画することにより、第２描画情報を生成し、
前記提示部は、前記第２描画情報を提示し、
前記端末はさらに、前記対象情報に応じたコンテンツを描画することで第１描画情報を生成する第１描画部を備え、
前記抽出部は、前記第１描画情報によって遮蔽が発生する箇所の情報を含めて、前記抽出情報を抽出し、
前記提示部は、前記第１描画情報及び前記第２描画情報を提示し、
前記第１描画部は、前記対象情報に応じたコンテンツとしての３次元モデルを、前記位置姿勢において描画することにより、前記第１描画情報を生成し、
前記第２描画部は、前記対象情報に応じたコンテンツとしての３次元モデルを、前記位置姿勢において描画することにより、前記第２描画情報を生成し、
前記抽出部は、前記第１描画部で描画する３次元モデルによって、前記第２描画部で描画する対象となる３次元モデルが遮蔽されている箇所の情報を含めて、前記抽出情報を抽出することを特徴とする情報システム。

【請求項2】

ネットワークを介して相互に通信可能とされる端末及びサーバを備える情報システムであって、前記端末は撮像部、認識部、抽出部、提示部を備え、前記サーバは第２描画部を備え、
前記撮像部は、撮像を行うことにより撮像画像を取得し、
前記認識部は、前記撮像画像を解析して当該撮像画像に撮像されている対象を認識した結果と、当該対象の位置姿勢を推定した結果とを対象情報として求め、
前記抽出部は、前記対象情報に基づき、前記第２描画部で描画する対象において遮蔽が発生する箇所を抽出情報として抽出し、
前記第２描画部は、前記対象情報に応じたコンテンツを、前記抽出情報において遮蔽発生箇所とされる箇所を除外して描画することにより、第２描画情報を生成し、
前記提示部は、前記第２描画情報を提示し、
前記端末はさらに、前記対象情報に応じたコンテンツを描画することで第１描画情報を生成する第１描画部を備え、
前記抽出部は、前記第１描画情報によって遮蔽が発生する箇所の情報を含めて、前記抽出情報を抽出し、
前記提示部は、前記第１描画情報及び前記第２描画情報を提示し、
前記抽出部はさらに、前記第２描画部で描画する対象において遮蔽が発生する箇所に関する抽出情報に加えて、前記第１描画部で描画する対象において遮蔽が発生する箇所に関する抽出情報も抽出し、
前記第１描画部は、前記対象情報に応じたコンテンツを、当該第１描画部に関する抽出情報において遮蔽発生箇所とされる箇所を除外して描画することにより、前記第１描画情報を生成することを特徴とする情報システム。

【請求項3】

前記第１描画部は、前記対象情報に応じたコンテンツとしての３次元モデルを、前記位置姿勢において描画することにより、前記第１描画情報を生成し、
前記第２描画部は、前記対象情報に応じたコンテンツとしての３次元モデルを、前記位置姿勢において描画することにより、前記第２描画情報を生成し、
前記抽出部は、前記第２描画部で描画する３次元モデルによって、前記第１描画部で描画する対象となる３次元モデルが遮蔽されている箇所の情報を含めて、前記第１描画部に関する抽出情報を抽出することを特徴とする請求項２に記載の情報システム。

【請求項4】

前記抽出部では、前記認識された対象に対して、前記撮像画像に撮像されている別対象に該当する箇所であって、且つ、前記認識された対象よりも前景側に該当する箇所の情報を含めて、前記抽出情報を抽出することを特徴とする請求項１ないし３のいずれかに記載の情報システム。

【請求項5】

前記抽出部では、前記撮像画像より深度分布を求め、当該深度分布を含めて前記抽出情報を抽出することを特徴とする請求項１ないし４のいずれかに記載の情報システム。

【請求項6】

前記認識部において認識される対象には予め、当該対象のリファレンス画像が登録されており、
前記抽出部では、前記撮像画像より認識された対象の箇所を前記リファレンス画像と比較し、相違していると判定される箇所の情報を含めて、前記抽出情報を抽出することを特徴とする請求項１ないし５のいずれかに記載の情報システム。

【請求項7】

前記提示部は、前記撮像画像に対して、少なくとも前記第２描画情報を重畳したうえで、提示することを特徴とする請求項１ないし６のいずれかに記載の情報システム。

【請求項8】

ネットワークを介して相互に通信可能とされる端末及びサーバを備える情報システムにおける端末であって、前記端末は撮像部、認識部、抽出部、提示部を備え、前記サーバは第２描画部を備え、
前記撮像部は、撮像を行うことにより撮像画像を取得し、
前記認識部は、前記撮像画像を解析して当該撮像画像に撮像されている対象を認識した結果と、当該対象の位置姿勢を推定した結果とを対象情報として求め、
前記抽出部は、前記対象情報に基づき、前記第２描画部で描画する対象において遮蔽が発生する箇所を抽出情報として抽出し、
前記第２描画部は、前記対象情報に応じたコンテンツを、前記抽出情報において遮蔽発生箇所とされる箇所を除外して描画することにより、第２描画情報を生成し、
前記提示部は、前記第２描画情報を提示し、
前記端末はさらに、前記対象情報に応じたコンテンツを描画することで第１描画情報を生成する第１描画部を備え、
前記抽出部は、前記第１描画情報によって遮蔽が発生する箇所の情報を含めて、前記抽出情報を抽出し、
前記提示部は、前記第１描画情報及び前記第２描画情報を提示し、
前記第１描画部は、前記対象情報に応じたコンテンツとしての３次元モデルを、前記位置姿勢において描画することにより、前記第１描画情報を生成し、
前記第２描画部は、前記対象情報に応じたコンテンツとしての３次元モデルを、前記位置姿勢において描画することにより、前記第２描画情報を生成し、
前記抽出部は、前記第１描画部で描画する３次元モデルによって、前記第２描画部で描画する対象となる３次元モデルが遮蔽されている箇所の情報を含めて、前記抽出情報を抽出することを特徴とする端末。

【請求項9】

ネットワークを介して相互に通信可能とされる端末及びサーバを備える情報システムにおける端末であって、前記端末は撮像部、認識部、抽出部、提示部を備え、前記サーバは第２描画部を備え、
前記撮像部は、撮像を行うことにより撮像画像を取得し、
前記認識部は、前記撮像画像を解析して当該撮像画像に撮像されている対象を認識した結果と、当該対象の位置姿勢を推定した結果とを対象情報として求め、
前記抽出部は、前記対象情報に基づき、前記第２描画部で描画する対象において遮蔽が発生する箇所を抽出情報として抽出し、
前記第２描画部は、前記対象情報に応じたコンテンツを、前記抽出情報において遮蔽発生箇所とされる箇所を除外して描画することにより、第２描画情報を生成し、
前記提示部は、前記第２描画情報を提示し、
前記端末はさらに、前記対象情報に応じたコンテンツを描画することで第１描画情報を生成する第１描画部を備え、
前記抽出部は、前記第１描画情報によって遮蔽が発生する箇所の情報を含めて、前記抽出情報を抽出し、
前記提示部は、前記第１描画情報及び前記第２描画情報を提示し、
前記抽出部はさらに、前記第２描画部で描画する対象において遮蔽が発生する箇所に関する抽出情報に加えて、前記第１描画部で描画する対象において遮蔽が発生する箇所に関する抽出情報も抽出し、
前記第１描画部は、前記対象情報に応じたコンテンツを、当該第１描画部に関する抽出情報において遮蔽発生箇所とされる箇所を除外して描画することにより、前記第１描画情報を生成することを特徴とする端末。

【請求項10】

コンピュータを請求項８または９に記載の端末として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実表示を行う情報システム、端末、サーバ及びプログラムに関する。

【背景技術】

【0002】

撮像対象と撮像部との相対的な位置および姿勢を推定し関連情報を提示する拡張現実において、リアルタイムかつ高品位に情報を提示することができれば、利用者の利便性を向上させることができる。この拡張現実を実現する従来技術の例として、特許文献１に開示のものがあり、ここでは以下のような手法が公開されている。

【0003】

特許文献１では、サーバに備え付けられた撮像部で対象を撮像し撮像情報に撮像された撮像対象を認識した結果に応じて関連情報を描画した上で、描画結果を端末へ伝送し端末で提示する手法を開示している。このとき、サーバの高性能な計算資源を利用することで関連情報は高品位に描画されうる。特許文献２では、仮想現実のゲームにおいて前景を端末で描画し背景をサーバで描画する方法を開示している。描画の処理負荷を端末とサーバとに分散することで遅延期間を抑制できると主張している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－４４６５５号公報

【文献】特許６３２０４８８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１および特許文献２では、いわゆるサーバサイドレンダリングの手法により、サーバの豊富な計算資源を利用して高品位に描画できるが、映像伝送が必要であるため、通信帯域が狭く、高品位な描画結果を伝送できる帯域に足りないと実現できないという問題があった。あるいは同様に、帯域が足りているとしても、高品位な描画結果の伝送のために、帯域を圧迫するという問題があった。

【0006】

上記従来技術の課題に鑑み、本発明は、帯域圧迫を抑制して拡張現実表示を行うことのできる情報システム、端末、サーバ及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明は、ネットワークを介して相互に通信可能とされる端末及びサーバを備える情報システムであって、前記端末は撮像部、認識部、抽出部、提示部を備え、前記サーバは第２描画部を備え、前記撮像部は、撮像を行うことにより撮像画像を取得し、前記認識部は、前記撮像画像を解析して当該撮像画像に撮像されている対象を認識した結果と、当該対象の位置姿勢を推定した結果とを対象情報として求め、前記抽出部は、前記対象情報に基づき、前記第２描画部で描画する対象において遮蔽が発生する箇所を抽出情報として抽出し、前記第２描画部は、前記対象情報に応じたコンテンツを、前記抽出情報において遮蔽発生箇所とされる箇所を除外して描画することにより、第２描画情報を生成し、前記提示部は、前記第２描画情報を提示することを特徴とする。また、前記情報システムにおける端末又はサーバであることを特徴とする。また、コンピュータを前記端末又は前記サーバとして機能させるプログラムであることを特徴とする。

【発明の効果】

【0008】

本発明によれば、抽出情報において遮蔽発生箇所とされる箇所を除外して描画することにより、帯域圧迫を抑制して第２描画情報を提示し、拡張現実表示を行うことができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る情報システムの機能ブロック図である。

【図2】情報システムにおけるリアルタイムの離散的な各時刻の動作シーケンスの一例を示す図である。

【図3】情報システムの各機能部において処理される各情報の模式例を示す図である。

【図4】情報システムの各機能部において処理される各情報の模式例を示す図である。

【図5】図３及び図４の例で共通の拡張現実表示を生成する際に想定している、拡張現実表示を形成する各コンテンツの前後関係の例を示す図である。

【図6】図３の抽出情報に対する変形例を示す図である。

【図7】本実施形態の対比例として、図５のような拡張現実表示を、本実施形態を適用せずに生成した場合の例を示す図である。

【図8】一般的なコンピュータ装置におけるハードウェア構成の例を示す図である。

【発明を実施するための形態】

【0010】

図１は、一実施形態に係る情報システムの機能ブロック図である。情報システム100は、インターネット等のネットワークNWを介して相互に通信可能とされる端末10及びサーバ20で構成される。図示するように機能ブロック構成として、端末10は撮像部11、認識部12、抽出部13、第１描画部14、統合部16、提示部17及び端末側送受部21を備え、サーバ20は第２描画部25及びサーバ側送受部22を備える。

【0011】

端末側送受部21及びサーバ側送受部22はそれぞれ端末10及びサーバ20におけるネットワークNWを介した情報の送受信を担う機能部であり、ハードウェアとしては通信インタフェースで構成することができ、アプリケーション用途に応じた任意内容の情報をネットワーク上で送受信する機能を有する。本実施形態においては当該通信機能により、端末側送受部21及びサーバ側送受部22は、端末10が送信してサーバ20で受信する情報として詳細を後述する認識部12で得る対象情報及び抽出部13で得る抽出情報の送受信と、この逆にサーバ20が送信して端末10で受信する情報として詳細を後述する第２描画部25で得る第２描画情報の送受信と、を担うものである。

【0012】

情報システム100はその全体的な動作として、例えば30fps（フレーム毎秒）や120fpsといったような所定の表示処理レートに応じたリアルタイムの各時刻t(t=1,2,…)において端末10で現実世界にある対象の撮像を行い、撮像された対象に応じた描画処理を端末10及びサーバ20において行い、描画結果を端末10においてリアルタイムで表示することで、端末10を利用するユーザに対して撮像された対象に応じた拡張現実表示を提供するものである。

【0013】

図２は、情報システム100における上記リアルタイムの離散的な各時刻t(t=1,2,…)の動作シーケンスの一例を示す図である。図２では、リアルタイムの処理タイミングである任意の時刻tにおける情報システム100での共通の処理ステップ群が、図１に示す各機能部の各処理において発生する情報の授受の流れと共に示されている。（すなわち、情報システム100は各時刻tにおいてこの処理ステップ群を実行することで、リアルタイムの拡張現実表示を端末10のユーザに提供するものである。）図２にて、図１に示される端末10及びサーバ20の各機能部に付された縦線は下方向が共通の時間進行を表す、各機能部における処理のタイムラインであり、当該縦線上のグレーのバー領域は、当該機能部において処理が行われている時間帯（処理に必要な情報の一部を受け取って待機中の時間帯も含む）を模式的に表したものであり、一実施形態においてリアルタイムの離散的な各時刻t(t=1,2,…)の間隔内において処理が完了する連続的な時間帯を模式的に表すものである。図２では横方向での矢印線が、各機能部間での情報の授受の流れを表している。

【0014】

図３及び図４は、情報システム100の各機能部において処理される各情報の模式例を示す図であり、以下の説明において適宜、参照する。なお、図３及び図４はそれぞれ、情報システム100において最終的に端末10のユーザに対して提示部17により拡張現実表示を提供するための、拡張現実表示を生成するまでに行われる各種の処理データの例を示すものである。図３及び図４はそれぞれ、共通の撮像画像をもとに共通の拡張現実表示を生成するまでの処理例を示している。図３では撮像画像P1より拡張現実表示AR1を生成する例であり、図４は撮像画像P2より拡張現実表示AR2を生成する例であって、撮像画像P1及びP2は内容としては同一であり、拡張現実表示AR1及びAR2も内容としては同一である。

【0015】

なお、図３においてデータD11として囲まれて示されるデータP1,ER1,G11,AR1と、図４においてデータD12として囲まれて示されるデータP2,ER12,G12,AR2とが主として端末10での処理に関連するデータである。また、図３においてデータD21として囲まれて示されるデータG21と、図４においてデータD22として囲まれて示されるデータER22,G22とが主としてサーバ20での処理に関連するデータである。

【0016】

図５は、図３及び図４の例で共通の拡張現実表示AR1,AR2を生成する際に想定している、拡張現実表示を形成する各コンテンツの前後関係の例を示す図である。データD1は、端末10を利用するユーザに画面表示として提供されるユーザインタフェースメニューであり、データD2は拡張現実表示における表示演出効果としての雨滴であり、データD3は撮像画像に撮像されている現実物体のうち前景側に位置している物体としてのユーザの手であり、データD4は拡張現実表示として重畳される３次元モデル例としての直方体であり、データD5は拡張現実表示におけるこの立方体に対する表示演出効果としての放射状発光（後光、グロー）であり、データD6は撮像画像に撮像されている現実物体のうち背景側に位置している物体としての平面上にある正方マーカである。

【0017】

各データD1～D6は、現実物体を撮像したもの（D3,D6）として、あるいは拡張現実表示としてコンピュータ描画されるもの（D1,D2,D4,D5）として、画像（図５の例で描画されている箇所以外は内容を有さず透過領域とされるマスク画像）として構成されている。そして、データ間に矢印を付して示すように、前景側に位置するものから背景側に位置するものへの順番で、「D1→D2→D3→D4→D5→D6」の前後関係を有している。図３及び図４で共通内容の拡張現実表示AR1,AR2は、このようなレイヤー状の前後関係を有するデータD1～D6を、その前後関係を反映して生成したものに相当する。

【0018】

図３～図５の例では、図５のデータD4の直方体が、サーバ20において３次元モデルとして描画されるものに相当するが、最終的に生成されユーザ提供される図３，４の拡張現実表示AR1,AR2では、図５に示す前後関係D1～D6により、直方体の一部は遮蔽されて見えない状態となる。本実施形態においては特に、この遮蔽される関係を利用して、サーバ20においてデータD4の立方体のうち、遮蔽される部分を除外し、遮蔽されていない部分（拡張現実表示の生成に実際に必要となる部分）のみを画像平面上に描画することで、サーバ20から端末10へと送信するデータ量を削減することができる。また、同様のアプローチにより、端末10における描画量を削減することもできる。なお、この詳細に関しては以下に説明する。

【0019】

以下、図１及び図２に示される情報システム100におけるリアルタイムの各時刻t(t=1,2,…)での各機能部の処理の詳細を、図３～５の例を適宜参照しながら説明する。

【0020】

撮像部11は、後段側の認識部12において認識される対象が存在する実世界の撮像を行い、得られた撮像画像を端末10内の認識部12及び統合部16へと出力する。ここで、図２にも示されるように撮像がなされた時刻t（リアルタイムの処理タイミングとしての離散的な時刻t=1,2,…）を紐づけた撮像画像P(t)として出力される。撮像部11はハードウェアとしてはカメラで構成することができ、端末10を利用するユーザが当該カメラを操作することにより、（例えばカメラを対象に向ける操作などを行うことにより、）撮像部11による撮像が行われる。

【0021】

図３及び図４の例では撮像部で時刻tについて得られた撮像画像P(t)の共通例として撮像画像P1,P2が示され、撮影されている対象（のうち、後段側の認識部12にて拡張現実表示との紐づけを得るために認識されるべき対象）はその一例として現実世界の地面上に配置された正方マーカである場合が示されている。同時に、正方マーカを一部隠蔽する形でユーザの手が写り込んでいる状態を表している。（これら正方マーカ及び手のみを抜粋したものが図５のデータD6及びD3である。なお、正方マーカは後述の認識部12において認識される例であるが、図５のデータD6及びD3のように正方マーカと手とを撮像画像から明示的に切り分けて識別する処理が、情報システム100において必須とされるわけではない。（ただし、手として明示的に物体認識しないが、マーカとは異なる領域が手の箇所に、マーカを遮蔽する形で存在する旨の識別は行うようにしてもよい。）図５では、データD3,D6等を、本実施形態において前後関係を利用することを説明するために、撮像画像内にこのような前後関係が存在するものとして示している。）

【0022】

認識部12は撮像部11で得た撮像画像P(t)に対して、撮像されている対象OBの種類（物体種別）および位置姿勢を認識し、両結果で構成される対象情報OB(t)を求め、この対象情報OB(t)を端末10内の抽出部13及び第１描画部14へと出力するとともに、通信機能を介してサーバ20の第２描画部25へと送信する。すなわち、抽出部13、第１描画部14及び第２描画部25へとそれぞれ出力される対象情報OB(t)は、撮像画像P(t)に撮像されている対象OBの種類の情報と、この対象OBの位置姿勢の情報と、で構成されるものである。なお、対象情報OB(t)には、時刻tの撮像画像P(t)から求めた情報として、この撮像の時刻tの情報が紐づいている。

【0023】

なお、後述する第１描画部14及び／又は第２描画部25で描画する情報としてCGアニメーションを利用する場合、当該時刻tと同期させることもできるし、アニメーションの一時停止などで時刻同期を取らない場合は、個々の描画対象に独立した時刻情報を設定し対象情報に含めることもできる。

【0024】

認識部12における撮像画像から撮像されている対象の物体種別を認識する処理と、当該対象の位置姿勢を計算する処理とには、既存の物体認識技術や拡張現実表示技術等において利用されている任意の既存手法を用いることができる。例えば、画像よりSIFT特徴情報等の特徴点及び特徴量の検出を行い、リファレンスとなる１種類以上の物体種別に関して予め登録されている特徴情報との照合を行い、照合により特徴情報同士が最も一致すると判定される物体種別を対象の認識結果とし、この照合の際に一致した特徴点同士の画像座標の対応関係を与える変換（平面射影変換）の関係として、対象の位置姿勢を得るようにしてもよい。３次元コンピュータグラフィックスの分野において既知のように、こうして得られる対象の位置姿勢は、所定の３次元世界座標系内における対象の座標(X,Y,Z)_[世界]と、撮像部11を構成するハードウェアとしてのカメラにおける３次元カメラ座標系での対象の座標(X,Y,Z)_[カメラ]と、の変換関係として表現されるものであり、当該カメラの外部パラメータに相当するものである。

【0025】

図３及び図４の共通内容の撮像画像P1,P2の例では、撮像画像P(t)より対象情報OB(t)として、対象OBの物体種別が所定の正方マーカ（図５のデータD6）である旨の情報と、その位置姿勢の情報として、正方マーカとして歪みのない正方形状に見えるようカメラから真正面にあるのではなく、地面上に傾いて位置している旨の情報（外部パラメータとして表現される情報）と、が得られる。なお、撮像画像P1,P2において正方マーカは前景側にある手によって一部が遮蔽されているが、全部が遮蔽されているわけではないため、認識可能な状態にある。

【0026】

抽出部13は認識部12で得た対象情報OB(t)に対して、（１）対象を隠蔽する領域、及び／又は、（２）第１描画部14及び第２描画部25で描画する領域を抽出した結果から定まる各描画部14,25で描画する内容の前後関係において手前に位置する領域の全部または一部、を抽出情報として求め、この抽出情報ER(t)を第１描画部14へと出力するとともに、通信機能を介してサーバの第２描画部25へと送信する。

【0027】

抽出部13において上記の（１）対象を隠蔽する領域を認識する処理は、既存の拡張現実表示技術等において利用されている任意の既存手法を用いることができる。例えば、認識部12で得た位置姿勢を用いてリファレンス（例えば、正方マーカであれば、正面で見た正方形の状態として登録されているリファレンス画像）を同位置姿勢へと変換し、撮像画像と比較して差異が大きな領域を抽出すればよい。あるいは、運動視差等により深度情報を得て撮像対象の深度（撮像対象の位置姿勢を認識することで深度も計算できる）と差異が大きな領域を抽出してもよい。なお、このように差異が大きい領域の抽出処理や、深度計算処理を行う際は、抽出部13が撮像画像P(t)を参照（運動視差の場合、過去時刻t'(t'<t)の撮像画像P(t')も参照）して当該処理を行えばよい。抽出部13が撮像画像P(t)を参照する処理に関して、図１や図２では当該参照処理に該当する矢印を描くのを省略している。

【0028】

また、抽出部13において、上記の（２）の領域の情報を得るためには、図５で例示したような、最終的な拡張現実表示を生成するための、拡張現実表示で表現される３次元的な構造の情報（描画対象となる３次元モデルの配置の情報）を、対象情報OB(t)に応じたものとして予め記憶しておき、且つ、対象情報OB(t)に応じたものとして３次元空間内で計算することにより、抽出情報ER(t)を得ることが可能となる。具体的には、後段側の第１描画部14及び第２描画部25でのテクスチャ描画対象となる３次元モデルを、仮想３次元空間（撮像部11のカメラ座標の空間）に対してテクスチャ描画することなく配置（例えばポリゴンモデルであればカメラ位置から見たポリゴン表面の３次元位置のみを算出）したうえで、その３次元モデル間の前後関係のみを抽出部13において調べることで、抽出情報ER(t)を得ることが可能となる。あるいは、第１描画部14及び第２描画部25で対象情報OB(t)に応じてテクスチャ描画する対象には、カメラ位置に応じたレンダリングを行う必要がある３次元モデル以外にも、２次元画像平面上で定義されるメニュー表示（図５のデータD1として例示したユーザインタフェースのメニュー表示など）等（以下「２次元表示」と呼ぶ）を予め設定しておいてもよく、このような２次元表示に関しても、３次元モデルとの間でも前後関係が定まるように、予め、３次元空間内での深度（あるいは、例えば「常に最前位置に表示する」等のルールベースの深度）を設定しておき、前後関係を抽出部13において調べることで、抽出情報ER(t)を得ることが可能となる。

【0029】

図５のデータD1～D6は、対象情報OB(t)としてデータD6に示されるような位置姿勢にある正方マーカの認識結果が得られた際に、対応する拡張現実表示コンテンツとして、データD1～D5のような３次元配置関係（相互の前後関係を含み、この関係より抽出情報ER(t)が得られる）を有するコンテンツを描画することを、予め設定しておく例である。データD1,D2,D4,D5はコンピュータ描画されるコンテンツとして仮想３次元空間内における位置が、対象情報OB(t)（正方マーカD6の位置姿勢）を基準として予め定められている。データD3は、現実の３次元世界座標系内に存在する物体としての手であるが、対象情報OB(t)（正方マーカD6の位置姿勢）によって、仮想３次元座標内にあるデータD1,D2,D4,D5との位置関係を、抽出情報ER(t)において取得可能となっている。

【0030】

なお、図５のデータD1～D6に示されるような位置関係は、上記の通り対象情報OB(t)を基準として３次元空間内に定められているものであるため、同じ正方マーカD6を認識している場合であっても、カメラ位置姿勢の相違等によって前後関係が変わる場合もある。例えば図５の位置姿勢においては、雨滴D2は直方体D4よりも前景側にあるが、図５の位置姿勢とは別の位置姿勢として、直方体D4をその裏側から見る位置姿勢の場合であれば、雨滴D2が直方体D4よりも背景側に存在するような前後関係が成立しうる。また、現実物体としてのユーザの手D3は、図５の例では直方体D4よりも前景側に存在するが、ユーザが手を図５の場合よりもさらに背景側（奥側）に伸ばした場合であれば、直方体D4や正方マーカD6よりもさらに背景側に手が存在するような前後関係も成立しうる。

【0031】

第１描画部14及び第２描画部25へとそれぞれ出力される抽出情報ER(t)は、それぞれの描画領域を（否定により）指定可能な情報として、遮蔽が発生していることにより描画すべきでない領域の情報によって構成されるものである。

【0032】

抽出部13において抽出される抽出情報ER(t)の全体は、第１描画部14及び第２描画部25で描画する対象ごとに、遮蔽により描画不要となる領域として定義される情報の全体となるが、第１描画部14及び第２描画部25へとそれぞれ送信する際は、このような抽出情報ER(t)全体のうち、第１描画部14及び第２描画部25で描画に必要となる部分のみを送信すればよい。抽出情報ER(t)には、時刻tの撮像画像P(t)から求めた情報として、この撮像の時刻tの情報が紐付いている。

【0033】

上記の通り、抽出情報ER(t)の全体を正確に変数表記すると、ER(t)[i,j(i)]と表記できる。ここで、i=1,2は第１描画部14(i=1)又は第２描画部25(i=2)のいずれかを表す識別子であり、j(i)=1,2,…,N(i)は、第１描画部14(i=1)又は第２描画部25(i=2)において描画する対象の種別を表す識別子である。従って、N(i)は、描画する対象の個数となる。この表記によれば、第１描画部14へは、第１描画部14で必要となる抽出情報{ER(t)[1,j(1)]| j(1)=1,2,…,N(1)}を出力し、第２描画部25へは、第２描画部25で必要となる抽出情報{ER(t)[2,j(2)]| j(2)=1,2,…,N(2)}を送信すればよい。

【0034】

上記を前提として以下では、特に区別を要する場合を除いて説明の簡略化のために単に「抽出情報ER(t)」等として説明する。

【0035】

第１描画部14は、認識部12から得た対象情報OB(t)に基づき、拡張現実表示するための仮想対象としての３次元モデル等を、抽出情報ER(t)（第１描画部14に関して定義された情報）で指示される描画すべき領域（遮蔽判定となっていない領域）において２次元画像平面上に描画することで第１描画情報G1(t)を得て、この第１描画情報G1(t)を統合部16へと出力する。この際、３次元モデル等を画像平面の全体で描画するのではなく、抽出情報ER(t)において遮蔽判定されている領域は描画しないようにすることで、端末10の側の計算量を削減することが可能となる。

【0036】

また、サーバ20の第２描画部25のみに描画を委ねるのではなく、第１描画部14でも一部の描画を行うことにより、この描画結果で遮蔽される部分（抽出情報ER(t)にこの情報が含まれる）を除外することで第２描画部25での描画量を減らし、第２描画部25での描画結果を端末10の側への伝送量を減らすことも可能となる。この観点から例えば、第１描画部14で行う一部の描画として、パーティクル等の映像符号化に際し顕著な情報量増大を招く恐れがある対象を予め設定しておくことも好ましい。

【0037】

第１描画部14での具体的な描画は次のようにすればよい。すなわち、対象情報OB(t)における物体種別より、情報システム100で実現する拡張現実表示の用途に応じたコンテンツとして管理者等により予め用意され、端末上あるいはネットワーク上に保存されているこの物体種別に応じた所定の３次元モデル等を読み込み、この３次元モデルを対象情報OB(t)における位置姿勢に配置して２次元画像平面（撮像部を構成するカメラの画像平面）上に描画することで、第１描画情報G1(t)を得ることができる。３次元コンピュータグラフィックスの分野においてレンダリングパイプラインの関係として既知のように、この２次元画像平面上への描画は、撮像部11をハードウェアとして構成するカメラについて既知の内部パラメータを用いて行うことができる。

【0038】

第２描画部25も、第１描画部14と同様に、認識部12から得た対象情報OB(t)に基づき、拡張現実表示するための仮想対象としての３次元モデル等を、抽出情報ER(t)（第２描画部25に関して定義された情報）で指示される描画すべき領域（遮蔽判定となっていない領域）において２次元画像平面上に描画することで第２描画情報G2(t)を得て、この第２描画情報G2(t)を統合部16へと送信する。この際、３次元モデル等を画像平面の全体で描画するのではなく、抽出情報ER(t)において遮蔽判定されている領域は描画しないようにすることで、サーバ20から端末10の側の伝送量を削減することが可能となる。

【0039】

第２描画部25で描画する３次元モデル等の具体的な描画処理は、第１描画部14に関して説明したのと同様に、レンダリングパイプラインの関係に即して、３次元モデルを対象情報OB(t)における位置姿勢に配置して２次元画像平面（撮像部11を構成するカメラの画像平面）上に描画すればよい。

【0040】

また、第２描画部25で描画する対象となる３次元モデル等も、第１描画部14の場合と同様に、対象情報OB(t)における物体種別より、情報システム100で実現する拡張現実表示の用途に応じたコンテンツとして管理者等により予め用意され、端末上あるいはネットワーク上に保存されているこの物体種別に応じた所定の３次元モデル等を読み込んで描画するようにすればよい。

【0041】

ただし、第１描画部14で描画する３次元モデル等と、第２描画部25で描画する３次元モデル等は、対象情報OB(t)における物体種別に応じた所定の拡張現実表示を実現するために必要となる一部のモデル等を第１描画部14の描画対象とし、残りの一部のモデル等を第２描画部25の描画対象とすればよい。こうして、予め、所定の拡張現実表示を実現するのに必要となる複数の描画対象となる３次元モデル等において、各々の描画対象を第１描画部14又は第２描画部25のいずれかで描画するように役割分担を設定しておくことで、撮像部11のカメラ位置姿勢との関係で複数の描画対象の間で発生しうる前後関係による遮蔽（抽出情報ER(t)として記録される）を利用して、描画面積を削減することで発生情報量そのものを抑制し、サーバ20から端末10の側の伝送量を削減することが可能となる。

【0042】

例えば、図５の例（及びこれに対応する図３，４の例）は、認識された正方マーカD6に応じて拡張現実表示のために描画するコンテンツが４つのデータD1,D2,D4,D5であり、描画の役割分担として、第１描画部14ではデータD1,D2,D5（４つのデータのうち直方体データD4以外）を描画し、第２描画部25では直方体データD4を描画することを想定したものである。

【0043】

統合部16は、共通の撮像時刻tが紐づいたものとして第１描画部から得られる第１描画情報G1(t)と、第２描画部から得られる第２描画情報G2(t)と、撮像部11から得られる撮像画像P(t)と、を用いて、この時刻tにおける統合情報AR(t)を生成し、提示部17へと出力する。統合部16では、第１描画情報G1(t)及び第２描画情報G2(t)を、撮像画像P(t)に対する拡張現実表示であるものとして、撮像画像P(t)に対して重畳することにより、統合情報AR(t)を生成できる。

【0044】

ここで重畳処理は次のようにすれば良い。すなわち、第１描画部14及び第２描画部25の説明で既に述べたように、また、図３～図５の具体例に関して後述するように、抽出情報ER(t)によって遮蔽関係にある領域を除いて描画されているため、式(1)に示されるような加算処理により撮像画像P(t)と第１描画情報G1(t)と第２描画情報G2(t)とを統合すればよい。すなわち、撮像画像P(t)に対して、第１描画情報G1(t)又は第２描画情報G2(t)でマスクされている領域の画素値を、対応する第１描画情報G1(t)又は第２描画情報G2(t)の画素値で上書きすることにより、加算（重畳）を行えばよい。透過度が指定されている場合は透過度に従って合成することができる。
AR(t)= G2(t)+G1(t)+P(t) …(1)

【0045】

提示部17は、統合部16で得られている拡張現実表示画像としての統合情報AR(t)をユーザに対して提示することで、時刻tにおける拡張現実表示を実現する。

【0046】

以下、図３及び図４の例をこの順番で説明する。図３及び図４の例のいずれも、前述した通り、図５に示したデータD1～D6のうちD3,D6を除いた描画対象データD1,D2,D4,D5の分担が、第１描画部14が描画するのがデータD1,D2,D5（ユーザインタフェースメニュー表示と、表示演出効果としての雨滴及び後光）であり、第２描画部25が描画するのがデータD4（直方体）であることを前提とする。

【0047】

図３において撮像画像P1は既に説明した通り、図５のデータD3,D6として示される手と正方マーカとを撮像したものとして得られている。図３での抽出情報ER(t)の例としての抽出情報ER1は、抽出情報ER(t)の全体のうち、第２描画部25で直方体データD4を描画するのに用いられるものを示したものである。この抽出情報ER1は、黒色領域が描画除外対象領域であり、白色領域が描画対象領域であることを表し、第２描画部25において直方体データD4を描画する際に、この抽出情報ER1の黒色領域部分を除外して描画することにより、例示されるような第２描画情報G21として、直方体データD4の全体のうち一部分のみが描画され、全体を描画する場合と比べて計算量及び伝送量の削減が達成されることとなる。

【0048】

図３には不図示であるが、その他の抽出情報ER(t)も以下のように得られる。第１描画部14では、データD1,D2,D5を描画するので、これらについてそれぞれ、抽出情報が与えられる。データD1はユーザインタフェースメニューとして、最前景にあるものとして与えられるため、データD1の抽出情報（ER[D1]とする）としては、描画除外対象となる領域が存在しない情報が得られる。雨滴データD2の抽出情報（ER[D2]とする）としては、雨滴データD2の描画領域（描画されうる領域として２次元画像範囲全体）のうち雨滴データD2（３次元空間内位置）よりも前景側にあるデータD1の領域が描画除外対象として定義されて得られる。後光データD5の抽出情報（ER[D5]とする）としては、後光データD5の描画領域（２次元画像範囲全体）のうち後光データD5（３次元空間内位置）よりも前景側にあるデータD1,D2,D3,D4の領域（D1∪D2∪D3∪D4）が、描画除外対象として定義されて得られる。

【0049】

こうして、対象情報OB(t)に応じたものとしてデータD1,D2,D5を描画するよう役割分担が与えられている第１描画部14では、抽出情報ER[D1]を用いて遮蔽のないデータD1（ユーザインタフェースメニュー）の全体を描画し、抽出情報ER[D2]を用いてデータD2（雨滴）の遮蔽されていない一部分のみを描画し、抽出情報ER[D5]を用いてデータD5（後光）の遮蔽されていない一部分のみを描画し、これら３つの描画結果を加算することにより、各データ間の３次元空間内での遮蔽関係（前後関係）を反映した、図３に例示されるような第１描画情報G11を得ることができる。

【0050】

図３に示される抽出情報ER1は、既に説明した通り第２描画部25が直方体データD4を描画するための抽出情報（ER[D4]とする。ER[D4]=ER1）であり、第１描画部14の各抽出情報に関して説明したのと全く同様に、直方体データD4の描画領域（２次元画像範囲全体）のうち直方体データD4（３次元空間内位置）よりも前景側にあるデータD1,D2,D3の領域（D1∪D2∪D3）の領域が、描画除外対象として定義されて得られるようにしてもよい。このように定義した抽出情報ER[D4]を、図３の抽出情報ER1の変形例として、図６に抽出情報ER1-2として示す。

【0051】

しかしながら、図３に示される抽出情報ER1(=ER[D4])は図６の抽出情報ER1-2の例とは異なり、前景側にある全てのデータD1,D2,D3の領域（D1∪D2∪D3）の領域のうち、雨滴データD2の領域の影響は軽微なものとして考慮外にするよう予め定義しておいた例であり、前景側にあるデータの一部であるデータD1,D3の領域（D1∪D3）を描画除外対象として定義したものである。（図３のように定義されている抽出情報ER1を用いる場合と、図６のように定義されている抽出情報ER1-2を用いる場合と、いずれにおいても、直方体データD4の描画箇所を削減することが可能である。）

【0052】

なお、抽出情報ER1は領域r1及びr2を描画除外対象として構成され、領域r1はデータD1のユーザインタフェースメニュー領域であり、領域r2はデータD3の手の領域である。この、手の領域r2（データD3に該当する部分）に関しては、データD6で示される正方マーカとの重複部分のみを抽出したものとして構成されている。

【0053】

なお、第１描画部14で利用する抽出情報ER[D1],ER[D2],ER[D5]に関しても図３の抽出情報ER1と同様に、前景側にあるデータの全ての中のいずれかではなく、一部のみの中のいずれかによって遮蔽される領域として定義するようにしてもよい。

【0054】

こうして、図３の例では描画して得られた第１描画情報G11及び第２描画情報G21を撮像画像P1に対して重畳することで、拡張現実表示AR1が生成される。

【0055】

図４の例は、既に説明している通り図３の例と同内容の撮像画像P2で同内容の拡張現実表示AR2を生成する例であるが、用いる抽出情報ER(t)に関して、図３に示したのとは異なる抽出情報ER12,ER22を利用する例である。抽出情報ER12は、撮像画像P2より、深度（撮像されている現実物体に関する深度）を抽出して、この深度を抽出情報ER12として、第１描画部14における描画対象の一部又は全部で利用する場合の例である。図４にて深度としての抽出情報ER12は、深度が小さいほど黒色（濃）、深度が大きいほど白色（淡）となるグレースケール画像として模式的に示され、手と、正方マーカが配置されている地面との深度が取得されている。第１描画部14ではこのような抽出情報ER12を用いて第１描画情報G12を描画できる。第１描画情報G12においては例えば、後光データD5の一部が、深度としての抽出情報ER12における手の箇所の深度よりも大きな深度を有することにより遮蔽されているものとして、描画が省略されていることを見て取ることができる。

【0056】

図４の抽出情報ER22は、現実物体の深度としての抽出情報ER12に、ユーザインタフェースメニューのデータD1の深度（最前景であり最小値の深度）を加算した深度情報を、抽出情報ER22として、第２描画部25で利用する例であり、図３の例と同様に、抽出情報ER22によって深度比較することにより、直方体データD4のうち手で遮蔽されている箇所とユーザインタフェースメニューで遮蔽されている箇所を除外して、第２描画情報G22を得ることができる。

【0057】

こうして、図４の例においても、描画して得られた第１描画情報G12及び第２描画情報G22を撮像画像P2に対して重畳することで、拡張現実表示AR2が生成される。

【0058】

図７は、本実施形態の対比例（既存手法）として、図５のような拡張現実表示を、本実施形態を適用せずに生成した場合の例を示す図である。図７のデータD100は、対比例における拡張現実表示のための描画であり、図５に示すデータD1,D2,D4,D5を全て描画したうえで重畳して生成する必要がある（オーバーラップしている箇所の描画は前景側の描画結果で上書きされ、無駄となる）ため、本実施形態のように抽出情報ER(t)による描画省略を行うことができず、計算量や伝送量を削減することができない。図７のデータD200は、データD100を撮像画像に重畳して得られる対比例における拡張現実表示であり、本実施形態のように抽出情報ER(t)によって予め前後関係を考慮していないので、拡張現実のための描画箇所が全て撮像画像よりも前景に位置してしまうこととなる。

【0059】

以上、本実施形態によれば、抽出情報ER(t)を利用して、遮蔽が発生する箇所の描画を省略することにより、描画のための計算量や、サーバ20から端末10へと送信する描画結果としての第２描画情報G2(t)の情報量（伝送量）を抑制することが可能となる。以下、種々の追加例や変形例に関して説明を行う。

【0060】

（１） 図３～５の例は、第２描画情報G2(t)の少なくとも一部が第１描画情報G1(t)の少なくとも一部で遮蔽されている関係が存在する例であったが、逆に、第１描画情報G1(t)の少なくとも一部が第２描画情報G2(t)の少なくとも一部で遮蔽されている関係が成立することもありうる。例えば、第１描画情報G1(t)のうちの後光データD5の一部が、第２描画情報G2(t)の直方体データD4の一部によって遮蔽されているという関係が成立することもありうる。同様に、図３～５で例示したようなデータD3のような手以外の現実物体によって、第１描画情報G1(t)及び／又は第２描画情報G2(t)の一部又は全部が遮蔽されている関係が成立することもありうる。このように、第１描画情報G1(t)や第２描画情報G2(t)に関して、抽出情報ER(t)として抽出される遮蔽関係／前後関係は、予め設定されている描画コンテンツ内容や撮像画像において認識対象を撮像しているカメラの位置姿勢（すなわち、対象情報OB(t)）に応じて、様々な態様が成立しうるが、遮蔽が発生している限りこの遮蔽箇所に関する描画の省略を行うことで計算量や伝送量を抑制することが可能である。

【0061】

（２） サーバサイドレンダリング方式により、サーバ20は端末10よりも豊富な計算リソースを利用できることを活用して、第１描画部14による第１描画品質よりも、第２描画部25による第２描画品質の方を高品位に設定しておくようにしてよい。具体的に第１描画部14での第１描画品質を与える第１描画態様と、これよりも高い第２描画部25での第２描画品質を与える第２描画態様とを区別する設定には、種々の実施形態が可能である。例えば、用いる光源モデルや反射モデル（モデル種別及び／又はモデル計算パラメータ）の違いで第１描画態様と第２描画態様とを区別して与えることができる。

【0062】

例えば、対象情報OB(t)に応じて事前に設定されている描画対象として、第１描画部14及び第２描画部25では共に３次元モデル（互いに異なる仮想物体についての３次元モデル）を描画するものとし、この際の描画態様に品質の相違があるように設定しておくことができる。

【0063】

図３～５の例では、第１描画情報G1(t)として描画される対象の３次元モデルは映像符号化で情報量増大を招くパーティクル（雨滴データD2）やグロー（後光データD5）等を、第１描画態様として点光源及び拡散反射モデルで描画するものと設定しておき、第２描画情報G2(t)として描画される対象の３次元モデルは直方体データD4を、第２描画態様として第１描画態様と同様の点光源及び拡散反射モデルに加えてさらに鏡面反射モデルも用いて描画するものとして設定するといったことが可能である。前者よりも後者の方が、鏡面反射モデルが追加されることで直方体において見えている３面の各々における面内での輝度変化がより大きなものとなり、高品質に描画することができる。高品質な描画に伴い一般には情報量も増大することとなるが、抽出情報ER(t)により遮蔽部分を除外して描画するため、情報量の増大を抑制することが可能となる。

【0064】

（３） 第１描画部14を省略する実施形態も可能である。この場合、拡張現実表示のためのコンテンツの描画は全て第２描画部25のみにおいて、第２描画情報G2(t)のみを描画することによって実施すればよい。また、抽出部13では以上説明してきた実施形態と同様にして抽出情報ER(t)を第２描画部25へと送信し、統合部16では第２描画部25で得られる第２描画情報G2(t)を撮像画像P(t)に対して重畳して統合情報AR(t)を得て、提示部17において提示すればよい。第１描画部14が省略される場合、第２描画情報G2(t)における遮蔽箇所を指定する抽出情報ER(t)において、遮蔽の原因となりうるものは、現実世界における物体で認識部12によって認識される対象や第２描画部25が描画する対象よりも前景側にあるものと、第２描画情報G2(t)内の各コンテンツにおける前後関係と、が該当することとなる。

【0065】

（４） 図３～５で、拡張現実表示を行うためのコンテンツの描画の例を示したが、既存のコンピュータグラフィックスの技術により任意設定で、３次元空間内での前後関係を有するようなコンテンツ描画を行うことができる。例えば、雨滴データD2や後光データD5は、以上説明してきた通りに３次元空間内に位置分布を有する３次元モデルとして描画してもよいし、（ユーザインタフェースメニューのデータD1等と同様に、）２次元で描画するが、３次元空間内に配置するための深度情報も定義しておくようにしてもよい。

【0066】

（５） 以上の説明では、統合情報AR(t)として拡張現実表示を行うために、統合部16では撮像画像P(t)に第１描画情報G1(t)及び第２描画情報G2(t)（後者のみでもよい、この段落において以下同様）を重畳することで、統合情報AR(t)を生成するものとした。これは、端末10がディスプレイを有するスマートフォン等である場合や、ビデオシースルー型のディスプレイを有するHMD（ヘッドマウントディスプレイ）等である場合に適用可能である。この変形例として、光学シースルー型ディスプレイを有するHMD等によって端末10を構成し、統合部16では第１描画情報G1(t)及び第２描画情報G2(t)のみを、ユーザの肉眼に直接見えている実世界の背景（撮像画像P(t)が撮像しているのと同じ背景）に対して重畳して表示することで拡張現実表示を提供するようにしてもよい。なお、光学シースルー型ディスプレイから見える景色が撮像部11のカメラで撮像する撮像画像と一致するように、ディスプレイ及びカメラ間で位置合わせやキャリブレーション等を予め行っておくようにすればよい。

【0067】

（６） 説明の便宜上、統合部16で統合情報AR(t)を生成して、提示部17でこの統合情報AR(t)を生成するものとして、図１の機能ブロック構成を設けたが、提示部17が統合部16の機能も有しているものとして、統合部16を省略してもよい。すなわち、提示部17において、統合情報AR(t)を生成したうえで提示するようにしてもよい。

【0068】

（７） 図８は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。情報システム100における端末10及びサーバ20はそれぞれ、このような構成を有する１台以上のコンピュータ装置70として実現可能である。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する１つ以上の専用プロセッサ72（GPU（グラフィックス処理装置）や深層学習専用プロセッサ等）、CPU71及び／又は専用プロセッサ72にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ78と、これらの間でデータを授受するためのバスBSと、を備える。

【0069】

端末10及びサーバ20の各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又は専用プロセッサ72によって実現することができる。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、ネットワーク上でのデータ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。撮像部11及び提示部17をハードウェアとして構成するのがそれぞれ、カメラ78及びディスプレイ76である。端末側送受部21及びサーバ側送受部22をハードウェアとして構成するのが通信インタフェース75である。

【符号の説明】

【0070】

100…情報システム、10…端末、20…サーバ、11…撮像部、12…認識部、13…抽出部、14…第１描画部、25…第２描画部、16…統合部、17…提示部、21…端末側送受部、22…サーバ側送受部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】