特開 2024-12887 表示制御装置、表示制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024012887

(43)【公開日】2024-01-31

(54)【発明の名称】表示制御装置、表示制御方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240124BHJP

   G06F 3/04815 20220101ALI20240124BHJP

【ＦＩ】

G06T19/00 600

G06F3/04815

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022114669

(22)【出願日】2022-07-19

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】渕上 正睦

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA13

5B050BA18

5B050BA20

5B050CA07

5B050DA01

5B050EA07

5B050EA26

5B050FA02

5B050FA17

5B050GA08

5E555AA27

5E555BA02

5E555BB02

5E555BC18

5E555BE16

5E555BE17

5E555CA42

5E555CA44

5E555DA08

5E555DA09

5E555DA11

5E555DB53

5E555DB56

5E555DC09

5E555DC43

5E555FA00

(57)【要約】

【課題】強調対象の視認性が低下してしまう可能性を低減するとともに、強調対象の範囲の明確性が低下してしまう可能性も低減しながら、より確実に強調対象を強調することを可能とする技術が提供されることが望まれる。
【解決手段】３次元空間におけるユーザの視点の位置と、前記３次元空間における楕円体形状を有する強調範囲の位置およびサイズとを取得するデータ取得部と、前記ユーザの視点の位置と前記強調範囲の位置およびサイズとに基づいて、前記強調範囲に外接する多面体を構成する一面が前記ユーザの視点の位置に向くように、前記多面体の向きを決定する処理部と、前記向きが決定された後の前記多面体を構成する複数の辺の表示を制御する表示制御部と、を備える、表示制御装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

３次元空間におけるユーザの視点の位置と、前記３次元空間における楕円体形状を有する強調範囲の位置およびサイズとを取得するデータ取得部と、
前記ユーザの視点の位置と前記強調範囲の位置およびサイズとに基づいて、前記強調範囲に外接する多面体を構成する一面が前記ユーザの視点の位置に向くように、前記多面体の向きを決定する処理部と、
前記向きが決定された後の前記多面体を構成する複数の辺の表示を制御する表示制御部と、
を備える、表示制御装置。

【請求項2】

前記データ取得部は、前記複数の辺に加えて表示される情報である追加情報を取得し、
前記表示制御装置は、前記多面体を構成する複数の面のうち、前記ユーザの視点に最も近い面である前面を含んだ平面のうち前記前面以外の領域を前記追加情報の表示領域として決定する表示領域決定部を備え、
前記表示制御部は、前記表示領域への前記追加情報の表示を制御する、
請求項１に記載の表示制御装置。

【請求項3】

前記楕円体は、球である、
請求項１に記載の表示制御装置。

【請求項4】

前記多面体は、直方体である、
請求項１に記載の表示制御装置。

【請求項5】

前記多面体は、立方体である、
請求項４に記載の表示制御装置。

【請求項6】

前記表示制御部は、前記複数の辺のＡＲディスプレイによる表示を制御する、
請求項１に記載の表示制御装置。

【請求項7】

前記処理部は、前記強調範囲に外接し、かつ前記ユーザの視点の位置と前記強調範囲の位置とを結ぶ直線に垂直な平面を算出し、前記直線が通過する位置を中央位置とした、前記平面に含まれる複数の長方形のうちの一つを、前記多面体の前面または背面として決定する、
請求項１に記載の表示制御装置。

【請求項8】

前記処理部は、前記３次元空間における、前記３次元空間の画像を得るカメラ座標系のＹ軸方向に基づいて、前記平面に含まれる複数の方向から、前記長方形を構成する一辺の方向を決定する、
請求項７に記載の表示制御装置。

【請求項9】

前記処理部は、前記平面に含まれる複数の方向のうち前記Ｙ軸方向と最も近い方向を、前記一辺の方向として決定する、
請求項８に記載の表示制御装置。

【請求項10】

３次元空間におけるユーザの視点の位置と、前記３次元空間における楕円体形状を有する強調範囲の位置およびサイズとを取得することと、
前記ユーザの視点の位置と前記強調範囲の位置およびサイズとに基づいて、前記強調範囲に外接する多面体を構成する一面が前記ユーザの視点の位置に向くように、前記多面体の向きを決定することと、
前記向きが決定された後の前記多面体を構成する複数の辺の表示を制御することと、
を含む、表示制御方法。

【請求項11】

コンピュータを、
３次元空間におけるユーザの視点の位置と、前記３次元空間における楕円体形状を有する強調範囲の位置およびサイズとを取得するデータ取得部と、
前記ユーザの視点の位置と前記強調範囲の位置およびサイズとに基づいて、前記強調範囲に外接する多面体を構成する一面が前記ユーザの視点の位置に向くように、前記多面体の向きを決定する処理部と、
前記向きが決定された後の前記多面体を構成する複数の辺の表示を制御する表示制御部と、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御方法およびプログラムに関する。

【背景技術】

【0002】

近年、３次元空間における強調対象を強調するための各種技術が知られている。例えば、かかる技術の例として、仮想的な３次元空間に配置された仮想オブジェクトの属性を変化させることによって、オブジェクトを強調する技術が開示されている（例えば、特許文献１参照）。オブジェクトの属性を変化させることの例としては、オブジェクトを点滅させること、オブジェクトの色またはサイズを変更することなどが挙げられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０３８６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、仮想オブジェクトの属性自体を変化させる技術では、実物体の属性を変化させることができない。そのため、仮想オブジェクトの属性自体を変化させる技術では、強調対象を実空間に存在する実物体としたい場合、強調対象を強調することができない。さらに、仮想オブジェクトの属性自体を変化させる技術では、仮想オブジェクトが存在しない領域を強調することができない。

【0005】

さらに、強調表示によって強調対象の視認性が低下してしまうことも想定され得る。かかる視認性の低下を防ぐために、強調対象の付近に強調表示を配置する技術も想定される。しかし、強調対象の付近に強調表示を配置する技術では、強調対象の範囲の明確性が低下してしまうことが想定される。

【0006】

そこで、強調対象の視認性が低下してしまう可能性を低減するとともに、強調対象の範囲の明確性が低下してしまう可能性も低減しながら、より確実に強調対象を強調することを可能とする技術が提供されることが望まれる。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、３次元空間におけるユーザの視点の位置と、前記３次元空間における楕円体形状を有する強調範囲の位置およびサイズとを取得するデータ取得部と、前記ユーザの視点の位置と前記強調範囲の位置およびサイズとに基づいて、前記強調範囲に外接する多面体を構成する一面が前記ユーザの視点の位置に向くように、前記多面体の向きを決定する処理部と、前記向きが決定された後の前記多面体を構成する複数の辺の表示を制御する表示制御部と、を備える、表示制御装置が提供される。

【0008】

前記データ取得部は、前記複数の辺に加えて表示される情報である追加情報を取得し、前記表示制御装置は、前記多面体を構成する複数の面のうち、前記ユーザの視点に最も近い面である前面を含んだ平面のうち前記前面以外の領域を前記追加情報の表示領域として決定する表示領域決定部を備え、前記表示制御部は、前記表示領域への前記追加情報の表示を制御してもよい。

【0009】

前記楕円体は、球であってもよい。

【0010】

前記多面体は、直方体であってもよい。

【0011】

前記多面体は、立方体であってもよい。

【0012】

前記表示制御部は、前記複数の辺のＡＲディスプレイによる表示を制御してもよい。

【0013】

前記処理部は、前記強調範囲に外接し、かつ前記ユーザの視点の位置と前記強調範囲の位置とを結ぶ直線に垂直な平面を算出し、前記直線が通過する位置を中央位置とした、前記平面に含まれる複数の長方形のうちの一つを、前記多面体の前面または背面として決定してもよい。

【0014】

前記処理部は、前記３次元空間における、前記３次元空間の画像を得るカメラ座標系のＹ軸方向に基づいて、前記平面に含まれる複数の方向から、前記長方形を構成する一辺の方向を決定してもよい。

【0015】

前記処理部は、前記平面に含まれる複数の方向のうち前記Ｙ軸方向と最も近い方向を、前記一辺の方向として決定してもよい。

【0016】

また、上記課題を解決するために本発明の別の観点によれば、３次元空間におけるユーザの視点の位置と、前記３次元空間における楕円体形状を有する強調範囲の位置およびサイズとを取得することと、前記ユーザの視点の位置と前記強調範囲の位置およびサイズとに基づいて、前記強調範囲に外接する多面体を構成する一面が前記ユーザの視点の位置に向くように、前記多面体の向きを決定することと、前記向きが決定された後の前記多面体を構成する複数の辺の表示を制御することと、を含む、表示制御方法が提供される。

【0017】

また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、３次元空間におけるユーザの視点の位置と、前記３次元空間における楕円体形状を有する強調範囲の位置およびサイズとを取得するデータ取得部と、前記ユーザの視点の位置と前記強調範囲の位置およびサイズとに基づいて、前記強調範囲に外接する多面体を構成する一面が前記ユーザの視点の位置に向くように、前記多面体の向きを決定する処理部と、前記向きが決定された後の前記多面体を構成する複数の辺の表示を制御する表示制御部と、として機能させるプログラムが提供される。

【発明の効果】

【0018】

以上説明したように本発明によれば、強調対象の視認性が低下してしまう可能性を低減するとともに、強調対象の範囲の明確性が低下してしまう可能性も低減しながら、より確実に強調対象を強調することを可能とする技術が提供される。

【図面の簡単な説明】

【0019】

【図1】本発明の第１の実施形態に係る表示制御システムの機能構成例を示す図である。

【図2】制御部１２Ａの機能構成例を示す図である。

【図3】ユーザの視点の位置Ｕ１と、強調範囲の位置Ｃ１とを含む平面を描いた図である。

【図4】処理部１２２の機能について説明するための図である。

【図5】強調表示の例を示す図である。

【図6】本発明の第１の実施形態に係る表示制御装置１の動作例を示すフローチャートである。

【図7】外接立方体算出の詳細な動作例を示すフローチャートである。

【図8】本発明の第２の実施形態に係る制御部１２Ｂの機能構成例を示す図である。

【図9】強調表示の例を示す図である。

【図10】本発明の実施形態に係る表示制御装置１の例としての情報処理装置９００のハードウェア構成を示す図である。

【発明を実施するための形態】

【0020】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0021】

（０．概要）
まず、本発明の実施形態の概要について説明する。近年、３次元空間における強調対象を強調するための各種技術が知られている。３次元空間における強調対象を強調するための技術の例として、以下の第１の例、第２の例および第３の例それぞれに係る技術が主に挙げられる。

【0022】

第１の例に係る技術として、仮想的な３次元空間に配置された仮想オブジェクトの属性を変化させることによって、オブジェクトを強調する技術が知られている。オブジェクトの属性を変化させることの例としては、オブジェクトを点滅させること、または、オブジェクトの色またはサイズを変更することなどが挙げられる。

【0023】

しかし、第１の例に係る技術では、実物体の属性を変化させることができない。そのため、第１の例に係る技術では、強調対象を実空間に存在する実物体としたい場合、強調対象を強調させることができない。さらに、第１の例に係る技術では、仮想オブジェクトが存在しない領域を強調することができない。

【0024】

第２の例に係る技術として、強調対象を囲む立体の面または外形枠を表示することによって、強調対象を強調する技術が知られている。強調対象を囲む立体の面としては、透過性のない面、または、透過性のある面が挙げられる。

【0025】

しかし、第２の例に係る技術では、強調表示によって強調対象の視認性が低下してしまうことが想定され得る。例えば、強調対象を囲む立体の面を表示する技術では、強調対象を囲む立体の面によって強調対象が隠れてしまい、強調対象の視認性が低下してしまうことが想定され得る。また、強調対象を囲む立体の外形枠を表示する技術では、ユーザの視点の位置に応じて外形枠によって強調対象が隠れてしまう場合があり、かかる場合には、強調対象の視認性が低下してしまうことが想定され得る。

【0026】

第３の例に係る技術として、強調対象の付近に強調表示を配置する技術も想定される。しかし、第３の例に係る技術では、強調対象の範囲の明確性が低下してしまうことが想定される。

【0027】

そこで、強調対象の視認性が低下してしまう可能性を低減するとともに、強調対象の範囲の明確性が低下してしまう可能性も低減しながら、より確実に強調対象を強調させることを可能とする技術が提供されることが望まれる。

【0028】

以上、本発明の実施形態の概要について説明した。

【0029】

（１．第１の実施形態）
本発明の第１の実施形態について説明する。

【0030】

（１－１．表示制御システムの構成）
まず、本発明の第１の実施形態に係る表示制御システムの構成例について説明する。図１は、本発明の第１の実施形態に係る表示制御システムの機能構成例を示す図である。図１に示されるように、表示制御システムは、表示制御装置１と、ネットワーク３０と、データベース２０とを有する。

【0031】

表示制御装置１は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）ディスプレイ１１と、制御部１２Ａと、位置姿勢計測部１３とを備える。制御部１２Ａは、図示しない通信インタフェース（通信部）を介して、ネットワーク３０に接続されており、ネットワーク３０を介してデータベース２０にアクセス可能に構成されている。表示制御装置１は、コンピュータによって実現される。なお、表示制御装置１は、強調対象の強調を行う「強調表示装置」とも換言され得る。

【0032】

（ＡＲディスプレイ１１）
ＡＲディスプレイ１１は、表示部の例に該当し、ユーザに装着される。例えば、ＡＲディスプレイ１１は、ユーザの頭部に装着されるヘッドマウントディスプレイであるのが望ましい。しかし、ＡＲディスプレイ１１の種類はヘッドマウントディスプレイに限定されない。例えば、ＡＲディスプレイ１１は、ヘッドマウントディスプレイ以外のディスプレイ（据え置き型のディスプレイ）であってもよい。

【0033】

本発明の第１の実施形態では、ＡＲディスプレイ１１が実空間の像をユーザに提供する透過型ディスプレイである場合を想定する。透過型ディスプレイは、光学シースルーディスプレイであってもよいし、ビデオシースルーディスプレイであってもよい。このとき、ＡＲディスプレイ１１は、ＡＲ技術を用いてユーザの視野に対して仮想的な３次元空間の画像を重畳して表示する。

【0034】

しかし、ＡＲディスプレイ１１は、仮想的な３次元空間の像をユーザに提供する非透過型ディスプレイであってもよい。このとき、ＡＲディスプレイ１１は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を用いて仮想的な３次元空間の画像を表示する。

【0035】

仮想的な３次元空間の画像は、仮想的な３次元空間に配置された仮想オブジェクトが、当該仮想的な３次元空間に配置された仮想的なカメラによって撮像されて得られる画像である。仮想的なカメラの位置は、仮想的な３次元空間におけるユーザの視点に該当する。さらに、仮想的なカメラの方向は、仮想的な３次元空間におけるユーザの視線方向に該当する。

【0036】

（位置姿勢計測部１３）
位置姿勢計測部１３は、ユーザの位置および姿勢を計測する。例えば、位置姿勢計測部１３がユーザの頭部に装着されるＡＲディスプレイ１１に組み込まれている場合には、位置姿勢計測部１３は、ユーザの頭部の位置および姿勢を計測する。位置姿勢計測部１３は、センサによって検出されたセンサデータに基づいて、ユーザの位置および姿勢を計測してもよい。センサは、加速度センサまたはジャイロセンサなどであってよいが、センサの種類は特に限定されない。

【0037】

例えば、位置姿勢計測部１３は、ユーザの環境に設置された二次元マーカを計測するセンサを含んでもよい。このとき、位置姿勢計測部１３は、計測した二次元マーカの形状に基づいて、ユーザの位置および姿勢を計測してもよい。あるいは、位置姿勢計測部１３は、センサによって検出されたセンサデータに基づいてユーザの位置および姿勢を計測する手法と、計測した二次元マーカの形状に基づいてユーザの位置および姿勢を計測する手法とを組み合わせてユーザの位置および姿勢を計測してもよい。

【0038】

（制御部１２Ａ）
制御部１２Ａは、表示制御装置１の動作を制御する。例えば、制御部１２Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

【0039】

制御部１２Ａは、位置姿勢計測部１３によって計測されたユーザの位置に応じて、仮想的な３次元空間におけるユーザの視点の位置を算出する。同様に、制御部１２Ａは、位置姿勢計測部１３によって計測されたユーザの姿勢に応じて、仮想的な３次元空間におけるユーザの視線方向を算出する。これによって、ＡＲディスプレイ１１によって表示される仮想的な３次元空間の画像が、ユーザの位置および姿勢に応じて変化し得る。

【0040】

（データベース２０）
データベース２０は、制御部１２Ａによって再生されてＡＲディスプレイ１１によって表示される再生データを保持する。例えば、再生データは、動画像データまたは静止画像データなどであってもよい。

【0041】

また、再生データには、仮想的な３次元空間における強調範囲に関する情報（例えば、強調範囲の位置、強調範囲のサイズなど）が対応付けられている。強調範囲に関する情報は、再生データ全体に対して一つ対応付けられていてもよいし、再生データの再生位置に対応付けられていてもよい。なお、データベースは、図示しない記憶装置に格納されている。

【0042】

（ネットワーク３０）
ネットワーク３０は、表示制御装置１とデータベース２０とを接続する。そして、ネットワーク３０は、表示制御装置１とデータベース２０との間における通信路として機能し得る。

【0043】

以上、本発明の第１の実施形態に係る表示制御システムの構成例について説明した。

【0044】

（１－２．制御部１２Ａの機能構成）
続いて、制御部１２Ａの機能構成例について説明する。

【0045】

図２は、制御部１２Ａの機能構成例を示す図である。図２に示されるように、制御部１２Ａは、データ取得部１２１Ａ、処理部１２２および表示制御部１２３Ａを備える。

【0046】

これらのブロックの動作例については、図３～図７を参照しながら説明する。なお、以下の説明においては、楕円体の例として球を用い、多角形の例として立方体を用いる。後にも説明するように、球は、楕円体の代表例であり、立方体は、多角形の代表例である。

【0047】

以上、制御部１２Ａの機能構成例について説明した。

【0048】

（１－３．表示制御システムの動作例）
続いて、本発明の第１の実施形態に係る表示制御システムの動作例について説明する。

【0049】

図３および図４は、処理部１２２の機能について説明するための図である。図５は、強調表示の例を示す図である。図６は、本発明の第１の実施形態に係る表示制御装置１の動作例を示すフローチャートである。図７は、外接立方体算出の詳細な動作例を示すフローチャートである。

【0050】

（Ｓ１１）
データ取得部１２１Ａは、ネットワーク３０を介してデータベース２０から再生データを取得する（Ｓ１１）。

【0051】

（Ｓ１２）
また、再生データに、仮想的な３次元空間における強調範囲に関する情報（強調範囲の位置およびサイズ）が対応付けられていない場合には（Ｓ１２において「ＮＯ」）、再生データが表示され、動作が終了される。一方、データ取得部１２１Ａは、再生データに、仮想的な３次元空間における強調範囲に関する情報（強調範囲の位置およびサイズ）が対応付けられている場合には（Ｓ１２において「ＹＥＳ」）、強調範囲に関する情報（強調範囲の位置およびサイズ）もデータベース２０から取得する。

【0052】

強調範囲の位置は、仮想的な３次元空間のｘｙｚ座標によって表現される。さらに、強調範囲のサイズが、球の半径によって表現される場合を主に想定する。しかし、強調範囲のサイズは、球の直径によって表現されてもよい。

【0053】

（Ｓ１３）
また、データ取得部１２１Ａは、上記のようにして制御部１２Ａによって取得された、仮想的な３次元空間におけるユーザの視点の位置と、仮想的な３次元空間におけるユーザの視線方向とを取得する（Ｓ１３）。

【0054】

（Ｓ１４）
処理部１２２は、仮想的な３次元空間におけるユーザの視点の位置と強調範囲の位置およびサイズとに基づいて、強調範囲に外接する立方体を構成する一面がユーザの視点の位置に向くように、立方体の向きを決定する（Ｓ１４）。なお、ユーザの視点の位置に面が向くことは、ユーザの視点の位置から面におろした垂線の足が、面の中央位置と一致することを意味し得る。

【0055】

（Ｓ１４１）
図３を参照すると、仮想的な３次元空間におけるユーザの視点（以下、単に「ユーザの視点」とも言う。）の位置Ｕ１と、仮想的な３次元空間における強調範囲の位置（以下、単に「強調範囲の位置」とも言う。）Ｃ１が示されている。すなわち、図３は、ユーザの視点の位置Ｕ１と、強調範囲の位置Ｃ１とを含む平面を描いた図である。

【0056】

処理部１２２は、ユーザの視点の位置Ｕ１と強調範囲の位置Ｃ１とに基づいて、ユーザの視点の位置Ｕ１と強調範囲の位置Ｃ１とを結ぶ直線（以下、単に「Ｕ１－Ｃ１直線」とも言う。）の式を算出する。なお、Ｕ１－Ｃ１直線は、立方体の１軸目に相当する。さらに、処理部１２２は、強調範囲の位置Ｃ１と強調範囲のサイズとに基づいて、強調範囲Ｅ１の式を算出する。

【0057】

処理部１２２は、Ｕ１－Ｃ１直線の式と強調範囲Ｅ１の式とに基づいて、強調範囲Ｅ１に外接し、かつ、Ｕ１－Ｃ１直線に垂直な２平面Ｆ１，Ｂ１の式を算出する。以下では、２平面Ｆ１，Ｂ１のうち、ユーザの視点の位置Ｕ１に近い平面を「前面側の平面Ｆ１」と言い、ユーザの視点の位置Ｕ１から遠い平面を「背面側の平面Ｂ１」と言う。図３には、前面側の平面Ｆ１とＵ１－Ｃ１直線との交点Ｈ１も示されている（Ｓ１４１）。

【0058】

（Ｓ１４２）
Ｕ１－Ｃ１直線が中央位置（すなわち、対角線の交点）を通過する正方形であり、かつ、前面側の平面Ｆ１に含まれる正方形を想定する。このような正方形は、Ｕ１－Ｃ１直線を回転軸として回転し得るため、複数通り存在し得る。同様に、Ｕ１－Ｃ１直線が中央位置（すなわち、対角線の交点）を通過する正方形であり、かつ、背面側の平面Ｂ１に含まれる正方形も、複数通り存在し得る。

【0059】

したがって、処理部１２２は、Ｕ１－Ｃ１直線が中央位置を通過する、前面側の平面Ｆ１に含まれる複数の正方形のうちの一つを、立方体の前面として決定する。同様に、処理部１２２は、Ｕ１－Ｃ１直線が中央位置を通過する、背面側の平面Ｂ１に含まれる複数の正方形のうちの一つを、立方体の背面として決定する。立方体の前面および背面の決定の例についてさらに詳細に説明する。

【0060】

図４を参照すると、図３に示された例と同様に、前面側の平面Ｆ１とＵ１－Ｃ１直線との交点Ｈ１が示されている。また、図４を参照すると、前面側の平面Ｆ１が示されている。また、仮想的な三次元空間における、（仮想的なカメラの）カメラ座標系のＹ軸方向が、画像の縦方向ベクトルＹ１として示されている。辺方向ベクトルＶ１は、前面側の平面Ｆ１とＵ１－Ｃ１直線との交点Ｈ１を始点とし、前面側の平面Ｆ１に含まれる複数の方向のうちの一つの方向である。

【0061】

処理部１２２は、画像の縦方向ベクトルＹ１に基づいて、前面側の平面Ｆ１とＵ１－Ｃ１直線との交点Ｈ１を始点とし、前面側の平面Ｆ１に含まれる複数の方向から一つの辺方向ベクトルＶ１を、立方体の前面を構成する一辺の方向として決定する。辺方向ベクトルＶ１は、立方体の２軸目に相当する（Ｓ１４２）。

【0062】

より詳細には、画像の縦方向ベクトルＹ１に対して辺方向ベクトルＶ１が近いほど、画像の縦方向と立方体の前面の辺とが近づき、ユーザから見て傾きの少ない立方体が配置されることが考えられる。そこで、処理部１２２は、前面側の平面Ｆ１とＵ１－Ｃ１直線との交点Ｈ１を始点とし、前面側の平面Ｆ１に含まれる複数の方向のうち、画像の縦方向ベクトルＹ１と最も近い辺方向ベクトルＶ１を、立方体の前面を構成する一辺の方向として決定するのが望ましい。

【0063】

（Ｓ１４３）
処理部１２２は、前面側の平面Ｆ１に含まれる、一つに決定された辺方向ベクトルＶ１に直交するベクトルを、正方形の他の一辺の方向とする直交ベクトルとして算出する。なお、直交ベクトルは、立方体の３軸目に相当する。処理部１２２は、算出した直交ベクトルと、一つに決定された辺方向ベクトルＶ１とに基づいて、前面側の平面Ｆ１とＵ１－Ｃ１直線との交点Ｈ１を中央位置とした、正方形Ｒ１を決定する（Ｓ１４３）。

【0064】

（Ｓ１４４）
処理部１２２は、背面側の平面Ｂ１（図３）についても同様の処理を行って、正方形Ｒ１と対向する正方形を決定する。そして、処理部１２２は、このようにして決定した、二つの正方形によって構成される立方体に対して、強調範囲Ｅ１（図３）に外接するように立方体の前面および背面それぞれのサイズ調整を行う。サイズ調整が行われた後の二つの正方形によって立方体が決定される（Ｓ１４４）。図４には、このようにして正方形Ｒ１に対してサイズ調整が行われた後の正方形が、正方形Ｒ２として示されている。

【0065】

（Ｓ１５）
表示制御部１２３Ａは、再生データのＡＲディスプレイ１１による表示を制御する。再生データの中には、強調対象が含まれ得る。さらに、表示制御部１２３Ａは、処理部１２２によって向きが決定され、サイズ調整が行われた後の立方体を構成する複数の辺（合計１２本）のＡＲディスプレイ１１による表示を制御する。立方体を構成する複数の辺（以下、「枠線」とも言う。）の表示によって、強調対象が強調表示され得る。

【0066】

以上、本発明の第１の実施形態に係る表示制御システムの動作例について説明した。

【0067】

（１－４．効果）
図５を参照すると、複数の枠線による強調表示の例が示されている。図５に示された例では、再生データの中に、強調対象Ｋ１が含まれているため、強調対象Ｋ１が表示されている。また、図５を参照すると、強調範囲Ｅ１が示されている。この強調範囲Ｅ１は、理解を容易にするために示されており、実際には表示されなくてよい。一方、枠線Ｐ１は表示されている。なお、図５に示された例では、強調対象Ｋ１が表示されているが、表示される強調対象Ｋ１は存在しなくてもよい。

【0068】

図５を参照すると、強調表示である枠線Ｐ１が、強調対象Ｋ１を隠してしまうことがない。すなわち、本発明の第１の実施形態に係る技術によれば、強調対象Ｋ１の視認性が低下してしまう可能性が低減される。さらに、枠線Ｐ１は、強調対象Ｋ１の付近に配置されている。そのため、本発明の第１の実施形態に係る技術によれば、強調対象の範囲の明確性が低下してしまう可能性も低減され得る。

【0069】

また、本発明の第１の実施形態に係る技術は、仮想オブジェクトの属性を変化させることによって、オブジェクトを強調する技術とは異なる。そのため、本発明の第１の実施形態に係る技術によれば、強調対象を実空間に存在する実物体とすることが可能である。さらに、本発明の第１の実施形態に係る技術は、仮想オブジェクトが存在しない領域を強調することも可能である。したがって、本発明の第１の実施形態に係る技術によれば、より確実に強調対象Ｋ１を強調させることが可能となる。

【0070】

以上、本発明の第１の実施形態に係る表示制御システムが奏する効果について説明した。

【0071】

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。

【0072】

以下では、本発明の第２の実施形態に係る表示制御システムが有する構成のうち、本発明の第１の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第２の実施形態に係る表示制御システムが有する構成のうち、本発明の第１の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。

【0073】

（２－１．制御部１２Ｂの機能構成）
続いて、制御部１２Ｂの機能構成例について説明する。

【0074】

図８は、本発明の第２の実施形態に係る制御部１２Ｂの機能構成例を示す図である。図８に示されるように、制御部１２Ｂは、データ取得部１２１Ｂ、処理部１２２、表示領域決定部１２４および表示制御部１２３Ｂを備える。

【0075】

本発明の第２の実施形態では、表示制御装置１が、本発明の第１の実施形態に係る制御部１２Ａの代わりに、制御部１２Ｂを有する。そして、本発明の第２の実施形態では、制御部１２Ｂが、データ取得部１２１Ａおよび表示制御部１２３Ａの代わりに、データ取得部１２１Ｂおよび表示制御部１２３Ｂを有し、表示領域決定部１２４を追加的に有する。

【0076】

したがって、以下では、本発明の第２の実施形態に係るデータ取得部１２１Ｂ、表示領域決定部１２４および表示制御部１２３Ｂについて主に説明する。

【0077】

以上、制御部１２Ａの機能構成例について説明した。

【0078】

（２－２．表示制御システムの動作例）
続いて、本発明の第２の実施形態に係る表示制御システムの動作例について説明する。

【0079】

図９は、強調表示の例を示す図である。再生データに、仮想的な３次元空間における強調範囲に関する情報、および、追加情報が対応付けられていない場合には、再生データが表示され、動作が終了される。追加情報は、枠線Ｐ１に加えて表示される情報である。

【0080】

一方、データ取得部１２１Ｂは、再生データに、仮想的な３次元空間における強調範囲に関する情報、および、追加情報が対応付けられている場合には、強調範囲に関する情報および追加情報もデータベース２０から取得する。ここでは、追加情報が文字列「ｔｅｘｔ」である場合を想定する。

【0081】

表示領域決定部１２４は、立方体を構成する複数の面のうち、仮想的な３次元空間におけるユーザの視点に最も近い面である前面（図９に示された例では、枠線Ｐ１によって構成される立方体の手前の面）を含んだ平面のうち、前面以外の領域を追加情報の表示領域Ｇ１として決定する。図９に示された例では、前面の右側に存在する領域が表示領域Ｇ１として決定されている。そして、表示制御部１２３Ｂは、表示領域決定部１２４によって決定された表示領域Ｇ１への追加情報Ｔ１の表示を制御する。

【0082】

以上、本発明の第２の実施形態に係る表示制御システムの動作例について説明した。

【0083】

（２－３．効果）
本発明の第２の実施形態に係る技術によれば、本発明の第２の実施形態に係る技術が奏する効果と同様の効果を奏し得る。さらに、図９を参照すると、強調表示である枠線Ｐ１が、表示領域Ｇ１に表示された追加情報Ｔ１を隠してしまうことがない。すなわち、本発明の第２の実施形態に係る技術によれば、追加情報Ｔ１の視認性が低下してしまう可能性が低減される。

【0084】

以上、本発明の第２の実施形態に係る表示制御システムが奏する効果について説明した。

【0085】

（３．ハードウェア構成例）
続いて、本発明の実施形態に係る表示制御装置１のハードウェア構成例について説明する。

【0086】

以下では、本発明の実施形態に係る表示制御装置１のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、表示制御装置１のハードウェア構成の一例に過ぎない。したがって、表示制御装置１のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。

【0087】

図１０は、本発明の実施形態に係る表示制御装置１の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

【0088】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

【0089】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0090】

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0091】

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

【0092】

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

【0093】

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

【0094】

以上、本発明の実施形態に係る表示制御装置１のハードウェア構成例について説明した。

【0095】

（４．まとめ）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0096】

例えば、上記では、強調範囲に外接する多面体として、立方体を例に挙げて主に説明した。しかし、立方体の代わりに立方体以外の直方体が用いられてもよい。さらに、立方体の代わりに他の多面体が用いられてもよい。例えば、強調範囲に外接する多面体として、正多面体が用いられてもよく、正８面体が用いられてもよいし、正４面体が用いられてもよい。ただし、強調範囲に外接する多面体として、立方体が最も望ましいと考えられる。

【0097】

また、上記では、本発明の実施形態に係る表示制御システムがＡＲ技術に適用される例を主に説明した。しかし、本発明の実施形態に係る表示制御システムは、ＶＲ技術に適用されてもよい。

【0098】

さらに、上記では、データベース２０に記録されたデータが表示制御装置１によって再生されて表示される場合について主に説明した。しかし、表示制御装置１によって表示されるデータは、データベース２０に一度記録されたデータでなくてもよい。例えば、表示制御装置１によって表示されるデータは、他の装置からリアルタイムに受信したデータであってもよい。また、表示されるデータが記録される場所は、ネットワーク３０の先にあるデータベース２０でなくてもよく、表示制御装置１の内部であってもよい。

【0099】

本発明の実施形態に係る表示制御装置１は、一般的な技術として存在する、強調対象の付近に強調表示を配置する技術と併用することも可能である。このときには、かかる一般的な技術との間では、本発明の第２の実施形態に係る表示制御装置１がより親和性が高いと考えられる。

【0100】

本発明の第２の実施形態に係る追加情報Ｔ１は、文字列でなくてもよい。例えば、追加情報Ｔ１は、ユーザによる操作を受け付けることが可能な操作部などであってもよい。また、追加情報Ｔ１の表示領域Ｇ１は、立方体を構成する複数の面のうち、仮想的な３次元空間におけるユーザの視点に最も近い面である前面（図９に示された例では、枠線Ｐ１によって構成される立方体の手前の面）を含んだ平面のうち、前面の右側以外の領域（例えば、左側領域、上側領域、下側領域など）であってもよい。

【0101】

上記では、強調範囲Ｅ１が球である場合を主に説明した。しかし、強調範囲Ｅ１は、楕円体などであってもよい。このとき、強調範囲Ｅ１に外接する多面体は、直方体であってもよい。さらに、多面体を決定する手法は、限定されない。例えば、立方体を決定する手法は、必ずしも上記した手法に限られない。

【符号の説明】

【0102】

１ 表示制御装置
１１ ＡＲディスプレイ
１２Ａ 制御部
１２Ｂ 制御部
１２１Ａ、１２１Ｂ データ取得部
１２２ 処理部
１２３Ａ、１２３Ｂ 表示制御部
１２４ 表示領域決定部
１３ 位置姿勢計測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】