特許7475625３次元空間における入力受付および入力表示方法、プログラム、および３次元空間における入力受付および入力表示装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-19
(45)【発行日】2024-04-30
(54)【発明の名称】３次元空間における入力受付および入力表示方法、プログラム、および３次元空間における入力受付および入力表示装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20240422BHJP
G06F 3/04815 20220101ALI20240422BHJP
【ＦＩ】
G06T19/00 A
G06F3/04815
【請求項の数】
9
(21)【出願番号】P 2019156219
(22)【出願日】2019-08-29
(65)【公開番号】P2021033887
(43)【公開日】2021-03-01
【審査請求日】2022-08-28
(73)【特許権者】
【識別番号】718000554
【氏名又は名称】佐藤 怜以
(72)【発明者】
【氏名】佐藤 怜以
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２００２－０２４８６０（ＪＰ，Ａ）
【文献】特開２００３－２５６８５９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０４８１
(57)【特許請求の範囲】
【請求項1】
３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、さらに、前記３次元空間への入力内容に、回転中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記回転中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記回転中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される、
３次元空間における入力受付および入力表示方法。
【請求項2】
３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、さらに、前記受付された前記３次元空間への入力内容に、回転中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記回転中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記回転中心点を中心に回転して前記２次元構造の面上に表示されるように設定し、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される、
３次元空間における入力受付および入力表示方法。
【請求項3】
３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、さらに、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を前記ユーザによる入力に応じて選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される、
３次元空間における入力受付および入力表示方法。
【請求項4】
３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記２次元構造の生成において、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして、または、前記２次元構造と前記オブジェクトとが交わる部分において前記２次元構造を非表示にするようにして前記２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される、
３次元空間における入力受付および入力表示方法。
【請求項5】
請求項１から４のいずれか一項に記載の方法をコンピュータ上で実行可能である、プログラム。
【請求項6】
３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、さらに、前記３次元空間への入力内容に、回転中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記回転中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記回転中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する、
３次元空間における入力受付および入力表示装置。
【請求項7】
３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、さらに、前記受付された前記３次元空間への入力内容に、回転中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記回転中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記回転中心点を中心に回転して前記２次元構造の面上に表示されるように設定し、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する、
３次元空間における入力受付および入力表示装置。
【請求項8】
３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、さらに、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を前記ユーザによる入力に応じて選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する、
３次元空間における入力受付および入力表示装置。
【請求項9】
３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記２次元構造の生成において、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして、または、前記２次元構造と前記オブジェクトとが交わる部分において前記２次元構造を非表示にするようにして前記２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する、
３次元空間における入力受付および入力表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元空間における入力受付および入力表示方法、プログラム、および３次元空間における入力受付および入力表示装置に関する。
【背景技術】
【0002】
３次元モデルにテキストデータが埋め込まれた３次元データを作成する方法として、３次元モデルのうちユーザにより指定された指定部分の位置データに、テキストデータをリンクさせる方法が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－０８７０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、図１１に引用して示すように、特許文献１において、前記テキストデータ（図中、「テキスト」として示されている部分）は、３次元空間の画像（図中、「画面」として示されている部分）上に、２次元的に入力および表示される（特許文献１ 図４）。このため、特許文献１において、前記テキストデータは、前記３次元モデルにリンクしているものの、３次元空間における入力とは言い難かった。
【0005】
本発明は、上記事情に鑑み、３次元空間における入力受付および入力表示を可能にするシステムを提供する。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の３次元空間における入力受付および入力表示方法は、３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、
前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される。
前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される。
【0007】
本発明のプログラムは、前記本発明の方法をコンピュータ上で実行可能である。
【0008】
本発明の３次元空間における入力受付および入力表示装置は、３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する。
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する。
【発明の効果】
【0009】
本発明によれば、３次元空間における入力受付および入力表示を可能にするシステムを提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
本発明によれば、前述のように、３次元空間の画像における２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけする。これにより、前記３次元空間における、オブジェクト（例えば、特許文献１における「３次元モデル」等）が存在する領域以外の領域に対しても、入力受付および入力表示をすることができる。
【0012】
本発明において、「ユーザ」は、本発明の入力受付および入力表示装置（「入力受付表示装置」ともいう。）のユーザである。前記ユーザは、１人でもよいし、複数でもよい。
【0013】
本発明の実施形態について、図を用いて説明する。本発明は、下記の実施形態によって何ら限定および制限されない。以下の各図において、同一部分には、同一符号を付している。各実施形態の説明は、特に言及がない限り、互いの説明を援用できる。
【0014】
［実施形態１］
図１は、本実施形態の入力受付表示装置１０の一例の構成を示すブロック図である。入力受付表示装置１０は、３次元空間出力手段１１、２次元構造生成手段１２、およびユーザ入力受付手段１３を含む。
図１は、本実施形態の入力受付表示装置１０の一例の構成を示すブロック図である。入力受付表示装置１０は、３次元空間出力手段１１、２次元構造生成手段１２、およびユーザ入力受付手段１３を含む。
【0015】
入力受付表示装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、有線または無線の通信回線網を介して接続可能な装置（システム）であってもよい。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等があげられる。入力受付表示装置１０は、例えば、システムとしてサーバーに組み込まれていてもよい。また、入力受付表示装置１０は、例えば、本発明のプログラムがインストールされたコンピュータであってもよい。
【0016】
本実施形態において、入力受付表示装置１０は、パーソナルコンピュータ（ＰＣ）である。ただし、これには制限されず、入力受付表示装置１０は、例えば、スマートフォン、タブレット端末、およびウェアラブル端末等の携帯端末、ならびにゲーム機等でもよい。
【0017】
さらに、図２に、入力受付表示装置１０のハードウエア構成のブロック図を例示する。入力受付表示装置１０は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ１０２、バス１０３、通信デバイス１０４、記憶装置１０５等を有する。入力受付表示装置１０の各部は、例えば、それぞれのインターフェイス（Ｉ／Ｆ）により、バス１０３を介して、接続されている。
【0018】
ＣＰＵ１０１は、入力受付表示装置１０の全体の制御を担う。入力受付表示装置１０において、ＣＰＵ１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、入力受付表示装置１０は、例えば、ＣＰＵ１０１が、３次元空間出力手段１１、２次元構造生成手段１２、およびユーザ入力受付手段１３として機能する。
【0019】
バス１０３は、例えば、ＣＰＵ１０１、メモリ１０２等のそれぞれの機能部間を接続する。バス１０３は、例えば、外部機器とも接続できる。前記外部機器は、例えば、画像表示装置、入力装置、ならびにスピーカー等の音声出力装置等があげられる。前記画像表示装置、および前記入力装置については、後述する。入力受付表示装置１０は、バス１０３に接続された通信デバイス１０４により、通信回線網に接続でき、通信回線網を介して、前記外部機器と接続することもできる。
【0020】
メモリ１０２は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム１０６を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラム１０６を実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。
【0021】
記憶装置１０５は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置１０５は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０５は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）も例示できる。記憶装置１０５には、例えば、前述のように、動作プログラム１０６が格納される。また、記憶装置１０５は、例えば、後述する、３次元空間の情報等が格納されてもよい。
【0022】
入力受付表示装置１０において、メモリ１０２および記憶装置１０５は、ユーザからのアクセス情報およびログ情報、ならびに、外部データベース（図示せず）から取得した情報を記憶することも可能である。
【0023】
３次元空間出力手段１１は、画像表示部に表示される、３次元空間の画像を出力する。前記画像表示部は、例えば、ディスプレイ（液晶ディスプレイ、有機ＥＬディスプレイ等）、タッチパネル、スクリーン等があげられる。前記画像表示部は、入力受付表示装置１０に内蔵されたものでもよいし（図示せず）、外部接続された前記画像表示装置でもよい。３次元空間出力手段１１は、例えば、前記３次元空間の画像の情報を、バス１０３を介して、前記画像表示部に出力する。
【0024】
前記３次元空間は、例えば、Ｘ座標、Ｙ座標、Ｚ座標（それぞれ、例えば、幅、奥行き、高さ）の３つの値によって定義される空間である。前記３次元空間は、特に制限されず、具体的には、例えば、仮想現実空間、ゲーム空間、シミュレーション（性能試験等）、訓練（運転の訓練、手術の訓練等）、および設計・描画用の空間、ならびに３次元カメラにより取得された画像空間等があげられる。
【0025】
前記３次元空間は、固定のもの（静止しているもの、動きのあるもの）でもよいし、ユーザの入力等に基づき変化してもよい。後者の場合、例えば、３次元空間制御部（例えば、ＣＰＵ）により、前記３次元空間の制御を行うことができる。
【0026】
前記３次元空間の画像は、２次元画像である。前記２次元画像は、例えば、疑似的な３次元表示（立体視テレビ、ＶＲ（Virtual Reality）ゴーグル等）のための画像を含む。前記３次元空間の画像は、後述するように、表示位置の情報を含む。
【0027】
３次元空間出力手段１１は、例えば、前記出力において、前記３次元空間の情報から、前記画像表示部に表示される、前記３次元空間の画像を算出し、これを出力する。前記３次元空間の情報は、特に制限されず、例えば、前記３次元空間に含まれるオブジェクトの情報（色、形等の情報、位置情報等）、ならびに、後述する、２次元構造の情報、および、ユーザによる前記３次元空間への入力内容等があげられる。前記オブジェクトは、特に制限されず、例えば、「物」ということもできる。前記「物」は、具体的には、例えば、前記仮想現実空間における構造物、前記設計用の空間における設計されたモデル、前記ゲーム空間におけるキャラクター等でもよい。なお、前記ユーザによる前記３次元空間への入力内容は、前記オブジェクトでもよいし、前記オブジェクトでなくてもよい。
【0028】
前記３次元空間の画像の算出は、例えば、前記３次元空間を仮想的に撮像する仮想的なカメラの設定情報（位置、角度、ズーム、遠近感、および視野角等）に基づき、行うことができる。前記仮想的なカメラの設定情報は、例えば、前記ユーザの入力に応じて、決定できる。
【0029】
図３（Ａ）は、前記画像表示部に表示される、前記３次元空間の画像の一例を示す図である。図３（Ａ）に示された３次元空間の画像１００から、前記３次元空間に、前記オブジェクトが含まれていることがわかる（図中、左側および右側）。また、図中、白色の領域には、「地面」の前記オブジェクトが存在している。
【0030】
３次元空間出力手段１１は、例えば、１つの３次元空間について、複数のそれぞれ異なる前記３次元空間の画像を出力することができる。すなわち、例えば、１人のユーザに対し、前記仮想的なカメラの設定情報に応じて、異なる前記３次元空間の画像を出力してもよいし、１つの３次元空間を（例えば、同時に）共有する複数のユーザに対し、それぞれ異なる前記３次元空間の画像を出力してもよい。
【0031】
２次元構造生成手段１２は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成する。「前記３次元空間への入力を受付するための」とは、例えば、前記３次元空間への入力を受付することを主な目的として、という意味である。前記２次元構造は、例えば、前記３次元空間に含まれる前記オブジェクトとは異なるものである。また、前記２次元構造は、例えば、前記３次元空間への入力を受付する間、一時的に生成される。
【0032】
【0033】
前記２次元構造の形状は、特に制限されず、例えば、図３（Ｂ）に示すように、平面でもよいし、曲面でもよい。前記曲面は、特に制限されず、例えば、球、円柱、二次曲面等の全部または一部、波状構造、ランダムな曲面等があげられる。前記２次元構造の形状および大きさは、例えば、前記ユーザの入力に応じて設定および変更することができる。なお、前記２次元構造は、後述する、ユーザによる前記３次元空間への入力を妨げない範囲で、３次元的な構造（例えば、立体的な装飾等）を有していてもよい。
【0034】
また、前記２次元構造は、図３（Ｂ）に示すように、透過性を有してもよい。前記「透過性を有する」とは、透明でもよいし、半透明でもよい。前記透過性を有することで、例えば、３次元空間の画像１００において、手前側にある前記２次元構造により、奥側にある前記オブジェクト等が表示されなくなるのを防ぐことができる。また、前記２次元構造は、図３（Ｂ）に示すように、所定の間隔で引かれたグリッド線を含んでもよい。前記グリッド線を含むことで、例えば、前記２次元構造の位置および形状等をわかりやすくすることができる。
【0035】
なお、図３（Ｂ）の例では、２次元構造Ｐと前記オブジェクトとが交わる部分において、２次元構造Ｐが非表示（非生成）になっている。これにより、例えば、前記３次元空間における、前記オブジェクトが存在する位置には、後述するユーザによる入力ができないようにすることができる。このため、前記オブジェクトの内部に前記入力がされることによる違和感の発生や、入力したにも関わらず前記オブジェクトに遮られて入力内容が表示されない等の問題の発生を防ぐことができる。ただし、これには制限されず、２次元構造Ｐと前記オブジェクトとが交わる部分において、２次元構造Ｐが表示（生成）されてもよい。
【0036】
また、図４（Ａ）に示すように、２次元構造Ｐと前記オブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして２次元構造Ｐが表示（生成）されてもよい。図４（Ａ）において、２次元構造Ｐと三角錐型のオブジェクト（図中、中央）とが交わり、且つ、これらの交線（図中、点線で示す線）が閉じており、且つ、２次元構造Ｐ面からの前記オブジェクトの高さｈが所定値以下となっているため、前記オブジェクトの表面を迂回するようにして２次元構造Ｐが表示されている。図４（Ｂ）は、図４（Ａ）に示す前記３次元空間において、前記三角錐型のオブジェクトを前記地面に水平な方向から見た場合の、前記三角錐型のオブジェクトの断面図（概略図）であり、前記オブジェクトの高さｈを示している。一方、図４（Ａ）において、２次元構造Ｐと図中左側および右側の２つの前記オブジェクトとは、交わっているが、いずれも交線が閉じていないため、２次元構造Ｐは、前記オブジェクトの表面を迂回していない。
【0037】
２次元構造生成手段１２は、例えば、さらに、前記ユーザの入力に応じて、前記２次元構造を移動および回転させてもよい。２次元構造生成手段１２は、例えば、前記２次元構造のおおまかな３次元空間位置を決定した後、前記２次元構造を回転させてもよい。前記３次元空間位置については、後述する。前記回転の回転軸、および回転中心は、特に制限されず、例えば、前記２次元構造上にあってもよい。具体的には、２次元構造生成手段１２は、例えば、まず、前記３次元空間の任意の３次元空間位置に、仮の前記２次元構造を生成する。つぎに、前記仮の前記２次元構造を、前記ユーザの入力に応じて、前記３次元空間の画像における奥行き方向に移動させ、前記仮の前記２次元構造のおおまかな３次元空間位置を決定する。その後、前記仮の前記２次元構造を、前記ユーザの入力に応じて、回転させ（例えば、前記地面に対して垂直な状態の前記仮の前記２次元構造を傾ける、前記地面に対して垂直な軸を中心にして回転させる等）、前記回転後の前記仮の前記２次元構造の３次元空間位置を、前記２次元構造の３次元空間位置として決定する。
【0038】
ユーザ入力受付手段１３は、ユーザによる前記３次元空間への入力を受付する。前記ユーザによる前記入力は、例えば、タッチパネル、マウス、キーボード、およびコントローラ等の入力部により行うことができる。前記入力部は、入力受付表示装置１０に内蔵されたものでもよいし（図示せず）、外部接続された前記入力装置でもよい。
【0039】
前記３次元空間への入力において、例えば、前記ユーザは、前記３次元空間の画像を見ながら、前記３次元空間の画像における任意の前記２次元構造の表示位置に、前記３次元空間への入力をすることができる。
【0040】
前記ユーザによる前記３次元空間への入力は、具体的には、例えば、前記入力装置がマウスである場合、前記マウスを操作することにより、前記３次元空間の画像上に表示されたカーソルを動かすことで、前記３次元空間の画像上に線を入力することができる。図３（Ｃ）は、前記３次元空間への入力の一例を示す図である。図３（Ｃ）において、３次元空間の画像１００における、２次元構造Ｐが表示されている領域に、入力内容として、丸印等を示す線が入力されている。また、前記入力装置がキーボードである場合、前記キーボードを操作することにより、前記３次元空間の画像上における入力位置の決定、文字の入力等をすることができる。図５（Ａ）は、前記３次元空間への入力の別の一例を示す図である。図５（Ａ）において、３次元空間の画像１００における、２次元構造Ｐが表示されている領域に、入力内容として、「ＮＧ！」および「ＯＫ」の文字が入力されている。
【0041】
ユーザ入力受付手段１３は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけする。
【0042】
前記「３次元空間の画像における表示位置」とは、前記３次元空間の画像において表示される位置であり、例えば、図６に示すように、３次元空間の画像１００における、縦方向および横方向の位置（座標ともいう。）である。図６において、図中、左右方向が、ｘ方向であり、上下方向が、ｙ方向であり、３次元空間の画像１００における四隅の座標が、それぞれ、（０，０）、（ｘｎ，０）、（０，ｙｎ）、（ｘｎ，ｙｎ）となっている。前記「３次元空間位置」とは、前記３次元空間における位置であり、例えば、前記３次元空間における、幅方向、奥行き方向、および高さ方向の位置（座標ともいう。）である。図６において、前記３次元空間の画像における表示位置（ｘ１，ｙ１）に対して、例えば、前記３次元空間位置（Ｘ１，Ｙ１，Ｚ１）が対応している。
【0043】
図７は、３次元空間の画像１００における２次元構造Ｐの表示位置と、２次元構造Ｐの３次元空間位置との対応関係を示す概略図である。図７は、前記３次元空間における前記仮想的なカメラの位置（図中、人の目の絵で示す）を通り、３次元空間の画像１００および２次元構造Ｐに交わる面で、前記３次元空間を切断した、概略断面図である。図７（Ａ）において、３次元空間の画像１００における２次元構造Ｐの表示位置と、２次元構造Ｐの３次元空間位置とは、１対１の対応関係を有している（例えば、図中、「Ａ（ｘ１，ｙ１）」と「Ａ’（Ｘ１，Ｙ１，Ｚ１）」との対応関係、および「Ｂ（ｘ２，ｙ２）」と「Ｂ’（Ｘ２，Ｙ２，Ｚ２）」との対応関係）。なお、前記対応関係は、例えば、前述の、前記仮想的なカメラの設定情報の変更（例えば、位置の変更）等に応じて、適宜、変更される。
【0044】
前記対応関係は、例えば、図６（Ｂ）に示すように、１対複数の対応関係でもよい。この場合も、前記ユーザによる入力、および既定の設定等により、２次元構造Ｐの複数の前記３次元空間位置のうち、いずれかを対応させることができる。図６（Ｂ）において、３次元空間の画像１００における２次元構造Ｐの表示位置（図中、「Ａ」で示す）に対し、手前側の２次元構造Ｐの３次元空間位置（図中、「Ａ’’」で示す）が対応している。すなわち、ユーザ入力受付手段１３は、例えば、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけすることができる。
【0045】
ユーザ入力受付手段１３は、具体的には、例えば、第１のユーザ入力受付手段１３１、第２のユーザ入力受付手段１３２、および第３のユーザ入力受付手段１３２のいずれかでもよい。第１のユーザ入力受付手段１３１、第２のユーザ入力受付手段１３２、および第３のユーザ入力受付手段１３２は、例えば、前記ユーザの入力に応じて、いずれかが実行されてもよい。
【0046】
第１のユーザ入力受付手段１３１は、例えば、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけする。
【0047】
「前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけする」とは、例えば、図３（Ｃ）に示すように、前記入力内容（図中、丸印等を示す線）を構成する点について、それぞれ、３次元空間の画像１００における表示位置を取得し、前記表示位置に対応する２次元構造Ｐの前記３次元空間位置に、前記入力内容を構成する点を、それぞれ、紐づけすることをいう。
【0048】
これにより、例えば、ユーザは、前記３次元空間における、前記オブジェクトが存在する領域以外の領域に対しても、２次元構造Ｐをキャンバスのようにして、自由に入力をすることができる。
【0049】
第２のユーザ入力受付手段１３２は、例えば、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定する。
【0050】
前記中心点は、特に制限されず、前記３次元空間の画像における、任意の１点とすることができる。
【0051】
前記中心点は、例えば、図８に示すように、一連の前記入力内容（図中、「ＮＧ！」の文字）を含む仮想的な四角形における、重心Ｑとすることができる。ただし、これには制限されず、前記中心点は、例えば、前記一連の前記入力内容を含む仮想的な図形における、任意の１点（四角形の四隅のいずれか等）でもよいし、前記入力内容の書き始めの点等でもよいし、ユーザの入力により決定してもよい。また、前記中心点は、前記入力内容の入力よりも前に、設定されてもよい。前記一連の前記入力内容は、ユーザの入力等により、適宜設定できる。
【0052】
「前記中心点を、前記２次元構造の前記３次元空間位置に紐づけする」とは、例えば、前記中心点について、前記３次元空間の画像における表示位置を取得し、前記表示位置に対応する前記２次元構造の前記３次元空間位置に、紐づけすることをいう。
【0053】
「前記中心点を中心に回転する」とは、前記中心点を中心にして前記入力内容の正面の向きが変わればよく、特に制限されない。なお、前述のように、前記３次元空間の画像は、２次元画像である。そして、前記入力内容も、前記３次元空間の画像上に存在する２次元画像とみなすことができる。このため、前記「入力内容の正面の向き」とは、例えば、前記入力内容の２次元画像の正面の向きということもできる。
【0054】
「前記３次元空間への入力内容が、前記３次元空間の画像の任意の表示方向に対して追随して表示される」とは、例えば、前記入力内容を含む前記３次元空間の画像を、任意の複数の表示方向に表示させた場合に、それぞれの前記表示方向に対して、前記入力内容が正面を向いて表示されることをいう。
【0055】
具体的には、例えば、図５（Ａ）に示すように、前記入力内容として、「ＮＧ！」および「ＯＫ」の文字が入力された場合、前記入力内容を含む前記３次元空間の画像を、図５（Ｃ）に示すように、図５（Ａ）における図中上方向を新たな表示方向として表示させても、前記新たな表示方向に対して、前記入力内容が正面を向いて表示される。
【0056】
これにより、例えば、前記入力内容を含む前記３次元空間の画像の表示方向を変えた場合でも、前記表示方向に対して、前記入力内容が正面を向いて表示される。このため、前記入力内容が文字等であっても、任意の複数の表示方向から、前記入力内容を把握することができる。
【0057】
第３のユーザ入力受付手段１３２は、例えば、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する。
【0058】
前記中心点は、例えば、前述のものと同様である。また、「前記中心点を、前記２次元構造の前記３次元空間位置に紐づけする」、および「前記中心点を中心に回転する」とは、例えば、前述と同様である。
【0059】
「前記２次元構造の面上」とは、例えば、前記２次元構造の面が、曲面である場合、前記２次元構造に接する平面上でもよいし、前記曲面上でもよい。
【0060】
従来、例えば、前記３次元空間における、前記３次元空間の画像が含まれる仮想的な面に対し、平行でない面を正面方向として、入力を行うことは困難であった。また、第１のユーザ入力受付手段１３１によれば、例えば、前述のように、前記２次元構造をキャンバスのようにして、自由に入力をすることができるが、前記２次元構造が、前記３次元空間の画像が含まれる仮想的な面に対し、大きく角度をもっている場合、一連の前記入力内容が、前記２次元構造上に、間延びして紐づけられる可能性がある。
【0061】
第３のユーザ入力受付手段１３２によれば、前述のように、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する。このため、例えば、前記２次元構造が、前記３次元空間の画像における奥行き方向に伸長している場合等であっても、前記入力内容が、前記奥行き方向に間延びすることを防ぐことができる。このため、前記入力内容が文字等であっても、見やすくすることができる。
【0062】
そして、３次元空間出力手段１１は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する。
【0063】
３次元空間出力手段１１は、前記２次元構造についても、出力してもよいし、出力しなくてもよい。図５（Ａ）は、前者の場合における、前記出力された前記３次元空間の画像の一例を示し、図５（Ｂ）は、後者の場合における、前記出力された前記３次元空間の画像の一例を示す。
【0064】
３次元空間出力手段１１は、例えば、図９に示すように、前記３次元空間への入力内容が、前記２次元構造面からの厚みを有して表示されるように、前記３次元空間の画像を出力してもよい。これにより、例えば、第１のユーザ入力受付手段１３１や第３のユーザ入力受付手段１３２により前記３次元空間への入力内容を受付した場合において、前記３次元空間の画像の表示方向（前記仮想的なカメラが位置する方向）が、前記２次元構造面に対して平行に近い方向（例えば、図中、矢印で示す方向）であっても、前記入力内容の表示が消えたり目立たなくなったりすることを防ぐことができる。
【0065】
入力受付表示装置１０は、さらに、記憶手段を含み、前記記憶手段は、前記３次元空間への入力内容と、前記紐づけられた前記３次元空間位置とを記憶してもよい。前記記憶手段は、例えば、記憶装置１０５等があげられる。これにより、前記３次元空間への入力内容と、前記紐づけられた前記３次元空間位置とを記憶することができる。
【0066】
つぎに、本実施形態の入力受付表示方法における処理の一例を、図１のブロック図、図１０のフローチャートに基づき説明する。本実施形態の入力受付表示方法は、３次元空間出力工程（Ａ１）、２次元構造生成工程（Ａ２）、およびユーザ入力受付工程（Ａ３）、３次元空間出力工程（Ａ１’）を含み、例えば、図１の入力受付表示装置１０を用いて、次のように実施できる。なお、本実施形態の入力受付表示方法は、図１の入力受付表示装置１０の使用には限定されない。
【0067】
まず、３次元空間出力手段１１により、画像表示部に表示される、３次元空間の画像を出力する（工程（Ａ１））。図３（Ａ）は、前記工程（Ａ１）において、３次元空間の画像１００が出力され、この３次元空間の画像１００が表示された状態の一例を示す図である。
【0068】
つぎに、２次元構造生成手段１２により、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造Ｐを生成する（工程（Ａ２））。図３（Ｂ）は、前記工程（Ａ２）において、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造Ｐが生成され、この２次元構造Ｐを含む３次元空間の画像１００が表示された状態の一例を示す図である。
【0069】
つぎに、ユーザ入力受付手段１３により、ユーザによる前記３次元空間への入力を受付する（工程（Ａ３））。前記工程（Ａ３）において、３次元空間の画像１００における２次元構造Ｐの表示位置と、２次元構造Ｐの３次元空間位置とに基づき、前記３次元空間への入力内容を、２次元構造Ｐの前記３次元空間位置に紐づけする。
【0070】
つぎに、３次元空間出力手段１１により、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、３次元空間の画像１００を出力する（工程（Ａ１’））
【0071】
前記工程（Ａ３）および前記工程（Ａ１’）は、例えば、この順番で行ってもよいし、並行して行ってもよい。
【0072】
図３（Ｃ）および（Ｄ）ならびに図５（Ａ）および（Ｂ）は、前記工程（Ａ３）および工程（Ａ１’）において、ユーザによる前記３次元空間への入力を受付し、この入力内容を含む３次元空間の画像１００が表示された状態の一例を示す図である。
【0073】
なお、図３（Ｄ）および図５（Ｂ）に示すように、前記工程（Ａ３）において、前記３次元空間への入力を受付した後、または、工程（Ａ１’）において、３次元空間の画像１００を出力した後、２次元構造Ｐを消してもよい。
【0074】
その後、例えば、ユーザによる入力に応じて、処理を終了する（ＥＮＤ）。
【0075】
前記工程（Ａ２）～前記工程（Ａ１’）は、例えば、繰り返し行うことができる。これにより、例えば、２次元構造Ｐの位置を変えて、複数の入力をすることができる。
【0076】
すなわち、前記工程（Ａ２）～前記工程（Ａ１’）の後、２回目の前記工程（Ａ２）において、２次元構造生成手段１２により、前記３次元空間に、前記３次元空間への入力を受付するための新たな２次元構造Ｐ’を生成する。図３（Ｅ）は、２回目の前記工程（Ａ２）において、前記３次元空間に、前記３次元空間への入力を受付するための新たな２次元構造Ｐ’が生成され、この新たな２次元構造Ｐ’を含む３次元空間の画像１００が表示された状態の一例を示す図である。
【0077】
つぎに、２回目の前記工程（Ａ２）の後、２回目の前記工程（Ａ３）において、ユーザ入力受付手段１３により、ユーザによる新たな前記３次元空間への入力を受付する。図３（Ｆ）は、２回目の前記工程（Ａ３）において、ユーザによる新たな前記３次元空間への入力（図中、太い矢印）を受付し、この入力内容を含む３次元空間の画像１００が表示された状態の一例を示す図である。
【0078】
そして、２回目の前記工程（Ａ３）の後、２回目の前記工程（Ａ１’）において、３次元空間出力手段１１により、前記新たな前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、３次元空間の画像１００を出力する。
【0079】
［実施形態２］
本実施形態のプログラムは、前述の入力受付表示方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等があげられる。
本実施形態のプログラムは、前述の入力受付表示方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等があげられる。
【0080】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0081】
上記の実施形態の一部又は全部は、以下の付記のようにも記載しうるが、以下には限定されない。
【0082】
（付記１）
３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、
前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される、
３次元空間における入力受付および入力表示方法。
（付記２）
前記ユーザ入力受付工程は、第１のユーザ入力受付工程、第２のユーザ入力受付工程、および第３のユーザ入力受付工程からなる群から選択される少なくとも一つを含み、
前記第１のユーザ入力受付工程は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけし、
前記第２のユーザ入力受付工程は、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記第３のユーザ入力受付工程は、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する、
付記１記載の方法。
（付記３）
前記ユーザ入力受付工程は、前記ユーザの入力に応じて、前記第１のユーザ入力受付工程、前記第２のユーザ入力受付工程、および前記第３のユーザ入力受付工程のいずれかを実行する、付記２記載の方法。
（付記４）
前記２次元構造生成工程は、さらに、前記ユーザの入力に応じて、前記２次元構造の移動、および回転の少なくとも一方を行う、付記１から３のいずれかに記載の方法。
（付記５）
前記２次元構造が、平面である、付記１から４のいずれかに記載の方法。
（付記６）
前記２次元構造が、透過性を有する、付記１から５のいずれかに記載の方法。
（付記７）
前記ユーザ入力受付工程は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけする、付記１から６のいずれかに記載の方法。
（付記８）
前記２次元構造生成工程は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記１から７のいずれかに記載の方法。
（付記９）
前記２次元構造生成工程は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わり、且つ、これらの交線が閉じており、且つ、前記２次元構造面からの前記オブジェクトの高さが所定値以下である場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記８記載の方法。
（付記１０）
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記２次元構造面からの厚みを有して表示されるように、前記３次元空間の画像を出力する、付記１から９のいずれかに記載の方法。
（付記１１）
さらに、記憶工程を含み、
前記記憶工程は、前記３次元空間への入力内容と前記紐づけられた前記３次元空間位置とを記憶する、付記１から１０のいずれかに記載の方法。
（付記１２）
付記１から１１のいずれかに記載の方法をコンピュータ上で実行可能である、プログラム。
（付記１３）
３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する、
３次元空間における入力受付および入力表示装置。
（付記１４）
前記ユーザ入力受付手段は、第１のユーザ入力受付手段、第２のユーザ入力受付手段、および第３のユーザ入力受付手段からなる群から選択される少なくとも一つを含み、
前記第１のユーザ入力受付手段は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけし、
前記第２のユーザ入力受付手段は、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記第３のユーザ入力受付手段は、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する、
付記１３記載の装置。
（付記１５）
前記ユーザ入力受付手段は、前記ユーザの入力に応じて、前記第１のユーザ入力受付手段、前記第２のユーザ入力受付手段、および前記第３のユーザ入力受付手段のいずれかが実行される、付記１４記載の装置。
（付記１６）
前記２次元構造生成手段は、さらに、前記ユーザの入力に応じて、前記２次元構造を移動、および回転の少なくとも一方を行う、付記１３から１５のいずれかに記載の装置。
（付記１７）
前記２次元構造が、平面である、付記１３から１６のいずれかに記載の装置。
（付記１８）
前記２次元構造が、透過性を有する、付記１３から１７のいずれかに記載の装置。
（付記１９）
前記ユーザ入力受付手段は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけする、付記１３から１８のいずれかに記載の装置。
（付記２０）
前記２次元構造生成手段は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記１３から１９のいずれかに記載の装置。
（付記２１）
前記２次元構造生成手段は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わり、且つ、これらの交線が閉じており、且つ、前記２次元構造面からの前記オブジェクトの高さが所定値以下である場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記２０記載の装置。
（付記２２）
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記２次元構造面からの厚みを有して表示されるように、前記３次元空間の画像を出力する、付記１３から２１のいずれかに記載の装置。
（付記２３）
さらに、記憶手段を含み、
前記記憶手段は、前記３次元空間への入力内容と前記紐づけられた前記３次元空間位置とを記憶する、付記１３から２２のいずれかに記載の装置。
３次元空間出力工程、２次元構造生成工程、およびユーザ入力受付工程を含み、
前記３次元空間出力工程は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成工程は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付工程は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力し、
前記各工程が、コンピュータにより実施される、
３次元空間における入力受付および入力表示方法。
（付記２）
前記ユーザ入力受付工程は、第１のユーザ入力受付工程、第２のユーザ入力受付工程、および第３のユーザ入力受付工程からなる群から選択される少なくとも一つを含み、
前記第１のユーザ入力受付工程は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけし、
前記第２のユーザ入力受付工程は、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記第３のユーザ入力受付工程は、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する、
付記１記載の方法。
（付記３）
前記ユーザ入力受付工程は、前記ユーザの入力に応じて、前記第１のユーザ入力受付工程、前記第２のユーザ入力受付工程、および前記第３のユーザ入力受付工程のいずれかを実行する、付記２記載の方法。
（付記４）
前記２次元構造生成工程は、さらに、前記ユーザの入力に応じて、前記２次元構造の移動、および回転の少なくとも一方を行う、付記１から３のいずれかに記載の方法。
（付記５）
前記２次元構造が、平面である、付記１から４のいずれかに記載の方法。
（付記６）
前記２次元構造が、透過性を有する、付記１から５のいずれかに記載の方法。
（付記７）
前記ユーザ入力受付工程は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけする、付記１から６のいずれかに記載の方法。
（付記８）
前記２次元構造生成工程は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記１から７のいずれかに記載の方法。
（付記９）
前記２次元構造生成工程は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わり、且つ、これらの交線が閉じており、且つ、前記２次元構造面からの前記オブジェクトの高さが所定値以下である場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記８記載の方法。
（付記１０）
前記３次元空間出力工程は、前記３次元空間への入力内容が、前記２次元構造面からの厚みを有して表示されるように、前記３次元空間の画像を出力する、付記１から９のいずれかに記載の方法。
（付記１１）
さらに、記憶工程を含み、
前記記憶工程は、前記３次元空間への入力内容と前記紐づけられた前記３次元空間位置とを記憶する、付記１から１０のいずれかに記載の方法。
（付記１２）
付記１から１１のいずれかに記載の方法をコンピュータ上で実行可能である、プログラム。
（付記１３）
３次元空間出力手段、２次元構造生成手段、およびユーザ入力受付手段を含み、
前記３次元空間出力手段は、画像表示部に表示される、３次元空間の画像を出力し、
前記２次元構造生成手段は、前記３次元空間に、前記３次元空間への入力を受付するための２次元構造を生成し、
前記ユーザ入力受付手段は、ユーザによる前記３次元空間への入力を受付し、
前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、前記２次元構造の前記３次元空間位置に紐づけし、
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記紐づけされた前記３次元空間位置に表示されるように、前記３次元空間の画像を出力する、
３次元空間における入力受付および入力表示装置。
（付記１４）
前記ユーザ入力受付手段は、第１のユーザ入力受付手段、第２のユーザ入力受付手段、および第３のユーザ入力受付手段からなる群から選択される少なくとも一つを含み、
前記第１のユーザ入力受付手段は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記３次元空間への入力内容を、写像となるように、前記２次元構造の前記３次元空間位置に紐づけし、
前記第２のユーザ入力受付手段は、前記３次元空間への入力の受付において、さらに、前記３次元空間への入力内容に、中心点を設定し、前記３次元空間の画像における前記２次元構造の表示位置と、前記２次元構造の３次元空間位置とに基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転することにより前記３次元空間の画像の任意の表示方向に対して追随して表示されるように設定し、
前記第３のユーザ入力受付手段は、前記３次元空間への入力の受付において、さらに、前記受付された前記３次元空間への入力内容に、中心点を設定し、前記２次元構造の前記３次元空間位置に基づき、前記中心点を、前記２次元構造の前記３次元空間位置に紐づけし、且つ、前記３次元空間への入力内容が、前記中心点を中心に回転して前記２次元構造の面上に表示されるように設定する、
付記１３記載の装置。
（付記１５）
前記ユーザ入力受付手段は、前記ユーザの入力に応じて、前記第１のユーザ入力受付手段、前記第２のユーザ入力受付手段、および前記第３のユーザ入力受付手段のいずれかが実行される、付記１４記載の装置。
（付記１６）
前記２次元構造生成手段は、さらに、前記ユーザの入力に応じて、前記２次元構造を移動、および回転の少なくとも一方を行う、付記１３から１５のいずれかに記載の装置。
（付記１７）
前記２次元構造が、平面である、付記１３から１６のいずれかに記載の装置。
（付記１８）
前記２次元構造が、透過性を有する、付記１３から１７のいずれかに記載の装置。
（付記１９）
前記ユーザ入力受付手段は、前記３次元空間への入力の受付において、前記３次元空間の画像における前記２次元構造の表示位置に、複数の前記２次元構造の前記３次元空間位置が対応する場合に、いずれかの前記２次元構造の前記３次元空間位置を選択し、前記選択された前記２次元構造の前記３次元空間位置に、前記３次元空間への入力内容を紐づけする、付記１３から１８のいずれかに記載の装置。
（付記２０）
前記２次元構造生成手段は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わる場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記１３から１９のいずれかに記載の装置。
（付記２１）
前記２次元構造生成手段は、前記２次元構造と前記３次元空間に含まれるオブジェクトとが交わり、且つ、これらの交線が閉じており、且つ、前記２次元構造面からの前記オブジェクトの高さが所定値以下である場合、前記オブジェクトの表面を迂回するようにして前記２次元構造を生成する、付記２０記載の装置。
（付記２２）
前記３次元空間出力手段は、前記３次元空間への入力内容が、前記２次元構造面からの厚みを有して表示されるように、前記３次元空間の画像を出力する、付記１３から２１のいずれかに記載の装置。
（付記２３）
さらに、記憶手段を含み、
前記記憶手段は、前記３次元空間への入力内容と前記紐づけられた前記３次元空間位置とを記憶する、付記１３から２２のいずれかに記載の装置。
【産業上の利用可能性】
【0083】
本発明によれば、３次元空間における入力受付および入力表示を可能にするシステムを提供することができる。
【符号の説明】
【0084】
１０ 入力受付表示装置
１１ ３次元空間出力手段
１２ ２次元構造生成手段
１３ ユーザ入力受付手段
１１ ３次元空間出力手段
１２ ２次元構造生成手段
１３ ユーザ入力受付手段
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
