ホーム > 特許ランキング > 株式会社ネクステラス
知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ネクステラスの特許一覧 ▶ 西松建設株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024027840
(43)【公開日】2024-03-01
(54)【発明の名称】プログラム及びシミュレーター
(51)【国際特許分類】
G06T 19/00 20110101AFI20240222BHJP
G09B 9/04 20060101ALI20240222BHJP
G09B 9/05 20060101ALI20240222BHJP
G09B 19/16 20060101ALI20240222BHJP
【ＦＩ】
G06T19/00 300B
G09B9/04 Z
G09B9/05 E
G09B19/16
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022130977
(22)【出願日】2022-08-19
(71)【出願人】
【識別番号】520145702
【氏名又は名称】株式会社ネクステラス
(71)【出願人】
【識別番号】000195971
【氏名又は名称】西松建設株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】真柄 毅
(72)【発明者】
【氏名】松本 浩一
(72)【発明者】
【氏名】平野 享
(72)【発明者】
【氏名】引間 亮一
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050CA07
5B050EA12
5B050EA19
5B050EA27
5B050FA05
(57)【要約】
【課題】現実の建設機械、遠隔操縦装置及び模擬装置がなくとも、建設機械の操縦をユーザーに体験させられるプログラム及びシミュレーターを提供すること。
【解決手段】プログラム３２は、建設機械モデル８１を第１仮想空間８０内に設定する第１設定処理と、建設機械モデル８１を第１仮想空間８０内の第１視点８８の位置から見て得られた２次元テクスチャを生成する第１生成処理と、表示装置モデル９２を第２仮想空間９０内に設定する第２設定処理と、表示装置モデル９２を第２仮想空間９０内の第２視点９８の位置から見て得られた映像を生成する第２生成処理と、第１生成処理により生成された２次元テクスチャを、第２生成処理により生成された映像中の表示装置モデル９２に写像する写像処理と、をコンピューター３０に実行させる。
【選択図】図３
【解決手段】プログラム３２は、建設機械モデル８１を第１仮想空間８０内に設定する第１設定処理と、建設機械モデル８１を第１仮想空間８０内の第１視点８８の位置から見て得られた２次元テクスチャを生成する第１生成処理と、表示装置モデル９２を第２仮想空間９０内に設定する第２設定処理と、表示装置モデル９２を第２仮想空間９０内の第２視点９８の位置から見て得られた映像を生成する第２生成処理と、第１生成処理により生成された２次元テクスチャを、第２生成処理により生成された映像中の表示装置モデル９２に写像する写像処理と、をコンピューター３０に実行させる。
【選択図】図３
【特許請求の範囲】
【請求項1】
入力デバイスの出力信号により動作する第１仮想空間内の３次元の建設機械モデルが描画された第２仮想空間内の３次元の表示装置モデルをディスプレイデバイスに表示する仮想現実処理をコンピューターに実行させるプログラム。
【請求項2】
前記仮想現実処理が、
前記建設機械モデルを前記第１仮想空間内に設定する第１設定処理と、
前記建設機械モデルを前記第１仮想空間内の第１視点の位置から見て得られた２次元テクスチャを生成する第１生成処理と、
前記表示装置モデルを前記第２仮想空間内に設定する第２設定処理と、
前記表示装置モデルを前記第２仮想空間内の第２視点の位置から見て得られた映像を生成する第２生成処理と、
前記第１生成処理により生成された前記２次元テクスチャを、前記第２生成処理により生成された前記映像中の前記表示装置モデルに写像する写像処理と、
前記写像処理により前記２次元テクスチャが写像された前記映像を前記ディスプレイデバイスに表示する表示処理と、
を含む、請求項１に記載のプログラム。
前記建設機械モデルを前記第１仮想空間内に設定する第１設定処理と、
前記建設機械モデルを前記第１仮想空間内の第１視点の位置から見て得られた２次元テクスチャを生成する第１生成処理と、
前記表示装置モデルを前記第２仮想空間内に設定する第２設定処理と、
前記表示装置モデルを前記第２仮想空間内の第２視点の位置から見て得られた映像を生成する第２生成処理と、
前記第１生成処理により生成された前記２次元テクスチャを、前記第２生成処理により生成された前記映像中の前記表示装置モデルに写像する写像処理と、
前記写像処理により前記２次元テクスチャが写像された前記映像を前記ディスプレイデバイスに表示する表示処理と、
を含む、請求項１に記載のプログラム。
【請求項3】
前記第１設定処理が、
ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記建設機械モデルを前記第１仮想空間内において動作させる処理
を含む、請求項２に記載のプログラム。
ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記建設機械モデルを前記第１仮想空間内において動作させる処理
を含む、請求項２に記載のプログラム。
【請求項4】
前記第１設定処理が、
ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記第１視点の位置又はその視線の向きを変更する処理
を含む、請求項２又は３に記載のプログラム。
ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記第１視点の位置又はその視線の向きを変更する処理
を含む、請求項２又は３に記載のプログラム。
【請求項5】
前記第２設定処理が、
前記ディスプレイデバイスと一体に組まれた姿勢計測部によって計測された傾斜角に基づいて前記第２視点の位置及び視線の向きを設定する処理
を含む、請求項２又は３に記載のプログラム。
前記ディスプレイデバイスと一体に組まれた姿勢計測部によって計測された傾斜角に基づいて前記第２視点の位置及び視線の向きを設定する処理
を含む、請求項２又は３に記載のプログラム。
【請求項6】
前記第２設定処理が、
前記表示装置モデルとともに操縦室モデルを前記第２仮想空間内に設定する処理
を含み、
前記第２生成処理が、
前記表示装置モデルとともに前記操縦室モデルを前記第２視点の位置から見て得られた前記映像を生成する処理
を含む、請求項２又は３に記載のプログラム。
前記表示装置モデルとともに操縦室モデルを前記第２仮想空間内に設定する処理
を含み、
前記第２生成処理が、
前記表示装置モデルとともに前記操縦室モデルを前記第２視点の位置から見て得られた前記映像を生成する処理
を含む、請求項２又は３に記載のプログラム。
【請求項7】
前記第２設定処理が、
前記表示装置モデルとともに操縦レバーモデルを前記第２仮想空間内に設定する処理と、
ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記操縦レバーモデルを前記第２仮想空間内において傾動させる処理と、
を含み、
前記第２生成処理が、
前記表示装置モデルとともに前記操縦レバーモデルを前記第２視点の位置から見て得られた前記映像を生成する処理
を含む、請求項２又は３に記載のプログラム。
前記表示装置モデルとともに操縦レバーモデルを前記第２仮想空間内に設定する処理と、
ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記操縦レバーモデルを前記第２仮想空間内において傾動させる処理と、
を含み、
前記第２生成処理が、
前記表示装置モデルとともに前記操縦レバーモデルを前記第２視点の位置から見て得られた前記映像を生成する処理
を含む、請求項２又は３に記載のプログラム。
【請求項8】
前記第１設定処理が、
前記建設機械モデルとともに施工対象モデルを前記第１仮想空間内に設定する処理
を含み、
前記第１生成処理が、
前記建設機械モデルとともに前記施工対象モデルを前記第１視点の位置から見て得られた前記２次元テクスチャを生成する処理
を含む、請求項２又は３に記載のプログラム。
前記建設機械モデルとともに施工対象モデルを前記第１仮想空間内に設定する処理
を含み、
前記第１生成処理が、
前記建設機械モデルとともに前記施工対象モデルを前記第１視点の位置から見て得られた前記２次元テクスチャを生成する処理
を含む、請求項２又は３に記載のプログラム。
【請求項9】
入力デバイスの出力信号により動作する第１仮想空間内の３次元の建設機械モデルが描画された第２仮想空間内の３次元の表示装置モデルをディスプレイデバイスに表示する仮想現実処理を実行するコンピューターを備えるシミュレーター。
【請求項10】
前記仮想現実処理が、
前記建設機械モデルを前記第１仮想空間内に設定する第１設定処理と、
前記建設機械モデルを前記第１仮想空間内の第１視点の位置から見て得られた２次元テクスチャを生成する第１生成処理と、
前記表示装置モデルを前記第２仮想空間内に設定する第２設定処理と、
前記表示装置モデルを前記第２仮想空間内の第２視点の位置から見て得られた映像を生成する第２生成処理と、
前記第１生成処理により生成された前記２次元テクスチャを、前記第２生成処理により生成された前記映像中の前記表示装置モデルに写像する写像処理と、
前記写像処理により前記２次元テクスチャが写像された前記映像を前記ディスプレイデバイスに表示する表示処理と、
を含む、請求項９に記載のシミュレーター。
前記建設機械モデルを前記第１仮想空間内に設定する第１設定処理と、
前記建設機械モデルを前記第１仮想空間内の第１視点の位置から見て得られた２次元テクスチャを生成する第１生成処理と、
前記表示装置モデルを前記第２仮想空間内に設定する第２設定処理と、
前記表示装置モデルを前記第２仮想空間内の第２視点の位置から見て得られた映像を生成する第２生成処理と、
前記第１生成処理により生成された前記２次元テクスチャを、前記第２生成処理により生成された前記映像中の前記表示装置モデルに写像する写像処理と、
前記写像処理により前記２次元テクスチャが写像された前記映像を前記ディスプレイデバイスに表示する表示処理と、
を含む、請求項９に記載のシミュレーター。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム及びシミュレーターに関する。
【背景技術】
【0002】
特許文献１には、建設機械を遠隔操縦するためのシステムが開示されている。操縦室が作業現場の建設機械から離れた場所にあり、リモートコントローラー及びディスプレイがその操縦室に設置されている。作業現場のカメラが建設機械を撮影し、その撮影映像がディスプレイに表示される。操縦者は、ディスプレイを見ながら、リモートコントローラーを用いて建設機械を遠隔操縦する。
【0003】
ところが、映像信号及び操作信号が即座に伝送されることはなく、それらの信号の伝送には時間を要する。そのため、撮影映像は作業現場における撮影時刻から遅延してディスプレイに表示され、建設機械は操縦室における操作時刻から遅延して動作する。そのような課題を解決するために、特許文献２に開示の技術が提案されている。
【0004】
また、映像信号が伝送中に劣化し、ディスプレイに表示される映像が乱れる。そのような課題を解決するために、特許文献３に開示の技術が提案されている。
【0005】
また、操縦者がリモートコントローラーを通じた建設機械の操縦に集中するあまり、建設機械の異常な傾斜に気づかず、建設機械を誤って転倒させてしまうことがある。そのような課題を解決するために、特許文献４に開示の技術が開示されている。
【0006】
しかしながら、特許文献１乃至４の存在によっても、建設機械の遠隔操縦では、実機搭乗での操縦に比較して操縦者が受取る情報量は少なく、応答性も異なるなどの、操縦感覚上の特徴は解消しない。ゆえに、建設機械の遠隔操縦に携わるには、前記特徴を新たに会得する練習が不可欠となっている。
【0007】
前記練習は、本番と同じ遠隔操縦システムと、これによりリモートコントロールされる本番と同じ建設機械、及び、該建設機械が練習動作を行えて多少の失敗も安全に許される空間の、三点を準備できることが理想である。しかしリモートコントロールされる本番と同じ建設機械はまだしも、建設機械が安全に練習動作できる空間を常時用意することは経済的に難しい。せいぜい本番の工事を受注して現地乗込んだ後の段階に、試験施工と称して施主の了解を得たうえで、不自由で限定的な練習を行う状況にあった。
【0008】
いっぽう、建設機械の自由な練習空間を確保するための手段として模擬装置が用いられている。模擬装置は、建設機械の操縦室及び操縦レバーを模したものであって、ディスプレイに映る仮想的な建設機械モデルの操縦を実際の建設機械の操縦と同じ条件で再現できるようにしたものである。この模擬装置の構成は、遠隔操縦システムにも適用可能であり、具体的には、遠隔操縦室及び操縦レバーは模擬装置のままに、ディスプレイに映る操作対象を前記建設機械モデルから実機に差替えることにより、遠隔操縦システムが実現される。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開２０１６－０７２７２７号公報
【特許文献2】特開２０１７－０９２９０８号公報
【特許文献3】特開２０１８－０２１３９５号公報
【特許文献4】特開２０１８－１４２１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
特許文献１～４に開示の技術では、建設機械及び遠隔操縦装置を準備する必要があり、その準備に多大なコスト、時間及び労力を要する。模擬装置を用いた技術でも、模擬装置の準備に多大なコスト、時間及び労力を要する。ここでいう遠隔操縦装置とは、遠隔操縦室と、リモートコントローラーと、建設機械と、建設機械の作業空間周辺に複数設置したカメラと、カメラで撮影された映像を映出すとともに遠隔操縦室に設置されたディスプレイと、該ディスプレイへの映像伝送のための通信設備とを有するものである。ここでいう模擬装置とは、模擬的操縦室と、模擬的リモートコントローラーと、計算機で構築した仮想現実の練習空間と、該練習空間内の建設機械モデルと、該建設機械モデルおよび練習空間に配置した仮想カメラ視点の仮想現実風景を映出すディスプレイとを有するものである。
そこで、本発明の目的は、現実の建設機械と遠隔操縦装置、あるいは、遠隔操縦を模した模擬装置、これらどちらも用意ができないケースでも、建設機械の遠隔操縦練習をユーザーに実施できるプログラム及びシミュレーターを提供することである。
そこで、本発明の目的は、現実の建設機械と遠隔操縦装置、あるいは、遠隔操縦を模した模擬装置、これらどちらも用意ができないケースでも、建設機械の遠隔操縦練習をユーザーに実施できるプログラム及びシミュレーターを提供することである。
【課題を解決するための手段】
【0011】
以上の課題を解決するための本発明の第１の側面によれば、プログラムが、入力デバイスの出力信号により動作する第１仮想空間内の３次元の建設機械モデルが描画された第２仮想空間内の３次元の表示装置モデルをディスプレイデバイスに表示する仮想現実処理をコンピューターに実行させる。
【0012】
本発明の第２の側面によれば、前記仮想現実処理が、前記建設機械モデルを前記第１仮想空間内に設定する第１設定処理と、前記建設機械モデルを前記第１仮想空間内の第１視点の位置から見て得られた２次元テクスチャを生成する第１生成処理と、前記表示装置モデルを前記第２仮想空間内に設定する第２設定処理と、前記表示装置モデルを前記第２仮想空間内の第２視点の位置から見て得られた映像を生成する第２生成処理と、前記第１生成処理により生成された前記２次元テクスチャを、前記第２生成処理により生成された前記映像中の前記表示装置モデルに写像する写像処理と、前記写像処理により前記２次元テクスチャが写像された前記映像を前記ディスプレイデバイスに表示する表示処理と、を含む。
【0013】
本発明の第３の側面によれば、前記第１設定処理が、ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記建設機械モデルを前記第１仮想空間内において動作させる処理を含む。
【0014】
本発明の第４の側面によれば、前記第１設定処理が、ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記第１視点の位置又はその視線の向きを変更する処理を含む。
【0015】
本発明の第５の側面によれば、前記第２設定処理が、前記ディスプレイデバイスと一体に組まれた姿勢計測部によって計測された傾斜角に基づいて前記第２視点の位置及び視線の向きを設定する処理を含む。
【0016】
本発明の第６の側面によれば、前記第２設定処理が、前記表示装置モデルとともに操縦室モデルを前記第２仮想空間内に設定する処理を含み、前記第２生成処理が、前記表示装置モデルとともに前記操縦室モデルを前記第２視点の位置から見て得られた前記映像を生成する処理を含む。
【0017】
本発明の第７の側面によれば、前記第２設定処理が、前記表示装置モデルとともに操縦レバーモデルを前記第２仮想空間内に設定する処理と、ユーザーが前記入力デバイスを通じて入力したコマンド又は情報に基づいて前記操縦レバーモデルを前記第２仮想空間内において傾動させる処理と、を含み、前記第２生成処理が、前記表示装置モデルとともに前記操縦レバーモデルを前記第２視点の位置から見て得られた前記映像を生成する処理を含む。
【0018】
本発明の第８の側面によれば、前記第１設定処理が、前記建設機械モデルとともに施工対象モデルを前記第１仮想空間内に設定する処理を含み、前記第１生成処理が、前記建設機械モデルとともに前記施工対象モデルを前記第１視点の位置から見て得られた前記２次元テクスチャを生成する処理を含む。
【0019】
本発明の第９の側面によれば、シミュレーターが、前記コンピューターを備える。
【発明の効果】
【0020】
本発明によれば、現実の建設機械と遠隔操縦装置、あるいは、遠隔操縦を模した模擬装置、これらどちらも用意ができないケースでも、建設機械の遠隔操縦練習をユーザーに実施できるプログラム及びシミュレーターを提供できる。提供の効果として遠隔操縦練習の任意実施性、経済性が高まり、遠隔操縦の操縦者養成が効率的かつ経済的に実施できるようになる。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
以下、図面を参照して、実施形態について説明する。ただし、本発明の範囲は、以下に開示された実施形態に限定されない。図面は例示のみのために提供されるため、本発明の範囲は図面の例示に限定されない。
【0023】
［１． 概要］
図１は、現実の空間５を示す図面である。図２は、３次元の第１仮想空間８０を示す図面である。図３は、３次元の第２仮想空間９０を示す図面である。図４は、現実のシミュレーター１のブロック図である。
図１は、現実の空間５を示す図面である。図２は、３次元の第１仮想空間８０を示す図面である。図３は、３次元の第２仮想空間９０を示す図面である。図４は、現実のシミュレーター１のブロック図である。
【0024】
【0025】
図２に示すように、建設機械モデル８１及び施工対象モデル８２が第１仮想空間８０に存在する。建設機械モデル８１及び施工対象モデル８２は、コンピューター３０による演算処理上において第１仮想空間８０内に設定されて作成された仮想的且つ模擬的なものである。建設機械モデル８１は、建設機械、特に掘削機をモデル化したものである。施工対象モデル８２は、施工対象としてのトンネルをモデル化したものである。建設機械モデル８１及び施工対象モデル８２はポリゴンモデル、ワイヤフレームモデル、ソリッドモデル又はポイントクラウドモデルであるか、これらのモデルのうち２以上の組み合わせである。
【0026】
建設機械モデル８１は、本体モデル８１ａ、ブームモデル８１ｂ及びボーリングビットモデル８１ｃを有する。本体モデル８１ａは、建設機械の本体及び走行体をモデル化したものである。ブームモデル８１ｂは、建設機械のブームをモデル化したものである。ボーリングビットモデル８１ｃは、建設機械のボーリングビットをモデル化したものである。ブームモデル８１ｂが本体モデル８１ａの前端に結合され、ボーリングビットモデル８１ｃがブームモデル８１ｂの先端に結合される。
【0027】
施工対象モデル８２は、施工対象としてのトンネルをモデル化したものである。施工対象モデル８２は、内壁・床部分８２ａ及び切羽部分８２ｂを有する。内壁・床部分８２ａは、トンネルの内壁及び床をモデル化したものである。切羽部分８２ｂは、トンネルの突き当たりとなる切羽をモデル化したものである。切羽部分８２ｂは、内壁・床部分８２ａの前端に結合されている。
【0028】
図３に示すように、操縦室モデル９１、複数の表示装置モデル９２及び複数の操縦レバーモデル９３が第２仮想空間９０に存在する。第２仮想空間９０内の表示装置モデル９２、操縦レバーモデル９３及び操縦室モデル９１は、コンピューター３０による演算処理上において設定されて作成された仮想的且つ模擬的なものである。表示装置モデル９２は、フラットパネルディスプレイ装置をモデル化したものである。操縦レバーモデル９３は、建設機械のコックピット内に設置される操縦レバーをモデル化したものである。操縦室モデル９１は、建設機械のコックピットの内装をモデル化したものである。操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３を有するモデルは、建設機械の模擬装置及び遠隔操縦装置をモデル化したものである。
【0029】
第２仮想空間９０内の表示装置モデル９２、操縦レバーモデル９３及び操縦室モデル９１は、コンピューター３０を用いた３次元コンピューターグラフィックスの技術により表示装置１０に描画（render）される。表示装置モデル９２が表示装置１０に描画される際には、その表示装置モデル９２が２次元であるところ、第１仮想空間８０内の建設機械モデル８１及び施工対象モデル８２が２次元の表示装置モデル９２に写像（map）される。
【0030】
ユーザー８が現実の空間５において表示装置１０の表示を見ながら、入力デバイス２０を使用して第１仮想空間８０内の建設機械モデル８１及び第２仮想空間９０内の操縦レバーモデル９３を操縦する。そうすると、コンピューター３０が、入力デバイス２０から転送された信号に従ってコンピューター３０の演算処理上において第１仮想空間８０内の建設機械モデル８１を動作させるとともに、入力デバイス２０から転送された信号に従ってコンピューター３０の演算処理上において第２仮想空間９０内の操縦レバーモデル９３を動作させる。ユーザー８は、表示装置１０を通じて建設機械の模擬装置の操縦を仮想現実的に体験できる上、表示装置１０及び表示装置モデル９２を通じて建設機械の操縦を仮想現実的に体験できる。特に、ユーザー８は、建設機械の遠隔操縦を仮想現実的に体験できる。
【0031】
建設機械モデル８１の動作とは、次の（１）～（３）のことをいう。次の（１）～（３）の何れかの動作が単独に行われてもよいし、次の（１）～（３）のうち２以上の動作が組み合わせて行われてもよい。
（１） 建設機械モデル８１が全体的に第１仮想空間８０内にて移動すること
（２） ブームモデル８１ｂが本体モデル８１ａに対して相対的に第１仮想空間８０内にて傾動するとともに、ボーリングビットモデル８１ｃがブームモデル８１ｂの先端に追従すること
（３） ボーリングビットモデル８１ｃがブームモデル８１ｂに対して相対的に第１仮想空間８０内にて回転すること
（１） 建設機械モデル８１が全体的に第１仮想空間８０内にて移動すること
（２） ブームモデル８１ｂが本体モデル８１ａに対して相対的に第１仮想空間８０内にて傾動するとともに、ボーリングビットモデル８１ｃがブームモデル８１ｂの先端に追従すること
（３） ボーリングビットモデル８１ｃがブームモデル８１ｂに対して相対的に第１仮想空間８０内にて回転すること
【0032】
操縦レバーモデル９３の動作とは、操縦レバーモデル９３が第２仮想空間９０内にて傾動することをいう。
【0033】
第１仮想空間８０における位置及びベクトルを表現する座標系を第１ワールド座標系といい、第２仮想空間９０における位置及びベクトルを表現する座標系を第２ワールド座標系という。これらワールド座標系のことを絶対座標系ともいう。第１ワールド座標系は互いに直交するＸ１軸、Ｙ１軸及びＺ１軸によって定義され、第１仮想空間８０における位置及びベクトルはＸ１座標、Ｙ１座標、Ｚ１座標によって表される。第２ワールド座標系は互いに直交するＸ２軸、Ｙ２軸及びＺ２軸によって定義され、第２仮想空間９０における位置及びベクトルはＸ２座標、Ｙ２座標、Ｚ２座標によって表される。
【0034】
［２． 現実のシミュレーター］
上述のように、シミュレーター１は表示装置１０、入力デバイス２０及びコンピューター３０を備える。以下、これらについて詳細に説明する。
上述のように、シミュレーター１は表示装置１０、入力デバイス２０及びコンピューター３０を備える。以下、これらについて詳細に説明する。
【0035】
［２－１． 表示装置］
表示装置１０は、ユーザー８の頭部に装着されるヘッドマウントディスプレイ装置である。表示装置１０は、頭部装着具、インターフェース回路１１、姿勢計測部１２及び１体又は２体のディスプレイデバイス１３を有する。
表示装置１０は、ユーザー８の頭部に装着されるヘッドマウントディスプレイ装置である。表示装置１０は、頭部装着具、インターフェース回路１１、姿勢計測部１２及び１体又は２体のディスプレイデバイス１３を有する。
【0036】
頭部装着具は、ユーザー８の眼の前に配置されるようにユーザー８の頭部に装着される装着具である。頭部装着具は、例えばゴーグル、眼鏡、サングラス、眼鏡フレーム、サングラスフレーム、アイマスク及び眼帯等のような装着具を含む。インターフェース回路１１、姿勢計測部１２及びディスプレイデバイス１３は頭部装着具に取り付けられている。これにより、インターフェース回路１１、姿勢計測部１２、ディスプレイデバイス１３及び頭部装着具は一体に組まれている。
【0037】
姿勢計測部１２は、表示装置１０の姿勢、つまりロール角、ピッチ角及びヨー角を計測し、ロール角、ピッチ角及びヨー角の計測値を含む計測信号をインターフェース回路１１を通じてコンピューター３０に転送する。ロール角は、前後軸の回りの傾斜角のことをいう。ピッチ角は、左右軸の回りの傾斜角のことをいう。ヨー角は、上下軸の回りの傾斜角をいう。姿勢計測部１２は、例えば３次元傾斜センサー及び３次元ジャイロ等のようなセンサーを含む。
【0038】
ディスプレイデバイス１３の数が１である場合、このディスプレイデバイス１３は両目用である。ディスプレイデバイス１３の数が２である場合、一方のディスプレイデバイス１３が左目用であり、他方のディスプレイデバイス１３が右目用である。ディスプレイデバイス１３は、コンピューター３０からインターフェース回路１１を通じてディスプレイデバイス１３に転送された映像信号に従った映像を表示する。
【0039】
インターフェース回路１１は、姿勢計測部１２から計測信号を入力するとともに、その計測信号を所定のプロトコルに従ってコンピューター３０へ出力する。インターフェース回路１１は、コンピューター３０から映像信号を入力するとともに、その映像信号を所定のプロトコルに従ってディスプレイデバイス１３へ出力する。
【0040】
なお、表示装置１０は、頭部に装着されずに据え置かれる液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ又はプロジェクターであってもよい。この場合、表示装置１０は姿勢計測部１２を有さなくてもよく、また表示装置１０は１体のディスプレイデバイス１３を有する。
【0041】
［２－２． 入力デバイス］
入力デバイス２０は、例えばボタン、キー、ジョイスティック、ゲームパッド、マウス、トラックボール、スタライス、タッチパネル、タッチパッド及びキーボードのうち１以上のデバイスを有する。入力デバイス２０は、ユーザー８によって操作されることによってその操作に応じた出力信号をコンピューター３０に入力する。これにより、ユーザー８は、入力デバイス２０を通じてコンピューター３０にコマンド及び情報を入力し得る。
入力デバイス２０は、例えばボタン、キー、ジョイスティック、ゲームパッド、マウス、トラックボール、スタライス、タッチパネル、タッチパッド及びキーボードのうち１以上のデバイスを有する。入力デバイス２０は、ユーザー８によって操作されることによってその操作に応じた出力信号をコンピューター３０に入力する。これにより、ユーザー８は、入力デバイス２０を通じてコンピューター３０にコマンド及び情報を入力し得る。
【0042】
［２－３． コンピューター］
コンピューター３０は、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ、インターフェースデバイス及び記憶装置３１等を有する。記憶装置３１は、半導体メモリ又はハードディスクドライブを有する。オペレーションシステム（以下、ＯＳという。）が記憶装置３１に格納されることによって、ＯＳがコンピューター３０にインストールされている。コンピューター３０は、記憶装置３１からＯＳをＣＰＵに読み取らせて、ＲＡＭを記憶領域又は作業領域として、ＯＳをＣＰＵにより実行することによってＯＳを動作させる。ＯＳの動作中、コンピューター３０は、ＧＰＵ、ＲＡＭ、ＲＯＭ、インターフェースデバイス、記憶装置３１及び表示装置１０をＯＳ上でＣＰＵにより管理するとともに動作させる。
コンピューター３０は、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ、インターフェースデバイス及び記憶装置３１等を有する。記憶装置３１は、半導体メモリ又はハードディスクドライブを有する。オペレーションシステム（以下、ＯＳという。）が記憶装置３１に格納されることによって、ＯＳがコンピューター３０にインストールされている。コンピューター３０は、記憶装置３１からＯＳをＣＰＵに読み取らせて、ＲＡＭを記憶領域又は作業領域として、ＯＳをＣＰＵにより実行することによってＯＳを動作させる。ＯＳの動作中、コンピューター３０は、ＧＰＵ、ＲＡＭ、ＲＯＭ、インターフェースデバイス、記憶装置３１及び表示装置１０をＯＳ上でＣＰＵにより管理するとともに動作させる。
【0043】
プログラム３２が記憶装置３１に格納されることによって、プログラム３２がコンピューター３０にインストールされている。コンピューター３０は、ＯＳ上で、プログラム３２をＣＰＵ及びＧＰＵにより実行する。
【0044】
建設機械モデルデータ３３が記憶装置３１に格納されている。建設機械モデルデータ３３はＣＰＵ及びＧＰＵに読み取り可能なデータである。建設機械モデルデータ３３は、建設機械モデル８１を設定するための３次元形状データである。建設機械モデルデータ３３は本体モデルデータ３３ａ、ブームモデルデータ３３ｂ及びボーリングビットモデルデータ３３ｃを有する。
【0045】
本体モデルデータ３３ａは、本体モデル８１ａの設定のために、本体モデル８１ａを構成する複数の点、線、面及びベクトルを３次元のローカル座標系により表現する３次元形状データを有する。ローカル座標系とは、個々のモデルがもつ座標系のことをいう。ローカル座標系のことを相対座標系、個別座標系又はオブジェクト座標系ともいう。ローカル座標系は、互いに直交するｘ軸、ｙ軸及びｚ軸によって定義され、ローカル座標系における位置はｘ座標、ｙ座標、ｚ座標によって表される。
【0046】
ブームモデルデータ３３ｂは、ブームモデル８１ｂの設定のために、ブームモデル８１ｂを構成する複数の点、線、面及びベクトルを３次元のローカル座標系で表現する３次元形状データを有する。更に、ブームモデルデータ３３ｂは、ブームモデル８１ｂを本体モデルデータ３３ａに結合するための節点を本体モデル８１ａにおけるローカル座標系で表現する節点データを有する。
【0047】
ボーリングビットモデルデータ３３ｃは、ボーリングビットモデル８１ｃの設定のために、ボーリングビットモデル８１ｃを構成する複数の点、線、面及びベクトルを３次元のローカル座標系により表現する３次元形状データを有する。更に、ブームモデルデータ３３ｂは、ボーリングビットモデル８１ｃをブームモデル８１ｂに結合するための節点をブームモデル８１ｂにおけるローカル座標系で表現する節点データを有する。
【0048】
施工対象モデルデータ３４が記憶装置３１に格納されている。施工対象モデルデータ３４はＣＰＵ及びＧＰＵに読み取り可能なデータである。施工対象モデルデータ３４は、施工対象モデル８２、つまり内壁・床部分８２ａ及び切羽部分８２ｂの設定のために、施工対象モデル８２を構成する複数の点、線、面及びベクトルをローカル座標系で表現する３次元形状データを有する。施工対象モデルデータ３４は、第１仮想空間８０における施工対象モデル８２の位置及び姿勢を定めて操縦室モデル９１を第２仮想空間９０に配置するために、操縦室モデル９１の座標系をローカル座標系から第２ワールド座標系に変換する座標変換マトリクスを有する。
【0049】
操縦室モデルデータ３５が記憶装置３１に格納されている。操縦室モデルデータ３５はＣＰＵ及びＧＰＵに読み取り可能なデータである。操縦室モデルデータ３５は、操縦室モデル９１の設定のために、操縦室モデル９１を構成する複数の点、線、面及びベクトルをローカル座標系で表現する３次元形状データを有する。操縦室モデルデータ３５は、第２仮想空間９０における操縦室モデル９１の位置及び姿勢を定めて操縦室モデル９１を第２仮想空間９０に配置するために、操縦室モデル９１の座標系をローカル座標系から第２ワールド座標系に変換する座標変換マトリクスを有する。
【0050】
表示装置モデルデータ３６が記憶装置３１に格納されている。表示装置モデルデータ３６はＣＰＵ及びＧＰＵに読み取り可能なデータである。表示装置モデルデータ３６は、それぞれの表示装置モデル９２の設定するために、それぞれの表示装置モデル９２を構成する複数の点、線、面及びベクトルをローカル座標系で表現する３次元形状データを有する。表示装置モデルデータ３６は、第２仮想空間９０における表示装置モデル９２の位置及び姿勢を定めて表示装置モデル９２を第２仮想空間９０に配置するために、表示装置モデル９２の座標系をローカル座標系から第２ワールド座標系に変換する座標変換マトリクスを有する。
【0051】
操縦レバーモデルデータ３７が記憶装置３１に格納されている。操縦レバーモデルデータ３７はＣＰＵ及びＧＰＵに読み取り可能なデータである。操縦レバーモデルデータ３７は、操縦レバーモデル９３の設定のために、それぞれの操縦レバーモデル９３を構成する複数の点、線、面及びベクトルをローカル座標系で表現する３次元形状データを有する。操縦レバーモデルデータ３７は、操縦レバーモデル９３を操縦室モデル９１に結合するための節点を第２ワールド座標系で表現する節点データを有する。
【0052】
［２－４． プログラムに従ったコンピューターの処理手順］
コンピューター３０は、プログラム３２に従って以下のような処理をＣＰＵ及びＧＰＵにより実行する。
コンピューター３０は、プログラム３２に従って以下のような処理をＣＰＵ及びＧＰＵにより実行する。
【0053】
（１） 第１仮想空間における建設機械モデル及び施工対象モデルの設定
コンピューター３０は、施工対象モデルデータ３４に従って、施工対象モデル８２を第１仮想空間８０に設定する。
コンピューター３０は、施工対象モデルデータ３４に従って、施工対象モデル８２を第１仮想空間８０に設定する。
【0054】
コンピューター３０は、本体モデルデータ３３ａ、ブームモデルデータ３３ｂ及びボーリングビットモデルデータ３３ｃの３次元形状データに従って、本体モデル８１ａ、ブームモデル８１ｂ及びボーリングビットモデル８１ｃをそれぞれのローカル座標系の３次元ローカル空間に設定する。
【0055】
コンピューター３０は、ボーリングビットモデルデータ３３ｃの節点データと入力デバイス２０の出力信号（つまり、ユーザー８が入力デバイス２０を通じて入力したコマンド又は情報）とに基づいた座標変換マトリクスを用いて、ボーリングビットモデル８１ｃの座標系をボーリングビットモデル８１ｃのローカル座標系からブームモデル８１ｂのローカル座標系に変換する。これにより、ボーリングビットモデル８１ｃ及びブームモデル８１ｂが同一の３次元ローカル空間に設定され、ボーリングビットモデル８１ｃが節点を介してブームモデル８１ｂに結合される。ここで、ブームモデル８１ｂに対するボーリングビットモデル８１ｃの相対的な姿勢が入力デバイス２０の出力信号に基づいて決まるように、ボーリングビットモデル８１ｃの座標系をボーリングビットモデル８１ｃのローカル座標系からブームモデル８１ｂのローカル座標系に変換するための座標変換マトリクスは、コンピューター３０が入力デバイス２０の出力信号に基づいて算出したものである。従って、ユーザー８が入力デバイス２０を操作することによってボーリングビットモデル８１ｃの回転の指令をコンピューター３０に入力すれば、ボーリングビットモデル８１ｃの姿勢が変化してボーリングビットモデル８１ｃが回転する。
【0056】
コンピューター３０は、ブームモデルデータ３３ｂの節点データと入力デバイス２０の出力信号とに基づいた座標変換マトリクスを用いて、ブームモデル８１ｂ及びボーリングビットモデル８１ｃの座標系をブームモデル８１ｂのローカル座標系から本体モデル８１ａのローカル座標系に変換する。これにより、ボーリングビットモデル８１ｃ、ブームモデル８１ｂ及び本体モデル８１ａが同一の３次元ローカル空間に設定され、ブームモデル８１ｂが本体モデル８１ａに結合される。ここで、本体モデル８１ａに対するブームモデル８１ｂの相対的な姿勢が入力デバイス２０の出力信号に基づいて決まるように、ブームモデル８１ｂ及びボーリングビットモデル８１ｃの座標系をブームモデル８１ｂのローカル座標系から本体モデル８１ａのローカル座標系に変換するための座標変換マトリクスは、コンピューター３０が入力デバイス２０の出力信号に基づいて算出したものである。従って、ユーザー８が入力デバイス２０を操作することによってブームモデル８１ｂの傾動の指令をコンピューター３０に入力すれば、ブームモデル８１ｂの姿勢が変化してブームモデル８１ｂが傾動する。ボーリングビットモデル８１ｃは、ブームモデル８１ｂの傾動に従いブームモデル８１ｂの先端に追従する。
【0057】
コンピューター３０は、入力デバイス２０の出力信号に基づいた座標変換マトリクスを用いて、本体モデル８１ａ、ブームモデル８１ｂ及びボーリングビットモデル８１ｃの座標系を本体モデル８１ａのローカル座標系から第１ワールド座標系に変換する。これにより、本体モデル８１ａ、ボーリングビットモデル８１ｃ及びブームモデル８１ｂが第１仮想空間８０に設定される。ここで、第１仮想空間８０における本体モデル８１ａの位置及び姿勢が入力デバイス２０の出力信号に基づいて決まるように、本体モデル８１ａ、ブームモデル８１ｂ及びボーリングビットモデル８１ｃの座標系をローカル座標系から第１ワールド座標系に座標変換するための座標変換マトリクスは、コンピューター３０が入力デバイス２０の出力信号に基づいて算出したものである。従って、ユーザー８が入力デバイス２０を操作することによって本体モデル８１ａの移動の指令をコンピューター３０に入力すれば、本体モデル８１ａが変位して移動する。ブームモデル８１ｂは、本体モデル８１ａの移動に従い本体モデル８１ａに追従する。ボーリングビットモデル８１ｃは、本体モデル８１ａの移動に従いブームモデル８１ｂの先端に追従する。
【0058】
以上のように施工対象モデル８２及び建設機械モデル８１が第１仮想空間８０に設定されることによって、建設機械モデル８１が施工対象モデル８２の内壁・床部分８２ａの内側に配置される。また、ユーザー８が入力デバイス２０を操作することによって建設機械モデル８１の動作の指令をコンピューター３０に入力すれば、建設機械モデル８１が施工対象モデル８２の内壁・床部分８２ａの内側において動作する。ここで、建設機械モデル８１の動作とは、上述のようにボーリングビットモデル８１ｃの回転、ブームモデル８１ｂの傾動及び本体モデル８１ａの移動のことである。
【0059】
（２） ２次元テクスチャの生成
コンピューター３０は、第１仮想空間８０内の施工対象モデル８２及び建設機械モデル８１を互いに異なる位置から見て得られた複数の２次元テクスチャを生成する。複数の２次元テクスチャには、施工対象モデル８２及び建設機械モデル８１が描画されている。以下、２次元テクスチャの生成について詳細に説明する。
コンピューター３０は、第１仮想空間８０内の施工対象モデル８２及び建設機械モデル８１を互いに異なる位置から見て得られた複数の２次元テクスチャを生成する。複数の２次元テクスチャには、施工対象モデル８２及び建設機械モデル８１が描画されている。以下、２次元テクスチャの生成について詳細に説明する。
【0060】
コンピューター３０は、複数の表示装置モデル９２にそれぞれ対応する複数の視点８８を第１仮想空間８０に設定する。具体的には、コンピューター３０は、第１仮想空間８０における視点８８の位置、視線ベクトル及び上向きベクトルを視点８８ごとに設定することによって、視点８８の位置、視線ベクトル及び上向きベクトルによって定められる第１ビュー変換マトリクスを視点８８ごとに設定する。
【0061】
コンピューター３０は、視点８８ごとの第１ビュー変換マトリクスを用いて、施工対象モデル８２及び建設機械モデル８１の座標系を第１ワールド座標系から第１ビュー座標系に視点８８ごとに変換する。第１ビュー座標系に関しては、第１ビュー座標系の原点が視点８８の位置であり、その第１ビュー座標系を定義する直交三軸のうちＸ３軸及びＹ３軸に平行な平面が視点８８の視線ベクトルに対して直交し、Ｙ３軸が視点８８の上向きベクトルに対して平行であり、Ｚ３軸が視点８８の視線ベクトルに対して平行である。
【0062】
コンピューター３０は、施工対象モデル８２及び建設機械モデル８１を視点８８の視線ベクトルに垂直な第１平面に視点８８ごとに透視投影するよう、施工対象モデル８２及び建設機械モデル８１の座標系を３次元の第１ビュー座標系から２次元の第１直交座標系に視点８８ごとに変換する。透視投影の際、コンピューター３０が隠線処理を実行する。
【0063】
コンピューター３０は、２次元の第１直交座標系における２次元の施工対象モデル８２及び建設機械モデル８１のレンダリング処理を行うことによって、施工対象モデル８２及び建設機械モデル８１をラスタライズ化する。これにより、施工対象モデル８２及び建設機械モデル８１をラスタライズ化して得られた２次元テクスチャが視点８８ごとに生成される。２次元テクスチャは、視点８８ごとに視点８８に対応づけられ、これにより表示装置モデル９２ごとに表示装置モデル９２に対応づけられる。２次元テクスチャには、施工対象モデル８２及び建設機械モデル８１が描画されている。
【0064】
なお、ユーザー８が入力デバイス２０を操作することによって建設機械モデル８１の動作の指令をコンピューター３０に入力すれば、建設機械モデル８１が第２仮想空間９０内にて動作する。そのため、２次元テクスチャが時間経過に伴い更新されると、２次元テクスチャに描画される建設機械モデル８１が時間経過に伴い動作する。
【0065】
ユーザー８が入力デバイス２０を操作することによて視点８８の位置、視線ベクトル又は上向きベクトルの変更をコンピューター３０に入力すれば、コンピューター３０が視点８８の位置、視線ベクトル又は上向きベクトルを変更する。そのため、２次元テクスチャが時間経過に伴い更新されると、現実の建設機械を撮影する現実のカメラの位置及び向きの変更と同等の効果が得られる。
【0066】
なお、コンピューター３０が、建設機械モデル８１の操縦のためのガイダンスを２次元テクスチャに合成してもよい。ガイダンスとは、施工対象の完成状態を図面、記号又は数値で表したもの、或いは建設機械モデル８１の移動先を案内又はアドバイスするための図面、記号、文字又は数値をいう。
【0067】
（３） 第２仮想空間における操縦室モデル、表示装置モデル及び操縦レバーモデルの設定
コンピューター３０は、操縦室モデルデータ３５に従って、操縦室モデル９１を第２仮想空間９０に設定する。
コンピューター３０は、操縦室モデルデータ３５に従って、操縦室モデル９１を第２仮想空間９０に設定する。
【0068】
コンピューター３０は、表示装置モデルデータ３６の３次元形状データに従って、表示装置モデル９２をそのローカル座標系の３次元ローカル空間に設定する。コンピューター３０は、表示装置モデルデータ３６の座標変換マトリクスに基づいて、表示装置モデル９２を表示装置モデル９２のローカル座標系から第２ワールド座標系に座標変換する。これにより、コンピューター３０は、表示装置モデル９２を第２仮想空間９０に設定する。
【0069】
コンピューター３０は、操縦レバーモデルデータ３７の３次元形状データに従って、操縦レバーモデル９３をそのローカル座標系の３次元ローカル空間に設定する。コンピューター３０は、操縦レバーモデルデータ３７の節点データと入力デバイス２０の出力信号とに基づいた座標変換マトリクスを用いて、操縦レバーモデル９３を操縦レバーモデル９３のローカル座標系から第２ワールド座標系に座標変換する。これにより、コンピューター３０は、操縦レバーモデル９３を第２仮想空間９０に設定する。第２仮想空間９０における操縦レバーモデル９３の姿勢が入力デバイス２０の出力信号に基づいて決まるように、操縦レバーモデル９３をそのローカル座標系から第２ワールド座標系に座標変換するための座標変換マトリクスは、コンピューター３０が入力デバイス２０の出力信号に基づいて算出したものである。従って、ユーザー８が入力デバイス２０を操作することによって操縦レバーモデル９３の傾動の指令をコンピューター３０に入力すれば、操縦レバーモデル９３の姿勢が変化して、操縦レバーモデル９３が傾動する。なお、操縦レバーモデル９３の傾動は、建設機械モデル８１の動作に連動する。
【0070】
（４） 映像の生成
コンピューター３０は、第２仮想空間９０内の操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３を所定の位置から見て得られた映像を生成する。ディスプレイデバイス１３の数が２である場合、コンピューター３０は２つの映像を生成する。映像には、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３が描画されている。以下、映像の生成について詳細に説明する。
コンピューター３０は、第２仮想空間９０内の操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３を所定の位置から見て得られた映像を生成する。ディスプレイデバイス１３の数が２である場合、コンピューター３０は２つの映像を生成する。映像には、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３が描画されている。以下、映像の生成について詳細に説明する。
【0071】
コンピューター３０は、姿勢計測部１２の計測信号に基づいて、ディスプレイデバイス１３の同数の視点９８を設定する。具体的には、コンピューター３０は、第２仮想空間９０における視点９８の位置、視線ベクトル及び上向きベクトルを設定することによって、その視点９８の位置、視線ベクトル及び上向きベクトルによって定められる第２ビュー変換マトリクスを設定する。視点９８の数が１又は２の何れの場合でも、視点９８の位置は、第２仮想空間９０における表示装置モデル９２の前である。視点９８の数が２の場合、コンピューター３０は視点９８ごとに視点９８の位置、視線ベクトル及び上向きベクトルを設定するところ、２つの視点９８の位置が互いに離れ、２つの視点９８の視線ベクトルが互いに平行であり、２つの視点９８の上向きベクトルが互いに平行である。そのため、２つの視点９８には、視差が生じる。
【0072】
ここで、コンピューター３０は、姿勢計測部１２の計測信号に基づいて視点９８の視線ベクトル及び上向きベクトルを設定する。従って、ユーザー８が頭部を動かすと、姿勢計測部１２によって計測されるロール角、ピッチ角及びヨー角の計測値が変化するため、視点９８の視線ベクトル及び上向きベクトルの方向が変化する。
【0073】
コンピューター３０は、第２ビュー変換マトリクスを用いて、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３を第２ワールド座標系から第２ビュー座標系に座標変換する。視点９８の位置が第２ビュー座標系の原点であり、そのビュー座標系を定義する直交三軸のうちＸ４軸及びＹ４軸に平行な平面が視点９８の視線ベクトルに対して直交し、Ｙ４軸が視点９８の上向きベクトルに対して平行であり、Ｚ４軸が視点９８の視線ベクトルに対して平行である。
【0074】
コンピューター３０は、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３を視点９８の視線ベクトルに垂直な第２平面に透視投影するよう、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３の座標系を３次元の第２ビュー座標系から２次元の第２直交座標系に変換する。透視投影の際、コンピューター３０が隠線処理を実行する。
【0075】
コンピューター３０は、第２直交座標系における２次元の操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３のレンダリング処理を行うことによって、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３をラスタライズ化する。これにより、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３をラスタライズ化して得られた映像が生成される。映像には、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３が描画されている。
【0076】
（５） 写像（マッピング）
コンピューター３０は、複数の視点８８にそれぞれ対応する複数の表示装置モデル９２ごとに、施工対象モデル８２及び建設機械モデル８１が描画された２次元テクスチャの座標系を第１直交座標系から映像の第２直交座標系に変換することによって、２次元テクスチャを映像中の表示装置モデル９２に写像する。具体的には、コンピューター３０は、２次元テクスチャをアフィン変換又は射影変換することによって、２次元テクスチャを映像中の表示装置モデル９２に写像する。これにより２次元テクスチャが映像に合成される。
コンピューター３０は、複数の視点８８にそれぞれ対応する複数の表示装置モデル９２ごとに、施工対象モデル８２及び建設機械モデル８１が描画された２次元テクスチャの座標系を第１直交座標系から映像の第２直交座標系に変換することによって、２次元テクスチャを映像中の表示装置モデル９２に写像する。具体的には、コンピューター３０は、２次元テクスチャをアフィン変換又は射影変換することによって、２次元テクスチャを映像中の表示装置モデル９２に写像する。これにより２次元テクスチャが映像に合成される。
【0077】
視点９８の数及びディスプレイデバイス１３の数が２である場合、２つの映像のどちらにも２次元テクスチャが合成される。
【0078】
なお、コンピューター３０が、建設機械モデル８１の操縦のためのガイダンスを映像に合成してもよい。ガイダンスとは、施工対象の完成状態を図面、記号又は数値で表したもの、或いは建設機械モデル８１の移動先を案内又はアドバイスするための図面、記号、文字又は数値をいう。
【0079】
（６） 表示
コンピューター３０は、２次元テクスチャが合成された映像を映像信号に変換して、映像信号を表示装置１０のディスプレイデバイス１３に出力する。なお、視点９８の数及びディスプレイデバイス１３の数が２である場合、コンピューター３０は、２次元テクスチャが合成された映像ごとに映像信号を生成し、映像ごとの映像信号をディスプレイデバイス１３にそれぞれ出力する。
コンピューター３０は、２次元テクスチャが合成された映像を映像信号に変換して、映像信号を表示装置１０のディスプレイデバイス１３に出力する。なお、視点９８の数及びディスプレイデバイス１３の数が２である場合、コンピューター３０は、２次元テクスチャが合成された映像ごとに映像信号を生成し、映像ごとの映像信号をディスプレイデバイス１３にそれぞれ出力する。
【0080】
［３． 有利な技術的効果］
（１） 現実の模擬装置、遠隔操縦装置及び建設機械がなくとも、ユーザー８は、建設機械の模擬装置の操縦と、建設機械の遠隔操縦装置の操縦と、建設機械の操縦特に遠隔操縦とを仮想現実的に体験できる。つまり、シミュレーター１及びプログラム３２は、遠隔操縦練習の任意実施性を高めるとともに、遠隔操縦の操縦者養成の効率性を高める。
（１） 現実の模擬装置、遠隔操縦装置及び建設機械がなくとも、ユーザー８は、建設機械の模擬装置の操縦と、建設機械の遠隔操縦装置の操縦と、建設機械の操縦特に遠隔操縦とを仮想現実的に体験できる。つまり、シミュレーター１及びプログラム３２は、遠隔操縦練習の任意実施性を高めるとともに、遠隔操縦の操縦者養成の効率性を高める。
【0081】
（２） 現実の模擬装置、遠隔操縦装置及び建設機械を必要としないため、低コストなシミュレーター１を提供することができる。つまり、シミュレーター１及びプログラム３２は、遠隔操縦の練習を経済的に実施できるという効果をもたらす。
【0082】
（３） ユーザー８が入力デバイス２０を操作することによって視点８８の位置、視線ベクトル又は上向きベクトルの変更をコンピューター３０に入力すれば、現実の建設機械を撮影する現実のカメラの位置及び向きの変更と同等の効果が得られる。従って、現実のカメラの位置及び向きで撮影される現実の建設機械の見え方を仮想現実的に体験できる。その体験を現実の建設機械の遠隔操縦装置の設計・開発に活用できる。
【0083】
（４） このシミュレーター１は、建設機械の操縦訓練及び予行演習に利用することができる。また、このシミュレーター１は、建設機械の操縦に慣れていない未熟練者の教育に利用することができる。つまり、シミュレーター１及びプログラム３２は、遠隔操縦者の養成を経済的に実施できるという効果をもたらす。
【0084】
（５） 操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３が映った映像は２次元である。その映像に写像されるテクスチャも２次元である。よって、コンピューター３０の処理負担が軽い。
【0085】
（６） 視点９８の数及びディスプレイデバイス１３の数が２である場合、視差が視点９８に生じるから、表示装置１０に表示される操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３が立体的に見える。よって、ユーザー８は、没入感を持って、建設機械の模擬装置の操縦と、建設機械の遠隔操縦装置の操縦と、建設機械の遠隔操縦とを仮想現実的に体験できる。
【0086】
［４． 変形例］
なお、本発明は上記実施形態に限られるものではない。上記実施形態が例えば以下のように変更されてもよい。
なお、本発明は上記実施形態に限られるものではない。上記実施形態が例えば以下のように変更されてもよい。
【0087】
（１） コンピューター３０が、第１仮想空間８０内の施工対象モデル８２及び建設機械モデル８１を視点８８の位置から見て得られた映像を生成して、その映像を映像信号に変換し、その映像信号を表示装置１０のディスプレイデバイス１３に出力してもよい。
【0088】
（２） コンピューター３０が他のコンピューターからプログラム３２及びデータ３３～３７をダウンロードして、プログラム３２及びデータ３３～３７を記憶装置３１に記録してもよい。
【0089】
（３） プログラム３２及びデータ３３～３７がクラウドコンピューターの記憶装置に記憶され、クラウドコンピューターがプログラム３２を実行してもよい。この場合、コンピューター３０がリモートデスクトップ技術によりクラウドコンピューターに接続し、クラウドコンピューターがプログラム３２を実行することによって映像をコンピューター３０に転送し、コンピューター３０がその映像をディスプレイデバイス１３に表示してもよい。
【0090】
（４） 上記実施形態では、施工対象モデル８２、建設機械モデル８１、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３のラスタライズ化後に、コンピューター３０が２次元テクスチャを映像に写像する。それに対して、コンピューター３０が２次元テクスチャを映像に写像した後、その映像の中の施工対象モデル８２、建設機械モデル８１、操縦室モデル９１、表示装置モデル９２及び操縦レバーモデル９３をラスタライズ化してもよい。
【符号の説明】
【0091】
１０ 表示装置
１２ 姿勢計測部
１３ ディスプレイデバイス
２０ 入力デバイス
３０ コンピューター
３２ プログラム
８０ 第１仮想空間
８１ 建設機械モデル
８２ 施工対象モデル
８８ 第１視点
９０ 第２仮想空間
９１ 操縦室モデル
９２ 表示装置モデル
９３ 操縦レバーモデル
９８ 第２視点
１２ 姿勢計測部
１３ ディスプレイデバイス
２０ 入力デバイス
３０ コンピューター
３２ プログラム
８０ 第１仮想空間
８１ 建設機械モデル
８２ 施工対象モデル
８８ 第１視点
９０ 第２仮想空間
９１ 操縦室モデル
９２ 表示装置モデル
９３ 操縦レバーモデル
９８ 第２視点
【図1】
【図2】
【図3】
【図4】