ホーム > 特許ランキング > 古河機械金属株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023168673
(43)【公開日】2023-11-29
(54)【発明の名称】シミュレーション装置、制御方法、及び制御プログラム
(51)【国際特許分類】
G09B 9/05 20060101AFI20231121BHJP
G09B 9/042 20060101ALI20231121BHJP
G06F 3/01 20060101ALI20231121BHJP
E21B 7/02 20060101ALI20231121BHJP
【ＦＩ】
G09B9/05 A
G09B9/042 Z
G09B9/05 E
G06F3/01 510
E21B7/02
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022079913
(22)【出願日】2022-05-16
(71)【出願人】
【識別番号】000165974
【氏名又は名称】古河機械金属株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】鶴見 翔太
【テーマコード（参考）】
2D129
5E555
【Ｆターム（参考）】
2D129AA04
2D129AB13
2D129BA16
2D129BA30
2D129DC13
2D129DC15
5E555AA22
5E555AA25
5E555AA26
5E555AA64
5E555BA38
5E555BB38
5E555BC04
5E555BE17
5E555CA10
5E555CA42
5E555CB21
5E555DA08
5E555DA09
5E555DB53
5E555DC09
5E555DC10
5E555DC13
5E555FA00
(57)【要約】
【課題】利便性を向上させること。
【解決手段】シミュレーション装置は、複数の模擬操作部３１を有する模擬操作装置３と、ユーザの視界に応じた実像を取得する撮影装置４１と、撮影装置４１にて取得された実像と穿孔機械に対応する第１の仮想モデルの画像とをそれぞれ表示可能とする表示装置４と、実像と第１の仮想モデルの画像とを表示装置４にそれぞれ表示させる制御装置６とを備える。制御装置６は、ユーザの視線方向に応じて、表示装置４への実像の表示を妨げつつ第１の仮想モデルの画像を表示させる第１の表示処理と、表示装置４に実像と第１の仮想モデルの画像との双方を表示させる第２の表示処理とのいずれかの表示処理を実行する表示制御部６３７を備える。
【選択図】図３
【解決手段】シミュレーション装置は、複数の模擬操作部３１を有する模擬操作装置３と、ユーザの視界に応じた実像を取得する撮影装置４１と、撮影装置４１にて取得された実像と穿孔機械に対応する第１の仮想モデルの画像とをそれぞれ表示可能とする表示装置４と、実像と第１の仮想モデルの画像とを表示装置４にそれぞれ表示させる制御装置６とを備える。制御装置６は、ユーザの視線方向に応じて、表示装置４への実像の表示を妨げつつ第１の仮想モデルの画像を表示させる第１の表示処理と、表示装置４に実像と第１の仮想モデルの画像との双方を表示させる第２の表示処理とのいずれかの表示処理を実行する表示制御部６３７を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
穿孔機械に設けられ、当該穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部を有する模擬操作装置と、
ユーザに装着され、当該ユーザの視界に応じた実像を取得する撮影装置と、
前記ユーザに装着され、前記実像と前記穿孔機械に対応する第１の仮想モデルの画像とをそれぞれ表示可能とする表示装置と、
前記実像と前記第１の仮想モデルの画像とを前記表示装置にそれぞれ表示させるとともに、前記第１の仮想モデルの画像のうち、前記ユーザによって操作された前記模擬操作部に対応する前記第１の仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置とを備え、
前記制御装置は、
前記ユーザの視線方向に応じて、前記表示装置への前記実像の表示を妨げつつ当該表示装置に前記第１の仮想モデルの画像を表示させる第１の表示処理と、前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理とのいずれかの表示処理を実行する表示制御部を備えるシミュレーション装置。
ユーザに装着され、当該ユーザの視界に応じた実像を取得する撮影装置と、
前記ユーザに装着され、前記実像と前記穿孔機械に対応する第１の仮想モデルの画像とをそれぞれ表示可能とする表示装置と、
前記実像と前記第１の仮想モデルの画像とを前記表示装置にそれぞれ表示させるとともに、前記第１の仮想モデルの画像のうち、前記ユーザによって操作された前記模擬操作部に対応する前記第１の仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置とを備え、
前記制御装置は、
前記ユーザの視線方向に応じて、前記表示装置への前記実像の表示を妨げつつ当該表示装置に前記第１の仮想モデルの画像を表示させる第１の表示処理と、前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理とのいずれかの表示処理を実行する表示制御部を備えるシミュレーション装置。
【請求項2】
前記表示制御部は、
前記第１の仮想モデルが配置される仮想空間上に配置され、画像が投影されるスクリーンとして機能する第２の仮想モデルに前記実像を投影することで当該実像を前記表示装置に表示させ、
前記第１の表示処理では、
前記第２の仮想モデルの透明度を第１の透明度に設定することで前記表示装置への前記実像の表示を妨げ、
前記第２の表示処理では、
前記第２の仮想モデルの透明度を前記第１の透明度よりも小さい第２の透明度に設定することで前記表示装置に前記実像を表示させる請求項１に記載のシミュレーション装置。
前記第１の仮想モデルが配置される仮想空間上に配置され、画像が投影されるスクリーンとして機能する第２の仮想モデルに前記実像を投影することで当該実像を前記表示装置に表示させ、
前記第１の表示処理では、
前記第２の仮想モデルの透明度を第１の透明度に設定することで前記表示装置への前記実像の表示を妨げ、
前記第２の表示処理では、
前記第２の仮想モデルの透明度を前記第１の透明度よりも小さい第２の透明度に設定することで前記表示装置に前記実像を表示させる請求項１に記載のシミュレーション装置。
【請求項3】
前記制御装置は、
前記表示装置の特定の位置から前記ユーザの視線方向に応じて直線状に延びる仮想的な基準線を作成する基準線作成部と、
予め設定された切替用基準位置と前記基準線との最短距離を算出する算出部と、
前記最短距離が特定の閾値以下であるか否かを判定する判定部とをさらに備え、
前記表示制御部は、
前記判定部にて前記最短距離が前記特定の閾値を超えると判定された場合には前記第１の表示処理を実行し、前記判定部にて前記最短距離が前記特定の閾値以下であると判定された場合には前記第２の表示処理を実行する請求項１または２に記載のシミュレーション装置。
前記表示装置の特定の位置から前記ユーザの視線方向に応じて直線状に延びる仮想的な基準線を作成する基準線作成部と、
予め設定された切替用基準位置と前記基準線との最短距離を算出する算出部と、
前記最短距離が特定の閾値以下であるか否かを判定する判定部とをさらに備え、
前記表示制御部は、
前記判定部にて前記最短距離が前記特定の閾値を超えると判定された場合には前記第１の表示処理を実行し、前記判定部にて前記最短距離が前記特定の閾値以下であると判定された場合には前記第２の表示処理を実行する請求項１または２に記載のシミュレーション装置。
【請求項4】
前記切替用基準位置は、
前記模擬操作装置の配置位置に対応させた位置に設定されている請求項３に記載のシミュレーション装置。
前記模擬操作装置の配置位置に対応させた位置に設定されている請求項３に記載のシミュレーション装置。
【請求項5】
前記切替用基準位置は、
複数、設定されている請求項３に記載のシミュレーション装置。
複数、設定されている請求項３に記載のシミュレーション装置。
【請求項6】
穿孔機械のシミュレーション装置の制御装置が実行する制御方法であって、
表示装置への実像の表示を妨げつつ当該表示装置に前記穿孔機械に対応する第１の仮想モデルの画像を表示させる第１の表示処理を実行する第１の表示処理ステップと、
前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理を実行する第２の表示処理ステップとのいずれかの表示処理ステップをユーザの視線方向に応じて実行する制御方法。
表示装置への実像の表示を妨げつつ当該表示装置に前記穿孔機械に対応する第１の仮想モデルの画像を表示させる第１の表示処理を実行する第１の表示処理ステップと、
前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理を実行する第２の表示処理ステップとのいずれかの表示処理ステップをユーザの視線方向に応じて実行する制御方法。
【請求項7】
表示装置への実像の表示を妨げつつ当該表示装置に穿孔機械に対応する第１の仮想モデルの画像を表示させる第１の表示処理を実行する第１の表示処理ステップと、
前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理を実行する第２の表示処理ステップとのいずれかの表示処理ステップをユーザの視線方向に応じてコンピュータに実行させるための制御プログラム。
前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理を実行する第２の表示処理ステップとのいずれかの表示処理ステップをユーザの視線方向に応じてコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シミュレーション装置、制御方法、及び制御プログラムに関する。
【背景技術】
【0002】
従来、採石場や石灰石鉱山等では、岩盤に発破孔を穿孔するために穿孔機械が使用されている（例えば、特許文献１参照）。
このような穿孔機械では、送り機構によってさく岩機の先端に装着された工具を破砕対象へと押し付け、当該工具を介して、打撃機構で発生する衝撃力と回転機構で発生する回転力とを破砕対象へと伝達することで発破孔を穿孔する。そして、このような穿孔作業では、ブーム及びガイドシェルの位置決め、送り機構、打撃機構、及び回転機構の作動、セントラライザやロッドチェンジャの作動等が行われる。すなわち、当該穿孔機械では、操作対象が多岐にわたり、それぞれの操作対象を作動させるための多くの操作部が設けられている。
このような穿孔機械では、送り機構によってさく岩機の先端に装着された工具を破砕対象へと押し付け、当該工具を介して、打撃機構で発生する衝撃力と回転機構で発生する回転力とを破砕対象へと伝達することで発破孔を穿孔する。そして、このような穿孔作業では、ブーム及びガイドシェルの位置決め、送り機構、打撃機構、及び回転機構の作動、セントラライザやロッドチェンジャの作動等が行われる。すなわち、当該穿孔機械では、操作対象が多岐にわたり、それぞれの操作対象を作動させるための多くの操作部が設けられている。
【0003】
そして、上述したように穿孔機械には多くの操作部が設けられているため、当該穿孔機械の操作の技能を習得することは容易ではない。
そこで、穿孔機械の実機を使用せずに当該穿孔機械の操作の技能習得を行うためのシミュレーション装置を利用することが考えられる。例えば、当該シミュレーション装置は、訓練者に装着させたヘッドマウントディスプレイ等の表示装置を介して、穿孔機械の仮想モデルの画像（以下、モデル画像と記載）を当該訓練者に視認させる。また、当該シミュレーション装置は、穿孔機械に設けられた複数の操作部を擬似的に再現した複数の擬似操作部のいずれかの擬似操作部への訓練者の操作に応じて、モデル画像のうち、当該擬似操作部に対応するブーム等の部位を表示装置における表示画面上で擬似的に動作させる。
従来、このようなシミュレーション装置として、フォークリフト等の作業車両のシミュレーション装置が提案されている（例えば、特許文献２参照）。
そこで、穿孔機械の実機を使用せずに当該穿孔機械の操作の技能習得を行うためのシミュレーション装置を利用することが考えられる。例えば、当該シミュレーション装置は、訓練者に装着させたヘッドマウントディスプレイ等の表示装置を介して、穿孔機械の仮想モデルの画像（以下、モデル画像と記載）を当該訓練者に視認させる。また、当該シミュレーション装置は、穿孔機械に設けられた複数の操作部を擬似的に再現した複数の擬似操作部のいずれかの擬似操作部への訓練者の操作に応じて、モデル画像のうち、当該擬似操作部に対応するブーム等の部位を表示装置における表示画面上で擬似的に動作させる。
従来、このようなシミュレーション装置として、フォークリフト等の作業車両のシミュレーション装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０００－３０３７６８号公報
【特許文献2】特開２００４－２５２０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ヘッドマウントディスプレイ等の表示装置にモデル画像のみを表示させた場合には、当該表示装置を装着した訓練者は、実空間を認識することができない。すなわち、訓練者は、実空間上の擬似操作部を視認することができない。特に、穿孔機械のシミュレーション装置では、当該穿孔機械に多くの操作部が設けられているため、当該操作部に対応する擬似操作部の数も、非常に多い。その結果、表示装置を装着した訓練者は、実空間を認識することができないため、当該実空間上の複数の擬似操作部を手探りで操作することとなる。
そこで、複数の擬似操作部を訓練者に手探りで操作させることがなく、利便性を向上させることができる技術が要望されている。
そこで、複数の擬似操作部を訓練者に手探りで操作させることがなく、利便性を向上させることができる技術が要望されている。
【0006】
本発明は、上記に鑑みてなされたものであって、利便性を向上させることができるシミュレーション装置、制御方法、及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明に係るシミュレーション装置は、穿孔機械に設けられ、当該穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部を有する模擬操作装置と、ユーザに装着され、当該ユーザの視界に応じた実像を取得する撮影装置と、前記ユーザに装着され、前記実像と前記穿孔機械に対応する第１の仮想モデルの画像とをそれぞれ表示可能とする表示装置と、前記実像と前記第１の仮想モデルの画像とを前記表示装置にそれぞれ表示させるとともに、前記第１の仮想モデルの画像のうち、前記ユーザによって操作された前記模擬操作部に対応する前記第１の仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置とを備え、前記制御装置は、前記ユーザの視線方向に応じて、前記表示装置への前記実像の表示を妨げつつ当該表示装置に前記第１の仮想モデルの画像を表示させる第１の表示処理と、前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理とのいずれかの表示処理を実行する。
【0008】
また、本発明に係るシミュレーション装置では、前記表示制御部は、前記第１の仮想モデルが配置される仮想空間上に配置され、画像が投影されるスクリーンとして機能する第２の仮想モデルに前記実像を投影することで当該実像を前記表示装置に表示させ、前記第１の表示処理では、前記第２の仮想モデルの透明度を第１の透明度に設定することで前記表示装置への前記実像の表示を妨げ、前記第２の表示処理では、前記第２の仮想モデルの透明度を前記第１の透明度よりも小さい第２の透明度に設定することで前記表示装置に前記実像を表示させる。
【0009】
また、本発明に係るシミュレーション装置では、前記制御装置は、前記表示装置の特定の位置から前記ユーザの視線方向に応じて直線状に延びる仮想的な基準線を作成する基準線作成部と、予め設定された切替用基準位置と前記基準線との最短距離を算出する算出部と、前記最短距離が特定の閾値以下であるか否かを判定する判定部とをさらに備え、前記表示制御部は、前記判定部にて前記最短距離が前記特定の閾値を超えると判定された場合には前記第１の表示処理を実行し、前記判定部にて前記最短距離が前記特定の閾値以下であると判定された場合には前記第２の表示処理を実行する。
【0010】
また、本発明に係るシミュレーション装置では、前記切替用基準位置は、前記模擬操作装置の配置位置に対応させた位置に設定されている。
【0011】
また、本発明に係るシミュレーション装置では、前記切替用基準位置は、複数、設定されている。
【0012】
また、本発明に係る制御方法は、穿孔機械のシミュレーション装置の制御装置が実行する制御方法であって、表示装置への実像の表示を妨げつつ当該表示装置に前記穿孔機械に対応する第１の仮想モデルの画像を表示させる第１の表示処理を実行する第１の表示処理ステップと、前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理を実行する第２の表示処理ステップとのいずれかの表示処理ステップをユーザの視線方向に応じて実行する。
【0013】
また、本発明に係る制御プログラムは、表示装置への実像の表示を妨げつつ当該表示装置に穿孔機械に対応する第１の仮想モデルの画像を表示させる第１の表示処理を実行する第１の表示処理ステップと、前記表示装置に前記実像と前記第１の仮想モデルの画像との双方を表示させる第２の表示処理を実行する第２の表示処理ステップとのいずれかの表示処理ステップをユーザの視線方向に応じてコンピュータに実行させるための制御プログラムである。
【発明の効果】
【0014】
本発明に係るシミュレーション装置、制御方法、及び制御プログラムによれば、利便性を向上させることができる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【0017】
〔穿孔機械の概略構成〕
図１は、実施の形態に係るシミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００を示す図である。
先ず、本実施の形態に係るシミュレーション装置１の構成を説明する前に、当該シミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００の構成について説明する。
なお、穿孔機械１００を説明するにあたって、以下に示す「前方側」とは、図１に示す右側を意味する。
図１は、実施の形態に係るシミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００を示す図である。
先ず、本実施の形態に係るシミュレーション装置１の構成を説明する前に、当該シミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００の構成について説明する。
なお、穿孔機械１００を説明するにあたって、以下に示す「前方側」とは、図１に示す右側を意味する。
【0018】
穿孔機械１００は、作業者の操作に応じて岩盤に発破孔を穿孔する。この穿孔機械１００は、図１に示すように、左右一対のトラック１１１（図１では一方のトラック１１１のみを図示）を有する走行台車１１０と、当該走行台車１１０上にそれぞれ搭載されたブーム１２０、さく岩ユニット１３０、及び操縦室１４０とを備える。
【0019】
ブーム１２０は、図１に示すように、ブーム本体１２１と、ブームペデスタル１２２と、ブーム旋回シリンダ（図示略）と、ブームリフトシリンダ１２３とを備える。
ブームペデスタル１２２は、走行台車１１０上の右斜め前方側に設けられた基台１１２（図１）に対して、鉛直方向に沿う旋回軸１２４（図１）を中心として回転（旋回）可能に設けられている。そして、ブーム旋回シリンダ（図示略）が駆動することで、ブーム１２０は、旋回する。また、ブーム本体１２１は、ブームペデスタル１２２に対して、水平方向（前後方向）に沿う起伏軸１２５（図１）を中心として回転（起伏）可能に設けられている。そして、ブームリフトシリンダ１２３が駆動することで、ブーム１２０は、起伏する。
ブームペデスタル１２２は、走行台車１１０上の右斜め前方側に設けられた基台１１２（図１）に対して、鉛直方向に沿う旋回軸１２４（図１）を中心として回転（旋回）可能に設けられている。そして、ブーム旋回シリンダ（図示略）が駆動することで、ブーム１２０は、旋回する。また、ブーム本体１２１は、ブームペデスタル１２２に対して、水平方向（前後方向）に沿う起伏軸１２５（図１）を中心として回転（起伏）可能に設けられている。そして、ブームリフトシリンダ１２３が駆動することで、ブーム１２０は、起伏する。
【0020】
さく岩ユニット１３０は、図１に示すように、ブーム１２０の先端部分に装着されている。このさく岩ユニット１３０は、ブーム１２０の先端部分に装着されたガイドシェル１３１と、当該ガイドシェル１３１の長手方向に沿って当該ガイドシェル１３１上を前進後退可能に設けられたさく岩機１３２と、当該さく岩機１３２の先端に装着された工具１３３とを備える。
ここで、さく岩機１３２は、ガイドシェル１３１に設けられた送り機構（図示略）によって当該ガイドシェル１３１上を前進後退するとともに、公知の打撃機構（図示略）及び回転機構（図示略）を備える。また、工具１３３は、具体的な図示は省略したが、シャンクロッド、スリーブ、ロッド、及びビットを基端側からこの順に接続されたものである。
そして、穿孔機械１００では、送り機構（図示略）によって工具１３３を破砕対象へと押し付け、打撃機構（図示略）で発生する衝撃力と回転機構（図示略）で発生する回転力とを当該工具１３３を介して当該破砕対象へ伝達して発破孔を穿孔する。
ここで、さく岩機１３２は、ガイドシェル１３１に設けられた送り機構（図示略）によって当該ガイドシェル１３１上を前進後退するとともに、公知の打撃機構（図示略）及び回転機構（図示略）を備える。また、工具１３３は、具体的な図示は省略したが、シャンクロッド、スリーブ、ロッド、及びビットを基端側からこの順に接続されたものである。
そして、穿孔機械１００では、送り機構（図示略）によって工具１３３を破砕対象へと押し付け、打撃機構（図示略）で発生する衝撃力と回転機構（図示略）で発生する回転力とを当該工具１３３を介して当該破砕対象へ伝達して発破孔を穿孔する。
【0021】
操縦室１４０は、図１に示すように、走行台車１１０上の左斜め前方側に設けられている。そして、操縦室１４０内には、図１に示すように、穿孔機械１００を操作する作業者が着座する運転席１４１が設けられている。また、運転席１４１の両側方には、具体的な図示は省略したが、穿孔機械１００を動作させるために用いられる複数の操作部が設けられている。
【0022】
〔シミュレーション装置の概略構成〕
次に、シミュレーション装置１の構成について説明する。
図２は、実施の形態に係るシミュレーション装置１の構成を示す図である。
シミュレーション装置１は、図２に示すように、訓練席２と、模擬操作装置３と、ヘッドマウントディスプレイ４と、ベースステーション５と、制御装置６とを備える。
次に、シミュレーション装置１の構成について説明する。
図２は、実施の形態に係るシミュレーション装置１の構成を示す図である。
シミュレーション装置１は、図２に示すように、訓練席２と、模擬操作装置３と、ヘッドマウントディスプレイ４と、ベースステーション５と、制御装置６とを備える。
【0023】
訓練席２は、シミュレーション装置１によって、穿孔機械１００の操作の技能習得を行うユーザである訓練者が着座する部分である。
模擬操作装置３は、図２に示すように、訓練席２の両側方にそれぞれ設けられ、穿孔機械１００に設けられた操作装置（図示略）を擬似的に再現したものである。より具体的に、模擬操作装置３は、当該操作装置に設けられた複数の操作部（図示略）をそれぞれ擬似的に再現した複数の模擬操作部３１を有する。これら複数の模擬操作部３１は、制御装置６との間で無線または有線によってそれぞれ通信可能に接続され、訓練者等によるユーザ操作に応じた信号を当該制御装置６に対してそれぞれ出力する。
模擬操作装置３は、図２に示すように、訓練席２の両側方にそれぞれ設けられ、穿孔機械１００に設けられた操作装置（図示略）を擬似的に再現したものである。より具体的に、模擬操作装置３は、当該操作装置に設けられた複数の操作部（図示略）をそれぞれ擬似的に再現した複数の模擬操作部３１を有する。これら複数の模擬操作部３１は、制御装置６との間で無線または有線によってそれぞれ通信可能に接続され、訓練者等によるユーザ操作に応じた信号を当該制御装置６に対してそれぞれ出力する。
【0024】
例えば、複数の模擬操作部３１のうち、模擬操作部３１１は、訓練席２に対して右側方に設けられている。この模擬操作部３１１は、穿孔機械１００における送り機構（図示略）、打撃機構（図示略）、及び回転機構（図示略）をそれぞれ動作させる操作部を擬似的に再現した傾倒可能なレバーである。
【0025】
ヘッドマウントディスプレイ４は、本発明に係る表示装置に相当し、制御装置６との間で無線または有線によって通信可能に接続する。このヘッドマウントディスプレイ４は、眼鏡のような外観を有し、訓練者に装着される。そして、ヘッドマウントディスプレイ４は、当該ヘッドマウントディスプレイ４を装着した訓練者の視界に応じた実像と所定の画像とをそれぞれ表示可能とする。このヘッドマウントディスプレイ４は、撮影部４１と、表示部４２と、複数の赤外線出力部４３とを備える（図３参照）。
【0026】
撮影部４１は、本発明に係る撮影装置に相当し、入射した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含むカメラである。また、撮影部４１は、制御装置６による制御の下、ヘッドマウントディスプレイ４を装着した訓練者の視界に応じた領域を撮影して撮影画像を生成する。そして、撮影部４１は、生成した撮影画像のデータを制御装置６に出力する。
【0027】
表示部４２は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、ヘッドマウントディスプレイ４を装着した訓練者の左眼及び右眼の少なくともいずれか一方に対向する位置に配置される。そして、表示部４２は、制御装置６による制御の下、各種の画像を表示する。
【0028】
複数の赤外線出力部４３は、ヘッドマウントディスプレイ４の位置（３次元の位置）及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を判別するために用いられる。これら複数の赤外線出力部４３は、互いに異なる位置にそれぞれ配置され、赤外線をそれぞれ出力（照射）する。
【0029】
ベースステーション５は、ヘッドマウントディスプレイ４の位置（３次元の位置）及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を検出するために用いられる。また、ベースステーション５は、制御装置６との間で無線または有線によって通信可能に接続する。このベースステーション５は、複数の赤外線出力部４３から出力された赤外線を検出する２つの赤外線カメラ５１（図２）によって構成されている。なお、赤外線カメラ５１の数は、２つに限らず、その他の数だけ設けても構わない。そして、２つの赤外線カメラ５１は、撮影により生成した赤外線画像のデータを制御装置６にそれぞれ出力する。
【0030】
図３は、制御装置６の構成を示すブロック図である。なお、図３では、説明の便宜上、模擬操作部３１、赤外線出力部４３、及び赤外線カメラ５１を１つずつのみ図示している。
制御装置６は、シミュレーション装置１全体の動作を制御する。この制御装置６は、図３に示すように、入力部６１と、記憶部６２と、制御部６３とを備える。
入力部６１は、訓練者等によるユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた信号を制御部６３に出力する。
制御装置６は、シミュレーション装置１全体の動作を制御する。この制御装置６は、図３に示すように、入力部６１と、記憶部６２と、制御部６３とを備える。
入力部６１は、訓練者等によるユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた信号を制御部６３に出力する。
【0031】
記憶部６２は、制御部６３が実行する各種のプログラム（本発明に係る制御プログラムを含む）の他、当該制御部６３が処理を行うときに必要なデータ等を記憶する。
ここで、当該制御部６３が処理を行うときに必要なデータとしては、第１の３Ｄモデル（第１の仮想モデル）のデータと、第２の３Ｄモデル（第２の仮想モデル）のデータと、切替用基準位置を示すデータと、特定の閾値を示すデータとを例示することができる。
第１の３Ｄモデルのデータは、穿孔機械１００に応じた３Ｄモデルのデータである。
第２の３Ｄモデルのデータは、撮影部４１にて生成された撮影画像が投影されるスクリーンとして機能する３Ｄモデルのデータである。
これら第１，第２の３Ｄモデルは、例えばＣＡＤ（Computer-Aided Design）ソフトウェア等によって生成された３Ｄモデルであって、シミュレーション装置１が設置される実空間座標系に整合させた仮想空間座標系において、当該第１，第２の３Ｄモデルの各部位の位置や角度が関連付けられている。
ここで、当該制御部６３が処理を行うときに必要なデータとしては、第１の３Ｄモデル（第１の仮想モデル）のデータと、第２の３Ｄモデル（第２の仮想モデル）のデータと、切替用基準位置を示すデータと、特定の閾値を示すデータとを例示することができる。
第１の３Ｄモデルのデータは、穿孔機械１００に応じた３Ｄモデルのデータである。
第２の３Ｄモデルのデータは、撮影部４１にて生成された撮影画像が投影されるスクリーンとして機能する３Ｄモデルのデータである。
これら第１，第２の３Ｄモデルは、例えばＣＡＤ（Computer-Aided Design）ソフトウェア等によって生成された３Ｄモデルであって、シミュレーション装置１が設置される実空間座標系に整合させた仮想空間座標系において、当該第１，第２の３Ｄモデルの各部位の位置や角度が関連付けられている。
【0032】
切替用基準位置を示すデータは、制御部６３が実行する後述する第１，第２の表示処理を切り替える際に用いられる基準位置（実空間座標系での位置（３次元の位置）または仮想空間座標系での位置（３次元の位置））を示すデータである。
特定の閾値を示すデータは、第１，第２の表示処理を切り替える際の判定に用いられる閾値を示すデータである。
特定の閾値を示すデータは、第１，第２の表示処理を切り替える際の判定に用いられる閾値を示すデータである。
【0033】
制御部６３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部６２に記憶された各種のプログラムが実行されることにより実現され、シミュレーション装置１全体の動作を制御する。なお、制御部６３は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の集積回路によって構成されても構わない。この制御部６３は、図３に示すように、第１の画像取得部６３１と、第２の画像取得部６３２と、第１の算出部６３３と、基準線作成部６３４と、第２の算出部６３５と、判定部６３６と、表示制御部６３７とを備える。
【0034】
第１の画像取得部６３１は、撮影部４１にて生成された撮影画像のデータを取得する。 第２の画像取得部６３２は、２つの赤外線カメラ５１にてそれぞれ生成された赤外線画像のデータを取得する。
【0035】
第１の算出部６３３は、ヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を算出する。具体的に、第１の算出部６３３は、第２の画像取得部６３２にて取得された各赤外線画像のデータに基づいて、複数の赤外線出力部４３から各赤外線カメラ５１に到達した赤外線の到達時間や角度を認識する。そして、第１の算出部６３３は、当該到達時間や角度から、ヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を算出する。
【0036】
基準線作成部６３４は、ヘッドマウントディスプレイ４の特定の位置から訓練者の視線方向に応じて直線状に延びる仮想的な基準線を作成する。
第２の算出部６３５は、本発明に係る算出部に相当し、記憶部６２に記憶された切替用基準位置を示すデータに基づいて、当該切替用基準位置と、基準線作成部６３４にて作成された基準線との最短距離を算出する。
判定部６３６は、記憶部６２に記憶された特定の閾値を示すデータを参照し、第２の算出部６３５にて算出された最短距離が当該特定の閾値以下であるか否かを判定する。
なお、上述した基準線、切替用基準位置、及び最短距離の詳細については、後述する「制御方法」において説明する。
第２の算出部６３５は、本発明に係る算出部に相当し、記憶部６２に記憶された切替用基準位置を示すデータに基づいて、当該切替用基準位置と、基準線作成部６３４にて作成された基準線との最短距離を算出する。
判定部６３６は、記憶部６２に記憶された特定の閾値を示すデータを参照し、第２の算出部６３５にて算出された最短距離が当該特定の閾値以下であるか否かを判定する。
なお、上述した基準線、切替用基準位置、及び最短距離の詳細については、後述する「制御方法」において説明する。
【0037】
表示制御部６３７は、表示部４２に表示させる表示画像を生成する。
具体的に、表示制御部６３７は、第１の算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を認識する。そして、表示制御部６３７は、記憶部６２に記憶されている第１の３Ｄモデルのデータに基づいて、ヘッドマウントディスプレイ４の位置から当該ヘッドマウントディスプレイ４を装着している訓練者の視線方向に認識される第１の３Ｄモデルの画像（以下、モデル画像と記載）を生成する。また、表示制御部６３７は、ヘッドマウントディスプレイ４を装着した訓練者によって操作された模擬操作部３１に対応する第１の３Ｄモデルの部位を当該模擬操作部３１の操作に応じて擬似的に動作させる。さらに、表示制御部６３７は、判定部６３６の判定結果に基づいて（訓練者の視線方向に応じて）、表示部４２への撮影部４１にて生成された撮影画像（実像）の表示を妨げつつモデル画像を表示させる第１の表示処理と、当該モデル画像とともに第２の３Ｄモデルのデータを用いて当該撮影画像を表示部４２に表示させる第２の表示処理とのいずれかの表示処理を実行する。
なお、表示制御部６３７が実行する第１，第２の表示処理の詳細については、後述する「制御方法」において説明する。
具体的に、表示制御部６３７は、第１の算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を認識する。そして、表示制御部６３７は、記憶部６２に記憶されている第１の３Ｄモデルのデータに基づいて、ヘッドマウントディスプレイ４の位置から当該ヘッドマウントディスプレイ４を装着している訓練者の視線方向に認識される第１の３Ｄモデルの画像（以下、モデル画像と記載）を生成する。また、表示制御部６３７は、ヘッドマウントディスプレイ４を装着した訓練者によって操作された模擬操作部３１に対応する第１の３Ｄモデルの部位を当該模擬操作部３１の操作に応じて擬似的に動作させる。さらに、表示制御部６３７は、判定部６３６の判定結果に基づいて（訓練者の視線方向に応じて）、表示部４２への撮影部４１にて生成された撮影画像（実像）の表示を妨げつつモデル画像を表示させる第１の表示処理と、当該モデル画像とともに第２の３Ｄモデルのデータを用いて当該撮影画像を表示部４２に表示させる第２の表示処理とのいずれかの表示処理を実行する。
なお、表示制御部６３７が実行する第１，第２の表示処理の詳細については、後述する「制御方法」において説明する。
【0038】
〔制御方法〕
次に、制御装置６が実行する制御方法について説明する。
図４は、制御方法を示すフローチャートである。図５は、ステップＳ１～Ｓ３を説明する図である。図５において、二点鎖線で示した空間ＶＳは、第１，第２の３Ｄモデルが配置される仮想空間である。また、符号「ＴＲ」は、ヘッドマウントディスプレイ４を装着し、訓練席２に着座した訓練者である。なお、図５では、説明の便宜上、訓練者ＴＲとして、当該訓練者ＴＲの頭のみを図示している。さらに、一点鎖線で示した線、基準線作成部６３４にて作成される基準線ＲＬである。また、符号「ＳＣ」は、第２の３Ｄモデルであるスクリーンである。さらに、符号「ＲＰ」は、切替用基準位置である。また、符号「ＤＳ」は、切替用基準位置ＲＰと基準線ＲＬとの最短距離である。なお、図５の下方側は、鉛直軸に沿う下方側である。すなわち、図５では、訓練者ＴＲの視線方向が斜め下方側を向いている状態を示している。
次に、制御装置６が実行する制御方法について説明する。
図４は、制御方法を示すフローチャートである。図５は、ステップＳ１～Ｓ３を説明する図である。図５において、二点鎖線で示した空間ＶＳは、第１，第２の３Ｄモデルが配置される仮想空間である。また、符号「ＴＲ」は、ヘッドマウントディスプレイ４を装着し、訓練席２に着座した訓練者である。なお、図５では、説明の便宜上、訓練者ＴＲとして、当該訓練者ＴＲの頭のみを図示している。さらに、一点鎖線で示した線、基準線作成部６３４にて作成される基準線ＲＬである。また、符号「ＳＣ」は、第２の３Ｄモデルであるスクリーンである。さらに、符号「ＲＰ」は、切替用基準位置である。また、符号「ＤＳ」は、切替用基準位置ＲＰと基準線ＲＬとの最短距離である。なお、図５の下方側は、鉛直軸に沿う下方側である。すなわち、図５では、訓練者ＴＲの視線方向が斜め下方側を向いている状態を示している。
【0039】
先ず、基準線作成部６３４は、ヘッドマウントディスプレイ４の特定の位置から訓練者ＴＲの視線方向に応じて直線状に延びる仮想的な基準線ＲＬを作成する（ステップＳ１）。
具体的に、基準線作成部６３４は、第１の算出部６３３にて算出されたヘッドマウントディスプレイ４の位置に基づいて、例えば当該ヘッドマウントディスプレイ４における訓練者ＴＲの左眼及び右眼の中間に対応した位置を特定する。そして、基準線作成部６３４は、当該特定した位置から、第１の算出部６３３にて算出されたヘッドマウントディスプレイ４の姿勢である訓練者ＴＲの視線方向に沿って直線状に延びる仮想的な線を基準線ＲＬとして作成する。当該基準線ＲＬは、実空間座標系または仮想空間座標系での直線を示す数式によって表現されている。
具体的に、基準線作成部６３４は、第１の算出部６３３にて算出されたヘッドマウントディスプレイ４の位置に基づいて、例えば当該ヘッドマウントディスプレイ４における訓練者ＴＲの左眼及び右眼の中間に対応した位置を特定する。そして、基準線作成部６３４は、当該特定した位置から、第１の算出部６３３にて算出されたヘッドマウントディスプレイ４の姿勢である訓練者ＴＲの視線方向に沿って直線状に延びる仮想的な線を基準線ＲＬとして作成する。当該基準線ＲＬは、実空間座標系または仮想空間座標系での直線を示す数式によって表現されている。
【0040】
ステップＳ１の後、第２の算出部６３５は、記憶部６２に記憶された切替用基準位置ＲＰを示すデータに基づいて、当該切替用基準位置ＲＰと基準線ＲＬとの最短距離ＤＳを算出する（ステップＳ２）。
ステップＳ２の後、判定部６３６は、記憶部６２に記憶された特定の閾値を示すデータを参照し、当該ステップＳ２で算出された最短距離ＤＳが当該特定の閾値以下であるか否かを判定する（ステップＳ３）。
ステップＳ２の後、判定部６３６は、記憶部６２に記憶された特定の閾値を示すデータを参照し、当該ステップＳ２で算出された最短距離ＤＳが当該特定の閾値以下であるか否かを判定する（ステップＳ３）。
【0041】
そして、表示制御部６３７は、最短距離ＤＳが特定の閾値を超えると判定された場合（ステップＳ３：Ｎｏ）には、以下に示すように、第１の表示処理を実行する（ステップＳ４：第１の表示処理ステップ）。この後、制御部６３は、ステップＳ１に戻る。
図６は、仮想空間ＶＳの一部を示す図である。図６において、符号「１２０Ｍ」は、ブーム１２０に対応したブームモデル（第１の３Ｄモデル）である。また、符号「１２１Ｍ」は、ブーム本体１２１に対応したブーム本体モデル（第１の３Ｄモデル）である。さらに、符号「１２２Ｍ」は、ブームペデスタル１２２に対応したブームペデスタルモデル（第１の３Ｄモデル）である。また、符号「１２３Ｍ」は、ブームリフトシリンダ１２３に対応したブームリフトシリンダモデル（第１の３Ｄモデル）である。さらに、符号「１２４Ｍ」は、旋回軸１２４に対応した旋回軸モデル（第１の３Ｄモデル）である。また、符号「１２５Ｍ」は、起伏軸１２５に対応した起伏軸モデル（第１の３Ｄモデル）である。さらに、符号「１１２Ｍ」は、基台１１２に対応した基台モデル（第１の３Ｄモデル）である。また、符号「３Ｍ」は、穿孔機械１００に設けられ、模擬操作装置３と同様の構成を有する操作装置（図示略）に対応した操作装置モデル（第１の３Ｄモデル）である。図７は、ステップＳ４を説明する図である。具体的に、図７は、仮想空間ＶＳ上での訓練者ＴＲの視野が図６に示す領域Ａｒ１である場合における表示部４２に表示される表示画像Ｆ１を示す図である。
図６は、仮想空間ＶＳの一部を示す図である。図６において、符号「１２０Ｍ」は、ブーム１２０に対応したブームモデル（第１の３Ｄモデル）である。また、符号「１２１Ｍ」は、ブーム本体１２１に対応したブーム本体モデル（第１の３Ｄモデル）である。さらに、符号「１２２Ｍ」は、ブームペデスタル１２２に対応したブームペデスタルモデル（第１の３Ｄモデル）である。また、符号「１２３Ｍ」は、ブームリフトシリンダ１２３に対応したブームリフトシリンダモデル（第１の３Ｄモデル）である。さらに、符号「１２４Ｍ」は、旋回軸１２４に対応した旋回軸モデル（第１の３Ｄモデル）である。また、符号「１２５Ｍ」は、起伏軸１２５に対応した起伏軸モデル（第１の３Ｄモデル）である。さらに、符号「１１２Ｍ」は、基台１１２に対応した基台モデル（第１の３Ｄモデル）である。また、符号「３Ｍ」は、穿孔機械１００に設けられ、模擬操作装置３と同様の構成を有する操作装置（図示略）に対応した操作装置モデル（第１の３Ｄモデル）である。図７は、ステップＳ４を説明する図である。具体的に、図７は、仮想空間ＶＳ上での訓練者ＴＲの視野が図６に示す領域Ａｒ１である場合における表示部４２に表示される表示画像Ｆ１を示す図である。
【0042】
ここで、切替用基準位置ＲＰは、模擬操作装置３の配置位置に対応させた位置（実空間座標系では模擬操作装置３の配置位置、仮想空間座標系では操作装置モデル３Ｍの位置）に複数、設定されている。すなわち、切替用基準位置ＲＰは、図５に示すように、ヘッドマウントディスプレイ４を装着し、訓練席２に着座した訓練者ＴＲから見て、下方側にそれぞれ設けられている。
【0043】
以下、第１の表示処理を説明するにあたって、訓練者ＴＲが図５に示す状態よりも頭を上げ、仮想空間ＶＳ上での当該訓練者ＴＲの視野が比較的に上方側の領域であって図６に示す領域Ａｒ１である場合を想定する。
この場合には、基準線ＲＬが切替用基準位置ＲＰよりも上方側に位置することとなり、ステップＳ２で算出される最短距離ＤＳは、比較的に大きい距離となる。その結果、最短距離ＤＳが特定の閾値を超えると判定され（ステップＳ３：Ｎｏ）、表示制御部６３７によって第１の表示処理が実行される（ステップＳ４）。
この場合には、基準線ＲＬが切替用基準位置ＲＰよりも上方側に位置することとなり、ステップＳ２で算出される最短距離ＤＳは、比較的に大きい距離となる。その結果、最短距離ＤＳが特定の閾値を超えると判定され（ステップＳ３：Ｎｏ）、表示制御部６３７によって第１の表示処理が実行される（ステップＳ４）。
【0044】
具体的に、表示制御部６３７は、ステップＳ４において、第１の算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（訓練者ＴＲの視線方向）と、記憶部６２に記憶されている第１の３Ｄモデルのデータとに基づいて、仮想空間ＶＳ上での訓練者ＴＲの視野に応じた領域Ａｒ１に認識されるブームモデル１２０Ｍ、基台モデル１１２Ｍ、及び操作装置モデル３Ｍの各モデル画像を生成する。そして、表示制御部６３７は、当該生成した各モデル画像を配置した表示画像Ｆ１（図７）を生成する。これにより、表示部４２には、当該表示画像Ｆ１が表示される。
【0045】
ここで、第１の表示処理において、表示制御部６３７は、表示画像Ｆ１を生成する際、当該表示画像Ｆ１における特定の領域（下方側の左右方向の中央領域）に、撮影部４１にて生成された撮影画像を投影したスクリーンＳＣを配置する。また、表示制御部６３７は、スクリーンＳＣの透明度を第１の透明度（本実施の形態では、透明になった状態である透明度：１００）にする。なお、図７では、第１の透明度に設定されたスクリーンＳＣを一点鎖線で表現している。このため、第１の表示処理では、表示画像Ｆ１には、図７に示すように、領域Ａｒ１に認識されるブームモデル１２０Ｍ、基台モデル１１２Ｍ、及び操作装置モデル３Ｍの各モデル画像のみが表示される。すなわち、表示画像Ｆ１には、撮影画像は表示されない。
なお、第１の透明度としては、スクリーンＳＣを透明にする透明度：１００に限らず、表示部４２への撮像部４１にて生成された撮影画像の表示を妨げる透明度であれば、その他の透明度であっても構わない。
なお、第１の透明度としては、スクリーンＳＣを透明にする透明度：１００に限らず、表示部４２への撮像部４１にて生成された撮影画像の表示を妨げる透明度であれば、その他の透明度であっても構わない。
【0046】
一方、表示制御部６３７は、最短距離ＤＳが特定の閾値以下であると判定された場合（ステップＳ３：Ｙｅｓ）には、以下に示すように、第２の表示処理を実行する（ステップＳ５：第２の表示処理ステップ）。この後、制御部６３は、ステップＳ１に戻る。
図８は、ステップＳ５を説明する図である。具体的に、図８は、仮想空間ＶＳ上での訓練者ＴＲの視野が図６に示す領域Ａｒ２である場合における表示部４２に表示される表示画像Ｆ２を示す図である。図８において、符号「ＣＩ」は、撮影部４１にて生成された撮影画像である。また、符号「ＨＡ」は、撮影画像ＣＩに写り込んだ訓練者ＴＲの手である。なお、図８では、撮影画像ＣＩと、ブームモデル１２０Ｍ、基台モデル１１２Ｍ、及び操作装置モデル３Ｍの各モデル画像とを区別するために、当該撮影画像ＣＩにドットを付している。
図８は、ステップＳ５を説明する図である。具体的に、図８は、仮想空間ＶＳ上での訓練者ＴＲの視野が図６に示す領域Ａｒ２である場合における表示部４２に表示される表示画像Ｆ２を示す図である。図８において、符号「ＣＩ」は、撮影部４１にて生成された撮影画像である。また、符号「ＨＡ」は、撮影画像ＣＩに写り込んだ訓練者ＴＲの手である。なお、図８では、撮影画像ＣＩと、ブームモデル１２０Ｍ、基台モデル１１２Ｍ、及び操作装置モデル３Ｍの各モデル画像とを区別するために、当該撮影画像ＣＩにドットを付している。
【0047】
以下、第２の表示処理を説明するにあたって、訓練者ＴＲが図５に示すように頭を下げ、仮想空間ＶＳ上での当該訓練者ＴＲの視野が比較的に下方側の領域であって図６に示す領域Ａｒ２である場合を想定する。
この場合には、基準線ＲＬが切替用基準位置ＲＰに近接することとなり、ステップＳ２で算出される最短距離ＤＳは、比較的に小さい距離となる。その結果、最短距離ＤＳが特定の閾値以下であると判定され（ステップＳ３：Ｙｅｓ）、表示制御部６３７によって第２の表示処理が実行される（ステップＳ５）。
この場合には、基準線ＲＬが切替用基準位置ＲＰに近接することとなり、ステップＳ２で算出される最短距離ＤＳは、比較的に小さい距離となる。その結果、最短距離ＤＳが特定の閾値以下であると判定され（ステップＳ３：Ｙｅｓ）、表示制御部６３７によって第２の表示処理が実行される（ステップＳ５）。
【0048】
具体的に、表示制御部６３７は、ステップＳ５において、第１の算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（訓練者ＴＲの視線方向）と、記憶部６２に記憶されている第１の３Ｄモデルのデータとに基づいて、仮想空間ＶＳ上での訓練者ＴＲの視野に応じた領域Ａｒ２に認識されるブームモデル１２０Ｍ、基台モデル１１２Ｍ、及び操作装置モデル３Ｍの各モデル画像を生成する。そして、表示制御部６３７は、当該生成した各モデル画像を配置した表示画像Ｆ２（図８）を生成する。これにより、表示部４２には、当該表示画像Ｆ２が表示される。
【0049】
ここで、第２の表示処理において、表示制御部６３７は、表示画像Ｆ２を生成する際、第１の表示処理と同様に、当該表示画像Ｆ２における特定の領域（下方側の左右方向の中央領域）に、撮影部４１にて生成された撮影画像ＣＩを投影したスクリーンＳＣを配置する。また、表示制御部６３７は、スクリーンＳＣを第１の透明度よりも小さい第２の透明度にする。なお、図８では、第２の透明度に設定されたスクリーンＳＣを実線で表現している。このため、第２の表示処理では、表示画像Ｆ２には、図８に示すように、撮影画像ＣＩが表示され、領域Ａｒ２に認識されるブームモデル１２０Ｍ、基台モデル１１２Ｍ、及び操作装置モデル３Ｍの各モデル画像の一部がスクリーンＳＣ（撮影画像ＣＩ）によって隠された状態で表示される。
【0050】
以上説明した本実施の形態によれば、以下の効果を奏する。
本実施の形態に係るシミュレーション装置１では、制御装置６は、訓練者ＴＲの視線方向に応じて、第１，第２の表示処理のいずれかの表示処理を実行する。ここで、第１の表示処理は、表示部４２に撮影画像ＣＩを表示させずに仮想空間ＶＳ上での訓練者ＴＲの視野に応じた領域に認識される第１の３Ｄモデルのモデル画像を表示する表示処理である。一方、第２の表示処理は、表示部４２に撮影画像ＣＩと仮想空間ＶＳ上での訓練者ＴＲの視野に応じた領域に認識される第１の３Ｄモデルのモデル画像との双方を表示させる表示処理である。
このため、第２の表示処理が実行されれば、訓練者ＴＲは、表示部４２に表示される表示画像Ｆ２に表示された撮影画像ＣＩから、実空間上の模擬操作部３１を視認することができる。例えば、図８に示す撮影画像ＣＩには模擬操作部３１が写り込んでおり、当該撮影画像ＣＩから、所望の模擬操作部３１を探すことができる。したがって、本実施の形態に係るシミュレーション装置１によれば、複数の模擬操作部３１を訓練者ＴＲに手探りで操作させることがなく、利便性を向上させることができる。
本実施の形態に係るシミュレーション装置１では、制御装置６は、訓練者ＴＲの視線方向に応じて、第１，第２の表示処理のいずれかの表示処理を実行する。ここで、第１の表示処理は、表示部４２に撮影画像ＣＩを表示させずに仮想空間ＶＳ上での訓練者ＴＲの視野に応じた領域に認識される第１の３Ｄモデルのモデル画像を表示する表示処理である。一方、第２の表示処理は、表示部４２に撮影画像ＣＩと仮想空間ＶＳ上での訓練者ＴＲの視野に応じた領域に認識される第１の３Ｄモデルのモデル画像との双方を表示させる表示処理である。
このため、第２の表示処理が実行されれば、訓練者ＴＲは、表示部４２に表示される表示画像Ｆ２に表示された撮影画像ＣＩから、実空間上の模擬操作部３１を視認することができる。例えば、図８に示す撮影画像ＣＩには模擬操作部３１が写り込んでおり、当該撮影画像ＣＩから、所望の模擬操作部３１を探すことができる。したがって、本実施の形態に係るシミュレーション装置１によれば、複数の模擬操作部３１を訓練者ＴＲに手探りで操作させることがなく、利便性を向上させることができる。
【0051】
特に、第１，第２の表示処理は、訓練者ＴＲの視線方向に応じて切り替えられる。
このため、常時、第２の表示処理が実行されることで、撮影画像ＣＩが常時、表示部４２に表示される構成と比較して、例えば訓練者ＴＲが所望の模擬操作部３１を探す場合に限って、当該撮影画像ＣＩを表示部４２に表示させることができる。言い換えれば、例えば訓練者ＴＲが所望の模擬操作部３１を探し当てた後、当該模擬操作部３１を操作している場合には、第１の表示処理が実行されることで、当該模擬操作部３１の操作に応じて擬似的に動作する第１の３Ｄモデルのモデル画像のみを表示画像Ｆ１から訓練者ＴＲに視認させることができる。したがって、模擬操作部３１の操作時には不要となる撮影画像ＣＩを表示部４２に表示させないことで、利便性をさらに向上させることができる。
このため、常時、第２の表示処理が実行されることで、撮影画像ＣＩが常時、表示部４２に表示される構成と比較して、例えば訓練者ＴＲが所望の模擬操作部３１を探す場合に限って、当該撮影画像ＣＩを表示部４２に表示させることができる。言い換えれば、例えば訓練者ＴＲが所望の模擬操作部３１を探し当てた後、当該模擬操作部３１を操作している場合には、第１の表示処理が実行されることで、当該模擬操作部３１の操作に応じて擬似的に動作する第１の３Ｄモデルのモデル画像のみを表示画像Ｆ１から訓練者ＴＲに視認させることができる。したがって、模擬操作部３１の操作時には不要となる撮影画像ＣＩを表示部４２に表示させないことで、利便性をさらに向上させることができる。
【0052】
また、本実施の形態に係るシミュレーション装置１では、制御装置６は、仮想空間ＶＳ上に第２の３ＤモデルであるスクリーンＳＣを配置し、当該スクリーンＳＣに撮影画像ＣＩを投影することで、表示部４２に当該撮影画像ＣＩを表示させる。ここで、制御装置６は、第１の表示処理ではスクリーンＳＣを第１の透明度に設定し、第２の表示処理ではスクリーンＳＣを第２の透明度に設定する。
したがって、表示部４２に撮影画像ＣＩを表示させない第１の表示処理と、当該表示部４２に当該撮影画像ＣＩを表示させる第２の表示処理とを簡単な処理で容易に行うことができる。
したがって、表示部４２に撮影画像ＣＩを表示させない第１の表示処理と、当該表示部４２に当該撮影画像ＣＩを表示させる第２の表示処理とを簡単な処理で容易に行うことができる。
【0053】
また、本実施の形態に係るシミュレーション装置１では、制御装置６は、訓練者ＴＲの視線方向に応じた基準線ＲＬを作成するとともに、予め設定された切替用基準位置ＲＰと当該基準線ＲＬとの最短距離ＤＳを算出する。そして、制御装置６は、最短距離ＤＳが特定の閾値以下であるか否かの判定結果に基づいて、第１，第２の表示処理のいずれかの表示処理を実行する。
このため、第２の表示処理が実行される際での訓練者ＴＲの視線方向である条件を細かく設定することができる。したがって、上述した「例えば訓練者ＴＲが所望の模擬操作部３１を探す場合に限って、当該撮影画像ＣＩを表示部４２に表示させることができる。」という効果を好適に実現することができる。
このため、第２の表示処理が実行される際での訓練者ＴＲの視線方向である条件を細かく設定することができる。したがって、上述した「例えば訓練者ＴＲが所望の模擬操作部３１を探す場合に限って、当該撮影画像ＣＩを表示部４２に表示させることができる。」という効果を好適に実現することができる。
【0054】
特に、切替用基準位置ＲＰは、模擬操作装置３の配置位置に対応させて複数、設けられている。
このため、上述した「例えば訓練者ＴＲが所望の模擬操作部３１を探す場合に限って、当該撮影画像ＣＩを表示部４２に表示させることができる。」という効果をより確実に実現することができる。
このため、上述した「例えば訓練者ＴＲが所望の模擬操作部３１を探す場合に限って、当該撮影画像ＣＩを表示部４２に表示させることができる。」という効果をより確実に実現することができる。
【0055】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態において、第１の表示処理が実行される条件は、最短距離ＤＳが特定の閾値を超えるという条件に限らない。同様に、第２の表示処理が実行される条件は、最短距離ＤＳが特定の閾値以下であるという条件に限らない。訓練者ＴＲの視線方向に応じて、第１，第２の表示処理のいずれかの表示処理が実行されれば、その他の条件を採用しても構わない。例えば、訓練者ＴＲの視線方向が水平面に対して下方に向く視線方向である場合に、第２の表示処理が実行されても構わない。言い換えれば、訓練者ＴＲの視線方向が水平面上、または当該水平面に対して上方に向く視線方向である場合に、第１の表示処理が実行されても構わない。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態において、第１の表示処理が実行される条件は、最短距離ＤＳが特定の閾値を超えるという条件に限らない。同様に、第２の表示処理が実行される条件は、最短距離ＤＳが特定の閾値以下であるという条件に限らない。訓練者ＴＲの視線方向に応じて、第１，第２の表示処理のいずれかの表示処理が実行されれば、その他の条件を採用しても構わない。例えば、訓練者ＴＲの視線方向が水平面に対して下方に向く視線方向である場合に、第２の表示処理が実行されても構わない。言い換えれば、訓練者ＴＲの視線方向が水平面上、または当該水平面に対して上方に向く視線方向である場合に、第１の表示処理が実行されても構わない。
【0056】
上述した実施の形態では、切替用基準位置ＲＰは、複数、設定されている例を説明したが、１つのみ設定されていても構わない。
上述した実施の形態において、制御部６３の一部の機能を制御装置６の外部に設けても構わない。例えば、ヘッドマウントディスプレイ４の位置及び姿勢を算出する第１の算出部６３３の機能をベースステーション５に設けても構わない。この際、制御装置６は、ヘッドマウントディスプレイ４の位置及び姿勢を示す情報をベースステーション５から取得する。
上述した実施の形態において、制御部６３の一部の機能を制御装置６の外部に設けても構わない。例えば、ヘッドマウントディスプレイ４の位置及び姿勢を算出する第１の算出部６３３の機能をベースステーション５に設けても構わない。この際、制御装置６は、ヘッドマウントディスプレイ４の位置及び姿勢を示す情報をベースステーション５から取得する。
【符号の説明】
【0057】
１ シミュレーション装置
２ 訓練席
３ 模擬操作装置
３Ｍ 操作装置モデル
４ ヘッドマウントディスプレイ
５ ベースステーション
６ 制御装置
３１，３１１ 模擬操作部
４１ 撮影部
４２ 表示部
４３ 赤外線出力部
５１ 赤外線カメラ
６１ 入力部
６２ 記憶部
６３ 制御部
１００ 穿孔機械
１１０ 走行台車
１１１ トラック
１１２ 基台
１１２Ｍ 基台モデル
１２０ ブーム
１２０Ｍ ブームモデル
１２１ ブーム本体
１２１Ｍ ブーム本体モデル
１２２ ブームペデスタル
１２２Ｍ ブームペデスタルモデル
１２３ ブームリフトシリンダ
１２３Ｍ ブームリフトシリンダモデル
１２４ 旋回軸
１２４Ｍ 旋回軸モデル
１２５ 起伏軸
１２５Ｍ 起伏軸モデル
１３０ さく岩ユニット
１３１ ガイドシェル
１３２ さく岩機
１３３ 工具
１４０ 操縦室
１４１ 運転席
６３１ 第１の画像取得部
６３２ 第２の画像取得部
６３３ 第１の算出部
６３４ 基準線作成部
６３５ 第２の算出部
６３６ 判定部
６３７ 表示制御部
Ａｒ１，Ａｒ２ 領域
ＣＩ 撮影画像
ＤＳ 最短距離
Ｆ１，Ｆ２ 表示画像
ＨＡ 手
ＲＬ 基準線
ＲＰ 切替用基準位置
ＳＣ スクリーン
ＴＲ 訓練者
ＶＳ 仮想空間
２ 訓練席
３ 模擬操作装置
３Ｍ 操作装置モデル
４ ヘッドマウントディスプレイ
５ ベースステーション
６ 制御装置
３１，３１１ 模擬操作部
４１ 撮影部
４２ 表示部
４３ 赤外線出力部
５１ 赤外線カメラ
６１ 入力部
６２ 記憶部
６３ 制御部
１００ 穿孔機械
１１０ 走行台車
１１１ トラック
１１２ 基台
１１２Ｍ 基台モデル
１２０ ブーム
１２０Ｍ ブームモデル
１２１ ブーム本体
１２１Ｍ ブーム本体モデル
１２２ ブームペデスタル
１２２Ｍ ブームペデスタルモデル
１２３ ブームリフトシリンダ
１２３Ｍ ブームリフトシリンダモデル
１２４ 旋回軸
１２４Ｍ 旋回軸モデル
１２５ 起伏軸
１２５Ｍ 起伏軸モデル
１３０ さく岩ユニット
１３１ ガイドシェル
１３２ さく岩機
１３３ 工具
１４０ 操縦室
１４１ 運転席
６３１ 第１の画像取得部
６３２ 第２の画像取得部
６３３ 第１の算出部
６３４ 基準線作成部
６３５ 第２の算出部
６３６ 判定部
６３７ 表示制御部
Ａｒ１，Ａｒ２ 領域
ＣＩ 撮影画像
ＤＳ 最短距離
Ｆ１，Ｆ２ 表示画像
ＨＡ 手
ＲＬ 基準線
ＲＰ 切替用基準位置
ＳＣ スクリーン
ＴＲ 訓練者
ＶＳ 仮想空間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】