ホーム > 特許ランキング > 古河機械金属株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023168678
(43)【公開日】2023-11-29
(54)【発明の名称】シミュレーション装置、制御方法、及び制御プログラム
(51)【国際特許分類】
G09B 9/042 20060101AFI20231121BHJP
G06F 3/01 20060101ALI20231121BHJP
E21B 7/02 20060101ALI20231121BHJP
【ＦＩ】
G09B9/042 Z
G06F3/01 510
E21B7/02
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022079929
(22)【出願日】2022-05-16
(71)【出願人】
【識別番号】000165974
【氏名又は名称】古河機械金属株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】鶴見 翔太
【テーマコード（参考）】
2D129
5E555
【Ｆターム（参考）】
2D129AA04
2D129AB13
2D129BA16
2D129BA30
2D129DC13
2D129DC15
5E555AA22
5E555AA25
5E555AA26
5E555AA64
5E555BA38
5E555BB38
5E555BC04
5E555BE17
5E555CA10
5E555CA42
5E555CB21
5E555DA08
5E555DA09
5E555DB53
5E555DC09
5E555DC10
5E555DC13
5E555DC35
5E555DC36
5E555EA19
5E555EA22
5E555EA27
5E555FA00
(57)【要約】
【課題】穿孔機械の操作の技能を訓練者に容易に習得させること。
【解決手段】シミュレーション装置は、複数の模擬操作部３１を有する模擬操作装置３と、穿孔機械に対応する仮想モデルの画像を表示する表示装置４と、仮想モデルの画像を表示装置４に表示させる制御装置６とを備える。制御装置６は、複数の模擬操作部３１のうち、ユーザが操作しようとする模擬操作部を対象操作部として判定する判定部６３４と、対象操作部に対応する仮想モデルの部位を他の部位に対して識別可能に表示装置４に表示させる表示制御部６３５とを備える。
【選択図】図３
【解決手段】シミュレーション装置は、複数の模擬操作部３１を有する模擬操作装置３と、穿孔機械に対応する仮想モデルの画像を表示する表示装置４と、仮想モデルの画像を表示装置４に表示させる制御装置６とを備える。制御装置６は、複数の模擬操作部３１のうち、ユーザが操作しようとする模擬操作部を対象操作部として判定する判定部６３４と、対象操作部に対応する仮想モデルの部位を他の部位に対して識別可能に表示装置４に表示させる表示制御部６３５とを備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
穿孔機械に設けられ、当該穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部を有する模擬操作装置と、
前記穿孔機械に対応する仮想モデルの画像を表示する表示装置と、
前記仮想モデルの画像を前記表示装置に表示させるとともに、当該仮想モデルの画像のうち、ユーザによって操作された前記模擬操作部に対応する当該仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置とを備え、
前記制御装置は、
前記複数の模擬操作部のうち、前記ユーザが操作しようとする模擬操作部を対象操作部として判定する判定部と、
前記対象操作部に対応する前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示制御部とを備えるシミュレーション装置。
前記穿孔機械に対応する仮想モデルの画像を表示する表示装置と、
前記仮想モデルの画像を前記表示装置に表示させるとともに、当該仮想モデルの画像のうち、ユーザによって操作された前記模擬操作部に対応する当該仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置とを備え、
前記制御装置は、
前記複数の模擬操作部のうち、前記ユーザが操作しようとする模擬操作部を対象操作部として判定する判定部と、
前記対象操作部に対応する前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示制御部とを備えるシミュレーション装置。
【請求項2】
前記複数の模擬操作部は、
前記ユーザによる操作に応じた操作信号を前記制御装置にそれぞれ出力し、
前記判定部は、
前記複数の模擬操作部のうち、前記操作信号を出力している模擬操作部を前記対象操作部として判定する請求項１に記載のシミュレーション装置。
前記ユーザによる操作に応じた操作信号を前記制御装置にそれぞれ出力し、
前記判定部は、
前記複数の模擬操作部のうち、前記操作信号を出力している模擬操作部を前記対象操作部として判定する請求項１に記載のシミュレーション装置。
【請求項3】
前記表示制御部は、
前記複数の模擬操作部のうち、複数の操作をそれぞれ受け付ける模擬操作部が前記対象操作部として判定された場合には、当該対象操作部への操作に応じて動作させる前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる請求項２に記載のシミュレーション装置。
前記複数の模擬操作部のうち、複数の操作をそれぞれ受け付ける模擬操作部が前記対象操作部として判定された場合には、当該対象操作部への操作に応じて動作させる前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる請求項２に記載のシミュレーション装置。
【請求項4】
前記判定部は、
前記複数の模擬操作部のうち、前記ユーザの手の位置との間の位置関係が特定の位置関係となった模擬操作部を前記対象操作部として判定する請求項１～３のいずれか１つに記載のシミュレーション装置。
前記複数の模擬操作部のうち、前記ユーザの手の位置との間の位置関係が特定の位置関係となった模擬操作部を前記対象操作部として判定する請求項１～３のいずれか１つに記載のシミュレーション装置。
【請求項5】
前記判定部は、
前記ユーザの手の位置の位置座標を測位し、当該ユーザの手の位置の位置座標と、予め設定された前記複数の模擬操作部の各位置座標との位置関係を解析し、当該解析の結果に基づいて前記特定の位置関係となった模擬操作部を前記対象操作部として判定する請求項４に記載のシミュレーション装置。
前記ユーザの手の位置の位置座標を測位し、当該ユーザの手の位置の位置座標と、予め設定された前記複数の模擬操作部の各位置座標との位置関係を解析し、当該解析の結果に基づいて前記特定の位置関係となった模擬操作部を前記対象操作部として判定する請求項４に記載のシミュレーション装置。
【請求項6】
前記複数の模擬操作部を含む領域を撮影して撮影画像のデータを出力する撮影装置をさらに備え、
前記制御装置は、
前記撮影画像のデータを取得する画像取得部をさらに備え、
前記判定部は、
前記撮影画像に基づいて、前記ユーザの手の位置の位置座標を測位し、当該ユーザの手の位置の位置座標と、予め設定された前記複数の模擬操作部の各位置座標との位置関係を解析し、当該解析の結果に基づいて前記特定の位置関係となった模擬操作部を前記対象操作部として判定する請求項５に記載のシミュレーション装置。
前記制御装置は、
前記撮影画像のデータを取得する画像取得部をさらに備え、
前記判定部は、
前記撮影画像に基づいて、前記ユーザの手の位置の位置座標を測位し、当該ユーザの手の位置の位置座標と、予め設定された前記複数の模擬操作部の各位置座標との位置関係を解析し、当該解析の結果に基づいて前記特定の位置関係となった模擬操作部を前記対象操作部として判定する請求項５に記載のシミュレーション装置。
【請求項7】
前記判定部は、
前記撮影画像に基づいて、前記ユーザの手の骨格を検知することで前記ユーザの手の位置を認識する請求項６に記載のシミュレーション装置。
前記撮影画像に基づいて、前記ユーザの手の骨格を検知することで前記ユーザの手の位置を認識する請求項６に記載のシミュレーション装置。
【請求項8】
前記判定部は、
前記複数の模擬操作部のうち、前記ユーザの手の位置の位置座標との間の距離が特定の閾値以下で、かつ、最短となる前記特定の位置関係の位置座標の模擬操作部を前記対象操作部として判定する請求項６または７に記載のシミュレーション装置。
前記複数の模擬操作部のうち、前記ユーザの手の位置の位置座標との間の距離が特定の閾値以下で、かつ、最短となる前記特定の位置関係の位置座標の模擬操作部を前記対象操作部として判定する請求項６または７に記載のシミュレーション装置。
【請求項9】
前記複数の模擬操作部は、
前記ユーザによる操作に応じた操作信号を前記制御装置にそれぞれ出力し、
前記表示制御部は、
第１の識別表示処理と第２の識別表示処理とをそれぞれ実行し、
前記第１の識別表示処理は、
前記対象操作部に対応する前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる処理であり、
前記第２の識別表示処理は、
前記第１の識別表示処理の後、前記対象操作部への操作があった場合に実行され、当該対象操作部に対応する前記仮想モデルの部位と他の部位とを識別する識別状態を当該第１の識別表示処理が実行された場合と異なる態様で前記表示装置に表示させる処理である請求項４に記載のシミュレーション装置。
前記ユーザによる操作に応じた操作信号を前記制御装置にそれぞれ出力し、
前記表示制御部は、
第１の識別表示処理と第２の識別表示処理とをそれぞれ実行し、
前記第１の識別表示処理は、
前記対象操作部に対応する前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる処理であり、
前記第２の識別表示処理は、
前記第１の識別表示処理の後、前記対象操作部への操作があった場合に実行され、当該対象操作部に対応する前記仮想モデルの部位と他の部位とを識別する識別状態を当該第１の識別表示処理が実行された場合と異なる態様で前記表示装置に表示させる処理である請求項４に記載のシミュレーション装置。
【請求項10】
シミュレーション装置の制御装置が実行する制御方法であって、
穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部のうち、ユーザが操作しようとする模擬操作部を対象操作部として判定する判定ステップと、
前記穿孔機械に対応する仮想モデルの画像を表示装置に表示させるとともに、前記対象操作部に対応する当該仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示処理ステップとを含む制御方法。
穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部のうち、ユーザが操作しようとする模擬操作部を対象操作部として判定する判定ステップと、
前記穿孔機械に対応する仮想モデルの画像を表示装置に表示させるとともに、前記対象操作部に対応する当該仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示処理ステップとを含む制御方法。
【請求項11】
穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部のうち、ユーザが操作しようとする模擬操作部を対象操作部として判定する判定ステップと、
前記穿孔機械に対応する仮想モデルの画像を表示装置に表示させるとともに、前記対象操作部に対応する当該仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示処理ステップとをコンピュータに実行させるための制御プログラム。
前記穿孔機械に対応する仮想モデルの画像を表示装置に表示させるとともに、前記対象操作部に対応する当該仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示処理ステップとをコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シミュレーション装置、制御方法、及び制御プログラムに関する。
【背景技術】
【0002】
従来、採石場や石灰石鉱山等では、岩盤に発破孔を穿孔するために穿孔機械が使用されている（例えば、特許文献１参照）。
このような穿孔機械では、送り機構によってさく岩機の先端に装着された工具を破砕対象へと押し付け、当該工具を介して、打撃機構で発生する衝撃力と回転機構で発生する回転力とを破砕対象へと伝達することで発破孔を穿孔する。そして、このような穿孔作業では、ブーム及びガイドシェルの位置決め、送り機構、打撃機構、及び回転機構の作動、セントラライザやロッドチェンジャの作動等が行われる。すなわち、当該穿孔機械では、操作対象が多岐にわたり、それぞれの操作対象を作動させるための多くの操作部が設けられている。
このような穿孔機械では、送り機構によってさく岩機の先端に装着された工具を破砕対象へと押し付け、当該工具を介して、打撃機構で発生する衝撃力と回転機構で発生する回転力とを破砕対象へと伝達することで発破孔を穿孔する。そして、このような穿孔作業では、ブーム及びガイドシェルの位置決め、送り機構、打撃機構、及び回転機構の作動、セントラライザやロッドチェンジャの作動等が行われる。すなわち、当該穿孔機械では、操作対象が多岐にわたり、それぞれの操作対象を作動させるための多くの操作部が設けられている。
【0003】
そして、上述したように穿孔機械には多くの操作部が設けられているため、当該穿孔機械の操作の技能を習得することは容易ではない。
そこで、穿孔機械の実機を使用せずに当該穿孔機械の操作の技能習得を行うためのシミュレーション装置を利用することが考えられる。例えば、当該シミュレーション装置は、訓練者に装着させたヘッドマウントディスプレイ等の表示装置を介して、穿孔機械の仮想モデルの画像（以下、モデル画像と記載）を当該訓練者に視認させる。また、当該シミュレーション装置は、穿孔機械に設けられた複数の操作部を擬似的に再現した複数の擬似操作部のいずれかの擬似操作部への訓練者の操作に応じて、モデル画像のうち、当該擬似操作部に対応するブーム等の部位を表示装置における表示画面上で擬似的に動作させる。
従来、このようなシミュレーション装置として、フォークリフト等の作業車両のシミュレーション装置が提案されている（例えば、特許文献２参照）。
そこで、穿孔機械の実機を使用せずに当該穿孔機械の操作の技能習得を行うためのシミュレーション装置を利用することが考えられる。例えば、当該シミュレーション装置は、訓練者に装着させたヘッドマウントディスプレイ等の表示装置を介して、穿孔機械の仮想モデルの画像（以下、モデル画像と記載）を当該訓練者に視認させる。また、当該シミュレーション装置は、穿孔機械に設けられた複数の操作部を擬似的に再現した複数の擬似操作部のいずれかの擬似操作部への訓練者の操作に応じて、モデル画像のうち、当該擬似操作部に対応するブーム等の部位を表示装置における表示画面上で擬似的に動作させる。
従来、このようなシミュレーション装置として、フォークリフト等の作業車両のシミュレーション装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０００－３０３７６８号公報
【特許文献2】特開２００４－２５２０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、穿孔機械のシミュレーション装置においても、穿孔機械に設けられた操作部と同様に模擬操作部の数も非常に多いため、訓練者は、当該模擬操作部と穿孔機械における当該操作部に対応する操作対象部位との関係を把握することは容易ではない。すなわち、訓練者は、穿孔機械の操作の技能を習得することが難しい。
【0006】
本発明は、上記に鑑みてなされたものであって、穿孔機械の操作の技能を訓練者に容易に習得させることができるシミュレーション装置、制御方法、及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明に係るシミュレーション装置は、穿孔機械に設けられ、当該穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部を有する模擬操作装置と、前記穿孔機械に対応する仮想モデルの画像を表示する表示装置と、前記仮想モデルの画像を前記表示装置に表示させるとともに、当該仮想モデルの画像のうち、ユーザによって操作された前記模擬操作部に対応する当該仮想モデルの部位を当該模擬操作部への操作に応じて擬似的に動作させる制御装置とを備え、前記制御装置は、前記複数の模擬操作部のうち、前記ユーザが操作しようとする模擬操作部を対象操作部として判定する判定部と、前記対象操作部に対応する前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示制御部とを備える。
【0008】
また、本発明に係るシミュレーション装置では、前記複数の模擬操作部は、前記ユーザによる操作に応じた操作信号を前記制御装置にそれぞれ出力し、前記判定部は、前記複数の模擬操作部のうち、前記操作信号を出力している模擬操作部を前記対象操作部として判定する。
【0009】
また、本発明に係るシミュレーション装置では、前記表示制御部は、前記複数の模擬操作部のうち、複数の操作をそれぞれ受け付ける模擬操作部が前記対象操作部として判定された場合には、当該対象操作部への操作に応じて動作させる前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる。
【0010】
また、本発明に係るシミュレーション装置では、前記判定部は、前記複数の模擬操作部のうち、前記ユーザの手の位置との間の位置関係が特定の位置関係となった模擬操作部を前記対象操作部として判定する。
【0011】
また、本発明に係るシミュレーション装置では、前記判定部は、前記ユーザの手の位置の位置座標を測位し、当該ユーザの手の位置の位置座標と、予め設定された前記複数の模擬操作部の各位置座標との位置関係を解析し、当該解析の結果に基づいて前記特定の位置関係となった模擬操作部を前記対象操作部として判定する。
【0012】
また、本発明に係るシミュレーション装置では、前記複数の模擬操作部を含む領域を撮影して撮影画像のデータを出力する撮影装置をさらに備え、前記制御装置は、前記撮影画像のデータを取得する画像取得部をさらに備え、前記判定部は、前記撮影画像に基づいて、前記ユーザの手の位置の位置座標を測位し、当該ユーザの手の位置の位置座標と、予め設定された前記複数の模擬操作部の各位置座標との位置関係を解析し、当該解析の結果に基づいて前記特定の位置関係となった模擬操作部を前記対象操作部として判定する。
【0013】
また、本発明に係るシミュレーション装置では、前記判定部は、前記撮影画像に基づいて、前記ユーザの手の骨格を検知することで前記ユーザの手の位置を認識する。
【0014】
また、本発明に係るシミュレーション装置では、前記判定部は、前記複数の模擬操作部のうち、前記ユーザの手の位置の位置座標との間の距離が特定の閾値以下で、かつ、最短となる前記特定の位置関係の位置座標の模擬操作部を前記対象操作部として判定する。
【0015】
また、本発明に係るシミュレーション装置では、前記複数の模擬操作部は、前記ユーザによる操作に応じた操作信号を前記制御装置にそれぞれ出力し、前記表示制御部は、第１の識別表示処理と第２の識別表示処理とをそれぞれ実行し、前記第１の識別表示処理は、前記対象操作部に対応する前記仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる処理であり、前記第２の識別表示処理は、前記第１の識別表示処理の後、前記対象操作部への操作があった場合に実行され、当該対象操作部に対応する前記仮想モデルの部位と他の部位とを識別する識別状態を当該第１の識別表示処理が実行された場合と異なる態様で前記表示装置に表示させる処理である。
【0016】
また、本発明に係る制御方法は、シミュレーション装置の制御装置が実行する制御方法であって、穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部のうち、ユーザが操作しようとする模擬操作部を対象操作部として判定する判定ステップと、前記穿孔機械に対応する仮想モデルの画像を表示装置に表示させるとともに、前記対象操作部に対応する当該仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示処理ステップとを含む。
【0017】
また、本発明に係る制御プログラムは、穿孔機械を動作させるために用いられる複数の操作部をそれぞれ擬似的に再現した複数の模擬操作部のうち、ユーザが操作しようとする模擬操作部を対象操作部として判定する判定ステップと、前記穿孔機械に対応する仮想モデルの画像を表示装置に表示させるとともに、前記対象操作部に対応する当該仮想モデルの部位を他の部位に対して識別可能に前記表示装置に表示させる表示処理ステップとをコンピュータに実行させるための制御プログラムである。
【発明の効果】
【0018】
本発明に係るシミュレーション装置、制御方法、及び制御プログラムによれば、穿孔機械の操作の技能を訓練者に容易に習得させることができる。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【0021】
（実施の形態１）
〔穿孔機械の概略構成〕
図１は、実施の形態１に係るシミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００を示す図である。
先ず、本実施の形態１に係るシミュレーション装置１の構成を説明する前に、当該シミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００の構成について説明する。
なお、穿孔機械１００を説明するにあたって、以下に示す「前方側」とは、図１に示す右側を意味する。
〔穿孔機械の概略構成〕
図１は、実施の形態１に係るシミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００を示す図である。
先ず、本実施の形態１に係るシミュレーション装置１の構成を説明する前に、当該シミュレーション装置１によって操作の技能習得を行う対象となる穿孔機械１００の構成について説明する。
なお、穿孔機械１００を説明するにあたって、以下に示す「前方側」とは、図１に示す右側を意味する。
【0022】
穿孔機械１００は、作業者の操作に応じて岩盤に発破孔を穿孔する。この穿孔機械１００は、図１に示すように、左右一対のトラック１１１（図１では一方のトラック１１１のみを図示）を有する走行台車１１０と、当該走行台車１１０上にそれぞれ搭載されたブーム１２０、さく岩ユニット１３０、及び操縦室１４０とを備える。
【0023】
ブーム１２０は、図１に示すように、ブーム本体１２１と、ブームペデスタル１２２と、ブーム旋回シリンダ（図示略）と、ブームリフトシリンダ１２３とを備える。
ブームペデスタル１２２は、走行台車１１０上の右斜め前方側に設けられた基台１１２（図１）に対して、鉛直方向に沿う旋回軸１２４（図１）を中心として回転（旋回）可能に設けられている。そして、ブーム旋回シリンダ（図示略）が駆動することで、ブーム１２０は、旋回する。また、ブーム本体１２１は、ブームペデスタル１２２に対して、水平方向（前後方向）に沿う起伏軸１２５（図１）を中心として回転（起伏）可能に設けられている。そして、ブームリフトシリンダ１２３が駆動することで、ブーム１２０は、起伏する。
ブームペデスタル１２２は、走行台車１１０上の右斜め前方側に設けられた基台１１２（図１）に対して、鉛直方向に沿う旋回軸１２４（図１）を中心として回転（旋回）可能に設けられている。そして、ブーム旋回シリンダ（図示略）が駆動することで、ブーム１２０は、旋回する。また、ブーム本体１２１は、ブームペデスタル１２２に対して、水平方向（前後方向）に沿う起伏軸１２５（図１）を中心として回転（起伏）可能に設けられている。そして、ブームリフトシリンダ１２３が駆動することで、ブーム１２０は、起伏する。
【0024】
さく岩ユニット１３０は、図１に示すように、ブーム１２０の先端部分に装着されている。このさく岩ユニット１３０は、ブーム１２０の先端部分に装着されたガイドシェル１３１と、当該ガイドシェル１３１の長手方向に沿って当該ガイドシェル１３１上を前進後退可能に設けられたさく岩機１３２と、当該さく岩機１３２の先端に装着された工具１３３とを備える。
ここで、さく岩機１３２は、ガイドシェル１３１に設けられた送り機構（図示略）によって当該ガイドシェル１３１上を前進後退するとともに、公知の打撃機構（図示略）及び回転機構（図示略）を備える。また、工具１３３は、具体的な図示は省略したが、シャンクロッド、スリーブ、ロッド、及びビットを基端側からこの順に接続されたものである。
そして、穿孔機械１００では、送り機構（図示略）によって工具１３３を破砕対象へと押し付け、打撃機構（図示略）で発生する衝撃力と回転機構（図示略）で発生する回転力とを当該工具１３３を介して当該破砕対象へ伝達して発破孔を穿孔する。
ここで、さく岩機１３２は、ガイドシェル１３１に設けられた送り機構（図示略）によって当該ガイドシェル１３１上を前進後退するとともに、公知の打撃機構（図示略）及び回転機構（図示略）を備える。また、工具１３３は、具体的な図示は省略したが、シャンクロッド、スリーブ、ロッド、及びビットを基端側からこの順に接続されたものである。
そして、穿孔機械１００では、送り機構（図示略）によって工具１３３を破砕対象へと押し付け、打撃機構（図示略）で発生する衝撃力と回転機構（図示略）で発生する回転力とを当該工具１３３を介して当該破砕対象へ伝達して発破孔を穿孔する。
【0025】
操縦室１４０は、図１に示すように、走行台車１１０上の左斜め前方側に設けられている。そして、操縦室１４０内には、図１に示すように、穿孔機械１００を操作する作業者が着座する運転席１４１が設けられている。また、運転席１４１の両側方には、具体的な図示は省略したが、穿孔機械１００を動作させるために用いられる複数の操作部が設けられている。
【0026】
〔シミュレーション装置の概略構成〕
次に、シミュレーション装置１の構成について説明する。
図２は、実施の形態１に係るシミュレーション装置１の構成を示す図である。
シミュレーション装置１は、図２に示すように、訓練席２と、模擬操作装置３と、ヘッドマウントディスプレイ４と、ベースステーション５と、制御装置６とを備える。
次に、シミュレーション装置１の構成について説明する。
図２は、実施の形態１に係るシミュレーション装置１の構成を示す図である。
シミュレーション装置１は、図２に示すように、訓練席２と、模擬操作装置３と、ヘッドマウントディスプレイ４と、ベースステーション５と、制御装置６とを備える。
【0027】
訓練席２は、シミュレーション装置１によって、穿孔機械１００の操作の技能習得を行うユーザである訓練者が着座する部分である。
模擬操作装置３は、図２に示すように、訓練席２の両側方にそれぞれ設けられ、穿孔機械１００に設けられた操作装置（図示略）を擬似的に再現したものである。より具体的に、模擬操作装置３は、当該操作装置に設けられた複数の操作部（図示略）をそれぞれ擬似的に再現した複数の模擬操作部３１を有する。これら複数の模擬操作部３１は、制御装置６との間で無線または有線によってそれぞれ通信可能に接続され、訓練者等によるユーザ操作に応じた操作信号を当該制御装置６にそれぞれ出力する。
模擬操作装置３は、図２に示すように、訓練席２の両側方にそれぞれ設けられ、穿孔機械１００に設けられた操作装置（図示略）を擬似的に再現したものである。より具体的に、模擬操作装置３は、当該操作装置に設けられた複数の操作部（図示略）をそれぞれ擬似的に再現した複数の模擬操作部３１を有する。これら複数の模擬操作部３１は、制御装置６との間で無線または有線によってそれぞれ通信可能に接続され、訓練者等によるユーザ操作に応じた操作信号を当該制御装置６にそれぞれ出力する。
【0028】
例えば、複数の模擬操作部３１のうち、第１の模擬操作部３１ａは、穿孔機械１００における送り機構（図示略）、打撃機構（図示略）、及び回転機構（図示略）をそれぞれ動作させるための複数の操作をそれぞれ受け付ける多機能操作部である穿孔操作部を擬似的に再現した模擬操作部である。
また、例えば、複数の模擬操作部３１のうち、第２の模擬操作部３１ｂ（図５，図６参照）は、ブーム１２０の旋回動作を実行させるための旋回操作、及びブーム１２０の起伏動作を実行させるための起伏操作をそれぞれ受け付ける多機能操作部であるブーム操作部を擬似的に再現した模擬操作部である。
また、例えば、複数の模擬操作部３１のうち、第２の模擬操作部３１ｂ（図５，図６参照）は、ブーム１２０の旋回動作を実行させるための旋回操作、及びブーム１２０の起伏動作を実行させるための起伏操作をそれぞれ受け付ける多機能操作部であるブーム操作部を擬似的に再現した模擬操作部である。
【0029】
ヘッドマウントディスプレイ４は、本発明に係る表示装置に相当し、制御装置６との間で無線または有線によって通信可能に接続する。このヘッドマウントディスプレイ４は、眼鏡のような外観を有し、訓練者に装着される。そして、ヘッドマウントディスプレイ４は、当該ヘッドマウントディスプレイ４を装着した訓練者の視界に応じた実像と所定の画像とをそれぞれ表示可能とする。このヘッドマウントディスプレイ４は、撮影部４１と、表示部４２と、複数の赤外線出力部４３とを備える（図３参照）。
【0030】
撮影部４１は、入射した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含むカメラである。また、撮影部４１は、制御装置６による制御の下、ヘッドマウントディスプレイ４を装着した訓練者の視界に応じた領域を撮影して撮影画像（以下、第１の撮影画像と記載）を生成する。そして、撮影部４１は、生成した第１の撮影画像のデータを制御装置６に出力する。
【0031】
表示部４２は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、ヘッドマウントディスプレイ４を装着した訓練者の左眼及び右眼の少なくともいずれか一方に対向する位置に配置される。そして、表示部４２は、制御装置６による制御の下、各種の画像を表示する。
【0032】
複数の赤外線出力部４３は、ヘッドマウントディスプレイ４の位置（３次元の位置）及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を判別するために用いられる。これら複数の赤外線出力部４３は、互いに異なる位置にそれぞれ配置され、赤外線をそれぞれ出力（照射）する。
【0033】
ベースステーション５は、ヘッドマウントディスプレイ４の位置（３次元の位置）及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を検出するために用いられる。また、ベースステーション５は、制御装置６との間で無線または有線によって通信可能に接続する。このベースステーション５は、複数の赤外線出力部４３から出力された赤外線を検出する２つの赤外線カメラ５１（図２）によって構成されている。なお、赤外線カメラ５１の数は、２つに限らず、その他の数だけ設けても構わない。そして、２つの赤外線カメラ５１は、撮影により生成した赤外線画像のデータを制御装置６にそれぞれ出力する。
【0034】
図３は、制御装置６の構成を示すブロック図である。なお、図３では、説明の便宜上、模擬操作部３１、赤外線出力部４３、及び赤外線カメラ５１を１つずつのみ図示している。
制御装置６は、シミュレーション装置１全体の動作を制御する。この制御装置６は、図３に示すように、入力部６１と、記憶部６２と、制御部６３とを備える。
入力部６１は、訓練者等によるユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた信号を制御部６３に出力する。
制御装置６は、シミュレーション装置１全体の動作を制御する。この制御装置６は、図３に示すように、入力部６１と、記憶部６２と、制御部６３とを備える。
入力部６１は、訓練者等によるユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた信号を制御部６３に出力する。
【0035】
記憶部６２は、制御部６３が実行する各種のプログラム（本発明に係る制御プログラムを含む）の他、当該制御部６３が処理を行うときに必要なデータ等を記憶する。
ここで、当該制御部６３が処理を行うときに必要なデータとしては、第１の３Ｄモデル（仮想モデル）のデータと、第２の３Ｄモデルのデータとを例示することができる。
第１の３Ｄモデルのデータは、穿孔機械１００に応じた３Ｄモデルのデータである。
第２の３Ｄモデルのデータは、撮影部４１にて生成された第１の撮影画像が投影されるスクリーンとして機能する３Ｄモデルのデータである。
これら第１，第２の３Ｄモデルは、例えばＣＡＤ（Computer-Aided Design）ソフトウェア等によって生成された３Ｄモデルであって、シミュレーション装置１が設置される実空間座標系に整合させた仮想空間座標系において、当該第１，第２の３Ｄモデルの各部位の位置や角度が関連付けられている。
ここで、当該制御部６３が処理を行うときに必要なデータとしては、第１の３Ｄモデル（仮想モデル）のデータと、第２の３Ｄモデルのデータとを例示することができる。
第１の３Ｄモデルのデータは、穿孔機械１００に応じた３Ｄモデルのデータである。
第２の３Ｄモデルのデータは、撮影部４１にて生成された第１の撮影画像が投影されるスクリーンとして機能する３Ｄモデルのデータである。
これら第１，第２の３Ｄモデルは、例えばＣＡＤ（Computer-Aided Design）ソフトウェア等によって生成された３Ｄモデルであって、シミュレーション装置１が設置される実空間座標系に整合させた仮想空間座標系において、当該第１，第２の３Ｄモデルの各部位の位置や角度が関連付けられている。
【0036】
制御部６３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部６２に記憶された各種のプログラムが実行されることにより実現され、シミュレーション装置１全体の動作を制御する。なお、制御部６３は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の集積回路によって構成されても構わない。この制御部６３は、図３に示すように、第１の画像取得部６３１と、第２の画像取得部６３２と、算出部６３３と、判定部６３４と、表示制御部６３５とを備える。
【0037】
第１の画像取得部６３１は、撮影部４１にて生成された第１の撮影画像のデータを取得する。
第２の画像取得部６３２は、２つの赤外線カメラ５１にてそれぞれ生成された赤外線画像のデータを取得する。
第２の画像取得部６３２は、２つの赤外線カメラ５１にてそれぞれ生成された赤外線画像のデータを取得する。
【0038】
算出部６３３は、ヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を算出する。具体的に、算出部６３３は、第２の画像取得部６３２にて取得された各赤外線画像のデータに基づいて、複数の赤外線出力部４３から各赤外線カメラ５１に到達した赤外線の到達時間や角度を認識する。そして、算出部６３３は、当該到達時間や角度から、ヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を算出する。
【0039】
判定部６３４は、複数の模擬操作部３１のうち、訓練者が操作しようとする模擬操作部を対象操作部として判定する判定処理を実行する。
なお、判定処理の詳細については、後述する「制御方法」において説明する。
なお、判定処理の詳細については、後述する「制御方法」において説明する。
【0040】
表示制御部６３５は、表示部４２に表示させる表示画像を生成する。
具体的に、表示制御部６３５は、算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を認識する。そして、表示制御部６３５は、記憶部６２に記憶されている第１の３Ｄモデルのデータに基づいて、ヘッドマウントディスプレイ４の位置から当該ヘッドマウントディスプレイ４を装着している訓練者の視線方向に認識される第１の３Ｄモデルの画像（以下、モデル画像と記載）を生成する。また、表示制御部６３５は、操作信号を入力することで、ヘッドマウントディスプレイ４を装着した訓練者によって操作された模擬操作部３１を認識する。そして、表示制御部６３５は、当該模擬操作部３１に対応する第１の３Ｄモデルの部位を当該模擬操作部３１の操作に応じて擬似的に動作させる。さらに、表示制御部６３５は、判定部６３４による判定処理の結果に基づいて、当該判定処理によって判定された対象操作部に対応する第１の３Ｄモデルの部位を他の部位に対して識別可能に表示部４２に表示させる識別表示処理を実行する。
なお、識別表示処理の詳細については、後述する「制御方法」において説明する。
具体的に、表示制御部６３５は、算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）を認識する。そして、表示制御部６３５は、記憶部６２に記憶されている第１の３Ｄモデルのデータに基づいて、ヘッドマウントディスプレイ４の位置から当該ヘッドマウントディスプレイ４を装着している訓練者の視線方向に認識される第１の３Ｄモデルの画像（以下、モデル画像と記載）を生成する。また、表示制御部６３５は、操作信号を入力することで、ヘッドマウントディスプレイ４を装着した訓練者によって操作された模擬操作部３１を認識する。そして、表示制御部６３５は、当該模擬操作部３１に対応する第１の３Ｄモデルの部位を当該模擬操作部３１の操作に応じて擬似的に動作させる。さらに、表示制御部６３５は、判定部６３４による判定処理の結果に基づいて、当該判定処理によって判定された対象操作部に対応する第１の３Ｄモデルの部位を他の部位に対して識別可能に表示部４２に表示させる識別表示処理を実行する。
なお、識別表示処理の詳細については、後述する「制御方法」において説明する。
【0041】
〔制御方法〕
次に、制御装置６が実行する制御方法について説明する。
図４は、制御方法を示すフローチャートである。
先ず、判定部６３４は、判定処理を実行する（ステップＳ１Ａ：判定ステップ）。
具体的に、判定部６３４は、ステップＳ１Ａにおいて、複数の模擬操作部３１のうち、操作信号を出力している模擬操作部を対象操作部として判定する。言い換えれば、判定部６３４は、複数の模擬操作部３１のうち、訓練者によって操作されている模擬操作部を対象操作部として判定する。
次に、制御装置６が実行する制御方法について説明する。
図４は、制御方法を示すフローチャートである。
先ず、判定部６３４は、判定処理を実行する（ステップＳ１Ａ：判定ステップ）。
具体的に、判定部６３４は、ステップＳ１Ａにおいて、複数の模擬操作部３１のうち、操作信号を出力している模擬操作部を対象操作部として判定する。言い換えれば、判定部６３４は、複数の模擬操作部３１のうち、訓練者によって操作されている模擬操作部を対象操作部として判定する。
【0042】
判定処理（ステップＳ１Ａ）の結果、対象操作部となる模擬操作部が無い（訓練者によって操作されている模擬操作部が無い）場合（ステップＳ１Ｂ：Ｎｏ）には、判定部６３４は、ステップＳ１Ａを継続する。
【0043】
ここで、識別表示処理（ステップＳ１Ｃ）を実行する前に表示制御部６３５が生成する表示画像について図５を参照しつつ説明する。
図５は、識別表示処理（ステップＳ１Ｃ）が実行される前に生成される表示画像Ｆ１を示す図である。図５において、符号「１２０Ｍ」は、ブーム１２０に対応したブームモデル（第１の３Ｄモデル）である。また、符号「１２１Ｍ」は、ブーム本体１２１に対応したブーム本体モデル（第１の３Ｄモデル）である。さらに、符号「１２２Ｍ」は、ブームペデスタル１２２に対応したブームペデスタルモデル（第１の３Ｄモデル）である。また、符号「１２３Ｍ」は、ブームリフトシリンダ１２３に対応したブームリフトシリンダモデル（第１の３Ｄモデル）である。さらに、符号「１２４Ｍ」は、旋回軸１２４に対応した旋回軸モデル（第１の３Ｄモデル）である。また、符号「１２５Ｍ」は、起伏軸１２５に対応した起伏軸モデル（第１の３Ｄモデル）である。さらに、符号「１１２Ｍ」は、基台１１２に対応した基台モデル（第１の３Ｄモデル）である。また、符号「３Ｍ」は、穿孔機械１００に設けられ、模擬操作装置３と同様の構成を有する操作装置（図示略）に対応した操作装置モデル（第１の３Ｄモデル）である。さらに、符号「ＳＣ」は、第２の３Ｄモデルであるスクリーンである。また、符号「ＣＩ１」は、撮影部４１にて生成された第１の撮影画像である。なお、図５では、第１の撮影画像ＣＩ１と、ブームモデル１２０Ｍ、基台モデル１１２Ｍ、及び操作装置モデル３Ｍの各モデル画像とを区別するために当該第１の撮影画像ＣＩ１にドットを付している。
図５は、識別表示処理（ステップＳ１Ｃ）が実行される前に生成される表示画像Ｆ１を示す図である。図５において、符号「１２０Ｍ」は、ブーム１２０に対応したブームモデル（第１の３Ｄモデル）である。また、符号「１２１Ｍ」は、ブーム本体１２１に対応したブーム本体モデル（第１の３Ｄモデル）である。さらに、符号「１２２Ｍ」は、ブームペデスタル１２２に対応したブームペデスタルモデル（第１の３Ｄモデル）である。また、符号「１２３Ｍ」は、ブームリフトシリンダ１２３に対応したブームリフトシリンダモデル（第１の３Ｄモデル）である。さらに、符号「１２４Ｍ」は、旋回軸１２４に対応した旋回軸モデル（第１の３Ｄモデル）である。また、符号「１２５Ｍ」は、起伏軸１２５に対応した起伏軸モデル（第１の３Ｄモデル）である。さらに、符号「１１２Ｍ」は、基台１１２に対応した基台モデル（第１の３Ｄモデル）である。また、符号「３Ｍ」は、穿孔機械１００に設けられ、模擬操作装置３と同様の構成を有する操作装置（図示略）に対応した操作装置モデル（第１の３Ｄモデル）である。さらに、符号「ＳＣ」は、第２の３Ｄモデルであるスクリーンである。また、符号「ＣＩ１」は、撮影部４１にて生成された第１の撮影画像である。なお、図５では、第１の撮影画像ＣＩ１と、ブームモデル１２０Ｍ、基台モデル１１２Ｍ、及び操作装置モデル３Ｍの各モデル画像とを区別するために当該第１の撮影画像ＣＩ１にドットを付している。
【0044】
表示制御部６３５は、算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢（ヘッドマウントディスプレイ４を装着している訓練者の視線方向）と、記憶部６２に記憶されている第１の３Ｄモデルのデータとに基づいて、仮想空間上での訓練者の視野に応じた領域に認識される各第１の３Ｄモデルの各モデル画像を生成する。図５の例では、当該領域に認識される第１の３Ｄモデルは、ブームモデル１２０Ｍ（ブーム本体モデル１２１Ｍ、ブームペデスタルモデル１２２Ｍ、ブームリフトシリンダモデル１２３Ｍ、旋回軸モデル１２４Ｍ、起伏軸モデル１２５Ｍ）、基台モデル１１２Ｍ、及び操作装置モデル３Ｍである。そして、表示制御部６３５は、当該生成した各モデル画像を配置した表示画像Ｆ１（図５）を生成する。これにより、表示部４２には、当該表示画像Ｆ１が表示される。
【0045】
ここで、表示制御部６３５は、表示画像Ｆ１を生成する際、当該表示画像Ｆ１における特定の領域（下方側の左右方向の中央領域）に、撮影部４１にて生成された第１の撮影画像ＣＩ１を投影したスクリーンＳＣを配置する。また、表示制御部６３５は、以下に示す比較処理の結果に基づいて、スクリーンＳＣの透明度を変更する。
当該比較処理は、基準線及び予め設定された切替用基準位置間の最短距離と特定の閾値とを比較する処理である。当該基準線は、算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢に基づいて作成された仮想的な線であって、当該ヘッドマウントディスプレイ４の特定の位置から訓練者の視線方向に応じて直線状に延びる線である。当該切替用基準位置は、模擬操作装置３の配置位置に対応した位置（実空間座標系では模擬操作装置３の配置位置、仮想空間座標系では操作装置モデル３Ｍの位置）に１つ、または、複数、設定されている。
当該比較処理は、基準線及び予め設定された切替用基準位置間の最短距離と特定の閾値とを比較する処理である。当該基準線は、算出部６３３にて算出されたヘッドマウントディスプレイ４の位置及び姿勢に基づいて作成された仮想的な線であって、当該ヘッドマウントディスプレイ４の特定の位置から訓練者の視線方向に応じて直線状に延びる線である。当該切替用基準位置は、模擬操作装置３の配置位置に対応した位置（実空間座標系では模擬操作装置３の配置位置、仮想空間座標系では操作装置モデル３Ｍの位置）に１つ、または、複数、設定されている。
【0046】
また、表示制御部６３５は、比較処理の結果、最短距離が特定の閾値を超える場合（以下、第１の場合と記載）には、スクリーンＳＣを透明にする。当該第１の場合としては、仮想空間上での訓練者の視野に応じた領域が比較的上方であり、当該領域に操作装置モデル３Ｍが認識されない場合を例示することができる。そして、第１の場合では、スクリーンＳＣを透明にした結果、表示画像には、仮想空間上での訓練者の視野に応じた領域に認識される各第１の３Ｄモデルの各モデル画像のみが表示される。すなわち、表示画像には、第１の撮影画像は表示されない。
【0047】
一方、表示制御部６３５は、比較処理の結果、最短距離が特定の閾値以下である場合（以下、第２の場合と記載）には、スクリーンＳＣの透明度を小さくする。当該第２の場合としては、仮想空間上での訓練者の視野に応じた領域が比較的下方であり、当該領域に操作装置モデル３Ｍが認識される場合を例示することができる。そして、第２の場合では、スクリーンＳＣの透明度を小さくした結果、表示画像には、仮想空間上での訓練者の視野に応じた領域に認識される各第１の３Ｄモデルの各モデル画像の他、第１の撮影画像が表示される。なお、図５に示した表示画像Ｆ１は、第２の場合での表示画像である。このため、当該表示画像Ｆ１には、第１の撮影画像ＣＩ１が表示される。
【0048】
判定処理（ステップＳ１Ａ）の結果、対象操作部となる模擬操作部が有る（訓練者によって操作されている模擬操作部が有る）場合（ステップＳ１Ｂ：Ｙｅｓ）には、表示制御部６３５は、識別表示処理を実行する（ステップＳ１Ｃ：表示処理ステップ）。
図６は、識別表示処理（ステップＳ１Ｃ）が実行された後に生成される表示画像Ｆ２を示す図である。具体的に、図６は、図５に対応した図であって、第２の場合での表示画像を示している。図６において、符号「ＨＡ」は、第１の撮影画像ＣＩ１に写り込んだ訓練者の手である。なお、図６では、訓練者が第２の模擬操作部３１ｂに対して起伏操作を行うことで、判定処理（ステップＳ１Ａ）において、当該第２の模擬操作部３１ｂが対象操作部として判定される場合を例示している。
図６は、識別表示処理（ステップＳ１Ｃ）が実行された後に生成される表示画像Ｆ２を示す図である。具体的に、図６は、図５に対応した図であって、第２の場合での表示画像を示している。図６において、符号「ＨＡ」は、第１の撮影画像ＣＩ１に写り込んだ訓練者の手である。なお、図６では、訓練者が第２の模擬操作部３１ｂに対して起伏操作を行うことで、判定処理（ステップＳ１Ａ）において、当該第２の模擬操作部３１ｂが対象操作部として判定される場合を例示している。
【0049】
以下、識別表示処理（ステップＳ１Ｃ）を説明するにあたって、訓練者が第２の模擬操作部３１ｂに対して起伏操作を行うことで、判定処理（ステップＳ１Ａ）において、当該第２の模擬操作部３１ｂが対象操作部として判定される場合を想定する。
この場合には、表示制御部６３５は、ステップＳ１Ｃにおいて、第２の模擬操作部３１ｂに対応するブームモデル１２０Ｍの部位を他の第１の３Ｄモデルに対して識別可能に表示部４２に表示させる識別表示処理を実行する。より具体的に、表示制御部６３５は、第２の模擬操作部３１ｂへの起伏操作に応じて動作させるブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍを他の第１の３Ｄモデルに対して識別可能に表示部４２に表示させる。ここで、識別表示処理（ステップＳ１Ｃ）としては、ブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍを他の第１の３Ｄモデルに対して異なる色にする処理（以下、色変更処理と記載）を例示することができる。例えば、識別表示処理が実行される前の表示画像Ｆ１ではブームモデル１２０Ｍ全体、基台モデル１１２Ｍ、及び操作装置モデル３Ｍが青色であったところ、当該識別表示処理が実行された後の表示画像Ｆ２ではブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍのみが赤色に変更される。なお、図６では、異なる色にしていることを表現するために、ブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍのみに斜線を付している。
以上のステップＳ１Ａ～Ｓ１Ｃにより制御装置６が実行する制御方法が完了する。
この場合には、表示制御部６３５は、ステップＳ１Ｃにおいて、第２の模擬操作部３１ｂに対応するブームモデル１２０Ｍの部位を他の第１の３Ｄモデルに対して識別可能に表示部４２に表示させる識別表示処理を実行する。より具体的に、表示制御部６３５は、第２の模擬操作部３１ｂへの起伏操作に応じて動作させるブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍを他の第１の３Ｄモデルに対して識別可能に表示部４２に表示させる。ここで、識別表示処理（ステップＳ１Ｃ）としては、ブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍを他の第１の３Ｄモデルに対して異なる色にする処理（以下、色変更処理と記載）を例示することができる。例えば、識別表示処理が実行される前の表示画像Ｆ１ではブームモデル１２０Ｍ全体、基台モデル１１２Ｍ、及び操作装置モデル３Ｍが青色であったところ、当該識別表示処理が実行された後の表示画像Ｆ２ではブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍのみが赤色に変更される。なお、図６では、異なる色にしていることを表現するために、ブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍのみに斜線を付している。
以上のステップＳ１Ａ～Ｓ１Ｃにより制御装置６が実行する制御方法が完了する。
【0050】
以上説明した本実施の形態１によれば、以下の効果を奏する。
本実施の形態１に係るシミュレーション装置１では、制御装置６は、複数の模擬操作部３１のうち、訓練者が操作しようとする模擬操作部を対象操作部として判定する。そして、制御装置６は、対象操作部に対応する第１の３Ｄモデルの部位を他の部位に対して識別可能に表示部４２に表示させる。
このため、訓練者は、表示部４２に表示された表示画像から、操作しようとする模擬操作部３１と、当該模擬操作部３１に対応する操作対象部位との関係を容易に把握することができる。したがって、本実施の形態１に係るシミュレーション装置１によれば、穿孔機械１００の操作の技能を訓練者に容易に習得させることができる。
本実施の形態１に係るシミュレーション装置１では、制御装置６は、複数の模擬操作部３１のうち、訓練者が操作しようとする模擬操作部を対象操作部として判定する。そして、制御装置６は、対象操作部に対応する第１の３Ｄモデルの部位を他の部位に対して識別可能に表示部４２に表示させる。
このため、訓練者は、表示部４２に表示された表示画像から、操作しようとする模擬操作部３１と、当該模擬操作部３１に対応する操作対象部位との関係を容易に把握することができる。したがって、本実施の形態１に係るシミュレーション装置１によれば、穿孔機械１００の操作の技能を訓練者に容易に習得させることができる。
【0051】
また、本実施の形態１に係るシミュレーション装置１では、制御装置６は、複数の模擬操作部３１のうち、操作信号を出力している模擬操作部を対象操作部として判定する。
このため、対象操作部を容易に判定することができ、当該対象操作部を判定するにあたって、制御装置６の処理負荷を軽減することができる。
このため、対象操作部を容易に判定することができ、当該対象操作部を判定するにあたって、制御装置６の処理負荷を軽減することができる。
【0052】
ここで、複数の模擬操作部３１は、例えば、複数の操作をそれぞれ受け付ける多機能操作部である第２の模擬操作部３１ｂを含む。
そして、本実施の形態１に係るシミュレーション装置１では、制御装置６は、例えば第２の模擬操作部３１ｂを対象操作部として判定した場合には、当該第２の模擬操作部３１ｂへの例えば起伏操作に応じて動作させる第１の３Ｄモデルの部位を他の部位に対して識別可能に表示部４２に表示させる。
このため、訓練者は、多機能操作部を操作する際、表示部４２に表示された表示画像から、当該多機能操作部が受け付ける複数の操作のうち、どのような操作をすれば、どの部位が動作するかを容易に把握することができる。したがって、穿孔機械１００の操作の技能を訓練者にさらに容易に習得させることができる。
そして、本実施の形態１に係るシミュレーション装置１では、制御装置６は、例えば第２の模擬操作部３１ｂを対象操作部として判定した場合には、当該第２の模擬操作部３１ｂへの例えば起伏操作に応じて動作させる第１の３Ｄモデルの部位を他の部位に対して識別可能に表示部４２に表示させる。
このため、訓練者は、多機能操作部を操作する際、表示部４２に表示された表示画像から、当該多機能操作部が受け付ける複数の操作のうち、どのような操作をすれば、どの部位が動作するかを容易に把握することができる。したがって、穿孔機械１００の操作の技能を訓練者にさらに容易に習得させることができる。
【0053】
（実施の形態２）
次に、本実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図７は、実施の形態２に係るシミュレーション装置１Ａの構成を示すブロック図である。具体的に、図７は、図３に対応した図である。
本実施の形態２に係るシミュレーション装置１Ａは、上述した実施の形態１で説明した判定処理及び識別表示処理とは異なる判定処理及び識別表示処理（第１，第２の識別表示処理）を実行する。そして、シミュレーション装置１Ａでは、上述した実施の形態１で説明したシミュレーション装置１に対して、撮影装置７（図７）が追加されているとともに、制御装置６の構成が変更されている。以下では、本実施の形態２に係る制御装置を制御装置６Ａ（図７）と記載する。
次に、本実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図７は、実施の形態２に係るシミュレーション装置１Ａの構成を示すブロック図である。具体的に、図７は、図３に対応した図である。
本実施の形態２に係るシミュレーション装置１Ａは、上述した実施の形態１で説明した判定処理及び識別表示処理とは異なる判定処理及び識別表示処理（第１，第２の識別表示処理）を実行する。そして、シミュレーション装置１Ａでは、上述した実施の形態１で説明したシミュレーション装置１に対して、撮影装置７（図７）が追加されているとともに、制御装置６の構成が変更されている。以下では、本実施の形態２に係る制御装置を制御装置６Ａ（図７）と記載する。
【0054】
〔撮影装置の構成〕
図８は、撮影装置７の配置位置を示す図である。
撮影装置７は、入射した光を受光して電気信号に変換するＣＣＤまたはＣＭＯＳ等の撮像素子を含み、特定の領域を撮影して撮影画像（以下、第２の撮影画像と記載）を生成するカメラである。この撮影装置７は、図８に示すように、模擬操作装置３の上方に配設され、制御装置６Ａによる制御の下、複数の模擬操作部３１のうち、第１～第１８の模擬操作部３１ａ～３１ｒを含む領域を撮影して第２の撮影画像を生成する。そして、撮影装置７は、生成した第２の撮影画像のデータを制御装置６Ａに出力する。
図８は、撮影装置７の配置位置を示す図である。
撮影装置７は、入射した光を受光して電気信号に変換するＣＣＤまたはＣＭＯＳ等の撮像素子を含み、特定の領域を撮影して撮影画像（以下、第２の撮影画像と記載）を生成するカメラである。この撮影装置７は、図８に示すように、模擬操作装置３の上方に配設され、制御装置６Ａによる制御の下、複数の模擬操作部３１のうち、第１～第１８の模擬操作部３１ａ～３１ｒを含む領域を撮影して第２の撮影画像を生成する。そして、撮影装置７は、生成した第２の撮影画像のデータを制御装置６Ａに出力する。
【0055】
〔制御装置の構成〕
制御装置６Ａでは、上述した実施の形態１で説明した制御装置６に対して、記憶部６２の構成と、制御部６３の機能とが変更されている。以下では、本実施の形態２に係る記憶部及び制御部をそれぞれ記憶部６２Ａ（図７）及び制御部６３Ａ（図７）と記載する。
制御装置６Ａでは、上述した実施の形態１で説明した制御装置６に対して、記憶部６２の構成と、制御部６３の機能とが変更されている。以下では、本実施の形態２に係る記憶部及び制御部をそれぞれ記憶部６２Ａ（図７）及び制御部６３Ａ（図７）と記載する。
【0056】
記憶部６２Ａは、制御部６３Ａが実行する各種のプログラム（本発明に係る制御プログラムを含む）の他、当該制御部６３Ａが処理を行うときに必要なデータ等を記憶する。この記憶部６２Ａは、図７に示すように、３ＤモデルＤＢ（Data Base）６２１と、関連情報ＤＢ（Data Base）６２２と、学習モデルＤＢ（Data Base）６２３とを備える。
３ＤモデルＤＢ６２１には、上述した実施の形態１で説明した第１の３Ｄモデルのデータ及び第２の３Ｄモデルのデータが記憶されている。
３ＤモデルＤＢ６２１には、上述した実施の形態１で説明した第１の３Ｄモデルのデータ及び第２の３Ｄモデルのデータが記憶されている。
【0057】
図９は、関連情報ＤＢ６２２に記憶された関連情報を説明する図である。具体的に、図９は、撮影装置７にて生成された第２の撮影画像ＣＩ２の主要部を示す図である。
ここで、図９に示すように、第２の撮影画像ＣＩ２内に被写体として含まれる第１～第１８の模擬操作部３１ａ～３１ｒの各第１～第１８の位置座標Ｐａ～Ｐｒは、それぞれ既定の位置座標である。本実施の形態２では、当該位置座標は、第２の撮影画像ＣＩ２中の画素位置（ｘ，ｙ）であり、水平面内での２次元の座標である。そして、関連情報ＤＢ６２２には、第１～第１８の位置座標Ｐａ～Ｐｒと当該第１～第１８の位置座標Ｐａ～Ｐｒに位置する第１～第１８の模擬操作部３１ａ～３１ｒとがそれぞれ関連付けられた関連情報が記憶されている。例えば、第２の位置座標Ｐｂに対しては、第２の模擬操作部３１ｂが関連付けられている。
ここで、図９に示すように、第２の撮影画像ＣＩ２内に被写体として含まれる第１～第１８の模擬操作部３１ａ～３１ｒの各第１～第１８の位置座標Ｐａ～Ｐｒは、それぞれ既定の位置座標である。本実施の形態２では、当該位置座標は、第２の撮影画像ＣＩ２中の画素位置（ｘ，ｙ）であり、水平面内での２次元の座標である。そして、関連情報ＤＢ６２２には、第１～第１８の位置座標Ｐａ～Ｐｒと当該第１～第１８の位置座標Ｐａ～Ｐｒに位置する第１～第１８の模擬操作部３１ａ～３１ｒとがそれぞれ関連付けられた関連情報が記憶されている。例えば、第２の位置座標Ｐｂに対しては、第２の模擬操作部３１ｂが関連付けられている。
【0058】
学習モデルＤＢ６２３は、本実施の形態２に係る判定処理で用いられる学習モデルを記憶する。当該学習モデルは、例えば人工知能（ＡＩ（Artificial Intelligence））を用いた機械学習によって生成されたモデルである。
なお、学習モデルの詳細については、後述する「制御方法」において説明する。
なお、学習モデルの詳細については、後述する「制御方法」において説明する。
【0059】
制御部６３Ａでは、上述した実施の形態１で説明した制御部６３に対して、第３の画像取得部６３６（図７）の機能が追加されているとともに、判定部６３４及び表示制御部６３５の各機能が変更されている。以下では、本実施の形態２に係る判定部及び表示制御部をそれぞれ判定部６３４Ａ（図７）及び表示制御部６３５Ａ（図７）と記載する。
第３の画像取得部６３６は、撮影装置７にて生成された第２の撮影画像のデータを取得する。
第３の画像取得部６３６は、撮影装置７にて生成された第２の撮影画像のデータを取得する。
【0060】
判定部６３４Ａは、上述した実施の形態１で説明した判定部６３４に対して、異なる判定処理を実行する点が異なる。
表示制御部６３５Ａは、上述した実施の形態１で説明した表示制御部６３５に対して、異なる識別表示処理（第１，第２の識別表示処理）を実行する点が異なる。
なお、本実施の形態２に係る判定処理及び識別表示処理（第１，第２の識別表示処理）の詳細については、後述する「制御方法」において説明する。
表示制御部６３５Ａは、上述した実施の形態１で説明した表示制御部６３５に対して、異なる識別表示処理（第１，第２の識別表示処理）を実行する点が異なる。
なお、本実施の形態２に係る判定処理及び識別表示処理（第１，第２の識別表示処理）の詳細については、後述する「制御方法」において説明する。
【0061】
〔制御方法〕
次に、制御装置６Ａが実行する制御方法について説明する。
図１０は、制御方法を示すフローチャートである。
先ず、第３の画像取得部６３６は、撮影装置７にて生成された第２の撮影画像のデータを取得する（ステップＳ２Ａ）。
次に、制御装置６Ａが実行する制御方法について説明する。
図１０は、制御方法を示すフローチャートである。
先ず、第３の画像取得部６３６は、撮影装置７にて生成された第２の撮影画像のデータを取得する（ステップＳ２Ａ）。
【0062】
ステップＳ２Ａの後、判定部６３４Ａは、学習モデルＤＢ６２３に記憶された学習モデルを用いた画像認識（所謂、骨格検知）により、ステップＳ２Ａにて取得された第２の撮影画像内に被写体として含まれる訓練者の手の骨格を検知することで当該手の位置の位置座標（第２の撮影画像中の画素位置（ｘ，ｙ））を認識する（ステップＳ２Ｂ）。本実施の形態２では、判定部６３４Ａは、当該手の親指と人差し指との間の位置の位置座標を当該手の位置の位置座標として認識する。
なお、学習モデルＤＢ６２３に記憶された学習モデルは、人の手が撮影された第２の撮影画像に対して当該手の関節点の位置が予めラベリングされた画像を教師データとし、当該教師データに基づいて当該関節点の位置を機械学習（例えば深層学習等）することにより得られたモデルである。
なお、学習モデルＤＢ６２３に記憶された学習モデルは、人の手が撮影された第２の撮影画像に対して当該手の関節点の位置が予めラベリングされた画像を教師データとし、当該教師データに基づいて当該関節点の位置を機械学習（例えば深層学習等）することにより得られたモデルである。
【0063】
ステップＳ２Ｂの後、判定部６３４Ａは、判定処理を実行する（ステップＳ２Ｃ：判定ステップ）。
具体的に、判定部６３４Ａは、ステップＳ２Ｂにおいて認識した訓練者の手の位置の位置座標と、関連情報ＤＢ６２２に記憶された関連情報に含まれる第１～第１８の位置座標Ｐａ～Ｐｒとの位置関係を解析する。また、判定部６３４Ａは、第１～第１８の模擬操作部３１ａ～３１ｒのうち、ステップＳ２Ｂにおいて認識した訓練者の手の位置の位置座標との間の距離が特定の閾値以下で、かつ、最短となる特定の位置関係の位置座標を抽出する。そして、判定部６３４Ａは、関連情報ＤＢ６２２に記憶された関連情報を参照し、当該抽出した位置座標に関連付けられた模擬操作部を訓練者が操作しようとする対象操作部として判定する。
具体的に、判定部６３４Ａは、ステップＳ２Ｂにおいて認識した訓練者の手の位置の位置座標と、関連情報ＤＢ６２２に記憶された関連情報に含まれる第１～第１８の位置座標Ｐａ～Ｐｒとの位置関係を解析する。また、判定部６３４Ａは、第１～第１８の模擬操作部３１ａ～３１ｒのうち、ステップＳ２Ｂにおいて認識した訓練者の手の位置の位置座標との間の距離が特定の閾値以下で、かつ、最短となる特定の位置関係の位置座標を抽出する。そして、判定部６３４Ａは、関連情報ＤＢ６２２に記憶された関連情報を参照し、当該抽出した位置座標に関連付けられた模擬操作部を訓練者が操作しようとする対象操作部として判定する。
【0064】
図１１は、判定処理（ステップＳ２Ｃ）及び第１の識別表示処理（ステップＳ２Ｅ）を説明する図である。具体的に、図１１は、図６に対応した図であって、第２の場合において、第１の識別表示処理（ステップＳ２Ｅ）が実行された後に生成される表示画像Ｆ３を示している。なお、図１１では、訓練者が第２の模擬操作部３１ｂを操作しようとしている場合を例示している。
例えば、訓練者が第２の模擬操作部３１ｂを操作しようとしている場合には、図１１に示すように、訓練者の手ＨＡが第２の模擬操作部３１ｂに近接することとなる。そして、第２の模擬操作部３１ｂの第２の位置座標Ｐｂは、訓練者の手ＨＡの位置の位置座標との間の位置関係が特定の位置関係となる。このため、第２の模擬操作部３１ｂは、判定処理（ステップＳ２Ｃ）において、対象操作部として判定される。
例えば、訓練者が第２の模擬操作部３１ｂを操作しようとしている場合には、図１１に示すように、訓練者の手ＨＡが第２の模擬操作部３１ｂに近接することとなる。そして、第２の模擬操作部３１ｂの第２の位置座標Ｐｂは、訓練者の手ＨＡの位置の位置座標との間の位置関係が特定の位置関係となる。このため、第２の模擬操作部３１ｂは、判定処理（ステップＳ２Ｃ）において、対象操作部として判定される。
【0065】
判定処理（ステップＳ２Ｃ）の結果、対象操作部となる模擬操作部が無い（訓練者が操作しようとしている模擬操作部が無い）場合（ステップＳ２Ｄ：Ｎｏ）には、判定部６３４Ａは、ステップＳ２Ｃを継続する。
一方、判定処理（ステップＳ２Ｃ）の結果、対象操作部となる模擬操作部が有る（訓練者が操作しようとしている模擬操作部が有る）場合（ステップＳ２Ｄ：Ｙｅｓ）には、表示制御部６３５Ａは、第１の識別表示処理を実行する（ステップＳ２Ｅ：表示処理ステップ）。
第１の識別表示処理は、判定処理（ステップＳ２Ｃ）によって判定された対象操作部に対応する第１の３Ｄモデルの部位を他の部位に対して識別可能に表示部４２に表示させる処理である。
一方、判定処理（ステップＳ２Ｃ）の結果、対象操作部となる模擬操作部が有る（訓練者が操作しようとしている模擬操作部が有る）場合（ステップＳ２Ｄ：Ｙｅｓ）には、表示制御部６３５Ａは、第１の識別表示処理を実行する（ステップＳ２Ｅ：表示処理ステップ）。
第１の識別表示処理は、判定処理（ステップＳ２Ｃ）によって判定された対象操作部に対応する第１の３Ｄモデルの部位を他の部位に対して識別可能に表示部４２に表示させる処理である。
【0066】
以下、第１の識別表示処理（ステップＳ２Ｅ）を具体的に説明するにあたって、判定処理（ステップＳ２Ｃ）において、第２の模擬操作部３１ｂが対象操作部として判定された場合を想定する。また、以下では、説明の便宜上、第１の識別表示処理（ステップＳ２Ｅ）として色変更処理を採用した場合を例示する。
この場合には、表示制御部６３５Ａは、ステップＳ２Ｅにおいて、第２の模擬操作部３１ｂに対応するブームモデル１２０Ｍ全体と他の第１の３Ｄモデルとが異なる色となる状態で表示部４２に表示させる。例えば、第１の識別表示処理が実行される前の表示画像ではブームモデル１２０Ｍ全体、基台モデル１１２Ｍ、及び操作装置モデル３Ｍが青色であったところ、当該第１の識別表示処理が実行された後の表示画像Ｆ３ではブームモデル１２０Ｍ全体のみが赤色に変更される。なお、図１１では、異なる色にしていることを表現するために、ブームモデル１２０Ｍ全体のみに斜線を付している。
この場合には、表示制御部６３５Ａは、ステップＳ２Ｅにおいて、第２の模擬操作部３１ｂに対応するブームモデル１２０Ｍ全体と他の第１の３Ｄモデルとが異なる色となる状態で表示部４２に表示させる。例えば、第１の識別表示処理が実行される前の表示画像ではブームモデル１２０Ｍ全体、基台モデル１１２Ｍ、及び操作装置モデル３Ｍが青色であったところ、当該第１の識別表示処理が実行された後の表示画像Ｆ３ではブームモデル１２０Ｍ全体のみが赤色に変更される。なお、図１１では、異なる色にしていることを表現するために、ブームモデル１２０Ｍ全体のみに斜線を付している。
【0067】
ステップＳ２Ｅの後、判定部６３４Ａは、複数の模擬操作部３１のうち、対象操作部として判定された模擬操作部から操作信号が出力されたか否か、すなわち、当該対象操作部が操作されたか否かを判定する（ステップＳ２Ｆ）。
対象操作部が操作されていないと判定された場合（ステップＳ２Ｆ：Ｎｏ）には、制御部６３Ａは、ステップＳ２Ｃに戻る。
一方、対象操作部が操作されたと判定された場合（ステップＳ２Ｆ：Ｙｅｓ）には、表示制御部６３５Ａは、第２の識別表示処理を実行する（ステップＳ２Ｇ：表示処理ステップ）。
第２の識別表示処理は、判定処理（ステップＳ２Ｃ）によって判定された対象操作部に対応する第１の３Ｄモデルの部位と他の部位とを識別する識別状態を第１の識別表示処理が実行された場合と異なる態様で表示部４２に表示させる処理である。
対象操作部が操作されていないと判定された場合（ステップＳ２Ｆ：Ｎｏ）には、制御部６３Ａは、ステップＳ２Ｃに戻る。
一方、対象操作部が操作されたと判定された場合（ステップＳ２Ｆ：Ｙｅｓ）には、表示制御部６３５Ａは、第２の識別表示処理を実行する（ステップＳ２Ｇ：表示処理ステップ）。
第２の識別表示処理は、判定処理（ステップＳ２Ｃ）によって判定された対象操作部に対応する第１の３Ｄモデルの部位と他の部位とを識別する識別状態を第１の識別表示処理が実行された場合と異なる態様で表示部４２に表示させる処理である。
【0068】
図１２は、第２の識別表示処理（ステップＳ２Ｇ）を説明する図である。具体的に、図１２は、図１１に対応した図であって、第２の場合において、第２の識別表示処理（ステップＳ２Ｇ）が実行された後に生成される表示画像Ｆ４を示している。なお、図１２では、判定処理（ステップＳ２Ｃ）において、第２の模擬操作部３１ｂが対象操作部として判定され、訓練者が当該第２の模擬操作部３１ｂに対して起伏操作を行っている場合を例示している。
【0069】
以下、第２の識別表示処理（ステップＳ２Ｇ）を具体的に説明するにあたって、判定処理（ステップＳ２Ｃ）において、第２の模擬操作部３１ｂが対象操作部として判定され、訓練者が当該第２の模擬操作部３１ｂに対して起伏操作を行っている場合を想定する。また、以下では、説明の便宜上、第２の識別表示処理（ステップＳ２Ｇ）として色変更処理を採用した場合を例示する。
この場合には、表示制御部６３５Ａは、ステップＳ２Ｇにおいて、起伏操作に応じて動作させるブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍと他の第１の３Ｄモデルとが異なる色となる状態で表示部４２に表示させる。例えば、第２の識別表示処理が実行される前の表示画像Ｆ３ではブームモデル１２０Ｍ全体が赤色で他の第１の３Ｄモデルが青色であったところ、当該第２の識別表示処理が実行された後の表示画像Ｆ４ではブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍのみが赤色に変更される。さらに、表示制御部６３５Ａは、ブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍの色の濃さを第２の識別表示処理が実行される前よりも濃くする。なお、図１２では、異なる色にしていることを表現するために、ブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍのみに斜線を付している。また、図１１及び図１２を比較して分かるように、色の濃さを当該斜線における線の間隔（密度）によって表現している。
以上のステップＳ２Ａ～Ｓ２Ｇにより制御装置６Ａが実行する制御方法が完了する。
この場合には、表示制御部６３５Ａは、ステップＳ２Ｇにおいて、起伏操作に応じて動作させるブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍと他の第１の３Ｄモデルとが異なる色となる状態で表示部４２に表示させる。例えば、第２の識別表示処理が実行される前の表示画像Ｆ３ではブームモデル１２０Ｍ全体が赤色で他の第１の３Ｄモデルが青色であったところ、当該第２の識別表示処理が実行された後の表示画像Ｆ４ではブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍのみが赤色に変更される。さらに、表示制御部６３５Ａは、ブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍの色の濃さを第２の識別表示処理が実行される前よりも濃くする。なお、図１２では、異なる色にしていることを表現するために、ブーム本体モデル１２１Ｍ、ブームリフトシリンダモデル１２３Ｍ、及び起伏軸モデル１２５Ｍのみに斜線を付している。また、図１１及び図１２を比較して分かるように、色の濃さを当該斜線における線の間隔（密度）によって表現している。
以上のステップＳ２Ａ～Ｓ２Ｇにより制御装置６Ａが実行する制御方法が完了する。
【0070】
以上説明した本実施の形態２によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
本実施の形態２に係るシミュレーション装置１Ａでは、制御装置６Ａは、第１～第１８の模擬操作部３１ａ～３１ｒのうち訓練者の手の位置との間の位置関係が特定の位置関係となった模擬操作部を対象操作部として判定する。ここで、当該特定の位置関係となった模擬操作部とは、第１～第１８の模擬操作部３１ａ～３１ｒのうち、訓練者の手の位置の位置座標との間の距離が特定の閾値以下で、かつ、最短となる位置座標の模擬操作部である。
すなわち、制御装置６Ａは、訓練者が実際に模擬操作部３１を操作する前に、当該訓練者が操作しようとしている模擬操作部３１を対象操作部として判定する。このため、訓練者は、実際に当該模擬操作部３１を操作する前に、表示部４２に表示した表示画像から、当該模擬操作部３１と、当該模擬操作部３１に対応する操作対象部位との関係を容易に把握することができる。
本実施の形態２に係るシミュレーション装置１Ａでは、制御装置６Ａは、第１～第１８の模擬操作部３１ａ～３１ｒのうち訓練者の手の位置との間の位置関係が特定の位置関係となった模擬操作部を対象操作部として判定する。ここで、当該特定の位置関係となった模擬操作部とは、第１～第１８の模擬操作部３１ａ～３１ｒのうち、訓練者の手の位置の位置座標との間の距離が特定の閾値以下で、かつ、最短となる位置座標の模擬操作部である。
すなわち、制御装置６Ａは、訓練者が実際に模擬操作部３１を操作する前に、当該訓練者が操作しようとしている模擬操作部３１を対象操作部として判定する。このため、訓練者は、実際に当該模擬操作部３１を操作する前に、表示部４２に表示した表示画像から、当該模擬操作部３１と、当該模擬操作部３１に対応する操作対象部位との関係を容易に把握することができる。
【0071】
特に、制御装置６Ａは、画像認識により、訓練者の手の位置座標を認識する。
このため、制御装置６Ａを構成するハードウェア構成が複雑化することなく、訓練者の手の位置座標を良好に認識することができる。
また、制御装置６Ａは、所謂、骨格検知により、訓練者の手の位置座標を認識する。このため、訓練者の手にマーカ等を貼り付けるという煩雑な作業を行う必要がなく、当該訓練者の手の位置座標を良好に認識することができる。
このため、制御装置６Ａを構成するハードウェア構成が複雑化することなく、訓練者の手の位置座標を良好に認識することができる。
また、制御装置６Ａは、所謂、骨格検知により、訓練者の手の位置座標を認識する。このため、訓練者の手にマーカ等を貼り付けるという煩雑な作業を行う必要がなく、当該訓練者の手の位置座標を良好に認識することができる。
【0072】
また、本実施の形態２に係るシミュレーション装置１Ａでは、制御装置６Ａは、複数の模擬操作部３１のうちいずれかの模擬操作部を対象操作部として判定した場合に上述した第１の識別表示処理を実行する。また、制御装置６Ａは、第１の識別表示処理の後、当該対象操作部への操作があった場合に、上述した第２の識別表示処理を実行する。ここで、第２の識別表示処理は、当該対象操作部に対応する第１の３Ｄモデルの部位と他の部位とを識別する識別状態が第１の識別表示処理が実行された場合と異なるように表示部４２に表示させる処理である。
このため、訓練者は、表示部４２に表示された表示画像から、対象操作部を実際に操作したか否か、及び、当該操作に応じてどの操作対象部位が動作するのかを明確に把握することができる。したがって、穿孔機械１００の操作の技能を訓練者にさらに容易に習得させることができる。
このため、訓練者は、表示部４２に表示された表示画像から、対象操作部を実際に操作したか否か、及び、当該操作に応じてどの操作対象部位が動作するのかを明確に把握することができる。したがって、穿孔機械１００の操作の技能を訓練者にさらに容易に習得させることができる。
【0073】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態１，２では、本発明に係る識別表示処理（第１，第２の識別表示処理）として、色変更処理を例示していたが、これに限らない。本発明に係る識別表示処理（第１，第２の識別表示処理）としては、例えば、対象操作部に対応する仮想モデルの部位と他の部位との明るさを変更する処理や、対象操作部に対応する仮想モデルの部位と他の部位との透明度を変更する処理等を採用しても構わない。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態１，２では、本発明に係る識別表示処理（第１，第２の識別表示処理）として、色変更処理を例示していたが、これに限らない。本発明に係る識別表示処理（第１，第２の識別表示処理）としては、例えば、対象操作部に対応する仮想モデルの部位と他の部位との明るさを変更する処理や、対象操作部に対応する仮想モデルの部位と他の部位との透明度を変更する処理等を採用しても構わない。
【0074】
上述した実施の形態１，２では、ヘッドマウントディスプレイ４を装着しつつ訓練者が複数の模擬操作部３１を操作することができるように、第２の場合に第１の撮影画像ＣＩ１を表示部４２に表示させていたが、これに限らない。例えば、訓練者の手に赤外線を発光する発光部を取り付けておく。また、記憶部６２（６２Ａ）に人間の手に応じた３Ｄモデルのデータを記憶させておく。ここで、制御部６３（６３Ａ）は、ヘッドマウントディスプレイ４の位置及び姿勢を算出する場合と同様に、２つの赤外線カメラ５１にて生成された各赤外線画像に基づいて、訓練者の手の位置及び姿勢を算出する。そして、制御部６３（６３Ａ）は、当該算出した訓練者の手の位置及び姿勢に基づいて、表示部４２に人間の手に応じた３Ｄモデルのモデル画像を表示する。
【0075】
上述した実施の形態１，２において、制御部６３（６３Ａ）の一部の機能を制御装置６（６Ａ）の外部に設けても構わない。例えば、ヘッドマウントディスプレイ４の位置及び姿勢を算出する算出部６３３の機能をベースステーション５に設けても構わない。この際、制御装置６（６Ａ）は、ヘッドマウントディスプレイ４の位置及び姿勢を示す情報をベースステーション５から取得する。
【0076】
上述した実施の形態２では、複数の模擬操作部３１のうち、訓練席２の右側方に位置する第１～第１８の模擬操作部３１ａ～３１ｒの上方にのみ、撮影装置７を設け、当該第１～第１８の模擬操作部３１ａ～３１ｒのいずれかを対象操作部として判定していたが、これに限らない。例えば、複数の模擬操作部３１のうち、訓練席２の左側方に位置する模擬操作部３１の上方にも撮影装置を設け、当該訓練席２の左側方に位置する模擬操作部３１も対象操作部として判定可能に構成しても構わない。
【0077】
上述した実施の形態２では、第１～第１８の模擬操作部３１ａ～３１ｒの第１～第１８の位置座標Ｐａ～Ｐｒ、及び訓練者の手の位置の位置座標を水平面内での２次元の座標によって構成していたが、これに限らない。
例えば、撮影装置７をステレオカメラによって構成する。そして、当該ステレオカメラによって異なる視点から同時に撮影し、同一被写体の画像中の相対的なずれ量を用いることによって、三角測量の原理に基づいて被写体の３次元位置を算出するステレオ計測技術を用い、鉛直方向の高さを含めた３次元の座標を第１～第１８の位置座標Ｐａ～Ｐｒ、及び訓練者の手の位置の位置座標としても構わない。
また、例えば、撮影装置７をＴＯＦ（Time Of Flight）センサ等の距離画像センサによって構成する。そして、鉛直方向の高さを含めた３次元の座標を第１～第１８の位置座標Ｐａ～Ｐｒ、及び訓練者の手の位置の位置座標としても構わない。
例えば、撮影装置７をステレオカメラによって構成する。そして、当該ステレオカメラによって異なる視点から同時に撮影し、同一被写体の画像中の相対的なずれ量を用いることによって、三角測量の原理に基づいて被写体の３次元位置を算出するステレオ計測技術を用い、鉛直方向の高さを含めた３次元の座標を第１～第１８の位置座標Ｐａ～Ｐｒ、及び訓練者の手の位置の位置座標としても構わない。
また、例えば、撮影装置７をＴＯＦ（Time Of Flight）センサ等の距離画像センサによって構成する。そして、鉛直方向の高さを含めた３次元の座標を第１～第１８の位置座標Ｐａ～Ｐｒ、及び訓練者の手の位置の位置座標としても構わない。
【0078】
上述した実施の形態２では、判定部６３４Ａは、学習モデルを用いた画像認識によって訓練者の手の位置の位置座標を認識していたが、これに限らない。
例えば、訓練者の手にマーカ等を貼り付けておく。そして、判定部６３４Ａは、当該マーカを画像認識によって検出し、訓練者の手の位置の位置座標を認識する。
また、例えば、訓練者の手に赤外線を発光する発光部を取り付けておく。そして、判定部６３４Ａは、ヘッドマウントディスプレイ４の位置及び姿勢が算出される場合と同様に、２つの赤外線カメラ５１にて生成された各赤外線画像に基づいて、訓練者の手の位置の位置座標を認識する。
例えば、訓練者の手にマーカ等を貼り付けておく。そして、判定部６３４Ａは、当該マーカを画像認識によって検出し、訓練者の手の位置の位置座標を認識する。
また、例えば、訓練者の手に赤外線を発光する発光部を取り付けておく。そして、判定部６３４Ａは、ヘッドマウントディスプレイ４の位置及び姿勢が算出される場合と同様に、２つの赤外線カメラ５１にて生成された各赤外線画像に基づいて、訓練者の手の位置の位置座標を認識する。
【符号の説明】
【0079】
１，１Ａ シミュレーション装置
２ 訓練席
３ 模擬操作装置
３Ｍ 操作装置モデル
４ ヘッドマウントディスプレイ
５ ベースステーション
６，６Ａ 制御装置
７ 撮影装置
３１ 模擬操作部
３１ａ 第１の模擬操作部
３１ｂ 第２の模擬操作部
３１ｃ 第３の模擬操作部
３１ｄ 第４の模擬操作部
３１ｅ 第５の模擬操作部
３１ｆ 第６の模擬操作部
３１ｇ 第７の模擬操作部
３１ｈ 第８の模擬操作部
３１ｉ 第９の模擬操作部
３１ｊ 第１０の模擬操作部
３１ｋ 第１１の模擬操作部
３１ｌ 第１２の模擬操作部
３１ｍ 第１３の模擬操作部
３１ｎ 第１４の模擬操作部
３１ｏ 第１５の模擬操作部
３１ｐ 第１６の模擬操作部
３１ｑ 第１７の模擬操作部
３１ｒ 第１８の模擬操作部
４１ 撮影部
４２ 表示部
４３ 赤外線出力部
５１ 赤外線カメラ
６１ 入力部
６２，６２Ａ 記憶部
６３，６３Ａ 制御部
１００ 穿孔機械
１１０ 走行台車
１１１ トラック
１１２ 基台
１１２Ｍ 基台モデル
１２０ ブーム
１２０Ｍ ブームモデル
１２１ ブーム本体
１２１Ｍ ブーム本体モデル
１２２ ブームペデスタル
１２２Ｍ ブームペデスタルモデル
１２３ ブームリフトシリンダ
１２３Ｍ ブームリフトシリンダモデル
１２４ 旋回軸
１２４Ｍ 旋回軸モデル
１２５ 起伏軸
１２５Ｍ 起伏軸モデル
１３０ さく岩ユニット
１３１ ガイドシェル
１３２ さく岩機
１３３ 工具
１４０ 操縦室
１４１ 運転席
６２１ ３ＤモデルＤＢ
６２２ 関連情報ＤＢ
６２３ 学習モデルＤＢ
６３１ 第１の画像取得部
６３２ 第２の画像取得部
６３３ 算出部
６３４，６３４Ａ 判定部
６３５，６３５Ａ 表示制御部
６３６ 第３の画像取得部
ＣＩ１ 第１の撮影画像
ＣＩ２ 第２の撮影画像
Ｆ１～Ｆ４ 表示画像
ＨＡ 手
Ｐａ 第１の位置座標
Ｐｂ 第２の位置座標
Ｐｃ 第３の位置座標
Ｐｄ 第４の位置座標
Ｐｅ 第５の位置座標
Ｐｆ 第６の位置座標
Ｐｇ 第７の位置座標
Ｐｈ 第８の位置座標
Ｐｉ 第９の位置座標
Ｐｊ 第１０の位置座標
Ｐｋ 第１１の位置座標
Ｐｌ 第１２の位置座標
Ｐｍ 第１３の位置座標
Ｐｎ 第１４の位置座標
Ｐｏ 第１５の位置座標
Ｐｐ 第１６の位置座標
Ｐｑ 第１７の位置座標
Ｐｒ 第１８の位置座標
ＳＣ スクリーン
２ 訓練席
３ 模擬操作装置
３Ｍ 操作装置モデル
４ ヘッドマウントディスプレイ
５ ベースステーション
６，６Ａ 制御装置
７ 撮影装置
３１ 模擬操作部
３１ａ 第１の模擬操作部
３１ｂ 第２の模擬操作部
３１ｃ 第３の模擬操作部
３１ｄ 第４の模擬操作部
３１ｅ 第５の模擬操作部
３１ｆ 第６の模擬操作部
３１ｇ 第７の模擬操作部
３１ｈ 第８の模擬操作部
３１ｉ 第９の模擬操作部
３１ｊ 第１０の模擬操作部
３１ｋ 第１１の模擬操作部
３１ｌ 第１２の模擬操作部
３１ｍ 第１３の模擬操作部
３１ｎ 第１４の模擬操作部
３１ｏ 第１５の模擬操作部
３１ｐ 第１６の模擬操作部
３１ｑ 第１７の模擬操作部
３１ｒ 第１８の模擬操作部
４１ 撮影部
４２ 表示部
４３ 赤外線出力部
５１ 赤外線カメラ
６１ 入力部
６２，６２Ａ 記憶部
６３，６３Ａ 制御部
１００ 穿孔機械
１１０ 走行台車
１１１ トラック
１１２ 基台
１１２Ｍ 基台モデル
１２０ ブーム
１２０Ｍ ブームモデル
１２１ ブーム本体
１２１Ｍ ブーム本体モデル
１２２ ブームペデスタル
１２２Ｍ ブームペデスタルモデル
１２３ ブームリフトシリンダ
１２３Ｍ ブームリフトシリンダモデル
１２４ 旋回軸
１２４Ｍ 旋回軸モデル
１２５ 起伏軸
１２５Ｍ 起伏軸モデル
１３０ さく岩ユニット
１３１ ガイドシェル
１３２ さく岩機
１３３ 工具
１４０ 操縦室
１４１ 運転席
６２１ ３ＤモデルＤＢ
６２２ 関連情報ＤＢ
６２３ 学習モデルＤＢ
６３１ 第１の画像取得部
６３２ 第２の画像取得部
６３３ 算出部
６３４，６３４Ａ 判定部
６３５，６３５Ａ 表示制御部
６３６ 第３の画像取得部
ＣＩ１ 第１の撮影画像
ＣＩ２ 第２の撮影画像
Ｆ１～Ｆ４ 表示画像
ＨＡ 手
Ｐａ 第１の位置座標
Ｐｂ 第２の位置座標
Ｐｃ 第３の位置座標
Ｐｄ 第４の位置座標
Ｐｅ 第５の位置座標
Ｐｆ 第６の位置座標
Ｐｇ 第７の位置座標
Ｐｈ 第８の位置座標
Ｐｉ 第９の位置座標
Ｐｊ 第１０の位置座標
Ｐｋ 第１１の位置座標
Ｐｌ 第１２の位置座標
Ｐｍ 第１３の位置座標
Ｐｎ 第１４の位置座標
Ｐｏ 第１５の位置座標
Ｐｐ 第１６の位置座標
Ｐｑ 第１７の位置座標
Ｐｒ 第１８の位置座標
ＳＣ スクリーン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】