ホーム > 特許ランキング > 三菱プレシジョン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-11
(45)【発行日】2024-07-22
(54)【発明の名称】シミュレータ用映像表示システム
(51)【国際特許分類】
G09B 9/30 20060101AFI20240712BHJP
G09B 9/05 20060101ALI20240712BHJP
【ＦＩ】
G09B9/30
G09B9/05 E
【請求項の数】
2
(21)【出願番号】P 2018134935
(22)【出願日】2018-07-18
(65)【公開番号】P2020012968
(43)【公開日】2020-01-23
【審査請求日】2020-05-19
【審判番号】
【審判請求日】2022-04-19
(73)【特許権者】
【識別番号】000176730
【氏名又は名称】三菱プレシジョン株式会社
(74)【代理人】
【識別番号】100087756
【弁理士】
【氏名又は名称】船越 猛
(72)【発明者】
【氏名】竹田 和司
(72)【発明者】
【氏名】藤本 浩二
【合議体】
【審判長】藤本 義仁
【審判官】松田 直也
【審判官】門 良成
(56)【参考文献】
【文献】特開平６－１７６１３１（ＪＰ，Ａ）
【文献】韓国登録特許第１０－１２７９８６９（ＫＲ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G09B 1/00 - 9/56
G09B 17/00 - 19/26
A63F 13/00 - 13/98
A63F 9/24
G06F 3/01
G06F 3/048 - 3/0489
(57)【特許請求の範囲】
【請求項1】
航空機シミュレータ用の模擬操縦席と、模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像のあらかじめ定めた所定領域に前記カメラが撮影した現実映像である操縦者が視認する操縦席前方の操縦桿、計器板等を含む操縦機器部分の現実映像を、仮想空間の所定領域に、識別信号で特定される仮想空間と実空間との合成領域を設け、当該合成領域に現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするシミュレータ用映像表示システム。
【請求項2】
移動体シミュレータ用の模擬操縦席と、移動体例えば電車あるいは自動車用の模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像のあらかじめ定めた所定領域に前記カメラが撮影した現実映像である操縦者が視認する操縦席前方のハンドル、計器板等を含む操縦機器部分の現実映像を、仮想空間の所定領域に、識別信号で特定される仮想空間と実空間との合成領域を設け、当該合成領域に現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするシミュレータ用映像表示システム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シミュレータ装置の操作時に操作者が頭部に装着してシミュレーション映像を表示する映像表示システムに関するものである。
【背景技術】
【0002】
例えば、飛行機の操縦訓練において、実機を用いることなく、訓練者がみる仮想空間を映像生成手段により生成し、訓練者はこの映像が示す情景に応じて操縦するようにして、仮想空間内で飛行機を運用する。この際、訓練者は、仮想空間の映像を表示する映像表示装置を頭部に装着し、操縦者の視界を外界から遮断し、操縦装置を操作する。そのために装着する機器をヘッドマウントディスプレイ（以下、“ＨＭＤ”ということがある。）という。
操縦者がみる仮想空間は、飛行機の操縦席前方と操縦席からみる機外の情景であり、機外の情景は操縦に伴う移動する飛行機の位置に応じた操縦席からみた情景であるが、操縦席前方の操縦桿、計器板等を含む操縦機器部分の映像は操縦機器の操作に応じて生成されなければ操縦操作と操縦者が視認する映像表示とに違和感が生じることがある。
操縦者がみる仮想空間は、飛行機の操縦席前方と操縦席からみる機外の情景であり、機外の情景は操縦に伴う移動する飛行機の位置に応じた操縦席からみた情景であるが、操縦席前方の操縦桿、計器板等を含む操縦機器部分の映像は操縦機器の操作に応じて生成されなければ操縦操作と操縦者が視認する映像表示とに違和感が生じることがある。
【0003】
そのため、本願発明者は、ＨＭＤにカメラを搭載し、そのカメラで操縦機器を撮影し、その映像と仮想空間の映像とを合成することを提案する。
初期には、仮想空間内にＨＭＤのカメラによる現実映像を重畳するために、現実空間に配置したマーカないし色を基に重畳していた。
ところが、現実空間にマーカないし色を配置するため、システムが大掛かりなものとなってしまう。
初期には、仮想空間内にＨＭＤのカメラによる現実映像を重畳するために、現実空間に配置したマーカないし色を基に重畳していた。
ところが、現実空間にマーカないし色を配置するため、システムが大掛かりなものとなってしまう。
【先行技術文献】
【特許文献】
【0004】
【文献】特開昭６２－４６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
解決しようとする問題点は、仮想空間の映像に操縦操作を撮影した現実映像を重畳するためのシステムが大掛かりなものとなる点である。
【課題を解決するための手段】
【0006】
本発明の請求項１に係るシミュレータ用映像表示システムは、航空機シミュレータ用の模擬操縦席と、模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像のあらかじめ定めた所定領域に前記カメラが撮影した現実映像である操縦者が視認する操縦席前方の操縦桿、計器板等を含む操縦機器部分の現実映像を、仮想空間の所定領域に、識別信号で特定される仮想空間と実空間との合成領域を設け、当該合成領域に現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするものである。
【0007】
本発明の請求項２に係るシミュレータ用映像表示システムは、移動体シミュレータ用の模擬操縦席と、移動体例えば電車あるいは自動車用の模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像のあらかじめ定めた所定領域に前記カメラが撮影した現実映像である操縦者が視認する操縦席前方のハンドル、計器板等を含む操縦機器部分の現実映像を、仮想空間の所定領域に、識別信号で特定される仮想空間と実空間との合成領域を設け、当該合成領域に現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするものである。
【発明の効果】
【0008】
本発明の請求項１に係るシミュレータ用映像表示システムは、模擬映像作成手段が作成した仮想空間映像の所定領域に前記カメラが撮影した現実映像を重畳する映像重畳手段を備えるから、仮想空間映像の所定領域の指定が仮想空間で容易に指定することができ、システムが大掛かりとならずに構成することができる利点がある。
【0009】
本発明の請求項２に係るシミュレータ用映像表示システムは、模擬映像作成手段が作成した仮想空間映像の所定領域に前記カメラが撮影した現実映像を重畳する映像重畳手段を備えるから、仮想空間映像の所定領域の指定が仮想空間で容易に指定することができ、システムが大掛かりとならずに構成することができる利点がある。
【図面の簡単な説明】
【0010】
【図1】本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図である。
【図2】映像の合成の一例を説明する図である。
【図3】本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図である。
【図4】映像の合成の一例を説明する図である。
【実施例1】
【0011】
（航空機シミュレータへの応用）
図１は、本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図であって、１０１は航空機シミュレータ用の模擬操縦席に備えられる操縦桿、計器板等の模擬操縦装置、１０２は模擬操縦装置１０１の操作状況に応じて設定する領域を模擬移動するときに変化する情景の模擬映像を作成する模擬映像作成手段、１０３は頭部装着具、１０４は前記頭部装着具に取り付けた動画用のカメラ、１０５は模擬映像作成手段１０２が作成した仮想空間映像に前記カメラ１０４が撮影した現実映像を重畳する映像重畳手段、１０６は前記頭部装着具１０３の装着者の両眼を覆うように装着して前記映像重畳手段１０５が重畳する合成映像を表示する表示装置、１０７は本発明装置全体を制御する制御部（コンピュータにより構成される）である。
図１は、本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図であって、１０１は航空機シミュレータ用の模擬操縦席に備えられる操縦桿、計器板等の模擬操縦装置、１０２は模擬操縦装置１０１の操作状況に応じて設定する領域を模擬移動するときに変化する情景の模擬映像を作成する模擬映像作成手段、１０３は頭部装着具、１０４は前記頭部装着具に取り付けた動画用のカメラ、１０５は模擬映像作成手段１０２が作成した仮想空間映像に前記カメラ１０４が撮影した現実映像を重畳する映像重畳手段、１０６は前記頭部装着具１０３の装着者の両眼を覆うように装着して前記映像重畳手段１０５が重畳する合成映像を表示する表示装置、１０７は本発明装置全体を制御する制御部（コンピュータにより構成される）である。
【0012】
模擬映像作成手段１０２が作成する映像は模擬操縦席から頭部装着具１０３を装着した操縦者がみることができる範囲の映像であり、その可能な範囲から操縦者が装着する表示装置１０６の表示面に頭部装着具１０３または表示装置１０６が向いている方向に応じた映像が操縦者からみることになる。
頭部装着具１０３は例えばヘルメットであり、所定の基準方向からの変位を測定する図示しない測定器を備える。カメラ１０４は頭部装着具１０３が向いている方向を撮影する。操縦者は模擬操縦装置１０１の前に座り、表示装置１０６の表示映像を見ながら模擬操縦装置１０１を操作する。このとき、カメラ１０４が模擬操縦装置１０１の方向を撮影していれば、その映像を模擬映像作成手段１０２が作成する操縦席内の情景および航空機窓外の情景に重畳する。
模擬映像作成手段１０２が作成する情景の中に、カメラ１０４の映像を重畳する所定の領域がある場合は、その領域（合成領域）を特定の識別信号または色信号としておく。模擬映像作成手段１０２が作成する情景は、模擬操縦席に座った操縦者からみる情景であるから、その視点は模擬操縦席から所定の高さであり、そこからみる重畳すべき模擬操縦装置１０１の位置は模擬映像作成手段１０２が作成する仮想空間において一定の位置に設定することができる。その仮想空間の一定の位置の信号を特定の識別信号または色信号としておくのである。
映像重畳手段１０５は模擬映像作成手段１０２が作成した仮想空間映像にある特定の識別信号または色信号が所定の領域（合成領域）に前記カメラ１０４が撮影した現実映像を重畳して合成する。
表示装置１０６は前記映像重畳手段１０５が重畳する合成映像を頭部装着具１０３からの測定方向に応じてその方向に見た映像を表示する。
頭部装着具１０３は例えばヘルメットであり、所定の基準方向からの変位を測定する図示しない測定器を備える。カメラ１０４は頭部装着具１０３が向いている方向を撮影する。操縦者は模擬操縦装置１０１の前に座り、表示装置１０６の表示映像を見ながら模擬操縦装置１０１を操作する。このとき、カメラ１０４が模擬操縦装置１０１の方向を撮影していれば、その映像を模擬映像作成手段１０２が作成する操縦席内の情景および航空機窓外の情景に重畳する。
模擬映像作成手段１０２が作成する情景の中に、カメラ１０４の映像を重畳する所定の領域がある場合は、その領域（合成領域）を特定の識別信号または色信号としておく。模擬映像作成手段１０２が作成する情景は、模擬操縦席に座った操縦者からみる情景であるから、その視点は模擬操縦席から所定の高さであり、そこからみる重畳すべき模擬操縦装置１０１の位置は模擬映像作成手段１０２が作成する仮想空間において一定の位置に設定することができる。その仮想空間の一定の位置の信号を特定の識別信号または色信号としておくのである。
映像重畳手段１０５は模擬映像作成手段１０２が作成した仮想空間映像にある特定の識別信号または色信号が所定の領域（合成領域）に前記カメラ１０４が撮影した現実映像を重畳して合成する。
表示装置１０６は前記映像重畳手段１０５が重畳する合成映像を頭部装着具１０３からの測定方向に応じてその方向に見た映像を表示する。
【0013】
図２により、映像の合成を説明する。
図２（ａ）は、模擬映像作成手段１０２が、あらかじめ設定した仮想空間内で模擬航空機を飛行させるときの操縦席と飛行状況に応じた飛行機窓外を操縦席からみた情景を作成したときの映像の一例である。さらに、模擬映像作成手段１０２はこの映像の操縦装置の部分について特定の識別信号または色信号を設定しておく。設定する操縦装置の部分すなわち合成領域（図２（ａ）において、破線の閉曲線２０１ａで示す）は、仮想空間を設定する際にあらかじめ定めておく。
図２（ｂ）はカメラ１０４が撮影した実写映像の一例であり、操縦席前方ある計器板、操縦桿、タッチパネル等の模擬操縦装置１０１が撮影されている。この映像は操縦席からのものであるから、航空機の操縦状況にかかわらず、模擬操縦装置１０１とカメラ１０４との距離はほとんど一定であり、ピント調節、ズーム等は必要ない。
図２（ｃ）は合成映像の一例であり、図２（ａ）の映像に図２（ｂ）の映像を映像重畳手段１０５により重畳した合成映像の一例である。模擬映像作成手段１０２で作成される映像の姿勢は現実映像を撮影するカメラ１０４の姿勢でみている方向が一致する。映像重畳手段１０５は、模擬映像作成手段１０２が作成した模擬映像の合成領域をカメラ１０４が撮影した映像に置き換えて、合成画像を得る。図２（ｃ）においてカメラ１０４の映像を破線の閉曲線２０１ａで示しているが、表示装置１０６には表示されない。
カメラ１０４で撮像した映像は模擬映像作成手段１０２の合成領域を透き通って模擬映像と合成されるから、模擬操縦装置１０１を操作する状況がカメラ１０４から撮影されて表示装置１０６から見ることができ、その模擬操縦装置１０１の操作状況の模擬映像を作成する必要がない。
図２（ａ）は、模擬映像作成手段１０２が、あらかじめ設定した仮想空間内で模擬航空機を飛行させるときの操縦席と飛行状況に応じた飛行機窓外を操縦席からみた情景を作成したときの映像の一例である。さらに、模擬映像作成手段１０２はこの映像の操縦装置の部分について特定の識別信号または色信号を設定しておく。設定する操縦装置の部分すなわち合成領域（図２（ａ）において、破線の閉曲線２０１ａで示す）は、仮想空間を設定する際にあらかじめ定めておく。
図２（ｂ）はカメラ１０４が撮影した実写映像の一例であり、操縦席前方ある計器板、操縦桿、タッチパネル等の模擬操縦装置１０１が撮影されている。この映像は操縦席からのものであるから、航空機の操縦状況にかかわらず、模擬操縦装置１０１とカメラ１０４との距離はほとんど一定であり、ピント調節、ズーム等は必要ない。
図２（ｃ）は合成映像の一例であり、図２（ａ）の映像に図２（ｂ）の映像を映像重畳手段１０５により重畳した合成映像の一例である。模擬映像作成手段１０２で作成される映像の姿勢は現実映像を撮影するカメラ１０４の姿勢でみている方向が一致する。映像重畳手段１０５は、模擬映像作成手段１０２が作成した模擬映像の合成領域をカメラ１０４が撮影した映像に置き換えて、合成画像を得る。図２（ｃ）においてカメラ１０４の映像を破線の閉曲線２０１ａで示しているが、表示装置１０６には表示されない。
カメラ１０４で撮像した映像は模擬映像作成手段１０２の合成領域を透き通って模擬映像と合成されるから、模擬操縦装置１０１を操作する状況がカメラ１０４から撮影されて表示装置１０６から見ることができ、その模擬操縦装置１０１の操作状況の模擬映像を作成する必要がない。
【0014】
（電車または自動車等の移動体シミュレータへの応用）
図３は、本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図であって、３０１は移動体シミュレータ用の模擬操縦席に備えられる運転操作機器、計器板等の模擬操縦装置、３０２は模擬操縦装置３０１の操作状況に応じて設定する領域を模擬移動するときに変化する情景の模擬映像を作成する模擬映像作成手段、３０３は頭部装着具、３０４は前記頭部装着具に取り付けた動画用のカメラ、３０５は模擬映像作成手段３０２が作成した仮想空間映像に前記カメラ３０４が撮影した現実映像を重畳する映像重畳手段、３０６は前記頭部装着具３０３の装着者の両眼を覆うように装着して前記映像重畳手段３０５が重畳する合成映像を表示する表示装置、３０７は本発明装置全体を制御する制御部（コンピュータにより構成される）である。
図３は、本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図であって、３０１は移動体シミュレータ用の模擬操縦席に備えられる運転操作機器、計器板等の模擬操縦装置、３０２は模擬操縦装置３０１の操作状況に応じて設定する領域を模擬移動するときに変化する情景の模擬映像を作成する模擬映像作成手段、３０３は頭部装着具、３０４は前記頭部装着具に取り付けた動画用のカメラ、３０５は模擬映像作成手段３０２が作成した仮想空間映像に前記カメラ３０４が撮影した現実映像を重畳する映像重畳手段、３０６は前記頭部装着具３０３の装着者の両眼を覆うように装着して前記映像重畳手段３０５が重畳する合成映像を表示する表示装置、３０７は本発明装置全体を制御する制御部（コンピュータにより構成される）である。
【0015】
模擬映像作成手段３０２が作成する映像は模擬操縦席から頭部装着具３０３を装着した操縦者がみることができる範囲の映像であり、その可能な範囲から操縦者が装着する表示装置３０６の表示面に頭部装着具３０３または表示装置３０６が向いている方向に応じた映像が操縦者からみることになる。
頭部装着具３０３は例えばヘルメットであり、所定の基準方向からの変位を測定する図示しない測定器を備える。カメラ３０４は頭部装着具３０３が向いている方向を撮影する。操縦者は模擬操縦装置３０１の前に座り、表示装置３０６の表示映像を見ながら模擬操縦装置３０１を操作する。このとき、カメラ３０４が模擬操縦装置３０１の方向を撮影していれば、その映像を模擬映像作成手段３０２が作成する操縦席内の情景および移動体窓外の情景に重畳する。
模擬映像作成手段３０２が作成する情景の中に、カメラ３０４の映像を重畳する所定の領域がある場合は、その領域（合成領域）を特定の識別信号または色信号としておく。模擬映像作成手段３０２が作成する情景は、模擬操縦席に座った操縦者からみる情景であるから、その視点は模擬操縦席から所定の高さであり、そこからみる重畳すべき模擬操縦装置３０１の位置は模擬映像作成手段３０２が作成する仮想空間において一定の位置に設定することができる。その仮想空間の一定の位置の信号を特定の識別信号または色信号としておくのである。
映像重畳手段３０５は模擬映像作成手段３０２が作成した仮想空間映像にある特定の識別信号または色信号が所定の領域（合成領域）に前記カメラ３０４が撮影した現実映像を重畳して合成する。
表示装置３０６は前記映像重畳手段３０５が重畳する合成映像を頭部装着具３０３からの測定方向に応じてその方向に見た映像を表示する。
頭部装着具３０３は例えばヘルメットであり、所定の基準方向からの変位を測定する図示しない測定器を備える。カメラ３０４は頭部装着具３０３が向いている方向を撮影する。操縦者は模擬操縦装置３０１の前に座り、表示装置３０６の表示映像を見ながら模擬操縦装置３０１を操作する。このとき、カメラ３０４が模擬操縦装置３０１の方向を撮影していれば、その映像を模擬映像作成手段３０２が作成する操縦席内の情景および移動体窓外の情景に重畳する。
模擬映像作成手段３０２が作成する情景の中に、カメラ３０４の映像を重畳する所定の領域がある場合は、その領域（合成領域）を特定の識別信号または色信号としておく。模擬映像作成手段３０２が作成する情景は、模擬操縦席に座った操縦者からみる情景であるから、その視点は模擬操縦席から所定の高さであり、そこからみる重畳すべき模擬操縦装置３０１の位置は模擬映像作成手段３０２が作成する仮想空間において一定の位置に設定することができる。その仮想空間の一定の位置の信号を特定の識別信号または色信号としておくのである。
映像重畳手段３０５は模擬映像作成手段３０２が作成した仮想空間映像にある特定の識別信号または色信号が所定の領域（合成領域）に前記カメラ３０４が撮影した現実映像を重畳して合成する。
表示装置３０６は前記映像重畳手段３０５が重畳する合成映像を頭部装着具３０３からの測定方向に応じてその方向に見た映像を表示する。
【0016】
図４により、映像の合成を説明する。図４は自動車のシミュレータの場合を示す。
図４（ａ）は、模擬映像作成手段３０２が、あらかじめ設定した仮想空間内で模擬自動車を走行させるときの運転席と運転状況に応じた車両窓外を運転席（操縦席）からみた情景例えば道路上交差点付近の映像を作成したときの一例である。さらに、模擬映像作成手段３０２はこの映像の操縦装置の部分について特定の識別信号または色信号を設定しておく。設定する操縦装置の部分すなわち合成領域（図４（ａ）において、破線の閉曲線４０１ａで示す）は、仮想空間を設定する際にあらかじめ定めておく。
図４（ｂ）はカメラ３０４が撮影した実写映像の一例であり、操縦席前方ある計器板、ハンドル、タッチパネル等の模擬操縦装置３０１が撮影されている。この映像は操縦席からのものであるから、移動体の操縦状況にかかわらず、模擬操縦装置３０１とカメラ３０４との距離はほとんど一定であり、ピント調節、ズーム等は必要ない。
図４（ｃ）は合成映像の一例であり、図４（ａ）の映像に図４（ｂ）の映像を映像重畳手段３０５により重畳した合成映像の一例である。模擬映像作成手段３０２で作成される映像の姿勢は現実映像を撮影するカメラ３０４の姿勢でみている方向が一致する。映像重畳手段３０５は、模擬映像作成手段３０２が作成した模擬映像の合成領域をカメラ３０４が撮影した映像に置き換えて、合成画像を得る。図４（ｃ）においてカメラ３０４の映像を破線の閉曲線４０１ａで示しているが、表示装置３０６には表示されない。
カメラ３０４で撮像した映像は模擬映像作成手段３０２の合成領域を透き通って模擬映像と合成されるから、模擬操縦装置３０１を操作する状況がカメラ３０４から撮影されて表示装置３０６から見ることができ、その模擬操縦装置３０１の操作状況の模擬映像を作成する必要がない。
図４（ａ）は、模擬映像作成手段３０２が、あらかじめ設定した仮想空間内で模擬自動車を走行させるときの運転席と運転状況に応じた車両窓外を運転席（操縦席）からみた情景例えば道路上交差点付近の映像を作成したときの一例である。さらに、模擬映像作成手段３０２はこの映像の操縦装置の部分について特定の識別信号または色信号を設定しておく。設定する操縦装置の部分すなわち合成領域（図４（ａ）において、破線の閉曲線４０１ａで示す）は、仮想空間を設定する際にあらかじめ定めておく。
図４（ｂ）はカメラ３０４が撮影した実写映像の一例であり、操縦席前方ある計器板、ハンドル、タッチパネル等の模擬操縦装置３０１が撮影されている。この映像は操縦席からのものであるから、移動体の操縦状況にかかわらず、模擬操縦装置３０１とカメラ３０４との距離はほとんど一定であり、ピント調節、ズーム等は必要ない。
図４（ｃ）は合成映像の一例であり、図４（ａ）の映像に図４（ｂ）の映像を映像重畳手段３０５により重畳した合成映像の一例である。模擬映像作成手段３０２で作成される映像の姿勢は現実映像を撮影するカメラ３０４の姿勢でみている方向が一致する。映像重畳手段３０５は、模擬映像作成手段３０２が作成した模擬映像の合成領域をカメラ３０４が撮影した映像に置き換えて、合成画像を得る。図４（ｃ）においてカメラ３０４の映像を破線の閉曲線４０１ａで示しているが、表示装置３０６には表示されない。
カメラ３０４で撮像した映像は模擬映像作成手段３０２の合成領域を透き通って模擬映像と合成されるから、模擬操縦装置３０１を操作する状況がカメラ３０４から撮影されて表示装置３０６から見ることができ、その模擬操縦装置３０１の操作状況の模擬映像を作成する必要がない。
【0017】
電車のシミュレータに応用する場合は、図４に相当する図は窓外に線路が表示され、カメラにより撮影された運転装置の映像が、模擬映像作成手段（図３の模擬映像作成手段３０２に相当する。）が作成した映像に合成される。
【符号の説明】
【0018】
１０１ 模擬操縦装置
１０２ 模擬映像作成手段
１０３ 頭部装着具
１０４ カメラ
１０５ 映像重畳手段
１０６ 表示装置
１０７ 制御部
１０２ 模擬映像作成手段
１０３ 頭部装着具
１０４ カメラ
１０５ 映像重畳手段
１０６ 表示装置
１０７ 制御部
【図1】
【図2】
【図3】
【図4】