知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】画像生成装置、画像生成プログラムおよびシステム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20240827BHJP
G06F 3/01 20060101ALI20240827BHJP
G06T 19/00 20110101ALI20240827BHJP
【ＦＩ】
G06Q50/04
G06F3/01 510
G06T19/00 A
【請求項の数】
12
(21)【出願番号】P 2023083994
(22)【出願日】2023-05-22
【審査請求日】2024-06-13
(31)【優先権主張番号】P 2023057999
(32)【優先日】2023-03-31
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】594124993
【氏名又は名称】東京貿易テクノシステム株式会社
(74)【代理人】
【識別番号】110004141
【氏名又は名称】弁理士法人紀尾井坂テーミス
(74)【代理人】
【識別番号】100148301
【弁理士】
【氏名又は名称】竹原 尚彦
(74)【代理人】
【識別番号】100176991
【弁理士】
【氏名又は名称】中島 由布子
(74)【代理人】
【識別番号】100217696
【弁理士】
【氏名又は名称】川口 英行
(72)【発明者】
【氏名】倉持 幸正
(72)【発明者】
【氏名】近藤 基成
(72)【発明者】
【氏名】吉實 興二
(72)【発明者】
【氏名】川本 貴志
(72)【発明者】
【氏名】坂口 俊雅
(72)【発明者】
【氏名】鍵谷 郷
【審査官】永野 一郎
(56)【参考文献】
【文献】特開２０２０－１４９３４９（ＪＰ，Ａ）
【文献】国際公開第２００８／１４６７６４（ＷＯ，Ａ１）
【文献】特開２０１８－５４９９（ＪＰ，Ａ）
【文献】特開２０２２－７８０１１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２３／００５２６３４（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０２０１６５６５（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
製品の３次元形状と、当該製品の状態情報と、が表示された仮想空間の画像を生成する画像生成装置であって、前記製品の３次元形状のデータと、前記製品の状態情報と、を記憶する記憶部と、
前記仮想空間における前記製品の３次元形状と前記製品の状態情報の表示態様を設定する表示設定部と、を備え、
前記製品は、複数の部品を組み付けて構成されるアセンブリであり、
前記表示設定部は、前記仮想空間において、前記複数の部品各々の３次元形状を組み付けて前記製品の３次元形状を表示すると共に、前記製品の３次元形状に紐づけて前記状態情報を表示させる、画像生成装置。
【請求項2】
前記製品の３次元形状のデータは、前記製品の複数の測定点における３次元座標値を含み、前記表示設定部は、前記製品の状態情報の取得箇所を、前記３次元形状のデータの対応する測定点に紐づける、請求項１記載の画像生成装置。
【請求項3】
前記表示設定部は、前記製品の状態情報を、前記製品の３次元形状に重畳して表示させる、請求項１または２記載の画像生成装置。
【請求項4】
前記表示設定部は、前記状態情報が有する数値データをカラーマップに変換し、前記カラーマップを前記製品の３次元形状に重畳して表示させる、請求項３記載の画像生成装置。
【請求項5】
前記表示設定部は、前記状態情報をラベルに記載して表示させる、請求項１または２記載の画像生成装置。
【請求項6】
前記表示設定部は、前記ラベルを、前記製品の３次元形状の前記状態情報の取得箇所に、接続部を介して接続して表示させる、請求項５記載の画像生成装置。
【請求項7】
前記仮想空間の環境を設定する環境設定部を備え、前記環境設定部は、前記仮想空間に光を照射する光源を設定することで、前記３次元形 状の表面に、前記光に対応するハイライト線を表示させる、請求項１または２記載の画像生成装置。
【請求項8】
前記環境設定部は、前記光源の設定により、前記３次元形状の表面に、縞状の光の模様、円形の光の模様、多角形状の光の模様、ドット状の光の模様、規則的なパターンの光の模様またはランダムなパターンの光の模様を形成するハイライト線を表示させる、請求項７記載の画像生成装置。
【請求項9】
製品の３次元形状と、当該製品の状態情報と、が表示された仮想空間の画像を生成する画像生成装置と、前記画像生成装置で生成された前記仮想空間の画像を表示する画像表示装置と、を備えるシステムであって、
前記画像表示装置は、
前記仮想空間の画像を表示する表示部と、
前記表示部をユーザの身体に装着可能とする装着部と、
前記ユーザの位置および姿勢を検出するモーションセンサと、を備え、
前記画像生成装置は、
前記製品の３次元形状のデータと、前記製品の状態情報と、を記憶する記憶部と、
前記仮想空間における前記製品の３次元形状と前記製品の状態情報の表示態様を設定する表示設定部と、
前記ユーザの位置および姿勢に基づいて、前記画像として表示する前記仮想空間内の領域を決定する表示領域決定部と、を備え、
前記製品は、複数の部品を組み付けて構成されるアセンブリであり、
前記表示設定部は、前記仮想空間において、前記複数の部品各々の３次元形状を組み付けて前記製品の３次元形状を表示すると共に、前記製品の３次元形状に紐づけて前記状態情報を表示させる、システム。
【請求項10】
コンピュータを、請求項１に記載の画像生成装置として機能させるための画像生成プログラム。
【請求項11】
前記製品を構成する部品には、異なる場所で作成される部品が含まれており、前記複数の部品各々の３次元形状データは、それぞれ作成場所で取得される、請求項１に記載の画像生成装置。
【請求項12】
前記製品を構成する部品には、異なる場所で作成される部品が含まれており、前記複数の部品各々の３次元形状データは、それぞれ作成場所で取得される、請求項９に記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、画像生成プログラムおよびシステムに関する。
【背景技術】
【0002】
製品に対して、開発段階や販売前、あるいは販売後のメンテナンスとして、検査や、試験検証等を行うことがある。例えば、製品が自動車である場合、外観（車体の歪み、傷等）、寸法誤差、振動、液漏れ、部品同士の干渉、熱源の温度異常等と、多岐に渡る製品の状態情報を取得する必要がある。
状態情報の取得のために、例えば、工場等に配置された製品に対して、各種のセンサや測定装置により測定を行うと共に、検査員が工場に赴いて目視で検査を行う。さらに、現場での検査とは別に、現場で取得したデータをコンピュータで後解析したり、製品の設計データに対してＣＡＥ（Computer Aided Engineering）等により様々な解析処理を行うことがある。
状態情報の取得のために、例えば、工場等に配置された製品に対して、各種のセンサや測定装置により測定を行うと共に、検査員が工場に赴いて目視で検査を行う。さらに、現場での検査とは別に、現場で取得したデータをコンピュータで後解析したり、製品の設計データに対してＣＡＥ（Computer Aided Engineering）等により様々な解析処理を行うことがある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２１－４７６１０号広報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような従来の検査方法では、工場等の現場で取得された状態情報と、コンピュータ上の解析処理で取得された状態情報が個別にバラバラに管理されることになるため、製品の状態情報の管理が煩雑となり、検査や試験検証等の効率に影響を与える可能性がある。
【0005】
製品の様々な検査や、試験検証等を統合して効率的に行うことできる環境を提供することが求められている。
【課題を解決するための手段】
【0006】
本発明のある態様における画像生成装置は、
製品の３次元形状と、当該製品の状態情報と、が表示された仮想空間の画像を生成する画像生成装置であって、
前記製品の３次元形状のデータと、前記製品の状態情報と、を記憶する記憶部と、
前記仮想空間における前記製品の３次元形状と前記製品の状態情報の表示態様を設定する表示設定部と、を備え、
前記製品は、複数の部品を組み付けて構成されるアセンブリであり、
前記表示設定部は、前記仮想空間において、前記複数の部品各々の３次元形状を組み付けて前記製品の３次元形状を表示すると共に、前記製品の３次元形状に紐づけて前記状態情報を表示させる。
製品の３次元形状と、当該製品の状態情報と、が表示された仮想空間の画像を生成する画像生成装置であって、
前記製品の３次元形状のデータと、前記製品の状態情報と、を記憶する記憶部と、
前記仮想空間における前記製品の３次元形状と前記製品の状態情報の表示態様を設定する表示設定部と、を備え、
前記製品は、複数の部品を組み付けて構成されるアセンブリであり、
前記表示設定部は、前記仮想空間において、前記複数の部品各々の３次元形状を組み付けて前記製品の３次元形状を表示すると共に、前記製品の３次元形状に紐づけて前記状態情報を表示させる。
【発明の効果】
【0007】
本発明のある態様によれば、仮想空間上で製品の様々な検査や試験検証等を統合して効率的に行うことができる。
【図面の簡単な説明】
【0008】
【図1】システムの概要を示す図である。
【図2】システムの構成を示す図である。
【図3】３次元形状データの一例を、テーブルとして示した図である。
【図4】測定データの一例を、テーブルとして示した図である。
【図5】ＨＭＤのハードウェア構成の一例を示す図である。
【図6】情報処理装置のハードウェア構成の一例を示す図である。
【図7】情報処理装置の、画像生成装置としての機能構成を示す図である。
【図8】ゼブラパターンを説明する図であり、（ａ）は、仮想空間を側方から見た模式図であり、（ｂ）は、仮想空間を上方から見た模式図である。
【図9】状態情報の表示例を示す図である。
【図10】状態情報の表示例を示す図である。
【図11】本実施形態における情報処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0009】
次に、本発明を実施するための形態（以下、「本実施形態」と称する。）について、図面を参照して説明する。
図１は、システム１の概要を示す図である。
図２は、システム１の構成を示す図である。
図１に示すように、システム１は、製品の検査や試験考証等を行うことができる環境である仮想空間ＶＳを提供する。
システム１が提供する仮想空間ＶＳ内には、製品の３次元形状ＶＰと、製品に関する状態情報ＳＩが表示される。
ユーザＵ（例えば検査員Ｕ１）は、ヘッドマウントディスプレイ（Head Mount Display、以降「ＨＭＤ」と表記する）６等の画像表示装置を介して仮想空間ＶＳにアクセスし、仮想空間ＶＳに表示された製品の３次元形状ＶＰと状態情報ＳＩに基づいて、製品の検査や、試験考証等を行うことができる。
図１は、システム１の概要を示す図である。
図２は、システム１の構成を示す図である。
図１に示すように、システム１は、製品の検査や試験考証等を行うことができる環境である仮想空間ＶＳを提供する。
システム１が提供する仮想空間ＶＳ内には、製品の３次元形状ＶＰと、製品に関する状態情報ＳＩが表示される。
ユーザＵ（例えば検査員Ｕ１）は、ヘッドマウントディスプレイ（Head Mount Display、以降「ＨＭＤ」と表記する）６等の画像表示装置を介して仮想空間ＶＳにアクセスし、仮想空間ＶＳに表示された製品の３次元形状ＶＰと状態情報ＳＩに基づいて、製品の検査や、試験考証等を行うことができる。
【0010】
仮想空間ＶＳに表示する製品は、複数の部品から構成されるアセンブリであっても良く、あるいはアセンブリを構成する個々の部品であっても良い。また、仮想空間ＶＳにおいて、部品単体で表示することもでき、あるいは複数の部品を仮想空間ＶＳ内で組み付けてアセンブリの状態で表示することもできる。
例えば、図１および図２では、製品の一例として自動車を示している。自動車は、数多くの部品から構成されるアセンブリである。仮想空間ＶＳでは、完成品の自動車の３次元形状ＶＰを表示することもでき、ドア、シート、エンジン、モータ等の自動車を構成する個々の部品を表示することもできる。また、仮想空間ＶＳにおいて複数の部品を組み付けてアセンブリすることもできる。
例えば、図１および図２では、製品の一例として自動車を示している。自動車は、数多くの部品から構成されるアセンブリである。仮想空間ＶＳでは、完成品の自動車の３次元形状ＶＰを表示することもでき、ドア、シート、エンジン、モータ等の自動車を構成する個々の部品を表示することもできる。また、仮想空間ＶＳにおいて複数の部品を組み付けてアセンブリすることもできる。
【0011】
図２に示すように、システム１は、３次元デジタイザ２（形状測定装置）、測定装置３、情報処理装置４（画像生成装置）、ＶＲ（Virtual Reality）プラットフォーム９、ＨＭＤ６（画像表示装置）と、を備える。
ＶＲプラットフォーム９は、不図示のサーバ装置上で動作し、サーバにアクセスするユーザのマシンに対して仮想空間を提供するサービスである。ＶＲプラットフォーム９は、例えば、NVIDIA Omniverse等の、既存のＶＲプラットフォームとすることができる。
ＶＲプラットフォーム９は、不図示のサーバ装置上で動作し、サーバにアクセスするユーザのマシンに対して仮想空間を提供するサービスである。ＶＲプラットフォーム９は、例えば、NVIDIA Omniverse等の、既存のＶＲプラットフォームとすることができる。
【0012】
３次元デジタイザ２および測定装置３は、例えば、製品を製造する場所や開発する場所、すなわち工場や研究所等に設置することができる。
３次元デジタイザ２は、製品の３次元形状を測定する。測定装置３は、製品に対して各種の測定を行い、測定データを取得する。測定データは、そのまま状態情報ＳＩとして用いても良く、あるいは後記する情報処理装置４において、状態情報ＳＩを生成するための元データとして用いることができる。
３次元デジタイザ２が測定した製品の３次元形状データと、測定装置３の測定データは、情報処理装置４に入力される。
３次元デジタイザ２は、製品の３次元形状を測定する。測定装置３は、製品に対して各種の測定を行い、測定データを取得する。測定データは、そのまま状態情報ＳＩとして用いても良く、あるいは後記する情報処理装置４において、状態情報ＳＩを生成するための元データとして用いることができる。
３次元デジタイザ２が測定した製品の３次元形状データと、測定装置３の測定データは、情報処理装置４に入力される。
【0013】
図２に示すように、情報処理装置４は、製品の３次元形状データと状態情報ＳＩを用いて、仮想空間ＶＳの画像を生成する。情報処理装置４は、例えば既存のＶＲプラットフォーム９を介して、仮想空間ＶＳの画像を生成し、ヘッドマウントディスプレイに送信する。
【0014】
図１に示すように、ＨＭＤ６は、ディスプレイ６１（表示部）と、ディスプレイ６１をユーザＵの頭部に装着させる装着部６２と、を有する。ディスプレイ６１には、情報処理装置４から送信された仮想空間ＶＳの画像が表示される。
さらに、ＨＭＤ６には、ＨＭＤ６の位置および姿勢の変化を測定するモーションセンサ６６（図５参照）が備えられている。モーションセンサ６６で測定されたＨＭＤ６の位置および姿勢情報は、図２に示すように、ＶＲプラットフォーム９を介して情報処理装置４に送信される。
さらに、ＨＭＤ６には、ＨＭＤ６の位置および姿勢の変化を測定するモーションセンサ６６（図５参照）が備えられている。モーションセンサ６６で測定されたＨＭＤ６の位置および姿勢情報は、図２に示すように、ＶＲプラットフォーム９を介して情報処理装置４に送信される。
【0015】
情報処理装置４は、ＨＭＤ６から受信した位置および姿勢に基づいて、仮想空間ＶＳにおける画像の表示領域を決定する。すなわち、情報処理装置４は、ＨＭＤ６を装着したユーザＵの移動および姿勢変化に合わせて、仮想空間ＶＳの中で画像に表示される領域を変化させる。
さらに、ディスプレイ６１は、具体的には、隔壁で区切られた右目用ディスプレイ６１ａと左目用ディスプレイ６１ｂ（図５参照）を有する。情報処理装置４はそれぞれの領域に対して、右目用の画像と左目用の画像を送信する。右目用の画像と左目用の画像は、右目と左目の間の距離に合わせて、仮想空間ＶＳ内の表示される領域がずらされている。これによって、ユーザＵは仮想空間ＶＳと、そこに表示される製品を立体的に視認することができる。
すなわち、ＨＭＤ６を装着したユーザＵは、自身が仮想空間ＶＳ内に存在しているように体感することができる。さらに、ユーザＵは、自身が移動したり姿勢を変えたりすることで、仮想空間ＶＳ内に置かれた製品の３次元形状ＶＰを様々な距離および方向から観察することができる。
さらに、ディスプレイ６１は、具体的には、隔壁で区切られた右目用ディスプレイ６１ａと左目用ディスプレイ６１ｂ（図５参照）を有する。情報処理装置４はそれぞれの領域に対して、右目用の画像と左目用の画像を送信する。右目用の画像と左目用の画像は、右目と左目の間の距離に合わせて、仮想空間ＶＳ内の表示される領域がずらされている。これによって、ユーザＵは仮想空間ＶＳと、そこに表示される製品を立体的に視認することができる。
すなわち、ＨＭＤ６を装着したユーザＵは、自身が仮想空間ＶＳ内に存在しているように体感することができる。さらに、ユーザＵは、自身が移動したり姿勢を変えたりすることで、仮想空間ＶＳ内に置かれた製品の３次元形状ＶＰを様々な距離および方向から観察することができる。
【0016】
図３は、３次元形状データの一例を、テーブルとして示した図である。
３次元デジタイザ２は、例えば、レーザー光や白色光等の光源を用いて、非接触で製品の３次元形状を測定する装置である。
３次元デジタイザ２は、測定によって製品の３次元形状データを取得する。図３に示すように、３次元形状データは、製品の表面上の複数の測定点における、３次元座標値（Ｘ，Ｙ，Ｚ）をまとめたものである。
製品が、複数の部品を組み付けて構成されるアセンブリの場合、３次元デジタイザ２は、アセンブリ全体の３次元形状データを取得しても良い。３次元デジタイザ２は、あるいは、アセンブリを構成する部品ごとに測定を行い、各部品の３次元形状データを取得しても良い。
３次元デジタイザ２は、例えば、レーザー光や白色光等の光源を用いて、非接触で製品の３次元形状を測定する装置である。
３次元デジタイザ２は、測定によって製品の３次元形状データを取得する。図３に示すように、３次元形状データは、製品の表面上の複数の測定点における、３次元座標値（Ｘ，Ｙ，Ｚ）をまとめたものである。
製品が、複数の部品を組み付けて構成されるアセンブリの場合、３次元デジタイザ２は、アセンブリ全体の３次元形状データを取得しても良い。３次元デジタイザ２は、あるいは、アセンブリを構成する部品ごとに測定を行い、各部品の３次元形状データを取得しても良い。
【0017】
図４は、測定データの一例を、テーブルとして示した図である。
測定装置３は、検査項目である状態情報ＳＩの種類に応じた装置を適宜採用することができる。測定装置３は、例えば、各種のセンサやカメラ等とすることができる。
測定装置３が製品を測定することで取得する測定データは、例えば、数値データ、画像データ、音データ等から構成される。
測定装置３および測定データの例を、以下に列挙する。
測定装置３は、例えば、製品の温度を測定する温度センサ、またはサーモグラフィとすることができる。温度センサは、測定点における温度を測定するものであり、サーモグラフィは、温度の空間分布を測定するものである。
測定装置３は、例えば、製品の振動（周波数・振幅）を測定する加速度センサとすることができる。
測定装置３は、例えば、製品を構成する部品同士の干渉（応力）や、重力による自重撓み等を測定する圧力センサとすることができる。
測定装置３は、例えば、製品の外観を撮影するカメラとすることができる。
測定装置３は、例えば、製品を動作させた際に生じる音に関するデータ、例えば、音圧（ｄｂエネルギー）、音量（振幅）、音域（周波数）等を測定するセンサとすることができる。測定装置３は、音に関するデータと共に、音を録音しても良い。
測定装置３は、例えば、製品の内部（例えばラジエータ等）を流れる流体の速度等を測定するセンサ（ピトー管、熱線または超音波センサ）とすることができる。
測定装置３は、例えば、製品の臭気を測定する臭気センサとすることができる。
さらに、前記した３次元デジタイザ２も、製品の実寸法を測定する測定装置３の一つとして捉えることができる。
なお、製品の測定データは、測定装置３から取得されるものに限定されず、例えば工場の作業員が手作業により測定したデータとしても良い。例えば、測定データとして、作業員が製品の手触り（粗さ、滑らかさ）を段階的に評価した触感データとすることができる。
測定装置３は、検査項目である状態情報ＳＩの種類に応じた装置を適宜採用することができる。測定装置３は、例えば、各種のセンサやカメラ等とすることができる。
測定装置３が製品を測定することで取得する測定データは、例えば、数値データ、画像データ、音データ等から構成される。
測定装置３および測定データの例を、以下に列挙する。
測定装置３は、例えば、製品の温度を測定する温度センサ、またはサーモグラフィとすることができる。温度センサは、測定点における温度を測定するものであり、サーモグラフィは、温度の空間分布を測定するものである。
測定装置３は、例えば、製品の振動（周波数・振幅）を測定する加速度センサとすることができる。
測定装置３は、例えば、製品を構成する部品同士の干渉（応力）や、重力による自重撓み等を測定する圧力センサとすることができる。
測定装置３は、例えば、製品の外観を撮影するカメラとすることができる。
測定装置３は、例えば、製品を動作させた際に生じる音に関するデータ、例えば、音圧（ｄｂエネルギー）、音量（振幅）、音域（周波数）等を測定するセンサとすることができる。測定装置３は、音に関するデータと共に、音を録音しても良い。
測定装置３は、例えば、製品の内部（例えばラジエータ等）を流れる流体の速度等を測定するセンサ（ピトー管、熱線または超音波センサ）とすることができる。
測定装置３は、例えば、製品の臭気を測定する臭気センサとすることができる。
さらに、前記した３次元デジタイザ２も、製品の実寸法を測定する測定装置３の一つとして捉えることができる。
なお、製品の測定データは、測定装置３から取得されるものに限定されず、例えば工場の作業員が手作業により測定したデータとしても良い。例えば、測定データとして、作業員が製品の手触り（粗さ、滑らかさ）を段階的に評価した触感データとすることができる。
【0018】
例えば、自動車等の比較的大きな製品では、製品の箇所によって測定装置３で測定される数値に変動が生じることがある。例えば、自動車の駆動源（エンジン、モータ等）が駆動している際は、駆動源の付近は温度が高く、駆動源から遠ざかると温度が低くなるといった傾向がある。そのため、測定装置３は、製品の複数の箇所において、測定を行うことができる。この場合、図４に示すように、測定データは、複数の測定箇所（ポイントＡ、ポイントＢ…）における数値データをまとめたものとなる。
【0019】
図５は、ＨＭＤ６のハードウェア構成の一例を示す図である。
ＨＭＤ６は一般的な構成のものを用いることができるため、簡単に構成を説明する。
ＨＭＤ６は、ディスプレイ６１、ＣＰＵ６３、ＲＯＭ６４、ＲＡＭ６５、モーションセンサ６６および通信Ｉ／Ｆ６７等を備える。
ディスプレイ６１は、仮想空間ＶＳの画像を表示する。ディスプレイ６１は、具体的には、隔壁で仕切られた右目用ディスプレイ６１ａと左目用ディスプレイ６１ｂを有する。
モーションセンサ６６は、ＨＭＤ６の鉛直方向に対する傾きと、３軸周りの回転角度及び３軸方向における移動距離を継続的に測定する。初期位置および初期姿勢からの位置及び姿勢の変化分を初期位置から加算していくことで、ＨＭＤ６の位置及び姿勢を測定する。
ＨＭＤ６は、通信Ｉ／Ｆ６７を介してＶＲプラットフォーム９にアクセスし、ＶＲプラットフォーム９を介して情報処理装置４とデータの送受信を行う。
ＨＭＤ６は、情報処理装置４から仮想空間ＶＳの画像を受信し、ディスプレイ６１に表示させる。ＨＭＤ６は、右目用ディスプレイ６１ａと左目用ディスプレイ６１ｂのそれぞれで表示する仮想空間ＶＳの画像を受信する。
ＨＭＤ６は、情報処理装置４に対してモーションセンサ６６が測定したＨＭＤ６の位置および姿勢情報を送信する。
情報処理装置４とのデータの送受信は、ＨＭＤ６がＶＲプラットフォーム９にアクセスしている間、継続的に行われる。
ＨＭＤ６は一般的な構成のものを用いることができるため、簡単に構成を説明する。
ＨＭＤ６は、ディスプレイ６１、ＣＰＵ６３、ＲＯＭ６４、ＲＡＭ６５、モーションセンサ６６および通信Ｉ／Ｆ６７等を備える。
ディスプレイ６１は、仮想空間ＶＳの画像を表示する。ディスプレイ６１は、具体的には、隔壁で仕切られた右目用ディスプレイ６１ａと左目用ディスプレイ６１ｂを有する。
モーションセンサ６６は、ＨＭＤ６の鉛直方向に対する傾きと、３軸周りの回転角度及び３軸方向における移動距離を継続的に測定する。初期位置および初期姿勢からの位置及び姿勢の変化分を初期位置から加算していくことで、ＨＭＤ６の位置及び姿勢を測定する。
ＨＭＤ６は、通信Ｉ／Ｆ６７を介してＶＲプラットフォーム９にアクセスし、ＶＲプラットフォーム９を介して情報処理装置４とデータの送受信を行う。
ＨＭＤ６は、情報処理装置４から仮想空間ＶＳの画像を受信し、ディスプレイ６１に表示させる。ＨＭＤ６は、右目用ディスプレイ６１ａと左目用ディスプレイ６１ｂのそれぞれで表示する仮想空間ＶＳの画像を受信する。
ＨＭＤ６は、情報処理装置４に対してモーションセンサ６６が測定したＨＭＤ６の位置および姿勢情報を送信する。
情報処理装置４とのデータの送受信は、ＨＭＤ６がＶＲプラットフォーム９にアクセスしている間、継続的に行われる。
【0020】
図６は、情報処理装置４のハードウェア構成の一例を示す図である。
情報処理装置４は、汎用のコンピュータから構成することができる。
図６に示すように、情報処理装置４は、ＣＰＵ４１（Central Processing Unit）、ＲＯＭ４２（Read Only Memory）、ＲＡＭ４３（Random Access Memory）、ＨＤＤ４４（Hard Disk Drive）、ディスプレイ４５、入力装置４６および通信Ｉ／Ｆ４７を有する。
情報処理装置４は、汎用のコンピュータから構成することができる。
図６に示すように、情報処理装置４は、ＣＰＵ４１（Central Processing Unit）、ＲＯＭ４２（Read Only Memory）、ＲＡＭ４３（Random Access Memory）、ＨＤＤ４４（Hard Disk Drive）、ディスプレイ４５、入力装置４６および通信Ｉ／Ｆ４７を有する。
【0021】
ＣＰＵ４１が、ＲＯＭ４２またはＨＤＤ４４に記憶された画像生成プログラムを読みだして実行することで、画像生成装置として機能する。なお、ＨＤＤ４４の代わりにＳＤＤ（Solid State Drive）を備えても良い。ＨＤＤ４４は、また、情報処理装置４で実行されるプログラムによって使用されるデータ等を記憶する。
【0022】
ＣＰＵ４１は、マウス、キーボード、タッチパネル等の入力装置４６を介して、ユーザＵの操作を受け付ける。ＣＰＵ４１は、生成したデータをディスプレイ４５に出力して表示する。なお、プロセッサとしてＣＰＵ４１と共にＧＰＵ（Graphics Processing Unit）等を用いても良い。なお、ＣＰＵ４１は、マイクを介した音声入力によってユーザＵの操作を受け付けても良い。
【0023】
通信Ｉ／Ｆ４７は、インターネット等のネットワークを介して、他の装置からデータを受信してＣＰＵ４１へ出力し、ＣＰＵ４１が生成したデータを他の装置へ送信することができる。
【0024】
図７は、情報処理装置４の、画像生成装置としての機能構成を示す図である。
図７に示すように、情報処理装置４は、送受信部５１、記憶部５２、状態情報生成部５３および画像生成部５４を備える。
送受信部５１は、外部の装置とのデータの送受信を行う。送受信部５１は、例えば、３次元デジタイザ２から製品の３次元形状データを受信し、測定装置３から測定データを受信する。
送受信部５１は、また、ＶＲプラットフォーム９（図２参照）を介して、ＨＭＤ６とデータの送受信を行う。送受信部５１は、例えば、ＨＭＤ６に対して仮想空間ＶＳの画像を送信し、またＨＭＤ６から位置および姿勢情報を受信する。
図７に示すように、情報処理装置４は、送受信部５１、記憶部５２、状態情報生成部５３および画像生成部５４を備える。
送受信部５１は、外部の装置とのデータの送受信を行う。送受信部５１は、例えば、３次元デジタイザ２から製品の３次元形状データを受信し、測定装置３から測定データを受信する。
送受信部５１は、また、ＶＲプラットフォーム９（図２参照）を介して、ＨＭＤ６とデータの送受信を行う。送受信部５１は、例えば、ＨＭＤ６に対して仮想空間ＶＳの画像を送信し、またＨＭＤ６から位置および姿勢情報を受信する。
【0025】
記憶部５２は、情報処理装置４の処理に必要な各種のデータを記憶する。
記憶部５２は、例えば、３次元デジタイザ２で測定された製品の３次元形状データと、製品の設計時に作成された製品の３次元形状データ（以下、「設計データ」という）を記憶する。記憶部５２は、例えば、測定装置３で測定された測定データが記憶する。前記したように測定データは、そのまま状態情報ＳＩとして用いられることもある。記憶部５２は、また、測定データから生成された状態情報ＳＩも記憶する。記憶部５２は、また、状態情報ＳＩに付加されるアノテーションも記憶する。
記憶部５２は、例えば、ＨＭＤ６から受信する位置および姿勢情報を記憶する。
記憶部５２は、例えば、仮想空間ＶＳの環境設定情報、仮想空間ＶＳにおける製品の３次元形状ＶＰの表示設定情報、仮想空間ＶＳにおける状態情報ＳＩの表示設定情報等を記憶する。
記憶部５２には、例えば、情報処理装置４の各機能構成の処理結果が、一時的に記憶される。
記憶部５２は、例えば、３次元デジタイザ２で測定された製品の３次元形状データと、製品の設計時に作成された製品の３次元形状データ（以下、「設計データ」という）を記憶する。記憶部５２は、例えば、測定装置３で測定された測定データが記憶する。前記したように測定データは、そのまま状態情報ＳＩとして用いられることもある。記憶部５２は、また、測定データから生成された状態情報ＳＩも記憶する。記憶部５２は、また、状態情報ＳＩに付加されるアノテーションも記憶する。
記憶部５２は、例えば、ＨＭＤ６から受信する位置および姿勢情報を記憶する。
記憶部５２は、例えば、仮想空間ＶＳの環境設定情報、仮想空間ＶＳにおける製品の３次元形状ＶＰの表示設定情報、仮想空間ＶＳにおける状態情報ＳＩの表示設定情報等を記憶する。
記憶部５２には、例えば、情報処理装置４の各機能構成の処理結果が、一時的に記憶される。
【0026】
状態情報生成部５３は、測定装置３の測定データから状態情報ＳＩを生成する。
前記したように、測定装置３が取得した測定データをそのまま状態情報ＳＩとして用いることもできるが、測定データを元データとして各種の解析処理を行い、状態情報ＳＩを生成することもできる。状態情報生成部５３は、測定データに解析処理を行って状態情報ＳＩを生成し、記憶部５２に記憶させる。
状態情報生成部５３は、ユーザＵの操作入力に応じて、状態情報ＳＩの生成を行う。状態情報生成部５３は、例えば、状態情報ＳＩの生成を行うためのＧＵＩ（Graphical User Interface）をディスプレイ４５に表示する。ユーザＵは、マウスやキーボード等の入力装置４６によって操作を行い、元データとなる測定データを読み込み、生成する状態情報ＳＩを指定する。
画像生成部５４は、ＧＵＩとして、設定中の仮想空間ＶＳのプレビューを表示することができる。プレビューには、ユーザＵの入力した設定内容が逐次反映される。ユーザＵは、プレビューを確認しながらスムーズに設定操作を行うことができる。
前記したように、測定装置３が取得した測定データをそのまま状態情報ＳＩとして用いることもできるが、測定データを元データとして各種の解析処理を行い、状態情報ＳＩを生成することもできる。状態情報生成部５３は、測定データに解析処理を行って状態情報ＳＩを生成し、記憶部５２に記憶させる。
状態情報生成部５３は、ユーザＵの操作入力に応じて、状態情報ＳＩの生成を行う。状態情報生成部５３は、例えば、状態情報ＳＩの生成を行うためのＧＵＩ（Graphical User Interface）をディスプレイ４５に表示する。ユーザＵは、マウスやキーボード等の入力装置４６によって操作を行い、元データとなる測定データを読み込み、生成する状態情報ＳＩを指定する。
画像生成部５４は、ＧＵＩとして、設定中の仮想空間ＶＳのプレビューを表示することができる。プレビューには、ユーザＵの入力した設定内容が逐次反映される。ユーザＵは、プレビューを確認しながらスムーズに設定操作を行うことができる。
【0027】
状態情報生成部５３は、例えば、３次元デジタイザ２が測定した製品の３次元形状データから、寸法誤差のデータを生成することができる。３次元デジタイザ２が測定した製品の３次元形状データは、製品の実寸法を意味するものである。状態情報生成部５３は、３次元形状データの各点群と設計データの各点群の座標のずれ量から、設計データに対する寸法誤差を算出することができる。
【0028】
状態情報生成部５３は、また、カメラで撮影された製品の画像情報に対して、既存の方法による画像解析処理を行い、製品の表面上の傷、歪み、孔等を状態情報ＳＩとして検出することができる。
また、前記したように、製品が複数の部品から構成されている場合、３次元デジタイザ２で各部品の３次元形状データを個別に取得することができる。この場合、状態情報生成部５３は、これらの部品を組付けた場合のシミュレーションを行い、部品同士の干渉（応力）を状態情報ＳＩとして検出することができる。
また、前記したように、製品が複数の部品から構成されている場合、３次元デジタイザ２で各部品の３次元形状データを個別に取得することができる。この場合、状態情報生成部５３は、これらの部品を組付けた場合のシミュレーションを行い、部品同士の干渉（応力）を状態情報ＳＩとして検出することができる。
【0029】
状態情報生成部５３は、さらに、状態情報ＳＩに対して、アノテーションを付加する処理を行うことができる。
アノテーションは、一般的には、データに関連する情報を注釈として付加することを意味する。本実施形態において、アノテーションは、例えば、寸法誤差、温度、応力等の状態情報の中から、製品の特定の箇所の情報について注釈するものである。状態情報生成部５３は、例えば、状態情報ＳＩと閾値との比較処理を行って、アノテーションを付加することができる。
閾値は、例えば、製品の品質の合否基準を示すものや、異常の判定基準を示すものを用いることができる。閾値は、予め設定して記憶部５２に記憶させることができる。
アノテーションは、一般的には、データに関連する情報を注釈として付加することを意味する。本実施形態において、アノテーションは、例えば、寸法誤差、温度、応力等の状態情報の中から、製品の特定の箇所の情報について注釈するものである。状態情報生成部５３は、例えば、状態情報ＳＩと閾値との比較処理を行って、アノテーションを付加することができる。
閾値は、例えば、製品の品質の合否基準を示すものや、異常の判定基準を示すものを用いることができる。閾値は、予め設定して記憶部５２に記憶させることができる。
【0030】
状態情報生成部５３は、ユーザＵの操作入力に応じて、アノテーションを付加する処理を行う。
状態情報生成部５３は、状態情報ＳＩと閾値の比較処理を行う。状態情報生成部５３は、比較結果として、状態情報ＳＩが、閾値が示す基準を満たすものでなかった場合、状態情報ＳＩにアノテーションを付加する。状態情報生成部５３は、具体的には、状態情報ＳＩが閾値を超える場合、あるいは下回る場合にアノテーションを付加することができる。閾値は、例えば、許容範囲を示す一定の数値範囲として設定し、状態情報生成部５３は、状態情報ＳＩが許容範囲を超えている場合にアノテーションを付加することができる。
状態情報生成部５３は、状態情報ＳＩと閾値の比較処理を行う。状態情報生成部５３は、比較結果として、状態情報ＳＩが、閾値が示す基準を満たすものでなかった場合、状態情報ＳＩにアノテーションを付加する。状態情報生成部５３は、具体的には、状態情報ＳＩが閾値を超える場合、あるいは下回る場合にアノテーションを付加することができる。閾値は、例えば、許容範囲を示す一定の数値範囲として設定し、状態情報生成部５３は、状態情報ＳＩが許容範囲を超えている場合にアノテーションを付加することができる。
【0031】
状態情報生成部５３は、例えば、各点群について算出された寸法誤差のデータを、誤差の許容範囲を示す公差（閾値）と比較することがきる。状態情報生成部５３は、寸法誤差が公差を超えている測定箇所について、アノテーションを付加することができる。
なお、アノテーションとしての具体的な強調表示の態様は、後記する状態情報表示設定部５７において設定することができる。そのため、状態情報ＳＩが数値データである場合、状態情報生成部５３は、例えば、状態情報ＳＩにアノテーションを付加するフラグを追加することができる。
あるいは、状態情報生成部５３が、製品の画像データから傷、歪み、孔等を検出する場合は、画像データの検出した箇所に、マーキング、矢印、強調表示等を追加することができる。
なお、アノテーションとしての具体的な強調表示の態様は、後記する状態情報表示設定部５７において設定することができる。そのため、状態情報ＳＩが数値データである場合、状態情報生成部５３は、例えば、状態情報ＳＩにアノテーションを付加するフラグを追加することができる。
あるいは、状態情報生成部５３が、製品の画像データから傷、歪み、孔等を検出する場合は、画像データの検出した箇所に、マーキング、矢印、強調表示等を追加することができる。
【0032】
なお、ここでは状態情報生成部５３が測定データに解析処理等を行って状態情報を生成する例を説明したが、この例に限定されない。例えば、情報処理装置４において別にプログラムにより動作するソフトウェアや、情報処理装置４とは別の情報処理装置において、生成した状態情報を読み込み、記憶部５２に記憶させることもできる。例えば、ＣＡＥソフトウェアにおいて作成したシミュレーションデータを読み込むことができる。シミュレーションデータは、例えば、製品の設計データであるＣＡＤデータに対する偏差、歪量、曲率、応力、振動等のデータとすることができる。
【0033】
画像生成部５４は、ＨＭＤ６に送信する仮想空間ＶＳの画像を生成する。
画像生成部５４は、一例として、環境設定部５５、製品表示設定部５６、状態情報表示設定部５７、表示領域決定部５８、出力部５９を備える。画像生成部５４は、仮想空間ＶＳの画像を生成するための各種設定を行う。画像生成部５４は、例えば、各種設定を行うためのＧＵＩ等をディスプレイ４５に表示することができる。ユーザＵは、マウスやキーボード等の入力装置４６によって各種設定の操作を行う。ユーザＵは、例えば、マウスでプルダウンメニューから所望の設定を選択し、キーボードで設定に必要な数値を入力することができる。なお、各種設定を行うためのＧＵＩは、前記した状態情報ＳＩの生成を行うためのＧＵＩ（Graphical User Interface）と共通のものとすることができる。すなわち、ユーザＵは状態情報ＳＩの生成と、仮想空間ＶＳの画像を生成するための設定処理を同じ操作画面上で行うことができる。
画像生成部５４は、また、ＧＵＩとして、仮想空間ＶＳのプレビューを表示することができる。プレビューには、ユーザＵの入力した設定内容が逐次反映される。ユーザＵは、プレビューを確認しながらスムーズに設定操作を行うことができる。
画像生成部５４は、一例として、環境設定部５５、製品表示設定部５６、状態情報表示設定部５７、表示領域決定部５８、出力部５９を備える。画像生成部５４は、仮想空間ＶＳの画像を生成するための各種設定を行う。画像生成部５４は、例えば、各種設定を行うためのＧＵＩ等をディスプレイ４５に表示することができる。ユーザＵは、マウスやキーボード等の入力装置４６によって各種設定の操作を行う。ユーザＵは、例えば、マウスでプルダウンメニューから所望の設定を選択し、キーボードで設定に必要な数値を入力することができる。なお、各種設定を行うためのＧＵＩは、前記した状態情報ＳＩの生成を行うためのＧＵＩ（Graphical User Interface）と共通のものとすることができる。すなわち、ユーザＵは状態情報ＳＩの生成と、仮想空間ＶＳの画像を生成するための設定処理を同じ操作画面上で行うことができる。
画像生成部５４は、また、ＧＵＩとして、仮想空間ＶＳのプレビューを表示することができる。プレビューには、ユーザＵの入力した設定内容が逐次反映される。ユーザＵは、プレビューを確認しながらスムーズに設定操作を行うことができる。
【0034】
環境設定部５５は、仮想空間ＶＳの環境を設定する。
環境設定部５５は、一例として、仮想空間ＶＳのサイズ、形状、光源、光源から照射される光量、等を設定することができる。また、仮想空間ＶＳを屋外に設定する場合は、天候等を設定できるようにしても良い。
また、光源の位置を調整することで、製品に特定の方向から光が当たるように調整することもできる。製品が特定の方向からの光によってハイライトされることで、製品の表面に生じている歪み等が視認できるようになるため、仮想空間ＶＳ上で、歪みチェック等を行うことができる。
環境設定部５５は、一例として、仮想空間ＶＳのサイズ、形状、光源、光源から照射される光量、等を設定することができる。また、仮想空間ＶＳを屋外に設定する場合は、天候等を設定できるようにしても良い。
また、光源の位置を調整することで、製品に特定の方向から光が当たるように調整することもできる。製品が特定の方向からの光によってハイライトされることで、製品の表面に生じている歪み等が視認できるようになるため、仮想空間ＶＳ上で、歪みチェック等を行うことができる。
【0035】
環境設定部５５は、一例として、光源を制御して、様々な光の模様を形成するハイライト線を、仮想空間ＶＳ内に再現した対象物（製品）の表面に生じさせることができる。
光の模様は、いわゆるゼブラパターンと呼ばれる縞状の光の模様、円形の光の模様、多角形状の光の模様、ドット状の光の模様、規則的なパターンの光の模様、ランダムなパターンの光の模様などが例示されるが、特定の態様に限定されない。円形の光の模様や多角形状の光の模様は、図形を単体で表示しても良く、複数の図形を表示しても良い。複数の図形はそれぞれ離間させて表示しても良く、互いが重なるように表示しても良い。異なる光の模様を組み合わせて表示しても良い。
例えば、縞状の光の模様を生じさせる場合には、環境設定部５５は、縞状の光を照射するように、光源を設定・制御する。
これにより、仮想空間ＶＳ内に再現した対象物の表面に、光源から照射された光が描くゼブラパターンが再現される。
光の模様は、いわゆるゼブラパターンと呼ばれる縞状の光の模様、円形の光の模様、多角形状の光の模様、ドット状の光の模様、規則的なパターンの光の模様、ランダムなパターンの光の模様などが例示されるが、特定の態様に限定されない。円形の光の模様や多角形状の光の模様は、図形を単体で表示しても良く、複数の図形を表示しても良い。複数の図形はそれぞれ離間させて表示しても良く、互いが重なるように表示しても良い。異なる光の模様を組み合わせて表示しても良い。
例えば、縞状の光の模様を生じさせる場合には、環境設定部５５は、縞状の光を照射するように、光源を設定・制御する。
これにより、仮想空間ＶＳ内に再現した対象物の表面に、光源から照射された光が描くゼブラパターンが再現される。
【0036】
図８は、ゼブラパターンを説明する図である。図８の（ａ）は、仮想空間ＶＳを側方から見た模式図であり、図８の（ｂ）は、仮想空間ＶＳを上方から見た模式図である。図８の（ｂ）では、製品の３次元形状ＶＰの上面と、上面に投影されるハイライトの線（ハッチング部分）を簡略化して示している。また、一部の光源ＬＳの位置を破線で示している。
ゼブラパターンは、一方向に延びる細長い光源ＬＳが、互いに間隔を空けて平行に配置されたものである。これらの光源ＬＳから光が照射された物体の表面には、縞状にハイライト線ＨＬが投影される。図８の（ｂ）ではハイライト線ＬＳを模式的に示しているが、物体の表面に歪みや傷がある場合、その箇所においてハイライト線ＬＳに歪みやうねりが生じる。すなわち、仮想空間ＶＳに配置された製品の３次元形状ＶＰにゼブラパターンの光を照射することで、製品の表面に歪みや傷がないか検査することができる。
なお、図示した光源ＬＳはあくまで模式的なものであり、ゼブラパターンを構成する光源ＬＳの数や配置する位置は、特定の態様に限定されない。例えば、図８の（ａ）では、光源ＬＳを仮想空間ＶＳの上方に配置する例を示したが、光源ＬＳを、仮想空間ＶＳの側方にも配置して、複数の方向から光を照射するようにしても良い。
現実でゼブラパターンの光を照射するためには、例えば複数の直管蛍光灯を一定間隔で平行に配置するか、光源から照射された光を、複数のスリットを有する遮光板を介して照射する必要があり、設備コストがかかる。一方、本実施形態では、環境設定により、仮想空間ＶＳに容易にゼブラパターンを実現することができる。
図８の例では、単純な線状の光で構成されるゼブラパターンを示しているが、相似する形状でサイズが異なる複数の図形の光を同心に配置することで、ゼブラパターンを構成しても良い。
ゼブラパターンは、一方向に延びる細長い光源ＬＳが、互いに間隔を空けて平行に配置されたものである。これらの光源ＬＳから光が照射された物体の表面には、縞状にハイライト線ＨＬが投影される。図８の（ｂ）ではハイライト線ＬＳを模式的に示しているが、物体の表面に歪みや傷がある場合、その箇所においてハイライト線ＬＳに歪みやうねりが生じる。すなわち、仮想空間ＶＳに配置された製品の３次元形状ＶＰにゼブラパターンの光を照射することで、製品の表面に歪みや傷がないか検査することができる。
なお、図示した光源ＬＳはあくまで模式的なものであり、ゼブラパターンを構成する光源ＬＳの数や配置する位置は、特定の態様に限定されない。例えば、図８の（ａ）では、光源ＬＳを仮想空間ＶＳの上方に配置する例を示したが、光源ＬＳを、仮想空間ＶＳの側方にも配置して、複数の方向から光を照射するようにしても良い。
現実でゼブラパターンの光を照射するためには、例えば複数の直管蛍光灯を一定間隔で平行に配置するか、光源から照射された光を、複数のスリットを有する遮光板を介して照射する必要があり、設備コストがかかる。一方、本実施形態では、環境設定により、仮想空間ＶＳに容易にゼブラパターンを実現することができる。
図８の例では、単純な線状の光で構成されるゼブラパターンを示しているが、相似する形状でサイズが異なる複数の図形の光を同心に配置することで、ゼブラパターンを構成しても良い。
【0037】
製品表示設定部５６および状態情報表示設定部５７は、画像生成装置における表示設定部として機能する。
製品表示設定部５６は、仮想空間ＶＳにおける製品の３次元形状ＶＰの表示位置および表示態様を設定する。
製品表示設定部５６は、例えば、製品の３次元形状ＶＰの、仮想空間ＶＳにおける表示位置を設定する。製品表示設定部５６は、表示位置を設定する際に、製品の３次元形状データが有する３次元座標と、仮想空間ＶＳに設定した３次元座標との紐づけを行う。
例えば、ユーザＵが、製品の３次元形状データの読み込みを選択すると、プレビューの仮想空間ＶＳ内の初期位置に、３次元形状ＶＰが表示される。ユーザＵは、マウスで３次元形状ＶＰを選択し、ドラッグして任意の位置に移動させることができる。あるいは、ユーザＵは仮想空間ＶＳ内の３次元座標をキーボードで入力することで、任意の位置に製品の３次元形状ＶＰを表示させることができる。
なお、製品が複数の部品から構成される場合、個々の部品の３次元形状データを読み込んだうえで、各部品を画面上で移動させて組み付けることができる。
製品表示設定部５６は、仮想空間ＶＳにおける製品の３次元形状ＶＰの表示位置および表示態様を設定する。
製品表示設定部５６は、例えば、製品の３次元形状ＶＰの、仮想空間ＶＳにおける表示位置を設定する。製品表示設定部５６は、表示位置を設定する際に、製品の３次元形状データが有する３次元座標と、仮想空間ＶＳに設定した３次元座標との紐づけを行う。
例えば、ユーザＵが、製品の３次元形状データの読み込みを選択すると、プレビューの仮想空間ＶＳ内の初期位置に、３次元形状ＶＰが表示される。ユーザＵは、マウスで３次元形状ＶＰを選択し、ドラッグして任意の位置に移動させることができる。あるいは、ユーザＵは仮想空間ＶＳ内の３次元座標をキーボードで入力することで、任意の位置に製品の３次元形状ＶＰを表示させることができる。
なお、製品が複数の部品から構成される場合、個々の部品の３次元形状データを読み込んだうえで、各部品を画面上で移動させて組み付けることができる。
【0038】
製品表示設定部５６は、例えば、製品の３次元形状ＶＰの、仮想空間ＶＳ内における表示態様を設定する。表示態様は、例えば、各測定点の座標に配置された点群とすることができる。あるいは、表示態様は、各点群を辺と面で接続したポリゴン（メッシュ）等とすることができる。
【0039】
状態情報表示設定部５７は、仮想空間ＶＳ内における製品の状態情報ＳＩの表示位置および表示態様を設定する。
前記したように、状態情報ＳＩは、例えば、各測定箇所で測定された数値データから構成される。このような数値データを、例えば、図４に示すような単純なテーブルとして仮想空間ＶＳに表示したとしても、製品の３次元形状ＶＰにおいて状態情報ＳＩが取得された箇所が直感的に結び付けられないため、数値データが示す傾向を直感的に把握しにくい。
前記したように、状態情報ＳＩは、例えば、各測定箇所で測定された数値データから構成される。このような数値データを、例えば、図４に示すような単純なテーブルとして仮想空間ＶＳに表示したとしても、製品の３次元形状ＶＰにおいて状態情報ＳＩが取得された箇所が直感的に結び付けられないため、数値データが示す傾向を直感的に把握しにくい。
【0040】
本実施形態の情報処理装置４は、仮想空間ＶＳにおいて、状態情報ＳＩを製品の３次元形状ＶＰに紐づけて表示させる。これによって、検査員Ｕ１が仮想空間ＶＳの画像を見た際に、製品と状態情報ＳＩの関連を直感的に把握しやすい。
【0041】
状態情報表示設定部５７は、状態情報ＳＩの表示態様および表示位置を設定することで、製品の３次元形状ＶＰに紐づけて表示させる。
状態情報表示設定部５７は、ユーザＵの操作入力に応じて、状態情報ＳＩの表示態様および表示位置を設定すると共に、設定に応じた状態情報ＳＩの画像データを生成し、仮想空間ＶＳ内に表示させる。
状態情報表示設定部５７は、ユーザＵの操作入力に応じて、状態情報ＳＩの表示態様および表示位置を設定すると共に、設定に応じた状態情報ＳＩの画像データを生成し、仮想空間ＶＳ内に表示させる。
【0042】
状態情報表示設定部５７は、状態情報ＳＩの表示態様として、仮想空間ＶＳ内での視認性を高める画像に変換する。仮想空間ＶＳ内での視認性を高める画像として、例えば、カラーマップ、ラベル、強調表示等が挙げられる。
図９および図１０は、仮想空間ＶＳにおける状態情報ＳＩの表示例を示す図である。
図９は、状態情報ＳＩの表示例として、寸法誤差のカラーマップ１０１およびラベル１０３を示している。図９では、製品の一例として自動車のドアを示している。また、図９では、カラーマップ１０１の色の違いを、種類の異なるハッチングまたはクロスハッチングで表現している。
図１０では、２つの部品ＶＰａ、ＶＰｂを組み付けて構成される製品を模式的に示している。図１０は、状態情報ＳＩの表示例として、温度のラベル１０３を示している。図９は、また、状態情報ＳＩとして、部品ＶＰａ、ＶＰｂの間に生じる干渉（応力）のアノテーションを、ラベル１０３および強調表示１０７を組み合わせて示している。
＜カラーマップ＞
図９に示すように、状態情報表示設定部５７は、例えば、状態情報ＳＩをカラーマップ１０１として表示することができる。
カラーマップ１０１は、寸法誤差、温度、応力などのデータの空間分布を、色階層で表示するものである。状態情報表示設定部５７は、例えば、状態情報ＳＩに含まれる、各測定箇所（点群）の数値データを全て色情報に変換することで、カラーマップ１０１を生成することができる。
数値データは、一定の数値範囲毎に異なる色に変換される。数値範囲と変換される色は、デフォルトの設定を適用しても良く、あるいはユーザＵの操作入力により設定することもできる。
図９および図１０は、仮想空間ＶＳにおける状態情報ＳＩの表示例を示す図である。
図９は、状態情報ＳＩの表示例として、寸法誤差のカラーマップ１０１およびラベル１０３を示している。図９では、製品の一例として自動車のドアを示している。また、図９では、カラーマップ１０１の色の違いを、種類の異なるハッチングまたはクロスハッチングで表現している。
図１０では、２つの部品ＶＰａ、ＶＰｂを組み付けて構成される製品を模式的に示している。図１０は、状態情報ＳＩの表示例として、温度のラベル１０３を示している。図９は、また、状態情報ＳＩとして、部品ＶＰａ、ＶＰｂの間に生じる干渉（応力）のアノテーションを、ラベル１０３および強調表示１０７を組み合わせて示している。
＜カラーマップ＞
図９に示すように、状態情報表示設定部５７は、例えば、状態情報ＳＩをカラーマップ１０１として表示することができる。
カラーマップ１０１は、寸法誤差、温度、応力などのデータの空間分布を、色階層で表示するものである。状態情報表示設定部５７は、例えば、状態情報ＳＩに含まれる、各測定箇所（点群）の数値データを全て色情報に変換することで、カラーマップ１０１を生成することができる。
数値データは、一定の数値範囲毎に異なる色に変換される。数値範囲と変換される色は、デフォルトの設定を適用しても良く、あるいはユーザＵの操作入力により設定することもできる。
【0043】
さらに、図９に示すように、カラーマップ１０１を生成する際には、数値範囲と色の対応を示すカラーバー１０２を近傍に表示することができる。
カラーマップ１０１は、製品の全体や、製品を含む空間に対して測定を行って取得される状態情報ＳＩの表示態様として、特に好適である。図９に示す寸法誤差の他に、サーモグラフィで測定した温度の空間分布や、製品を流れる流体の流体速度をカラーマップ１０１として表示することができる。
また、カラーマップの拡張版として、製品の設計データと３次元デジタイザ２が測定した実寸法のデータの変形差分をアニメーションで強調表示しても良い。これにより、検査員Ｕ１は、寸法誤差が生じた原因が把握しやすくなる。
カラーマップ１０１は、製品の全体や、製品を含む空間に対して測定を行って取得される状態情報ＳＩの表示態様として、特に好適である。図９に示す寸法誤差の他に、サーモグラフィで測定した温度の空間分布や、製品を流れる流体の流体速度をカラーマップ１０１として表示することができる。
また、カラーマップの拡張版として、製品の設計データと３次元デジタイザ２が測定した実寸法のデータの変形差分をアニメーションで強調表示しても良い。これにより、検査員Ｕ１は、寸法誤差が生じた原因が把握しやすくなる。
【0044】
＜ラベル＞
図９および図１０に示すように、状態情報表示設定部５７は、例えば、状態情報ＳＩをラベル１０３として表示することができる。
ラベル１０３は、一般的には、製品の表面に製品の情報を記載することを意味する。本実施形態において、ラベル１０３は、製品の表面または製品の近傍に表示された状態情報ＳＩを意味する。図９および図１０の例では、ラベル１０３は、矩形の枠内に状態情報ＳＩを記載したものであり、製品の近傍に表示される。ラベル１０３は、製品の測定箇所に対応する箇所に、引き出し線や矢印等の接続部１０４を介して接続されている。
図９および図１０に示すように、状態情報表示設定部５７は、例えば、状態情報ＳＩをラベル１０３として表示することができる。
ラベル１０３は、一般的には、製品の表面に製品の情報を記載することを意味する。本実施形態において、ラベル１０３は、製品の表面または製品の近傍に表示された状態情報ＳＩを意味する。図９および図１０の例では、ラベル１０３は、矩形の枠内に状態情報ＳＩを記載したものであり、製品の近傍に表示される。ラベル１０３は、製品の測定箇所に対応する箇所に、引き出し線や矢印等の接続部１０４を介して接続されている。
【0045】
なお、ラベル１０３は、矩形の枠に限定されない。ラベル１０３は、例えば、円形や矩形以外の多角形の枠内に状態情報ＳＩを記載したものであっても良い。また、ラベル１０３は、図１０の下部に示すように、枠と接続部１０４が一体化した吹き出しとしても良い。
ラベル１０３は、例えば、測定箇所の数が比較的少ない状態情報ＳＩの表示態様として好適である。あるいは、ラベル１０３は、多数の測定箇所を含む状態情報ＳＩの中で、特定の測定箇所をピックアップして表示することもできる。また、図１０に示すように、状態情報ＳＩに付加されたアノテーションをラベル１０３として表示することで、検査員Ｕ１にアノテーションを注目させやすくすることができる。
ラベル１０３は、例えば、測定箇所の数が比較的少ない状態情報ＳＩの表示態様として好適である。あるいは、ラベル１０３は、多数の測定箇所を含む状態情報ＳＩの中で、特定の測定箇所をピックアップして表示することもできる。また、図１０に示すように、状態情報ＳＩに付加されたアノテーションをラベル１０３として表示することで、検査員Ｕ１にアノテーションを注目させやすくすることができる。
【0046】
＜強調表示＞
強調表示１０７は、製品の状態情報ＳＩに対応する特定の箇所を、他の箇所よりも目立たせるように表示するものである。強調表示１０７は様々な態様を含み得る。例えば、製品の状態情報ＳＩに対応する箇所（例えば、測定箇所）の明度を他の箇所より上げる、濃い色でマーキングする、線で囲む、ハッチングを付す等することができる。あるいは、他の箇所の明度を下げたり、色を薄くしたり透明にしたりすることで、特定の箇所を目立たせることもできる。図１０では、強調表示１０７の一例として製品の状態情報ＳＩの測定箇所にハッチングを付している。
図１０では、例えば、部品同士の干渉が生じている箇所、すなわち状態情報ＳＩのアノテーションを強調表示１０７として表示しているなお、図１０ではアノテーションをラベル１０３でも表示している。このように、状態情報ＳＩを複数の表示態様（例えば、ラベル１０３と強調表示１０７）を組み合わせて表示することで、よりユーザＵの目を引き付けることができる。
図１０に示すように、強調表示１０７は、例えば、部品同士の干渉のように製品において一定の範囲を占める状態情報ＳＩの表示態様として好適である。また、強調表示１０７は、製品の傷、歪み、孔等のように、小さくて視認しにくい状態情報ＳＩを目立たせることができるため、好適である。また、アノテーションのように、検査員Ｕ１が注目すべき情報の表示態様として好適である。
強調表示１０７は、製品の状態情報ＳＩに対応する特定の箇所を、他の箇所よりも目立たせるように表示するものである。強調表示１０７は様々な態様を含み得る。例えば、製品の状態情報ＳＩに対応する箇所（例えば、測定箇所）の明度を他の箇所より上げる、濃い色でマーキングする、線で囲む、ハッチングを付す等することができる。あるいは、他の箇所の明度を下げたり、色を薄くしたり透明にしたりすることで、特定の箇所を目立たせることもできる。図１０では、強調表示１０７の一例として製品の状態情報ＳＩの測定箇所にハッチングを付している。
図１０では、例えば、部品同士の干渉が生じている箇所、すなわち状態情報ＳＩのアノテーションを強調表示１０７として表示しているなお、図１０ではアノテーションをラベル１０３でも表示している。このように、状態情報ＳＩを複数の表示態様（例えば、ラベル１０３と強調表示１０７）を組み合わせて表示することで、よりユーザＵの目を引き付けることができる。
図１０に示すように、強調表示１０７は、例えば、部品同士の干渉のように製品において一定の範囲を占める状態情報ＳＩの表示態様として好適である。また、強調表示１０７は、製品の傷、歪み、孔等のように、小さくて視認しにくい状態情報ＳＩを目立たせることができるため、好適である。また、アノテーションのように、検査員Ｕ１が注目すべき情報の表示態様として好適である。
【0047】
状態情報表示設定部５７は、状態情報ＳＩに含まれる各測定箇所（取得箇所）のデータを、当該測定箇所に対応する製品の測定点に紐づけて表示させる。紐づけ表示の例として、例えば、重畳表示やリンク表示を挙げることができる。
＜重畳表示＞
図９の例では、カラーマップ１０１が、製品の３次元形状ＶＰに重畳して表示されている。また、図１０の例では、強調表示１０７が、製品の干渉が生じている箇所に重畳して表示されている。このように、状態情報ＳＩを製品に重畳して表示させることで、測定箇所を製品とダイレクトに結びつけて把握することができる。
＜重畳表示＞
図９の例では、カラーマップ１０１が、製品の３次元形状ＶＰに重畳して表示されている。また、図１０の例では、強調表示１０７が、製品の干渉が生じている箇所に重畳して表示されている。このように、状態情報ＳＩを製品に重畳して表示させることで、測定箇所を製品とダイレクトに結びつけて把握することができる。
【0048】
＜リンク表示＞
図９および図１０の例では、ラベル１０３が、製品の３次元形状ＶＰにリンク表示されている。
リンク表示とは、状態情報ＳＩを、製品上の測定箇所との対応が明確となる形で表示することを意味する。
一例として、図９および図１０に示すように、ラベル１０３を、製品の測定箇所の近傍に表示し、測定箇所とラベル１０３を、引き出し線や矢印等の接続部１０４を介して接続する。
リンク表示は、製品の測定箇所との対応を明確としつつ、製品の形状がラベル１０３に隠れることがないため、製品の形状と状態情報ＳＩの双方の見やすさを保つことができる。
図９および図１０に示すように、重畳表示とリンク表示は組み合わせても良い。また、図９および図１０では、カラーマップ１０１および強調表示１０７を重畳表示し、ラベル１０３をリンク表示する例を示しているが、もちろんこれらの例に限定されず、状態情報ＳＩの表示態様と表示位置は適宜組み合わせることができる。例えば、ラベル１０３を製品の３次元形状ＶＰ表面に重畳表示しても良い。
図９および図１０の例では、ラベル１０３が、製品の３次元形状ＶＰにリンク表示されている。
リンク表示とは、状態情報ＳＩを、製品上の測定箇所との対応が明確となる形で表示することを意味する。
一例として、図９および図１０に示すように、ラベル１０３を、製品の測定箇所の近傍に表示し、測定箇所とラベル１０３を、引き出し線や矢印等の接続部１０４を介して接続する。
リンク表示は、製品の測定箇所との対応を明確としつつ、製品の形状がラベル１０３に隠れることがないため、製品の形状と状態情報ＳＩの双方の見やすさを保つことができる。
図９および図１０に示すように、重畳表示とリンク表示は組み合わせても良い。また、図９および図１０では、カラーマップ１０１および強調表示１０７を重畳表示し、ラベル１０３をリンク表示する例を示しているが、もちろんこれらの例に限定されず、状態情報ＳＩの表示態様と表示位置は適宜組み合わせることができる。例えば、ラベル１０３を製品の３次元形状ＶＰ表面に重畳表示しても良い。
【0049】
このように、状態情報ＳＩの重畳表示またはリンク表示を行うためには、状態情報ＳＩの測定箇所を、製品の３次元形状データ上の対応する箇所に紐づける必要がある。紐づけの方法は、状態情報ＳＩの取得態様に応じて適宜採用することができる。
例えば、寸法誤差のデータや、温度の空間分布のデータ等の、空間計測を行う測定装置３（３次元デジタイザ２、サーモグラフィ等）から得られる状態情報ＳＩには、測定箇所の座標情報が含まれている。このような場合は、状態情報表示設定部５７は、状態情報ＳＩの座標情報を製品の３次元形状ＶＰの座標に対応させることで、カラーマップ１０１を製品に重畳させることができる。
一方、温度センサ、加速度センサ、圧力センサ、臭気センサ、音センサ等の、点計測を行うセンサから得られる状態情報ＳＩの場合は、ユーザＵが、状態情報ＳＩを読み込む際に、センサの設置位置（測定箇所）を、製品の３次元形状データ上で指定する。これによって、図４に示すように、測定データの、各測定箇所（ポイントＡ、ポイントＢ…）には、対応する製品の３次元形状ＶＰのＸ、Ｙ、Ｚ座標値が記録される。そして、ポイントＡ、ポイントＢで測定された温度の情報が、図１０に示すように、製品の３次元形状データの対応する位置に紐づけて表示される。
例えば、寸法誤差のデータや、温度の空間分布のデータ等の、空間計測を行う測定装置３（３次元デジタイザ２、サーモグラフィ等）から得られる状態情報ＳＩには、測定箇所の座標情報が含まれている。このような場合は、状態情報表示設定部５７は、状態情報ＳＩの座標情報を製品の３次元形状ＶＰの座標に対応させることで、カラーマップ１０１を製品に重畳させることができる。
一方、温度センサ、加速度センサ、圧力センサ、臭気センサ、音センサ等の、点計測を行うセンサから得られる状態情報ＳＩの場合は、ユーザＵが、状態情報ＳＩを読み込む際に、センサの設置位置（測定箇所）を、製品の３次元形状データ上で指定する。これによって、図４に示すように、測定データの、各測定箇所（ポイントＡ、ポイントＢ…）には、対応する製品の３次元形状ＶＰのＸ、Ｙ、Ｚ座標値が記録される。そして、ポイントＡ、ポイントＢで測定された温度の情報が、図１０に示すように、製品の３次元形状データの対応する位置に紐づけて表示される。
【0050】
ユーザＵは、例えば、ＧＵＩのプレビューに表示される製品の３次元形状ＶＰにおけるセンサの設置位置をマウスでクリックすることで、設置位置の指定を行う。状態情報表示設定部５７は、クリックされた箇所の位置座標を、センサの設置位置として登録する。このように、センサの設置位置が予め登録することで、状態情報ＳＩの測定箇所が製品の３次元形状ＶＰ上のセンサの設置位置に紐づけされる。これによって、状態情報表示設定部５７は、製品における、状態情報ＳＩが測定された箇所に強調表示１０７やラベル１０３等を重畳して表示させることができる。
【0051】
なお、空間計測で得られた状態情報ＳＩについても、ユーザＵの指定による任意の位置に表示させることができる。例えば、図９の例では、寸法誤差のデータを、カラーマップ１０１だけでなくラベル１０３でも表示している。状態情報表示設定部５７は、寸法誤差のデータの中から、ユーザＵが指定した位置の座標に対応する測定箇所の数値データを抽出して、ラベル１０３として表示する。これによって、カラーマップ１０１により、製品全体の寸法誤差の傾向の分布を把握すると共に、特に注目すべき箇所については、ラベル１０３に記載された数値によって寸法誤差をより明確に把握することができる。
【0052】
＜離隔表示＞
以上説明した重畳表示やリンク表示は、状態情報ＳＩを製品の３次元形状ＶＰと紐づけて表示する例であるが、状態情報ＳＩの表示態様はこれらの例に限定されない。状態情報ＳＩは、仮想空間ＶＳ内において、製品の３次元形状ＶＰとは離隔して表示しても良い。
図１では、離隔表示の例を示している。
状態情報表示設定部５７は、例えば、仮想空間ＶＳ内に仮想ディスプレイＶＤを表示させ、仮想ディスプレイＶＤ上に状態情報ＳＩを表示させることができる。仮想ディスプレイＶＤ上の状態情報ＳＩの表示態様は限定されるものではない。例えば、仮想ディスプレイＶＤに製品の画像を表示し、状態情報ＳＩをカラーマップ１０１やラベル１０３等で表示しても良い。あるいは状態情報ＳＩを、単純なテーブル形式で表示しても良い。
例えば、メインの状態情報ＳＩについては、製品の３次元形状ＶＰに対して重畳表示やリンク表示をした上で、補足的な状態情報ＳＩを仮想ディスプレイＶＤ上に離隔して表示することで、様々な状態情報ＳＩを多角的に把握することができる。
以上説明した重畳表示やリンク表示は、状態情報ＳＩを製品の３次元形状ＶＰと紐づけて表示する例であるが、状態情報ＳＩの表示態様はこれらの例に限定されない。状態情報ＳＩは、仮想空間ＶＳ内において、製品の３次元形状ＶＰとは離隔して表示しても良い。
図１では、離隔表示の例を示している。
状態情報表示設定部５７は、例えば、仮想空間ＶＳ内に仮想ディスプレイＶＤを表示させ、仮想ディスプレイＶＤ上に状態情報ＳＩを表示させることができる。仮想ディスプレイＶＤ上の状態情報ＳＩの表示態様は限定されるものではない。例えば、仮想ディスプレイＶＤに製品の画像を表示し、状態情報ＳＩをカラーマップ１０１やラベル１０３等で表示しても良い。あるいは状態情報ＳＩを、単純なテーブル形式で表示しても良い。
例えば、メインの状態情報ＳＩについては、製品の３次元形状ＶＰに対して重畳表示やリンク表示をした上で、補足的な状態情報ＳＩを仮想ディスプレイＶＤ上に離隔して表示することで、様々な状態情報ＳＩを多角的に把握することができる。
【0053】
以下に、様々な状態情報ＳＩの表示態様の例を列挙する。
例えば、状態情報ＳＩが製品を流れる流体の対流温度である場合は、温度分布ごとに異なる色を付与した流線を３次元形状に重畳して表示しても良い。
例えば、状態情報ＳＩが、製品の画像データである場合、画像データを、製品の３次元形状ＶＰのスキンとして重畳させても良い。さらに画像データから検出した傷や歪み等を、画像データ上に強調表示１０７として表示したり、アノテーションを付加したりすることができる。
例えば、状態情報ＳＩが、製品の振動（周波数・振幅）である場合、振動が閾値を超えている箇所にアノテーションを付加することができる。そして、製品のアノテーションが付加された箇所について、周波数をラベル１０３で表示すると共に、色を赤くする等の強調表示１０７を行うことができる。
例えば、状態情報ＳＩが製品を流れる流体の対流温度である場合は、温度分布ごとに異なる色を付与した流線を３次元形状に重畳して表示しても良い。
例えば、状態情報ＳＩが、製品の画像データである場合、画像データを、製品の３次元形状ＶＰのスキンとして重畳させても良い。さらに画像データから検出した傷や歪み等を、画像データ上に強調表示１０７として表示したり、アノテーションを付加したりすることができる。
例えば、状態情報ＳＩが、製品の振動（周波数・振幅）である場合、振動が閾値を超えている箇所にアノテーションを付加することができる。そして、製品のアノテーションが付加された箇所について、周波数をラベル１０３で表示すると共に、色を赤くする等の強調表示１０７を行うことができる。
【0054】
例えば、状態情報ＳＩが、製品を動作させた際に生じる音に関するデータ（音圧、音量、音域等）である場合、測定箇所の音量をラベル１０３として表示すると共に、音量が閾値を超える箇所にはアノテーションを付加し、色を赤くする等の強調表示１０７を行うことができる。あるいは、測定装置３として、音の発生場所を視覚的に表示するデバイス(Fluke ii900等)を使用した場合、得られた画像データを製品の３次元形状ＶＰに重畳表示しても良い。
例えば、状態情報ＳＩが、製品の内部（例えばラジエータ等）を流れる流体の速度である場合、流体の速度と方向を示す流線を、製品の３次元形状ＶＰに重畳して表示させることができる。
例えば、状態情報ＳＩが、製品の触感である場合、製品の粗さを示す凹凸テクスチャを製品の３次元形状ＶＰに重畳して表示させることができる。製品の粗さが大きい箇所については、色を赤くする等の強調表示１０７を行うことができる。
例えば、状態情報ＳＩが、製品の内部（例えばラジエータ等）を流れる流体の速度である場合、流体の速度と方向を示す流線を、製品の３次元形状ＶＰに重畳して表示させることができる。
例えば、状態情報ＳＩが、製品の触感である場合、製品の粗さを示す凹凸テクスチャを製品の３次元形状ＶＰに重畳して表示させることができる。製品の粗さが大きい箇所については、色を赤くする等の強調表示１０７を行うことができる。
【0055】
表示領域決定部５８（図７参照）は、ＨＭＤ６から受信した位置および姿勢情報に基づいて、仮想空間ＶＳ内の画像の表示領域を決定する。
ＨＭＤ６を装着したユーザＵが姿勢を変えたり移動したりすると、ＨＭＤ６の位置および姿勢情報に変化が生じる。表示領域決定部５８は、位置および姿勢情報に変化に合わせて、表示領域を変化させる。
さらに、表示領域決定部５８は、ＨＭＤ６の右目用ディスプレイ６１ａの表示領域と、左目用ディスプレイ６１ｂの表示領域をそれぞれ決定する。表示領域決定部５８は、右目と左目の距離および角度の違いに合わせて、それぞれの表示領域を予め設定した距離をずらして決定する。これによって、ユーザＵは、仮想空間ＶＳとそこに表示される製品を立体的に視認することができる。
なお、ＨＭＤ６から位置および姿勢情報が入力される前は、表示領域決定部５８は、予め設定された初期位置に基づいて、表示領域を決定する。
ＨＭＤ６を装着したユーザＵが姿勢を変えたり移動したりすると、ＨＭＤ６の位置および姿勢情報に変化が生じる。表示領域決定部５８は、位置および姿勢情報に変化に合わせて、表示領域を変化させる。
さらに、表示領域決定部５８は、ＨＭＤ６の右目用ディスプレイ６１ａの表示領域と、左目用ディスプレイ６１ｂの表示領域をそれぞれ決定する。表示領域決定部５８は、右目と左目の距離および角度の違いに合わせて、それぞれの表示領域を予め設定した距離をずらして決定する。これによって、ユーザＵは、仮想空間ＶＳとそこに表示される製品を立体的に視認することができる。
なお、ＨＭＤ６から位置および姿勢情報が入力される前は、表示領域決定部５８は、予め設定された初期位置に基づいて、表示領域を決定する。
【0056】
出力部５９は、環境設定部５５、製品表示設定部５６、状態情報表示設定部５７での設定情報を、送受信部５１を介してＶＲプラットフォーム９に出力することで、仮想空間ＶＳの画像を生成する。さらに、出力部５９は、表示領域決定部５８で決定された表示領域の情報をＶＲプラットフォーム９に出力することで、ＨＭＤ６を装着したユーザＵの動きに合わせて仮想空間ＶＳの画像を刻々と変化させる。
【0057】
図１１は、本実施形態における情報処理装置４の処理の流れを示すフローチャートである。
図１１に示すように、情報処理装置４には、３次元デジタイザ２で測定された製品の３次元形状データと、測定装置３の測定データが入力される（ステップＳ０１）。
情報処理装置４の状態情報生成部５３は、ユーザＵの操作に応じて、測定データから状態情報ＳＩを生成する（ステップＳ０２）。なお、測定データを状態情報ＳＩとしてそのまま使用する場合は、ステップＳ０２は省略することができる。
画像生成部５４の環境設定部５５は、ユーザＵの操作に応じて、仮想空間ＶＳの環境を設定する（ステップＳ０３）。
製品表示設定部５６は、ユーザＵの操作に応じて、仮想空間ＶＳにおける製品の３次元形状ＶＰの表示位置および表示態様を設定する（ステップＳ０４）。
状態情報表示設定部５７は、仮想空間ＶＳにおける製品の状態情報ＳＩの表示位置および表示態様を設定する（ステップＳ０５）。
表示領域決定部５８は、仮想空間ＶＳ内の画像の表示領域を決定する（ステップＳ０６）。ＨＭＤ６の位置および姿勢情報が入力されていない状態では、表示領域決定部５８は、仮想空間ＶＳ内の初期位置に表示領域を決定する。
画像生成部５４は、各種設定情報を、送受信部５１を介してＶＲプラットフォーム９に出力することで、仮想空間ＶＳの画像を生成する（ステップＳ０７）。
ＨＭＤ６からＶＲプラットフォーム９を介して、ＨＭＤ６の位置および姿勢情報が入力されると（ステップＳ０８：Ｙｅｓ）、表示領域決定部５８は、ＨＭＤ６の位置および姿勢に基づいて、仮想空間ＶＳ内の画像の表示領域を再決定する（ステップＳ０９）、画像生成部５４は、決定した表示領域の情報を、送受信部５１を介してＶＲプラットフォーム９に出力して、表示領域を変化させた仮想空間ＶＳの画像を生成する（ステップＳ０６）。
以降、検査中は、ステップＳ０７～Ｓ０９の処理が繰り返され、仮想空間ＶＳの画像はリアルタイムで変化する。なお、フローチャートでは図示は省略するが、ユーザＵの操作によって、各種設定情報の変更が有れば、変更内容を反映した仮想空間ＶＳの画像が生成される。
図１１に示すように、情報処理装置４には、３次元デジタイザ２で測定された製品の３次元形状データと、測定装置３の測定データが入力される（ステップＳ０１）。
情報処理装置４の状態情報生成部５３は、ユーザＵの操作に応じて、測定データから状態情報ＳＩを生成する（ステップＳ０２）。なお、測定データを状態情報ＳＩとしてそのまま使用する場合は、ステップＳ０２は省略することができる。
画像生成部５４の環境設定部５５は、ユーザＵの操作に応じて、仮想空間ＶＳの環境を設定する（ステップＳ０３）。
製品表示設定部５６は、ユーザＵの操作に応じて、仮想空間ＶＳにおける製品の３次元形状ＶＰの表示位置および表示態様を設定する（ステップＳ０４）。
状態情報表示設定部５７は、仮想空間ＶＳにおける製品の状態情報ＳＩの表示位置および表示態様を設定する（ステップＳ０５）。
表示領域決定部５８は、仮想空間ＶＳ内の画像の表示領域を決定する（ステップＳ０６）。ＨＭＤ６の位置および姿勢情報が入力されていない状態では、表示領域決定部５８は、仮想空間ＶＳ内の初期位置に表示領域を決定する。
画像生成部５４は、各種設定情報を、送受信部５１を介してＶＲプラットフォーム９に出力することで、仮想空間ＶＳの画像を生成する（ステップＳ０７）。
ＨＭＤ６からＶＲプラットフォーム９を介して、ＨＭＤ６の位置および姿勢情報が入力されると（ステップＳ０８：Ｙｅｓ）、表示領域決定部５８は、ＨＭＤ６の位置および姿勢に基づいて、仮想空間ＶＳ内の画像の表示領域を再決定する（ステップＳ０９）、画像生成部５４は、決定した表示領域の情報を、送受信部５１を介してＶＲプラットフォーム９に出力して、表示領域を変化させた仮想空間ＶＳの画像を生成する（ステップＳ０６）。
以降、検査中は、ステップＳ０７～Ｓ０９の処理が繰り返され、仮想空間ＶＳの画像はリアルタイムで変化する。なお、フローチャートでは図示は省略するが、ユーザＵの操作によって、各種設定情報の変更が有れば、変更内容を反映した仮想空間ＶＳの画像が生成される。
【0058】
＜システムの適用例＞
以上説明した、本実施形態のシステム１の適用例を説明する。
ここでは、工場で製造された製品を、工場の遠隔地にいる検査員Ｕ１がシステム１を利用して検査する例を説明する。
例えば、製品を製造する工場のスタッフＵ２が、３次元デジタイザ２および各種の測定装置３（図１参照）で製品の測定を行う。図２に示すように、測定によって得られた製品の３次元形状データと測定データが情報処理装置４に入力される。
スタッフＵ２は、情報処理装置４を操作して、必要に応じて測定データから様々な解析処理を行い、状態情報ＳＩを生成する。また、スタッフＵ２は、情報処理装置４を操作して、仮想空間ＶＳの環境設定、製品の３次元形状ＶＰの表示設定、状態情報ＳＩの表示設定等、各種の設定処理を行う。情報処理装置４は、各種設定に基づいて仮想空間ＶＳの画像を生成し、ＶＲプラットフォーム９を介してＨＭＤ６に送信する。
以上説明した、本実施形態のシステム１の適用例を説明する。
ここでは、工場で製造された製品を、工場の遠隔地にいる検査員Ｕ１がシステム１を利用して検査する例を説明する。
例えば、製品を製造する工場のスタッフＵ２が、３次元デジタイザ２および各種の測定装置３（図１参照）で製品の測定を行う。図２に示すように、測定によって得られた製品の３次元形状データと測定データが情報処理装置４に入力される。
スタッフＵ２は、情報処理装置４を操作して、必要に応じて測定データから様々な解析処理を行い、状態情報ＳＩを生成する。また、スタッフＵ２は、情報処理装置４を操作して、仮想空間ＶＳの環境設定、製品の３次元形状ＶＰの表示設定、状態情報ＳＩの表示設定等、各種の設定処理を行う。情報処理装置４は、各種設定に基づいて仮想空間ＶＳの画像を生成し、ＶＲプラットフォーム９を介してＨＭＤ６に送信する。
【0059】
遠隔地にいる検査員Ｕ１は、ＨＭＤ６を頭部に装着する。情報処理装置４から受信した仮想空間ＶＳの画像がＨＭＤ６のディスプレイ６１に表示される。検査員Ｕ１は、仮想空間ＶＳ内の製品の３次元形状ＶＰと、状態情報ＳＩに基づいて、製品の検査を行う。検査員Ｕ１は、必要に応じて移動し、姿勢を変えることで、製品の３次元形状ＶＰと状態情報ＳＩを様々な距離および角度から確認することができる。
【0060】
なお、ＶＲプラットフォーム９が音声チャット機能を提供するものであれば、遠隔地の検査員Ｕ１は、工場のスタッフＵ２と通信機器で会話しながら検査を行うことができる。この場合、ＨＭＤ６がマイク、スピーカ等を備えていても良い。また、工場のスタッフＵ２は、検査中にも、情報処理装置４の操作を行い、検査の進行や検査員Ｕ１の要求に応じて、仮想空間ＶＳに表示させる状態情報ＳＩを適宜切り替えることができる。
例えば、製品に異常発生を示すアノテーションのラベル１０３が表示されている場合、検査員Ｕ１は異常発生の原因を検証するために、全ての測定箇所の詳細な数値データを検証することを要望する場合がある。そのような場合、工場のスタッフＵ２は情報処理装置４を操作して、例えば、アノテーションの表示から、全ての測定箇所の数値データを記載したラベル１０３の表示に切り替えることができる。さらに、工場の設備情報も取得している場合は、仮想空間ＶＳに工場の設備情報を表示させても良い。これによって、検査員Ｕ１は、製品に発生している異常の原因が工場の設備にあるかどうかを検証することもできる。
例えば、製品に異常発生を示すアノテーションのラベル１０３が表示されている場合、検査員Ｕ１は異常発生の原因を検証するために、全ての測定箇所の詳細な数値データを検証することを要望する場合がある。そのような場合、工場のスタッフＵ２は情報処理装置４を操作して、例えば、アノテーションの表示から、全ての測定箇所の数値データを記載したラベル１０３の表示に切り替えることができる。さらに、工場の設備情報も取得している場合は、仮想空間ＶＳに工場の設備情報を表示させても良い。これによって、検査員Ｕ１は、製品に発生している異常の原因が工場の設備にあるかどうかを検証することもできる。
【0061】
さらに、システム１では、事前に取得した状態情報ＳＩを仮想空間ＶＳで表示するだけでなく、仮想空間ＶＳ内で新たに状態情報ＳＩを取得しても良い。例えば、仮想空間ＶＳの光源や天候等の環境設定を切り替え、切り替えた環境下での製品の見え方を示す画像データを、別途検査や試験考証等を行うための状態情報として取得しても良い。
情報処理装置４の状態情報生成部５３が、スタッフＵ２の操作に応じて、取得した画像データの解析処理を行って状態情報ＳＩを生成する。状態情報表示設定部５７が、スタッフＵ２の操作に応じて、生成した状態情報ＳＩを仮想空間ＶＳ内に表示させる。これによって、仮想空間ＶＳ内で行った検査の結果を、リアルタイムで確認することができる。
情報処理装置４の状態情報生成部５３が、スタッフＵ２の操作に応じて、取得した画像データの解析処理を行って状態情報ＳＩを生成する。状態情報表示設定部５７が、スタッフＵ２の操作に応じて、生成した状態情報ＳＩを仮想空間ＶＳ内に表示させる。これによって、仮想空間ＶＳ内で行った検査の結果を、リアルタイムで確認することができる。
【0062】
例えば、図８の（ａ）および図８の（ｂ）に示すように、光源の設定により、ゼブラパターンの光を仮想空間ＶＳ内に照射して、仮想空間ＶＳ内で外観検査を行っても良い。前記したように、ゼブラパターンの光を照射することで、仮想空間ＶＳ内の製品の３次元形状ＶＰの表面に、ゼブラパターンに対応するハイライト線ＨＬが投影される。前記したように、３次元形状ＶＰの表面に傷や歪みがあれば、ハイライト線ＨＬにうねりや歪みが生じる。検査員Ｕ１が、３次元形状ＶＰの表面のハイライト線ＨＬを目視して外観検査を行っても良い。あるいは、状態情報生成部５３が、ハイライト線ＨＬが投影された３次元形状ＶＰの画像データに対して解析処理を行って、外観検査を行っても良い。なお、前記したように、仮想空間ＶＳ内には、ゼブラパターンに限定されず、光源に設定に応じて様々な光の模様を形成するハイライト線ＨＬを投影させることができる。情報処理装置４を操作することで、異なる光の模様に即時に切り替えることができるため、様々な光源下での外観検査が可能である。
【0063】
なお、図１では、スタッフＵ２と検査員Ｕ１を１名ずつ示しているが、この例に限定されず、それぞれ離れた場所にいる複数の人間が、同時に検査に参加することができる。例えば、製品を構成する部品がそれぞれ異なる工場で作られている場合、各工場で部品の３次元形状データおよび状態情報ＳＩの取得が行われ、情報処理装置４にデータが集約される。各工場のスタッフＵ２が検査に参加し、検査員Ｕ１に各部品の説明を行ったり、仮想空間ＶＳにおいて部品同士を組付けて干渉や異常がないかを検証したりすることができる。
なお、図１では、画像表示装置の例としてＨＭＤ６を示しているが、画像表示装置はＨＭＤ６に限定されない。画像表示装置は、例えば、汎用のコンピュータやタブレット端末、モバイル端末等を用いても良い。また、多くのユーザが仮想空間ＶＳの画像を見ることができるように、画像表示装置を大型ディスプレイや、プロジェクター等としても良い。
なお、図１では、画像表示装置の例としてＨＭＤ６を示しているが、画像表示装置はＨＭＤ６に限定されない。画像表示装置は、例えば、汎用のコンピュータやタブレット端末、モバイル端末等を用いても良い。また、多くのユーザが仮想空間ＶＳの画像を見ることができるように、画像表示装置を大型ディスプレイや、プロジェクター等としても良い。
【0064】
本実施形態のシステム１、ここで例示した製品の検査のみに限定されず、例えば、製品の試験考証、開発会議、クライアントへのプレゼンテーション等、多岐に渡る用途に利用することができる。
【0065】
以上の通り、本実施形態に係る情報処理装置４（画像生成装置）は、例えば、以下の構成を有する。
（１）情報処理装置４は、
仮想空間内に検査対象となる製品が表示された仮想空間ＶＳの画像を生成する。
情報処理装置４は、記憶部５２と、製品表示設定部５６と、状態情報表示設定部５７と、を備える。
記憶部５２は、製品の３次元形状のデータと、製品の状態情報ＳＩと、を記憶する。
製品表示設定部５６は、仮想空間ＶＳにおける製品の３次元形状ＶＰの表示態様を設定する。
状態情報表示設定部５７は、仮想空間ＶＳにおける製品の状態情報ＳＩの表示態様を設定する。状態情報表示設定部５７は、仮想空間ＶＳにおいて、製品の３次元形状ＶＰに紐づけて状態情報ＳＩを表示させる。
（１）情報処理装置４は、
仮想空間内に検査対象となる製品が表示された仮想空間ＶＳの画像を生成する。
情報処理装置４は、記憶部５２と、製品表示設定部５６と、状態情報表示設定部５７と、を備える。
記憶部５２は、製品の３次元形状のデータと、製品の状態情報ＳＩと、を記憶する。
製品表示設定部５６は、仮想空間ＶＳにおける製品の３次元形状ＶＰの表示態様を設定する。
状態情報表示設定部５７は、仮想空間ＶＳにおける製品の状態情報ＳＩの表示態様を設定する。状態情報表示設定部５７は、仮想空間ＶＳにおいて、製品の３次元形状ＶＰに紐づけて状態情報ＳＩを表示させる。
【0066】
本実施形態によれば、仮想空間上で製品の様々な検査や試験検証等を統合して効率的に行うことができる。
従来、製品の検査や試験考証等を行うためには、例えば、工場等の現場で各種のセンサや測定装置により測定を行うと共に、検査員が工場に赴いて目視で検査を行う。さらに、現場での検査とは別に、現場で取得したデータを利用して、ＣＡＥ等により様々な解析処理を行って検査をさらに行う。そのため、従来の検査方法では、工場等の現場で取得された状態情報と、コンピュータ上の解析処理で取得された状態情報が個別にバラバラに管理されており、検査や試験検証等の効率に影響を与える可能性がある。
本実施形態において、情報処理装置４が生成する画像は、仮想空間ＶＳにおいて製品の３次元形状ＶＰが表示され、さらに製品の３次元形状ＶＰに紐づけられた態様で、製品の状態情報が表示されるものである。すなわち、様々な態様で得られる製品の状態情報を統合して仮想空間ＶＳに表示することができるため、検査や試験考証等を効率良く行うことができる。
従来、製品の検査や試験考証等を行うためには、例えば、工場等の現場で各種のセンサや測定装置により測定を行うと共に、検査員が工場に赴いて目視で検査を行う。さらに、現場での検査とは別に、現場で取得したデータを利用して、ＣＡＥ等により様々な解析処理を行って検査をさらに行う。そのため、従来の検査方法では、工場等の現場で取得された状態情報と、コンピュータ上の解析処理で取得された状態情報が個別にバラバラに管理されており、検査や試験検証等の効率に影響を与える可能性がある。
本実施形態において、情報処理装置４が生成する画像は、仮想空間ＶＳにおいて製品の３次元形状ＶＰが表示され、さらに製品の３次元形状ＶＰに紐づけられた態様で、製品の状態情報が表示されるものである。すなわち、様々な態様で得られる製品の状態情報を統合して仮想空間ＶＳに表示することができるため、検査や試験考証等を効率良く行うことができる。
【0067】
さらに、仮想空間ＶＳには、製品の検査を行うのに必要な状態情報ＳＩが集約されており、状態情報ＳＩは製品の３次元形状ＶＰとの関連を直感的に把握しやすい態様で表示される。これによって、検査員Ｕ１は工場に赴かなくても、リモートでも製品を検査することができる。
例えば、自動車等の製品は、構成部品ごとに製造する工場が異なることもある。このような場合には、複数の工場に検査員が赴く必要があり、検査員を配置するための人的コストが増加し、検査に要する時間も増大する。本実施形態では、仮想空間ＶＳにおいて検査員Ｕ１が検査を行うことができるため、人的コストや検査時間を低減することができる。
例えば、自動車等の製品は、構成部品ごとに製造する工場が異なることもある。このような場合には、複数の工場に検査員が赴く必要があり、検査員を配置するための人的コストが増加し、検査に要する時間も増大する。本実施形態では、仮想空間ＶＳにおいて検査員Ｕ１が検査を行うことができるため、人的コストや検査時間を低減することができる。
【0068】
（２）製品の３次元形状のデータは、製品の複数の測定点における３次元座標値を含む。
状態情報表示設定部５７は、製品の状態情報ＳＩの測定箇所（取得箇所）を、３次元形状データの対応する測定点に紐づけする。
状態情報表示設定部５７は、製品の状態情報ＳＩの測定箇所（取得箇所）を、３次元形状データの対応する測定点に紐づけする。
【0069】
例えば、状態情報ＳＩが、寸法誤差のように測定箇所の３次元座標値が含むものであれば、状態情報ＳＩの３次元座標値をそのまま３次元形状データの３次元座標値に紐づけすることができる。状態情報ＳＩに測定箇所の３次元座標値が含まれない場合は、ユーザＵが測定箇所と３次元形状データの測定点の対応を指定することで、紐づけを行うことができる。
これによって、状態情報ＳＩの重畳表示やリンク表示を容易に行うことができ、ユーザＵの利便性を高めることができる。
これによって、状態情報ＳＩの重畳表示やリンク表示を容易に行うことができ、ユーザＵの利便性を高めることができる。
【0070】
（３）状態情報表示設定部５７は、製品の状態情報ＳＩを、製品の３次元形状ＶＰに重畳して表示させる。
【0071】
状態情報ＳＩを、製品の３次元形状ＶＰに重畳して表示することで、状態情報ＳＩを３次元形状と紐づけて把握することが容易となる。
【0072】
（４）状態情報表示設定部５７は、状態情報ＳＩが有する数値データをカラーマップ１０１に変換し、カラーマップ１０１を製品の３次元形状ＶＰに重畳して表示することができる。
【0073】
状態情報ＳＩは、例えば、測定箇所ごとの数値データから構成されるが、数値データを単純なテーブル形式で表示しても、数値データが示す傾向や重要な数値データを直感的に把握しにくい。状態情報表示設定部５７は、状態情報ＳＩをカラーマップ１０１に変換して仮想空間ＶＳ内で表示する。カラーマップ１０１は、状態情報ＳＩの数値データの傾向が色で示されるため、状態情報ＳＩが直感的に把握しやすくなる。そして、カラーマップ１０１を製品の３次元形状ＶＰに重畳して表示することで、状態情報ＳＩと製品の３次元形状ＶＰの各箇所との関連が把握しやすくなる。
【0074】
（５）状態情報表示設定部５７は、状態情報ＳＩをラベル１０３に記載して表示する。
【0075】
ラベル１０３を、例えば製品の３次元形状ＶＰに重畳表示したり、リンク表示したりすることで、ラベル１０３に記載された数値データと製品の測定箇所との関連が把握しやすくなる。
【0076】
（６）状態情報表示設定部５７は、製品の状態情報ＳＩを、製品の３次元形状ＶＰの状態情報の測定箇所に、矢印や引き出し線等の接続部１０４を介して接続して、リンク表示させる。
【0077】
状態情報ＳＩを、製品の３次元形状ＶＰに、矢印や引き出し線等の接続部１０４を介して接続して表示することで、状態情報ＳＩを３次元形状と結びつけて把握することが容易となる。
【0078】
（７）情報処理装置４は、仮想空間ＶＳの環境を設定する環境設定部５５を備える。
環境設定部５５は、仮想空間ＶＳに光を照射する光源ＬＳを設定することで、３次元形状ＶＰの表面に、光に対応するハイライト線ＨＬを表示させる。
環境設定部５５は、仮想空間ＶＳに光を照射する光源ＬＳを設定することで、３次元形状ＶＰの表面に、光に対応するハイライト線ＨＬを表示させる。
【0079】
これによって、仮想空間ＶＳ内で、様々な光源下での製品の見え方を確認することができる。実際の設備では、様々な光源を準備するのにコストがかるが、仮想空間ＶＳにおいては、情報処理装置４の操作のみで様々な光源ＬＳを実現可能であり、設備コストを削減することができ、またユーザの利便性も高めることができる。
【0080】
（８）環境設定部５５は、光源ＬＳの設定により、３次元形状ＶＰの表面に、例えば、縞状の光の模様、円形の光の模様、多角形状の光の模様、ドット状の光の模様、規則的なパターンの光の模様またはランダムなパターンの光の模様を形成するハイライト線を表示させることができる。
なお、これらの模様は単体で表示しても良く、組み合わせて表示しても良い。
なお、これらの模様は単体で表示しても良く、組み合わせて表示しても良い。
【0081】
例えば、実際の設備では、光の模様が複雑になるほど設備コストも増加するが、仮想空間ＶＳであれば、情報処理装置４において光の模様に応じた光源ＬＳの設定を行えば良いため、コストを削減することができる。さらに、情報処理装置４の操作で、様々な光の模様を即時に切り替えて表示することも可能である。様々な態様で製品の見え方を確認することができるため、ユーザの利便性を向上させることができる。
一例として、仮想空間ＶＳ内でゼブラパターンの光を照射することで、製品の３次元形状ＶＰの表面にゼブラパターンの光に対応するハイライト線が投影される。これによって、製品の表面の傷や歪みの有無を検査する外観検査を、仮想空間ＶＳ内で行うことができる。
一例として、仮想空間ＶＳ内でゼブラパターンの光を照射することで、製品の３次元形状ＶＰの表面にゼブラパターンの光に対応するハイライト線が投影される。これによって、製品の表面の傷や歪みの有無を検査する外観検査を、仮想空間ＶＳ内で行うことができる。
【0082】
（９）本実施形態に係るシステム１は、前記（１）～（６）に記載された情報処理装置４（画像生成装置）と、
情報処理装置４で生成された仮想空間ＶＳの画像を表示するＨＭＤ６（画像表示装置）と、を備える。
ＨＭＤ６は、
仮想空間ＶＳの画像を表示するディスプレイ６１（表示部）と、
表示部をユーザＵの身体に装着可能とする装着部６２と、
ユーザＵの位置および姿勢を検出するモーションセンサ６６と、を備える。
情報処理装置４は、ユーザＵの位置および姿勢に基づいて、仮想空間ＶＳの画像として表示する仮想空間ＶＳ内の領域を決定する表示領域決定部５８を備える。
情報処理装置４で生成された仮想空間ＶＳの画像を表示するＨＭＤ６（画像表示装置）と、を備える。
ＨＭＤ６は、
仮想空間ＶＳの画像を表示するディスプレイ６１（表示部）と、
表示部をユーザＵの身体に装着可能とする装着部６２と、
ユーザＵの位置および姿勢を検出するモーションセンサ６６と、を備える。
情報処理装置４は、ユーザＵの位置および姿勢に基づいて、仮想空間ＶＳの画像として表示する仮想空間ＶＳ内の領域を決定する表示領域決定部５８を備える。
【0083】
これによって、情報処理装置４が、ＨＭＤ６を装着したユーザＵの動きに合わせて仮想空間ＶＳの画像を刻々と変化させることができ、ユーザＵは仮想空間ＶＳ内の製品の３次元形状ＶＰおよび状態情報ＳＩを様々な位置および角度から見ることができる。
【0084】
上記した効果は、情報処理装置４（画像生成装置）が実施する方法と、コンピュータを画像生成装置として機能させるための画像生成プログラムにも適用することができる。
【0085】
前記した実施形態では、ＨＭＤ６がモーションセンサ６６を備え、ＨＭＤ６を装着したユーザＵの位置および姿勢の変化に応じて仮想空間ＶＳの表示領域を変更する例を説明したが、この例に限定されない。例えば、ＨＭＤ６は、仮想空間ＶＳの表示領域を切り替えるためのコントローラを備えていても良い。コントローラは、例えば、ユーザＵが把持して操作するスティックコントローラとすることができる。これによって、例えば、ユーザＵが座ったままでも、仮想空間ＶＳ内の表示領域を自由に切り替えることができる。
【0086】
また、前記した実施形態では、状態情報ＳＩを仮想空間ＶＳ内で画像として表示する例を説明したが、この例に限定されない。例えば、状態情報ＳＩが製品の触感を示す情報である場合、触感を再現する触覚データグローブをシステム１の一構成として採用しても良い。ユーザＵが触覚データグローブを装着した状態で、仮想空間ＶＳ内の製品の３次元形状ＶＰに触れると、触覚データグローブにより、触感が再現されるようにしても良い。
【0087】
なお、本発明は、以上説明した実施形態および変形例に限定されるものではなく、本発明の分野において通常の知識を有する者が、本発明の技術的思想内で変形することができる。
【符号の説明】
【0088】
１ システム
２ ３次元デジタイザ
３ 測定装置
４ 情報処理装置（画像生成装置）
５３ 状態情報生成部
５４ 画像生成部
５５ 環境設定部
５６ 製品表示設定部
５７ 状態情報表示設定部
５８ 表示領域決定部
６ ヘッドマウントディスプレイ（画像表示装置）
６１ ディスプレイ（表示部）
６２ 装着部
６６ モーションセンサ
９ ＶＲプラットフォーム
ＶＳ 仮想空間
Ｐ 製品
ＳＩ 状態情報
１０１ カラーマップ
１０３ ラベル
１０４ 接続部
２ ３次元デジタイザ
３ 測定装置
４ 情報処理装置（画像生成装置）
５３ 状態情報生成部
５４ 画像生成部
５５ 環境設定部
５６ 製品表示設定部
５７ 状態情報表示設定部
５８ 表示領域決定部
６ ヘッドマウントディスプレイ（画像表示装置）
６１ ディスプレイ（表示部）
６２ 装着部
６６ モーションセンサ
９ ＶＲプラットフォーム
ＶＳ 仮想空間
Ｐ 製品
ＳＩ 状態情報
１０１ カラーマップ
１０３ ラベル
１０４ 接続部
【要約】
【課題】仮想空間内で、製品の検査や試験検証を統合的に行うことが可能な環境を提供する。
【解決手段】情報処理装置４は、製品の３次元形状ＶＰと状態情報ＳＩとが表示された仮想空間ＶＳの画像を生成する。情報処理装置４は、記憶部５２と、製品表示設定部５６と状態情報表示設定部５７と、を備える。記憶部５２は、製品の３次元形状のデータと、製品の状態情報ＳＩと、を記憶する。製品表示設定部５６および状態情報表示設定部５７は、仮想空間ＶＳにおける製品の３次元形状ＶＰと製品の状態情報ＳＩとの表示態様を設定する。状態情報表示設定部５７は、仮想空間ＶＳにおいて、製品の３次元形状ＶＰに紐づけて状態情報ＳＩを表示させる。
【選択図】図１
【解決手段】情報処理装置４は、製品の３次元形状ＶＰと状態情報ＳＩとが表示された仮想空間ＶＳの画像を生成する。情報処理装置４は、記憶部５２と、製品表示設定部５６と状態情報表示設定部５７と、を備える。記憶部５２は、製品の３次元形状のデータと、製品の状態情報ＳＩと、を記憶する。製品表示設定部５６および状態情報表示設定部５７は、仮想空間ＶＳにおける製品の３次元形状ＶＰと製品の状態情報ＳＩとの表示態様を設定する。状態情報表示設定部５７は、仮想空間ＶＳにおいて、製品の３次元形状ＶＰに紐づけて状態情報ＳＩを表示させる。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】