(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022087917
(43)【公開日】2022-06-14
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220607BHJP
G09G 5/00 20060101ALI20220607BHJP
G09G 5/377 20060101ALI20220607BHJP
G09G 5/36 20060101ALI20220607BHJP
G06F 3/01 20060101ALI20220607BHJP
G06F 3/0484 20220101ALI20220607BHJP
【FI】
G06T19/00 A
G09G5/00 510H
G09G5/00 530M
G09G5/36 520L
G09G5/00 550C
G09G5/36 520D
G09G5/00 510D
G09G5/36 510V
G09G5/36 510A
G09G5/36 520P
G06F3/01 510
G06F3/0484
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2020200056
(22)【出願日】2020-12-02
(71)【出願人】
【識別番号】502457249
【氏名又は名称】サイバネットシステム株式会社
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110002516
【氏名又は名称】特許業務法人白坂
(72)【発明者】
【氏名】松本 陽司
(72)【発明者】
【氏名】鈴木 雄介
(72)【発明者】
【氏名】田中 靖己
【テーマコード(参考)】
5B050
5C182
5E555
【Fターム(参考)】
5B050BA09
5B050CA06
5B050CA07
5B050EA27
5B050FA02
5B050FA13
5C182AB18
5C182AB34
5C182AC02
5C182AC03
5C182AC33
5C182AC39
5C182AC46
5C182BA01
5C182BA03
5C182BA29
5C182BA46
5C182BA47
5C182BA56
5C182BA65
5C182BA66
5C182CB11
5C182CB13
5C182CB42
5C182CB44
5C182CB47
5C182CB52
5C182CC13
5E555AA25
5E555AA26
5E555AA64
5E555BA38
5E555BB38
5E555BC01
5E555BC17
5E555BE17
5E555CA17
5E555CA44
5E555CB17
5E555CB21
5E555CB65
5E555CC03
5E555DA08
5E555DA09
5E555DB41
5E555DB53
5E555DC13
5E555DC35
5E555DD06
5E555FA00
(57)【要約】 (修正有)
【課題】オブジェクトの画像を描画する場合にオブジェクトに関する指定に応じて再描画を行うことが可能な情報処理システム、装置、方法及びプログラムを提供する。
【解決手段】情報処理システム1において、第1情報処理装置20は、1又は複数の情報について所定の解析を行う解析部21と、解析部21によって所定の解析が行われた結果に基づいて、仮想現実空間で描画を行うための描画処理情報を生成する生成部22と、を有する。第2情報処理装置30は、生成部2によって生成された描画処理情報に基づいて、仮想現実空間上で描画を行う描画部34と、描画部3によって仮想現実空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画部から取得して生成部に送信する取得部31と、を備える。生成部は、取得部から送信された情報の設定に基づいて、描画装置10が新たに仮想現実空間上で描画を行うための描画処理情報を生成する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
1又は複数の情報について所定の解析を行う解析部と、
前記解析部によって所定の解析が行われた結果に基づいて、仮想現実空間で描画を行うための描画処理情報を生成する生成部と、
前記生成部によって生成された描画処理情報に基づいて、仮想現実空間上で描画を行う描画部と、
前記描画部によって仮想現実空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画部から取得して生成部に送信する取得部と、を備え、
前記生成部は、取得部から送信された情報の設定に基づいて、新たに仮想現実空間上で描画を行うための描画処理情報を生成する
情報処理システム。
【請求項2】
前記取得部は、前記仮想現実空間上に描画されたユーザインターフェイスが操作されることに基づいて入力された設定を取得する
請求項1に記載の情報処理システム。
【請求項3】
前記取得部は、描画処理情報に基づいて仮想現実空間に描画される任意の線分上の解析結果を表示・設定する線分表示モード、描画処理情報に基づいて仮想現実空間に描画される断面上の解析結果を表示・設定する断面表示モード、描画処理情報に基づいて描画される仮想現実空間内のスカラ情報を表示・設定する統計量表示モード、及び、描画処理情報に基づいて描画される仮想現実空間内の特定領域の流線を表示・設定できる流線表示モードのうち1つのモードが選択される場合、選択されるモードで指定される情報の設定を取得する
請求項2に記載の情報処理システム。
【請求項4】
前記取得部は、仮想現実空間において描画される情報のうち1つを指定する場合、仮想現実空間を見るユーザの視線に関する視線情報、及び、仮想現実空間を見るユーザによって操作される操作部の位置姿勢に関する情報に基づいて、情報を指定する
請求項1~3のいずれか1項に記載の情報処理システム。
【請求項5】
前記解析部は、2次元で描画される空間内において所定の解析を行い、
前記描画部は、3次元の仮想現実空間で描画を行い、
前記取得部は、3次元で描画される仮想現実空間において指定された情報の設定に基づいて、3次元の仮想現実空間の情報を前記生成部に送信する
請求項1~4のいずれか1項に記載の情報処理システム。
【請求項6】
仮想現実空間を表示することが可能な表示装置と、仮想現実空間に描画する描画処理情報を生成する生成装置との間に配される情報処理装置であって、
前記表示装置によって仮想現実空間において表示される情報のうち1つが指定された場合、指定された情報の設定を前記表示装置から取得し、仮想現実空間の表示と前記生成装置における解析結果の描画空間との間で幾何学的変換を行い、前記表示装置から取得した設定に応じた描画処理情報の生成を命令する命令情報を前記生成装置に送信する取得部を備える
情報処理装置。
【請求項7】
コンピュータが、
1又は複数の情報について所定の解析を行う解析ステップと、
前記解析ステップによって所定の解析が行われた結果に基づいて、仮想現実空間で描画を行うための描画処理情報を生成する生成ステップと、
前記生成ステップによって生成された描画処理情報に基づいて、仮想現実空間上で描画を行う描画ステップと、
前記描画ステップによって仮想現実空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画ステップから取得して生成ステップに送信する取得ステップと、を実行し、
前記生成ステップは、取得ステップから送信された情報の設定に基づいて、新たに仮想現実空間上で描画を行うための描画処理情報を生成する
情報処理方法。
【請求項8】
コンピュータに、
1又は複数の情報について所定の解析を行う解析機能と、
前記解析機能によって所定の解析が行われた結果に基づいて、仮想現実空間で描画を行うための描画処理情報を生成する生成機能と、
前記生成機能によって生成された描画処理情報に基づいて、仮想現実空間上で描画を行う描画機能と、
前記描画機能によって仮想現実空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画機能から取得して生成機能に送信する取得機能と、を実現させ、
前記生成機能は、取得機能から送信された情報の設定に基づいて、新たに仮想現実空間上で描画を行うための描画処理情報を生成する
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来から、表示対象について立体表示を行う技術が存在する。特許文献1に記載された技術は、表示対象のオブジェクトの3次元座標に関する3次元座標データと、ユーザの視点に関する視線データとに基づいて、立体表示データを生成する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、特許文献1に記載された技術は立体表示を行うことが可能である。しかし、特許文献1に記載された技術は、単にオブジェクトの立体表示を行うものであり、立体表示が行われているオブジェクトに対するユーザの指定に応じて立体表示データを再度生成し、その立体表示データに基づいて立体表示を行うことはできない。
【0005】
特に、立体表示を行うソフトウェア(立体視ソフトウェア)と、種々の解析に基づく立体オブジェクトを作成するソフトウェア(解析ソフトウェア)とが分かれている場合、立体視ソフトウェア操作で解析ソフトウェアを操作する機能が実現されていない。そのため、立体視ソフトウェアで解析ソフトウェアを操作する機能が望まれている。
【0006】
本発明は、オブジェクトの画像を描画する場合にオブジェクトに関する指定に応じて再描画を行うことが可能な情報処理システム、情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
一態様の情報処理システムは、1又は複数の情報について所定の解析を行う解析部と、解析部によって所定の解析が行われた結果に基づいて、仮想現実空間で描画を行うための描画処理情報を生成する生成部と、生成部によって生成された描画処理情報に基づいて、仮想現実空間上で描画を行う描画部と、描画部によって仮想現実空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画部から取得して生成部に送信する取得部と、を備え、生成部は、取得部から送信された情報の設定に基づいて、新たに仮想現実空間上で描画を行うための描画処理情報を生成する。
【0008】
一態様の情報処理システムでは、取得部は、仮想現実空間上に描画されたユーザインターフェイスが操作されることに基づいて入力された設定を取得することとしてもよい。
【0009】
一態様の情報処理システムでは、取得部は、描画処理情報に基づいて仮想現実空間に描画される任意の線分上の解析結果を表示・設定する線分表示モード、描画処理情報に基づいて仮想現実空間に描画される断面上の解析結果を表示・設定する断面表示モード、描画処理情報に基づいて描画される仮想現実空間内のスカラ情報を表示・設定する統計量表示モード、及び、描画処理情報に基づいて描画される仮想現実空間内の特定領域の流線を表示・設定できる流線表示モードのうち1つのモードが選択される場合、選択されるモードで指定される情報の設定を取得することとしてもよい。
【0010】
一態様の情報処理システムでは、取得部は、仮想現実空間において描画される情報のうち1つを指定する場合、仮想現実空間を見るユーザの視線に関する視線情報、及び、仮想現実空間を見るユーザによって操作される操作部の位置姿勢に関する情報に基づいて、情報を指定することとしてもよい。
【0011】
一態様の情報処理システムでは、解析部は、2次元で描画される空間内において所定の解析を行い、描画部は、3次元の仮想現実空間で描画を行い、取得部は、3次元で描画される仮想現実空間において指定された情報の設定に基づいて、3次元の仮想現実空間の情報を生成部に送信することとしてもよい。
【0012】
一態様の情報処理装置は、仮想現実空間を表示することが可能な表示装置と、仮想現実空間に描画する描画処理情報を生成する生成装置との間に配される装置であって、表示装置によって仮想現実空間において表示される情報のうち1つが指定された場合、指定された情報の設定を表示装置から取得し、仮想現実空間の表示と生成装置における解析結果の描画空間との間で幾何学的変換を行い、表示装置から取得した設定に応じた描画処理情報の生成を命令する命令情報を生成装置に送信する取得部を備える。
【0013】
一態様の情報処理方法では、コンピュータが、1又は複数の情報について所定の解析を行う解析ステップと、解析ステップによって所定の解析が行われた結果に基づいて、仮想現実空間で描画を行うための描画処理情報を生成する生成ステップと、生成ステップによって生成された描画処理情報に基づいて、仮想現実空間上で描画を行う描画ステップと、描画ステップによって仮想現実空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画ステップから取得して生成ステップに送信する取得ステップと、を実行し、生成ステップは、取得ステップから送信された情報の設定に基づいて、新たに仮想現実空間上で描画を行うための描画処理情報を生成する。
【0014】
一態様の情報処理プログラムは、コンピュータに、1又は複数の情報について所定の解析を行う解析機能と、解析機能によって所定の解析が行われた結果に基づいて、仮想現実空間で描画を行うための描画処理情報を生成する生成機能と、生成機能によって生成された描画処理情報に基づいて、仮想現実空間上で描画を行う描画機能と、描画機能によって仮想現実空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画機能から取得して生成機能に送信する取得機能と、を実現させ、生成機能は、取得機能から送信された情報の設定に基づいて、新たに仮想現実空間上で描画を行うための描画処理情報を生成することとしてもよい。
【発明の効果】
【0015】
一態様の情報処理システムは、所定の解析を行う解析部と、その解析の結果に基づいて、仮想現実空間で描画を行うための描画処理情報を生成する生成部と、その描画処理情報に基づいて、仮想現実空間上で描画を行う描画部と、描画部によって仮想現実空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画部から取得して生成部に送信する取得部と、を備える。生成部は、取得部から送信された情報の設定に基づいて、新たに仮想現実空間上で描画を行うための描画処理情報を生成する。これにより、一態様の情報処理システムは、解析部によって行われる解析の結果に基づく空間と、描画部によって描画される仮想現実空間との間で情報を受け渡すことができ、仮想現実空間に対するユーザの指示に応じて解析部によって再描画に必要な描画処理情報を生成することができる。すなわち、一態様の情報処理装置は、オブジェクトの画像を描画する場合にオブジェクトに関する指定に応じて再描画を行うことができる。
また、一態様の情報処理装置、情報処理方法及び情報処理プログラムは、上述した一態様の情報処理システムと同様の効果を奏することができる。
【図面の簡単な説明】
【0016】
【
図1】一実施形態に係る情報処理システムについて説明するための図である。
【
図2】一実施形態に係る情報処理システムについて説明するためのブロック図である。
【
図3】線分の設定方法の一例について説明するための図である。
【
図4】断面表示モードの一例について説明するための図である。
【
図5】断面の設定方法の一例について説明するための図である。
【
図6】統計量表示モードの一例について説明するための図である。
【
図7】統計量の設定方法の一例について説明するための図である。
【
図8】流線表示モードの一例について説明するための図である。
【
図9】一実施形態に係る情報処理方法について説明するためのシーケンス図である。
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
【0018】
図1は、一実施形態に係る情報処理システム1について説明するための図である。
情報処理システム1は、頭部装着型表示装置、第1情報処理装置20及び第2情報処理装置30を備える。
【0019】
頭部装着型表示装置(表示装置)は、ヘッドマウントディスプレイ(以下、「HMD」という。)10である。HMD10は、仮想現実空間(VR(Virtual Reality)空間)をユーザに提供する。なお、HMD10は、拡張現実(AR(Augmented Reality)及び複合現実(MR(Mixed Reality))をユーザに提供することとしてもよい。
【0020】
第1情報処理装置20は、種々の情報について解析を行い、解析結果について2次元で可視化を行う。第1情報処理装置20は、解析結果をHMD10に送信する。これにより、HMD10は、解析結果をVRで表示することが可能になる。
【0021】
ところで、従来は、2次元の解析結果をVRで表示するため、HMDから解析を行う解析装置への指示・命令が適切に伝えられていなかった。例えば、ユーザの指示に応じてHMDで表示されるVR画像内のオブジェクト及び解析結果の断面を移動させる場合、その移動の指示が適切に解析装置へ伝えられず、解析装置において指示に応じて2次元画像を移動させたとしても、HMDにおいてはVRで描画されるオブジェクト及び断面がユーザの指示通りには移動されないことがあった。これは、2次元画像とVR画像との違いにより、適切な表示ができないためである。
【0022】
そこで、本実施形態では、HMD10から第1情報処理装置20への指示を送信する際に、第2情報処理装置30を介在させることで、HMD10でのVR画像に対する指示を第1情報処理装置20に適切に送信し、その指示を反映させることが可能になる。例えば、第2情報処理装置30は、HMD10から指示を取得した場合、HMD10における設定を取得し、その設定に基づいて新たな指示を生成して第1情報処理装置20に送信する。すなわち、第2情報処理装置30は、VR画像と2次元画像との間の位置情報の変換を行うと共に、及び、VR画像に対するコントローラ16等による指示(位置及び操作)を2次元表示への指示に変換を行う。これにより、HMD10のユーザは、VR画像を観察しながらVR画像に対して操作を行う場合、その操作に応じた解析結果をVR画像で確認することが可能になる。すなわち、情報処理システム1は、解析結果であるVR画像の表示と、ユーザによる操作とを一致させることができる。また、情報処理システム1は、解析結果をユーザに容易に理解させることができ、解析結果の評価効率の改善に寄与することができる。
【0023】
以下、情報処理システム1について詳細に説明する。
図2は、一実施形態に係る情報処理システム1について説明するためのブロック図である。
【0024】
HMD10は、HMD本体11、発光部15及びコントローラ16(操作部)を備える。HMD本体11は、ユーザの頭部に装着され、ユーザの眼前のVR空間内に文字及び画像等を描画する。
【0025】
発光部15は、HMD本体11の外部に配され、HMD本体11に向けて光(一例として、赤外線等)を出射する。
【0026】
コントローラ16は、例えば、種々の入力を受け付ける。コントローラ16は、例えば、HMD本体11がユーザの頭部に装着され、ユーザの眼前に文字及び画像等が表示される場合、例えば、ユーザによる表示に関する指示・操作の入力を受け付ける。
また、コントローラ16は、例えば、加速度センサ(図示せず)等を備えていてもよい。コントローラ16は、例えば、加速度センサ等によって自身の位置及び向き(位置姿勢)等を取得してもよい。
また、コントローラ16は、ボタン(図示せず)を備え、そのボタンに対する操作を受け付けてもよい。
【0027】
HMD本体11は、表示部12、受光部13及び位置・操作取得部14を備える。
【0028】
表示部12は、後述する第2情報処理装置30の描画部34から出力される描画情報に基づいて、VR空間にVR画像を表示する。
【0029】
受光部13は、発光部15から出射された光を受光する。受光部13は、1又は複数有ってもよい。発光部15及び受光部13は、例えば、HMD本体11の位置及び向き等の計測に利用される光の発光及び受光を行う。
【0030】
位置・操作取得部14は、VR空間内のユーザの視線(視点)に関する位置情報、及び、VR空間内に表示されるメニューの操作情報(例えば、HMD本体11及びコントローラ16によって得られる位置・姿勢・操作に関する情報)を取得する。
【0031】
次に、第1情報処理装置20(生成装置)について説明する。
図2に示すように、第1情報処理装置20は、解析部21及び生成部22を備える。
【0032】
解析部21は、1又は複数の情報について所定の解析を行う。具体的な一例として、解析部21は、所定の解析として、内燃機関又は所定の領域の温度分布、圧力分布及び断面の解析、並びに、内燃機関の内部又は所定の領域を流れる流体の解析等を始めとする種々のオブジェクト及び所定の領域に対する解析を行う。より具体的な一例として、解析部21は、1又は複数のオブジェクト又は所定の領域についての断面に関する解析(例えば、断面図の作成等)、1又は複数のオブジェクト又は所定の領域についての流線に関する解析(例えば、流線の作成等)、及び、1又は複数のオブジェクト又は所定の領域についての統計量の解析(例えば、統計量の計算等)を行う。解析部21は、種々の解析方法として、種々の公知技術を用いることが可能である。
【0033】
解析部21は、2次元で描画される空間内において所定の解析を行うこととしてもよい。すなわち、解析部21は、情報(オブジェクト又は所定の領域)について解析を行うことにより、2次元で表現される解析結果を得る。上述した具体的な一例では、解析部21は、解析結果として、2次元で表現されるオブジェクトの断面、2次元で表現される流線、及び、2次元で表現される統計量等を得る。
【0034】
生成部22は、解析部21によって所定の解析が行われた結果に基づいて、VR空間で描画を行うための描画処理情報を生成する。生成部22は、2次元で表現される解析結果をHMD10でVR表示するために描画処理情報を生成する。生成部22は、例えば、OpenGL等を始めとする種々の公知技術を利用して、描画処理情報を生成することとしてもよい。
また、生成部22は、第2情報処理装置30の後述する取得部31から送信された情報の設定に基づいて、新たにVR空間上で描画を行うための描画処理情報を生成する。すなわち、生成部22は、第2情報処理装置30から送信される可視化命令(命令情報)に基づいて、描画処理情報を生成する。
生成部22は、描画処理情報を、第2情報処理装置30に送信する。
【0035】
次に、第2情報処理装置30について説明する。
第2情報処理装置30は、描画部34、取得部31、命令作成部32及び統計量表示命令部33を備える。
【0036】
描画部34は、第1情報処理装置20の生成部22によって生成された描画処理情報に基づいて、VR空間(3次元のVR空間)上で描画を行う。描画部34は、ユーザの眼前において、第1情報処理装置20の解析結果を表示部12によってVR空間でユーザに提供するために描画情報を生成する。すなわち、描画部34は、描画処理情報において指定されるVR空間内の位置に文字及びオブジェクト等を描画する。例えば、描画部34は、後述する統計量表示モードの場合、統計量の計算を行った領域(例えば、立方体)の上面の中心位置に、表示位置及び向きの矢印を描画し、立方体上面の中心位置に板状の形状を作成しその形状内に文字を描画してもよい。
【0037】
描画部34は、例えば、線分表示モード、断面表示モード、統計量表示モード及び流線表示モードのいずれかによって、VR空間に描画を行うこととしてもよい。
【0038】
線分表示モードは、描画処理情報に基づいてVR空間に描画される任意の線分上の解析結果を表示・設定する表示モードである。線分表示モードは、例えば、コントローラ16によってVR空間内で指定された複数の位置を結ぶ線分上の解析結果(例えば、物理量)を表示するモードである。
【0039】
図3は、線分の設定方法の一例について説明するための図である。
描画部34は、線分を設定する方法として、例えば、コントローラ16によってオブジェクト100上の少なくとも2点201,202を指定することが可能である。この場合、コントローラ16による点201,202の指定は、例えば、ユーザの視点が交わるオブジェクト100に対してのみ点の指定が可能であってもよい(ユーザの視線によって点を指定するオブジェクト100を選択する)。この場合、コントローラ16によってそのオブジェクト100を指し、コントローラ16によって点201,202を決定(指定)するボタンが操作された場合に、その点201,202で指定が可能である。描画部34は、例えば、コントローラ16によって指定された2点201,202間を結ぶ線分203を表示・設定する。
【0040】
図4は、断面表示モードの一例について説明するための図である。
断面表示モードは、描画処理情報に基づいてVR空間に描画される断面上の解析結果を表示・設定する表示モードである。断面表示モードは、例えば、コントローラ16によってVR空間内で指定された位置おける断面204(例えば、空間及びオブジェクト等の断面)を表示するモードである。断面表示モードでは、例えば、断面部分のスカラ情報(例えば、温度、圧力及び流速等の情報)を表示する。具体的な一例として、断面表示モードでは、温度を表示する場合、温度分布に応じて異なる色等で表示することとしてもよい。断面表示モードでは、例えば、上述した温度分布の表示と同様に、圧力分布及び流速分布等を表示することとしてもよい。
【0041】
このような断面表示モードでは、ユーザによって断面領域の設定を行うことが可能である。断面表示モードでは、例えば、ユーザによって任意の座標値が入力された場合、及び、コントローラ16によってVR空間の任意の位置が指定された場合、その座標値及び位置の少なくとも一方を含む断面を生成する。断面の向きは、ユーザによって設定することが可能である。例えば、断面の向きは、ユーザによって指定された3点の位置が指定された場合その3点を通るような断面の向きであってもよく、ユーザによって指定された位置とVR空間に描画されるオブジェクトの法線方向とを考慮した断面の向きであってもよい。また、断面を生成する領域は、VR空間のユーザの視線と交わる面に法線を有していてもよい。また、断面表示モードでは、ユーザがコントローラ16等を操作することに基づいて、VR空間に描画される断面を移動させてもよい。
【0042】
図5は、断面の設定方法の一例について説明するための図である。
描画部34は、コントローラ16によってオブジェクト100上の点204が指定された場合、その点におけるオブジェクト100の法線方向205に断面206を生成する。この場合、コントローラ16による点204の指定は、例えば、コントローラ16によってオブジェクト100を指し、コントローラ16によって指した点204を決定(指定)するボタンが操作された場合に、その点204で指定が可能である。
【0043】
また、描画部34は、コントローラ16が指す方向(線分)に対して直角に断面を生成してもよい。また、描画部34は、コントローラ16によって少なくとも3点が指定された場合、その少なくとも3点を含むような面を断面として生成してもよい。また、描画部34は、VR空間に3軸(X軸、Y軸及びZ軸)が設定される場合、XY平面、YZ平面及びZX平面のいずれかに平行な断面を生成し、コントローラ16によってその断面をVR空間内で移動させてもよい。
【0044】
図6は、統計量表示モードの一例について説明するための図である。
統計量表示モードは、描画処理情報に基づいて描画されるVR空間内のスカラ情報を表示・設定する表示モードである。統計量表示モードは、VR空間に表示されるオブジェクト及び所定領域207についての物理量の統計量(例えば、平均値、最大値及び最小値等)を表示するモードである。統計量表示モードでは、例えば、コントローラ16によって指定されたVR空間内の位置の統計量を表示することが可能である。具体的な一例として、統計量表示モードでは、VR空間の所定領域207の物理量の統計量、所定領域207のサイズ、及び、所定領域207の中心座標等を表示することとしてもよい。物理量は種々のものであってもよく、例えば、選択された1又は複数の物理量が表示される。物理量の統計量は、例えば、流速の平均値、最大値及び最小値等であってもよい。また、物理量の統計量は、温度の平均値、最大値及び最小値等であってもよい。物理量の統計量は、例えば、圧力の平均値、最大値及び最小値等であってもよい。所定領域は、例えば、立方体及び直方体等のボックス領域、並びに、球及び楕円等の球状領域等を始めとするユーザによって指定された種々の形状の領域であってもよい。統計量表示モードでは、ユーザがコントローラ16等を操作することに基づいて、所定領域207のサイズ及び位置、統計量の表示対象(例えば、流速、温度及び圧力等)、所定領域(例えば、ボックス領域等)の表示/非表示等を変えることが可能である。
【0045】
図7は、統計量の設定方法の一例について説明するための図である。
描画部34は、コントローラ16等を利用して、VR空間内の任意のサイズ及び領域(例えば、球、立方体、直方体及び点等の形状)を設定された場合、指定された点208を中心にした領域209(例えば、球、立方体、直方体及び点等の形状)をワイヤフレームでVR空間に描画する。又は、描画部34は、例えば、ワイヤフレーム内のユーザの視点とオブジェクト等が交わる点等の物理量の統計量を表示することとしてもよい。
また、描画部34は、コントローラ16によってVR空間内の1又は複数の点が指定された場合、その点の物理量の統計量を表示することとしてもよい。
【0046】
図8は、流線表示モードの一例について説明するための図である。
流線表示モードは、描画処理情報に基づいて描画されるVR空間内の特定領域の流線を表示・設定できる表示モードである。すなわち、流線表示モードは、VR空間における特定領域の流体の流れについて可視化するモードである。流線表示モードでは、例えば、コントローラ16によってVR空間内で指定された位置を始点とした流線、及び、コントローラ16によってVR空間で指定された領域内の流線を表示することとしてもよい。具体的な一例として、流線表示モードでは、コントローラ16によって指定された流線の発生面210、及び、流線211を表示する。流線の情報は、例えば、流速等の流線であってもよい。具体的な一例として、流線表示モードでは、流線の表示/非表示、流線の発生面のサイズ、及び、流線の長さ、流線の本数、流線の向き等を設定することが可能である。
【0047】
描画部34は、上述したように、コントローラ16によって指定された位置を始点とした流線をVR空間に描画する。この場合、描画部34は、コントローラ16がスクロールされた場合、そのスクロールに応じて流線の密度及び流線の発生面の面積を変えることとしてもよい。又は、描画部34は、ユーザの指の動きが検出される場合、指をピンチアウトすると流線の発生面の面積を大きくし、指によって流線の発生面をたたくと流線の密度を上げることとしてもよい。描画部34は、コントローラ16から出る任意の線分(指示方向)の先端を通り、VR空間において3軸(X軸、Y軸及びZ軸)が設定される場合、XY平面、YZ平面及びZX平面に変更な面(流線の発生面)を指定し、その面から流線を発生させてもよい。
【0048】
取得部31は、後述する命令作成部32と協働して、HMD10によってVR空間において描画される情報のうち1つが指定されると、指定された情報の設定をHMD10から取得して生成部22に送信する。取得部31は、VR空間上に表示されたユーザインターフェイス(UI)が操作されることに基づいて入力された設定を取得することとしてもよい。まず、取得部31は、例えば、HMD本体11において計測される位置及び向き等、及び、コントローラ16によって入力を受け付けた指示・操作の情報(UI情報)、コントローラ16の位置及び向き(位置・操作取得部14によって取得した位置・操作情報)等を取得する。すなわち、取得部31は、第2情報処理装置30における可視化処理に使用するVR空間内の位置・姿勢及びUI情報を取得する。これにより、取得部31は、VR空間(3次元)の視点及び指示位置での可視化をするための情報を取得することが可能である。
【0049】
取得部31は、線分表示モード、断面表示モード、統計量表示モード及び流線表示モードのうち少なくとも1つのモードが選択される場合、選択されるモードで指定される情報の設定を取得することとしてもよい。線分表示モードは、上述したように、描画処理情報に基づいてVR空間に描画される任意の線分上の解析結果を表示・設定する表示モードである。断面表示モードは、上述したように、描画処理情報に基づいてVR空間に描画される断面上の解析結果を表示・設定する表示モードである。統計量表示モードは、上述したように、描画処理情報に基づいて描画されるVR空間内のスカラ情報を表示・設定する表示モードである。流線表示モードは、上述したように、描画処理情報に基づいて描画されるVR空間内の特定領域の流線を表示・設定できる表示モードである。取得部31は、VR空間において描画される情報のうち1つを指定する場合、VR空間を見るユーザの視線に関する視線情報、及び、VR空間を見るユーザによって操作されるコントローラ16の位置姿勢(位置及び向き)に関する情報に基づいて、情報を指定することとしてもよい。
取得部31は、後述する命令作成部32と協働して、3次元で描画されるVR空間において指定された情報の設定に基づいて、3次元のVR空間の情報を生成部22に送信することとしてもよい。
【0050】
命令作成部32は、取得部31によって取得された情報に基づいて、第1情報処理装置20において可視化を行う命令情報を作成する。命令作成部32は、HMD本体11におけるVR空間と、第1情報処理装置20(解析部21)の解析結果における座標空間とを共通化し、HMD本体11及びコントローラ16の位置・姿勢及びUI情報等に基づいて、可視化命令(命令情報)に作成する。具体的には、命令作成部32は、可視化命令(命令情報)を作成する場合、HMD本体11におけるVR空間の幾何学的変換情報と、第1情報処理装置20における座標空間の幾何学的変換情報とを取得し、VR空間から取得した幾何学的変換情報について逆変換を行うことにより、VR空間の位置情報を第1情報処理装置20における座標空間の位置情報と一致させる。これにより、可視化結果がVR空間に表示される場合に、ユーザの指定位置に合わせることが可能になる。
【0051】
この場合、命令作成部32は、HMD10における可視化の内容を判定することにより、それぞれの可視化に応じた命令情報を作成することが可能である。例えば、命令作成部32は、取得部31によって取得された情報に基づいてユーザがどの可視化操作を行ったかを判定し、命令情報を作成することとしてもよい。
【0052】
例えば、命令作成部32は、HMD10において線分表示モード、断面表示モード、統計量表示モード及び流線表示モードのいずれが選択されているかに基づいて、ユーザがどの可視化操作を行ったかを判定することとしてもよい。
【0053】
例えば、命令作成部32は、HMD10において断面表示モードが選択される場合(断面の作成、断面の移動、断面の色の変更をする場合)、取得部31によって取得される情報に基づいて、例えば、コントローラ16によってVR空間内で指定される断面を作成する位置、断面上に表示する1又は複数の色の分布の基礎となる物理量、コントローラ16によって指定される断面の向き(例えば、VR空間内において3次元の座標を示すX軸、Y軸、Z軸において、「XY」、「YZ」、「ZX」方向を取得する。命令作成部32は、取得した情報に基づいて、命令情報を作成する。
【0054】
例えば、命令作成部32は、HMD10において統計量表示モードが選択される場合、UI情報に基づいて、統計量の計算対象となる物理量を選択し、統計量を計算する範囲を取得する。この場合、命令作成部32は、例えば、統計量を計算する領域をコントローラ16で指定した位置を中心とした立方体の範囲とし、立方体の各辺の長さをUI情報で指定した長さとして統計量を計算する命令情報を作成する。
【0055】
例えば、命令作成部32は、HMD10において流線作成モードが選択される場合、命令情報として流線作成命令情報を作成する。この場合、命令作成部32は、取得部31によって取得される情報に基づいて、例えば、ユーザによって指定された、流線を作成する開始位置の範囲、流線の発生間隔、流線の本数、流線の向き等を取得する。命令作成部32は、流線の開始位置はコントローラ16によってVR空間内で指示される位置を中心とし、コントローラ16によって指示される向きを法線とする円盤状の平面を作成し、取得部31によって取得される情報から取得した発生間隔で均一に流線が発生するような命令情報を作成する。
【0056】
統計量表示命令部33は、第1情報処理装置20において算出された統計量の数値をHMD10によってVR空間に表示できるように、文字列及び表示位置の情報に変換して描画情報を生成し、HMD10に送信する。ここで、第1情報処理装置20は、上述した命令作成部32によって統計量をHMD10のVR空間内に表示するための命令情報が作成された場合、指定された物理量及び範囲に対する統計量(例えば、平均値、最大値及び最小値等)を計算し、計算結果を第2情報処理装置30に送信する。統計量表示命令部33は、第1情報処理装置20におけるその計算結果、及び、統計量を計算するために命令情報で使用したコントローラ16で指定された位置等に基づいて、HMD10によってVR空間に統計量の表示に必要な文字及び表示位置に関する情報(描画情報)を生成し、HMD10に送信する。
【0057】
これにより、情報処理システム1は、HMD10から統計量の数値及び幾何学的変換情報と取得し、さらに位置情報を加えることにより、HMD10のVR空間に統計量を表示することができ、ユーザによって統計量を直接確認させることができる。
【0058】
次に、本実施形態の一実施例について説明する。
まず、HMD10のユーザは、例えば、VR空間に表示されるUI及びコントローラ16等を利用して、任意の表示モードを選択する。この場合、ユーザは、各表示モードにおいて、どのような表示を行うかを設定する。例えば、ユーザは、断面表示モードでは断面の設定及びスカラ情報等の設定を行う。
次に、ユーザは、HMD10を利用してVRを体験する場合、VR空間に表示されるUI及びコントローラ16等を利用して、表示モードを選択する。HMD10は、ユーザによる表示モードの選択に基づいて、第2情報処理装置30に描画を指示する。
第2情報処理装置30は、HMD10における設定に基づいて命令情報を生成し、第1情報処理装置20に送信する。第1情報処理装置20は、命令情報に基づいて解析を行い、描画処理情報を第2情報処理装置30に送信する。第2情報処理装置30は、第1情報処理装置20から描画処理情報を受け付けた場合、VR空間に統計量を描画するための処理を行い、描画情報をHMD10に送信する。HMD10は、第2情報処理装置30から描画情報を受け付けた場合、描画情報に基づいてVR空間に表示を行う。
【0059】
次に、一実施形態に係る情報処理方法について説明する。
図9は、一実施形態に係る情報処理方法について説明するためのシーケンス図である。
【0060】
ステップST101において、第1情報処理装置20の解析部21は、1又は複数の情報について所定の解析を行う。
【0061】
ステップST102において、第1情報処理装置20の生成部22は、ステップST101で行われた解析の結果をHMD10においてVR空間で表示するために描画処理情報を生成する。一例として、生成部22は、OpenGL等を利用して、描画処理情報を生成する。生成部22は、描画処理情報を第2情報処理装置30に送信する。
【0062】
ステップST103において、第2情報処理装置30の描画部34は、ステップST102で送信された描画処理情報に基づいて、HMD10にVR画像に表示するためにVR空間の描画を行う。それに応じて、描画部34は、描画情報を生成する。
【0063】
ステップST104において、HMD10の表示部12は、ステップST103で生成された描画情報に基づいて、ステップST101で行われた解析の結果をVR画像として表示する。
【0064】
ステップST105において、HMD10の受光部13、表示部12、位置・操作取得部14及びコントローラ16のうちの少なくとも1つは、ユーザによるVR空間上での情報の指定を受け付ける。ここで、「VR空間上での情報の指定」には、例えば、VR空間に表示されるUIの操作に基づいて入力される情報の指定に限らず、例えば、受光部13によって受光される光に基づくHMD10の位置及び向きに応じた情報の指定、及び、コントローラ16に配されるボタン等が操作されることに基づく情報の指定等が含まれてもよい。
【0065】
ステップST106において、第2情報処理装置30の取得部31は、ステップST105で指定された内容を取得する。すなわち、取得部31は、HMD10から位置・操作情報及びUI情報を取得する。
【0066】
ステップST107において、第2情報処理装置30の命令作成部32は、HMD本体11におけるVR空間から第1情報処理装置20による解析の座標空間に幾何学に関する変換を行い、ステップST106で取得された情報の指定の内容(位置・操作情報及びUI情報)に基づいた描画(計算)をさせる命令情報を生成する。命令作成部32は、命令情報を第1情報処理装置20へ送信する。
【0067】
ステップST108において、第1情報処理装置20は、解析部21によってステップST107で生成された命令情報に基づいて再解析を行い、生成部22によって再解析の結果に基づいた描画処理情報を生成する。生成部22は、描画処理情報を第2情報処理装置30に送信する。
【0068】
ステップST109において、第2情報処理装置30の描画部34は、ステップST108で送信された描画処理情報に基づいて、HMD10でVR画像を表示するためにVR空間の描画を行う。それに応じて、描画部34は、描画情報を生成してHMD10に送信する。
また、ステップST105において指定された情報が統計量の場合、第2情報処理装置30の統計量表示命令部33は、VR空間上で統計量を表示するために、生成部22によって生成される描画処理情報に基づいて、文字列及び表示位置の情報に変換し、変換結果を描画情報としてHMD10に送信する。
【0069】
ステップST110において、HMD10の表示部12は、ステップST109において第2情報処理装置30で生成される描画情報に基づいて、VR画像の表示を行う。
【0070】
次に、本実施形態の効果について説明する。
情報処理システム1は、1又は複数の情報について所定の解析を行う解析部21と、解析部21によって所定の解析が行われた結果に基づいて、VR空間で描画を行うための描画処理情報を生成する生成部22と、生成部22によって生成された描画処理情報に基づいて、VR空間上で描画を行う描画部34と、描画部34によってVR空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画部34から取得して生成部22に送信する取得部31と、を備える。この場合、生成部22は、取得部31から送信された情報の設定に基づいて、新たにVR空間上で描画を行うための描画処理情報を生成する。
これにより、情報処理システム1は、解析部21によって行われる解析の結果に基づく空間と、描画部34によって描画されるVR空間との間で情報を受け渡すことができ、VR空間に対するユーザの指示に応じて解析部21によって再描画に必要な描画処理情報を生成することができる。すなわち、情報処理システム1は、オブジェクトの画像を描画する場合にオブジェクトに関する指定に応じて再描画を行うことができる。
【0071】
情報処理システム1では、取得部31は、VR空間上に描画されたUIが操作されることに基づいて入力された設定を取得することとしてもよい。
HMD10は、例えば、コントローラ16等が操作されることに基づいて、VR空間に描画されるUIに対する指示が入力された場合、その指示に基づいたUI情報を生成する。これにより、情報処理システム1は、取得部31によって、UI情報に基づいて、VR空間で再描画のための描画処理情報の生成を生成部22に指示することができる。
【0072】
情報処理システム1では、取得部31は、描画処理情報に基づいてVR空間に描画される任意の線分上の解析結果を表示・設定する線分表示モード、描画処理情報に基づいてVR空間に描画される断面上の解析結果を表示・設定する断面表示モード、描画処理情報に基づいて描画されるVR空間内のスカラ情報を表示・設定する統計量表示モード、及び、描画処理情報に基づいて描画されるVR空間内の特定領域の流線を表示・設定できる流線表示モードのうち1つのモードが選択される場合、選択されるモードで指定される情報の設定を取得することとしてもよい。
これにより、情報処理システム1は、解析部21による解析結果をVR空間に描画するモードを複数有することができ、ユーザが希望する解析結果を適切な表示モードでVR空間に描画することができる。
【0073】
情報処理システム1では、取得部31は、VR空間において描画される情報のうち1つを指定する場合、VR空間を見るユーザの視線に関する視線情報、及び、VR空間を見るユーザによって操作されるコントローラ16の位置姿勢に関する情報に基づいて、情報を指定することとしてもよい。
これにより、情報処理システム1は、描画装置に対する種々の入力に基づいて、VR空間で再描画のための描画処理情報の生成を生成部22に指示することができる。
【0074】
情報処理システム1では、解析部21は、2次元で描画される空間内において所定の解析を行うこととしてもよい。この場合、描画部34は、3次元のVR空間で描画を行うこととしてもよい。また、取得部31は、3次元で描画されるVR空間において指定された情報の設定に基づいて、3次元のVR空間の情報を生成部22に送信することとしてもよい。
これにより、情報処理システム1は、解析部21によって行われる解析の結果に基づく空間と、描画部34によって描画されるVR空間との間で情報を受け渡すことができる。
特に、情報処理システム1は、VR空間から解析部21による解析結果に基づく空間に情報を受け渡す場合(描画装置から第1情報処理装置20に情報を受け渡す場合)、幾何学的変換を行う。これにより、情報処理システム1は、VR空間で再描画を行う場合、ユーザにより指示に応じた描画処理情報を生成することができる。
【0075】
第2情報処理装置30は、VR空間を描画することが可能な描画装置(HMD10)と、VR空間に描画する描画処理情報を生成する生成装置(第1情報処理装置20)との間に配される装置である。その第2情報処理装置30は、HMD10によってVR空間において描画される情報のうち1つが指定された場合、指定された情報の設定をHMD10から取得し、VR空間の描画と第1情報処理装置20における解析結果の描画空間との間で幾何学的変換を行い、HMD10から取得した設定に応じた描画処理情報の生成を命令する命令情報を第1情報処理装置20に送信する取得部31を備える。
これにより、第2情報処理装置30は、第1情報処理装置20によって行われる解析の結果に基づく空間と、HMD10によって描画されるVR空間との間で情報を受け渡すことができ、VR空間に対するユーザの指示に応じて第1情報処理装置20によって再描画に必要な描画処理情報を生成することができる。すなわち、第2情報処理装置30は、オブジェクトの画像を描画する場合にオブジェクトに関する指定に応じて再描画を行うことができる。
【0076】
情報処理方法では、コンピュータが、1又は複数の情報について所定の解析を行う解析ステップと、解析ステップによって所定の解析が行われた結果に基づいて、VR空間で描画を行うための描画処理情報を生成する生成ステップと、生成ステップによって生成された描画処理情報に基づいて、VR空間上で描画を行う描画ステップと、描画ステップによってVR空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画ステップから取得して生成ステップに送信する取得ステップと、を実行する。この場合、生成ステップは、取得ステップから送信された情報の設定に基づいて、新たにVR空間上で描画を行うための描画処理情報を生成する。
これにより、情報処理方法は、解析ステップ(解析部21)によって行われる解析の結果に基づく空間と、描画ステップ(描画部34)によって描画されるVR空間との間で情報を受け渡すことができ、VR空間に対するユーザの指示に応じて解析部21によって再描画に必要な描画処理情報を生成することができる。すなわち、情報処理方法は、オブジェクトの画像を描画する場合にオブジェクトに関する指定に応じて再描画を行うことができる。
【0077】
情報処理プログラムは、コンピュータに、1又は複数の情報について所定の解析を行う解析機能(解析部21)と、解析機能によって所定の解析が行われた結果に基づいて、VR空間で描画を行うための描画処理情報を生成する生成機能(生成部22)と、生成機能によって生成された描画処理情報に基づいて、VR空間上で描画を行う描画機能(描画部34)と、描画機能によってVR空間において描画される情報のうち1つが指定されると、指定された情報の設定を描画機能から取得して生成機能に送信する取得機能(取得部31)と、を実現させる。この場合、生成機能は、取得機能から送信された情報の設定に基づいて、新たにVR空間上で描画を行うための描画処理情報を生成することとしてもよい。
これにより、情報処理プログラムは、解析機能によって行われる解析の結果に基づく空間と、描画機能によって描画されるVR空間との間で情報を受け渡すことができ、VR空間に対するユーザの指示に応じて解析機能によって再描画に必要な描画処理情報を生成することができる。すなわち、情報処理プログラムは、オブジェクトの画像を描画する場合にオブジェクトに関する指定に応じて再描画を行うことができる。
【0078】
上述した情報処理システム1の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理システム1の解析部21、生成部22、表示部12、受光部13、位置・操作取得部14、発光部15、コントローラ16、取得部31、命令作成部32、統計量表示命令部33及び描画部34は、コンピュータの演算処理装置等による解析機能、生成機能、表示機能、受光機能、位置・操作取得機能、発光機能、コントローラ機能、取得機能、命令作成機能、統計量表示命令機能及び描画機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理システム1の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理システム1の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理システム1の解析部21、生成部22、表示部12、受光部13、位置・操作取得部14、発光部15、コントローラ16、取得部31、命令作成部32、統計量表示命令部33及び描画部34は、コンピュータの演算処理装置等を構成する解析回路、生成回路、表示回路、受光回路、位置・操作取得回路、発光回路、コントローラ回路、取得回路、命令作成回路、統計量表示命令回路及び描画回路として実現されてもよい。
また、情報処理システム1の解析部21、生成部22、表示部12、受光部13、位置・操作取得部14、発光部15、コントローラ16、取得部31、命令作成部32、統計量表示命令部33及び描画部34は、例えば、複数のデバイスによって構成されることにより解析装置、生成装置、表示装置、受光装置、位置・操作取得装置、発光装置、コントローラ装置、取得装置、命令作成装置、統計量表示命令装置及び描画装置として構成されてもよい。
【符号の説明】
【0079】
1 情報処理システム
10 HMD(描画装置)
11 HMD本体
12 表示部
13 受光部
14 位置・操作取得部
15 発光部
16 コントローラ
20 第1情報処理装置
21 解析部
22 生成部
30 第2情報処理装置
31 取得部
32 命令作成部
33 統計量表示命令部
34 描画部