知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156478
(43)【公開日】2024-11-06
(54)【発明の名称】デザイン支援システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241029BHJP
G06F 3/16 20060101ALI20241029BHJP
G06F 3/01 20060101ALI20241029BHJP
G06F 3/04815 20220101ALI20241029BHJP
G06F 3/04845 20220101ALI20241029BHJP
G06F 3/0346 20130101ALI20241029BHJP
【ＦＩ】
G06T19/00 A
G06F3/16 650
G06F3/01 510
G06F3/04815
G06F3/04845
G06F3/0346 423
【審査請求】未請求
【請求項の数】25
【出願形態】ＯＬ
(21)【出願番号】P 2023070976
(22)【出願日】2023-04-24
(71)【出願人】
【識別番号】518325345
【氏名又は名称】デジタルデザインスタジオ株式会社
(74)【代理人】
【識別番号】100130960
【弁理士】
【氏名又は名称】岡本 正之
(72)【発明者】
【氏名】椛島 三統
【テーマコード（参考）】
5B050
5B087
5E555
【Ｆターム（参考）】
5B050BA09
5B050CA07
5B050DA04
5B050DA05
5B050EA07
5B050EA19
5B050FA05
5B050FA10
5B087BC05
5E555AA17
5E555AA25
5E555AA27
5E555AA29
5E555AA46
5E555AA64
5E555AA79
5E555BA02
5E555BA38
5E555BB38
5E555BC08
5E555BE17
5E555CA10
5E555CA41
5E555CA42
5E555CA44
5E555CA45
5E555CA47
5E555CB21
5E555CB64
5E555CB65
5E555CB69
5E555CB70
5E555DA08
5E555DA23
5E555DB32
5E555DB53
5E555DB57
5E555DC13
5E555DC35
5E555EA23
5E555EA27
5E555FA00
(57)【要約】
【課題】 物品のデザイン業務を支援し効率化する。
【解決手段】 本開示のデザイン支援システム１は、物品データ記録部５１０と、ヘッドセット１０と、環境光記録部５２０と、背景画像レンダリング部５３０と、操作入力部１２０と、画像調節部５４０と、物品画像レンダリング部５５０と、画像統合部５８０とを備えている。ヘッドセットは外界カメラ１０８を備える。事前撮影において外界カメラにより撮影したオペレーター２まわりの方向別の明度を示す明度分布データが環境光記録部に記録される。明度分布データから背景画像が生成され、構造データと属性データと明度分布データとから、明度分布データに対応する照明下での物品３の画像が生成される。背景画像４２と物品画像４４が合成され提示画像４のための画像信号が出力される。
【選択図】 図１
【解決手段】 本開示のデザイン支援システム１は、物品データ記録部５１０と、ヘッドセット１０と、環境光記録部５２０と、背景画像レンダリング部５３０と、操作入力部１２０と、画像調節部５４０と、物品画像レンダリング部５５０と、画像統合部５８０とを備えている。ヘッドセットは外界カメラ１０８を備える。事前撮影において外界カメラにより撮影したオペレーター２まわりの方向別の明度を示す明度分布データが環境光記録部に記録される。明度分布データから背景画像が生成され、構造データと属性データと明度分布データとから、明度分布データに対応する照明下での物品３の画像が生成される。背景画像４２と物品画像４４が合成され提示画像４のための画像信号が出力される。
【選択図】 図１
【特許請求の範囲】
【請求項1】
仮想空間における少なくとも１つの物品の構造を決定するための構造データと該物品についての属性を選択または調節するための属性候補データとを格納する物品データ記録部と、
オペレーターが頭部に装着するための少なくとも１つのヘッドセットであって、実空間における該ヘッドセットの姿勢を検出しうる姿勢センサーと該オペレーターへの提示画像を表示しうる少なくとも１つのディスプレイと該オペレーターにとっての視野に対応した外界の少なくとも一部を撮影しうる少なくとも１つの外界カメラとを備えるヘッドセットと、
事前撮影において前記外界カメラにより撮影した前記オペレーターまわりの方向別の明度を示す明度分布データを前記姿勢センサーの出力と対応付けて記録する環境光記録部と、
前記環境光記録部から呼び出した前記明度分布データから、前記姿勢センサーの各時点の出力に対応した背景画像を生成する背景画像レンダリング部と、
前記物品についての前記属性の選択または調節のための操作入力を前記オペレーターから受け付ける少なくとも一つの操作入力部と、
前記操作入力部が受け付けた前記操作入力の指示内容に応じて前記属性候補データから選択または調節された前記属性のための属性データを生成する画像調節部と、
前記物品データ記録部から呼び出した前記構造データと前記画像調節部からの前記属性データと前記環境光記録部から呼び出した前記明度分布データとから、前記操作入力の前記指示内容と前記姿勢センサーの各時点の前記出力とに対応した、前記明度分布データに対応する照明下での物品画像を生成する物品画像レンダリング部と、
前記背景画像と前記物品画像とを合成して前記提示画像のための画像信号として出力する画像統合部と
を備えるデザイン支援システム。
オペレーターが頭部に装着するための少なくとも１つのヘッドセットであって、実空間における該ヘッドセットの姿勢を検出しうる姿勢センサーと該オペレーターへの提示画像を表示しうる少なくとも１つのディスプレイと該オペレーターにとっての視野に対応した外界の少なくとも一部を撮影しうる少なくとも１つの外界カメラとを備えるヘッドセットと、
事前撮影において前記外界カメラにより撮影した前記オペレーターまわりの方向別の明度を示す明度分布データを前記姿勢センサーの出力と対応付けて記録する環境光記録部と、
前記環境光記録部から呼び出した前記明度分布データから、前記姿勢センサーの各時点の出力に対応した背景画像を生成する背景画像レンダリング部と、
前記物品についての前記属性の選択または調節のための操作入力を前記オペレーターから受け付ける少なくとも一つの操作入力部と、
前記操作入力部が受け付けた前記操作入力の指示内容に応じて前記属性候補データから選択または調節された前記属性のための属性データを生成する画像調節部と、
前記物品データ記録部から呼び出した前記構造データと前記画像調節部からの前記属性データと前記環境光記録部から呼び出した前記明度分布データとから、前記操作入力の前記指示内容と前記姿勢センサーの各時点の前記出力とに対応した、前記明度分布データに対応する照明下での物品画像を生成する物品画像レンダリング部と、
前記背景画像と前記物品画像とを合成して前記提示画像のための画像信号として出力する画像統合部と
を備えるデザイン支援システム。
【請求項2】
前記明度分布データは、事前撮影において前記ヘッドセットの向きを変更しながら前記外界カメラにより撮影して取得した方向別の明度を示すものである
請求項１に記載のデザイン支援システム。
請求項１に記載のデザイン支援システム。
【請求項3】
前記明度分布データのうち、前記ヘッドセットを装着している前記オペレーターにとっての前記視野の少なくとも一部に対応するデータを、前記外界カメラにより撮影して取得した各時点の明度データにより置き換える背景更新処理部をさらに備える
請求項１に記載のデザイン支援システム。
請求項１に記載のデザイン支援システム。
【請求項4】
前記物品画像レンダリング部は、前記明度分布データに対応する周囲の映り込み像を前記物品画像の表面反射に反映させるものである
請求項１に記載のデザイン支援システム。
請求項１に記載のデザイン支援システム。
【請求項5】
前記背景画像レンダリング部は、前記物品データ記録部から前記構造データを呼び出し、前記明度分布データに対応して前記物品が前記実空間に落すべき影の方向における前記背景画像の明度を減じるものである
請求項１に記載のデザイン支援システム。
請求項１に記載のデザイン支援システム。
【請求項6】
前記環境光記録部が、事前撮影において前記外界カメラにより撮影した色別の明度を示す色彩明度データを前記姿勢センサーの前記出力と対応付けて記録するものであり、
前記背景画像レンダリング部は、前記環境光記録部から呼び出した前記色彩明度データから、前記姿勢センサーの各時点の前記出力に対応した色彩背景画像を生成するものであり、
前記物品画像レンダリング部は、前記物品データ記録部から呼び出した前記構造データと前記画像調節部からの前記属性データと前記環境光記録部から呼び出した前記色彩明度データとから、前記操作入力の前記指示内容と前記姿勢センサーの各時点の前記出力とに対応した、前記色彩明度データに対応する照明下での物品画像を生成するものである
請求項１に記載のデザイン支援システム。
前記背景画像レンダリング部は、前記環境光記録部から呼び出した前記色彩明度データから、前記姿勢センサーの各時点の前記出力に対応した色彩背景画像を生成するものであり、
前記物品画像レンダリング部は、前記物品データ記録部から呼び出した前記構造データと前記画像調節部からの前記属性データと前記環境光記録部から呼び出した前記色彩明度データとから、前記操作入力の前記指示内容と前記姿勢センサーの各時点の前記出力とに対応した、前記色彩明度データに対応する照明下での物品画像を生成するものである
請求項１に記載のデザイン支援システム。
【請求項7】
前記実空間の各方向における物体までの距離を計測しうる奥行き測距部と、
該奥行き測距部が示す前記物体までの距離が前記仮想空間における前記物品までの距離よりも小さい方向について、前記外界カメラの出力に基づいて前景画像を生成する前景画像レンダリング部と
をさらに備えており、
前記画像統合部が、前記背景画像と前記物品画像とに前記前景画像を追加合成して前記提示画像のための画像信号を出力するものである
請求項１に記載の物品デザイン支援システム。
該奥行き測距部が示す前記物体までの距離が前記仮想空間における前記物品までの距離よりも小さい方向について、前記外界カメラの出力に基づいて前景画像を生成する前景画像レンダリング部と
をさらに備えており、
前記画像統合部が、前記背景画像と前記物品画像とに前記前景画像を追加合成して前記提示画像のための画像信号を出力するものである
請求項１に記載の物品デザイン支援システム。
【請求項8】
前記物品データ記録部が、複数の物品それぞれについての前記構造データと前記属性候補データとを格納しており、
前記操作入力部が、前記複数の物品についての前記属性の選択または調節のための操作入力と各物品の表示要否または表示態様についての表示指示入力とを前記オペレーターから受け付けるものであり、
前記画像調節部が、前記操作入力部が受け付けた前記操作入力と前記表示指示入力との指示内容に応じて、前記複数の物品のうちの表示を要するものについて、前記属性候補データから選択または調節された前記属性のための属性データを生成するものであり
前記物品画像レンダリング部が、前記操作入力の前記指示内容と前記姿勢センサーの各時点の前記出力とに対応した、前記明度分布データに対応する照明下での物品画像を前記複数の物品について生成するものである
請求項１に記載の物品デザイン支援システム。
前記操作入力部が、前記複数の物品についての前記属性の選択または調節のための操作入力と各物品の表示要否または表示態様についての表示指示入力とを前記オペレーターから受け付けるものであり、
前記画像調節部が、前記操作入力部が受け付けた前記操作入力と前記表示指示入力との指示内容に応じて、前記複数の物品のうちの表示を要するものについて、前記属性候補データから選択または調節された前記属性のための属性データを生成するものであり
前記物品画像レンダリング部が、前記操作入力の前記指示内容と前記姿勢センサーの各時点の前記出力とに対応した、前記明度分布データに対応する照明下での物品画像を前記複数の物品について生成するものである
請求項１に記載の物品デザイン支援システム。
【請求項9】
前記ヘッドセットにおいて前記少なくとも１つのディスプレイが前記オペレーターの両眼のそれぞれに対応して対をなすディスプレイであり、
前記ヘッドセットにおいて前記少なくとも１つの外界カメラが前記オペレーターの両眼のそれぞれに対応して対をなす外界カメラであり、
前記物品画像レンダリング部、前記背景画像レンダリング部、および前記画像統合部が、前記ヘッドセット１つ当たり２系統備わっている
請求項１に記載のデザイン支援システム。
前記ヘッドセットにおいて前記少なくとも１つの外界カメラが前記オペレーターの両眼のそれぞれに対応して対をなす外界カメラであり、
前記物品画像レンダリング部、前記背景画像レンダリング部、および前記画像統合部が、前記ヘッドセット１つ当たり２系統備わっている
請求項１に記載のデザイン支援システム。
【請求項10】
前記ヘッドセットにおいて前記少なくとも１つのディスプレイが前記オペレーターの両眼のそれぞれに対応して対をなすディスプレイであり、
前記ヘッドセットにおいて前記少なくとも１つの外界カメラが前記オペレーターの両眼のそれぞれに対応して対をなす外界カメラであり、
前記物品画像レンダリング部、前記背景画像レンダリング部、前景画像レンダリング部、および前記画像統合部が、前記ヘッドセット１つ当たり２系統備わっている
請求項７に記載のデザイン支援システム。
前記ヘッドセットにおいて前記少なくとも１つの外界カメラが前記オペレーターの両眼のそれぞれに対応して対をなす外界カメラであり、
前記物品画像レンダリング部、前記背景画像レンダリング部、前景画像レンダリング部、および前記画像統合部が、前記ヘッドセット１つ当たり２系統備わっている
請求項７に記載のデザイン支援システム。
【請求項11】
前記操作入力部それ自体の姿勢を検知するコントローラー姿勢センサーと、
前記コントローラー姿勢センサーの出力に応じて決定された前記仮想空間における仮想線と前記構造のなす表面との交点により注目位置を判定するポイント位置判定部と、
該ポイント位置判定部により決定した複数の注目位置のうちの２つに対応する実空間内の距離を算出する距離算出部と
をさらに備えており、
前記画像統合部は、前記コントローラー姿勢センサーの前記出力に応じて前記仮想空間にて更新される前記注目位置を示すポインター表示と、前記距離算出部による距離の数値とを前記提示画像に含めて前記画像信号を生成するものである
請求項１に記載のデザイン支援システム。
前記コントローラー姿勢センサーの出力に応じて決定された前記仮想空間における仮想線と前記構造のなす表面との交点により注目位置を判定するポイント位置判定部と、
該ポイント位置判定部により決定した複数の注目位置のうちの２つに対応する実空間内の距離を算出する距離算出部と
をさらに備えており、
前記画像統合部は、前記コントローラー姿勢センサーの前記出力に応じて前記仮想空間にて更新される前記注目位置を示すポインター表示と、前記距離算出部による距離の数値とを前記提示画像に含めて前記画像信号を生成するものである
請求項１に記載のデザイン支援システム。
【請求項12】
前記操作入力部それ自体の姿勢を検知するコントローラー姿勢センサーと、
前記コントローラー姿勢センサーの出力に応じて決定された前記仮想空間における仮想面と前記構造のなす表面との交線を決定する交線決定部と
をさらに備えており、
前記画像統合部は、前記コントローラー姿勢センサーの前記出力に応じて前記仮想空間にて更新される前記仮想面を示す面表示と前記交線決定部による前記交線を輪郭または切断線とする切断面の表示とを前記提示画像に含めて前記画像信号を生成するものである
請求項１に記載のデザイン支援システム。
前記コントローラー姿勢センサーの出力に応じて決定された前記仮想空間における仮想面と前記構造のなす表面との交線を決定する交線決定部と
をさらに備えており、
前記画像統合部は、前記コントローラー姿勢センサーの前記出力に応じて前記仮想空間にて更新される前記仮想面を示す面表示と前記交線決定部による前記交線を輪郭または切断線とする切断面の表示とを前記提示画像に含めて前記画像信号を生成するものである
請求項１に記載のデザイン支援システム。
【請求項13】
前記仮想空間において前記物品を内包するように定められ、前記オペレーターが前記操作入力部による操作によってグリップしうる複数のグリップポイントを表面にもつバウンディングボックスを設定するバウンディングボックス設定部と、
該バウンディングボックスの内部の少なくとも一部の座標を、いずれかの前記グリップポイントに対する前記オペレーターのグリップ状態での操作に対応させて変位させる座標変位部と、
前記構造データが参照する座標を前記座標変位部による変位に応じて変位させることにより、前記仮想空間における前記バウンディングボックス内の前記少なくとも一部の座標を参照する前記構造を変形させる構造変形部と
をさらに備え、
前記物品画像レンダリング部は、前記物品データ記録部から呼び出した前記構造データを前記構造変形部により変位させられた座標に対応させて変形した後の前記構造をもつ前記物品画像を生成するものである
請求項１に記載のデザイン支援システム。
該バウンディングボックスの内部の少なくとも一部の座標を、いずれかの前記グリップポイントに対する前記オペレーターのグリップ状態での操作に対応させて変位させる座標変位部と、
前記構造データが参照する座標を前記座標変位部による変位に応じて変位させることにより、前記仮想空間における前記バウンディングボックス内の前記少なくとも一部の座標を参照する前記構造を変形させる構造変形部と
をさらに備え、
前記物品画像レンダリング部は、前記物品データ記録部から呼び出した前記構造データを前記構造変形部により変位させられた座標に対応させて変形した後の前記構造をもつ前記物品画像を生成するものである
請求項１に記載のデザイン支援システム。
【請求項14】
前記物品データ記録部が、前記物品をなす複数の部品の構造を決定するための部品構造データを格納しており、
前記構造変形部が、該複数の部品のための前記部品構造データが参照する座標を前記座標変位部による変位に応じて変位させることにより、該複数の部品をグループ化して変形させるものである
請求項１３に記載のデザイン支援システム。
前記構造変形部が、該複数の部品のための前記部品構造データが参照する座標を前記座標変位部による変位に応じて変位させることにより、該複数の部品をグループ化して変形させるものである
請求項１３に記載のデザイン支援システム。
【請求項15】
補助画像を生成する補助画像レンダリング部をさらに備えており
前記画像統合部は、前記背景画像および前記物品画像に、前記補助画像を合成して前記提示画像のための画像信号として出力するものである
請求項１に記載のデザイン支援システム。
前記画像統合部は、前記背景画像および前記物品画像に、前記補助画像を合成して前記提示画像のための画像信号として出力するものである
請求項１に記載のデザイン支援システム。
【請求項16】
複数のオペレーターの各々に一つずつ装着される複数の前記ヘッドセットと、
前記複数のオペレーターの各々のための複数の前記環境光記録部と、
前記複数のオペレーターの各々のための複数の前記背景画像レンダリング部と、
前記複数のオペレーターの各々のための複数の前記物品画像レンダリング部と、
前記複数のオペレーターの各々のための複数の前記画像統合部と
を備えており、
各環境光記録部は、事前撮影において前記外界カメラにより撮影した各オペレーターまわりの方向別の明度を示す明度分布データを前記ヘッドセットの姿勢と対応付けて記録するものであり、
各背景画像レンダリング部は、各オペレーターの前記実空間における前記姿勢センサーの各時点の出力に対応した背景画像を生成するものであり、
各物品画像レンダリング部は、各オペレーターの前記姿勢センサーの各時点の前記出力に対応した、各オペレーターの前記明度分布データに対応する照明下での物品画像を生成するものであり、
各画像統合部は、前記背景画像と前記物品画像とを合成して各オペレーターについての前記提示画像のための画像信号を出力するものであり、
各オペレーターが装着している前記ヘッドセットの前記ディスプレイには、各オペレーターについての前記提示画像が表示される
請求項１～請求項１５のいずれか１項に記載のデザイン支援システム。
前記複数のオペレーターの各々のための複数の前記環境光記録部と、
前記複数のオペレーターの各々のための複数の前記背景画像レンダリング部と、
前記複数のオペレーターの各々のための複数の前記物品画像レンダリング部と、
前記複数のオペレーターの各々のための複数の前記画像統合部と
を備えており、
各環境光記録部は、事前撮影において前記外界カメラにより撮影した各オペレーターまわりの方向別の明度を示す明度分布データを前記ヘッドセットの姿勢と対応付けて記録するものであり、
各背景画像レンダリング部は、各オペレーターの前記実空間における前記姿勢センサーの各時点の出力に対応した背景画像を生成するものであり、
各物品画像レンダリング部は、各オペレーターの前記姿勢センサーの各時点の前記出力に対応した、各オペレーターの前記明度分布データに対応する照明下での物品画像を生成するものであり、
各画像統合部は、前記背景画像と前記物品画像とを合成して各オペレーターについての前記提示画像のための画像信号を出力するものであり、
各オペレーターが装着している前記ヘッドセットの前記ディスプレイには、各オペレーターについての前記提示画像が表示される
請求項１～請求項１５のいずれか１項に記載のデザイン支援システム。
【請求項17】
各環境光記録部は、事前撮影において前記ヘッドセットの向きを変更しながら各オペレーターの前記外界カメラにより撮影した各オペレーターまわりの方向別の明度を示す明度分布データを格納しているものである
請求項１６に記載のデザイン支援システム。
請求項１６に記載のデザイン支援システム。
【請求項18】
前記複数のオペレーターの各々のための複数の背景更新処理部を備えており、
各背景更新処理部は、各オペレーターにとっての前記視野の少なくとも一部に対応するデータを、前記外界カメラにより撮影して取得した各時点の明度データにより置き換えるものである
請求項１６に記載のデザイン支援システム。
各背景更新処理部は、各オペレーターにとっての前記視野の少なくとも一部に対応するデータを、前記外界カメラにより撮影して取得した各時点の明度データにより置き換えるものである
請求項１６に記載のデザイン支援システム。
【請求項19】
実空間の各方向における物体までの距離を計測しうる前記複数のオペレーターの各々のための複数の奥行き測距部と、
前記複数のオペレーターの各々のための前景画像レンダリング部と
をさらに備えており、
前記前景画像レンダリング部が、該奥行き測距部が示す前記物体までの距離が前記仮想空間における前記物品までの距離よりも小さい方向について、前記外界カメラの出力に基づいて前景画像を生成するものであり、
前記画像統合部が、前記背景画像と前記物品画像とに前記前景画像を追加合成して各オペレーターの前記提示画像のための画像信号を出力するものである
請求項１６に記載のデザイン支援システム。
前記複数のオペレーターの各々のための前景画像レンダリング部と
をさらに備えており、
前記前景画像レンダリング部が、該奥行き測距部が示す前記物体までの距離が前記仮想空間における前記物品までの距離よりも小さい方向について、前記外界カメラの出力に基づいて前景画像を生成するものであり、
前記画像統合部が、前記背景画像と前記物品画像とに前記前景画像を追加合成して各オペレーターの前記提示画像のための画像信号を出力するものである
請求項１６に記載のデザイン支援システム。
【請求項20】
前記複数のオペレーターの各々のための複数の前記画像調節部をさらに備えており、
前記複数のオペレーターのうちの一のオペレーターのための前記画像調節部が、前記複数のオペレーターのうちの他のオペレーターのための前記操作入力部により受け付けた前記物品についての前記属性の選択または調節のための操作入力の指示内容に応じ、前記属性候補データから選択または調節された前記属性のための属性データを生成するものである
請求項１６に記載のデザイン支援システム。
前記複数のオペレーターのうちの一のオペレーターのための前記画像調節部が、前記複数のオペレーターのうちの他のオペレーターのための前記操作入力部により受け付けた前記物品についての前記属性の選択または調節のための操作入力の指示内容に応じ、前記属性候補データから選択または調節された前記属性のための属性データを生成するものである
請求項１６に記載のデザイン支援システム。
【請求項21】
前記複数のオペレーターのうちの一のオペレーターのための前記環境光記録部が、前記複数のオペレーターのうちの他のオペレーターのための前記明度分布データを記録しており、
前記一のオペレーターのための前記背景画像レンダリング部および前記物品画像レンダリング部が、前記一のオペレーターのための前記環境光記録部にある前記他のオペレーターのための前記明度分布データに基づいて、前記一のオペレーターのための前記背景画像および前記物品画像を生成するものである
請求項１６に記載のデザイン支援システム。
前記一のオペレーターのための前記背景画像レンダリング部および前記物品画像レンダリング部が、前記一のオペレーターのための前記環境光記録部にある前記他のオペレーターのための前記明度分布データに基づいて、前記一のオペレーターのための前記背景画像および前記物品画像を生成するものである
請求項１６に記載のデザイン支援システム。
【請求項22】
前記一のオペレーターのための背景更新処理部をさらに備えており、
該背景更新処理部は、前記一のオペレーターのための前記環境光記録部にある前記他のオペレーターのための前記明度分布データのうち、前記ヘッドセットを装着している前記一のオペレーターにとっての前記視野の少なくとも一部に対応するデータを、前記他のオペレーターの前記外界カメラにより撮影して取得した明度データにより置き換えるものである
請求項２１に記載のデザイン支援システム。
該背景更新処理部は、前記一のオペレーターのための前記環境光記録部にある前記他のオペレーターのための前記明度分布データのうち、前記ヘッドセットを装着している前記一のオペレーターにとっての前記視野の少なくとも一部に対応するデータを、前記他のオペレーターの前記外界カメラにより撮影して取得した明度データにより置き換えるものである
請求項２１に記載のデザイン支援システム。
【請求項23】
前記複数のオペレーターのうちの一のオペレーターである管理者が使用するコンピューター機器が、アカウント管理部とセッション管理部とを備えており、
前記アカウント管理部は、前記デザイン支援システムの機能とデータファイルとについて各ユーザーがアクセスしうるものを決定するパーミッションテーブルを含み、
前記セッション管理部は、セッションに参加しうるユーザーのリストをセッションテーブルとして保持しており、前記複数のオペレーターそれぞれが正当なユーザーであるかを該セッションテーブルを参照して判定し前記複数のオペレーターのうちの正当なユーザーについての前記セッションのための接続を確立するものである
請求項１６に記載のデザイン支援システム。
前記アカウント管理部は、前記デザイン支援システムの機能とデータファイルとについて各ユーザーがアクセスしうるものを決定するパーミッションテーブルを含み、
前記セッション管理部は、セッションに参加しうるユーザーのリストをセッションテーブルとして保持しており、前記複数のオペレーターそれぞれが正当なユーザーであるかを該セッションテーブルを参照して判定し前記複数のオペレーターのうちの正当なユーザーについての前記セッションのための接続を確立するものである
請求項１６に記載のデザイン支援システム。
【請求項24】
前記ユーザーが使用するコンピューター機器が、前記一のオペレーターが使用するコンピューター機器をサーバー装置とするときのクライアント端末となってネットワークを通じて通信可能であり、
前記ユーザーを識別するためのユーザーＩＤが前記ネットワークを通じて前記セッションの確立のために使用される
請求項２３に記載のデザイン支援システム。
前記ユーザーを識別するためのユーザーＩＤが前記ネットワークを通じて前記セッションの確立のために使用される
請求項２３に記載のデザイン支援システム。
【請求項25】
演算装置と記録装置とグラフィック装置を備えるコンピューターと、
前記コンピューターに接続される少なくとも一つのヘッドセットであって、実空間における該ヘッドセットの姿勢を検出しうる姿勢センサーとオペレーターへの提示画像を表示しうる少なくとも１つのディスプレイと該オペレーターにとっての視野に対応した外界の少なくとも一部を撮影しうる少なくとも１つの外界カメラとを備える、オペレーターが頭部に装着するヘッドセットと、
前記コンピューターに接続され、操作入力を前記オペレーターから受け付ける少なくとも一つの操作入力部と
を備えるコンピューターシステムを動作させて請求項１に記載のデザイン支援システムを実現するコンピュータープログラムであって、
前記コンピューターの前記演算装置と前記記録装置と前記グラフィック装置を、前記物品データ記録部、前記環境光記録部、前記背景画像レンダリング部、前記画像調節部、前記物品画像レンダリング部、および前記画像統合部として機能させる
コンピュータープログラム。
前記コンピューターに接続される少なくとも一つのヘッドセットであって、実空間における該ヘッドセットの姿勢を検出しうる姿勢センサーとオペレーターへの提示画像を表示しうる少なくとも１つのディスプレイと該オペレーターにとっての視野に対応した外界の少なくとも一部を撮影しうる少なくとも１つの外界カメラとを備える、オペレーターが頭部に装着するヘッドセットと、
前記コンピューターに接続され、操作入力を前記オペレーターから受け付ける少なくとも一つの操作入力部と
を備えるコンピューターシステムを動作させて請求項１に記載のデザイン支援システムを実現するコンピュータープログラムであって、
前記コンピューターの前記演算装置と前記記録装置と前記グラフィック装置を、前記物品データ記録部、前記環境光記録部、前記背景画像レンダリング部、前記画像調節部、前記物品画像レンダリング部、および前記画像統合部として機能させる
コンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はデザイン支援システムに関する。さらに詳細には、本開示は物品のデザイン活動を支援するシステムに関する。
【背景技術】
【0002】
工業製品等の多様な物品の外観についての意匠デザインやそれを実現する内部構造は、物品の企画段階から設計、生産、販売の各段階に影響を与え、通常は多くの関係者の関与の下で決定される。例えば自動車産業では、車両の仕様が多様な条件に合わせて決定され、仕向地や想定顧客に応じて、外装（エクステリア）や内装（インテリア）のデザインが複雑なプロセスを経て慎重に決定される。そのプロセスでは、物品の企画や製造に関与する関係者はレビュー（デザインレビュー）を繰り返し、開発される製品のデザインを決定してゆく。想定されるユーザーなど第三者に開発中や発表前のデザインを提示して行う評価（デザインクリニック）が実施されることもある。デザインの評価を正確に行うために、スケッチやデザイン画のみならず、最終製品を再現性よく実現する試作品や模型も採用されてきた。車両のような大型物品であっても、試作された実物や実物大のクレイモデルといった大型のものを作製することにより、最終製品を可能な限り正確に再現することが行われてきた。
【0003】
近時、デザイン活動にも、コンピューター技術の進歩が取り入れられ、例えばコンピューター支援設計（ＣＡＤ）システムで３次元プロトタイピングが利用されたり、意匠デザインにも仮想現実（ＶＲ）システムや複合現実（ＭＲ）システムが活用されたりしつつある。特許文献１（特開２０１７－５９２１３号公報）にはオブジェクトのモデルの設計変更を管理する技術的課題を克服する方法と装置が開示されている。特許文献２（登録第７１５０３５４号）には、車両内装のデザイン業務を支援するためのシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－ ５９２１３号公報
【特許文献2】登録第７１５０３５４号
【発明の概要】
【発明が解決しようとする課題】
【0005】
物品のデザインでは、例えば車両に代表されるように、多大な投資を伴う物品ほど多様な立場の関係者が数多く関与することが一般的である。また、物品のサイズが大きいほど、評価のために試作された実物や模型（「模型等」と呼ぶ）がデザインの評価の精度向上に役立つものの、その大きさゆえに模型等の作製自体に時間を要し作業負担が大きい。大型の模型等は置かれる環境が限定され、その輸送コストも高いことから、多様な立場の多数の評価者による評価は容易ではない。このように、デザインの評価において判断精度を高めたい物品ほど理想的なワークフローを実施しにくく、デザインの評価自体が多大なコストを要するという矛盾がある。また、デザイン自体が大きな影響を及ぼす物品では、外部への公表までの守秘が必要となることも多い。そのような物品では、さまざまな環境でデザイン評価を実行したり、地域的に分散している評価者がデザインを評価したりすることも負担が大きい。時間の観点も重要であり、物品のデザインを最終製品に反映するまでに多大な時間を要すると、デザイントレンドが変わることにより販売の時機を逸する、といった危険性が増大してしまう。多様な環境を想定して多岐にわたる要素を考慮する物品のデザイン活動では、評価や検証を少ない負担で効率良く行ったり、地理的な距離を克服したりするための手法が求められている。
【0006】
本開示は、上記問題の少なくともいくつかを解決することを課題とし、物品のデザイン業務を支援する効率的なシステムやコンピュータープログラムを提供することにより、物品のデザイン業務の効率を高め、当該物品の高度化に寄与するものである。
【課題を解決するための手段】
【0007】
本発明者は、仮想現実（ＶＲ）システムよりもさらに高い現実感をもたらしうる複合現実（ＭＲ）技術の進展を享受することにより、物品のデザイン評価活動を効率化できることを着想した。ＭＲ技術では、自らの環境である実空間と物品が置かれた仮想空間とが融合されると、体験者は実空間と仮想空間とを区別しなくなり、その物品のデザインを高い現実感をもって目にすることができる。高度なＭＲ技術で物品のデザインを再現すると、実物を見慣れた物品（例えば車両）のように現実感のために高い再現性が要請される物品であっても、あたかも模型等が眼前に置かれているような感覚をもたらすことができ、体験者はデザイン業務に没入することができる。しかも、複合現実の空間で再現されるデザイン段階の物品は、構造を変更したり、色や形状、質感といった属性を変更したり、といった変更が容易に行える。ＭＲ技術を活用して物品のデザインを高い現実感で体験者に知覚させることができれば、模型等の作製を伴わずに高い精度でのデザイン評価が実行でき、デザインの評価作業を効率化することができる。
【0008】
ＭＲ技術を活用しようとして本願発明者が着目したのは、高い現実感をもたらすための物品デザインの再現性に影響を与え、没入感を左右しかねない要因が何であるか、である。注目したのは、ＭＲ技術で周囲の光環境が物品の外観に十分に反映できない場合には、物品の外観を観察しても、十分な現実感は得られにくいことである。しかし、周囲の光環境は千差万別であり、明るさを測定する程度では不充分である。また、特別な測定装置によって周囲の光環境を測定することも容易ではない。そこで、周囲の光環境を物品の外観に反映するためには、外界カメラが備わっているＨＭＤなどのヘッドセットを利用することが実用性の高い手法につながりうることを本願発明者は見いだした。本開示では、仮想空間を利用した物品のデザインに高い現実感を与えることにより、デザイン業務を支援しうるデザイン支援システムが提供される。
【0009】
すなわち、本開示のある態様においては、仮想空間における少なくとも１つの物品の構造を決定するための構造データと該物品についての属性を選択または調節するための属性候補データとを格納する物品データ記録部と、オペレーターが頭部に装着するための少なくとも１つのヘッドセットであって、実空間における該ヘッドセットの姿勢を検出しうる姿勢センサーと該オペレーターへの提示画像を表示しうる少なくとも１つのディスプレイと該オペレーターにとっての視野に対応した外界の少なくとも一部を撮影しうる少なくとも１つの外界カメラとを備えるヘッドセットと、事前撮影において前記外界カメラにより撮影した前記オペレーターまわりの方向別の明度を示す明度分布データを前記姿勢センサーの出力と対応付けて記録する環境光記録部と、前記環境光記録部から呼び出した前記明度分布データから、前記姿勢センサーの各時点の出力に対応した背景画像を生成する背景画像レンダリング部と、前記物品についての前記属性の選択または調節のための操作入力を前記オペレーターから受け付ける少なくとも一つの操作入力部と、前記操作入力部が受け付けた前記操作入力の指示内容に応じて前記属性候補データから選択または調節された前記属性のための属性データを生成する画像調節部と、前記物品データ記録部から呼び出した前記構造データと前記画像調節部からの前記属性データと前記環境光記録部から呼び出した前記明度分布データとから、前記操作入力の前記指示内容と前記姿勢センサーの各時点の前記出力とに対応した、前記明度分布データに対応する照明下での物品画像を生成する物品画像レンダリング部と、前記背景画像と前記物品画像とを合成して前記提示画像のための画像信号として出力する画像統合部とを備えるデザイン支援システムが提供される。
【0010】
さらに本開示においては上述したデザイン支援システムのためのコンピュータープログラムも提供される。
【0011】
本出願において、特に断りのない記載は、コンピューターグラフィクスの分野において用いられる技術用語を利用することがある。本出願においてデザインの対象となる対象物を「物品」と呼ぶ。本出願においてこの物品は特段制限されず、実空間における動産、不動産、有体物、無体物、といった視覚を通じて最終ユーザーが形状を認識しうる任意の対象を含む。このため、本願の物品には、現実の形ある任意の物体を含み、また仮想空間のためのや複合空間（仮想空間と実空間を組合わせた空間）において実空間を模擬して再現されることのみを前提とした物品をも含みうる。なお、本出願では多くの説明が車両（自動車）を対象として述べられ、車両のための技術用語も登場するが、これらは例示のものである。本出願において、デザインとは、美的外観としての意匠のみならず、物品の構造設計など、形状を対象とするものも含まれている。このため、デザイン業務には、必ずしも審美的観点のみに着目した活動に限られず、構造設計、機構設計などを含む広範な創造活動を含む。デザイン業務とは、構造設計や外観デザインを含む上記活動において、デザインを評価したり変更したりすることにより、デザインを決定する活動が典型である。ただし、デザインを展示したり、体験させたりするためにも本開示のデザイン支援システムを使用することは可能であり、その意味で必ずしも物品に対し能動的な変化をもたらさない活動も本開示におけるデザイン業務となりうる。姿勢（pose）とは、向き（orientation）と位置(position)とを組合わせたものであり、姿勢を検出するセンサーは、向きと位置との少なくとも1つ以上の成分を検出するものを意図している。仮想空間は、コンピューター上にて定義される３次元空間であり、実空間と区別して説明されるが、この区別は説明のためのものである。オペレーターとは、本出願においてはデザイン支援システムを体験または利用する体験者または使用者を一般的に示している。物品のデザインを評価する文脈では、その評価者がオペレーターとなりうる。実空間はオペレーターの身体が現に存在する空間である。ヘッドセットとは、複合現実技術においてオペレーターの頭部に固定することによりオペレーターの少なくとも視覚に画像を提示しうる装置である。ヘッドマウントディスプレイ（ＨＭＤ）やＶＲグラス、ＸＲグラスなどと呼ばれるものは、このようなヘッドセットの典型例である。本出願のヘッドセットは外界カメラを備えている。この外界カメラは、オペレーターの両眼に対応して対をなすカメラが典型的なものであり、複数の対であってもよい。本開示において画像には静止画と動画を含む。また、映像には動画が含まれているが、部分または全部が静止画となっても映像と呼ぶことがある。
【発明の効果】
【0012】
本開示のいずれかの態様では物品のデザイン業務を効率化するデザイン支援システムまたはコンピュータープログラムが提供される。
【図面の簡単な説明】
【0013】
【図1】本開示の実施形態におけるデザイン支援システムを使用している様子を概説する説明図である。
【図2】本開示の実施形態におけるデザイン支援システムの機能を示すブロック図である。
【図3】本開示の実施形態のデザイン支援システムに採用されるヘッドセットの構成を例示する説明図である。
【図4】本開示の実施形態のデザイン支援システムの利用方法の概略を例示するフローチャートである。
【図7A-C】本開示の実施形態のデザイン支援システムのハードウェア構成を示す説明図（図７Ａ）、左右両眼のための提示画像を生成する動作において、背景画像と物品画像と前景画像とを合成する様子を示す説明図（図７Ｂ、Ｃ）である。
【図8】本開示の実施形態におけるデザイン支援システムの機能を示すブロック図である。
【図9】本開示の実施形態のデザイン支援システムのハードウェア構成を示す説明図である。
【図10A-C】本開示の実施形態のデザイン支援システムの実施例におけるディスプレイ表示のキャプチャー画像である。
【図11A-B】本開示の実施形態のデザイン支援システムの実施例におけるディスプレイ表示のキャプチャー画像であり、車両を物品として表示した場合のボディー色の変更前（図１１Ａ）と変更後（図１１Ｂ）である。
【図12A-B】本開示の実施形態のデザイン支援システムの実施例におけるヘッドセットのディスプレイ表示のキャプチャー画像であり、球体を物品として表示した場合の鏡面反射（図１２Ａ）と拡散反射（図１２Ｂ）の様子である。
【図14A-B】本開示の実施形態のデザイン支援システムにおいてヘッドセットのディスプレイ表示のキャプチャー画像であり、距離を測定する測距機能を使用している様子（図１４Ａ）と、断面表示機能を使用している様子（図１４Ｂ）である。
【図15A-B】本開示の実施形態のデザイン支援システムにおいてヘッドセットのディスプレイ表示のキャプチャー画像であり、背景画像のために外界カメラからの実空間の画像を表示する例（図１５Ａ）と仮想空間の画像を表示する例（図１５Ｂ）を示す。
【図16】本開示の実施形態の複数のオペレーターがネットワーク経由で協働作業する状況での一例の構成を示す説明図である。
【図17】本開示の実施形態において注視点の検出および記録のために採用するアイトラッキング検出部を備えるデザイン支援システムの説明図である。
【図18】本開示の実施形態においてアイトラッキング検出部をもつヘッドセットを採用するデザイン支援システムのブロックダイヤグラムである。
【発明を実施するための形態】
【0014】
以下図面を参照し、本開示に係る物品デザイン支援システムの実施形態を説明する。全図を通じ当該説明に際し特に言及がない限り、共通する部分または要素には共通する参照符号が付される。また、図中、各実施形態の要素のそれぞれは、必ずしも互いの縮尺比を保って示されてはいない。
【0015】
１．システム構成
本開示で提供されるデザイン支援システムについて説明する。
本開示で提供されるデザイン支援システムについて説明する。
【0016】
１－１．構成（概要）
図１は、本開示の実施形態におけるデザイン支援システム１を使用している様子を概説する説明図である。図２は、本開示で提供されるデザイン支援システム１の機能を示すブロック図である。デザイン支援システム１を使用する現実の空間（実空間）においてオペレーター２は、ヘッドセット１０を装着している。実空間９は、例えばオペレーター２が現に存在する部屋であり、その空間には照明９２などがある。実空間９には窓からの光や何らかの光源が放つさまざまな光がほかにもありうる。オペレーター２には、ヘッドセット１０のディスプレイ１０２を通じ、あたかも実空間９に物品３が存在しているかのように見える提示画像４が、適当な接眼光学系（図示しない）を経由して提供される。この提示画像４は、例えば、背景画像４２と物品画像４４とを含む。オペレーターはこのようなデザイン支援システム１を使用して、その物品３のデザインを評価する。本開示のデザイン支援システム１を採用すると、提示画像４中の物品３は、オペレーター２にとって高い現実感を伴っている。本開示のデザイン支援システム１では、ヘッドセット１０に備わる外界カメラ１０８により撮影した明度分布データ５２２が、背景画像４２のために取り込まれる。この背景画像４２のための撮影データは、事前撮影と呼ぶ物品３のデザインの評価前の段階において、オペレーター２がヘッドセット１０を頭部に装着して周囲を見回す動作等により外界カメラ１０８から取り込まれ、環境光記録部５２０に記録される。ヘッドセット１０には、姿勢センサー（姿勢センサー移動子１０４）が備わっている。姿勢センサーによってその時々のヘッドセット１０の姿勢が検知されながら、その姿勢に適する背景画像４２と物品画像４４が、コンピューター５０により生成される。その背景画像４２は、物品画像４４と合成されて提示画像４となる。ここで、物品画像４４は、ヘッドセット１０の姿勢に応じて生成される際に、物品３の仮想空間での構造と属性とを反映するようにして生成される。その物品画像４４中の物品３の外観には、外界カメラ１０８の撮影データにおける背景の明度分布が反映される。つまり、物品画像４は、物品３の外観について、外界カメラ１０８で取得した明度分布による照明の下でどのような見え方をするかを反映した現実感の高い表示を実現している。この見え方には、照明９２による照度に応じた明度のような、周囲の光環境を反映した物品３表面の各部の明度の違いが反映されており、さらに、物品３の表面が例えば鏡面反射性を示す場合には、映り込みまで再現される。このため、オペレーター２が視覚を通じて知覚する物品３は、あたかも実空間９に存在している実物や模型であるかのような高い現実感を伴っている。
図１は、本開示の実施形態におけるデザイン支援システム１を使用している様子を概説する説明図である。図２は、本開示で提供されるデザイン支援システム１の機能を示すブロック図である。デザイン支援システム１を使用する現実の空間（実空間）においてオペレーター２は、ヘッドセット１０を装着している。実空間９は、例えばオペレーター２が現に存在する部屋であり、その空間には照明９２などがある。実空間９には窓からの光や何らかの光源が放つさまざまな光がほかにもありうる。オペレーター２には、ヘッドセット１０のディスプレイ１０２を通じ、あたかも実空間９に物品３が存在しているかのように見える提示画像４が、適当な接眼光学系（図示しない）を経由して提供される。この提示画像４は、例えば、背景画像４２と物品画像４４とを含む。オペレーターはこのようなデザイン支援システム１を使用して、その物品３のデザインを評価する。本開示のデザイン支援システム１を採用すると、提示画像４中の物品３は、オペレーター２にとって高い現実感を伴っている。本開示のデザイン支援システム１では、ヘッドセット１０に備わる外界カメラ１０８により撮影した明度分布データ５２２が、背景画像４２のために取り込まれる。この背景画像４２のための撮影データは、事前撮影と呼ぶ物品３のデザインの評価前の段階において、オペレーター２がヘッドセット１０を頭部に装着して周囲を見回す動作等により外界カメラ１０８から取り込まれ、環境光記録部５２０に記録される。ヘッドセット１０には、姿勢センサー（姿勢センサー移動子１０４）が備わっている。姿勢センサーによってその時々のヘッドセット１０の姿勢が検知されながら、その姿勢に適する背景画像４２と物品画像４４が、コンピューター５０により生成される。その背景画像４２は、物品画像４４と合成されて提示画像４となる。ここで、物品画像４４は、ヘッドセット１０の姿勢に応じて生成される際に、物品３の仮想空間での構造と属性とを反映するようにして生成される。その物品画像４４中の物品３の外観には、外界カメラ１０８の撮影データにおける背景の明度分布が反映される。つまり、物品画像４は、物品３の外観について、外界カメラ１０８で取得した明度分布による照明の下でどのような見え方をするかを反映した現実感の高い表示を実現している。この見え方には、照明９２による照度に応じた明度のような、周囲の光環境を反映した物品３表面の各部の明度の違いが反映されており、さらに、物品３の表面が例えば鏡面反射性を示す場合には、映り込みまで再現される。このため、オペレーター２が視覚を通じて知覚する物品３は、あたかも実空間９に存在している実物や模型であるかのような高い現実感を伴っている。
【0017】
デザイン支援システム１は、ハードウェアとしては、ヘッドセット１０およびそれに関連する周辺機器とコンピューター５０とにより実現することができる。ヘッドセット１０は外界カメラ１０８を備えており、典型的なものでは光学的透過部を持たない。コンピューター５０は、高いグラフィック性能を持つパーソナルコンピューター、ワークステーションとすることができるが、その近時の進化の結果、手に入りやすいものでも満足できる性能を実現しうる。コンピューター５０は、記録装置（主記憶装置、補助記憶装置）、グラフィック装置、演算装置、入出力装置、ネットワーク装置、入力装置といった一般的な計算機リソースをもつものを採用することができる。適切な有線または無線の接続インターフェイスを通じて、ヘッドセット１０、コントローラー（操作入力部）１２０が接続されている。重要なことは、デザイン支援システム１を実現するための最小限のハードウェア構成には実空間９のための明度分布データを取得する目的の追加のハードウェア（例えば天球カメラ）は含まれず、そのような追加のハードウェア構成を採用することは任意選択に留まることである。このため、デザイン支援システム１は、比較的手に入りやすく安価なハードウェア構成だけを必須としている。
【0018】
デザイン支援システム１は、物品データ記録部５１０と、少なくとも１つのヘッドセット１０と、環境光記録部５２０と、背景画像レンダリング部５３０と、少なくとも一つの操作入力部１２０と、画像調節部５４０と、物品画像レンダリング部５５０と、画像統合部５８０とを備えている。物品データ記録部５１０は、仮想空間における少なくとも１つの物品３の構造を決定するための構造データ５１２と物品３についての属性を選択または調節するための属性候補データ５１４とを格納する。ここで、属性とはデザイン業務において選択または調節を受ける対象となる性質である。このため、形状変更を伴うデザイン変更がデザイン業務の目的である場合には、形状を特定するための構造も属性の一つの典型例となりうる。ヘッドセット１０については次節で詳述する。環境光記録部５２０は、事前撮影において外界カメラ１０８により撮影したオペレーター２まわりの方向別の明度を示す明度分布データ５２２を姿勢センサー１０４、１０６の出力と対応付けて記録する。背景画像レンダリング部５３０は、環境光記録部５２０から呼び出した明度分布データ５２２から、姿勢センサー１０４、１０６の各時点の出力すなわち最新の出力に対応した背景画像４２を生成する。少なくとも一つの操作入力部１２０は、物品３についての属性の選択または調節のための操作入力をオペレーター２から受け付ける。画像調節部５４０は、操作入力部１２０が受け付けた操作入力の指示内容に応じて属性候補データから選択または調節された属性のための属性データ５４２を生成する。物品画像レンダリング部５５０は、物品データ記録部５１０から呼び出した構造データ５１２と画像調節部からの属性データ５４２と環境光記録部５２０から呼び出した明度分布データ５２２とから、操作入力の指示内容と姿勢センサー１０４、１０６の各時点の出力とに対応した、明度分布データ５２２に対応する照明下での物品画像４４を生成する。画像統合部５８０は、背景画像４２と物品画像４４とを合成して提示画像４のための画像信号として出力する。
【0019】
デザイン支援システム１において、物品画像レンダリング部５５０は、明度分布データに対応する周囲の映り込み像を物品画像の表面反射に反映させるものであると好適である。また、デザイン支援システム１において背景画像レンダリング部５３０は、物品データ記録部から構造データを呼び出し、明度分布データに対応して物品が実空間に落すべき影の方向における背景画像の明度を減じるものであると好適である。
【0020】
明度分布データ５２２は、明度を色別に取得していることもできる。この場合、環境光記録部５２０が、事前撮影において外界カメラ１０８により撮影した色別の明度を示す色彩明度データ（図示しない）を姿勢センサー１０４、１０６の出力と対応付けて記録するものである。背景画像レンダリング部５３０が、環境光記録部５２０から呼び出した色彩明度データから、姿勢センサー１０４、１０６の各時点の出力に対応した色彩背景画像を生成し、物品画像レンダリング部５５０が、物品データ記録部５１０から呼び出した構造データ５１２と画像調節部５４０からの属性データ５４２と環境光記録部５２０から呼び出した色彩明度データとから、操作入力の指示内容と姿勢センサー１０４、１０６の各時点の出力とに対応した、色彩明度データに対応する照明下での物品画像を生成すると、物品画像には、実空間９における色彩が反映されたより高い現実感がもたらされる。
【0021】
少なくとも一つの操作入力部１２０は、コンピューター５０に対する指示を入力しうる任意のデバイスとすることができる。ヘッドセット１０を装着したオペレーター２が、ディスプレイ１０２のみを通じて実空間９の事前操作時の撮影データを視認する場合であっても、リアルタイムでの操作を行うことができる。このような状況まで対応できる操作入力部１２０としてデザイン支援システム１のために適するものは、手で握って方向を走査したり入力ボタンを制御しうる任意のコントローラーに加え、ハンドトラッキングカメラ１０８Ａ（図３）に示されるようなオペレーターの手の動きをキャプチャーしうるセンサー（ハンドトラッキングセンサー）を採用することができる。オペレーター２に提示画像４を通じて操作入力部１２０の操作に応じて仮想空間内のレーザーポインターやメニュー表示などが提供されたり、バーチャルキーボードといった仮想空間での入力に適する表示が採用されたりすると、物品３の属性を決定するために、例えば色変更、モデルの変更、質感変更、形状変形などコンフィグレーターとして実行指示が容易となる。
【0022】
１－２．ヘッドセット
図３は、本開示の実施形態のデザイン支援システムに採用されるヘッドセット１０の構成を例示する説明図である。ヘッドセット１０の典型例は、例えばVarjo Technologies Oy社製Varjo XR-3である。
図３は、本開示の実施形態のデザイン支援システムに採用されるヘッドセット１０の構成を例示する説明図である。ヘッドセット１０の典型例は、例えばVarjo Technologies Oy社製Varjo XR-3である。
【0023】
ヘッドセット１０は、オペレーター２が頭部に装着するためのものであり、実空間９におけるヘッドセット１０の姿勢を検出しうる姿勢センサー移動子１０４、姿勢センサー固定子１０６とオペレーター２への提示画像４を表示しうる少なくとも１つのディスプレイ１０２とオペレーター２にとっての視野に対応した外界の少なくとも一部を撮影しうる少なくとも１つの外界カメラ１０８とを備える。典型的な構成において、オペレーター２が視覚を通じて知覚しうる視野には、提示画像４すなわちデザイン支援システム１を通じて生成された画像だけが視覚刺激として存在している。このため、ヘッドセット１０には、例えば外界を直接視認させ光学的パススルー像を提供するHoloLens（登録商標）のような光学的透過部は存在しない。オペレーター２に提示される提示画像４において、背景画像４２と物品画像４４の両者がヘッドセット１０のディスプレイ１０２を通じて提供される。
【0024】
ディスプレイ１０２、外界カメラ１０８は、両眼視差を反映したいわゆるステレオ視による奥行き知覚の観点でも現実感を高めるために、両眼に対応して対をなすようにされている。これに応じ、物品画像レンダリング部５５０、背景画像レンダリング部５３０、および画像統合部５８０が、ヘッドセット１つ当たり２系統備わっていることも好ましい。
【0025】
１－３．外界カメラによる明度分布データの取得
図３に示したように、外界カメラ１０８は、ヘッドセット１０に固定された視野で撮影可能である。外界カメラ１０８は、ヒトの眼球による視野範囲（大根ね１２０°程度）に近い程度の広い画角を持つようなものが好ましい。図３では、両眼に合せて対をなす外界カメラ１０８が撮影しうる画角の範囲をコーンのマークで表現している。本開示のデザイン支援システム１では、外界カメラ１０８により明度分布データ５２２を取得する。外界カメラ１０８は、ヘッドセット１０の向きが固定されていると天球（全天球や半天球）の撮影を外界カメラ１０８で行えないことがある。この場合には、明度データ５２２の取得のために、オペレーター２が１０８の方向を走査する。つまり、事前撮影においてヘッドセットの向きを変更しながら外界カメラにより撮影して取得した方向別の明度を取得することができる。この事前撮影は、例えばヘッドセット１０を装着したオペレーター２が、顎を引いて起立位を保ち、水平面内の全方向を走査し、顎を上げてもう一度水平面内の全方向を走査する、といったように走査する。こうして明度分布データ５２２のために必要な方向の撮影が行える。この際、撮影データには、姿勢データが関連付けられて環境光記録部５２０に格納されると好ましい。この姿勢データからは外界カメラ１０８の撮影方向が確定でき、また、全天球など十分な範囲の方向にわたって明度分布データを構築するために、例えばイメージスティッチングに役立てることができる。また、この姿勢データは、明度分布データを実空間の方向と対応付けるためにも利用できる。
図３に示したように、外界カメラ１０８は、ヘッドセット１０に固定された視野で撮影可能である。外界カメラ１０８は、ヒトの眼球による視野範囲（大根ね１２０°程度）に近い程度の広い画角を持つようなものが好ましい。図３では、両眼に合せて対をなす外界カメラ１０８が撮影しうる画角の範囲をコーンのマークで表現している。本開示のデザイン支援システム１では、外界カメラ１０８により明度分布データ５２２を取得する。外界カメラ１０８は、ヘッドセット１０の向きが固定されていると天球（全天球や半天球）の撮影を外界カメラ１０８で行えないことがある。この場合には、明度データ５２２の取得のために、オペレーター２が１０８の方向を走査する。つまり、事前撮影においてヘッドセットの向きを変更しながら外界カメラにより撮影して取得した方向別の明度を取得することができる。この事前撮影は、例えばヘッドセット１０を装着したオペレーター２が、顎を引いて起立位を保ち、水平面内の全方向を走査し、顎を上げてもう一度水平面内の全方向を走査する、といったように走査する。こうして明度分布データ５２２のために必要な方向の撮影が行える。この際、撮影データには、姿勢データが関連付けられて環境光記録部５２０に格納されると好ましい。この姿勢データからは外界カメラ１０８の撮影方向が確定でき、また、全天球など十分な範囲の方向にわたって明度分布データを構築するために、例えばイメージスティッチングに役立てることができる。また、この姿勢データは、明度分布データを実空間の方向と対応付けるためにも利用できる。
【0026】
明度分布データは、照明の再現や写り込みの再現に役立つように、周囲の物体の明度を十分な輝度範囲の再現性で格納されると有用である。このためには、例えばラチチュードが広いＨＤＲ（ハイダイナミックレンジ）イメージのための任意のフォーマットが好適なのものである。ただし、デザイン支援システム１では、明度分布データの測光学的、または色彩学的な正確性やトレーサビリティーは必ずしも必要ではない。オペレーター２が現実感を抱くために必要となる正確さの程度は、デザイン評価の具体的な用途や目的に応じて決定することができる。
【0027】
図４は、本開示の実施形態のデザイン支援システムの利用方法の概略を例示するフローチャートである。上述した事前撮影Ｓ０２では、明度分布データ５２２が取得される。この明度分布データ５２２は環境光記録部５２０に姿勢と対応付けて格納される。その後、物品３の属性が設定され（Ｓ０４）、デザインが表示されたり評価される（Ｓ０６）。この表示または評価Ｓ０６では、オペレーター２が物品３を、自らの環境において外界カメラ１０８を通じて撮影した明度分布データ５２２が２つの用途に使用される。すなわち、明度分布データは、背景画像４２のために利用され、物品画像４４における物品３の照明のために利用される。属性設定Ｓ０４で物品３のデザインが評価された後、必要に応じて条件が変更され（Ｓ０８）、次の条件が設定される（Ｓ１０）。ここで変更される条件は、典型的にはデザインのための属性が変更される。
【0028】
上記動作では、オペレーター２が観察する背景画像４２、物品画像４４には、事前撮影Ｓ０２の時点での明度分布データ５２２がそのまま採用される。デザイン支援システム１では、より現実感を高めるために、明度分布データ５２２のうち、ヘッドセット１０を装着しているオペレーター２にとっての視野の少なくとも一部に対応するデータを、外界カメラ１０８により撮影して取得した各時点の明度データにより置き換えることも有用である。このような処理は、背景更新処理部５３２（図２）により行われる。図４のフローチャートにおいて、表示または評価Ｓ０６はオペレーター２による物品３の評価であるため、一定程度の時間を掛けて実施される。この時間において、さまざまな方位から物品３を観察するといった検討が行われる。その途中において、内容がかきかわらない固定された明度分布データ５２２に代えて、外界カメラ１０８により撮影された内容が反映される明度分布データ５２２を採用すると、実空間９における照明の変化や、例えば対面側に別のオペレーターが存在して身動きしている様子が物品３の評価にも反映される。物品画像４４において、物品３に対する照明条件やその表面の写り込みも更新されることから、外界カメラ１０８の撮影内容によって明度分布データ５２２の少なくとも一部を更新することは、物品３の現実感を高め、オペレーター２を評価作業に没入させることに役立つ。
【0029】
図５Ａ～Ｂおよび図６Ａ～Ｂは、本開示の実施形態のデザイン支援システムにおいて外界カメラの動作を説明する説明図（図５Ａ、図６Ａ）と、その撮影例を示す表示（図５Ｂ、図６Ｂ）である。事前撮影において明度分布データが取得されるのは例えば全天球であり、図５Ａ、図６Ａのワイヤーグリッドで示す範囲である。図５Ｂは、事前撮影において取得された室内の様子をパノラマ展開図の様式で示している。このように、外界カメラ１０８を利用してオペレーター２が撮影することにより、図５Ａに示す全天球の明度分布データが取得でき、図５Ｂのように細部まで取得される。図５Ｂに例示される明度分布データをライティングとして用いるイメージベーストライティング（ＩＢＬ）を採用し、物品３の反射性を的確に反映する描画手法を採用することにより、仮想空間において物品３の外観を、実空間９の周囲光環境に可能な限り合致させて高い現実感で再現することができる。なお、本出願の図面のうちのいくつかは、特許出願様式の仕様に合わせてグレー表示しているもののデザイン支援システム１においては人の色覚に応じて色彩を含めて再現したり撮影することができる。また、本出願の図面のうちのいくつかでは、例えばＨＤＲイメージなど広い明度範囲（ラチチュード、ダイナミックレンジ）をカバーすることができるデータがある場合にも、通常の明るさの範囲で示している。
【0030】
図６Ａには、外界カメラ１０８で撮影される範囲がワイヤーグリッドの一部の領域に明示されている。外界カメラ１０８は、ヘッドセット１０に固定さており、その視野がヒトの視野を一定程度カバーする画角をもつものの、全天球からみるとその画角は一部に留まる。図６Ａ、図６Ｂには、外界カメラ１０８で撮影可能な視野の輪郭（カメラ画角４８）を実線で表示している。図５Ｂと図６Ｂとの比較で明らかなように、外界カメラ１０８で撮影可能な範囲は、全天球の一部に留まるが、そのカメラ画角４８内における変化（図５Ｂと図６Ｂにおける人物の有無）は、オペレーター２にとって重大となりうる。ヘッドセット１０を使用して物品３のデザインを評価している場面では、カメラ画角４８内は観察している物品３越しに視野に入る位置であるからである。ヒトの視覚において網膜の中心窩付近に結像する可能性のある位置は、外界カメラ１０８でパススルー表示する意味が大きい。このように、外界カメラ１０８を用いて撮影したその時々の実空間９の状況を適切に反映することは極めて有用である。
【0031】
１－４．測距、手、前景
デザイン支援システム１で物品３の現実感の高い再現が実現されると、オペレーター２は自らの身体（例えば手）が提示画像に含まれていないことに違和感を抱く傾向がある。例えば、ＶＲ技術やＭＲ技術で一般的となっているコントローラーを手で操作する際に、そのコントローラーや手が見えなければ操作をしにくくなる。特に本開示のデザイン支援システム１で光学的透過部を持たないようなヘッドセット１０が採用されると、外界についての視覚情報は追加されることが望ましい。そこで、デザイン支援システム１の好ましい構成では、奥行き測距部１３０と、前景画像レンダリング部５７０とをさらに備えている。奥行き測距部１３０は、実空間の各方向における物体までの距離を計測しうる。これは、ＬｉＤＡＲ（Light Detection And Ranging）光学素子（図示しない）を外界カメラ１０８の位置に装備することや、ハンドトラッキングカメラにより実現することができる。奥行き測距部１３０が示す物体までの距離が仮想空間における物品までの距離よりも小さい方向について、外界カメラ１０８またはハンドトラッキングカメラ１０８Ａの出力に基づいて前景画像レンダリング部５７０が前景画像４６を生成する。この場合、画像統合部５８０が、背景画像４２と物品画像４４とに前景画像４６を追加合成して提示画像のための画像信号を出力することにより、提示画像にコントローラーや手など、物品よりも前に位置する物体の撮影像を含めることができる。
デザイン支援システム１で物品３の現実感の高い再現が実現されると、オペレーター２は自らの身体（例えば手）が提示画像に含まれていないことに違和感を抱く傾向がある。例えば、ＶＲ技術やＭＲ技術で一般的となっているコントローラーを手で操作する際に、そのコントローラーや手が見えなければ操作をしにくくなる。特に本開示のデザイン支援システム１で光学的透過部を持たないようなヘッドセット１０が採用されると、外界についての視覚情報は追加されることが望ましい。そこで、デザイン支援システム１の好ましい構成では、奥行き測距部１３０と、前景画像レンダリング部５７０とをさらに備えている。奥行き測距部１３０は、実空間の各方向における物体までの距離を計測しうる。これは、ＬｉＤＡＲ（Light Detection And Ranging）光学素子（図示しない）を外界カメラ１０８の位置に装備することや、ハンドトラッキングカメラにより実現することができる。奥行き測距部１３０が示す物体までの距離が仮想空間における物品までの距離よりも小さい方向について、外界カメラ１０８またはハンドトラッキングカメラ１０８Ａの出力に基づいて前景画像レンダリング部５７０が前景画像４６を生成する。この場合、画像統合部５８０が、背景画像４２と物品画像４４とに前景画像４６を追加合成して提示画像のための画像信号を出力することにより、提示画像にコントローラーや手など、物品よりも前に位置する物体の撮影像を含めることができる。
【0032】
図７Ａ～Ｃは、本開示の実施形態のデザイン支援システムのハードウェア構成を示す説明図（図７Ａ）、左右両眼のための提示画像を生成する動作において、背景画像と物品画像と前景画像とを合成する様子を示す説明図（図７Ｂ、Ｃ）である。図７Ａに示したとおり、オペレーター（図７Ａに図示しない）のためにコンピューター５０が１台採用され、そのコンピューター５０では、図７Ｃに示すように、左右両眼のためのディスプレイ１０２を通じた提示画像４Ｌ、４Ｒが生成される。オペレーターは、両眼視差を正しく反映した提示画像４Ｌ、４Ｒによって奥行きも知覚することができる。図７Ｃの左右両眼それぞれのための提示画像４Ｌ、４Ｒは、図７Ａのコンピューター５０において左用および右用の独立したチャネルでトランシーバー５２Ｌ、５２Ｒを通じてヘッドセット１０に伝送される。トランシーバー５２Ｌ、５２Ｒは、コンピューター５０の適切な入出力インターフェイス（例えば、USB-C3.0／3.1、Display Port）とヘッドセット１０との送受信を中継する。この際、ヘッドセット１０に装備される外界カメラ１０８からの映像信号またはデータも左右別々にコンピューター５０に送信される。ヘッドセット１０の実空間９における姿勢（向き、位置）は、姿勢センサー１０４、１０６により検知される。姿勢センサー１０４、１０６は、ジャイロスコープや磁気センサー等の方向センサーと、赤外線やレーザーによりデカルト座標による位置を検知する位置センサーとを組合わせたものとすることができる。必要に応じ姿勢センサー１０４、１０６は、地上子（姿勢センサー地上子１０６）を配置して数値的な精度を確保している。背景画像４２は、事前撮影において取得された明度分布データや、それを更新したものであり、外界カメラ１０８により撮影される。物品画像４４は、明度分布データ５２２をイメージベーストライティングのための照明として使用して算出された物品３の画像を含んでいる。前景画像４６は、物品３よりも手前に存在するべき物体の画像である。背景画像、物品画像、前景画像を合成する様子を示す説明図（図７Ｂ、図７Ｃ）である。この合成は、例えばアルファブレンド、Ｚバッファリング等の既知の画像合成方法により実行することができる。物品画像において物品３以外の部分や、前景画像４６において物品３より手前に存在するべき物体以外の部分は、透過して合成される。左右それぞれについてこのような合成を独立して行うことにより、物品３があたかも実空間に置かれた模型のように知覚されうる、現実感の高い提示画像を提供することができる。
【0033】
なお、図１０Ｃには、オペレーター２の自らの腕と手が物品３に延びる様子が前景画像４６として実際に示されている。現実に物品３に接触することこそ不可能ではあるが、自らの腕と手がディスプレイ１０２の提示画像４に含まれている場合には、オペレーター２は物品３に対して高い現実感を抱くこととなる。
【0034】
なお、図６Ａ、図６Ｂに示したように、ヒトの視野範囲の制限から、ディスプレイ１０２を通じて提示画像としてその時々オペレーター２に提示するべき範囲は、全天球の範囲のうちの一部である。このため、可能な限り現実感を高める目的からは、外界カメラ１０８からのリアルタイムの画像を背景画像４２のために表示することも好ましい。その一方、物品画像４４に含まれる物品３のライティング処理のための明度分布データについては、物品３の表面による反射のために実質的に全天球の範囲のものが現実感を高めることに大きな寄与をもつ。したがって、事前撮影Ｓ０２（図４）において取得した明度分布データを利用したり、その更新も必要最小限にとどめることで、方向について広い範囲についてのデータが利用できることが肝要ともなりうる。
【0035】
１－５．複数オペレーター
本開示では、複数のオペレーターにより同時に使用するデザイン支援システムも提供される。図８は、デザイン支援システム１Ｍの構成を示す説明図である。デザイン支援システム１Ｍは、各オペレーターに対応させてヘッドセット１０、ディスプレイ１０２、外界カメラ１０８、コンピューター５０がセットとなって備わっており、必要な人数分だけそのセットが接続されている。各セットはスタンドアローンでも動作可能である。このため、環境光記録部５２０、背景画像レンダリング部５３０、物品画像レンダリング部５５０、画像統合部５８０は、各コンピューター５０において実装されている（図２参照。図８には示さない）。このため、各オペレーターのための環境光記録部５２０は、各オペレーター２まわりの方向別の明度を示す明度分布データをヘッドセットの姿勢と対応付けて記録する。各背景画像レンダリング部５３０は、各オペレーターの実空間における姿勢センサーの各時点の出力に対応した背景画像４２を生成する。各物品画像レンダリング部５５０は、各オペレーターの姿勢センサー１０４、１０６の各時点の出力に対応した、各オペレーターの明度分布データに対応する照明下での物品画像４４を生成する。各画像統合部は、背景画像４２と物品画像４４とを合成して各オペレーターについての提示画像４のための画像信号を出力する。また、図４に示したように、事前撮影Ｓ０２においてヘッドセット１０の向きを変更しながら各オペレーター２の外界カメラ１０８により撮影した各オペレーターまわりの方向別の明度を示す明度分布データ５２２が各環境光記録部５２０に格納されると好ましい。このように、各オペレーターが装着しているヘッドセット１０のディスプレイ１０２には、各オペレーターの実環境に応じた提示画像４が表示される。このように、本実施形態では、複数のオペレーターがそれぞれ異なる実空間に存在している場合であっても、各オペレーターは自らの環境を反映した物品３のデザイン評価を実行することができる。
本開示では、複数のオペレーターにより同時に使用するデザイン支援システムも提供される。図８は、デザイン支援システム１Ｍの構成を示す説明図である。デザイン支援システム１Ｍは、各オペレーターに対応させてヘッドセット１０、ディスプレイ１０２、外界カメラ１０８、コンピューター５０がセットとなって備わっており、必要な人数分だけそのセットが接続されている。各セットはスタンドアローンでも動作可能である。このため、環境光記録部５２０、背景画像レンダリング部５３０、物品画像レンダリング部５５０、画像統合部５８０は、各コンピューター５０において実装されている（図２参照。図８には示さない）。このため、各オペレーターのための環境光記録部５２０は、各オペレーター２まわりの方向別の明度を示す明度分布データをヘッドセットの姿勢と対応付けて記録する。各背景画像レンダリング部５３０は、各オペレーターの実空間における姿勢センサーの各時点の出力に対応した背景画像４２を生成する。各物品画像レンダリング部５５０は、各オペレーターの姿勢センサー１０４、１０６の各時点の出力に対応した、各オペレーターの明度分布データに対応する照明下での物品画像４４を生成する。各画像統合部は、背景画像４２と物品画像４４とを合成して各オペレーターについての提示画像４のための画像信号を出力する。また、図４に示したように、事前撮影Ｓ０２においてヘッドセット１０の向きを変更しながら各オペレーター２の外界カメラ１０８により撮影した各オペレーターまわりの方向別の明度を示す明度分布データ５２２が各環境光記録部５２０に格納されると好ましい。このように、各オペレーターが装着しているヘッドセット１０のディスプレイ１０２には、各オペレーターの実環境に応じた提示画像４が表示される。このように、本実施形態では、複数のオペレーターがそれぞれ異なる実空間に存在している場合であっても、各オペレーターは自らの環境を反映した物品３のデザイン評価を実行することができる。
【0036】
また、複数のオペレーターにより同時に使用するデザイン支援システムでは、一のオペレーターが他のオペレーターの明度分布データに基づいて背景画像および物品画像が生成されるように構成することも好ましい。具体的には、複数のオペレーターのうちの一のオペレーターのための環境光記録部が他のオペレーターのための明度分布データを記録している。その一のオペレーターのための背景画像レンダリング部および物品画像レンダリング部は、背景画像および物品画像を生成するために、その環境光記録部にある他のオペレーターのための明度分布データを利用する。このような構成により、一のオペレーターの背景画像や物品画像を生成するために、他のオペレーターが事前撮影で取得した明度分布データを利用できることとなる。つまり、他のオペレーターが観察している背景画像および物品画像が一のオペレーターにも観察されるため、両オペレーターが評価している物品に影響する周囲光環境とその物品の外観とを一致させることができる。この場合でも、各オペレーターは自ら観察する物品に対して高い現実感を感じることができる。なお、この構成において、一のオペレーターにとっては、明度分布データが自らの実環境のものではないため、実質的にはＭＲというよりもＶＲ（仮想現実）に近い状況となる。デザイン評価の協働作業においてオペレーター同士が互いに評価対象の物品についての外観を共有できれば、互いの評価に対する理解が深まる点で有用である。
【0037】
なお、物品の外観を一致させるためにこのような構成を採用する場合には、更新の処理においてもオペレーターをまたがった処理がなされうる。具体的には、一のオペレーターのために背景更新処理部が備わっており、その背景更新処理部の動作を、一のオペレーターのための環境光記録部にある他のオペレーターのための明度分布データを対象とすると好ましい。つまり、その明度分布データのうち、ヘッドセットを装着している一のオペレーターにとっての視野の少なくとも一部に対応するデータを、他のオペレーターの外界カメラにより撮影して取得した明度データにより置き換える。複数のオペレーターが対応する方向を同時に向いているとは限らないため、必ずしも最新の明度データによって更新がなされるわけではない。しかし、他のオペレーターの外界カメラによって明度分布データが更新されたことが一のオペレーターによる物品のデザインの評価に反映されれば、デザイン評価の協働作業を円滑に実施することができる。
【0038】
他方、複数のオペレーターによる協働作業を支援する場合、デザイン支援システム１Ｍでは、例えば、上述した物品データ記録部５１０、環境光記録部５２０を各コンピューター５０と通信可能なデータサーバー５０Ｓに確保しておいて、背景画像レンダリング部５３０、背景更新処理部５３２、画像調節部５４０、物品画像レンダリング部５５０、前景画像レンダリング部５７０（いずれも図８に示さない）を各コンピューター５０に分散する、といった実装を行うことができる。このように、各オペレーターの頭部が別々の姿勢をとっているときにも適切な提示画像を各オペレーターに示しつつ、共通したモデルを対象としてデザイン検討を行うことができる。さらに、操作入力部１２０による操作入力は各オペレーターが各自で行ってもよく、また、いずれかのオペレーターによる操作入力に従った提示画像を他のオペレーターに提示することもできる。特に複数のオペレーターによる協働作業を行う場合には、あるオペレーターが他のオペレーターに説明を行うために注目すべき部分を特定して示したり、強調したり、といった作業を行う場合がある。そのような目的のためには、仮想空間内でのライティングにおいて、ポインターやフラッシュライト（懐中電灯）に対応する局所照明を、指示するオペレーターが操作できるようにすることも好ましい。例えば、オペレーター２が持つ操作入力部１２０には、ポインターのように方向を検出する機能を備えることができる。このように、デザイン支援システム１、１Ｍでは任意の位置を指し示す機能や、局所照明の操作機能を実装することが好ましい。
【0039】
デザイン支援システム１Ｍは、複数のオペレーターの各々のための複数の背景更新処理部５３２を備えていると好ましい。背景更新処理部５３２それぞれは、各オペレーターにとっての視野の少なくとも一部に対応するデータを、外界カメラにより撮影して取得した各時点の明度データにより置き換える。このように、各オペレーターは、自らの実空間９に対応して更新される明度分布データに基づく背景画像４２や物品画像４４を観察することができ、高い現実感が複数のオペレーターに対して実現される。デザイン支援システム１Ｍにおいても、奥行き測距部１３０を採用することにより、前景画像４６を背景画像４２、物品画像４４に重ねて表示することができる。
【0040】
図９は、本開示の実施形態のデザイン支援システム１Ｍのハードウェア構成を示す説明図であり、複数のオペレーター２それぞれにコンピューター５０を利用したヘッドセット１０を採用する構成のものである。図８に示したとおり、典型的には一人のオペレーター２あたりコンピューター５０が１台採用され、そのコンピューター５０では、左右両眼のためのディスプレイ１０２を通じた提示画像が生成される。図９では、二人のオペレーター（Operator A, B）のために、それぞれが現にいる空間である実空間９Ａ、９Ｂにおいて本開示の実施形態のデザイン支援システム１Ｍをなすヘッドセット１０とコンピューター５０とが１セットずつ採用されている。図９に示された機器はＬＡＮ（ローカルエリアネットワーク）またはＷＡＮ（ワイドエリアネットワーク）などの任意のネットワークにより接続されている。ただし、このようなコンピューター装置とオペレーターの対応関係は、採用する機器の処理性能や必要な品位との兼ね合いで変更可能である。複数のオペレーターによる物品のデザイン評価を支援することができれば、多様な観点に基づく評価が容易に実施でき、デザイン評価の効率を高めることができる。
【0041】
また、実用面の観点では、いずれかのオペレーター２に対して提示されている提示画像（左右両眼またはいずれか一方の眼に提示するもの）を、単にビデオイメージとして記録したり、外部の表示装置に提示することも役立つ。デザイン支援システム１Ｍのオペレーターは、物品３の評価作業に没入しているが、その様子が記録されていたりモニター装置で監視されていることは、客観的な記録となること、意図された評価が実施されているかどうかを確認できること、といった利点をもつ。この際、後述する注目点の記録を取ることも有益である。
【0042】
２．実施例
ここで、上述した特徴やその他の特徴を実装した本開示のデザイン支援システム１の実施例について説明する。本開示のデザイン支援システム１の実施例を下記ハードウェア構成により実現した。
・ヘッドセット、トランシーバー、姿勢センサー：Varjo XR-3またはVarjo XR-3 Focal Edition(Varjo Technologies Oy社、ヘルシンキ、フィンランド)
・ＰＣ：HP Inc.社製、Windwos11
・ＣＰＵ: Core i7-13700K（Intel社製）
・メモリー：３２ＧＢ
・グラフィックボード： GeForce RTX 4070（NVIDIA社製）
・ソフトウェア：Unreal Engine（Epic Games社製）、OpenXR（Khronos Group社製
（各社名および製品は各社の登録商標を含むことがある）
・物品：四輪自動車デザイン例
図１０Ａ～Ｃ、図１１は、本開示の実施形態のデザイン支援システムの実施例におけるヘッドセットのディスプレイ表示のキャプチャー画像であり、図２に示したデザイン支援システム１を実際に構築した実施例システムにおいて、その左右両眼の画像を記録した映像のスナップショットをキャプチャーしたものである。これらの図は、ディスプレイ１０２によりオペレーター２に提示される画像であり、ヘッドセット１０が光学的透過部を持たないことから、オペレーター２はこのような電子的に生成されたな画像のみを視覚を通じて見ることとなる。ここでは、物品３として自動車をデザインしている。また、実空間９は、図５Ｂに示したような部内である。背景画像４２のための更新処理は外界カメラ１０８からの撮影信号をパススルーで使用した。明度分布データは、外界カメラ１０８を実際に装着したオペレーター２が事前撮影により全天球を撮影したものを環境光記録部５２０に記録したものであり、物品画像４４における物品３は、その明度分布データを利用したイメージベーストライティングを利用して仮想空間内に実現した。物品３のための仮想空間と実空間との対応は、実空間の床面に置いたキャリブレーションマーカー（２次元コード）により座標を一致させた。画像統合部５８０のための処理は、アルファブレンドを採用して、物品画像４４における物品３の光の透過部（自動車の窓など）で物品画像４４の背景が適切に合成されるようにした。
ここで、上述した特徴やその他の特徴を実装した本開示のデザイン支援システム１の実施例について説明する。本開示のデザイン支援システム１の実施例を下記ハードウェア構成により実現した。
・ヘッドセット、トランシーバー、姿勢センサー：Varjo XR-3またはVarjo XR-3 Focal Edition(Varjo Technologies Oy社、ヘルシンキ、フィンランド)
・ＰＣ：HP Inc.社製、Windwos11
・ＣＰＵ: Core i7-13700K（Intel社製）
・メモリー：３２ＧＢ
・グラフィックボード： GeForce RTX 4070（NVIDIA社製）
・ソフトウェア：Unreal Engine（Epic Games社製）、OpenXR（Khronos Group社製
（各社名および製品は各社の登録商標を含むことがある）
・物品：四輪自動車デザイン例
図１０Ａ～Ｃ、図１１は、本開示の実施形態のデザイン支援システムの実施例におけるヘッドセットのディスプレイ表示のキャプチャー画像であり、図２に示したデザイン支援システム１を実際に構築した実施例システムにおいて、その左右両眼の画像を記録した映像のスナップショットをキャプチャーしたものである。これらの図は、ディスプレイ１０２によりオペレーター２に提示される画像であり、ヘッドセット１０が光学的透過部を持たないことから、オペレーター２はこのような電子的に生成されたな画像のみを視覚を通じて見ることとなる。ここでは、物品３として自動車をデザインしている。また、実空間９は、図５Ｂに示したような部内である。背景画像４２のための更新処理は外界カメラ１０８からの撮影信号をパススルーで使用した。明度分布データは、外界カメラ１０８を実際に装着したオペレーター２が事前撮影により全天球を撮影したものを環境光記録部５２０に記録したものであり、物品画像４４における物品３は、その明度分布データを利用したイメージベーストライティングを利用して仮想空間内に実現した。物品３のための仮想空間と実空間との対応は、実空間の床面に置いたキャリブレーションマーカー（２次元コード）により座標を一致させた。画像統合部５８０のための処理は、アルファブレンドを採用して、物品画像４４における物品３の光の透過部（自動車の窓など）で物品画像４４の背景が適切に合成されるようにした。
【0043】
図１０Ａ～Ｃでは、室内を実空間９としてそこに相対的に大きな自動車を物品３として配置している。オペレーター２にとって物品３は手をのばせば触れられる程度に至近距離に配置されているかのように知覚される。これには、両眼視差を反映したステレオ視による立体感に加え、仮想空間でイメージベーストライティングにより生成されている自動車の外観が高い現実感で再現されているためでもある。例えば、図１０Ａでは、実空間９において天井に配置されている室内照明は、自動車のウインドウシールド表面にその曲率を反映しつつガラス表面の鏡面反射性の写り込みとして反映されている。また、自動車のボンネットフード表面をみると、表面反射と拡散反射とが組み合わさったメタリック塗装の質感が、表面反射による写り込みと光源の方向を反映した面の明度の変化とを含め高い現実感で表現されている。写り込んでいる光源は、左右両眼でステレオ視すると、ウインドウシールド表面やボンネット表面とは奥行き方向で異なる位置にあることも知覚できる。これらの結果、オペレーター２は、実空間９にあたかもて自動車やその模型が置かれているかのような感覚でデザインを評価することができる。図１０Ｂ、図１０Ｃについても同様の物品３が示されている。オペレーター２は実空間９の広がりの範囲で視点を調整することができる。例えば、自ら歩いて移動したり、頭部の床面からの高さを変更するができる。また、頭部を傾斜させてのぞき込んだり、見上げたり、種々の方向を向くこともできる。これらの向きおよび位置（姿勢）を取ることもできる。オペレーター２は、物品３の外観の高い現実感に加えて、極めて自然な動作によって視点を調整しながら／３の／デザイン評価を実行することができる。ただし、現実感をさらに向上させる余地もある。図１０Ｂ、図１０Ｃで表現されていない自動車が実空間に落すべき影は、この実施例システムでは、明度分布データに対応して物品３が実空間９に落すべき影の方向において、背景画像４２の明度を減じる機能を追加して実装することでそのような影も再現される。図１０Ｂ、図１０Ｃに示されている他の特徴については後述する。
【0044】
図１１Ａ、図１１Ｂは、図１０Ａ～Ｃに示したものと同じ四輪自動車モデルについて、互いにほぼ同じ姿勢（位置、向き）から観察した状況においてボディー色変更を変更した前後の様子を示している。様式上の制約からグレー表示となっているが、実施例システムでは、高い明度のシルバーメタリック塗装（図１１Ａ）が低い明度のレッドメタリック塗装（図１１Ｂ）に変更される前後がディスプレイ１０２に表示される。図１１Ａ、図１１Ｂに示されるように、物品３は、高い現実感を伴うばかりではなく、仮想空間で容易に属性（ボディーカラー）を変更することができる。その前後では、図１１Ａと図１１Ｂとの対比から、図面上表現されていない色相、飽和度の違いばかりではなく、明度の違いによる表面反射の相対的な強さの違いや印影の表現といった細部まで変化しており、極めて高い現実感を伴ってデザインを評価することが可能となる。なお、ここではメタリックペイントでの色変化を例示したが、メタリックペイント以外にも、マット、ソリッドカラー、キャンディーペイント、といった種々の塗装や、ペイントではない模様や塗り分けといったものも選択できれば、仮想空間にて再現可能な任意の表面の表示を再現することができる。これらの調整されたり選択される属性候補データは、物品データ記録部５１０に格納されるため、ソフトウェアやデータの変更のみで実装することができる。
【0045】
より単純な形状をもつ物品によりライティングの原理的な作用を確認した。図１２Ａ～Ｂは、本開示の実施形態のデザイン支援システム１の実施例におけるヘッドセットのディスプレイ表示のキャプチャー画像であり、球体を物品３Ｓとして表示した場合の鏡面反射（図１２Ａ）と拡散反射（図１２Ｂ）の様子である。図４のステップＳ０２における事前撮影の後に、物品３Ｓの反射特性だけを鏡面反射から拡散反射に変更しているため、実空間９は同一で明度分布データも同じである。図１２Ａの鏡面反射では、物品３Ｓの表面で反射する実空間９の明度が明瞭に観察される。この鏡面反射は、金属表面のような高い反射率と平滑性を兼ね備えるような面が設定されている事例である。これに対し、図１２Ｂの拡散反射では、物品３Ｓ表面の各部は、明度分布データによる照明がその各部を照らす照度に応じた輝度をもつ面としてのみ表示される。これは表面に白またはグレーといった明るい拡散反射面が設定されている事例である。なお、図１２Ａ、Ｂにおいても、背景画像４２は外界カメラ１０８のビデオパススルー映像であるが、物品３Ｓをレンダリングするための照明となる明度分布データは事前撮影のものである。
【0046】
以上の実施例を通じ、デザイン支援システム１は、実空間９と仮想空間とを融合することによりオペレーター２のデザイン評価を支援できるような高い現実感をもたらすこと、および仮想空間で再現される物品が示しうる表現が十分に多様であることが確認された。
【0047】
３．機能
本開示のデザイン支援システム１のより詳細な機能についてさらに追加して説明する。
３－１．変形、部品のグループ化
デザイン支援システム１では、物品３のデザインのために仮想空間を利用する利点が生かされる。その一つが、物品３に対する直感的な変形をオペレーター２が行いやすくする変形機能である。図１３Ａ～Ｃは、本開示の実施形態のデザイン支援システムにおける変形機能の作用を示す説明図である。この機能を使用する際には、バウンディングボックス設定部５６０（図２）によって、物品３を内包するバウンディングボリュームまたはバウンディングボックス７が設定される。バウンディングボックス７は、格子（ラティス）状に区切られており、オペレーター２が操作入力部１２０による操作によってグリップしうる複数のグリップポイント７２を表面の格子点にもつ。図１３Ｂに示すように、バウンディングボックス７は変形前の物品３を内包する例えば角柱とされる。グリップポイント７２は、例えばその角柱をなす各辺を３等分する内分点と、各内分点を角柱表面で互いに繋ぐ複数の直線同士の交点とに設定される。バウンディングボックス７では、いずれかのグリップポイント７２をオペレーター２が操作入力部１２０によりグリップ状態として変位するように、例えばドラッグするなどの操作をすると、それに対応してグリップポイント７２が変位し、例えば、グリップポイント７２のうちグリップされないものは変位しない。この際、複数のグリップポイント７２の間の空間座標は、内分比率を維持したまま拡大されたり縮小されたりするようにできる。結果、バウンディングボックス７の内部の座標も変位する（図１３Ｃ）。このような座標の変位は座標変位部５６２（図２）により計算される。この座標変位部５６２による変位に応じて構造データ５１２が参照する座標が変位される。こうして、仮想空間におけるバウンディングボックス７内の少なくとも一部の座標を参照する物品３の構造が変形される。この変形は、構造変形部５６４（図２）により実行される。物品画像レンダリング部５５０を、物品データ記録部５１０から呼び出した構造データを構造変形部５６４により変位した座標に対応させて表示することにより、図１３Ｃの物品３Ｍのような変形した後の構造をもつ物品画像が生成される。
本開示のデザイン支援システム１のより詳細な機能についてさらに追加して説明する。
３－１．変形、部品のグループ化
デザイン支援システム１では、物品３のデザインのために仮想空間を利用する利点が生かされる。その一つが、物品３に対する直感的な変形をオペレーター２が行いやすくする変形機能である。図１３Ａ～Ｃは、本開示の実施形態のデザイン支援システムにおける変形機能の作用を示す説明図である。この機能を使用する際には、バウンディングボックス設定部５６０（図２）によって、物品３を内包するバウンディングボリュームまたはバウンディングボックス７が設定される。バウンディングボックス７は、格子（ラティス）状に区切られており、オペレーター２が操作入力部１２０による操作によってグリップしうる複数のグリップポイント７２を表面の格子点にもつ。図１３Ｂに示すように、バウンディングボックス７は変形前の物品３を内包する例えば角柱とされる。グリップポイント７２は、例えばその角柱をなす各辺を３等分する内分点と、各内分点を角柱表面で互いに繋ぐ複数の直線同士の交点とに設定される。バウンディングボックス７では、いずれかのグリップポイント７２をオペレーター２が操作入力部１２０によりグリップ状態として変位するように、例えばドラッグするなどの操作をすると、それに対応してグリップポイント７２が変位し、例えば、グリップポイント７２のうちグリップされないものは変位しない。この際、複数のグリップポイント７２の間の空間座標は、内分比率を維持したまま拡大されたり縮小されたりするようにできる。結果、バウンディングボックス７の内部の座標も変位する（図１３Ｃ）。このような座標の変位は座標変位部５６２（図２）により計算される。この座標変位部５６２による変位に応じて構造データ５１２が参照する座標が変位される。こうして、仮想空間におけるバウンディングボックス７内の少なくとも一部の座標を参照する物品３の構造が変形される。この変形は、構造変形部５６４（図２）により実行される。物品画像レンダリング部５５０を、物品データ記録部５１０から呼び出した構造データを構造変形部５６４により変位した座標に対応させて表示することにより、図１３Ｃの物品３Ｍのような変形した後の構造をもつ物品画像が生成される。
【0048】
このような機能により、オペレーター２は、あたかも粘土細工を直接触っているかのような感覚で仮想空間において物品３を変形することができる。その際に物品３が実空間９において示す外観が高い現実感で再現できることは、最終的な外観を知覚しながら形状が変更できることから、高度なデザイン業務について仮想空間の利点を生かした支援を実現することとなる。
【0049】
また、デザイン支援システム１では、上述した変形をより手軽に実現するための工夫もなされている。特に物品３が複数の部品を組立てた構造を持つものでは上記変形機能が役立つ。物品３が複数の部品（図示しない）を含むものでは、物品データ記録部５１０が、部品の構造を決定するための部品構造データ５１６（図２）を格納している。そして、構造変形部５６４が、複数の部品のための部品構造データ５１６が参照する座標を座標変位部５６２による変位に応じて変位することにより、複数の部品をグループ化して変形させる。物品３が複数の部品を組立てたり組合わせたりしたものである場合、一つの部品の変形だけではなく、それと組み合わされる他の部品も同時に変形することは、単に複数の部品についての変形作業が省略できるばかりではなく、部品相互の関係を適切に維持し変形できることとなる。結果、変形に応じて例えば組み立て可能性を再度検討する必要性、といった変形により必要となる付随作業が減少する。このようにしててデザイン支援システム１ではデザイン業務において構造が影響する物品形状の修正を支援することができる。
【0050】
３－２．物品の距離測定、物品の断面表示
デザイン支援システム１では、よりきめ細かく物品のデザイン評価を支援する工夫も好ましい。すなわち、デザイン支援システム１では、物品３の表面において物理的な距離を測定する機能や、物品の各部の断面を確認する機能を実現することにより、デザイン評価を支援することも好ましい。図１４Ａ～Ｂは、本開示の実施形態のデザイン支援システムにおいてヘッドセットのディスプレイ表示のキャプチャー画像であり、距離を測定する測距機能を使用している様子（図１４Ａ）と断面表示機能を使用している様子（図１４Ｂ）とを示す。デザイン支援システム１では、コントローラー姿勢センサー１２４（図２）と、ポイント位置判定部５７２と距離算出部５７４とをさらに備えている。コントローラー姿勢センサー１２４は操作入力部１２０それ自体の姿勢を検知する。ポイント位置判定部５７２は、コントローラー姿勢センサー１２４の出力に応じて決定された仮想空間における仮想線と構造のなす表面との交点により注目位置を判定する。ポイント位置判定部５７２により決定した複数の注目位置があるとき、注目位置のうちの２つに対応する実空間内の距離、例えば図１４Ａに示したポインター表示Ｐ１、Ｐ２の間の距離が距離算出部５７４によって算出される。画像統合部５８０は、オペレーター２にどの注目位置の間の距離が測定されているのかを示すために、画像信号を生成する際に、コントローラー姿勢センサー１２４の出力に応じて仮想空間にて更新される注目位置を示すポインター表示と距離算出部５７４による距離の数値とを提示画像に含める。図１４Ａには、そのポインター表示Ｐ１、Ｐ２と距離の数値が示されている。
デザイン支援システム１では、よりきめ細かく物品のデザイン評価を支援する工夫も好ましい。すなわち、デザイン支援システム１では、物品３の表面において物理的な距離を測定する機能や、物品の各部の断面を確認する機能を実現することにより、デザイン評価を支援することも好ましい。図１４Ａ～Ｂは、本開示の実施形態のデザイン支援システムにおいてヘッドセットのディスプレイ表示のキャプチャー画像であり、距離を測定する測距機能を使用している様子（図１４Ａ）と断面表示機能を使用している様子（図１４Ｂ）とを示す。デザイン支援システム１では、コントローラー姿勢センサー１２４（図２）と、ポイント位置判定部５７２と距離算出部５７４とをさらに備えている。コントローラー姿勢センサー１２４は操作入力部１２０それ自体の姿勢を検知する。ポイント位置判定部５７２は、コントローラー姿勢センサー１２４の出力に応じて決定された仮想空間における仮想線と構造のなす表面との交点により注目位置を判定する。ポイント位置判定部５７２により決定した複数の注目位置があるとき、注目位置のうちの２つに対応する実空間内の距離、例えば図１４Ａに示したポインター表示Ｐ１、Ｐ２の間の距離が距離算出部５７４によって算出される。画像統合部５８０は、オペレーター２にどの注目位置の間の距離が測定されているのかを示すために、画像信号を生成する際に、コントローラー姿勢センサー１２４の出力に応じて仮想空間にて更新される注目位置を示すポインター表示と距離算出部５７４による距離の数値とを提示画像に含める。図１４Ａには、そのポインター表示Ｐ１、Ｐ２と距離の数値が示されている。
【0051】
物品の断面表示のためには、デザイン支援システム１は上記コントローラー姿勢センサー１２４と、交線決定部５７６（図２）とを備えていると好ましい。交線決定部５７６は、コントローラー姿勢センサー１２４の出力に応じて決定された仮想空間における仮想面と構造のなす表面との交線を決定する。画像統合部５８０は、オペレーター２にどの仮想面において切断した断面であるかを示すために、画像信号を生成する際に、コントローラー姿勢センサー１２４の出力に応じて仮想空間にて更新される仮想面を示す面表示と交線決定部５７６による交線を輪郭または切断線とする切断面の表示とを提示画像に含める。図１４には、その面表示であるグリッドを持つ平面と、上記輪郭とが示されている。
【0052】
３－４．実空間以外の背景
デザイン支援システム１のようなデザイン評価では、高い現実感でデザイン評価を実行できる利点があるものの、実空間９ではなくむしろ仮想的な空間を利用したいとのニーズもある。本開示のデザイン支援システム１では、このようなニーズに対応するために、物品画像４４を与える明度分布データを、仮想空間について構築されている方向別の明度分布データや、あらかじめ撮影されている周囲環境画像、またはいずれかの施設や位置で撮影されてネットワークを通じて伝送される周囲環境画像といった、オペレーター２が居る実空間以外のもので代替表示することもできると好ましい。この場合には、明度分布データがそのような代替のもので書き換えられる。これにより、オペレーター２は、例えばＶＲ（仮想空間）や、基準に用いる周囲環境画像において物品３の外観デザインの評価を行うことができ、評価のばらつきを抑制したり、自らの評価尺度を再確認したりすることができる。図１５Ａ～Ｂは、本開示の実施形態のデザイン支援システムにおけるヘッドセットのディスプレイ表示のキャプチャー画像であり、背景画像のために外界カメラからの実空間９の画像を表示する例と背景用仮想空間９００の画像を表示する例を示す。背景用仮想空間９００においても、照明が配置されており、物品３である自動車のガラス面および塗装面にはその写り込みが再現されている。
デザイン支援システム１のようなデザイン評価では、高い現実感でデザイン評価を実行できる利点があるものの、実空間９ではなくむしろ仮想的な空間を利用したいとのニーズもある。本開示のデザイン支援システム１では、このようなニーズに対応するために、物品画像４４を与える明度分布データを、仮想空間について構築されている方向別の明度分布データや、あらかじめ撮影されている周囲環境画像、またはいずれかの施設や位置で撮影されてネットワークを通じて伝送される周囲環境画像といった、オペレーター２が居る実空間以外のもので代替表示することもできると好ましい。この場合には、明度分布データがそのような代替のもので書き換えられる。これにより、オペレーター２は、例えばＶＲ（仮想空間）や、基準に用いる周囲環境画像において物品３の外観デザインの評価を行うことができ、評価のばらつきを抑制したり、自らの評価尺度を再確認したりすることができる。図１５Ａ～Ｂは、本開示の実施形態のデザイン支援システムにおけるヘッドセットのディスプレイ表示のキャプチャー画像であり、背景画像のために外界カメラからの実空間９の画像を表示する例と背景用仮想空間９００の画像を表示する例を示す。背景用仮想空間９００においても、照明が配置されており、物品３である自動車のガラス面および塗装面にはその写り込みが再現されている。
【0053】
３－５．ネットワーク
本開示のデザイン支援システム１は、コンピューターネットワークを利用する構成とすることも好ましい。図８に関連して説明したように、複数のオペレーターによるデザイン評価はそれ自体が好ましいものといえる。さらに、コンピューターネットワークの利点を生かし、互いが相手から地理的に離れているような複数のオペレーター２が、ネットワーク経由で協働作業することを支援することも好ましい。図１６は、本開示の実施形態の複数のオペレーターがネットワーク経由で協働作業する状況での一例の構成を示す説明図である。
本開示のデザイン支援システム１は、コンピューターネットワークを利用する構成とすることも好ましい。図８に関連して説明したように、複数のオペレーターによるデザイン評価はそれ自体が好ましいものといえる。さらに、コンピューターネットワークの利点を生かし、互いが相手から地理的に離れているような複数のオペレーター２が、ネットワーク経由で協働作業することを支援することも好ましい。図１６は、本開示の実施形態の複数のオペレーターがネットワーク経由で協働作業する状況での一例の構成を示す説明図である。
【0054】
本開示では、ネットワーク経由のためのデザイン支援システム１Ｎが提供される。デザイン支援システム１Ｎは、デザイン支援システム１Ｍ（図８）に示したシステムをさらに改良したものである。複数のオペレーターの各々のための複数の画像調節部をさらに備えており、複数のオペレーターのうちの一のオペレーターのための画像調節部が、複数のオペレーターのうちの他のオペレーターのための操作入力部により受け付けた物品についての属性の選択または調節のための操作入力の指示内容に応じ、属性候補データから選択または調節された属性のための属性データを生成するものである。典型的な構成において、複数のオペレーターのうちの一のオペレーターである管理者が使用するコンピューター機器が、アカウント管理部とセッション管理部とを備えており、アカウント管理部は、デザイン支援システムの機能とデータファイルとについて各ユーザーがアクセスしうるものを決定するパーミッションテーブルを含み、セッション管理部は、セッションに参加しうるユーザーのリストをセッションテーブルとして保持しており、複数のオペレーターそれぞれが正当なユーザーであるかをセッションテーブルを参照して判定し複数のオペレーターのうちの正当なユーザーについてのセッションのための接続を確立するものである。また、この典型的な構成において、ユーザーが使用するコンピューター機器が、一のオペレーターが使用するコンピューター機器をサーバー装置とするときのクライアント端末となってネットワークを通じて通信可能であり、ユーザーを識別するためのユーザーＩＤがネットワークを通じてセッションの確立のために使用されると好ましい。
【0055】
デザイン支援システム１Ｎは、パーソナルコンピュータ（ＰＣ）などのコンピューター機器のプログラムとして実装して機能させるために、各オペレーターは、自らのＰＣに実現するための実行プログラムを作動させる。したがって、各ＰＣ５０Ａ～５０Ｃは、ネットワーク６８を通じてデザイン支援システム１Ｎの一部となる。具体的には、オペレーターＡは、自ら操作するＰＣ５０Ａにおいて演算装置における実行プログラムであってよいサーバー実行部６０を作動させる。同様に、オペレーターＢ、Ｃは、自ら操作するＰＣ５０Ｂ、５０Ｃにおいて演算装置における実行プログラムであってよいクライアント実行部６６を作動させる。各オペレーターのＰＣ５０Ａ～５０Ｃは、例えばインターネット等の公開回線や、専用回線を通じて、互いに適切なプロトコル（例えばＴＣＰ－ＩＰ）により相互に通信可能である。
【0056】
クライアント実行部６６は、オペレーターＡ～Ｃが使用するＰＣ５０Ａ～５０Ｃを、デザインレビューネットワークコミュニティーによる特定のデザインレビューセッション（以下「セッション」と呼ぶ）におけるクライアント端末として動作させる。これに対し、サーバー実行部６０は、オペレーターＡが使用するＰＣ５０Ａをセッションにおけるサーバー装置として動作させる。サーバー装置としての機能は、アカウント管理部６０２とセッション管理部６０４を実装することにより実現される。サーバー実行部６０は、典型的にはサーバー実行プログラムの機能として実装され、アカウント管理部６０２、セッション管理部６０４はその機能として実装される。オペレーターＡが管理者としてデザイン支援システム１Ｎの機能を設定するためにサーバー実行部６０を実行させる。
【0057】
アカウント管理部６０２は、デザイン支援システム１Ｎの必要な資源にアクセスしうるユーザーのアカウントを管理する機能を実装している。アカウント管理部６０２は、例えば、デザイン支援システム１Ｎの当該資源は、典型的にはデザイン支援システム１Ｎに用いられる機能とデータファイルとであり、アカウントを管理する機能は、これら資源についての使用権限やアクセス権の設定（パーミッション）を含みうる。パーミッションテーブル（図示しない）はユーザーのアカウントごとに各資源のパーミッションのレベルを記録したものであり、アカウント管理部６０２はそのパーミッションテーブルを参照して、例えばログインするオペレーターがデザイン支援システム１Ｎにアカウントをもつユーザーであるかを判定する。具体的には、クライアント端末として機能する自らのＰＣ５０Ｂ、Ｃを操作するオペレーターＢ、Ｃは自らのアカウントでパスワード認証等の手段によりログインし、さらに、あらかじめ設定された機能やファイルのパーミッションにより許容された範囲の資源にアクセスすることができる。ファイルは、例えばデータサーバー５０Ｓに格納されている。アカウント管理部６０２は、パーミッションテーブルを参照して、このようなログイン管理や、機能およびデータファイルについてのパーミッション管理を実行する。例えば、オペレーターＡ～Ｃには、固有のユーザーＩＤが与えられ、ユーザーＩＤごとに、機能およびデータファイルについてのパーミッションがパーミッションテーブルにて管理される。
【0058】
セッション管理部６０４は、セッションにユーザーが参加するかどうかを制御する。セッションごとにどのユーザーが参加するかを記録しているリストであるセッションテーブル（図示しない）を参照することにより、セッション管理部６０４は、クライアント実行部６６からの接続リクエストや、その後の通信において、正当な接続であるかを判定してセッションへの参加を制御する。こうしてオペレーターＡ～Ｃはセッションにおける正当なユーザーであるときには、あらかじめメンバーが決定されたデザインレビューネットワークコミュニティーによるセッションに参加できる。
【0059】
アカウント管理部６０２、セッション管理部６０４が実行するユーザーの識別は、典型的には、アカウントに対応するユーザーＩＤにより行なわれ、セキュリティーのためにパスワードなど当業者に利用されるセキュリティー手段も併せて採用される。
【0060】
コンピューター５０Ａ～５０Ｃ、データサーバー５０Ｓには、オペレーターＡ～Ｃがデザイン支援システム１Ｎの機能やファイルについての設定を管理する機能を実装することができる。この機能やファイルについての設定には、例えば、協働作業において他者から自己を区別するための色やアバターが含まれている。色やアバターは、必要に応じてユーザーＩＤと対応付けて適切な状況で表示に利用される。これにより、オペレーターＡ～ＣはＶＲヘッドセット１０を装着して、例えばユーザーＩＤにより他者の仮想空間における活動を視認可能となる。
【0061】
上述したコンピューターネットワークを利用するデザイン支援システム１Ｎでは、互いに遠隔地にいるオペレーター２が、共通の物品３について、各オペレーター２の観点での評価を同時に実行することができる。物品３が自動車など量産規模が大きく世界各地を仕向地にすることによって投資を回収できるような製品である場合には、多様な観点から慎重にデザインを決定するプロセスは欠かせない。このような用途においてデザイン支援システム１Ｎを採用することにより、デザイン評価の効率を高めることができる。なお、図１６では、参加者がオペレーター２であり、全員がヘッドセット１０を装着してデザイン評価に参加している。このようなオペレーター２は、デザインレビューや、デザインクリニックの活動を、地理的距離を意識することなく行うことができる。また、図９に示したように、全員がヘッドセット１０を装着するオペレーターであることは必ずしも要さず、いずれかのオペレーター２に対して提示されている提示画像（左右両眼またはいずれか一方の眼に提示するもの）を、単にビデオイメージとして記録したり、外部の表示装置に提示したりして、例えばその立会する見学者（Observer C, D）に対してオペレーターの一人（Operator A）の視点での提示画像を示しながらデザイン業務の進行状況を見学させることも、コンピューターネットワークを利用する態様においても役立ちうる。
【0062】
３－７．注視点
本開示のデザイン支援システム１においては、注視点を検出したり、それを記録することが好ましい。オペレーター２の両眼の視線は、実空間での眼球の位置（視点）を出発点にして、注視点を終着点とする直線として定義される。この注視点は、眼球の最も解像度が高い位置に結像する位置であることから、オペレーター２が各瞬間で着目している位置を示す。図１７は、注視点の検出および記録のために採用するアイトラッキング検出部１１０を備えるヘッドセット１０Ａの説明図であり、図１８は、ヘッドセット１０Ａを採用するデザイン支援システム１Ａのブロックダイヤグラムである。ヘッドセット１０Ａ、デザイン支援システム１Ａについては、同じ符号で示した要素はヘッドセット１０、デザイン支援システム１のための説明と同様である。ヘッドセット１０Ａでは、オペレーター２の少なくともいずれかの眼球の視線を特定するためのアイトラッキング検出部１１０を備えている。アイトラッキング検出部１１０は、例えば赤外線カメラと赤外線光源の組み合わせによって実現され、オペレーター２の眼球による視線つまり注視している注視点と眼球とを結ぶ直線を、角膜反射法や明瞳孔法、暗瞳孔法といった手法により特定する。このようなアイトラッキング検出部１１０は、さらにまぶたの瞬きや開閉も検出することができる。アイトラッキング検出部１１０からの出力であるアイトラッキング信号１１２は、適当なインターフェイスを経由してコンピューター５０に受信され、注視点判定部５８２に入力される。注視点判定部５８２は、アイトラッキング信号１１２を利用して仮想空間におけるオペレーター２の視線を決定する。注視点判定部５８２では、その視線を利用して、構造データ５１２や、明度分布データ５２２によって、物品３の３次元オブジェクト表面に対する注視点や、物品画像４４中の注視点、背景画像４２中の注視点を決定する。この注視点は、例えば、いわゆるコリジョン判定のアルゴリズムなどによって決定することができる。注視点判定部５８２での処理のために採用可能な他の注視点決定方法の一つが、左右視線方向が収束する交点を決定する視線交差法である。なお、この注視点は、背景画像４２を更新するためにも利用できる。注視点位置記録部５８４には注視点位置のデータ５８６が記録される。注視点位置のデータ５８６は、注視点集計部５８８による処理に利用される。
本開示のデザイン支援システム１においては、注視点を検出したり、それを記録することが好ましい。オペレーター２の両眼の視線は、実空間での眼球の位置（視点）を出発点にして、注視点を終着点とする直線として定義される。この注視点は、眼球の最も解像度が高い位置に結像する位置であることから、オペレーター２が各瞬間で着目している位置を示す。図１７は、注視点の検出および記録のために採用するアイトラッキング検出部１１０を備えるヘッドセット１０Ａの説明図であり、図１８は、ヘッドセット１０Ａを採用するデザイン支援システム１Ａのブロックダイヤグラムである。ヘッドセット１０Ａ、デザイン支援システム１Ａについては、同じ符号で示した要素はヘッドセット１０、デザイン支援システム１のための説明と同様である。ヘッドセット１０Ａでは、オペレーター２の少なくともいずれかの眼球の視線を特定するためのアイトラッキング検出部１１０を備えている。アイトラッキング検出部１１０は、例えば赤外線カメラと赤外線光源の組み合わせによって実現され、オペレーター２の眼球による視線つまり注視している注視点と眼球とを結ぶ直線を、角膜反射法や明瞳孔法、暗瞳孔法といった手法により特定する。このようなアイトラッキング検出部１１０は、さらにまぶたの瞬きや開閉も検出することができる。アイトラッキング検出部１１０からの出力であるアイトラッキング信号１１２は、適当なインターフェイスを経由してコンピューター５０に受信され、注視点判定部５８２に入力される。注視点判定部５８２は、アイトラッキング信号１１２を利用して仮想空間におけるオペレーター２の視線を決定する。注視点判定部５８２では、その視線を利用して、構造データ５１２や、明度分布データ５２２によって、物品３の３次元オブジェクト表面に対する注視点や、物品画像４４中の注視点、背景画像４２中の注視点を決定する。この注視点は、例えば、いわゆるコリジョン判定のアルゴリズムなどによって決定することができる。注視点判定部５８２での処理のために採用可能な他の注視点決定方法の一つが、左右視線方向が収束する交点を決定する視線交差法である。なお、この注視点は、背景画像４２を更新するためにも利用できる。注視点位置記録部５８４には注視点位置のデータ５８６が記録される。注視点位置のデータ５８６は、注視点集計部５８８による処理に利用される。
【0063】
４．変形例：
上述したデザイン支援システム１、１Ｎ、１Ｍ、１Ａには、種々の変更を施すことも有用である。
４－１．補助画像
上述したデザイン支援システム１、１Ｎ、１Ｍ、１Ａが補助画像を生成する補助画像レンダリング部５３４（図２）をさらに備えていることは有用である。その際、画像統合部５８０は、背景画像４２および物品画像４４に、補助画像を合成して提示画像のための画像信号として出力する。補助画像は、種々の情報提示画像や、３Ｄオブジェクトであり得る。例えば、オペレーター２の操作入力部１２０により操作を行う際にメニュー表示（図Ｔ０Ｂ、図１１Ａ、Ｂ、図１５Ａ、Ｂにて図示）のようなものを表示することができれば、オペレーター２は属性候補の選択や調整を容易に行うことができる。また、デザイン評価作業において、物品３の表面に付箋として残せるマーカーもこの補助画像の一つでありうる。さらに、デザインを評価するための観点や注目点を知らせるといったオペレーター２のデザイン評価をガイドするための案内情報も補助画像として有用である。また、上述した距離算出部５７４や交線決定部５７６とともに用いられる、測長のためのメジャー表示や目盛となるグリッドを持つ平面（図１４Ｂ）も補助画像となりうる。加えて、デザインされる物品３が、自動車に代表されるようなユーザー（運転者、搭乗者）の身体との関係を調査するものでは、ペルソナ（マネキン）の３Ｄオブジェクトといった補助画像も有用である。これらと異なる観点では、オペレーター２がデザイン評価を行う場合に、臨場感を演出するための演出用画像やオブジェクトにより、例えば雨や雪の状況を再現したり、枯れ葉が舞い落ちる様子を示したりする場合に、これらの画像やオブジェクトの表示も補助画像となり得る。このように、デザイン評価の活動において補助画像は大きく役立てることができる。
上述したデザイン支援システム１、１Ｎ、１Ｍ、１Ａには、種々の変更を施すことも有用である。
４－１．補助画像
上述したデザイン支援システム１、１Ｎ、１Ｍ、１Ａが補助画像を生成する補助画像レンダリング部５３４（図２）をさらに備えていることは有用である。その際、画像統合部５８０は、背景画像４２および物品画像４４に、補助画像を合成して提示画像のための画像信号として出力する。補助画像は、種々の情報提示画像や、３Ｄオブジェクトであり得る。例えば、オペレーター２の操作入力部１２０により操作を行う際にメニュー表示（図Ｔ０Ｂ、図１１Ａ、Ｂ、図１５Ａ、Ｂにて図示）のようなものを表示することができれば、オペレーター２は属性候補の選択や調整を容易に行うことができる。また、デザイン評価作業において、物品３の表面に付箋として残せるマーカーもこの補助画像の一つでありうる。さらに、デザインを評価するための観点や注目点を知らせるといったオペレーター２のデザイン評価をガイドするための案内情報も補助画像として有用である。また、上述した距離算出部５７４や交線決定部５７６とともに用いられる、測長のためのメジャー表示や目盛となるグリッドを持つ平面（図１４Ｂ）も補助画像となりうる。加えて、デザインされる物品３が、自動車に代表されるようなユーザー（運転者、搭乗者）の身体との関係を調査するものでは、ペルソナ（マネキン）の３Ｄオブジェクトといった補助画像も有用である。これらと異なる観点では、オペレーター２がデザイン評価を行う場合に、臨場感を演出するための演出用画像やオブジェクトにより、例えば雨や雪の状況を再現したり、枯れ葉が舞い落ちる様子を示したりする場合に、これらの画像やオブジェクトの表示も補助画像となり得る。このように、デザイン評価の活動において補助画像は大きく役立てることができる。
【0064】
その補助画像は、操作入力部１２０による操作により生成されたり、プロンプト表示されたりするものであってもよく、またあらかじめ決めた条件に合致したときに表示されるようにすることもできる。例えば、物品のうち、意図的な解説を加えたい特徴部に対してアイトラッキングにより注視点が合致した場合に、その合致を成立条件として、解説画像や文字を自動で表示することも有用である。さらに、姿勢センサー移動子１０４、姿勢センサー固定子１０６により、オペレーター２が頭部２２を傾げる動作を検出した場合に、それをきっかけに補助画像を表示するような構成も有用である。
【0065】
物品３が自動車である場合に特有となりうるデザイン評価の観点の一つが、ビューティーアングルである。ビューティーアングルとは、デザイン意図に合致した視点（観察位置）を物品３との相対角度で特定したものである。つまり、すでにデザイナーが一旦物品３のデザインを終えているときには、当該デザイナーは、しばしば、物品３との相対角度として評価のための視点を想定しており、その角度をビューティーアングルとして指定することがありうる。このような場合には、補助画像として視点位置をオペレーター２が特定しやすくするためのガイドとなる情報を提示することも有用である。
【0066】
さらに、オペレーター２の移動を、例えばスプライン曲線などにより軌跡表示したり、それを記録したりするすることも有用である。オペレーター２がデザイン評価のためにどのような視点で実際に物品３を観察したかは、そのオペレーター２によるデザイン評価が信頼に足るものであるかの指標となったり、あるいは評価結果を事後的に検証する際の手掛かりとなったりするため、評価結果に事後的な解釈を与える際の参考情報となる。
【0067】
さらに、オペレーター２に対して仮想空間内にコンピューターグラフィクスにより人物（ペルソナ）のオブジェクトを生成し、何らかのキャラクターとしてデザイン業務をガイドすることも有用である。例えばリップシンクなどの技術を利用すれば、デザイン業務を実行しているオペレーター２に対して、デザイン支援システム１の外部などからデザイン業務を補助するために話しかける人物を提示することにより、円滑なデザイン業務を実施することができる。また、デザイン支援システム１Ｍ、１Ｎのように複数のオペレーター２が物品３を評価している場合には、音声などによってオペレーター２同士が互いにインタラクションすることを補助することも有用である。その場合にも、ペルソナを互いに見せることにより、実空間では一人のオペレーター２だけがその場に存在していても、物品３の評価に参加しているもう一人のオペレーター２をごく自然な態様で認識させることができる。デザイン評価において、複数の評価者が評価する協働作業を自然な感覚で進められれば、オペレーター２のデザイン評価の作業は大きく支援される。なお、複数のオペレーター２が参加する場合において、他のオペレーター２を認識させるためには、より簡便なシンボル表示も十分となりうる。例えば、ヘッドセット（ＨＭＤなど）だけをコンピューターグラフィックスで生成しても、その姿勢（向き、位置）が現に他のオペレーター２が装着しているヘッドセット１０のものと同期していれば、それが見えるオペレーターにとっては他のオペレーターを容易に認識することができる。
【0068】
４－２．対話補助
デザイン支援システム１、１Ｍ、１Ｎ、１Ａにおいて、複数のオペレーター２が参加したり、オペレーター２とは別の参加者がオペレーター２と口頭連絡や文字を通じた対話を実施するため、または人工知能技術を組み込んでコンピューターのと対話することもオペレーター２のデザイン業務への没入と適合性が良い補助機能である。このような対話補助機能は、その対話を補助するためのボイスチャット機能、翻訳機能が典型である。ボイスチャット機能は、相手の音声を発するためのスピーカーやイヤホンと自分の発話を拾うためのマイクロフォンをヘッドセット１０に装備しておき、コンピューター５０やコンピューターネットワークを通じた音声通信を任意のプロトコルで実施することで実装可能である。また、翻訳機能は、同様のヘッドセット１０を採用し、さらに音声認識エンジンと深層学習などの任意の手法での翻訳エンジン、さらに発声エンジンとを組みあわせることにより実装可能である。
デザイン支援システム１、１Ｍ、１Ｎ、１Ａにおいて、複数のオペレーター２が参加したり、オペレーター２とは別の参加者がオペレーター２と口頭連絡や文字を通じた対話を実施するため、または人工知能技術を組み込んでコンピューターのと対話することもオペレーター２のデザイン業務への没入と適合性が良い補助機能である。このような対話補助機能は、その対話を補助するためのボイスチャット機能、翻訳機能が典型である。ボイスチャット機能は、相手の音声を発するためのスピーカーやイヤホンと自分の発話を拾うためのマイクロフォンをヘッドセット１０に装備しておき、コンピューター５０やコンピューターネットワークを通じた音声通信を任意のプロトコルで実施することで実装可能である。また、翻訳機能は、同様のヘッドセット１０を採用し、さらに音声認識エンジンと深層学習などの任意の手法での翻訳エンジン、さらに発声エンジンとを組みあわせることにより実装可能である。
【0069】
４－３．身体状態計測
オペレーター２の非言語的な心理変化を検出したり記録したりする目的で有効なのが、身体／脳波、脈拍、皮膚電位、心電図等をデザイン評価をしているオペレーター２から取得することである。この目的のため、デザイン支援システム１、１Ｍ、１Ｎ、１Ａにおいては、図２に示すように、生体状態センサー１４０を追加することができる。生体状態センサー１４０からの信号（生体バイタル信号）は、直接的にはオペレーター２の身体状態を反映しており、信号処理部１４２を通じてコンピューター５０に伝達される。コンピューター５０は、生体状態センサー１４０からの信号に対応する生体情報データ５９２を、例えば適切なタイムスタンプと対応付けるなどした経時的データの形態で被験者情報記録部５９０に格納する。この生体情報データ５９２は、脳波、心電図、筋電位などを含むことができる。これらの信号を、例えば注視点位置記録部５８４に記録した注視点位置のデータ５８６と関連付けて解析することにより、オペレーター２が物品３のどの部分に対してどのような心理状態であったのかを事後的に調査することにより、デザイン評価における非言語的な情報を収集したり、評価の信頼性を判断したりすることも有用である。
オペレーター２の非言語的な心理変化を検出したり記録したりする目的で有効なのが、身体／脳波、脈拍、皮膚電位、心電図等をデザイン評価をしているオペレーター２から取得することである。この目的のため、デザイン支援システム１、１Ｍ、１Ｎ、１Ａにおいては、図２に示すように、生体状態センサー１４０を追加することができる。生体状態センサー１４０からの信号（生体バイタル信号）は、直接的にはオペレーター２の身体状態を反映しており、信号処理部１４２を通じてコンピューター５０に伝達される。コンピューター５０は、生体状態センサー１４０からの信号に対応する生体情報データ５９２を、例えば適切なタイムスタンプと対応付けるなどした経時的データの形態で被験者情報記録部５９０に格納する。この生体情報データ５９２は、脳波、心電図、筋電位などを含むことができる。これらの信号を、例えば注視点位置記録部５８４に記録した注視点位置のデータ５８６と関連付けて解析することにより、オペレーター２が物品３のどの部分に対してどのような心理状態であったのかを事後的に調査することにより、デザイン評価における非言語的な情報を収集したり、評価の信頼性を判断したりすることも有用である。
【0070】
４－４．プログラム
上述したデザイン支援システム１、１Ｍ、１Ｎ、１Ａのハードウェア構成は、ヘッドセット１０やそれに関連するセンサー類、コントローラー（操作入力部１２０、姿勢センサー１０４、１０６）（以下、ヘッドセット関連装置と呼ぶ）を除くと、コンピューター５０すなわち一定程度のグラフィック性能を備える一般的な構成のパーソナルコンピューターやワークステーションである。このため、ヘッドセット関連装置とそれに見合ったコンピューター装置を準備し、必要に応じてネットワーク機器の設定を行えば、あとはデザイン支援システム１、１Ｍ、１Ｎ、１Ａを構成するためのコンピュータープログラムを利用するようにして構築することができる。このため、上述したデザイン支援システム１は、このような目的のコンピュータープログラムを動作さることによっても実現可能である。
上述したデザイン支援システム１、１Ｍ、１Ｎ、１Ａのハードウェア構成は、ヘッドセット１０やそれに関連するセンサー類、コントローラー（操作入力部１２０、姿勢センサー１０４、１０６）（以下、ヘッドセット関連装置と呼ぶ）を除くと、コンピューター５０すなわち一定程度のグラフィック性能を備える一般的な構成のパーソナルコンピューターやワークステーションである。このため、ヘッドセット関連装置とそれに見合ったコンピューター装置を準備し、必要に応じてネットワーク機器の設定を行えば、あとはデザイン支援システム１、１Ｍ、１Ｎ、１Ａを構成するためのコンピュータープログラムを利用するようにして構築することができる。このため、上述したデザイン支援システム１は、このような目的のコンピュータープログラムを動作さることによっても実現可能である。
【0071】
以上、本開示の実施形態を具体的に説明した。上述の実施形態、変形例および実施例は、本出願において開示される発明を説明するために記載されたものであり、本出願の発明の範囲は、特許請求の範囲の記載に基づき定められるべきものである。実施形態の他の組み合わせを含む本開示の範囲内に存在する変形例もまた、特許請求の範囲に含まれるものである。
【符号の説明】
【0072】
１、１Ｍ、１Ｎ デザイン支援システム
１０、１０Ａ ヘッドセット
１０２ ディスプレイ
１０４ 姿勢センサー移動子
１０６ 姿勢センサー固定子
１０８ 外界カメラ
１０８Ａ ハンドトラッキングカメラ
１１０ アイトラッキング検出部
１１２ アイトラッキング信号
１２０ コントローラー（操作入力部）
１２４ コントローラー姿勢センサー
１３０ 奥行き測距部
１４０ 生体状態センサー（生体状態検知装置）
１４２ 信号処理部
２ オペレーター
３、３Ｍ、３Ｓ 物品
４、４Ｌ、４Ｒ 提示画像
４２ 背景画像
４４ 物品画像
４６ 前景画像
４８ カメラ画角
５０ コンピューター
５０Ａ～Ｃ パーソナルコンピューター
５２Ｌ、５２Ｒ トランシーバー
５１０ 物品データ記録部
５１２ 構造データ
５１４ 属性候補データ
５１６ 部品構造データ
５２０ 環境光記録部
５２２ 明度分布データ
５３０ 背景画像レンダリング部
５３２ 背景更新処理部
５３４ 補助画像レンダリング部
５４０ 画像調節部
５４２ 属性データ
５５０ 物品画像レンダリング部
５６０ バウンディングボックス設定部
５６２ 座標変位部
５６４ 構造変形部
５７０ 前景画像レンダリング部
５７２ ポイント位置判定部
５７４ 距離算出部
５７６ 交線決定部
５８０ 画像統合部
５８２ 注視点判定部
５８４ 注視点位置記録部
５８６ 注視点位置のデータ
５８８ 注視点集計部
５９０ 被験者情報記録部
５９２ 生体情報データ
６０ サーバー実行部
６６ クライアント実行部
６０２ アカウント管理部
６０４ セッション管理部
６８ ネットワーク
７ バウンディングボックス
７２ グリップポイント
９、９Ａ、９Ｂ 実空間
９２ 照明
９００ 背景用仮想空間
１０、１０Ａ ヘッドセット
１０２ ディスプレイ
１０４ 姿勢センサー移動子
１０６ 姿勢センサー固定子
１０８ 外界カメラ
１０８Ａ ハンドトラッキングカメラ
１１０ アイトラッキング検出部
１１２ アイトラッキング信号
１２０ コントローラー（操作入力部）
１２４ コントローラー姿勢センサー
１３０ 奥行き測距部
１４０ 生体状態センサー（生体状態検知装置）
１４２ 信号処理部
２ オペレーター
３、３Ｍ、３Ｓ 物品
４、４Ｌ、４Ｒ 提示画像
４２ 背景画像
４４ 物品画像
４６ 前景画像
４８ カメラ画角
５０ コンピューター
５０Ａ～Ｃ パーソナルコンピューター
５２Ｌ、５２Ｒ トランシーバー
５１０ 物品データ記録部
５１２ 構造データ
５１４ 属性候補データ
５１６ 部品構造データ
５２０ 環境光記録部
５２２ 明度分布データ
５３０ 背景画像レンダリング部
５３２ 背景更新処理部
５３４ 補助画像レンダリング部
５４０ 画像調節部
５４２ 属性データ
５５０ 物品画像レンダリング部
５６０ バウンディングボックス設定部
５６２ 座標変位部
５６４ 構造変形部
５７０ 前景画像レンダリング部
５７２ ポイント位置判定部
５７４ 距離算出部
５７６ 交線決定部
５８０ 画像統合部
５８２ 注視点判定部
５８４ 注視点位置記録部
５８６ 注視点位置のデータ
５８８ 注視点集計部
５９０ 被験者情報記録部
５９２ 生体情報データ
６０ サーバー実行部
６６ クライアント実行部
６０２ アカウント管理部
６０４ セッション管理部
６８ ネットワーク
７ バウンディングボックス
７２ グリップポイント
９、９Ａ、９Ｂ 実空間
９２ 照明
９００ 背景用仮想空間
【図1】
【図2】
【図3】
【図4】
【図5A-B】
【図6A-B】
【図7A-C】
【図8】
【図9】
【図10A-C】
【図11A-B】
【図12A-B】
【図13A-C】
【図14A-B】
【図15A-B】
【図16】
【図17】
【図18】