特開 2024-46197 支援装置、支援方法、及び支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024046197

(43)【公開日】2024-04-03

(54)【発明の名称】支援装置、支援方法、及び支援プログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240327BHJP

【ＦＩ】

G06Q50/08

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022151440

(22)【出願日】2022-09-22

(71)【出願人】

【識別番号】504163612

【氏名又は名称】株式会社ＬＩＸＩＬ

(71)【出願人】

【識別番号】513076084

【氏名又は名称】株式会社ＬＩＸＩＬトータルサービス

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】梅田 学

(72)【発明者】

【氏名】山本 諭史

(72)【発明者】

【氏名】川上 直人

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC07

(57)【要約】

【課題】現地調査を適切に支援する。
【解決手段】支援装置１０は、設置物７０が設置される空間の形状を表現した情報を取得する空間形状情報取得部と、設置物７０を空間に設置するための基準となる基準位置を取得する基準位置取得部と、空間の形状を表現した情報に基づいて生成された仮想三次元空間の基準位置に対応する位置に、設置物７０に対応する仮想設置物を、空間の形状に合わせて配置する設置物配置部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

設置物が設置される空間の形状を表現した情報を取得する空間形状情報取得部と、
前記設置物を前記空間に設置するための基準となる基準位置を取得する基準位置取得部と、
前記空間の形状を表現した情報に基づいて生成された仮想三次元空間の前記基準位置に対応する位置に、前記設置物に対応する仮想設置物を、前記空間の形状に合わせて配置する設置物配置部と、
を備える支援装置。

【請求項2】

前記設置物配置部は、前記空間の形状に合わせて前記仮想設置物の角度を調整する
請求項１に記載の支援装置。

【請求項3】

前記設置物配置部は、前記空間の壁に対応する前記仮想三次元空間の壁に対して垂直又は平行になるように前記仮想設置物を配置する
請求項２に記載の支援装置。

【請求項4】

配置された前記仮想設置物の画像を生成する画像生成部を更に備える
請求項１から３のいずれかに記載の支援装置。

【請求項5】

前記画像生成部は、撮像装置により撮像された周囲の撮像画像に前記仮想設置物の画像を重畳した表示画像を生成する
請求項４に記載の支援装置。

【請求項6】

前記画像生成部は、前記仮想三次元空間の画像に前記仮想設置物の画像を重畳した表示画像を生成する
請求項４に記載の支援装置。

【請求項7】

前記仮想設置物の画像を表示する表示装置を更に備える
請求項５又は６に記載の支援装置。

【請求項8】

前記表示装置は、ユーザの頭部に装着可能なヘッドマウントディスプレイである
請求項７に記載の支援装置。

【請求項9】

前記仮想設置物の三次元形状データを保持するデータ保持部を更に備える
請求項１から３のいずれかに記載の支援装置。

【請求項10】

前記仮想設置物の三次元形状データを提供するサーバから前記仮想設置物の三次元形状データを取得するデータ取得部を更に備える
請求項１から３のいずれかに記載の支援装置。

【請求項11】

コンピュータに、
設置物が設置される空間の形状を表現した情報を取得するステップと、
前記設置物を前記空間に設置するための基準となる基準位置を取得するステップと、
前記空間の形状を表現した情報に基づいて生成された仮想三次元空間の前記基準位置に対応する位置に、前記設置物に対応する仮想設置物を、前記空間の形状に合わせて配置するステップと、
を実行させる支援方法。

【請求項12】

コンピュータを、
設置物が設置される空間の形状を表現した情報を取得する空間形状情報取得部と、
前記設置物を前記空間に設置するための基準となる基準位置を取得する基準位置取得部と、
前記空間の形状を表現した情報に基づいて生成された仮想三次元空間の前記基準位置に対応する位置に、前記設置物に対応する仮想設置物を、前記空間の形状に合わせて配置する設置物配置部と、
として機能させるための支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、設置物を設置場所に設置するための現地調査を支援する技術に関する。

【背景技術】

【0002】

建築物の内部のリフォームなどの工事を実施する前に、現地の情報を確認するための現地調査が行われる（例えば、特許文献１参照）。現地調査では、地面などに工事に必要な基準線を書き出す墨出しや、設備や製品などの設置物を設置したときに他の設置物などと干渉しないかの確認や、設置物や工事の備品などを搬入するための経路の確認などの作業が行われる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－０３８８６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

実際には現地に設置されていない設備や製品などを現地に配置する場合は、設備や製品などが現地に設置された状況を立体的にイメージしながら墨出し、干渉確認、搬入経路確認などの作業を行う必要がある。そのため、熟練した担当者でないと正確な現地調査を行うのが困難であった。また、人材の育成に費用や労力が必要とされていた。

【0005】

本開示は、このような課題に鑑みてなされ、その目的は、現地調査を適切に支援する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本開示のある態様の支援装置は、設置物が設置される空間の形状を表現した情報を取得する空間形状情報取得部と、設置物を空間に設置するための基準となる基準位置を取得する基準位置取得部と、空間の形状を表現した情報に基づいて生成された仮想三次元空間の基準位置に対応する位置に、設置物に対応する仮想設置物を、空間の形状に合わせて配置する設置物配置部と、を備える。

【0007】

本開示の別の態様は、支援方法である。この方法は、コンピュータに、設置物が設置される空間の形状を表現した情報を取得するステップと、設置物を空間に設置するための基準となる基準位置を取得するステップと、空間の形状を表現した情報に基づいて生成された仮想三次元空間の基準位置に対応する位置に、設置物に対応する仮想設置物を、空間の形状に合わせて配置するステップと、を実行させる。

【0008】

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

【図面の簡単な説明】

【0009】

【図1】実施の形態に係る支援システムの構成を示す図である。

【図2】実施の形態に係る支援方法の手順を示すフローチャートである。

【図3】仮想設置物の角度を調整する方法の例を示す図である。

【図4】仮想設置物の角度を調整する方法の別の例を示す図である。

【図5】実施の形態に係る支援装置の構成を示す図である。

【発明を実施するための形態】

【0010】

本開示の実施の形態において、設置物を設置場所に設置する工事の前に実施される設置場所の現地調査を支援する技術を提案する。

【0011】

図１は、実施の形態に係る支援システムの構成を示す。支援システム１は、設置物７０の設置場所の現地調査を支援する支援装置１０と、支援装置１０に設置物７０の三次元形状データなどの情報を提供する情報提供サーバ２と、それらを接続する通信網３とを備える。

【0012】

支援装置１０は、設置場所の画像に、設置予定の設置物７０を設置場所に設置したときの設置物７０の画像を重畳して、表示装置に表示する。これにより、現地調査の担当者は、設置物７０が設置場所に設置されたときの状況を視覚的に確認しながら、墨出し、既設の設置物７１との干渉の確認、搬入経路の確認などの作業を実施することができる。

【0013】

本実施の形態では、支援装置１０は、現地調査の担当者の頭部に装着可能なヘッドマウントディスプレイにより実現される。支援装置１０は、仮想現実（Virtual Reality：ＶＲ）、複合現実（Mixed Reality：ＭＲ）、拡張現実（Augmented Reality：ＡＲ）などの技術を用いて、設置場所の画像に、設置物７０に対応する仮想設置物の画像を重畳して、表示装置に表示する。ＶＲの場合は、支援装置１０は、設置場所の三次元形状を表現した仮想三次元空間に基づいて生成された設置場所の画像に、仮想設置物の画像を重畳する。ＭＲの場合は、支援装置１０は、設置場所の三次元形状を表現した仮想三次元空間に基づいて生成された設置場所の画像、又は、撮像装置により撮像された設置場所の撮像画像に、仮想設置物の画像を重畳する。支援装置１０は、設置場所の三次元形状を表現した仮想三次元空間に基づいて生成された設置場所の画像の少なくとも一部と、撮像装置により撮像された設置場所の撮像画像の少なくとも一部と、仮想設置物の画像とを重畳してもよい。支援装置１０は、装着者が現実世界を視認可能な透明な表示装置に、仮想設置物の画像を表示してもよい。支援装置１０は、ヘッドマウントディスプレイの位置や向きに合わせて、設置場所及び仮想設置物の画像の位置や向きを変更する。これにより、現地調査の担当者は、設置物７０が実際に設置された設置場所にいるかのように、設置物７０が設置場所に設置されたときの状況を視認することができるので、設置物７０の設置状況をより的確に把握することができる。

【0014】

支援装置１０がヘッドマウントディスプレイにより実現される場合、現地調査の担当者がヘッドマウントディスプレイを装着したままタッチパッドなどの入力装置を使用して設置物７０の設置位置や角度を正確に指定するのは困難である。このような課題を解決するために、本実施の形態の支援装置１０は、設置物７０を設置場所に設置するための基準となる基準位置を示すための基準物７２を用いて、設置物７０の設置位置を認識する。支援装置１０は、撮像装置により撮像された設置場所の撮像画像に含まれる基準物７２の位置を認識することにより、設置物７０の基準位置を取得する。支援装置１０は、設置場所の形状に合わせて、設置物７０に対応する仮想設置物を仮想三次元空間に配置する。支援装置１０は、設置場所の壁、床、天井などに合わせて、仮想設置物の角度を調整する。これにより、設置物７０を正確に設置場所に配置したときの画像を生成することができるので、現地調査の担当者は、設置物７０の設置状況をより的確に把握することができる。

【0015】

図２は、実施の形態に係る支援方法の手順を示すフローチャートである。支援装置１０は、撮像装置により撮像された設置場所の撮像画像を取得する（Ｓ１０）。支援装置１０は、ヘッドマウントディスプレイに設けられた撮像装置により撮像された周囲の撮像画像を取得してもよいし、設置場所に固定された撮像装置や、タブレット端末、スマートフォン、携帯電話端末などに設けられた撮像装置により撮像された撮像画像を取得してもよい。

【0016】

支援装置１０は、設置場所の壁、床、天井、設置物などとの間の距離を示す距離情報を取得する（Ｓ１１）。距離情報は、取得された撮像画像に基づいて算出されてもよい。測距機能を有する撮像装置が使用される場合には、各画素までの距離情報も取得されるので、撮像装置の視点位置と、撮像画像における各画素の二次元位置と、視点位置から各画素までの距離に基づいて、各画素の三次元位置を算出することができる。測距機能を有しない撮像装置が使用される場合には、複数の視点において撮像された複数の画像の間の各画素の対応関係を、画像マッチング技術を利用して算出し、各画素の視差から三角測量により距離を算出することができる。支援装置１０は、レーダー（Radar：Radio Detecting and Ranging）やＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）などの測距技術を用いて対象物との間の距離を検知する距離センサにより検知された距離情報を取得してもよい。

【0017】

支援装置１０は、取得された距離情報に基づいて、設置場所の三次元形状を認識する（Ｓ１２）。支援装置１０は、同じ平面を構成する複数の三次元点群データを抽出し、抽出された複数の三次元点群データに基づいて、壁、床、又は天井として認識すべき平面を規定するパラメータを算出してもよい。このようにして、支援装置１０は、設置場所の三次元形状を表現した仮想三次元空間を生成する。支援装置１０は、設置場所の三次元形状データを情報提供サーバ２などから取得してもよい。

【0018】

支援装置１０は、設置物を設置場所に設置するための基準となる基準位置を取得する（Ｓ１４）。支援装置１０は、設置場所の撮像画像から基準位置を示す基準物７２を抽出し、撮像画像における基準物７２の位置に基づいて、仮想三次元空間における基準位置を取得する。支援装置１０は、抽出された基準物７２の所定位置、例えば右上の位置を基準位置としてもよい。基準物７２を抽出しやすくするために、基準物７２の表面に特定の図形、数字、文字、記号、画像、図柄などが表示されてもよい。基準物７２の表面に、文字列、図形コードなどの情報が表示されてもよい。この情報は、設置物７０に関する情報であってもよい。

【0019】

支援装置１０は、仮想三次元空間における基準位置に基づいて、設置物７０に対応する仮想設置物の配置位置を決定する（Ｓ１６）。支援装置１０は、仮想三次元空間の形状に合わせて仮想設置物の配置位置や向きを決定する。例えば、支援装置１０は、設置場所の壁、床、天井などに対応する仮想三次元空間の壁、床、天井などに沿うように仮想設置物が配置されるように仮想設置物の配置位置や向きを決定してもよい。支援装置１０は、設置場所の三次元形状と仮想設置物の三次元形状を参照して仮想設置物が配置可能な基準位置を判定し、判定された基準位置に基づいて仮想設置物の配置位置や向きを決定してもよい。仮想設置物の三次元形状データは、予め支援装置１０に保持されてもよいし、情報提供サーバ２などから取得されてもよい。

【0020】

支援装置１０は、仮想三次元空間の形状に合わせて仮想設置物の角度を調整する（Ｓ１８）。例えば、支援装置１０は、設置場所の壁、床、天井などに垂直又は平行になるように、仮想設置物の角度を調整してもよい。設置場所の壁、床、天井などが、他の壁、床、天井などと平行又は垂直になっていない場合は、支援装置１０は、仮想設置物の角度を調整する基準となる平面を基準物７２の位置や向きなどに基づいて判定し、判定された平面に垂直又は平行になるように、仮想設置物の角度を調整してもよい。支援装置１０が慣性計測装置（ＩＭＵ：Inertial Measurement Unit）などの傾きや姿勢を取得する機能を有している場合、支援装置１０は、支援装置１０の傾きや姿勢に基づいて担当者の傾きや姿勢を取得し、担当者の傾きや姿勢に基づいて床平面の傾きを推定してもよい。

【0021】

支援装置１０は、仮想設置物の画像を生成する（Ｓ２０）。支援装置１０は、設置場所の三次元形状を表現した仮想三次元空間のマップデータ、ヘッドマウントディスプレイの撮像装置により撮像された撮像画像、慣性計測装置の計測結果などに基づいて、ヘッドマウントディスプレイの視点位置と視線方向を推定する。設置場所の三次元形状を表現した仮想三次元空間に基づいて生成された設置場所の画像に仮想設置物の画像を重畳する場合、支援装置１０は、視点位置及び視線方向を設定し、仮想設置物が配置された仮想三次元空間の三次元形状データをレンダリングすることにより、仮想設置物が重畳された仮想三次元空間の画像を生成する。設置場所の撮像画像に仮想設置物の画像を重畳する場合、支援装置１０は、視点位置及び視線方向を設定し、仮想設置物の三次元形状をレンダリングすることにより、仮想設置物の画像を生成し、撮像装置により撮像された設置場所の撮像画像に重畳する。

【0022】

支援装置１０は、生成された仮想設置物の画像と設置場所の画像を重畳して表示装置に表示する（Ｓ２２）。支援装置１０は、仮想設置物の画像と設置場所の画像を表示装置に表示してから（Ｓ２２）、仮想三次元空間の形状に合わせて仮想設置物の角度を調整してもよい（Ｓ１８）。支援装置１０は、担当者が現地調査を実施している間、Ｓ２０及びＳ２２の手順を繰り返して、ヘッドマウントディスプレイの位置及び向きに応じて表示画像を更新する。仮想設置物の配置位置、向き、種類などを変更する場合は、支援装置１０は、Ｓ１０に戻って、以上の手順を再度実行する。

【0023】

図３は、仮想設置物の角度を調整する方法の例を示す。支援装置１０は、設置場所の撮像画像から基準物７２を抽出し、抽出された基準物７２の右上の位置を基準点７３とする。設置場所に基準物７２が配置されたときに、基準物７２の角度が正確でない場合がある。そのため、設置物７１に対応する仮想設置物７６ａを仮想三次元空間に配置する際に、基準物７２の向きに合わせて配置すると、仮想設置物７６ａの角度が実際とずれる場合がある。本実施の形態の支援装置１０は、設置場所の壁、床、天井などの平面を認識しているので、仮想設置物７６ａの角度を仮想三次元空間の壁、床、天井などに合わせて調整することができる。本図の例では、支援装置１０は、基準点７３を通り、基準点７３と最も近い壁７４に垂直な平面７５を算出し、算出された平面７５に沿うように仮想設置物７６ａの角度を調整して仮想設置物７６ｂとする。

【0024】

図４は、仮想設置物の角度を調整する方法の別の例を示す。図３の例では、１つの基準物７２に基づいて仮想設置物の基準位置が設定されたが、本図の例では、２つの基準物７２ａ、７２ｂに基づいて仮想設置物の基準位置が設定される。支援装置１０は、配置場所の撮像画像から基準物７２ａ、７２ｂを認識し、基準物７２ａの右上の位置を基準点７３ａとし、基準物７２ｂの右上の位置を基準点７３ｂとする。支援装置１０は、基準点７３ａを通り、基準点７３ａと最も近い壁７４ａに垂直な平面７５ａを算出し、基準点７３ｂを通り、基準点７３ｂと最も近い壁７４ｂに垂直な平面７５ｂを算出する。支援装置１０は、算出された平面７５ａ、７５ｂの交線上の位置を基準点７３ｃとする。支援装置１０は、平面７５ａ及び７５ｂに沿うように仮想設置物７６ａの角度を調整して仮想設置物７６ｂとする。

【0025】

支援装置１０は、３つ以上の基準物７２に基づいて仮想設置物の基準位置及び角度を設定してもよい。この場合、支援装置１０は、基準物７２に基づいて算出される３つ以上の平面に、設置物７０の３つ以上の辺又は面が沿うように、仮想設置物の角度を調整してもよい。

【0026】

このように、本実施の形態の技術によれば、支援装置１０としてヘッドマウントディスプレイを使用する場合であっても、仮想設置物７６ｂを容易かつ正確に仮想三次元空間に配置することができる。また、設置物７０を正確に設置場所に配置したときの画像を生成することができるので、現地調査の担当者は、設置物７０の設置状況をより的確に把握することができる。また、現地調査を適切に支援することができるので、担当者の育成に要する費用や労力を低減させることができる。

【0027】

図５は、実施の形態に係る支援装置１０の構成を示す。支援装置１０は、撮像装置１１、表示装置１２、入力装置１３、記憶装置１４、通信装置１５、距離センサ１６、及び制御装置２０を備える。本実施の形態の支援装置１０は、ヘッドマウントディスプレイによって実現される。支援装置１０は、携帯電話端末、スマートフォン、タブレット端末などの携帯端末であってもよいし、サーバ装置であってもよいし、パーソナルコンピュータなどの装置であってもよい。

【0028】

撮像装置１１は、周囲の画像を撮像する。撮像装置１１は、設置物の設置場所の現地調査を行う際に、設置場所の画像を撮像する。

【0029】

距離センサ１６は、周囲の壁、床、天井、設置物などとの間の距離を検知する。

【0030】

表示装置１２は、制御装置２０により生成される画面を表示する。表示装置１２は、液晶表示装置、有機ＥＬ表示装置などであってもよい。入力装置１３は、支援装置１０の使用者による指示入力を制御装置２０に伝達する。入力装置１３は、コントローラ、マウス、キーボード、タッチパッドなどであってもよい。

【0031】

記憶装置１４は、制御装置２０により使用されるプログラム、データなどを記憶する。記憶装置１４は、半導体メモリ、ハードディスクなどであってもよい。記憶装置１４は、設置物７０の設置場所に対応する仮想三次元空間の三次元形状データや、設置物７０に対応する仮想設置物７６の三次元形状データなどを保持する。

【0032】

通信装置１５は、他の装置との間の通信を制御する。通信装置１５は、有線又は無線の任意の通信方式により通信を行ってもよい。

【0033】

制御装置２０は、撮像画像取得部２１、空間形状情報取得部２２、基準位置取得部２３、設置物配置部２４、角度調整部２５、画像生成部２６、データ取得部２７、及び距離情報取得部２８を備える。これらの構成は、ハードウエア的には、任意の回路、コンピュータのＣＰＵ、メモリ、その他のＬＳＩなどにより実現され、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、またはハードウエアとソフトウエアの組合せなど、いろいろな形で実現できることは、当業者には理解されるところである。

【0034】

撮像画像取得部２１は、撮像装置１１により撮像された設置場所の撮像画像を取得する。

【0035】

距離情報取得部２８は、距離センサ１６により検知された距離情報を取得する。

【0036】

空間形状情報取得部２２は、撮像画像取得部２１により取得された撮像画像、又は距離情報取得部２８により取得された距離情報に基づいて、設置場所の三次元形状を認識する。空間形状情報取得部２２は、設置場所の三次元形状データを情報提供サーバ２などから取得してもよい。

【0037】

基準位置取得部２３は、設置物７０を設置場所に設置するための基準となる基準位置を取得する。

【0038】

設置物配置部２４は、仮想三次元空間における基準位置に基づいて、設置物７０に対応する仮想設置物の配置位置及び向きを決定する。

【0039】

角度調整部２５は、仮想三次元空間の形状に合わせて仮想設置物の角度を調整する。支援装置１０は、設置場所の壁、床、天井などに垂直又は平行になるように、仮想設置物７６の角度を調整してもよい。

【0040】

画像生成部２６は、ヘッドマウントディスプレイの位置及び向きに基づいて視点位置及び視線方向を設定し、仮想設置物７６の三次元形状データをレンダリングすることにより、仮想設置物７６の画像を生成する。画像生成部２６は、生成された仮想設置物７６の画像と設置場所の画像を重畳して表示装置１２に表示する。

【0041】

データ取得部２７は、仮想設置物７６の三次元形状データを提供する情報提供サーバ２から仮想設置物７６の三次元形状データを取得して記憶装置１４に格納する。

【0042】

以上、実施の形態に基づき本開示を説明したが、実施の形態は、本発明の原理、応用を示すにすぎない。また、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が可能である。

【0043】

上記の実施の形態では、主に、設置物を設置する工事のための現地調査を支援する場合について説明したが、本実施の形態の技術は、建築物の建築や、建築物の内部のリフォームなどの工事のための現地調査にも適用可能である。また、設置物の変更やリフォームなどを検討する顧客に、様々な商材の仕様や設置感をリアルタイムに体感させるなどして、顧客への営業活動を支援する場合にも適用可能である。

【符号の説明】

【0044】

１…支援システム、２…情報提供サーバ、３…通信網、１０…支援装置、１１…撮像装置、１２…表示装置、１３…入力装置、１４…記憶装置、１５…通信装置、１６…距離センサ、２０…制御装置、２１…撮像画像取得部、２２…空間形状情報取得部、２３…基準位置取得部、２４…設置物配置部、２５…角度調整部、２６…画像生成部、２７…データ取得部、２８…距離情報取得部、７０…設置物、７１…設置物、７２…基準物、７３…基準点、７４…壁、７５…平面、７６…仮想設置物。

【図1】

【図2】

【図3】

【図4】

【図5】