IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フジテック株式会社の特許一覧

特許7647968表示装置、表示制御方法、および、表示制御プログラム
<>
  • 特許-表示装置、表示制御方法、および、表示制御プログラム 図1
  • 特許-表示装置、表示制御方法、および、表示制御プログラム 図2
  • 特許-表示装置、表示制御方法、および、表示制御プログラム 図3
  • 特許-表示装置、表示制御方法、および、表示制御プログラム 図4
  • 特許-表示装置、表示制御方法、および、表示制御プログラム 図5
  • 特許-表示装置、表示制御方法、および、表示制御プログラム 図6
  • 特許-表示装置、表示制御方法、および、表示制御プログラム 図7
  • 特許-表示装置、表示制御方法、および、表示制御プログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-10
(45)【発行日】2025-03-18
(54)【発明の名称】表示装置、表示制御方法、および、表示制御プログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20250311BHJP
   G06F 3/01 20060101ALI20250311BHJP
   G09G 5/00 20060101ALI20250311BHJP
   G09G 5/02 20060101ALI20250311BHJP
   G09G 5/10 20060101ALI20250311BHJP
   G09G 5/08 20060101ALI20250311BHJP
【FI】
G06T19/00 600
G06F3/01 510
G09G5/00 550C
G09G5/02 B
G09G5/10 Z
G09G5/08 M
G09G5/08 D
G09G5/08 E
G09G5/08 F
【請求項の数】 6
(21)【出願番号】P 2024045612
(22)【出願日】2024-03-21
【審査請求日】2024-03-21
(73)【特許権者】
【識別番号】000112705
【氏名又は名称】フジテック株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】廣瀬 稔
(72)【発明者】
【氏名】下村 祐輝
(72)【発明者】
【氏名】阿部 浩明
【審査官】鈴木 明
(56)【参考文献】
【文献】韓国公開特許第10-2020-0069009(KR,A)
【文献】特開2022-155553(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/01
G09G 5/00
G09G 5/02
G09G 5/10
G09G 5/08
(57)【特許請求の範囲】
【請求項1】
施工作業対象としての現実空間を視る作業者の視界、または、現実空間を表す画像に対し、前記現実空間の位置に応じた配置で仮想オブジェクトをオーバーレイ表示する表示装置であって、
施工作業時に参照すべき情報としての前記仮想オブジェクトとして、前記現実空間に存在する施工面における施工位置であって、施工作業を行うべき3次元空間における位置である施工位置を示す施工位置画像を表示する表示制御部を備え、
前記表示制御部は、前記施工位置画像として、前記施工位置を含み前記施工面に垂直な線および面の少なくとも一方を有する画像を表示する、表示装置。
【請求項2】
前記表示制御部は、前記施工面に垂直な線および面の少なくとも一方の画像において、現実空間の実際の施工面である施工実面よりも手前側に表示される部分と、前記施工実面の向こう側に表示される部分とで、色、模様、および、濃度の少なくともいずれか1つを異ならせる、請求項1に記載の表示装置。
【請求項3】
前記表示制御部は、前記施工面よりも所定の距離だけ手前側に、施工に関する文字情報を表示する、請求項1に記載の表示装置。
【請求項4】
前記表示制御部は、前記施工面において、前記施工位置を点画像として表示するとともに、前記点画像の周囲の所定領域には画像を表示しない、請求項1に記載の表示装置。
【請求項5】
施工作業対象としての現実空間を視る作業者の視界、または、現実空間を表す画像に対し、前記現実空間の位置に応じた配置で仮想オブジェクトをオーバーレイ表示する表示制御方法であって、
施工作業時に参照すべき情報としての前記仮想オブジェクトとして、前記現実空間に存在する施工面における取付対象物の施工位置であって、施工作業を行うべき3次元空間における位置である施工位置を示す施工位置画像を表示する表示制御ステップを有し、
前記表示制御ステップにおいて、前記施工位置画像として、前記施工位置を含み前記施工面に垂直な線および面の少なくとも一方を有する画像を表示する、表示制御方法。
【請求項6】
請求項1に記載の表示装置としてコンピュータを機能させるための表示制御プログラムであって、前記表示制御部としてコンピュータを機能させるための表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実空間を視る作業者の視界、または、現実空間を表す画像に対し、現実空間の位置に応じた配置で仮想オブジェクトをオーバーレイ表示する表示装置に関する。
【背景技術】
【0002】
従来、建設作業などにおいて、作業者に装着されるスマートグラスなどの表示装置に、施工作業に必要な情報を現実空間と重ね合わせて表示させた状態で施工作業を行う手法が提案されている。例えば特許文献1には、現実空間をスキャンして空間形状を認識し、図面データを現実空間に合わせてスケーリングして、現実空間にマッピングして表示する投影装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-163466号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の技術を利用して、施工作業対象としての現実空間に施工位置を示す画像をオーバーレイ表示させることが考えられる。ここで、施工位置が点である場合、施工位置を示す画像は、視認性を高めるために、実際の施工位置とは異なる領域にも補助画像として表示することが考えられる。この場合、補助画像と実際の施工位置との区別が作業者にとってわかりにくくなるという問題がある。
【0005】
本発明の一態様は、施工位置を明確に作業者に認識させることが可能な表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明に係る表示装置は、施工作業対象としての現実空間を視る作業者の視界、または、現実空間を表す画像に対し、前記現実空間の位置に応じた配置で仮想オブジェクトをオーバーレイ表示する表示装置であって、前記仮想オブジェクトとして、前記現実空間に存在する施工面における施工位置を示す施工位置画像を表示する表示制御部を備え、前記表示制御部は、前記施工位置画像として、前記施工位置を含み前記施工面に垂直な線および面の少なくとも一方を有する画像を表示する、構成である。
【0007】
上記の課題を解決するために、本発明に係る表示制御方法は、施工作業対象としての現実空間を視る作業者の視界、または、現実空間を表す画像に対し、前記現実空間の位置に応じた配置で仮想オブジェクトをオーバーレイ表示する表示制御方法であって、前記仮想オブジェクトとして、前記現実空間に存在する施工面における取付対象物の施工位置を示す施工位置画像を表示する表示制御ステップを有し、前記表示制御ステップにおいて、前記施工位置画像として、前記施工位置を含み前記施工面に垂直な線および面の少なくとも一方を有する画像を表示する、方法である。
【0008】
本発明の各態様に係る表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記表示装置が備える各部(ソフトウェア要素)として動作させることにより前記表示装置をコンピュータにて実現させる表示装置の表示制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0009】
本発明によれば、表示装置側で認識している施工面の位置と、現実空間の実際の施工面である施工実面の位置とにずれが生じている場合でも、施工面に垂直な線または面と実際の施工実面との交点に施工を行えばよいことを作業者に認識させることができる。また、垂直な線または面の画像の見え方で、施工面に対して垂直な方向から視認しているかを作業者が認識することができるので、線または面と実際の施工実面とが交わっていない場合でも、施工実面における施工位置を正確に作業者に認識させることができるという効果を奏する。
【図面の簡単な説明】
【0010】
図1】仮想オブジェクトの表示例を示す斜視図である。
図2】本発明の実施形態に係るスマートグラス1の構成の概略を示すブロック図である。
図3】本実施形態に係るスマートグラス1が安全ヘルメット11に装着された状態を示す図である。
図4】エレベータの施工対象となるエレベータの乗場200および昇降路102の概略を示す斜視図である。
図5】昇降路102の内側から開口部101を見た際の概略を示す斜視図である。
図6】仮想オブジェクトの表示の変形例を示す図である。
図7】仮想オブジェクトの表示の別の変形例を示す図である。
図8】本発明の実施形態に係るエレベータ施工方法の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態について、詳細に説明する。
【0012】
(スマートグラス適用例の概要)
図3は、本実施形態に係るスマートグラス(表示装置)1が安全ヘルメット11に装着された状態を示す図である。本実施形態では、建築物の建造途中においてエレベータの施工を行う作業者が安全ヘルメット11とともにスマートグラス1を着用する状況が想定されている。
【0013】
スマートグラス1は光学透過型のヘッドマウントディスプレイである。スマートグラス1の着用者は、外部の現実空間を視認することができるとともに、投影された画像も現実空間内に視認することができる。すなわち、スマートグラス1は、エレベータの乗場および昇降路を含む現実空間を視る作業者の視界に対し、現実空間の位置に応じた配置で、エレベータの施工に関する施工参照情報としての仮想オブジェクトをオーバーレイ表示する。なお、本実施形態では、エレベータの施工作業が想定されているが、これに限定されるものではなく、取付対象物を現実空間における所定の位置に取り付ける施工作業であれば、どのような施工作業にも適用可能である。
【0014】
図1は、仮想オブジェクトOB1~OB8が現実空間にオーバーレイ表示された状態の一例を示している。同図に示すように、現実空間における壁面300に対して、所定の距離だけ離れた空間に仮想オブジェクトOB1~OB8が表示されている。これにより、作業者は施工作業を行うべき3次元空間における位置を現実空間において確認することができる。よって、施工作業を行うべき位置を現実空間においてメジャーで測って確認するなどの作業が不要となり、作業性を向上させることができる。なお、仮想オブジェクトOB1~OB8の詳細については後述する。
【0015】
なお、本実施形態では、表示装置として光学透過型のヘッドマウントディスプレイであるスマートグラス1を用いているが、本発明はこれに限定されるものではない。例えば、外部の現実空間をカメラで撮影した画像と、仮想オブジェクトの画像との両方を表示するビデオ透過型のヘッドマウントディスプレイであってもよい。また、本発明に係る表示装置として、ヘッドマウントディスプレイではなく、例えばタブレットPCやノートPCなどの持ち運び可能な情報表示端末や、無線や有線で情報処理装置に接続された持ち運び可能なディスプレイおよびカメラなどが用いられてもよい。
【0016】
施工参照情報としての仮想オブジェクトは、施工対象の設計仕様に基づいて生成された3次元CADデータまたは2次元CADデータに基づいて表示される。これらのCADデータは、例えばBIM(Building Information Modeling)として生成された3次元モデルの情報に基づいて生成されたものであってもよい。BIMでは、各パーツの数量、品番、寸法、素材、性能、および、価格などの各種情報が3次元モデルにオブジェクト情報として含まれているので、これらの情報の少なくともいずれか1つが施工参照情報として表示されてもよい。
【0017】
(スマートグラスの構成の詳細)
図2は、スマートグラス1の構成の概略を示すブロック図である。同図に示すように、スマートグラス1は、制御部2、投影部3、撮像部4、記憶部5、通信部6、および、音声入出力部7を備えている。制御部2は、スマートグラス1における各種情報処理を行うブロックであり、表示制御部21、位置認識部22、入力制御部23、警告制御部24、および、空間測距部25を備えている。
【0018】
表示制御部21は、エレベータの施工に関する施工参照情報としての仮想オブジェクトをオーバーレイ表示するように投影部3を制御する。投影部3はハーフミラーに対して画像を投影することによって、スマートグラス1の着用者である作業者に対して、外部の現実空間を視認させつつ、投影画像を視認させる。表示制御部21は、右目に対する投影画像と左目に対する投影画像とを異ならせることによって、仮想オブジェクトを現実空間内の所定の位置に立体的に配置されているように表示させることができる。これにより、作業者は、施工位置を現実空間の3次元位置で認識することができる。
【0019】
表示制御部21は、記憶部5に記憶されている3次元CADデータまたは2次元CADデータを含む施工参照情報を読み出して仮想オブジェクトの表示を制御する。ここで、3次元CADデータまたは2次元CADデータには、現実空間に存在する物体との位置関係を示す情報も含まれている。また、表示制御部21は、位置認識部22によって認識された現実空間の位置に基づいて仮想オブジェクトの表示位置を制御する。
【0020】
表示制御部21は、施工位置画像として、施工位置を含み施工面に垂直な線および面の少なくとも一方を有する画像を表示する制御を行う。この表示制御の詳細については後述する。
【0021】
なお、表示制御部21は、通信部6を介して施工参照情報を外部から取得してもよい。通信部6は、例えば無線LANによってローカルネットワークのPCやサーバと通信したり、インターネットを介して外部のサーバと通信したりしてもよい。これにより、記憶部5に記憶されているデータのアップデートや新たなデータの取得が可能となる。
【0022】
位置認識部22は、撮像部4によって撮像された現実空間の所定の位置に配置されているマーカーM1・M2(詳細は後述)の撮像画像を認識することによって、スマートグラス1の現実空間における3次元位置およびスマートグラス1が向いている3次元方向を認識する。また、位置認識部22は6DoF(Degree of Freedom)で位置認識が可能となっている。これにより、作業者は、一旦マーカーM1・M2によって位置認識部22に対して位置を認識させれば、その後に見る方向を変更したり移動したりしても、現実空間との相対的な位置関係が保たれた状態で仮想オブジェクトを視認することができる。
【0023】
入力制御部23は、作業者からの各種指示入力を受け付けて処理するブロックである。指示入力としては、例えば、仮想オブジェクトとしての入力インタフェースに対する入力が挙げられる。すなわち、表示制御部21によって入力インタフェースとしての画像が仮想オブジェクトとして現実空間に表示され、それに対して作業者が指などで仮想的にタッチしたことを画像認識することによって、作業者からの指示入力が受けつけられる。
【0024】
また、例えば、音声入出力部7による音声入力によって作業者からの指示入力が受け付けられてもよい。すなわち、音声入出力部7によって受け付けられた音声を入力制御部23が音声認識することにより作業者からの指示内容を認識することによって、作業者からの指示入力が受けつけられる。
【0025】
また、通信部6を介して外部の入力デバイスによって作業者からの指示入力が受け付けられてもよい。例えば、Bluetooth(登録商標)対応の入力コントローラや無線キーボードなどの各種入力機器と通信部6とが通信を行うことにより、作業者による入力機器への入力によって指示入力が受けつけられる。
【0026】
警告制御部24は、スマートグラス1を着用している作業者に対して発せられる何らかの警告を制御する。警告の手法としては、表示制御部21によるオーバーレイ表示で警告内容を投影表示する、音声入出力部7から警告音や警告内容を示す音声を出力する、などが挙げられる。
【0027】
警告条件としては、位置認識部22が、作業者の位置が昇降路の近傍の所定領域内であると認識したことが挙げられる。これにより、作業者の昇降路への落下可能性が高まったタイミングで警告が発せられるので、作業者の安全性をより高めることができる。
【0028】
なお、制御部2が備える表示制御部21、位置認識部22、入力制御部23、および警告制御部24の少なくともいずれか1つの機能は、通信を介して外部のコンピュータにおいて実現されてもよい。
【0029】
空間測距部25は、LiDAR(Light Detection And Ranging)などの距離センサを用いて、現実空間に存在する物体までの距離を認識し、現実空間の実際の形状を認識する。これにより、施工参照情報としての仮想オブジェクトの表示位置と、現実空間の実際の物体の位置との関係に応じて、表示態様を変更するなどの処理が可能となる。例えば、詳細は後述するが、空間測距部25は、現実空間の実際の施工面である施工実面を測定して、表示制御部21がこの測定結果に基づいて仮想オブジェクトの表示態様を変更する、などの処理が可能となる。なお、空間測距部25は必須ではなく、外部の空間測距デバイスによって現実空間に存在する物体までの距離を認識し、その情報を通信部6を介して取得する構成としてもよい。
【0030】
(エレベータ施工対象となる現実空間例)
図4は、エレベータの施工対象となるエレベータの乗場200および昇降路102の概略を示す斜視図である。同図は、建築物の建造途中段階でエレベータの扉が取り付けられていない状態を示している。この状態では、乗場200と昇降路102との間にエレベータの乗込口としての開口部101が存在している。乗場200には床面201および壁面202が存在する。
【0031】
床面201には、2つのマーカーM1・M2が設けられている。マーカーM1・M2は、前記したように、位置認識部22が撮像画像におけるマーカーM1・M2を画像認識することによって現実空間の位置を認識するために用いられる。マーカーM1・M2は、それぞれ四角形の面状部材によって構成され、表面には所定の図柄が形成されている。このようなマーカーM1・M2が、乗場200の床面201における開口部101近傍の所定の位置に配置されていることによって、位置認識部22は、乗場200および昇降路102の3次元空間における位置を正確に認識することができる。
【0032】
本実施形態では、乗場一か所に対してマーカーを2つ設けているが、これに限定されるものではなく、マーカーを1つ設けてもよいし、3つ以上設けてもよい。マーカーを設ける個数が多いほど位置認識の精度は高まるが、2つマーカーが設けられていれば十分な精度で位置認識を行うことができる。
【0033】
また、本実施形態では、床面201にマーカーM1・M2を設けているが、これに限定されるものではなく、壁面202にマーカーM1・M2を設けてもよい。また、本実施形態では、乗場200にマーカーM1・M2を設けているが、昇降路102内にマーカーを設けてもよい。
【0034】
マーカーM1・M2は、3次元CADデータまたは2次元CADデータを含む施工参照情報においてマーカー設置位置として規定されている床面201の所定の位置に配置される。このマーカーM1・M2の設置位置は、現実空間の位置と仮想オブジェクトの表示位置とを正確に一致させるために、高い精度が必要とされるため、現実空間において配置位置の精度が高い所定の位置基準物を基準に設けられることが好ましい。位置基準物の一例として、昇降路102内に設けられるピアノ線103が挙げられる。
【0035】
図5は、昇降路102の内側から開口部101を見た際の概略を示す斜視図である。同図に示すように、建築物の建設途中段階において、昇降路102内の上部の所定の位置から2本のピアノ線103・103が吊り下げられている。すなわち、ピアノ線103・103は、各階の施工状態に影響を受けることなく、定まった位置に配置されていることになる。よって、このピアノ線を位置基準物とすることによって、マーカーM1・M2の設置位置の精度を高く保つことができる。なお、ピアノ線に限らず、十分に細い径の丈夫な線部材であればどのような線部材を用いてもよい。
【0036】
また、位置基準物として、例えばレーザ光を用いてもよい。すなわち、昇降路102内の上部の所定の位置からレーザ光を鉛直下方向に照射することによって、ピアノ線と同様に定まった位置にレーザ光を配置することができる。ただし、レーザ光の場合、発光源からの距離が離れるにつれて光線の太さが太くなる傾向があるので、建築物の高さによっては光線の太さによる誤差の影響が出てくる可能性がある。
【0037】
(仮想オブジェクトの詳細)
次に、図1に示す仮想オブジェクトOB1~OB8について説明する。仮想オブジェクトOB1~OB7は、現実空間に存在する施工面における施工位置を示す施工位置画像である。仮想オブジェクトOB1は、点としての施工位置を示しており、仮想オブジェクトOB2で示される線分、仮想オブジェクトOB5で示される線分、および、仮想オブジェクトOB6で示される線分の交点として表示される。
【0038】
仮想オブジェクトOB2は、施工位置を含み、施工面に垂直な線分の画像である。これにより、施工参照情報のデータにおいて認識されている施工面の位置と、現実空間の実際の施工面である施工実面の位置とにずれが生じている場合でも、施工面に垂直な線または面と実際の施工実面との交点に施工を行えばよいことを作業者に認識させることができる。また、垂直な線分の画像の見え方で、施工面に対して垂直な方向から視認しているかを作業者が認識することができるので、線と実際の施工実面とが交わっていない場合でも、施工実面における施工位置を正確に作業者に認識させることができる。なお、施工参照情報のデータにおいて認識されている施工面の位置と施工実面の位置とは、一致していることが前提で仮想オブジェクトOB1~OB8が表示される。しかしながら、実際の施工による誤差などにより、施工面と施工実面とがずれている場合があり、図1および後述する図6では、施工実面が奥側にずれている例を示している。
【0039】
仮想オブジェクトOB5は、施工位置を含み、施工面に平行で水平方向の線分の画像である。仮想オブジェクトOB6は、施工位置を含み、施工面に平行で鉛直方向の線分の画像である。すなわち、仮想オブジェクトOB2、OB5、およびOB6の3つの線分の交点によって施工位置が示されることによって、施工位置の3次元空間内での位置を作業者が正確に認識することができる。
【0040】
なお、施工位置を含み施工面に垂直な面によって施工位置が表示されるようになっていてもよい。すなわち、例えば、仮想オブジェクトOB5を含み、施工面に垂直な面と、仮想オブジェクトOB6を含み、施工面に垂直な面と、施工面とが仮想オブジェクトとして表示されてもよい。この場合でも、作業者は施工位置の3次元空間内での位置を正確に認識することができる。ただし、面画像の仮想オブジェクトが増えることになるので、現実空間の構成の視認性が低下するケースも考えられる。よって、視認性を良好にするには、線画像によって施工位置を表示することが好ましい。
【0041】
仮想オブジェクトOB2としての線分は、現実空間の実際の施工面である施工実面よりも手前側に表示されており、施工実面上の点としての仮想オブジェクトOB4が仮想オブジェクトOB2の線分の一方の終端となっている。また、仮想オブジェクトOB2としての線分の延長線上に、施工実面よりも奥側に仮想オブジェクトOB3としての線分が表示されている。施工実面は空間測距部25で検出され、施工位置を含み施工面に垂直な線と、施工実面とが交わった箇所である仮想オブジェクトOB4の前後で、仮想オブジェクトOB2および仮想オブジェクトOB3として表示態様を変化させている。
【0042】
仮想オブジェクトOB2としての線分と、仮想オブジェクトOB3としての線分とは、色、模様、および、濃度の少なくともいずれか1つが異なる態様で表示される。これにより、作業者に施工実面の手前側か向こう側かを認識させることができる。よって、実際の施工位置を容易に作業者に認識させることができる。なお、仮想オブジェクトOB3を表示させずに、仮想オブジェクトOB2が施工実面と交わった位置で途切れるような表示が行われてもよい。
【0043】
仮想オブジェクトOB7は、施工位置を中心とし、施工面上における円形状画像である。この円形状画像により、3次元空間内での施工位置の視認性を高めることができる。また、作業者に、円形状の中心が施工位置であることを感覚的に容易に認識させることができる。
【0044】
また、仮想オブジェクトOB7を、施工実面に存在している部材の形状に類似した形状とすることによって、作業者に、現実空間の実際の見え方と、仮想オブジェクトの見え方との対応関係を認識しやすくさせることができる。
【0045】
仮想オブジェクトOB8は、施工に関する文字情報を表示する画像である。図1に示す例では「M10」という文字画像が表示されており、施工すべきアンカーボルトの呼び径を示している。施工に関する文字情報としては、これに限定されるものではなく、施工部品の商品名、商品コード、各種サイズ、施工時に注意すべき事項などが表示されてもよい。
【0046】
仮想オブジェクトOB8は、施工面よりも所定の距離だけ手前側に表示されることが好ましい。これにより、文字情報が施工実面の向こう側に表示されることによる視認性の低下を防止することができる。
【0047】
(仮想オブジェクト表示の変形例)
図6は、仮想オブジェクトの表示の変形例を示している。601に示す例では、仮想オブジェクトOB7が、長方形形状に対して、対向する一対の辺にそれぞれ半円形状を接続した形状の輪郭からなる横長形状画像となっている。この横長形状画像は、施工実面に存在している部材に類似した形状であることを想定しており、前述したように、作業者に、現実空間の実際の見え方と、仮想オブジェクトの見え方との対応関係を認識しやすくさせることができる。また、水平方向において、施工位置の許容ずれ範囲が設けられている場合に、このような表示が行われることによって、作業者に施工位置のずれが許容される範囲および方向を認識させることができる。なお、601に示す例では、水平方向に長い横長形状画像となっているが、これに限定されるものではなく、例えば鉛直方向に長い縦長形状画像であってもよい。
【0048】
602に示す例では、仮想オブジェクトOB1が、施工位置を示す点画像として表示されている。また、仮想オブジェクトOB1としての点画像の周囲の所定領域には画像が表示されていない。具体的には、仮想オブジェクトOB2、OB5、OB6は、施工位置を示す点画像から所定の距離以内には線分画像を表示していない。これにより、実際に施工作業を行うべき領域の視認性を向上させることができる。
【0049】
また、施工位置を示す点画像から所定の距離よりも離れた位置では、仮想オブジェクトOB2、OB5、OB6を表示させているので、施工位置を示す点画像を作業者に認識させやすくすることができる。さらに、仮想オブジェクトOB7としての円形状画像も表示しているので、施工位置は視認しにくい点画像で表示されていても、3次元空間内での施工位置の視認性を高めることができる。また、作業者に、円形状の中心が施工位置であることを感覚的に容易に認識させることができる。
なお、602に示す例では、仮想オブジェクトOB2は、仮想オブジェクトOB1としての点画像の周囲の所定領域で途切れた状態で表示されているが、途切れずに仮想オブジェクトOB1を通過する線分として表示されてもよい。この場合、仮想オブジェクトOB1としての点画像の周囲の所定領域の内側に施工実面が存在する場合でも、実際の施工位置となる施工実面と仮想オブジェクトOB2が交わる点(仮想オブジェクトOB4)を明示することができる。
図7は、仮想オブジェクトの表示の別の変形例を示している。この例では、仮想オブジェクトOB9で示される四角形形状の輪郭で、内部に仮想オブジェクトOB7で示される穴が形成されている施工対象物が表示されている。仮想オブジェクトOB7は、長方形形状に対して、対向する一対の辺にそれぞれ半円形状を接続した形状の輪郭からなる横長形状画像となっている。
仮想オブジェクトOB7の両端の半円形状の頂点となる位置に施工位置としての仮想オブジェクトOB1が示される。すなわち、この例のような形状の施工対象物の場合、内側に形成された穴の両端部となる仮想オブジェクトOB1で示される位置が、所定の位置に設置されるように施工が行われる。また、図1および図6と同様に、施工位置を含み施工面に垂直な線分として、仮想オブジェクトOB2および仮想オブジェクトOB3が表示され、施工実面とが交わった箇所である仮想オブジェクトOB4が表示される。なお、図7に示す例では、仮想オブジェクトOB7は水平方向に長い横長形状画像となっているが、これに限定されるものではなく、例えば鉛直方向に長い縦長形状画像であってもよい。
【0050】
(エレベータ施工方法の処理の流れ)
次に、本実施形態に係るエレベータ施工方法の処理の流れについて図8を参照しながら説明する。エレベータに関する施工が開始されると、まずステップ1(以降、S1のように称する)において、マーカーM1・M2が乗場200における所定位置に設置される。この際に、上記したように、ピアノ線103などの位置基準物を基準にしてマーカーM1・M2が設置される。
【0051】
次にS2において、作業者はスマートグラス1を装着し、撮像部4によってマーカーを撮像し、位置認識部22による位置認識処理を行わせる。位置認識が行われると、S3において、仮想オブジェクトのオーバーレイ表示が表示制御部21によって行われる。作業者は、一旦マーカーM1・M2によって位置認識部22に対して位置を認識させれば、その後に見る方向を変更したり移動したりしても、現実空間との相対的な位置関係が保たれた状態で仮想オブジェクトを視認することができる。この状態で、S4において、作業者は表示制御部21によってオーバーレイ表示された施工参照情報を確認しながら施工作業を行う。なお、施工作業としては、実際の施工作業だけでなく、施工作業が行われた後のチェック作業も含まれる。そして、S5において、施工作業の終了が確認され、S5においてNo、すなわち施工作業が継続している場合にはS3からの処理が繰り返され、S5においてYes、すなわち施工作業が終了した場合には、処理を終了する。
【0052】
上記の施工方法およびスマートグラス1によれば、エレベータの施工を効率的に実施することができる。このような効果は、例えば、国連が提唱する持続可能な開発目標(SDGs)の目標11.c「財政的及び技術的な支援などを通じて、後発開発途上国における現地の資材を用いた、持続可能かつ強靱(レジリエント)な建造物の整備を支援する。」等の達成にも貢献するものである。
【0053】
〔ソフトウェアによる実現例〕
スマートグラス1(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御部2に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
【0054】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0055】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0056】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0057】
また、上記各実施形態で説明した各処理は、AI(Artificial Intelligence:人工知能)に実行させてもよい。この場合、AIは上記制御装置で動作するものであってもよいし、他の装置(例えばエッジコンピュータまたはクラウドサーバ等)で動作するものであってもよい。
【0058】
(まとめ)
本発明の態様1に係る表示装置は、施工作業対象としての現実空間を視る作業者の視界、または、現実空間を表す画像に対し、前記現実空間の位置に応じた配置で仮想オブジェクトをオーバーレイ表示する表示装置であって、前記仮想オブジェクトとして、前記現実空間に存在する施工面における施工位置を示す施工位置画像を表示する表示制御部を備え、前記表示制御部は、前記施工位置画像として、前記施工位置を含み前記施工面に垂直な線および面の少なくとも一方を有する画像を表示する、構成である。
【0059】
上記の構成によれば、施工位置を含み施工面に垂直な線および面の少なくとも一方を有する画像が表示される。これにより、表示装置側で認識している施工面の位置と、現実空間の実際の施工面である施工実面の位置とにずれが生じている場合でも、施工面に垂直な線または面と実際の施工実面との交点に施工を行えばよいことを作業者に認識させることができる。また、垂直な線または面の画像の見え方で、施工面に対して垂直な方向から視認しているかを作業者が認識することができるので、線または面と実際の施工実面とが交わっていない場合でも、施工実面における施工位置を正確に作業者に認識させることができる。
【0060】
本発明の態様2に係る表示装置は、上記の態様1において、前記表示制御部は、前記施工面に垂直な線および面の少なくとも一方の画像において、現実空間の実際の施工面である施工実面よりも手前側に表示される部分と、前記施工実面の向こう側に表示される部分とで、色、模様、および、濃度の少なくともいずれか1つを異ならせる構成としてもよい。
【0061】
上記の構成によれば、施工位置画像の表示態様によって、作業者に施工実面の手前側か向こう側かを認識させることができる。よって、実際の施工位置を容易に作業者に認識させることができる。
【0062】
本発明の態様3に係る表示装置は、上記の態様1において、前記表示制御部は、前記施工面よりも所定の距離だけ手前側に、施工に関する文字情報を表示する構成としてもよい。
【0063】
上記の構成によれば、施工面よりも手前に施工に関する文字情報が表示されるので、文字情報が施工実面の向こう側に表示されることによる視認性の低下を防止することができる。
【0064】
本発明の態様4に係る表示装置は、上記の態様1において、前記表示制御部は、前記施工面において、前記施工位置を点画像として表示するとともに、前記点画像の周囲の所定領域には画像を表示しない構成としてもよい。
【0065】
上記の構成によれば、施工面においては、施工位置が点画像として表示され、その周囲には画像が表示されないので、実際に施工作業を行うべき領域の視認性を向上させることができる。
【0066】
本発明の態様5に係る表示制御方法は、施工作業対象としての現実空間を視る作業者の視界、または、現実空間を表す画像に対し、前記現実空間の位置に応じた配置で仮想オブジェクトをオーバーレイ表示する表示制御方法であって、前記仮想オブジェクトとして、前記現実空間に存在する施工面における取付対象物の施工位置を示す施工位置画像を表示する表示制御ステップを有し、前記表示制御ステップにおいて、前記施工位置画像として、前記施工位置を含み前記施工面に垂直な線および面の少なくとも一方を有する画像を表示する、方法である。
【0067】
本発明の態様6に係る表示制御プログラムは、上記の態様1において、前記表示装置としてコンピュータを機能させるための表示制御プログラムであって、前記表示制御部としてコンピュータを機能させる。
【0068】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0069】
1 スマートグラス(表示装置)
2 制御部
3 投影部
4 撮像部
5 記憶部
6 通信部
7 音声入出力部
11 安全ヘルメット
21 表示制御部
22 位置認識部
23 入力制御部
24 警告制御部
25 空間測距部
101 開口部
102 昇降路
103 ピアノ線
200 乗場
201 床面
202、300 壁面
M1・M2 マーカー
OB1~OB9 仮想オブジェクト
【要約】
【課題】施工位置を明確に作業者に認識させることが可能な表示装置を提供する。
【解決手段】仮想オブジェクトとして、現実空間に存在する施工面における施工位置を示す施工位置画像(OB1~OB7)を表示する表示制御部を備え、表示制御部は、施工位置画像として、施工位置を含み施工面に垂直な線を有する画像(OB2・OB3)を表示する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8