特許 7414197 仮想ゲージ表示プログラム及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】仮想ゲージ表示プログラム及び装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240109BHJP

   G01B 11/02 20060101ALI20240109BHJP

【ＦＩ】

G06T19/00 600

G01B11/02 H

【請求項の数】 16

(21)【出願番号】P 2020199562

(22)【出願日】2020-12-01

(65)【公開番号】P2022087569

(43)【公開日】2022-06-13

【審査請求日】2022-12-14

(73)【特許権者】

【識別番号】000170325

【氏名又は名称】鴻池運輸株式会社

(74)【代理人】

【識別番号】100187322

【弁理士】

【氏名又は名称】前川 直輝

(72)【発明者】

【氏名】則竹 茂年

(72)【発明者】

【氏名】渡辺 宗一郎

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０２０－１３２３６１（ＪＰ，Ａ）

【文献】特開２００９－０１５７３０（ＪＰ，Ａ）

【文献】特開２０１９－１９８９０５（ＪＰ，Ａ）

【文献】特開２０１８－１９５２３３（ＪＰ，Ａ）

【文献】特開２０１９－１４８８９９（ＪＰ，Ａ）

【文献】特開２００６－０８５３７５（ＪＰ，Ａ）

【文献】特開２００８－２９３３５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ｇ０１Ｂ １１／００

Ｇ０９Ｇ ５／００

Ｇ０６Ｑ ３０／００－５０／００

Ｂ６６Ｃ １３／００

Ｅ０２Ｆ ９／２６

(57)【特許請求の範囲】

【請求項1】

仮想ゲージ表示装置に、拡張現実を用いて実空間画像と共に仮想ゲージを表示させる仮想ゲージ表示プログラムであって、
前記仮想ゲージ表示装置は、前記実空間画像を撮影する撮影部と、前記実空間画像及び前記仮想ゲージを表示する表示部と、前記仮想ゲージを記憶する記憶部と、前記仮想ゲージの配置に関する入力を受け入れる入力部と、前記撮影部、前記表示部、前記記憶部、及び前記入力部を制御する制御部とを備え、
前記仮想ゲージ表示プログラムは、
前記撮影部に、前記実空間画像を撮影させる撮影ステップと、
前記制御部に、前記実空間画像から平面を検知させる平面検知ステップと、
前記入力部からの入力に基づき、前記制御部に、前記仮想ゲージの前記平面上の座標を特定させる座標特定ステップと、
前記仮想ゲージの前記平面上の座標に基づき、前記表示部に、前記実空間画像と共に、前記仮想ゲージを前記平面上に表示させる仮想ゲージ表示ステップと、
を実行させる、仮想ゲージ表示プログラム。

【請求項2】

請求項１に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示ステップで、前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージの下端を前記平面上の座標に表示させる、仮想ゲージ表示プログラム。

【請求項3】

請求項１又は２に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージは、前記平面に対して縦方向に延びる縦方向部分と、前記平面に対して横方向に延びる横向部分とを備える、仮想ゲージ表示プログラム。

【請求項4】

請求項１乃至３のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記記憶部は、互いに形状が異なる複数の仮想ゲージを記憶し、
前記仮想ゲージ表示プログラムは、前記表示部に、前記複数の仮想ゲージを選択可能に表示させる仮想ゲージ選択ステップを実行させる、仮想ゲージ表示プログラム。

【請求項5】

請求項１乃至４のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージを前記平面上に配置するための位置決めマークを表示させる位置決めマーク表示ステップを実行させる、仮想ゲージ表示プログラム。

【請求項6】

請求項５に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記制御部に、前記撮影部の撮影方向から前記平面に延びる仮想線を生成させ、前記表示部に、前記平面と前記仮想線の交点に前記位置決めマークを表示させる、仮想ゲージ表示プログラム。

【請求項7】

請求項６に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記制御部に、前記平面と前記仮想線の交点が前記前記表示部の画面中央領域に存在すること判断させ、前記交点が前記画面中央領域にある場合、前記表示部に、前記位置決めマークを前記画面中央領域に表示させる、仮想ゲージ表示プログラム。

【請求項8】

請求項１乃至７のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記実空間画像が変化すると、前記制御部に、前記仮想ゲージの位置及び／又は向きを補正させる、仮想ゲージ表示プログラム。

【請求項9】

請求項１乃至８のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージを前記平面に対して垂直な方向を中心として回転可能に表示させる回転表示ステップを実行させる、仮想ゲージ表示プログラム。

【請求項10】

請求項１乃至９のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記入力部からの入力に応じて、前記仮想ゲージが前記平面上で移動した状態を表示させる、仮想ゲージ表示プログラム。

【請求項11】

請求項１乃至１０のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、目盛りを有する前記仮想ゲージを表示させる、仮想ゲージ表示プログラム。

【請求項12】

請求項１乃至１１のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示装置は、携帯機器である、仮想ゲージ表示プログラム。

【請求項13】

拡張現実を用いて実空間画像と共に仮想ゲージを表示させる仮想ゲージ表示装置であって、
前記仮想ゲージ表示装置は、前記実空間画像を撮影する撮影部と、前記実空間画像及び前記仮想ゲージを表示する表示部と、前記仮想ゲージを記憶する記憶部と、前記仮想ゲージの配置に関する入力を受け入れる入力部と、前記撮影部、前記表示部、前記記憶部、及び前記入力部を制御する制御部とを備え、
前記撮影部は、前記実空間画像を撮影し、
前記制御部は、前記実空間画像から平面を検知し、
前記入力部からの入力に基づき、前記制御部は、前記仮想ゲージの前記平面上の座標を特定し、
前記仮想ゲージの前記平面上の座標に基づき、前記表示部は、前記実空間画像と共に、前記仮想ゲージを前記平面上に表示する、仮想ゲージ表示装置。

【請求項14】

請求項１３に記載の仮想ゲージ表示装置において、
前記制御部は、前記仮想ゲージの下端を前記平面上に配置するように前記表示部に表示する、仮想ゲージ表示装置。

【請求項15】

請求項１３乃至１４のいずれか一項に記載の仮想ゲージ表示装置において、
前記制御部は、前記表示部に、前記仮想ゲージを前記平面上に配置するための位置決めマークを表示させる、仮想ゲージ表示装置。

【請求項16】

請求項１５に記載の仮想ゲージ表示装置において、
前記制御部は、前記撮影部の撮影方向から前記平面に延びる仮想線を生成し、前記表示部に、前記平面と前記仮想線の交点に前記位置決めマークを表示させる、仮想ゲージ表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体サイズを計測又は推測するための仮想ゲージを表示する仮想ゲージ表示プログラム及び装置に関し、より詳細には、拡張現実技術を用いて、仮想ゲージを物体に並べて表示する仮想ゲージ表示プログラム及び装置に関する。

【背景技術】

【0002】

航空機等の貨物室に貨物を搭載する前に、貨物が貨物室に収容可能なサイズであることを確認するために、貨物のサイズを計測する必要がある。従来手法では、貨物の計測の際に、作業員が、コンツァーゲージ（Contour Gauge）を用いてサイズを計測している。コンツァーゲージは、逆Ｌ字型であり、航空機等の貨物室に対応する大きさのアルミ製の支柱を備えている。支柱は３ｍを超える上、逆Ｌ字型のコンツァーゲージは重心がその上部に位置するため、取り扱いが難しく作業負荷になっていた。さらに、約３ｍを超える支柱のコンツァーゲージは、倉庫の端にしか格納できず、航空貨物等の計測の度に広大な倉庫の端まで、作業員がコンツァーゲージを取りに行かなければならず、作業時間の損失も大きかった。

【0003】

一方、２０００年以降、スマートフォンの普及に伴い、拡張現実（ＡＲ：Augmented Reality）を利用したアプリが一般に利用可能となっている。特に、２０１７年にＡｐｐｌｅ Ｉｎｃ．によるＡＲ開発ツール「ＡＲＫｉｔ」や、Ｇｏｏｇｌｅ ＬＬＣによるＡＲ開発ツール「ＡＲＣｏｒｅ」の提供以降、アプリの開発が進んでいる。

【0004】

また、ＡＲに関連する技術は、例えば、特許文献１や２に提案されている。特許文献１には、「拡張現実感の体験を提供するように構成されたポータブルデバイスであって、実世界のシーンを表示するように構成された表示画面と、前記表示画面に関連付けられ、前記実世界のシーンを表している画像データをキャプチャするように構成された画像キャプチャ装置と、前記実世界のシーンを表している前記画像データを分析するように構成された画像認識論理回路と、前記画像認識論理回路に応答し、前記実世界のシーンに追加画像を取り入れるように構成された画像生成論理回路と、を有するポータブルデバイス」（請求項１）が記載されている。

【0005】

引用文献２には、「ゲーム装置は、カメラから撮像画像を取得し、取得された撮像画像に対して、当該撮像画像に含まれる所定の対象を認識する認識処理を繰り返し実行する。また、ゲーム装置は、認識処理の処理結果を用いて生成される仮想オブジェクトの画像と、当該認識処理の対象となった撮像画像とを合成した合成画像を繰り返し生成して表示する。ここで、認識処理が失敗した場合には、以前に成功した認識処理の対象となった撮像画像と、当該認識処理の処理結果を用いて生成される仮想オブジェクトの画像とが合成される。」（要約書）ことが記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特表２００８－５１０２５４号公報

【文献】特開２０１１－０７６５８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１は、実世界を表示する表示画面に、追加画像を取り入れて表示し、特許文献２は、撮像画像に仮想オブジェクトを合成して表示する。しかし、追加画像や仮想オブジェクト等を用いるようなＡＲ技術では、貨物等の現実物体のサイズ又は寸法を作業者は計測又は推測できなかった。

【0008】

そこで、本発明は、ＡＲを用いて、物体サイズを計測又は推測するための仮想ゲージを表示する仮想ゲージ表示プログラム及び装置の提供を目的とする。

【課題を解決するための手段】

【0009】

本発明の各態様は次の通りである。
［態様１］
仮想ゲージ表示装置に、拡張現実を用いて実空間画像と共に仮想ゲージを表示させる仮想ゲージ表示プログラムであって、
前記仮想ゲージ表示装置は、前記実空間画像を撮影する撮影部と、前記実空間画像及び前記仮想ゲージを表示する表示部と、前記仮想ゲージを記憶する記憶部と、前記仮想ゲージの配置に関する入力を受け入れる入力部と、前記撮影部、前記表示部、前記記憶部、及び前記入力部を制御する制御部とを備え、
前記仮想ゲージ表示プログラムは、
前記撮影部に、前記実空間画像を撮影させる撮影ステップと、
前記制御部に、前記実空間画像から平面を検知させる平面検知ステップと、
前記入力部からの入力に基づき、前記制御部に、前記仮想ゲージの前記平面上の座標を特定させる座標特定ステップと、
前記仮想ゲージの前記平面上の座標に基づき、前記表示部に、前記実空間画像と共に、前記仮想ゲージを前記平面上に表示させる仮想ゲージ表示ステップと、
を実行させる、仮想ゲージ表示プログラム。

【0010】

［態様２］
態様１に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示ステップで、前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージの下端を前記平面上の座標に表示させる、仮想ゲージ表示プログラム。
［態様３］
態様１又は２に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージは、前記平面に対して縦方向に延びる縦方向部分と、前記平面に対して横方向に延びる横向部分とを備える、仮想ゲージ表示プログラム。
［態様４］
態様１乃至３のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記記憶部は、互いに形状が異なる複数の仮想ゲージを記憶し、
前記仮想ゲージ表示プログラムは、前記表示部に、前記複数の仮想ゲージを選択可能に表示させる仮想ゲージ選択ステップを実行させる、仮想ゲージ表示プログラム。

【0011】

［態様５］
態様１乃至４のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージを前記平面上に配置するための位置決めマークを表示させる位置決めマーク表示ステップを実行させる、仮想ゲージ表示プログラム。
［態様６］
態様５に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記制御部に、前記撮影部の撮影方向から前記平面に延びる仮想線を生成させ、前記表示部に、前記平面と前記仮想線の交点に前記位置決めマークを表示させる、仮想ゲージ表示プログラム。
［態様７］
態様６に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記制御部に、前記平面と前記仮想線の交点が前記前記表示部の画面中央領域に存在すること判断させ、前記交点が前記画面中央領域にある場合、前記表示部に、前記位置決めマークを前記画面中央領域に表示させる、仮想ゲージ表示プログラム。

【0012】

［態様８］
態様１乃至７のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記実空間画像が変化すると、前記制御部に、前記仮想ゲージの位置及び／又は向きを補正させる、仮想ゲージ表示プログラム。
［態様９］
態様１乃至８のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記仮想ゲージを前記平面に対して垂直な方向を中心として回転可能に表示させる回転表示ステップを実行させる、仮想ゲージ表示プログラム。
［態様１０］
態様１乃至９のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、前記入力部からの入力に応じて、前記仮想ゲージが前記平面上で移動した状態を表示させる、仮想ゲージ表示プログラム。

【0013】

［態様１１］
態様１乃至１０のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示プログラムは、前記表示部に、目盛りを有する前記仮想ゲージを表示させる、仮想ゲージ表示プログラム。
［態様１２］
態様１乃至１１のいずれか一項に記載の仮想ゲージ表示プログラムにおいて、
前記仮想ゲージ表示装置は、携帯機器である、仮想ゲージ表示プログラム。

【0014】

［態様１３］
拡張現実を用いて実空間画像と共に仮想ゲージを表示させる仮想ゲージ表示装置であって、
前記仮想ゲージ表示装置は、前記実空間画像を撮影する撮影部と、前記実空間画像及び前記仮想ゲージを表示する表示部と、前記仮想ゲージを記憶する記憶部と、前記仮想ゲージの配置に関する入力を受け入れる入力部と、前記撮影部、前記表示部、前記記憶部、及び前記入力部を制御する制御部とを備え、
前記撮影部は、前記実空間画像を撮影し、
前記制御部は、前記実空間画像から平面を検知し、
前記入力部からの入力に基づき、前記制御部は、前記仮想ゲージの前記平面上の座標を特定し、
前記仮想ゲージの前記平面上の座標に基づき、前記表示部は、前記実空間画像と共に、前記仮想ゲージを前記平面上に表示する、仮想ゲージ表示装置。

【0015】

［態様１４］
態様１３に記載の仮想ゲージ表示装置において、
前記制御部は、前記仮想ゲージの下端を前記平面上に配置するように前記表示部に表示する、仮想ゲージ表示装置。
［態様１５］
態様１３乃至１４のいずれか一項に記載の仮想ゲージ表示装置において、
前記制御部は、前記表示部に、前記仮想ゲージを前記平面上に配置するための位置決めマークを表示させる、仮想ゲージ表示装置。
［態様１６］
態様１５に記載の仮想ゲージ表示装置において、
前記制御部は、前記撮影部の撮影方向から前記平面に延びる仮想線を生成し、前記表示部に、前記平面と前記仮想線の交点に前記位置決めマークを表示させる、仮想ゲージ表示装置。

【発明の効果】

【0016】

本発明の仮想ゲージ表示プログラム及び装置は、ＡＲで表示された仮想ゲージを用いて現実物体のサイズの計測又は推測することができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態に係る仮想ゲージ表示装置を示すブロック図である。

【図2】本実施形態に係る仮想ゲージ表示プログラムの開発環境を示す階層図である。

【図3】本実施形態に係る仮想ゲージ表示プログラムに関するフローチャートである。

【図4】図１の装置の仮想ゲージの一覧を示す画面構成図である。

【図5】図１の装置周囲の実空間画像を示す画面構成図である。

【図6】図５の実空間画像に位置決めマークを表示する画面構成図である。

【図7】実空間画像に仮想ゲージを表示する画面構成図である。

【図8】図７の実空間画像について回転した仮想ゲージの表示する画面構成図である。

【図9】仮想ゲージの形状の一例を示す模式図である。

【発明を実施するための形態】

【0018】

本発明の実施形態に係る仮想ゲージ表示プログラム及び装置を、図面を参照して説明する。本実施形態の仮想ゲージ表示プログラム及び装置は、航空貨物等の貨物に対して仮想ゲージを並べて表示するが、本発明は、貨物に限定されず任意の物体に対して仮想ゲージを並べて表示することができる。

【0019】

［概要］
本実施形態に係る仮想ゲージ表示プログラム及び装置は、現実空間を装置（タブレット端末又はスマートフォン等の携帯機器）のカメラで撮影し、ＡＲを用いて現実空間を仮想空間と関連付け、実物と同じサイズの仮想ゲージ（仮想コンツァーゲージ）を、現実空間画像上の三次元座標に出現（合成）させて表示する。作業者からすると、あたかも装置（携帯機器）の画面上に、本物のコンツァーゲージが出現しているように見える。そして、作業者が、仮想ゲージと航空貨物等の貨物とを比較することで、貨物のサイズの計測又は推測を行うことにより、作業者は、航空機等の貨物室に貨物が搭載可能なサイズか否かを確認することができる。

【0020】

本発明の実施形態に係る仮想ゲージ表示装置１を図１のブロック図を用いて説明する。図１に示すように、仮想ゲージ表示装置１は、現実空間を撮影するデジタルカメラ等の撮影部１２と、各種データを記憶するハードディスクやメモリ等の記憶部１４と、映像及び／又は画像を表示する液晶ディスプレイ等の表示部１６と、外部機器と通信ネットワークを介して通信する通信部１８と、使用者からの入力を受け付けるタッチパネル等の入力部１９と、各部を制御するＣＰＵ等の制御部２０とを備えている。制御部２０には、ＡＲアプリ（仮想ゲージ表示プログラム）３０が動作可能に搭載されている。ＡＲアプリ３０は、ＡＲエンジン３０ａを備えている。ＡＲエンジン３０ａは、ARkit、ARCore、又はARToolKitが提供する機能を用いて構築することができる。

【0021】

図２に、仮想ゲージ表示プログラム及び装置１の開発環境を構成する階層構造の一例を示す。この階層構造は、図１の各部から構成されるハードウエア層６０と、iOSやAndoroid等のオペレーティングシステム層５０と、iOS SDKやAndroid SDK等のソフトウエア開発キット（SDK）層４０と、ＡＲアプリ３０を含むアプリケーション層３０とから構成される。SDK層４０は、ＡＲアプリ３０等の開発時に用いられる。ＡＲアプリ３０は、SDK層４０に設けられたAR Kit、ARCore、又はARToolKitが提供する機能を用いて構成される。アプリケーション層３０には、好ましくは、統合開発環境(IDE)を提供するUnity(Unity 3D)等のグラフィックエンジンが設けられる。AR Fundationは、好ましくはUnity上で動作するAR開発用パッケージであり、ARに関する基本機能を提供する。SQLiteは、アプリケーションに組み込んで利用されるデータベースであり、好ましくはAR Fundationに読み込まれる。３Ｄモデル（後述する仮想ゲージ）のデータは、好ましくはSQLiteに記憶される。

【0022】

［処理概要］
本実施形態の仮想ゲージ表示プログラムが実行する処理の概要を説明する。
第１ステップは、ＡＲアプリの起動時に、仮想ゲージ表示装置１の撮影位置を原点（０，０，０）とした現実空間と適合（対応）するように仮想空間を作成する。この際、好ましくは、現実空間の１ｍを仮想空間の１単位と一致するように空間を作成する。
第２ステップは、モーショントラッキングと画像処理によって、仮想空間に内における仮想ゲージ表示装置１の自己位置を推定又は決定する。
第３ステップは、画像処理によって、周囲画像から基準となる平面（例えば水平面）の位置を検知し、仮想空間内に平面の位置を配置する。
第４ステップは、カメラの位置及び向きから作成した仮想線と、第３ステップで配置した平面とが交差する点の座標を得る。
第５ステップは、第４ステップで得た座標に、仮想ゲージ（仮想コンツァーゲージ）の下端が位置するように仮想ゲージを配置する。
仮想ゲージのサイズは、好ましくは、予め１単位=１ｍとなるように設定することにより、現実空間にあるものと同じサイズで表示されることとなる。

【0023】

次に、本実施形態に係る仮想ゲージ表示プログラム及び装置１のより詳細な処理を図３のフローチャートを用いて説明する。本実施形態の仮想ゲージ表示装置１は、好ましくはＡＲアプリ３０がインストールされたスマートフォン又はタブレット端末等の携帯機器とすることができる。物体サイズを推定する際、作業者は、入力部１９を操作してＡＲアプリを起動する。次に、ステップＳ３０１で、制御部２０は、記憶部１４に設けられたデータベース（ＤＢ）から選択可能な仮想ゲージ（仮想コンツァーゲージ）の情報を取得して、図４の一覧画面に示すように、形状が異なる複数の仮想ゲージＧのリストを表示部１６に表示する。ステップＳ３０２で、図４の画面が表示された状態で、作業者は、表示されている複数の仮想ゲージのいずれかを、タッチパネル（入力部１９）のタップによって選択すると、制御部２０に対して仮想ゲージの選択情報が入力される。

【0024】

ステップＳ３０３で、制御部２０は、作業者に対して、仮想ゲージの選択が正しいか否かの確認を要求する。この確認は、好ましくは、選択された仮想ゲージを表示部１６に表示して、「使用する。」又は「使用しない。」の入力を、タッチパネル（入力部１９）を介して要求する。ステップＳ３０３で、制御部２０が「使用する。」の入力を確認すると、ステップＳ３０４に移行する。ステップＳ３０２で、制御部２０が「使用しない。」の入力を検出するか、所定時間内に「使用する。」の入力を検出しない場合は、ステップＳ３０１に戻る。

【0025】

ステップＳ３０４で、制御部２０は、撮影部（カメラ）１２を起動する。ステップＳ３０５で、制御部２０は、撮影部１２が撮影したカメラ映像（周囲の実空間画像）を表示部１６の画面に表示すると共に、カメラ映像のデータを取り込む。

【0026】

ステップＳ３０６で、制御部２０は、ＡＲエンジン３０ａを用いて、撮影した周囲の実空間画像に対応する仮想空間を生成する。ステップＳ３０７で、制御部２０は、複数の周囲の実空間画像にモーショントラッキングを実行し、ＡＲエンジン３０ａを用いて、仮想空間に対する自己位置（自己視点位置）の座標を推定（生成）する。モーショントラッキングの際、制御部２０は、ＡＲエンジン３０ａを用いて、複数の周囲の実空間画像のそれぞれについて複数の特徴点の座標を抽出し、複数の特徴点の座標から自己位置（自己視点位置）の座標を推定（生成）する。

【0027】

ステップＳ３０８で、図５に示すように、作業者は、仮想ゲージ表示装置１を移動して、撮影部１２で周囲の実空間画像を撮影する。

【0028】

ステップＳ３０９で、制御部２０は、撮影部の位置（原点（０，０，０））から撮影方向に延びる仮想線のベクトルを生成する。

【0029】

ステップＳ３１０で、制御部２０は、ステップＳ３０８で得た周囲の実空間画像と、複数の特徴点までの距離とに基づき、ＡＲエンジン３０ａを用いて平面検知を実行して実空間の平面（例えば、水平面）の位置を算出する。ステップＳ３１１で、制御部２０は、平面検知が成功か否かを判定する。平面検知の成功は、制御部２０が、平面検知により算出された平面の状態（配置）が所定条件を満たすか否かに基づき判定する。ステップＳ３１１で、制御部２０が平面検知の成功を判定すれば、ステップＳ３１２に移行し、制御部２０が平面検知の失敗を判定すればステップＳ３０８の処理に戻る。

【0030】

ステップＳ３１２で、制御部２０は、仮想空間に平面に配置する（仮想空間に対する平面の座標を設定する）。ステップＳ３１３で、制御部２０は、実空間画像を表示部１６の画面に表示している状態で、表示部１６の画面（好ましくは画面中央領域）に、平面と、仮想線の交点とが存在するか否かを判定する。ステップＳ３１３で、交点が存在すると制御部２０が判定すればステップＳ３１４に移行し、交点が存在しないと制御部２０が判定すればステップＳ３０８に戻る。

【0031】

ステップＳ３１４で、制御部２０は、図６に示すように、表示部１６の画面中央領域に位置決めマークＭを表示する。位置決めマークＭは、仮想ゲージの下端を設置する平面上の位置（座標）を示す。なお、画面中央領域は、画面の周辺領域を除いた領域であり、仮想ゲージの下端が配置可能な領域とすることができる。

【0032】

ステップＳ３１５で、制御部２０は、作業者による位置決めマークＭに対するタップ等の入力を入力部１９を介して検出したか否かを判定する。ステップＳ３１５で、制御部２０がタップ等の入力を検出すると、位置決めマークＭの座標を特定して、ステップＳ３１６に移行し、制御部２０が所定時間内にタップ等の入力を検出しないと、ステップＳ３０８に戻る。

【0033】

ステップＳ３１６で、制御部２０は、ＡＲエンジン３０ａを用いて、図７に示すように、表示部１６が表示する実空間画像に対して、位置決めマークＭが表示されていた平面上の座標に仮想ゲージの下端が位置するように、仮想ゲージＧを出現又は表示させる。

【0034】

ステップＳ３１７で、仮想ゲージ表示装置（携帯機器）１の移動に伴い周囲画像が変化すると、制御部２０は、ＡＲエンジン３０ａを用いて、仮想ゲージの位置及び／又は向きを補正することができる。また、図８に示すように、制御部２０は、入力部１９からの入力に応じて、ＡＲエンジン３０ａを用いて、仮想ゲージを平面に対する鉛直線の周囲で、任意向きに回転した状態を表示することもできる。さらに、制御部２０は、入力部１９からの入力に応じて、ＡＲエンジン３０ａを用いて、仮想ゲージを平面上で移動した状態を表示することもできる。

【0035】

本実施形態において、制御部２０は、好ましくは、仮想ゲージＧの貨物（現実物体）Ｃに対する相対的なサイズを固定して表示することができる。本実施形態において、制御部２０は、好ましくは、仮想ゲージＧを実物のゲージ（コンツァーゲージ）に対応したサイズで周囲画面上に重ねて表示することができる。

【0036】

図９に示すように、仮想ゲージＧは、縦方向（略垂直方向）に延びる縦方向部分（垂直部分）Ｇｖと、横方向（略水平方向）に延びる横方向部分（水平部分）Ｇｈとを有する。仮想ゲージを検知平面上に配置する際、制御部２０は、縦方向部分Ｇｖを検知平面に対して略垂直な方向に配置し、横方向部分Ｇｈを検知平面に対して略平行な方向に配置する。仮想ゲージの縦方向部分及び／又は横方向部分の上に長さ目盛を表示してもよい。これによって、作業者は、貨物の側面側で縦に表示された縦方向部分Ｇｖによって、貨物Ｃの縦方向サイズを計測又は推測でき、貨物の上側で横向きに表示された横方向部分Ｇｈによって、貨物Ｃの横方向サイズが計測又は推測できる。

【0037】

本実施形態に係る仮想ゲージ表示プログラム及び装置を用いることにおり、作業者は、バランスが悪く、重い実物のコンツァーゲージを持つことなく、タブレット端末等の仮想ゲージ表示装置を持つだけでよいので、作業負荷が軽減する。また作業者が約３ｍもあるコンツァーゲージを倉庫の端まで取りに行かなくとも、手元にあるタブレット端末等の仮想ゲージ表示装置を用いて貨物のサイズを計測又は推定することができるため、作業時間の損失を防ぐ事ができる。

【0038】

［他の適用例］
本実施形態に係る仮想ゲージ表示プログラム及び装置は、直接、ものさしを当てて測定し難いものの計測や大きな対象物の２点間の距離を測定する業務に応用できる。例えば、次の例１~３が考えられる。
例１：倉庫においてパレット上に積み上げた荷物をフォークリフトでトレーラ（トラック）の荷室へ積み込む際、パレット上に積み上げられた荷物が荷室に入るかどうかを仮想ゲージで確認することができる。
例２：高所など人が近づき難い場所での通路幅や、もののサイズなどを、少し離れたところから仮想ゲージを当てて測定することができる。
例３：対象物の底面からの高さ、大きさ、形などが、仮想ゲージと比べて正常かを判断することができる。

【符号の説明】

【0039】

１ 仮想ゲージ表示装置
１２ 撮影部
１４ 記憶部
１６ 表示部
１７ 距離測定部
１８ 通信部
１９ 入力部
２０ 制御部
３０ ＡＲアプリ（仮想ゲージ表示プログラム）
３０ａ ＡＲエンジン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】