ホーム > 特許ランキング > ミサワホーム株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161925
(43)【公開日】2024-11-21
(54)【発明の名称】プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241114BHJP
G06F 3/048 20130101ALI20241114BHJP
【ＦＩ】
G06T19/00 600
G06F3/048
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2023073977
(22)【出願日】2023-04-28
(11)【特許番号】
(45)【特許公報発行日】2024-11-13
(71)【出願人】
【識別番号】307042385
【氏名又は名称】ミサワホーム株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(72)【発明者】
【氏名】相馬 康幸
(72)【発明者】
【氏名】林 康治
(72)【発明者】
【氏名】小瀧 次郎
(72)【発明者】
【氏名】伊藤 博
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA03
5B050BA04
5B050BA06
5B050BA09
5B050BA11
5B050BA13
5B050BA18
5B050BA20
5B050CA07
5B050DA04
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5B050FA12
5B050FA13
5B050FA15
5B050FA17
5E555AA26
5E555BA02
5E555BA21
5E555BB02
5E555BC19
5E555BE17
5E555CA42
5E555DB51
5E555DB56
5E555DC09
5E555EA22
5E555FA00
(57)【要約】
【課題】本発明は、住宅の壁、天井および床などのような対象面を簡易に測量できるようにすることを目的とする。
【解決手段】プログラム１７は、撮像装置１４によって撮像された映像を入力するとともに、三次元形状計測器１５によって計測された複数の計測対象点の三次元的な座標値からなる点群データを入力するコンピューター１１に、三次元形状計測器１５から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、認識処理によって認識された対象面の点群データに基づいて、撮像装置１４によって撮像された映像の二次元的なスクリーン座標系に目盛り画像２１，２２又は２３を射影変換の写像をして、撮像装置１４によって撮像された映像を背景として、目盛り画像２１，２２，２３を前景としてこれらを合成する合成処理と、を実行させる。
【選択図】図２
【解決手段】プログラム１７は、撮像装置１４によって撮像された映像を入力するとともに、三次元形状計測器１５によって計測された複数の計測対象点の三次元的な座標値からなる点群データを入力するコンピューター１１に、三次元形状計測器１５から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、認識処理によって認識された対象面の点群データに基づいて、撮像装置１４によって撮像された映像の二次元的なスクリーン座標系に目盛り画像２１，２２又は２３を射影変換の写像をして、撮像装置１４によって撮像された映像を背景として、目盛り画像２１，２２，２３を前景としてこれらを合成する合成処理と、を実行させる。
【選択図】図２
【特許請求の範囲】
【請求項1】
撮像装置によって撮像された映像を入力するとともに、三次元形状計測器によって計測された複数の計測対象点の三次元的な座標値からなる点群データを入力するコンピューターに、
前記三次元形状計測器から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、
前記認識処理によって認識された前記対象面の点群データに基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をして、前記撮像装置によって撮像された映像を背景として、前記目盛り画像を前景としてこれらを合成する合成処理と、を実行させる
ことを特徴とするプログラム。
前記三次元形状計測器から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、
前記認識処理によって認識された前記対象面の点群データに基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をして、前記撮像装置によって撮像された映像を背景として、前記目盛り画像を前景としてこれらを合成する合成処理と、を実行させる
ことを特徴とするプログラム。
【請求項2】
請求項１に記載のプログラムであって、
前記目盛り画像が、グリッド模様の像、複数の十字マークを規則的に二次元配列した像、又は、真っ直ぐに延びた第１線分に沿ってそれよりも短い複数の第２線分が一定間隔で配列された像である
ことを特徴とするプログラム。
前記目盛り画像が、グリッド模様の像、複数の十字マークを規則的に二次元配列した像、又は、真っ直ぐに延びた第１線分に沿ってそれよりも短い複数の第２線分が一定間隔で配列された像である
ことを特徴とするプログラム。
【請求項3】
請求項１又は２に記載のプログラムであって、
前記コンピューターに、
前記合成処理により前記目盛り画像が前記映像に合成されたライブビュー画面をリアルタイムに表示させる処理
を実行させる
ことを特徴とするプログラム。
前記コンピューターに、
前記合成処理により前記目盛り画像が前記映像に合成されたライブビュー画面をリアルタイムに表示させる処理
を実行させる
ことを特徴とするプログラム。
【請求項4】
請求項１又は２に記載のプログラムであって、
前記対象面が平坦である
ことを特徴とするプログラム。
前記対象面が平坦である
ことを特徴とするプログラム。
【請求項5】
請求項１又は２に記載のプログラムであって、
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像の二次元的なローカル座標系における平行移動量を決定する処理
を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記平行移動量に基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をする処理を含む
ことを特徴とするプログラム。
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像の二次元的なローカル座標系における平行移動量を決定する処理
を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記平行移動量に基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をする処理を含む
ことを特徴とするプログラム。
【請求項6】
請求項１又は２に記載のプログラムであって、
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像の二次元的なローカル座標系における平行移動量を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記平行移動量に基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をする処理を含む
ことを特徴とするプログラム。
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像の二次元的なローカル座標系における平行移動量を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記平行移動量に基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をする処理を含む
ことを特徴とするプログラム。
【請求項7】
請求項１又は２に記載のプログラムであって、
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像に対して垂直な方向への前記目盛り画像の奥行き移動量を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記奥行き移動量に基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をする処理を含む
ことを特徴とするプログラム。
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像に対して垂直な方向への前記目盛り画像の奥行き移動量を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記奥行き移動量に基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をする処理を含む
ことを特徴とするプログラム。
【請求項8】
請求項１又は２に記載のプログラムであって、
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像の透過度を決定する処理を実行させる処理を実行させ、
前記合成処理が、前記撮像装置によって撮像された映像に前記目盛り画像を前記透過度で合成する処理を含む
ことを特徴とするプログラム。
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像の透過度を決定する処理を実行させる処理を実行させ、
前記合成処理が、前記撮像装置によって撮像された映像に前記目盛り画像を前記透過度で合成する処理を含む
ことを特徴とするプログラム。
【請求項9】
請求項１に記載のプログラムであって、
前記目盛り画像が、真っ直ぐに延びた第１線分に沿ってそれよりも短い複数の第２線分が一定間隔で配列された像であり、
前記コンピューターに、
入力デバイスからの信号に基づいて、前記第１線分に沿う方向における前記目盛り画像の表示範囲を決定する処理を実行させ、
前記合成処理が、前記撮像装置によって撮像された映像に前記目盛り画像を前記表示範囲で合成する処理を含む
ことを特徴とするプログラム。
前記目盛り画像が、真っ直ぐに延びた第１線分に沿ってそれよりも短い複数の第２線分が一定間隔で配列された像であり、
前記コンピューターに、
入力デバイスからの信号に基づいて、前記第１線分に沿う方向における前記目盛り画像の表示範囲を決定する処理を実行させ、
前記合成処理が、前記撮像装置によって撮像された映像に前記目盛り画像を前記表示範囲で合成する処理を含む
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラムに関する。
【背景技術】
【0002】
特許文献１は、レーザースキャナーによってトンネル内の三次元形状を測量し、管理装置によってレーザースキャナーの測量データに基づいてトンネルの施工を管理するシステムを開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２３－００３１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の技術は、トンネルの内面等の形状を正確に測量するのに適しているが、使用者には高度な測量技術が要求される上、使用目的もトンネルの測量に限られている。
そこで、本発明は上記事情に鑑みてなされたものであり、本発明の目的は、住宅の壁、天井および床などのような対象面を簡易に測量できるようにすることである。
そこで、本発明は上記事情に鑑みてなされたものであり、本発明の目的は、住宅の壁、天井および床などのような対象面を簡易に測量できるようにすることである。
【課題を解決するための手段】
【0005】
【0006】
請求項１に係る発明によれば、撮像装置（１４）によって撮像された映像を入力するとともに、三次元形状計測器（１５）によって計測された複数の計測対象点の三次元的な座標値からなる点群データを入力するコンピューター（１１）に、
前記三次元形状計測器（１５）から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、
前記認識処理によって認識された前記対象面の点群データに基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をして、前記撮像装置（１４）によって撮像された映像を背景として、前記目盛り画像（２１，２２又は２３）を前景としてこれらを合成する合成処理と、を実行させる
ことを特徴とするプログラム（１７）が提供される。
前記三次元形状計測器（１５）から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、
前記認識処理によって認識された前記対象面の点群データに基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をして、前記撮像装置（１４）によって撮像された映像を背景として、前記目盛り画像（２１，２２又は２３）を前景としてこれらを合成する合成処理と、を実行させる
ことを特徴とするプログラム（１７）が提供される。
【0007】
以上のような請求項１に係る発明によれば、撮像装置（１４）に撮像された映像中の対象面は遠近感により実際の形状から歪んでいるところ、目盛り画像（２１，２２又は２３）が対象面の点群データにも基づいてその映像の二次元なスクリーン座標系に射影変換されるため、目盛り画像（２１，２２又は２３）も対象面の歪みに合わせて歪む。そのため、対象面に沿う長さ等を目盛り画像（２１，２２又は２３）から正確に計測することができる。また、使用者にとっては、撮像装置（１４）に撮像された映像と目盛り画像（２１，２２又は２３）との合成映像を見るだけで、対象面を簡易に測量することができる。
【0008】
請求項２に係る発明によれば、請求項１に記載のプログラム（１７）であって、
前記目盛り画像（２１，２２又は２３）が、グリッド模様の像、複数の十字マークを規則的に二次元配列した像、又は、真っ直ぐに延びた第１線分（２３ａ）に沿ってそれよりも短い複数の第２線分（２３ｂ）が一定間隔で配列された像である
ことを特徴とするプログラム（１７）が提供される。
前記目盛り画像（２１，２２又は２３）が、グリッド模様の像、複数の十字マークを規則的に二次元配列した像、又は、真っ直ぐに延びた第１線分（２３ａ）に沿ってそれよりも短い複数の第２線分（２３ｂ）が一定間隔で配列された像である
ことを特徴とするプログラム（１７）が提供される。
【0009】
以上のような請求項２に係る発明によれば、目盛り画像（２１，２２又は２３）がグリッド模様の像であれば、対象面に存在する傷および模様などの位置、大きさ及び範囲などをグリッドから簡易に計測することができる。目盛り画像（２１，２２又は２３）が複数の十字マークを規則的に二次元配列した像であれば、対象面に存在するビスなどのような計測対象の数、位置及びそれらの正確性を十字マーク（２２ａ，２２ｂ及び２２ｃ）から簡易に計測することができる。目盛り画像（２１，２２又は２３）が真っ直ぐに延びた第１線分（２３ａ）に沿ってそれよりも短い複数の第２線分（２３ｂ）が一定間隔で配列された像であれば、第１線分（２３ａ）に沿った長さを第２線分（２３ｂ）の数などから簡易に計測することができる。
【0010】
請求項３に係る発明によれば、請求項１又は２に記載のプログラム（１７）であって、
前記コンピューター（１１）に、
前記合成処理により前記目盛り画像（２１，２２又は２３）が前記映像に合成されたライブビュー画面をリアルタイムに表示させる処理
を実行させる
ことを特徴とするプログラム（１７）が提供される。
前記コンピューター（１１）に、
前記合成処理により前記目盛り画像（２１，２２又は２３）が前記映像に合成されたライブビュー画面をリアルタイムに表示させる処理
を実行させる
ことを特徴とするプログラム（１７）が提供される。
【0011】
以上のような請求項３に係る発明によれば、対象面をリアルタイムに測量することができる。
【0012】
請求項４に係る発明によれば、
請求項１又は２に記載のプログラム（１７）であって、
前記対象面が平坦である
ことを特徴とするプログラム（１７）が提供される。
請求項１又は２に記載のプログラム（１７）であって、
前記対象面が平坦である
ことを特徴とするプログラム（１７）が提供される。
【0013】
以上のような請求項４に係る発明によれば、コンピューター（１１）の処理がシンプルである。
【0014】
請求項５に係る発明によれば、
請求項１又は２に記載のプログラム（１７）であって、
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）の二次元的なローカル座標系における平行移動量を決定する処理
を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記平行移動量に基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をする処理を含む
ことを特徴とするプログラム（１７）が提供される。
請求項１又は２に記載のプログラム（１７）であって、
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）の二次元的なローカル座標系における平行移動量を決定する処理
を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記平行移動量に基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をする処理を含む
ことを特徴とするプログラム（１７）が提供される。
【0015】
以上のような請求項５に係る発明によれば、対象面上の計測対象物の位置に合わせて、その計測対象物を測量することができる。
【0016】
請求項６に係る発明によれば、請求項１又は２に記載のプログラム（１７）であって、
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）の二次元的なローカル座標系における平行移動量を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記平行移動量に基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をする処理を含む
ことを特徴とするプログラム（１７）が提供される。
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）の二次元的なローカル座標系における平行移動量を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記平行移動量に基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をする処理を含む
ことを特徴とするプログラム（１７）が提供される。
【0017】
以上のような請求項６に係る発明によれば、対象面上の計測対象物の回転角に合わせて、その計測対象物を測量することができる。
【0018】
請求項７に係る発明によれば、請求項１又は２に記載のプログラム（１７）であって、
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）に対して垂直な方向への前記目盛り画像（２１，２２又は２３）の奥行き移動量を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記奥行き移動量に基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をする処理を含む
ことを特徴とするプログラム（１７）が提供される。
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）に対して垂直な方向への前記目盛り画像（２１，２２又は２３）の奥行き移動量を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記奥行き移動量に基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をする処理を含む
ことを特徴とするプログラム（１７）が提供される。
【0019】
以上のような請求項７に係る発明によれば、対象面に対して垂直な方向への計測対象物の位置ずれに合わせて、その計測対象物を測量することができる。
【0020】
請求項８に係る発明によれば、請求項１又は２に記載のプログラム（１７）であって、
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）の透過度を決定する処理を実行させる処理を実行させ、
前記合成処理が、前記撮像装置（１４）によって撮像された映像に前記目盛り画像（２１，２２又は２３）を前記透過度で合成する処理を含む
ことを特徴とするプログラム（１７）が提供される。
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）の透過度を決定する処理を実行させる処理を実行させ、
前記合成処理が、前記撮像装置（１４）によって撮像された映像に前記目盛り画像（２１，２２又は２３）を前記透過度で合成する処理を含む
ことを特徴とするプログラム（１７）が提供される。
【0021】
以上のような請求項８に係る発明によれば、目盛り画像（２１，２２又は２３）が対象面の手前又は奥の方にあることを表現できる。
【0022】
請求項９に係る発明によれば、請求項１に記載のプログラム（１７）であって、
前記目盛り画像（２３）が、真っ直ぐに延びた第１線分（２３ａ）に沿ってそれよりも短い複数の第２線分（２３ｂ）が一定間隔で配列された像であり、
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記第１線分（２３ａ）に沿う方向における前記目盛り画像（２３）の表示範囲を決定する処理を実行させ、
前記合成処理が、前記撮像装置（１４）によって撮像された映像に前記目盛り画像（２３）を前記表示範囲で合成する処理を含む
ことを特徴とするプログラム（１７）が提供される。
前記目盛り画像（２３）が、真っ直ぐに延びた第１線分（２３ａ）に沿ってそれよりも短い複数の第２線分（２３ｂ）が一定間隔で配列された像であり、
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記第１線分（２３ａ）に沿う方向における前記目盛り画像（２３）の表示範囲を決定する処理を実行させ、
前記合成処理が、前記撮像装置（１４）によって撮像された映像に前記目盛り画像（２３）を前記表示範囲で合成する処理を含む
ことを特徴とするプログラム（１７）が提供される。
【0023】
以上のような請求項９に係る発明によれば、対象面上の計測対象物の長さに目盛り画像（２３）の表示範囲を合わせることができる。
【発明の効果】
【0024】
本発明によれば、使用者にとっては、撮像装置に撮像された映像と目盛り画像との合成映像を見るだけで、対象面を簡易に測量することができる。
【図面の簡単な説明】
【0025】
【発明を実施するための形態】
【0026】
以下、図面を参照して、実施形態について説明する。実施形態の特徴及び技術的な効果は、以下の詳細な説明及び図面から理解される。ただし、本発明の範囲は、以下に開示された実施形態に限定されない。図面は例示のみのために提供されるため、本発明の範囲は図面の例示に限定されない。
【0027】
以下の説明において、「第１」及び「第２」などのような序数が共通の名称に付されている場合、序数はそれが付された対象を識別する目的でのみ用いられる。序数はそれが付された対象を特定の対象に限定しない上、序数はそれが付された対象の順番、順位、順序、階級、優先及び劣後などを特定しない。
【0028】
＜１． 計測支援装置の使用状態＞
図１は、計測支援装置１０の使用状況の一例を示す図である。
複数のパネル９５が立設された状態で部屋９１の外周に配列され、これにより部屋９１の壁９２～９４が構成されている。パネル９５は例えば石膏ボード、合板又は構造用パネルであり、ここでいう構造用パネルはパネル工法で使用されるものをいう。図１に示す例では、壁９２～９４には壁紙が貼り付けられていないが、壁紙が貼り付けられていてもよい。家具９６が部屋９１内にて壁９２に寄って配置されている。
図１は、計測支援装置１０の使用状況の一例を示す図である。
複数のパネル９５が立設された状態で部屋９１の外周に配列され、これにより部屋９１の壁９２～９４が構成されている。パネル９５は例えば石膏ボード、合板又は構造用パネルであり、ここでいう構造用パネルはパネル工法で使用されるものをいう。図１に示す例では、壁９２～９４には壁紙が貼り付けられていないが、壁紙が貼り付けられていてもよい。家具９６が部屋９１内にて壁９２に寄って配置されている。
【0029】
使用者９０は、計測支援装置１０を用いて、部屋９１内にて壁９２～９４に沿う長さなどを計測する。具体的には、使用者が計測支援装置１０を壁９２～９４及び家具９６に向けて計測支援装置１０によって壁９２～９４及び家具９６を撮影すると、壁９２～９４及び家具９６が写った映像が計測支援装置１０に表示される。使用者が映像中の壁９２～９４の何れかの像を指定すると、目盛りの像が射影変換によって映像中の指定像に合わせて台形型歪みの処理を施された上で、目盛りの像が指定像に重畳表示される。使用者が映像中の目盛りの像を視認して、映像中の指定像に沿った長さなどを実寸で計測することができる。つまり、使用者は、壁９２～９４の高さ、幅および対角線長などのような実寸長を映像中の目盛り像により計測することができる。また、家具９６が壁９２に寄っていることから、使用者が映像中の目盛りの像から家具９６の高さ及び横幅などを計測することができる。
【0030】
計測支援装置１０によって撮影される対象は壁９２～９４及び家具９６に限るものではない。計測する長さは、壁９２～９４に沿うものに限るものでなく、内壁、外壁、天井及び床等のような平面に沿うものであればよい。
【0031】
＜２． 計測支援装置の構成＞
図２は、計測支援装置１０のブロック図である。
図２は、計測支援装置１０のブロック図である。
【0032】
計測支援装置１０は、携帯電話機、スマートフォン、タブレット型コンピューターシステム、ラップトップ型コンピューターシステム及びデスクトップ型コンピューターシステムなどのようなコンピューターシステムである。
【0033】
計測支援装置１０は、コンピューター１１、入力デバイス１２、表示デバイス１３、撮像装置１４、三次元形状計測器１５及びメモリデバイス１６を有する。
【0034】
コンピューター１１は、メインボード、１又は複数のハードウェアプロセッサー、ＧＰＵ（Graphics Processing Unit）及びＲＡＭ（Random Access Memory）などを有する。メインボードは、バス、バスコントローラ及びインターフェース回路などを有するとともに、ハードウェアプロセッサー、ＧＰＵ、ＲＡＭ、入力デバイス１２、表示デバイス１３、撮像装置１４、三次元形状計測器１５及びメモリデバイス１６の間で情報を伝送する。ハードウェアプロセッサーは、例えばＣＰＵ（Central Processing Unit）であってもよい。ハードウェアプロセッサーは、各種の演算処理を行う。ＲＡＭは、ハードウェアプロセッサーによる演算処理に際して、ハードウェアプロセッサーに記憶領域又は作業領域を提供する。ＧＰＵは、ハードウェアプロセッサーよりも高速に行える処理（例えば、画像処理及び行列演算処理）をハードウェアプロセッサーの指令の下で行う。
【0035】
入力デバイス１２は、キーボード、マウス、タッチパネル、タッチパッド、スタライス、ポインティングデバイス、キー及び押しボタンなどのような入力装置である。入力デバイス１２は、使用者が入力デバイス１２に対して行った操作の内容に応じた信号をコンピューター１１に出力する。コンピューター１１は、入力デバイス１２から転送された信号に従って、使用者による入力及び指令を認識する。
【0036】
表示デバイス１３は、例えば液晶ディスプレイデバイス又は有機ＥＬディスプレイデバイスであってもよい。表示デバイス１３は、コンピューター１１から入力した映像信号に従った映像を表示する。表示デバイス１３の表示画面内の点の位置を座標値で示すための二次元的な座標系のことをスクリーン座標系という。なお、入力デバイス１２がタッチパネルである場合、入力デバイス１２が表示デバイス１３に重ねられている。
【0037】
撮像装置１４は、対象物の像を撮像して、対象物の像が写った映像を生成して、その映像の信号をコンピューター１１に転送する。撮像装置１４はレンズ、撮像素子及び画像処理回路等を有する。レンズは、対象物の像を撮像素子に結像する。撮像素子は、非常に短い周期で対象物の像を次々に撮像して、対象物の像が写った画像を次々に画像処理回路に出力する。画像処理回路は、撮像素子から次々に入力される画像を画像処理することによって、これら画像から所定のフレームレートの映像信号を生成して、映像信号をコンピューター１１に出力する。
【0038】
撮像装置１４と三次元形状計測器１５が互いに固定されている。そのため、撮像装置１４に対する三次元形状計測１５の相対的な位置は不変である。
【0039】
三次元形状計測器１５は、光学式の測域センサであって、LiDAR（Light Detection And Ranging）とも呼ばれる。三次元形状計測器１５は、対象物の三次元形状を計測して、対象物の三次元形状を点群データとしてコンピューター１１に出力する。
【0040】
具体的には、三次元形状計測器１５は、撮像装置１４の撮影範囲に向けてレーザービームを投光するとともに、対象物に入射したレーザービームの反射光を受光することによって、三次元形状計測器１５から計測対象点までの距離を検出する。計測対象点とは、レーザービームが対象物に入射した位置のことをいう。また、三次元形状計測器１５は、レーザービームを２軸回りに偏向させることによって、三次元形状計測器１５から計測対象点への方角を直交２軸回りの第１偏角及び第２偏角として検出する。つまり、三次元形状計測器１５は、計測対象点の三次元的な位置を極座標系における極座標値、つまり距離、第１偏角及び第２偏角により表現するよう、計測対象点の位置を検出する。三次元形状計測器１５は、計測対象点の三次元的な位置を、極座標系から直交座標系に換算してもよい。レーザービームの偏向とは、レーザービームの出射方向を直交２軸回りに変位させることをいう。直交２軸とは、三次元形状計測器１５を通って互いに直交する２軸のことをいう。直交２軸は、撮像装置１４の光軸に直交する面に沿っていてもよい。
【0041】
三次元形状計測器１５は、レーザービームを偏向させながら、非常に短い周期で周期的に計測対象点の位置を計測するため、計測対象点の座標値を次々にコンピューター１１に出力する。これら計測対象点の座標値のデータ列のことを点群データという。計測対象点の集合が対象物であり、点群データは対象物の三次元形状を表す。計測対象点の位置を座標値で表すための座標系のことをワールド座標系といい、ワールド座標系の原点は例えば三次元形状計測器１５に設定されている。三次元形状計測器１５が撮像装置１４の撮影範囲の全体を１回走査することを１サイクルという。
【0042】
なお、三次元形状計測器１５は、いわゆるステレオカメラであってもよい。ステレオカメラとは、複数のカメラの視差を利用して、これらカメラによって撮影された複数の映像から対象物の三次元形状を計測して、対象物の三次元形状を点群データとしてコンピューター１１に出力する。三次元形状計測器１５がステレオカメラである場合、撮像装置１４が三次元形状計測器１５の複数のカメラのうちの１体であってもよい。
【0043】
メモリデバイス１６は汎用ＯＳ（Operating System）を記憶し、これにより汎用ＯＳが計測支援装置１０にインストールされている。汎用ＯＳとは、例えば、Windows（登録商標）、Android（登録商標）、iOS（登録商標）、macOS（登録商標）、Linux（登録商標）又はUnix（登録商標）である。汎用ＯＳが起動されると、コンピューター１１が汎用ＯＳを実行する。
【0044】
メモリデバイス１６は計測支援プログラム１７を記憶する。計測支援プログラム１７は汎用ＯＳにインストールされている。計測支援プログラム１７は、コンピューター１１が汎用ＯＳ上で実行可能なアプリケーションプログラムである。
【0045】
メモリデバイス１６は目盛り画像２１～２３を記憶する。第１及び第２の目盛り画像２１，２２はラスター形式とベクター形式の何れであってもよい。第３の目盛り画像２３はベクター形式である。目盛り画像２１～２３の解像度及び大きさは、目盛り画像２１～２３がそれらの形状を維持してワールド座標系にマップされた場合にこれら目盛り画像２１～２３の目盛りによって示される長さがその実寸に等しくなるように設定されている。
【0046】
第１の目盛り画像２１はグリッド像である。次の表のように複数種類の第１の目盛り画像２１がメモリデバイス１６に記憶されている。
【0047】
【表1】
【0048】
図３は、正方格子模様の第１の目盛り画像２１を示す図である。図３に示すように、グリッド線２１ａが正方格子を成すように縦横に延びており、グリッド線２１ａによって囲われた各正方領域２１ｂは透明な背景によって構成されている。縦グリッド模様の第１の目盛り画像２１では、グリッド線が互いに平行に縦方向に延びている。横グリッド模様の第１のメモリ画像２１では、グリッド線が互いに平行に横方向に延びている。なお、縦方向のことを垂直方向ともいい、横方向のことを水平方向ともいう。
【0049】
図４に示すように、第２の目盛り画像２２は、複数の十字マーク２２ａ～２２ｃを規則的に二次元配列した像である。具体的には、複数の第１の十字マーク２２ａがパネル９５と相似形の長方形の２つの長辺に沿って一定間隔で配列され、複数の第２の十字マーク２２ｂが長方形の２つの短辺に沿って一定間隔で配列され、複数の第３の十字マーク２２ｃが長方形の２つの短辺の中点を結ぶ中線に沿って一定間隔で配列されている。これら十字マーク２２ａ～２２ｃは、例えば、パネル９５のビス留めの位置を表す。第２の目盛り画像２２のうち十字マーク２２ａ～２２ｃ以外の領域２２ｄは透明な背景によって構成されている。複数種類の第２の目盛り画像２２がメモリデバイス１６に記憶されている。具体的には、標準天井パネル用、準耐火天井パネル用及び壁パネル用の第２の目盛り画像２２が目盛りデバイス１６に記憶されている。例えば複数の十字マーク２２ａ～２２ｃの間隔及び配置が種類ごとに異なっている。
【0050】
図５に示すように、第３の目盛り画像２３は、ルーラーの目盛りを描画した像である。具体的には、長い線分２３ａが縦方向に真っ直ぐ延びており、複数の線分２３ｂが線分２３ａに沿って一定間隔で縦方向に配列されている。線分２３ｂは長いものと短いものに分類され、長さを表す数字２３ｃが長い線分２３ｂに付されている。第３の目盛り画像２３がベクター形式であるため、第３の目盛り画像２３が劣化されることなく線分２３ａ及び線分２３ｂの太さを変更できるととともに、線分２３ａ、線分２３ｂ及び数字２３ｃの表示・非表示を選択できる。
【0051】
次の表のように複数種類の第３の目盛り画像２３がメモリデバイス１６に記憶されている。
【0052】
【表2】
【0053】
なお、計測支援装置１０が持ち運び可能なスマートフォン又はタブレット型コンピューターシステムであることが好ましい。この場合、入力デバイス１２がタッチパネルであり、コンピューター１１、入力デバイス１２、表示デバイス１３、撮像装置１４、三次元形状計測器１５及びメモリデバイス１６が薄い筐体に収容され、入力デバイス１２が表示デバイス１３に重ねられて、入力デバイス１２及び表示デバイス１３が筐体のおもて側の透明な面に臨み、撮像装置１４及び三次元形状計測器１５が裏側の面の透明な窓に臨んで互いに近接配置されている。この場合、使用者が計測支援装置１０の筐体のおもて側の面を自身に向けて、筐体の裏側の面を対象物に向けて、計測支援装置１０により対象物を撮影する。
【0054】
＜３． 計測支援プログラム＞
以下に、計測支援プログラム１７がコンピューター１１に実行させる処理の流れについて説明する。
以下に、計測支援プログラム１７がコンピューター１１に実行させる処理の流れについて説明する。
【0055】
（１） 計測支援プログラムの起動
まず、使用者が入力デバイス１２を操作することによって計測支援プログラム１７の起動をコンピューター１１に指令すると、コンピューター１１がその旨を認識して、計測支援プログラム１７の実行を開始する。
まず、使用者が入力デバイス１２を操作することによって計測支援プログラム１７の起動をコンピューター１１に指令すると、コンピューター１１がその旨を認識して、計測支援プログラム１７の実行を開始する。
【0056】
（２） 三次元形状計測器及び撮像装置の起動
その後、コンピューター１１が三次元形状計測器１５を起動する。そうすると、三次元形状計測器１５が撮像装置１４の視野内の対象物の形状を継続的に計測して、点群データを継続的にコンピューター１１に出力する。
その後、コンピューター１１が三次元形状計測器１５を起動する。そうすると、三次元形状計測器１５が撮像装置１４の視野内の対象物の形状を継続的に計測して、点群データを継続的にコンピューター１１に出力する。
【0057】
コンピューター１１は、三次元形状計測器１５の起動と同時に、撮像装置１４を起動する。そうすると、撮像装置１４が視野内の像を継続的に撮像して、撮像により得た映像をコンピューター１１に継続的に出力する。
【0058】
使用者が入力デバイス１２を操作することによって計測支援プログラム１７の停止をコンピューター１１に指令するまでは、コンピューター１１が撮像装置１４及び三次元形状計測器１５の動作を継続させる。
【0059】
（３） ライブビュー画面の表示
三次元形状計測器１５及び撮像装置１４の動作中、コンピューター１１は、撮像装置１４によって撮像される映像を背景として、オブジェクトを前景として、オブジェクトを映像に配置してこれらを合成する。コンピューター１１は、合成後の映像の信号を表示デバイス１３に出力することによって、ライブビュー画面を表示デバイス１３に表示させる。図６は、ライブビュー画面の一例を示した図である。図６に示すように、撮像装置１４によって撮像される映像が背景として表示デバイス１３のライブビュー画面にリアルタイムで表示され、オブジェクト１０１～１０８が前景として背景に重ねられて表示デバイス１３のライブビュー画面に表示される。オブジェクト１０１～１０５が寄せ集められてライブビュー画面の右下に配置され、オブジェクト１０６，１６０が画面の中央に配置され、オブジェクト１０７がライブビュー画面の右に配置され、オブジェクト１０８はライブビュー画面の上に配置されている。
三次元形状計測器１５及び撮像装置１４の動作中、コンピューター１１は、撮像装置１４によって撮像される映像を背景として、オブジェクトを前景として、オブジェクトを映像に配置してこれらを合成する。コンピューター１１は、合成後の映像の信号を表示デバイス１３に出力することによって、ライブビュー画面を表示デバイス１３に表示させる。図６は、ライブビュー画面の一例を示した図である。図６に示すように、撮像装置１４によって撮像される映像が背景として表示デバイス１３のライブビュー画面にリアルタイムで表示され、オブジェクト１０１～１０８が前景として背景に重ねられて表示デバイス１３のライブビュー画面に表示される。オブジェクト１０１～１０５が寄せ集められてライブビュー画面の右下に配置され、オブジェクト１０６，１６０が画面の中央に配置され、オブジェクト１０７がライブビュー画面の右に配置され、オブジェクト１０８はライブビュー画面の上に配置されている。
【0060】
オブジェクト１０１は、第１モードの動作をコンピューター１１に指令するための移行ボタンなどのようなＧＵＩ（Graphical User Interface）要素である。
オブジェクト１０２は、第２モードの動作をコンピューター１１に指令するための移行ボタンなどのようなＧＵＩ要素である。
オブジェクト１０３は、第３モードの動作をコンピューター１１に指令するための移行ボタンなどのようなＧＵＩ要素である。
オブジェクト１０４は、第４モードの動作をコンピューター１１に指令するための移行ボタンなどのようなＧＵＩ要素である。
オブジェクト１０５は、オブジェクト１０１～１０４の何れかの選択の決定をコンピューター１１に認識させるための決定ボタンなどのようなＧＵＩ要素である。
オブジェクト１０１～１０５が寄せ集められてライブビュー画面の右下に配置されているため、使用者が両手で計測支援装置１０を持って、オブジェクト１０１～１０５を選択・決定するよう入力デバイス１２を操作しやすい。例えば入力デバイス１２が表示デバイス１３に重ねられたタッチパネルである場合、オブジェクト１０１～１０５を右手の親指でタップしやすい。
オブジェクト１０２は、第２モードの動作をコンピューター１１に指令するための移行ボタンなどのようなＧＵＩ要素である。
オブジェクト１０３は、第３モードの動作をコンピューター１１に指令するための移行ボタンなどのようなＧＵＩ要素である。
オブジェクト１０４は、第４モードの動作をコンピューター１１に指令するための移行ボタンなどのようなＧＵＩ要素である。
オブジェクト１０５は、オブジェクト１０１～１０４の何れかの選択の決定をコンピューター１１に認識させるための決定ボタンなどのようなＧＵＩ要素である。
オブジェクト１０１～１０５が寄せ集められてライブビュー画面の右下に配置されているため、使用者が両手で計測支援装置１０を持って、オブジェクト１０１～１０５を選択・決定するよう入力デバイス１２を操作しやすい。例えば入力デバイス１２が表示デバイス１３に重ねられたタッチパネルである場合、オブジェクト１０１～１０５を右手の親指でタップしやすい。
【0061】
オブジェクト１０６は、矩形状の枠線である。オブジェクト１６０は、オブジェクト１０６よりも狭い面積の丸印である。オブジェクト１６０は、点群データの中から、オブジェクト１６０に合わせられた面をコンピューター１１の認識対象に定めるための目標である。オブジェクト１０６は、認識対象に定められる面を目安とするためのガイドである。コンピューター１１が対象面を認識する処理については後に詳細に説明する。
オブジェクト１０７は、コンピューター１１による対象面の認識をキャンセル又はリセットさせるためのキャンセルボタンなどのようなＧＵＩ要素である。
オブジェクト１０８は、コンピューター１１によって認識された対象面から三次元形状計測器１５までの距離を示すテキストである。コンピューター１１が距離を算出する処理については後に詳細に説明する。
オブジェクト１０７は、コンピューター１１による対象面の認識をキャンセル又はリセットさせるためのキャンセルボタンなどのようなＧＵＩ要素である。
オブジェクト１０８は、コンピューター１１によって認識された対象面から三次元形状計測器１５までの距離を示すテキストである。コンピューター１１が距離を算出する処理については後に詳細に説明する。
【0062】
（４） 対象面の認識及び距離の算出
使用者は、ライブビュー画面を見ながら、撮像装置１４及び三次元形状計測器１５を壁９２～９４、他の壁、床、天井、外壁、柱の表面、梁の表面、ドア面及び家具５の表面などのような対象面に向けて、オブジェクト１６０をライブビュー画面中の対象面の像に合わせ、その後、撮像装置１４及び三次元形状計測器１５の位置及び向きをできる限り固定する。そうすると、コンピューター１１は、三次元形状計測器１５から入力した点群データの中から、対象面の点群データを認識する。例えば、コンピューター１１は、点群データについて三次元特徴量を算出し、三次元特徴量を利用して、三次元形状計測器１５から入力した点群データの中から平坦な対象面の点群データを抽出して認識する。
使用者は、ライブビュー画面を見ながら、撮像装置１４及び三次元形状計測器１５を壁９２～９４、他の壁、床、天井、外壁、柱の表面、梁の表面、ドア面及び家具５の表面などのような対象面に向けて、オブジェクト１６０をライブビュー画面中の対象面の像に合わせ、その後、撮像装置１４及び三次元形状計測器１５の位置及び向きをできる限り固定する。そうすると、コンピューター１１は、三次元形状計測器１５から入力した点群データの中から、対象面の点群データを認識する。例えば、コンピューター１１は、点群データについて三次元特徴量を算出し、三次元特徴量を利用して、三次元形状計測器１５から入力した点群データの中から平坦な対象面の点群データを抽出して認識する。
【0063】
次に、コンピューター１１が、認識した対象面の点群データに基づいて、三次元形状計測器１５から対象面までの距離を算出する。例えば、次の通りである。コンピューター１１は、ワールド座標系における三次元形状計測器１５の位置つまり原点を通って撮像装置１４の光軸に平行な直線から、対象面の点群データの各計測対象点までの距離を算出する。次に、コンピューター１１は、各計測対象点までの距離を比較して、対象面の点群データのうち、撮像装置１４の光軸に平行な直線に最も近い計測対象点を特定する。次に、コンピューター１１が最も近い計測対象点から原点までの距離を算出し、その距離が三次元形状計測器１５から対象面までの距離に相当する。
【0064】
次に、コンピューター１１は、算出距離に従って、ライブビュー画面におけるオブジェクト１０８を、算出距離を示すテキストに更新する。
【0065】
コンピューター１１は、オブジェクト１０８の更新と合わせて、ライブビュー画面における対象面の像に半透明の色を付す。具体的に次に通りである。まず、コンピューター１１は、対象面の点群データをワールド座標系からスクリーン座標系に中心投影による写像をする。つまり、コンピューター１１は、対象面の点群データの各計測対象点の座標値をワールド座標系からスクリーン座標系に変換する。なお、撮像装置１４に対する三次元形状計測１５の相対的な位置が不変であるため、座標値をワールド座標系からスクリーン座標系に変換するための中心投影変換マトリクスの各要素が定数としてプログラム１７に予め設定されてもよい。なお、中心投影のことを透視投影ともいう。
【0066】
次に、コンピューター１１は、エッジ抽出処理等によって、スクリーン座標系において対象面の点群データが占める閉領域を特定する。次に、コンピューター１１は、閉領域に色（つまり、ＲＧＢ値）及び透過度を付す。透過度はアルファ値ともいう。次に、コンピューター１１は、ライブビュー画面における撮像装置１４の撮影映像に、色及び透過度が付された閉領域をアルファブレンドする。これにより、半透明又は不透明な閉領域が撮像装置１４の撮影映像の中の対象面の像に合成されることから、対象面の像が閉領域の色を合成されてライブビュー画面に表示される。図１及び図６に示す例では、壁９４が対象面であり、壁９４の像１１０が閉領域の色を合成され、図６に示す模様が閉領域の色を表す。
【0067】
ライブビュー画面において、オブジェクト１０８が更新され、対象面の像が半透明な色を付されることによって、使用者がコンピューター１１による対象面の認識及び距離の算出を視覚的に把握できる。
【0068】
コンピューター１１が三次元形状計測器１５から１サイクル分の点群データを入力するたびに、コンピューター１１が上述のような一連の処理を行う。そのため、手ぶれ等によって撮像装置１４及び三次元形状計測器１５が位置ずれしても、オブジェクト１０８の表示が三次元形状計測器１５から対象面までの距離の変化に従ってリアルタイムに更新される上、閉領域の形状及び位置が三次元形状計測器１５に対する対象面の相対的な位置の変化に従ってリアルタイムに更新される。なお、コンピューター１１が１サイクル分の点群データの中から対象面の点群データを最初に認識した後は、コンピューター１１がトラッキング処理を行うことによって、その後の各サイクル分の点群データの中から、最初に認識の対象面にマッチングする対象面の点群データを抽出して認識してもよい。この場合には、手ぶれ等によって撮像装置１４及び三次元形状計測器１５が位置ずれしても、対象面がコンピューター１１によって追尾される。もちろん、コンピューター１１が１サイクル分の点群データの中から対象面の点群データを最初に認識した後も、コンピューター１１がトラックキング処理を行わず、ライブビュー画面の中央にオブジェクト１６０に合わせられた面がコンピューター１１によって認識対象に定められてもよい。
【0069】
対象面の認識及び距離の算出の後、使用者が入力デバイス１２を操作することによってオブジェクト１０７を選択すると、コンピューター１１がその旨を認識する。そうすると、コンピューター１１が、前述のアルファブレンドを解除するとともに、ライブビュー画面におけるオブジェクト１０８を、未知を示すテキストに更新する。更に、コンピューター１１が、認識した対象面及び算出した距離をリセット又はキャンセルして、対象面の認識及び距離の算出を再度開始する。
【0070】
コンピューター１１が上述のように対象面を認識するまでは、使用者が入力デバイス１２を操作することによってオブジェクト１０５を選択しても、コンピューター１１がオブジェクト１０５の選択を無視する。一方、使用者が入力デバイス１２を操作することによってオブジェクト１０１～１０４の何れか１つを選択した上で、オブジェクト１０５を選択して決定すると、コンピューター１１がその旨を認識する。使用者がオブジェクト１０１を選択した場合には、オブジェクト１０５の選択及び決定はコンピューター１１に第１モードの動作を開始させる。使用者がオブジェクト１０２を選択した場合には、オブジェクト１０５の選択及び決定はコンピューター１１に第２モードの動作を開始させる。使用者がオブジェクト１０３を選択した場合には、オブジェクト１０５の選択及び決定はコンピューター１１に第３モードの動作を開始させる。使用者がオブジェクト１０１を選択した場合には、オブジェクト１０５の選択及び決定はコンピューター１１に第４モードの動作を開始させる。コンピューター１１は第１～第４モードの動作中でも対象面の認識及び距離の算出を継続する。以下に第１～第４モードについて詳細に説明する。
【0071】
（５） 第１モード
上述のように、使用者が入力デバイス１２によりオブジェクト１０１を選択した場合には、コンピューター１１がライブビュー画面のオブジェクト１０１～１０８の表示を消した上で、色付きの閉領域の合成を解除する。その上で、コンピューター１１は、撮像装置１４の撮像映像に何れかの種類の第１の目盛り画像２１を合成して、その合成済み映像を背景として、オブジェクトを前景として、オブジェクトを合成済み映像に配置してこれらを合成する。コンピューター１１は、合成後の映像の信号を表示デバイス１３に出力することによって、ライブビュー画面を表示デバイス１３に表示させる。図７は、ライブビュー画面の一例を示した図である。図７に示すように、撮像装置１４によって撮像される映像が背景として表示デバイス１３のライブビュー画面にリアルタイムで表示され、オブジェクト２０１～２１２，２２１～２３３，２４１～２４３，２６０が前景として背景に重ねられて表示デバイス１３のライブビュー画面に表示される。オブジェクト２０１～２１２が寄せ集められてライブビュー画面の左下に配置され、オブジェクト２２１～２３３が寄せ集められてライブビュー画面の右下に配置され、オブジェクト２４１，２４２がライブビュー画面の右に配置され、オブジェクト２４３はライブビュー画面の上に配置され、オブジェクト２６０はライブビュー画面の中央に配置されている。
上述のように、使用者が入力デバイス１２によりオブジェクト１０１を選択した場合には、コンピューター１１がライブビュー画面のオブジェクト１０１～１０８の表示を消した上で、色付きの閉領域の合成を解除する。その上で、コンピューター１１は、撮像装置１４の撮像映像に何れかの種類の第１の目盛り画像２１を合成して、その合成済み映像を背景として、オブジェクトを前景として、オブジェクトを合成済み映像に配置してこれらを合成する。コンピューター１１は、合成後の映像の信号を表示デバイス１３に出力することによって、ライブビュー画面を表示デバイス１３に表示させる。図７は、ライブビュー画面の一例を示した図である。図７に示すように、撮像装置１４によって撮像される映像が背景として表示デバイス１３のライブビュー画面にリアルタイムで表示され、オブジェクト２０１～２１２，２２１～２３３，２４１～２４３，２６０が前景として背景に重ねられて表示デバイス１３のライブビュー画面に表示される。オブジェクト２０１～２１２が寄せ集められてライブビュー画面の左下に配置され、オブジェクト２２１～２３３が寄せ集められてライブビュー画面の右下に配置され、オブジェクト２４１，２４２がライブビュー画面の右に配置され、オブジェクト２４３はライブビュー画面の上に配置され、オブジェクト２６０はライブビュー画面の中央に配置されている。
【0072】
使用者はライブビュー画面を見て、対象面に存在する傷および模様などのような計測対象の位置、大きさ及び範囲などを第１の目盛り画像２１のグリッドから簡易的に計測することができる。
【0073】
（５－１） 第１の目盛り画像の合成
第１の目盛り画像２１は以下のようにして撮像装置１４の撮像映像に合成される。
第１の目盛り画像２１は以下のようにして撮像装置１４の撮像映像に合成される。
【0074】
コンピューター１１は、複数種類の第１の目盛り画像２１の中から、何れかの種類の第１の目盛り画像２１を選択する。選択される種類は使用者によるオブジェクト２０１～２０６の選択によって決まる。但し、第１モード開始後の最初の第１の目盛り画像２１の合成の場合、デフォルトの種類である。
【0075】
コンピューター１１は、第１の目盛り画像２１の二次元的なローカル座標系における第１の目盛り画像２１を複製して、第１目盛り画像２１を横方向に近接して並べる。但し、複製される目盛り画像２１の数は使用者によるオブジェクト２０７～２１０の選択の有無等によって決まり、複製される目盛り画像２１の数がゼロであることもある。複製される目盛り画像２１の数の初期値がゼロであり、第１モード開始後の最初の第１の目盛り画像２１の合成の場合、複製される目盛り画像２１の数が必ずゼロである。
【0076】
次に、コンピューター１１は、第１の目盛り画像２１（第１の目盛り画像２１が複製された場合には、横方向に並べられた複数の第１の目盛り画像２１）のローカル座標系における第１の目盛り画像２１の平行移動量及び回転角を決定する。平行移動量とは、第１の目盛り画像２１に沿って第１の目盛り画像２１の垂直方向及び水平方向の移動量という。回転角とは、第１の目盛り画像２１に垂直な軸回りの回転角をいう。平行移動量及び回転角が使用者によるオブジェクト２２１～２２６の選択の有無等によって決まり、平行移動量及び回転角がゼロであることもある。平行移動量及び回転角の初期値がゼロであり、第１モード開始後の最初の第１の目盛り画像２１の合成の場合、平行移動量及び回転角が必ずゼロである。
【0077】
次に、コンピューター１１は、第１の目盛り画像２１（第１の目盛り画像２１が複製された場合には、横方向に並べられた複数の第１の目盛り画像２１）の奥行き移動量を決定する。奥行き移動量とは、第１の目盛り画像２１に垂直な軸方向への移動量のことをいう。奥行き移動量は使用者によるオブジェクト２３０，２３１の選択の有無等によって決まる。奥行き移動量の初期値がゼロであり、第１モード開始後の最初の第１の目盛り画像２１の合成の場合、奥行き移動量が必ずゼロである。
【0078】
次に、コンピューター１１が、認識した対象面の点群データと前記中心投影用座標変換マトリクスと平行移動量と回転角と奥行き移動量とに基づいて、射影変換マトリクスを算出する。射影変換とは、ワールド座標系の対象面に形状を維持してマップされた第１の目盛り画像２１をスクリーン座標系に中心投影による写像をした場合に、第１の目盛り画像２１に台形歪みを生じさせるような座標変換マトリクスをいう。
【0079】
次に、コンピューター１１は、第１の目盛り画像２１に透過度を付す。透過度は使用者によるオブジェクト２３０，２３１の選択の有無等によって決まる。透過度の初期値が完全な透明を示すゼロであり、第１モード開始後の最初の第１の目盛り画像２１の合成の場合、透過度が必ずゼロである。なお、第１の目盛り画像２１のグリッド線以外の領域は透明のままである。
【0080】
次に、コンピューター１１が、射影変換マトリクスに従って第１の目盛り画像２１をスクリーン座標系に写像する。なお、写像後の第１の目盛り画像２１がスクリーン座標系において対象面の点群データの占める閉領域の外縁からはみ出る場合、コンピューター１１が、写像後の第１の目盛り画像２１のうち、閉領域の外縁からはみ出た部分を切り取り、残りの部分を残すトリミング処理を行ってもよい。
【0081】
次に、コンピューター１１は、撮像装置１４の撮影映像に、透過度が付された第１の目盛り画像２１をアルファブレンドする。これにより、グリッド線が半透明又は不透明な第１の目盛り画像２１が台形歪みを有した状態で撮像装置１４の撮影映像の中の対象面の像に合成されることから、対象面の像が第１の目盛り画像２１のグリッド線を合成されてライブビュー画面に表示される。なお、撮像装置１４の光軸が対象面に対して垂直であれば、ライブビュー画面の中のグリッド線に台形歪みが生じていない。これは、射影変換マトリクスが対象面の点群データに基づいて算出されるためである。
【0082】
以後、コンピューター１１が三次元形状計測器１５から１サイクル分の点群データを入力するたびに、コンピューター１１が上述のような一連の処理を行う。そのため、手ぶれ等によって撮像装置１４及び三次元形状計測器１５が位置ずれしても、ライブビュー画面におけるグリッドの位置、大きさ及び歪みがライブビュー画面における対象面の位置、大きさ及び歪みに従ってリアルタイムに更新される。
【0083】
（５－２） オブジェクト
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行することによって、オブジェクト２０１～２１２，２２１～２３３，２４１～２４３，２６０がライブビュー画面に表示される。以下、オブジェクト２０１～２１２，２２１～２３３，２４１～２４３，２６０について詳細に説明する。
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行することによって、オブジェクト２０１～２１２，２２１～２３３，２４１～２４３，２６０がライブビュー画面に表示される。以下、オブジェクト２０１～２１２，２２１～２３３，２４１～２４３，２６０について詳細に説明する。
【0084】
オブジェクト２４１は、ライブビュー画面を静止画又は動画として記録するためのボタンなどのようなＧＵＩである。
オブジェクト２４２は、コンピューター１１による対象面の認識をキャンセル又はリセットさせるためのキャンセルボタンなどのようなＧＵＩ要素である。
オブジェクト２４３は、コンピューター１１によって認識された対象面から三次元形状計測器１５までの距離を示すテキストである。
オブジェクト２６０は、点群データの中から、オブジェクト２６０に合わせられた面をコンピューター１１の認識対象に定めるための目標である。
オブジェクト２４２は、コンピューター１１による対象面の認識をキャンセル又はリセットさせるためのキャンセルボタンなどのようなＧＵＩ要素である。
オブジェクト２４３は、コンピューター１１によって認識された対象面から三次元形状計測器１５までの距離を示すテキストである。
オブジェクト２６０は、点群データの中から、オブジェクト２６０に合わせられた面をコンピューター１１の認識対象に定めるための目標である。
【0085】
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作してオブジェクト２４１を選択すると、コンピューター１１が、ライブビュー画面を静止画又は動画としてキャプチャして、その静止画又は動画をメモリデバイス１６に記録する。動画の記録の場合、オブジェクト２４１の再度の選択は、コンピューター１１による動画の記録の停止を引き起こす。静止画の記録の場合、コンピューター１１は、その静止画のライブビュー画面に同期した点群データを静止画に対応付けてその点群データをメモリデバイス１６に記録する。動画の記録の場合、コンピューター１１は、その動画のライブビュー画面に同期した時系列の点群データを動画に対応付けて、それら点群データを時系列でメモリデバイス１６に記録する。
【0086】
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作してオブジェクト２４２を選択する。そうすると、コンピューター１１が、認識した対象面及び算出した距離をリセット又はキャンセルして、「（３） ライブビュー画面の表示」及び「（４） 対象面の認識及び距離の算出」に記載の一連の処理を再度実行する。
【0087】
オブジェクト２１２は、オブジェクト２０１～２１１が配置されたウィンドウなどのようなＧＵＩ要素である。オブジェクト２１１は、オブジェクト２１２の最小化及びその解除のためのボタンなどのようなＧＵＩ要素である。
【0088】
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作してオブジェクト２１１を選択すると、コンピューター１１が、オブジェクト２１１の表示を残してオブジェクト２０１～２１０，２１２の表示を消す。これにより、オブジェクト２１２が最小化される。その後、使用者が入力デバイス１２を操作してオブジェクト２１１を選択すると、コンピューター１１がオブジェクト２０１～２１２をライブビュー画面に再度表示する。
【0089】
オブジェクト２３３は、オブジェクト２２１～２３２が配置されたウィンドウなどのようなＧＵＩ要素である。オブジェクト２３２は、オブジェクト２３３の最小化及びその解除のためのボタンなどのようなＧＵＩ要素である。
【0090】
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作してオブジェクト２３２を選択すると、コンピューター１１が、オブジェクト２３２の表示を残してオブジェクト２２１～２３１，２３３の表示を消す。これにより、オブジェクト２３３が最小化される。その後、使用者が入力デバイス１２を操作してオブジェクト２３２を選択すると、コンピューター１１がオブジェクト２２１～２３２をライブビュー画面に再度表示する。
【0091】
オブジェクト２３１は、認識した対象面の変更するためのボタンなどのようなＧＵＩ要素である。
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作してオブジェクト２３１を選択すると、コンピューター１１がトラッキング処理による対象面の追尾を中止して、別の対象面の認識と追尾をして、別の対象面から三次元形状計測器１５までの距離を算出する。
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作してオブジェクト２３１を選択すると、コンピューター１１がトラッキング処理による対象面の追尾を中止して、別の対象面の認識と追尾をして、別の対象面から三次元形状計測器１５までの距離を算出する。
【0092】
オブジェクト２０１～２１１が寄せ集められてライブビュー画面の左下に配置されているため、使用者が両手で計測支援装置１０を持って、オブジェクト２０１～２１１を左手の親指でタップしやすい。オブジェクト２２１～２３２が寄せ集められてライブビュー画面の右下に配置されているため、使用者が両手で計測支援装置１０を持って、オブジェクト２０１～２１１を右手の親指でタップしやすい。なお、オブジェクト２０１～２１２が寄せ集められてライブビュー画面の右下に配置され、オブジェクト２２１～２３３が寄せ集められてライブビュー画面の左下に配置されてもよい。
【0093】
コンピューター１１が上述のような一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作してオブジェクト２０１～２１０，２２１～２２９を選択すると、ライブビュー画面におけるグリッドの表示が変更される。以下、詳細に説明する。
【0094】
（５－２－１） グリッドの種類の変更
オブジェクト２０１は、グリッド線の間隔が１ｍｍである種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０２は、グリッド線の間隔が１０ｍｍである種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０３は、グリッド線の間隔が２０ｍｍである種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である
オブジェクト２０４は、グリッドの模様が正方格子である種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０５は、グリッドの模様が縦グリッドである種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０６は、グリッドの模様が正方格子である種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０１は、グリッド線の間隔が１ｍｍである種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０２は、グリッド線の間隔が１０ｍｍである種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０３は、グリッド線の間隔が２０ｍｍである種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である
オブジェクト２０４は、グリッドの模様が正方格子である種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０５は、グリッドの模様が縦グリッドである種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト２０６は、グリッドの模様が正方格子である種類の第１の目盛り画像２１を選択するための選択ボタンなどのようなＧＵＩ要素である。
【0095】
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト２０１～２０３の中から１つを選択し、オブジェクト２０４～２０６の中から１つを選択したら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト２０１～２０３の中からの選択とオブジェクト２０４～２０６の中からの選択に従った種類の第１の目盛り画像２１を選択する。そのため、オブジェクト２０１～２０３の中からの選択の変更は、ライブビュー画面におけるグリッドの模様の変更を引き起こし、オブジェクト２０３～２０６の中からの選択の変更は、ライブビュー画面におけるグリッド線の間隔の変更を引き越す。
【0096】
（５－２－２） グリッドの増減
オブジェクト２０７は、左に複製する第１の目盛り画像２１の数を１ずつデクリメントするための削減ボタンなどのようなＧＵＩ要素である。
オブジェクト２０８は、左に複製する第１の目盛り画像２１の数を１ずつインクリメントするための増加ボタンなどのようなＧＵＩ要素である。
オブジェクト２０９は、右に複製する第１の目盛り画像２１の数を１ずつデクリメントするための削減ボタンなどのようなＧＵＩ要素である。
オブジェクト２１０は、右に複製する第１の目盛り画像２１の数を１ずつインクリメントするための増加ボタンなどのようなＧＵＩ要素である。
オブジェクト２０７は、左に複製する第１の目盛り画像２１の数を１ずつデクリメントするための削減ボタンなどのようなＧＵＩ要素である。
オブジェクト２０８は、左に複製する第１の目盛り画像２１の数を１ずつインクリメントするための増加ボタンなどのようなＧＵＩ要素である。
オブジェクト２０９は、右に複製する第１の目盛り画像２１の数を１ずつデクリメントするための削減ボタンなどのようなＧＵＩ要素である。
オブジェクト２１０は、右に複製する第１の目盛り画像２１の数を１ずつインクリメントするための増加ボタンなどのようなＧＵＩ要素である。
【0097】
コンピューター１１が上述のような一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト２０７～２１０の何れかを選択したら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト２０７～２０９の中からの選択に応じて、複製する第１の目盛り画像２１の数を増減する。従って、オブジェクト２０７の選択は、ライブビュー画面におけるグリッドを左に増やし、オブジェクト２０８の選択は、ライブビュー画面におけるグリッドを左から減らし、オブジェクト２０９の選択は、ライブビュー画面におけるグリッドを右に増やし、オブジェクト２０８の選択は、ライブビュー画面におけるグリッドを右から減らす。
【0098】
（５－２－３） グリッドの平行移動
オブジェクト２２１は、第１の目盛り画像２１の上への平行移動量を所定量だけインクリメントするための上移動ボタンなどのようなＧＵＩ要素である。オブジェクト２２１は、第１の目盛り画像２１の下への平行移動量を所定量だけデクリメントするためのＧＵＩ要素でもある。
オブジェクト２２２は、第１の目盛り画像２１の下への平行移動量を所定量だけインクリメントするための下移動ボタンなどのようなＧＵＩ要素である。
オブジェクト２２３は、第１の目盛り画像２１の左への平行移動量を所定量だけインクリメントするための左移動ボタンなどのようなＧＵＩ要素である。
オブジェクト２２４は、第１の目盛り画像２１の右への平行移動量を所定量だけインクリメントするための右移動ボタンなどのようなＧＵＩ要素である。
オブジェクト２２１は、第１の目盛り画像２１の上への平行移動量を所定量だけインクリメントするための上移動ボタンなどのようなＧＵＩ要素である。オブジェクト２２１は、第１の目盛り画像２１の下への平行移動量を所定量だけデクリメントするためのＧＵＩ要素でもある。
オブジェクト２２２は、第１の目盛り画像２１の下への平行移動量を所定量だけインクリメントするための下移動ボタンなどのようなＧＵＩ要素である。
オブジェクト２２３は、第１の目盛り画像２１の左への平行移動量を所定量だけインクリメントするための左移動ボタンなどのようなＧＵＩ要素である。
オブジェクト２２４は、第１の目盛り画像２１の右への平行移動量を所定量だけインクリメントするための右移動ボタンなどのようなＧＵＩ要素である。
【0099】
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト２２１～２２４の何れかを選択したら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト２２２～２２４の中からの選択に応じて、第１の目盛り画像２１の平行移動量を増減する。従って、オブジェクト２２１の選択は、ライブビュー画面におけるグリッドの上への所定量の移動を引き起こし、オブジェクト２２２の選択は、ライブビュー画面におけるグリッドの下への所定量の移動を引き起こし、オブジェクト２２３の選択は、ライブビュー画面におけるグリッドの左への所定量の移動を引き起こし、オブジェクト２２４の選択は、ライブビュー画面におけるグリッドの右への所定量の移動を引き起こす。
【0100】
（５－２－４） グリッドの回転
オブジェクト２２５は、第１の目盛り画像２１の左回りの回転角を１°だけインクリメントするための回転ボタンなどのようなＧＵＩ要素である。オブジェクト２２５は、第１の目盛り画像２１の右回りの回転角を１°だけデクリメントするための回転ボタンなどのようなＧＵＩ要素でもある。
オブジェクト２２６は、第１の目盛り画像２１の右回りの回転角を１°だけインクリメントするための回転ボタンなどのようなＧＵＩ要素である。
オブジェクト２２７は、第１の目盛り画像２１の左回りの回転角を４５°だけインクリメントするための回転ボタンなどのようなＧＵＩ要素である。
オブジェクト２２８は、第１の目盛り画像２１の右回りの回転角を４５°だけインクリメントするための回転ボタンなどのようなＧＵＩ要素である。
オブジェクト２２５は、第１の目盛り画像２１の左回りの回転角を１°だけインクリメントするための回転ボタンなどのようなＧＵＩ要素である。オブジェクト２２５は、第１の目盛り画像２１の右回りの回転角を１°だけデクリメントするための回転ボタンなどのようなＧＵＩ要素でもある。
オブジェクト２２６は、第１の目盛り画像２１の右回りの回転角を１°だけインクリメントするための回転ボタンなどのようなＧＵＩ要素である。
オブジェクト２２７は、第１の目盛り画像２１の左回りの回転角を４５°だけインクリメントするための回転ボタンなどのようなＧＵＩ要素である。
オブジェクト２２８は、第１の目盛り画像２１の右回りの回転角を４５°だけインクリメントするための回転ボタンなどのようなＧＵＩ要素である。
【0101】
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト２２５～２２７の何れかを選択したら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト２２５～２２７の中からの選択に応じて、第１の目盛り画像２１の回転角を増減する。従って、オブジェクト２２５の選択は、ライブビュー画面におけるグリッドの１°の左回りの回転を引き起こし、オブジェクト２２６の選択は、ライブビュー画面におけるグリッドの１°の右回りの回転を引き越し、オブジェクト２２７の選択は、ライブビュー画面におけるグリッドの４５°の左回りの回転を引き起こし、オブジェクト２２８の選択は、ライブビュー画面におけるグリッドの４５°の右回りの回転を引き起こす。
【0102】
（５－２－５） グリッドの透明性の変更及びグリッドの奥行き方向の移動
オブジェクト２２９は、第１の目盛り画像２１の透過度を所定量だけインクリメントするためのボタンなどのようなＧＵＩ要素である。オブジェクト２２９は、第１の目盛り画像２１の奥行き移動量を所定量だけインクリメントするためのＧＵＩでもある。
オブジェクト２３０は、第１の目盛り画像２１の透過度を所定量だけデクリメントするためのボタンなどのようなＧＵＩ要素である。オブジェクト２２９は、第１の目盛り画像２１の奥行き移動量を所定量だけデクリメントするためのＧＵＩでもある。
オブジェクト２２９は、第１の目盛り画像２１の透過度を所定量だけインクリメントするためのボタンなどのようなＧＵＩ要素である。オブジェクト２２９は、第１の目盛り画像２１の奥行き移動量を所定量だけインクリメントするためのＧＵＩでもある。
オブジェクト２３０は、第１の目盛り画像２１の透過度を所定量だけデクリメントするためのボタンなどのようなＧＵＩ要素である。オブジェクト２２９は、第１の目盛り画像２１の奥行き移動量を所定量だけデクリメントするためのＧＵＩでもある。
【0103】
コンピューター１１が「（５－１） 第１の目盛り画像の合成」に記載の一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト２２９，２３０のどちらかを選択したら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト２２９，２３０の中からの選択に応じて、第１の目盛り画像２１に付す透過度を増減するとともに、第１の目盛り画像２１の奥行き移動量を増減する。従って、オブジェクト２２９の選択は、ライブビュー画面におけるグリッド線の透明性を上げる上、ワールド座標系において対象面に対して垂直な方向に沿って対象面の奥の方へ第１の目盛り画像２１を移動させる。オブジェクト２３０の選択は、ライブビュー画面におけるグリッド線の透明性を下げる上、ワールド座標系において対象面に対して垂直な方向に沿って対象面の手前の方へ第１の目盛り画像２１を移動させる。グリッド線の透明性を上げることは、ライブビュー画面においてグリッド線が対象面の奥の方へ移動することを表現し、グリッド線の透明性を下げることは、ライブビュー画面においてグリッド線が対象面の手前の方へ移動することを表現する。第１の目盛り画像２１がワールド座標系において対象面に対して垂直な方向に沿って対象面の奥の方へ移動することは、ライブビュー画面において第１の目盛り画像２１が縮小することを表現し、第１の目盛り画像２１がワールド座標系において対象面に対して垂直な方向に沿って対象面の手前の方へ移動することは、ライブビュー画面において第１の目盛り画像２１が縮小することを表現する。
【0104】
（６） 第２モード
上述のように、使用者が入力デバイス１２によりオブジェクト１０２を選択した場合には、コンピューター１１がライブビュー画面のオブジェクト１０１～１０８の表示を消した上で、色付きの閉領域の合成を解除する。その上で、コンピューター１１は、撮像装置１４の撮像映像に何れかの種類の第２の目盛り画像２２を合成して、その合成済み映像を背景として、オブジェクトを前景として、オブジェクトを合成済み映像に配置してこれらを合成する。コンピューター１１は、合成後の映像の信号を表示デバイス１３に出力することによって、ライブビュー画面を表示デバイス１３に表示させる。図８は、ライブビュー画面の一例を示した図である。図８に示すように、撮像装置１４によって撮像される映像が背景として表示デバイス１３のライブビュー画面にリアルタイムで表示され、オブジェクト３０１～３０３，３０７～３１２，３２１～３３３，３４１～３４３，３６０が前景として背景に重ねられて表示デバイス１３のライブビュー画面に表示される。オブジェクト３０１～３０３，３０７～３１２が寄せ集められてライブビュー画面の左下に配置され、オブジェクト３２１～３３３が寄せ集められてライブビュー画面の右下に配置され、オブジェクト３４１，３４２がライブビュー画面の右に配置され、オブジェクト３４３がライブビュー画面の上に配置され、オブジェクト３６０がライブビュー画面の中央に配置されている。なお、オブジェクト３０１～３０３，３０７～３１２が寄せ集められてライブビュー画面の右下に配置され、オブジェクト３２１～３３３が寄せ集められてライブビュー画面の左下に配置されてもよい。
上述のように、使用者が入力デバイス１２によりオブジェクト１０２を選択した場合には、コンピューター１１がライブビュー画面のオブジェクト１０１～１０８の表示を消した上で、色付きの閉領域の合成を解除する。その上で、コンピューター１１は、撮像装置１４の撮像映像に何れかの種類の第２の目盛り画像２２を合成して、その合成済み映像を背景として、オブジェクトを前景として、オブジェクトを合成済み映像に配置してこれらを合成する。コンピューター１１は、合成後の映像の信号を表示デバイス１３に出力することによって、ライブビュー画面を表示デバイス１３に表示させる。図８は、ライブビュー画面の一例を示した図である。図８に示すように、撮像装置１４によって撮像される映像が背景として表示デバイス１３のライブビュー画面にリアルタイムで表示され、オブジェクト３０１～３０３，３０７～３１２，３２１～３３３，３４１～３４３，３６０が前景として背景に重ねられて表示デバイス１３のライブビュー画面に表示される。オブジェクト３０１～３０３，３０７～３１２が寄せ集められてライブビュー画面の左下に配置され、オブジェクト３２１～３３３が寄せ集められてライブビュー画面の右下に配置され、オブジェクト３４１，３４２がライブビュー画面の右に配置され、オブジェクト３４３がライブビュー画面の上に配置され、オブジェクト３６０がライブビュー画面の中央に配置されている。なお、オブジェクト３０１～３０３，３０７～３１２が寄せ集められてライブビュー画面の右下に配置され、オブジェクト３２１～３３３が寄せ集められてライブビュー画面の左下に配置されてもよい。
【0105】
使用者はライブビュー画面を見て、対象面に存在するビスなどのような計測対象の数、位置及びそれらの正確性を第２の目盛り画像２２の十字マークから簡易的に計測することができる。例えば、使用者がライブビュー画面の中の第２の目盛り画像２２をパネル９５の像に合わせることによって、パネル９５のビスの数、位置及びそれらの正確性を十字マークから簡易的に計測できる。
【0106】
コンピューター１１が第２の目盛り画像２２を撮像装置１４の撮像映像に合成する処理は、コンピューター１１が第１の目盛り画像２１を撮像装置１４の撮像映像に合成する処理と同様である。
【0107】
オブジェクト３０１は、壁パネル用である種類の第２の目盛り画像２２を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト３０２は、標準天井パネル用である種類の第２の目盛り画像２２を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト３０３は、準耐火天井パネル用である種類の第２の目盛り画像２２を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト３０２は、標準天井パネル用である種類の第２の目盛り画像２２を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト３０３は、準耐火天井パネル用である種類の第２の目盛り画像２２を選択するための選択ボタンなどのようなＧＵＩ要素である。
【0108】
使用者が入力デバイス１２を操作することによってオブジェクト３０１～３０３の中から１つを選択したら、コンピューター１１がその旨を認識する。コンピューター１１は、オブジェクト３０１～３０３の中からの選択に従った種類の第２の目盛り画像２２を選択する。そのため、オブジェクト３０１～３０３の中からの選択の変更は、ライブビュー画面における十字マークの変更を引き越す。
【0109】
第２モードにおけるオブジェクト３０７～３１０，３２１～３３２，３４１～３４３，３６０は第１モードにおけるオブジェクト２０７～２１０，２２１～２３２，２４１～２４３，２６０にそれぞれ相当する。使用者がオブジェクト３０７～３１０，３２１～３３２，３４１，３４２を選択したことに伴ってコンピューター１１が実行する処理は、使用者がオブジェクト２０７～２１０，２２１～２３２，２４１，２４２を選択したことに伴ってコンピューター１１が実行する処理と同様である。
【0110】
（６） 第３モード
上述のように、使用者が入力デバイス１２によりオブジェクト１０３を選択した場合には、コンピューター１１がライブビュー画面のオブジェクト１０１～１０８の表示を消した上で、色付きの閉領域の合成を解除する。その上で、コンピューター１１は、撮像装置１４の撮像映像に何れかの種類の第３の目盛り画像３を合成して、その合成済み映像を背景として、オブジェクトを前景として、オブジェクトを合成済み映像に配置してこれらを合成する。コンピューター１１は、合成後の映像の信号を表示デバイス１３に出力することによって、ライブビュー画面を表示デバイス１３に表示させる。図９は、ライブビュー画面の一例を示した図である。図９に示すように、撮像装置１４によって撮像される映像が背景として表示デバイス１３のライブビュー画面にリアルタイムで表示され、オブジェクト４０１～４０５，４０７～４１８，４２１～４３３，４４１～４４４，４６０が前景として背景に重ねられて表示デバイス１３のライブビュー画面に表示される。オブジェクト４０１～４０５，４０７～４１８が寄せ集められてライブビュー画面の左下に配置され、オブジェクト４２１～４３３が寄せ集められてライブビュー画面の右下に配置され、オブジェクト４４１，４４２がライブビュー画面の右に配置され、オブジェクト４３３がライブビュー画面の上に配置され、オブジェクト４６０がライブビュー画面の中央に配置されている。なお、オブジェクト４０１～４０５，４０７～４１８が寄せ集められてライブビュー画面の右下に配置され、オブジェクト４２１～４３３が寄せ集められてライブビュー画面の左下に配置されてもよい。
上述のように、使用者が入力デバイス１２によりオブジェクト１０３を選択した場合には、コンピューター１１がライブビュー画面のオブジェクト１０１～１０８の表示を消した上で、色付きの閉領域の合成を解除する。その上で、コンピューター１１は、撮像装置１４の撮像映像に何れかの種類の第３の目盛り画像３を合成して、その合成済み映像を背景として、オブジェクトを前景として、オブジェクトを合成済み映像に配置してこれらを合成する。コンピューター１１は、合成後の映像の信号を表示デバイス１３に出力することによって、ライブビュー画面を表示デバイス１３に表示させる。図９は、ライブビュー画面の一例を示した図である。図９に示すように、撮像装置１４によって撮像される映像が背景として表示デバイス１３のライブビュー画面にリアルタイムで表示され、オブジェクト４０１～４０５，４０７～４１８，４２１～４３３，４４１～４４４，４６０が前景として背景に重ねられて表示デバイス１３のライブビュー画面に表示される。オブジェクト４０１～４０５，４０７～４１８が寄せ集められてライブビュー画面の左下に配置され、オブジェクト４２１～４３３が寄せ集められてライブビュー画面の右下に配置され、オブジェクト４４１，４４２がライブビュー画面の右に配置され、オブジェクト４３３がライブビュー画面の上に配置され、オブジェクト４６０がライブビュー画面の中央に配置されている。なお、オブジェクト４０１～４０５，４０７～４１８が寄せ集められてライブビュー画面の右下に配置され、オブジェクト４２１～４３３が寄せ集められてライブビュー画面の左下に配置されてもよい。
【0111】
使用者はライブビュー画面を見て、対象面に沿う長さを第３の目盛り画像２３の線分２３ｂの数等から簡易的に計測することができる。例えば、使用者はパネル９５の高さ及び幅やパネル９５に寄せられた物の高さ、幅及び長さ等を簡易的に計測できる。
【0112】
コンピューター１１が第３の目盛り画像２３を撮像装置１４の撮像映像に合成する処理は、コンピューター１１が第１の目盛り画像２１を撮像装置１４の撮像映像に合成する処理と同様である。但し、第１モードでは、コンピューター１１が複数の第１の目盛り画像２１を共通のローカル座標系に複製して配置したのに対して、第３モードでは、コンピューター１１が複数の第３の目盛り画像２３を個別のローカル座標系に複製して配置する。そのため、使用者がライブビュー画面において入力デバイス１２を操作することによって第３の目盛り画像２３ごとに選択・非選択・編集をすることができる。なお、選択された第３の目盛り画像２３の線分２３ａ，２３ｂ及び数字２３ｃの色は、選択されていない第３の目盛り画像２３の線分２３ａ，２３ｂ及び数字２３ｃの色と異なる。
【0113】
オブジェクト３０７は、選択された第３の目盛り画像２３を削除するための削除ボタンなどのようなＧＵＩ要素である。
オブジェクト３０８は、第３の目盛り画像２３を追加表示するための追加ボタンなどのようなＧＵＩ要素である。
オブジェクト３０８は、第３の目盛り画像２３を追加表示するための追加ボタンなどのようなＧＵＩ要素である。
【0114】
使用者が入力デバイス１２を操作することによってライブビュー画面中の何れかの第３の目盛り画像２３を選択した上で、オブジェクト３０７を選択する。そうすると、コンピューター１１が選択された第３の目盛り画像２３を削除するため、選択された第３の目盛り画像２３がライブビュー画面から消える。
【0115】
使用者が入力デバイス１２を操作することによってオブジェクト３０８を選択する。そうすると、コンピューター１１が第３の目盛り画像２３を複製してそれをライブビュー画面に追加するため、第３の目盛り画像２３がライブビュー画面に追加的に表示される。
【0116】
オブジェクト４０１～４０５は、ライブビュー画面において選択された第３の目盛り画像２３の種類を変更するためのボタンなどのようなＧＵＩ要素である。
オブジェクト４０１は、長い線分２３ｂの間隔が１０ｃｍである種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０２は、長い線分２３ｂの間隔が１５ｃｍである種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０３は、長い線分２３ｂの間隔が２０ｃｍである種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０４は、線分２３ａに対する線分２３ｂの配置が左である種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０５は、線分２３ａに対する線分２３ｂの配置が右である種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０１は、長い線分２３ｂの間隔が１０ｃｍである種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０２は、長い線分２３ｂの間隔が１５ｃｍである種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０３は、長い線分２３ｂの間隔が２０ｃｍである種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０４は、線分２３ａに対する線分２３ｂの配置が左である種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
オブジェクト４０５は、線分２３ａに対する線分２３ｂの配置が右である種類の第３の目盛り画像２３を選択するための選択ボタンなどのようなＧＵＩ要素である。
【0117】
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４０１～４０３の中から１つを選択したら、コンピューター１１がその旨を認識する。そうすると、コンピューター１１は、次回以降の一連の処理において、オブジェクト４０１～４０３の中からの選択に従った種類の第３の目盛り画像２３を選択する。そのため、オブジェクト４０１～４０３の中からの選択の変更は、数字２３ｃが付された長い線分２３ｂの間隔の変更を引き起こす。
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４０４，４０５の中から１つを選択したら、コンピューター１１がその旨を認識する。そうすると、コンピューター１１は、次回以降の一連の処理において、オブジェクト４０４，４０５の中からの選択に従った種類の第３の目盛り画像２３を選択する。そのため、オブジェクト４０４，４０５の中からの選択の変更は、線分２３ａに対する線分２３ｂの配置の変更を引き起こす。つまり、オブジェクト４０４，４０５の中からの選択の変更は、ライブビュー画面において選択された第３の目盛り画像２３が左右反転するような表示を引き起こす。
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４０４，４０５の中から１つを選択したら、コンピューター１１がその旨を認識する。そうすると、コンピューター１１は、次回以降の一連の処理において、オブジェクト４０４，４０５の中からの選択に従った種類の第３の目盛り画像２３を選択する。そのため、オブジェクト４０４，４０５の中からの選択の変更は、線分２３ａに対する線分２３ｂの配置の変更を引き起こす。つまり、オブジェクト４０４，４０５の中からの選択の変更は、ライブビュー画面において選択された第３の目盛り画像２３が左右反転するような表示を引き起こす。
【0118】
オブジェクト４０９，４１０，４１２，４１３は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って変更させる変更ボタンなどのようなＧＵＩ要素である。
オブジェクト４０９は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って１ｃｍだけ狭めるための削減ボタンなどのようなＧＵＩ要素である。オブジェクト４０９は、ライブビュー画面において選択された第３の目盛り画像２３の非表示領域を線分２３ａに沿って１ｃｍだけ拡げるためのＧＵＩ要素でもある。
オブジェクト４１０は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って１ｃｍだけ拡げるための増加ボタンなどのようなＧＵＩ要素である。
オブジェクト４１２は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って５０ｃｍだけ狭めるための削減ボタンなどのようなＧＵＩである。
オブジェクト４１３は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って５０ｃｍだけ拡げるための増加ボタンなどのようなＧＵＩ要素である。
オブジェクト４０９は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って１ｃｍだけ狭めるための削減ボタンなどのようなＧＵＩ要素である。オブジェクト４０９は、ライブビュー画面において選択された第３の目盛り画像２３の非表示領域を線分２３ａに沿って１ｃｍだけ拡げるためのＧＵＩ要素でもある。
オブジェクト４１０は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って１ｃｍだけ拡げるための増加ボタンなどのようなＧＵＩ要素である。
オブジェクト４１２は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って５０ｃｍだけ狭めるための削減ボタンなどのようなＧＵＩである。
オブジェクト４１３は、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って５０ｃｍだけ拡げるための増加ボタンなどのようなＧＵＩ要素である。
【0119】
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４０９，４１０，４１２，４１３の何れかを選択したら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト４０９，４１０，４１２，４１３の中からの選択に応じて、ライブビュー画面において選択された第３の目盛り画像２３の表示領域を線分２３ａに沿って拡縮する。オブジェクト４０９，４１２の選択は、ライブビュー画面において選択された第３の目盛り画像２３がその端のほうから消えるような表示を引き起こす。オブジェクト４０９，４１２の選択は、ライブビュー画面において選択された第３の目盛り画像２３がその端のほうへ現れる表示を引き起こす。ここでいう「端の方」とは、「数が大きな数字２３ｃの方」のことをいう。
【0120】
オブジェクト４１４は、ライブビュー画面において選択された第３の目盛り画像２３の数字２３ｃの表示・非表示を切り替えるための切り替えボタンなどのようなＧＵＩ要素である。
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４１４の選択・非選択を切り替えたら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト４１４の選択・非選択に応じて、ライブビュー画面において選択された第３の目盛り画像２３の数字２３ｃの表示・非表示を切り替える。そのため、オブジェクト４１４の選択は、ライブビュー画面において選択された第３の目盛り画像２３の数字２３ｃを現すような表示を引き起こし、オブジェクト４１４の非選択は、ライブビュー画面において選択された第３の目盛り画像２３の数字２３ｃを消すような表示を引き起こす。
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４１４の選択・非選択を切り替えたら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト４１４の選択・非選択に応じて、ライブビュー画面において選択された第３の目盛り画像２３の数字２３ｃの表示・非表示を切り替える。そのため、オブジェクト４１４の選択は、ライブビュー画面において選択された第３の目盛り画像２３の数字２３ｃを現すような表示を引き起こし、オブジェクト４１４の非選択は、ライブビュー画面において選択された第３の目盛り画像２３の数字２３ｃを消すような表示を引き起こす。
【0121】
オブジェクト４１５～４１７は、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ，２３ｂの太さを変更させる変更ボタンなどのようなＧＵＩ要素である。
オブジェクト４１５は、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ，２３ｂを細線にするためＧＵＩ要素である。
オブジェクト４１５は、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ，２３ｂを中太線にするためＧＵＩ要素である。
オブジェクト４１５は、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ，２３ｂを太線にするためＧＵＩ要素である。
オブジェクト４１５は、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ，２３ｂを細線にするためＧＵＩ要素である。
オブジェクト４１５は、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ，２３ｂを中太線にするためＧＵＩ要素である。
オブジェクト４１５は、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ，２３ｂを太線にするためＧＵＩ要素である。
【0122】
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４１５～４１７の何れかを選択したら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト４１５～４１７の中からの選択に応じて、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ，２３ｂの太さを設定する。そのため、オブジェクト４１５～４１７の選択は、ライブビュー画面において選択された第３の目盛り画像２３の線分２３ａ、２３ｂの太さを変えるような表示を引き起こす。
【0123】
オブジェクト４１８は、ライブビュー画面における各第３の目盛り画像２３の識別番号の表示・非表示を切り替えるための切り替えボタンなどのようなＧＵＩ要素である。
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４１８の選択・非選択を切り替えたら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト４１８の選択・非選択に応じて、ライブビュー画面において選択された第３の目盛り画像２３の識別番号の表示・非表示を切り替える。そのため、オブジェクト４１８の選択は、ライブビュー画面における各第３の目盛り画像２３の近くに識別番号を付すような表示を引き起こし、オブジェクト４１８の非選択は、その識別番号を消すような表示を引き起こす。
コンピューター１１が一連の処理を繰り返し実行している際に、使用者が入力デバイス１２を操作することによってオブジェクト４１８の選択・非選択を切り替えたら、コンピューター１１がその旨を認識する。コンピューター１１は、次回以降の一連の処理において、オブジェクト４１８の選択・非選択に応じて、ライブビュー画面において選択された第３の目盛り画像２３の識別番号の表示・非表示を切り替える。そのため、オブジェクト４１８の選択は、ライブビュー画面における各第３の目盛り画像２３の近くに識別番号を付すような表示を引き起こし、オブジェクト４１８の非選択は、その識別番号を消すような表示を引き起こす。
【0124】
第４モードにおけるオブジェクト４２１～４３２，４４１～４４３，４６０は第１モードにおけるオブジェクト２２１～２３２，２４１～２４３，２６０にそれぞれ相当する。使用者がオブジェクト４２１～４３２，４４１，４４２を選択したことに伴ってコンピューター１１が実行する処理は、使用者がオブジェクト２２１～２３２，２４１，２４２を選択したことに伴ってコンピューター１１が実行する処理と同様である。但し、第１モードでは、複数の第１の目盛り画像２１がライブビュー画面に表示されている場合、コンピューター１１がオブジェクト２２１～２３２の選択に応じた処理を全ての第１の目盛り画像２１に対して施すのに対して、第１モードでは、複数の第３の目盛り画像２３がライブビュー画面に表示されている場合、コンピューター１１がオブジェクト４２１～４３２の選択に応じた処理を選択中の第３の目盛り画像２３に対して施す。
【0125】
（６） 第４モード
第３モードと同様に、第４モードでは、第３の目盛り画像２３がライブビュー画面に表示され、第４モードのコンピューター１１の処理は第３モードのコンピューター１１の処理と同じである。ただし、第３モードでは、第３の目盛り画像２３の回転角の初期値がゼロであるのに対して、第４モードでは、第３の目盛り画像２３の回転角の初期値が９０°又はマイナス９０°である。そのため、第３モードでは、最初に表示される第３の目盛り画像２３の線分２３ｂがライブビュー画面の垂直方向に配列されるのに対して、第４モードでは、最初に表示される第３の目盛り画像２３の線分２３ｂがライブビュー画面の水平方向に配列される。
第３モードと同様に、第４モードでは、第３の目盛り画像２３がライブビュー画面に表示され、第４モードのコンピューター１１の処理は第３モードのコンピューター１１の処理と同じである。ただし、第３モードでは、第３の目盛り画像２３の回転角の初期値がゼロであるのに対して、第４モードでは、第３の目盛り画像２３の回転角の初期値が９０°又はマイナス９０°である。そのため、第３モードでは、最初に表示される第３の目盛り画像２３の線分２３ｂがライブビュー画面の垂直方向に配列されるのに対して、第４モードでは、最初に表示される第３の目盛り画像２３の線分２３ｂがライブビュー画面の水平方向に配列される。
【0126】
＜４． 有利な効果＞
撮像装置１４に撮像された映像中の対象面は遠近感により実際の形状から歪んでいるところ、第１モードでは、図７に示すように、目盛り画像２１が対象面の点群データにも基づいて撮像装置１４の撮像映像の二次元なスクリーン座標系に射影変換されるため、第１の目盛り画像２１も対象面の歪みに合わせて歪む。そのため、対象面に存在する傷および模様などのような計測対象の位置、大きさ及び範囲などを第１の目盛り画像２１のグリッドから簡易且つ正確に計測することができる。第２モードでは、第２の目盛り画像２２が対象面の歪みに合わせて歪むため、対象面に存在するビスなどのような計測対象の数、位置及びそれらの正確性を第２の目盛り画像２２の十字マークから簡易且つ正確に計測することができる。第３モード及び第４モードでは、第３の目盛り画像２３が対象面の歪みに合わせて歪むため、対象面に沿う長さを第３の目盛り画像２３の線分２３ｂの数等から簡易且つ正確に計測することができる。
撮像装置１４に撮像された映像中の対象面は遠近感により実際の形状から歪んでいるところ、第１モードでは、図７に示すように、目盛り画像２１が対象面の点群データにも基づいて撮像装置１４の撮像映像の二次元なスクリーン座標系に射影変換されるため、第１の目盛り画像２１も対象面の歪みに合わせて歪む。そのため、対象面に存在する傷および模様などのような計測対象の位置、大きさ及び範囲などを第１の目盛り画像２１のグリッドから簡易且つ正確に計測することができる。第２モードでは、第２の目盛り画像２２が対象面の歪みに合わせて歪むため、対象面に存在するビスなどのような計測対象の数、位置及びそれらの正確性を第２の目盛り画像２２の十字マークから簡易且つ正確に計測することができる。第３モード及び第４モードでは、第３の目盛り画像２３が対象面の歪みに合わせて歪むため、対象面に沿う長さを第３の目盛り画像２３の線分２３ｂの数等から簡易且つ正確に計測することができる。
【0127】
オブジェクト２２１～２２４，３２１～３２４，４２１～４２４の選択によって、ライブビュー画面中の目盛り画像２１，２２，２３を対象面の歪みに合わせて対象面に沿って平行移動させることにより、対象面上のどの位置にある対象も測量することができる。
【0128】
オブジェクト２２５～２２８，３２５～３２８，４２５～４２８の選択によって、ライブビュー画面の目盛り画像２１，２２，２３を対象面に合わせて対象面の直交軸回りに回転させることにより、対象面上のどの姿勢又は向きに対象も測量することができる。
【0129】
オブジェクト２２９，２３０，３２９，３３０，４２９，４３０の選択により、ワールド座標系における対象面に対して垂直な方向への計測対象物の位置ずれに合わせて、その計測対象物を測量することができる。
【0130】
オブジェクト２２９，２３０，３２９，３３０，４２９，４３０の選択により、ライブビュー画面における目盛り画像２１，２２，２３）が対象面の手前又は奥の方にあることを表現できる。
【0131】
オブジェクト２０１～２０３の選択によって、ライブビュー画面中の目盛り画像２１のグリッド線の間隔を調整できるため、長さの計測単位を調整することができる。同様に、オブジェクト４０１～４０３の選択によって、長さの計測単位を調整することができる。
【0132】
オブジェクト２０４を選択すれば、ライブビュー画面中の垂直方向及び水平方向の長さを計測することができる。オブジェクト２０５を選択すれば、ライブビュー画面中の水平方向の長さを計測することができる。オブジェクト２０６を選択すれば、ライブビュー画面中の垂直方向の長さを計測することができる。
【0133】
オブジェクト４０９，４１０，４１２，４１３の選択よって、ライブビュー画面中の第３の目盛り画像２３の表示領域を計測対象の長さに合わせて調整することができる。
【0134】
オブジェクト４１５～４１７の選択によって、ライブビュー画面中の第３の目盛り画像２３の線分２３ａ，２３ｂの太さを調整することができる。
【0135】
オブジェクト４０４，４０５の選択によって、ライブビュー画面中の計測対象の位置及び向きなどに合わせて第３の目盛り画像２３を反転させることができる。
【0136】
計測支援装置１０のコンピューター１１はスマートフォンなどのような携帯型コンピューターによって構成されているところ、近年の携帯型コンピューターが著しく進歩しており、携帯型コンピューターを長期に亘って使用できる上、携帯型コンピューターの消費電力も少ない。そのため、計測支援装置１０を用いて測量することは、省エネ社会の実現と、二酸化炭素の排出量の削減と、カーボンニュートラルの推進と、脱炭素社会の実現と、持続可能な開発目標（Sustainable Development Goals：ＳＤＧｓ）の推進とに貢献する。
【符号の説明】
【0137】
１０ 計測支援装置
１１ コンピューター
１２ 入力デバイス
１３ 表示デバイス
１４ 撮像装置
１５ 三次元形状計測器
１７ 計測支援プログラム
２１ 第１の目盛り画像
２１ａ グリッド線
２１ｂ 正方領域
２２ 第２の目盛り画像
２２ａ，２２ｂ，２２ｃ 十字マーク
２３ 第３の目盛り画像
２３ａ 第１線分
２３ｂ 第２線分
２３ｃ 数字
１１ コンピューター
１２ 入力デバイス
１３ 表示デバイス
１４ 撮像装置
１５ 三次元形状計測器
１７ 計測支援プログラム
２１ 第１の目盛り画像
２１ａ グリッド線
２１ｂ 正方領域
２２ 第２の目盛り画像
２２ａ，２２ｂ，２２ｃ 十字マーク
２３ 第３の目盛り画像
２３ａ 第１線分
２３ｂ 第２線分
２３ｃ 数字
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2023-10-16
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【0016】
請求項６に係る発明によれば、請求項１又は２に記載のプログラム（１７）であって、
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）の二次元的なローカル座標系における回転角を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記回転角に基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をする処理を含む
ことを特徴とするプログラム（１７）が提供される。
前記コンピューター（１１）に、
入力デバイス（１２）からの信号に基づいて、前記目盛り画像（２１，２２又は２３）の二次元的なローカル座標系における回転角を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記回転角に基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に目盛り画像（２１，２２又は２３）を射影変換の写像をする処理を含む
ことを特徴とするプログラム（１７）が提供される。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【0065】
コンピューター１１は、オブジェクト１０８の更新と合わせて、ライブビュー画面における対象面の像に半透明の色を付す。具体的に次に通りである。まず、コンピューター１１は、対象面の点群データをワールド座標系からスクリーン座標系に中心投影による写像をする。つまり、コンピューター１１は、対象面の点群データの各計測対象点の座標値をワールド座標系からスクリーン座標系に変換する。なお、撮像装置１４に対する三次元形状計測１５の相対的な位置が不変であるため、座標値をワールド座標系からスクリーン座標系に変換するための中心投影用座標変換マトリクスの各要素が定数としてプログラム１７に予め設定されてもよい。なお、中心投影のことを透視投影ともいう。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【0078】
次に、コンピューター１１が、認識した対象面の点群データと前記中心投影用座標変換マトリクスと平行移動量と回転角と奥行き移動量とに基づいて、射影変換マトリクスを算出する。射影変換マトリクスとは、ワールド座標系の対象面に形状を維持してマップされた第１の目盛り画像２１をスクリーン座標系に中心投影による写像をした場合に、第１の目盛り画像２１に台形歪みを生じさせるような座標変換マトリクスをいう。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項6】
請求項１又は２に記載のプログラムであって、
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像の二次元的なローカル座標系における回転角を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記回転角に基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をする処理を含む
ことを特徴とするプログラム。
前記コンピューターに、
入力デバイスからの信号に基づいて、前記目盛り画像の二次元的なローカル座標系における回転角を決定する処理を実行させ、
前記合成処理が、前記対象面の点群データに加えて前記回転角に基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に目盛り画像を射影変換の写像をする処理を含む
ことを特徴とするプログラム。
【手続補正書】
【提出日】2024-07-11
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
請求項１に係る発明によれば、撮像装置（１４）によって撮像された映像を入力するとともに、三次元形状計測器（１５）によって計測された複数の計測対象点の三次元的な座標値からなる点群データを入力するコンピューター（１１）に、
前記三次元形状計測器（１５）から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、
前記認識処理によって認識された前記対象面の点群データに基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に、真っ直ぐに延びた第１線分に沿ってそれよりも短い複数の第２線分が一定間隔で配列された目盛り画像（２３）を射影変換の写像をして、前記撮像装置（１４）によって撮像された映像を背景として、前記目盛り画像（２３）を前景としてこれらを合成する合成処理と、
入力デバイスからの信号に基づいて、前記第１線分に沿う方向における前記目盛り画像（２３）の表示範囲を決定する処理と、を実行させ、
前記合成処理が、前記撮像装置によって撮像された映像に前記目盛り画像（２３）を前記表示範囲で合成する処理を含む
ことを特徴とするプログラム（１７）が提供される。
前記三次元形状計測器（１５）から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、
前記認識処理によって認識された前記対象面の点群データに基づいて、前記撮像装置（１４）によって撮像された映像の二次元的なスクリーン座標系に、真っ直ぐに延びた第１線分に沿ってそれよりも短い複数の第２線分が一定間隔で配列された目盛り画像（２３）を射影変換の写像をして、前記撮像装置（１４）によって撮像された映像を背景として、前記目盛り画像（２３）を前景としてこれらを合成する合成処理と、
入力デバイスからの信号に基づいて、前記第１線分に沿う方向における前記目盛り画像（２３）の表示範囲を決定する処理と、を実行させ、
前記合成処理が、前記撮像装置によって撮像された映像に前記目盛り画像（２３）を前記表示範囲で合成する処理を含む
ことを特徴とするプログラム（１７）が提供される。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
以上のような請求項１に係る発明によれば、撮像装置（１４）に撮像された映像中の対象面は遠近感により実際の形状から歪んでいるところ、目盛り画像（２３）が対象面の点群データにも基づいてその映像の二次元なスクリーン座標系に射影変換されるため、目盛り画像（２３）も対象面の歪みに合わせて歪む。そのため、対象面に沿う長さ等を目盛り画像（２３）から正確に計測することができる。また、使用者にとっては、撮像装置（１４）に撮像された映像と目盛り画像（２３）との合成映像を見るだけで、対象面を簡易に測量することができる。
以上のような請求項１に係る発明によれば、対象面上の計測対象物の長さに目盛り画像（２３）の表示範囲を合わせることができる。
以上のような請求項１に係る発明によれば、対象面上の計測対象物の長さに目盛り画像（２３）の表示範囲を合わせることができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正15】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正16】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正17】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正18】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正19】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮像装置によって撮像された映像を入力するとともに、三次元形状計測器によって計測された複数の計測対象点の三次元的な座標値からなる点群データを入力するコンピューターに、
前記三次元形状計測器から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、
前記認識処理によって認識された前記対象面の点群データに基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に、真っ直ぐに延びた第１線分に沿ってそれよりも短い複数の第２線分が一定間隔で配列された目盛り画像を射影変換の写像をして、前記撮像装置によって撮像された映像を背景として、前記目盛り画像を前景としてこれらを合成する合成処理と、
入力デバイスからの信号に基づいて、前記第１線分に沿う方向における前記目盛り画像の表示範囲を決定する処理と、を実行させ、
前記合成処理が、前記撮像装置によって撮像された映像に前記目盛り画像を前記表示範囲で合成する処理を含む
ことを特徴とするプログラム。
前記三次元形状計測器から入力した点群データの中から、対象面の点群データを抽出して認識する認識処理と、
前記認識処理によって認識された前記対象面の点群データに基づいて、前記撮像装置によって撮像された映像の二次元的なスクリーン座標系に、真っ直ぐに延びた第１線分に沿ってそれよりも短い複数の第２線分が一定間隔で配列された目盛り画像を射影変換の写像をして、前記撮像装置によって撮像された映像を背景として、前記目盛り画像を前景としてこれらを合成する合成処理と、
入力デバイスからの信号に基づいて、前記第１線分に沿う方向における前記目盛り画像の表示範囲を決定する処理と、を実行させ、
前記合成処理が、前記撮像装置によって撮像された映像に前記目盛り画像を前記表示範囲で合成する処理を含む
ことを特徴とするプログラム。