(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024131489
(43)【公開日】2024-09-30
(54)【発明の名称】特徴点付加装置及び特徴点付加方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20240920BHJP
【FI】
G06T7/70 A
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023041768
(22)【出願日】2023-03-16
(71)【出願人】
【識別番号】000001317
【氏名又は名称】株式会社熊谷組
(74)【代理人】
【識別番号】100141243
【弁理士】
【氏名又は名称】宮園 靖夫
(72)【発明者】
【氏名】冨樫 淳輝
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA03
5L096CA02
5L096CA17
5L096FA69
(57)【要約】
【課題】撮影対象が特徴点となり得る模様や形等の少ない撮影対象である場合でも、特徴点を利用した撮影画像の合成処理を可能とするために、撮影対象の撮影時に特徴点を付加できるようにした特徴点付加装置及び特徴点付加方法を提供する。
【解決手段】本発明に係る特徴点付加装置1は、移動体2と、移動体2に設けられた撮影手段(カメラ3)と、移動体に設けられて当該移動体の移動に伴って撮影手段が撮影対象を撮影する毎に撮影対象の同一位置に特徴点を付加する特徴点付加手段4とを備えたことを特徴とする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
移動体と、移動体に設けられた撮影手段と、移動体に設けられて当該移動体の移動に伴って撮影手段が撮影対象を撮影する毎に撮影対象の同一位置に特徴点を付加する特徴点付加手段とを備えたことを特徴とする特徴点付加装置。
【請求項2】
特徴点付加手段は、
照射手段と、
照射手段を移動体に取付けるための取付手段と、
移動開始から移動に伴って撮影手段で逐次撮影される撮影対象の同一位置を照射するように照射手段による照射位置を制御する照射制御手段とを備えたことを特徴とする請求項1に記載の特徴点付加装置。
【請求項3】
照射制御手段は、撮影手段による現在の撮影範囲が撮影対象の同一位置を撮影できる撮影範囲から逸脱した場合には、当該現在の撮影範囲内の撮影対象位置に特徴点を付加するように照射手段による照射位置を制御することを特徴とする請求項2に記載の特徴点付加装置。
【請求項4】
取付手段は、
移動体に固定された移動体側固定部材と、
第1の回転軸と第2の回転軸とが直交するように構成された直交軸と、
第1の回転軸の回転駆動源と、
第2の回転軸の回転駆動源と、
照射手段が固定された照射手段固定部材とを備え、
第1の回転軸が移動体側固定部材に回転可能に取付けられたとともに、照射手段固定部材が第2の回転軸に固定されて当該照射手段固定部材が第2の回転軸周りを回転可能に構成されたことによって、照射手段が移動体の進行方向及び当該進行方向と直交する方向に揺動可能に構成されたことを特徴とする請求項2に記載の特徴点付加装置。
【請求項5】
照射制御手段は、移動体の移動情報に基づいて回転駆動源を制御することによって、移動体の移動開始から移動に伴って撮影手段で逐次撮影される撮影対象の同一位置に特徴点を付加するように照射手段による照射位置を制御するとともに、撮影手段による現在の撮影範囲が撮影対象の同一位置を撮影できる撮影範囲から逸脱した場合には、当該現在の撮影範囲内の撮影対象位置に特徴点を付加するように照射手段による照射位置を制御することを特徴とする請求項4に記載の特徴点付加装置。
【請求項6】
照射手段は、移動体の撮影対象と対向する側において、移動体の進行方向に対する左右に一対に設けられた一対照射手段が、移動体の進行方向の前後に沿って間隔を隔てて複数設けられて構成され、
各一対照射手段の照射光の色はそれぞれ異なる色であることを特徴とする請求項1乃至請求項5のいずれか一項に記載の特徴点付加装置。
【請求項7】
撮影対象の対象位置を順次変化させて連続して撮影する際に、撮影する毎に撮影対象の同一位置に特徴点を付加するようにしたことを特徴とする特徴点付加方法。
【請求項8】
撮影対象がコンクリート床面であることを特徴とする請求項7に記載の特徴点付加方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、前後の撮影画像を合成する際の特徴点を前後の撮影対象を撮影する毎に付加するようにした特徴点付加装置及び特徴点付加方法に関する。
【背景技術】
【0002】
従来、異なる角度・位置からモデル作成対象を撮影した2枚の写真上に互いに対応する2つの点がそれぞれ空間特徴点として指定されたとき、当該空間特徴点を一致させて画像合成(3Dモデル作成)を行う技術が知られている(特許文献1参照)。
また、特徴的な模様や形等が少ない撮影対象、例えば、コンクリートの表面に事前にターゲット(特徴点や特徴領域)を設けるようにして、画像解析によってコンクリートのひび割れ等の経時的な変化を把握する際に、当該ターゲットを利用するようにした技術が知られている(特許文献2参照)。
即ち、従来、上述したような特徴点を画像合成の際に利用することが知られている。
また、例えば撮影対象の検査のために、撮影対象の対象位置を順次変化させて連続して撮影し、撮影した前後の撮影画像を合成する場合においては、前後の撮影画像に存在する特徴点を利用して前後の画像を合成するようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000-172884号公報
【特許文献2】特開2022-48482号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、そもそも特徴的な模様や形等が少ない撮影対象(例えばコンクリート面等)の場合、前後の撮影画像に存在する特徴点を抽出する処理が困難となり、特徴点を利用した撮影画像の合成処理を行うことが難しいという課題があった。
そこで、本発明はかかる課題に鑑み、撮影対象が特徴点となり得る模様や形等の少ない撮影対象である場合でも、特徴点を利用した撮影画像の合成処理を可能とするために、撮影対象の撮影時に特徴点を付加できるようにした特徴点付加装置及び特徴点付加方法を提供するものである。
【課題を解決するための手段】
【0005】
本発明に係る特徴点付加装置は、移動体と、移動体に設けられた撮影手段と、移動体に設けられて当該移動体の移動に伴って撮影手段が撮影対象を撮影する毎に撮影対象の同一位置に特徴点を付加する特徴点付加手段とを備えたことを特徴とする。
また、特徴点付加手段は、照射手段と、照射手段を移動体に取付けるための取付手段と、移動開始から移動に伴って撮影手段で逐次撮影される撮影対象の同一位置を照射するように照射手段による照射位置を制御する照射制御手段とを備えたことを特徴とする。
また、照射制御手段は、撮影手段による現在の撮影範囲が撮影対象の同一位置を撮影できる撮影範囲から逸脱した場合には、当該現在の撮影範囲内の撮影対象位置に特徴点を付加するように照射手段による照射位置を制御することを特徴とする。
また、取付手段は、移動体に固定された移動体側固定部材と、第1の回転軸と第2の回転軸とが直交するように構成された直交軸と、第1の回転軸の回転駆動源と、第2の回転軸の回転駆動源と、照射手段が固定された照射手段固定部材とを備え、第1の回転軸が移動体側固定部材に回転可能に取付けられたとともに、照射手段固定部材が第2の回転軸に固定されて当該照射手段固定部材が第2の回転軸周りを回転可能に構成されたことによって、照射手段が移動体の進行方向及び当該進行方向と直交する方向に揺動可能に構成されたことを特徴とする。
また、照射制御手段は、移動体の移動情報に基づいて回転駆動源を制御することによって、移動体の移動開始から移動に伴って撮影手段で逐次撮影される撮影対象の同一位置に特徴点を付加するように照射手段による照射位置を制御するとともに、撮影手段による現在の撮影範囲が撮影対象の同一位置を撮影できる撮影範囲から逸脱した場合には、当該現在の撮影範囲内の撮影対象位置に特徴点を付加するように照射手段による照射位置を制御することを特徴とする。
照射手段は、移動体の撮影対象と対向する側において、移動体の進行方向に対する左右に一対に設けられた一対照射手段が、移動体の進行方向の前後に沿って間隔を隔てて複数設けられて構成され、各一対照射手段の照射光の色はそれぞれ異なる色であることを特徴とする。
本発明に係る特徴点付加方法は、撮影対象の対象位置を順次変化させて連続して撮影する際に、撮影する毎に撮影対象の同一位置に特徴点を付加するようにしたことを特徴とする。
また、撮影対象がコンクリート床面であることを特徴とする。
本発明に係る特徴点付加装置及び特徴点付加方法によれば、撮影対象が特徴点となり得る模様や形等の少ない撮影対象である場合でも、撮影対象の撮影時に特徴点を付加できるようになる。
【図面の簡単な説明】
【0006】
【
図4】レーザポインタの駆動制御を示すフローチャート。
【
図5】レーザポインタの角度と照射位置との関係を示す説明図。
【
図6】移動体がA地点からB地点へ進行方向の変化を伴って移動した場合の移動体の移動経路をモデル化した図。
【
図7】移動体がA地点からB地点へ進行方向の変化を伴って移動した場合の移動体の移動経路とレーザポインタによる照射位置との関係をモデル化した図。
【
図8】移動体の移動に基づいて撮影された写真の合成方法を示すフローチャート。
【
図9】移動体の移動に基づいて撮影された写真の合成方法を示すフローチャート。
【発明を実施するための形態】
【0007】
本発明の実施形態に係る特徴点付加方法は、撮影対象の対象位置を順次変化させて連続して撮影する際に、撮影する毎に撮影対象の同一位置に特徴点を付加するようにした方法である。
そして、撮影対象の対象位置を順次変化させて連続して撮影した前後の各撮影画像に付加されている特徴点を一致させることにより、当該前後の撮影画像を合成することが可能となる。
尚、本明細書においては、上、下、左、右、前、後は、
図1に示した方向と定義して説明する。
【0008】
実施形態に係る特徴点付加方法を実現するための特徴点付加装置を
図1に基づいて説明する。
図1に示すように、特徴点付加装置1は、移動体2と、移動体2に設けられた撮影手段としての例えばデジタルカメラ(以下、「カメラ」という)3と、移動体2に設けられて当該移動体2の移動に伴ってカメラ3が撮影対象10を撮影する毎に撮影対象の同一位置に特徴点を付加する特徴点付加手段4とを備えた構成とした。
撮影対象10は、特徴点として利用可能な模様や形等が少ない撮影対象であり、例えば床面検査対象となるコンクリート製の床面等である。
【0009】
移動体2は、例えば、基台20と、基台20の4つの隅部からそれぞれ下方に延長するように設けられた脚21,21…と、各脚21,21…の下端に設けられた移動手段としての車輪22とを備えた構成である。
基台20は、例えば板面が撮影対象10と平行に対向するように設けられた長方形板により構成される。
移動体2は、例えば基台20を構成する長方形板の一方の短辺側を前側、基台20を構成する長方形板の他方の短辺側を後側とした場合、少なくとも、前側に設けられた前脚21,21の下端に設けられた一対の車輪22,22、及び、後側に設けられた後脚21,21の下端に設けられた一対の車輪22,22のうちの少なくとも一方の一対の車輪が駆動源としての例えばモータ23により駆動する駆動輪に構成されている。
図1では、後脚21,21の下端に設けられた車輪22,22が駆動輪に構成された後輪駆動のものを例示している。
撮像手段としてのカメラ3は、例えば、長方形板状の基台20の下面(裏面)中央側に固定される。
【0010】
図1,
図2に示すように、特徴点付加手段4は、可動式の照射手段4Aと、照射制御手段4Bとを備える。
【0011】
図2に示すように、可動式の照射手段4Aは、照射手段としての例えばレーザポインタ5と、レーザポインタ5を移動体2に取付けるための取付手段6とを備えた構成とした。
【0012】
取付手段6は、照射手段としてのレーザポインタ5が移動体2の進行方向F(
図1参照)及び当該進行方向Fと直交する方向に沿って揺動可能となるように、当該レーザポインタ5を移動体2に取付けるための手段である。
当該取付手段6は、図外のねじ等の固定手段により移動手段2に固定された移動体側固定部材60と、第1の回転軸61と第2の回転軸62とが直交関係となるように構成された直交軸63と、第1の回転軸61を回転させるための第1の回転駆動源としての例えばサーボモータ(以下、「モータ」という)64と、第2の回転軸62を回転させるための第2の回転駆動源としての例えばサーボモータ(以下、「モータ」という)65と、レーザポインタ5が固定された照射手段固定部材66とを備えて構成される。
尚、第1の回転軸61は、当該回転軸61の中心線61Cを回転中心として回転するように構成された回転軸であり、また、第2の回転軸62は、当該回転軸62の中心線62Cを回転中心として回転するように構成された回転軸である。
【0013】
移動体側固定部材60は、移動体2への固定部60aと、例えば長方形板状に形成された当該固定部60aの長手方向の両端側より突出するように設けられた支持部60b,60cとを備える。
照射手段固定部材66は、照射手段としてのレーザポインタ5が固定された照射手段固定部66aと、例えば長方形板状に形成された当該照射手段固定部66aの長手方向の両端側より突出して第2の回転軸62の両端側に固定された軸連結部66b,66cとを備える。
【0014】
移動体側固定部材60の支持部60b,60cが照射手段固定部材66の照射手段固定部66aに近づく方向に延長するとともに、照射手段固定部材66の軸連結部66b,66cが移動体側固定部材60の固定部60aに近づく方向に延長し、かつ、移動体側固定部材60の固定部60aの長手方向と照射手段固定部材66の照射手段固定部66aの長手方向とが直交する方向となるように、移動体側固定部材60と照射手段固定部材66とが配置される。
そして、第1の回転駆動源としてのモータ64が移動体側固定部材60の一方の支持部60bに固定されて、第1の回転軸61の回転中心線61Cがモータ64から移動体側固定部材60の他方の支持部60cに向けて延長するように設定される。
さらに、例えば、第2の回転駆動源としてのモータ65が照射手段固定部材66の軸連結部66b,66c間に配置されるとともに照射手段固定部66aの内面との間には間隔が設けられて、第2の回転軸62の回転中心線62Cが一方の軸連結部66bから他方の軸連結部66cに向けて延長するように設定される。
即ち、レーザポインタ5が照射手段固定部66aの外面に固定されて、当該レーザポインタ5が固定された照射手段固定部材66が第2の回転軸62の回転中心線62Cを回転中心として揺動回転可能となるように構成される。
尚、モータ65のケーシングの下面と照射手段固定部66aの内面との間は十分な間隔が設けられて、照射手段固定部材66の第2の回転軸62の回転中心線62Cを回転中心とした揺動回転時に、照射手段固定部材66の照射手段固定部66aとモータ65のケーシングとが干渉しないように構成されている。同様に、モータ65のケーシングの上面と移動体側固定部材60の固定部60aの内面との間は十分な間隔が設けられて、照射手段固定部材66の第1の回転軸61の回転中心線61Cを回転中心とした揺動回転時に、モータ65のケーシングと移動体側固定部材60の固定部60aとが干渉しないように構成されている。
【0015】
上述したように、モータ65が照射手段固定部材66の軸連結部66b,66c間に配置された構成の場合、例えば、第1の回転軸61は、モータ側連結軸61aと支持軸61bとで構成され、第2の回転軸62は、モータ側連結軸62aと支持軸62bとで構成される。
この場合、モータ側連結軸61aの一端がモータ64の軸(出力軸)に連結されてモータ側連結軸61aの他端がモータ65のケーシングに固定されたとともに、支持軸61bの一端が移動体側固定部材60の他方の支持部60cに回転可能に連結されて支持軸61bの他端がモータ65のケーシングに固定されたことにより、モータ側連結軸61aの中心線と支持軸61bの中心線とが一致して第1の回転軸61の中心線61Cとなるように構成される。
また、モータ側連結軸62aの一端がモータ65の軸(出力軸)に連結されてモータ側連結軸62aの他端が照射手段固定部材66の一方の軸連結部66bに固定されたとともに、支持軸62bの一端が照射手段固定部材66の他方の軸連結部66cに固定されて支持軸61bの他端がモータ65に回転可能に連結されたことにより、モータ側連結軸62aの中心線と支持軸62bの中心線とが一致して第2の回転軸62の中心線62Cとなるように構成される。
以上により、モータ64を駆動することで、第1の回転軸61が当該回転軸61の中心線61Cを回転中心として回転し、かつ、モータ65を駆動することで、第2の回転軸62が当該回転軸62の中心線62Cを回転中心として回転するように構成される。
尚、モータ側連結軸62aの一端がモータ65の軸(出力軸)に連結されてモータ側連結軸62aの他端が照射手段固定部材66の一方の軸連結部66bに固定されたとともに、支持軸62bの他端がモータ65に固定されて照射手段固定部材66の他方の軸連結部66cが支持軸62bの一端に回転可能に連結された構成としてもよい。この場合、モータ65を駆動することで、第2の回転軸62のモータ側連結軸62aのみが当該回転軸62の中心線62Cを回転中心として回転するように構成されることになる。
【0016】
即ち、可動式の照射手段4Aは、レーザポインタ5が、第1の回転軸61の中心線61Cを回転中心として揺動回転するとともに、第2の回転軸62の中心線62Cを回転中心として揺動回転するように構成されているものである。
【0017】
例えば
図1に示すように、第2の回転軸62の中心線62Cが移動体2の進行方向Fに向けて延長し、かつ、第1の回転軸61の中心線61Cが移動体2の進行方向Fと直交する方向(左右方向)に向けて延長する状態となるように、移動体側固定部材60の固定部60aが基台2の下面(裏面)に固定される。
従って、モータ64を駆動させて第1の回転軸61が回動することで、レーザポインタ5が移動体2の進行方向Fに沿って揺動する。
また、モータ65を駆動させて第2の回転軸62及び照射手段固定部材66が回動することで、レーザポインタ5が移動体2の進行方向Fと直交する方向(左右方向)に沿って揺動する。
即ち、レーザポインタ5が移動体2の進行方向F及び当該進行方向Fと直交する方向に沿って揺動可能となるように、可動式の照射手段4Aの固定部60aが移動体2の基台20の下面に固定されている。
【0018】
照射制御手段4Bは、移動体2の移動情報に基づいてモータ64,65を制御することによって、移動体2の移動開始から移動に伴ってカメラ3で逐次撮影される撮影対象10の同一位置にレーザ光画像による特徴点を付加するためにレーザポインタ5による照射位置Mを制御するとともに、カメラ3による現在の撮影範囲が撮影対象10の上記同一位置を撮影できる撮影範囲から逸脱した場合には、当該現在の撮影範囲内の撮影対象位置にレーザ光画像による特徴点を付加するためにレーザポインタ5による照射位置Mを制御する手段である。
当該照射制御手段4Bは、例えば後述する計算式に基づいて、移動体2の移動開始から移動に伴ってレーザポインタ5による照射位置Mを制御する制御プログラムと、当該制御プログラムによる情報処理を実現するコンピュータ等のハードウエア資源とにより構成される。
【0019】
図1に示すように、照射手段としては、例えば、移動体2の基台20における撮影対象10と対向する下面の前側左右にそれぞれ設けられた一対の前側照射手段としての緑色のレーザポインタ50A,50A(レーザポインタ5)と、基台20における下面の後側左右にそれぞれ設けられた一対の後側照射手段としての赤色のレーザポインタ50C,50C(レーザポインタ5)と、基台20における下面の中央側左右にそれぞれ設けられた一対の中央側照射手段としての青色のレーザポインタ50B,50B(レーザポインタ5)とを備える。
即ち、一対の前側照射手段としてのレーザポインタ5,5の照射光の色と、一対の後側照射手段としてのレーザポインタ5,5の照射光の色と、一対の中央側照射手段としてのレーザポインタ5,5の照射光の色と、がそれぞれ異なる色となるように構成されている。
【0020】
つまり、特徴点付加手段4は、例えば長方形板状の基台20の下面の左縁側及び右縁側において、前後方向に沿って間隔を隔てて複数個設けられている。
例えば、基台20の下面の左縁側及び右縁側において、前後方向に沿って等間隔を隔てて照射光の色の異なるレーザポインタ5が3個ずつ設けられている。
例えば、
図1に示すように、基台20の下面の前側の左右に設けられた2つの特徴点付加手段4,4は、それぞれ、緑色のレーザポインタ50Aを備えており、基台20の下面の中央側の左右に設けられた2つの特徴点付加手段4,4は、それぞれ、青色のレーザポインタ50Bを備えており、基台20の下面の後側の左右に設けられた2つの特徴点付加手段4,4は、それぞれ、赤色のレーザポインタ50Cを備えている。
【0021】
即ち、実施形態に係る特徴点付加装置1は、2つの直交する回転軸61,62を持つ取付手段6を作成して、当該取付手段6の移動体側固定部材60の固定部60aが移動体2の基台20の下面に固定されて、当該取付手段6の照射手段固定部材66の固定部66aにレーザポインタ5が固定された構成の可動式の照射手段4Aを備えたものである。
そして、複数の可動式の照射手段4A,4A…のレーザポインタ5,5…からのレーザ光が撮影対象10に照射されるように、当該複数の可動式の照射手段4A,4A…がカメラ3の周辺に設置される。
【0022】
照射制御手段4Bは、例えば移動体2のオドメトリ(自己位置姿勢推定法の一つであり、単位時間当たりの車輪の回転角の積分によって、移動体の現在位置や姿勢を推定する手法)の情報に基づいて、各レーザポインタ5,5…が撮影対象10の予め決められた同じ位置をポインティング(照射)するように、サーボモータ64,65を制御して第1の回転軸61及び第2の回転軸62の回転を制御する。
つまり、照射制御手段4Bは、例えば移動体2のオドメトリと第1の回転軸61及び第2の回転軸62の回転制御とを連動させることで、各レーザポインタ5,5…に撮影対象10の同じ位置をポインティング(照射)させる制御を実現するものである。
尚、第1の回転軸61及び第2の回転軸62の回転は、サーボモータ64,65で回転制御されるため、第1の回転軸61及び第2の回転軸62の回転後のレーザポインタ5の姿勢は保持される。
【0023】
さらに、照射制御手段4Bは、レーザポインタ5による照射位置がカメラ3の撮影範囲外に位置されるようになった場合には、レーザポインタ5の姿勢を初期状態となるようにリセットすることによって、現在の撮影範囲内の撮影対象位置を照射して現在の撮影範囲内の撮影対象位置に特徴点を付加するように制御する。
【0024】
図3に基づいて、照射制御手段4Bによる照射制御について説明する。
まず、
図3(a)に示すように、移動体2が進行方向Fに沿って移動する前は、、左右一対の前側照射手段としての緑色のレーザポインタ50A,50A、左右一対の中央側照射手段としての青色のレーザポインタ50B,50B、左右一対の後側照射手段としての赤色のレーザポインタ50C,50Cが、それぞれ、撮影範囲A内の撮影対象10に予め定めた同一の照射位置Mを照らすように制御される。
次に、移動体2が進行方向Fに沿って移動したことにより、
図3(b)に示すように、赤色のレーザポインタ50C,50Cで照射されていた照射位置Mが、カメラ3の撮影範囲Aから外れた場合、当該赤色のレーザポインタ50C,50Cの姿勢が初期姿勢5Pとなるようにリセットされて、当該赤色のレーザポインタ50C,50Cがカメラ3の現在の撮影範囲A内の新たな照射位置Mを照らすように制御されるとともに、緑色のレーザポインタ50A,50A、及び、青色のレーザポインタ50B,50Bは、それぞれ、カメラ3の現在の撮影範囲A内の同一の照射位置Mを照らすように制御される。
さらに、移動体2が進行方向Fに沿って移動したことにより、
図3(c)に示すように、青色のレーザポインタ50B,50Bで照射されていた照射位置Mが、カメラ3の撮影範囲Aから外れた場合、当該青色のレーザポインタ50B,50Bの姿勢が初期姿勢5Pとなるようにリセットされて、当該青色のレーザポインタ50B,50Bがカメラ3の現在の撮影範囲A内の新たな照射位置Mを照らすように制御されるとともに、緑色のレーザポインタ50A,50A、及び、赤色のレーザポインタ50C,50Cは、それぞれ、カメラ3の現在の撮影範囲A内の同一の照射位置Mを照らすように制御される。
【0025】
図3で説明した照射制御手段4Bによる照射制御の結果、カメラ3で撮像される撮影画像は、例えば
図3のP1,P2,P3で示したような撮影画像となる。
従って、撮影画像P1と撮影画像P2とを合成する場合には、撮影画像P1の画像中の照射位置Mに写った緑のレーザ光画像Mgと撮影画像P2の画像中の照射位置Mに移った緑のレーザ光画像Mgとを一致させるか、あるいは、撮影画像P1の画像中の照射位置Mに移った青のレーザ光画像Mbと撮影画像P2の画像中の照射位置Mに写った青のレーザ光画像Mbとを一致させることにより、撮影画像P1と撮影画像P2とを合成することができる。
次に、撮影画像P2と撮影画像P3とを合成する場合には、撮影画像P2の画像中の照射位置Mに写った緑のレーザ光画像Mgと撮影画像P3の画像中の照射位置Mに写った緑のレーザ光画像Mgとを一致させるか、あるいは、撮影画像P2の画像中の照射位置Mに写った赤のレーザ光画像Mrと撮影画像P3の画像中の照射位置Mに写った赤のレーザ光画像Mrとを一致させることにより、撮影画像P2と撮影画像P3とを合成することができる。
以上のように、上述した撮影画像P1と撮影画像P2と撮影画像P3とを合成することができる。
尚、
図3の例では、各撮影画像に、緑のレーザ光画像Mg,青のレーザ光画像Mb,赤のレーザ光画像Mrの、3色全てのレーザ光画像が写っている場合を例示しており、この場合、リセット前後のレーザポインタの色を画像合成の際に使用しないようにするとともに、画像合成の際にどのレーザポインタの色を優先して使用するかを予め決めておけばよい。
画像合成の際にどのレーザポインタの色を優先して使用するかについては、例えば、より画像の中心に近い色を使うことが考えられる。例えば、
図3(a)と(b)の場合、MgとMbとが両方とも合成に使える特徴点となるが、この場合、撮影画像P1のMg位置(右左それぞれ)と撮影画像P1の図心までの距離、及び、撮影画像P2のMg位置(右左それぞれ)と撮影画像P2の図心までの距離を平均化した数値を計算し、Mbに対しても同じ計算をして、より値の小さい方の色を使うようにすればよい。
また、
図3の例において、リセット前後のレーザポインタの色以外の2色を使用して合成することも考えられる。例えば、各々の点の平均を取ることでより正確に合成できるようになる可能性がある。この場合、後述する
図9のステップS21,ステップS22の処理を各々の色毎に行い、合成位置(x座標,y座標,角度)の平均をとって、その位置で合成するといった方法を採用できる。
【0026】
即ち、撮影画像の合成時には、例えば同じ色のレーザ光画像(点状画像)が隣り合う2枚の撮影画像の両方に写り込んでいたら、そのレーザ光画像を特徴点とみなして合成を行う。
このレーザ光画像は、撮影対象10としてのコンクリート面とは明らかに違う色の特徴点となるので、例えば、以下の
図8,
図9に示すように、当該レーザ光画像を自動的に抽出して結合させる画像合成処理を容易に行うことができるようになる。
【0027】
実施形態に係る特徴点付加方法及び特徴点付加装置1の主旨は、移動体2に揺動式(首振り式)のレーザポインタ5を設置して、移動体2の移動に応じてモータ64,65を制御してレーザポインタ5の照射姿勢を制御することによって、カメラ3で撮影対象10を撮影毎に撮影対象の同一位置にレーザポインタ5のレーザ光を照射するように制御することにある。
このようにすることで、前後に撮影された各撮影画像における撮影対象10の同一位置にレーザ光の画像が特徴点として付加されるので、前後に撮影された各撮影画像を合成する際には、前後の撮影画像に写ったレーザ光の画像を特徴点として一致させることにより、前後の撮影画像を合成できるようになる。
即ち、撮影時に、特徴点の乏しい撮影対象10に光を照射して特徴点を付加することで、撮影対象10が特徴点となり得る模様や形等の少ない撮影対象である場合でも、撮影対象の撮影時に撮影画像合成のための特徴点を付加できるようになったので、特徴点の乏しい撮影対象10を撮影して撮影画像を合成することが可能となる。
つまり、撮影対象10が特徴点となり得る模様や形等の少ない撮影対象である場合でも、撮影対象10の撮影時に付加した特徴点を利用した撮影画像の合成処理を行えるようになる。
例えば、特徴点となり得る模様や形等の少ないコンクリート床面の検査において、コンクリート床面の撮影時に付加した特徴点を利用した撮影画像の合成処理を行えるようになり、コンクリート床面の床面検査を簡単かつ容易に行えるようなる。
【0028】
さらに、レーザポインタ5で照射していた撮影対象10の同一位置が撮影範囲から逸脱した場合には、レーザポインタ5の照射姿勢を初期姿勢にリセットすることにより、特徴点を付加し続けることができる。
【0029】
また、特徴点として、レーザ光画像(点状画像)が付加されるので、特徴的な模様や形等を特徴点として抽出する場合に比べて、特徴点の抽出が容易となり、画像合成処理の容易化が図れる。
【0030】
次に、レーザポインタ5の駆動制御の一例を、
図4のフローチャートに基づいて説明する。
まず、レーザポインタ5を駆動させるためのサーボモータ64,65の角度θ
0,θ
1(
図5(a),
図5(b)参照)をそれぞれ初期位置(-90°,0°)に合わせる(ステップS1)。
次に、移動前のθ
0,θ
1から後述する式(1),(2),(3),(4)を使ってx,y,L(5(c)参照)を求める(ステップS2)。
そして、移動体2を移動させる。このとき移動体2の車輪22に付いた図外のエンコーダのカウント値の変化量を測定しておく(ステップS3)。
エンコーダのカウント値の変化量から後述する式(12),(13)を使ってθ
a,θ
b,S(
図6参照)を計算する(ステップS4)。
θ
a,θ
b,Sとx,y,Lとから後述する式(18)を使って
BsP
Mを計算する(ステップS5)。
そして、
BsP
Mの座標値が撮影範囲外を示したか否かを判定する(ステップS6)。
ステップS6での判断で、
BsP
Mの座標値が撮影範囲外ではなかった場合(ステップS6でNo)、
BsP
Mから式(5),(6)を使って移動後のθ
0,θ
1を計算し(ステップS7)、レーザポインタ5を駆動させるためのサーボモータ64,65の角度をθ
0,θ
1に合わせる(ステップS8)。その後、ステップS3に戻る。
ステップS6での判断で、
BsP
Mの座標値が撮影範囲外であった場合(ステップS6でYes)、レーザポインタ5を駆動させるためのサーボモータ64,65の角度θ
0,θ
1をそれぞれリセット位置(-60°,0°)に合わせる(ステップS9)。その後、ステップS2に戻る。
即ち、ステップS6では、レーザポインタ5で照射する照射位置Mが、カメラ3の撮影範囲Aから外れた場合は、レーザポインタ5の照射姿勢を初期姿勢にリセットし、レーザポインタ5で照射する照射位置Mが、カメラ3の撮影範囲A内に位置している場合には、移動体2の移動に追随して、撮影対象10の同一位置にレーザポインタ5のレーザ光を照射するようにレーザポインタ5の照射姿勢を制御する。
【0031】
ステップS1,S2について説明する。
図5(a)は、移動体側固定部材60に張り付いた座標系をX
0軸回り(中心線61C回り)にθ
0°回転した場合を説明した図である。
図5(b)は、第1の回転軸61に張り付いた座標系をX
1軸回り(中心線62C回り)にθ
1°回転した場合を説明した図である。
図5(c)は、レーザポインタ5に張り付いた座標系をY
3軸方向にLだけ並進した場合を説明した図である。
これら
図5(a),(b),(c)に示した操作を行列式で表すと以下の数1に示す式(1)のようになる。この式(1)を展開、変形することで後述するような各値を求める関数が導ける。
θ
0,θ
1が既知で、レーザポインタ5でポインティング(照射)されている場所が未知の場合、以下の数1に示す式(2),(3),(4)のθ
0,θ
1に値を代入して計算すれば移動体側固定部材60の座標系から見た照射位置Mの座標が求まる。だたし、レーザポインタ5が設置されている高さは一定で地面も常に平面と想定しているので、z座標は既知とする。
尚、レーザ光長さLも含めて、移動体側固定部材60の座標系から見た照射点の座標が既知で、θ
0,θ
1が未知の場合、以下の数1に示す式(5),(6)のx,y,zに値を代入して計算すれば、その角度θ
0,θ
1が求まる。
【数1】
【0032】
次に、ステップS3,S4について説明する。
移動体2がA地点からB地点へと進行方向の変化を伴って移動した場合、当該移動体2の移動経路は
図6のようにモデル化される。
尚、車輪22の角速度を一定と見なすことができるほど、エンコーダのカウント値の変化量を測定する間隔が十分短いとする。また、ドリフトのような車輪22が滑る現象は起こらないものとする。
【0033】
まず、C
lとC
rとθ
0との関係から、以下の数2に示す連立方程式(7),(8),(9)を作り、θ
0を求める。
また、左車輪の移動距離C
l、右車輪の移動距離C
rは、エンコーダのカウント値の変化量と車輪22の直径から、以下の数2に示す式(10),(11)に基づいて計算する。
尚、前提条件として、両車輪とも一定の角速度で回っていると見なせる、としているので、θ
aとθ
bは以下の数2に示す式(12)に示す通り、等しくなる。
さらに、
図6において、三角形ABOは二等辺三角形である。また、等しい辺の長さはR+r/2である。そして、線Sの中点と点Oを結ぶと2つの直角三角形ができる。このことより、以下の数2に示す式(13),(14)が成立するので、Sが求められる。
尚、もし、C
lとC
rの値が全く同じならば、例外的に、以下の数2に示す式(15),(16)のように計算する。
【数2】
【0034】
尚、数2に示した各式における変数の定義は次のとおりである。
・車輪が1回転したときのエンコーダカウント値の増加量Ec(既知)
・左車輪のエンコーダカウント値の増減量El(既知(エンコーダを利用した測定値))
・右車輪のエンコーダカウント値の増減量Er(既知(エンコーダを利用した測定値))
・車輪直径D(既知)
・左車輪の移動距離Cl(未知)
・右車輪の移動距離Cr(未知)
・移動体の直線の移動距離S(未知(ここの計算で最終的に求めたい値))
・移動体の進行方向の角度の変化量θ0(未知)
・移動モデル上の移動前の移動体の進行方向の角度の変化量θa(未知(ここの計算で最終的に求めたい値))
・移動モデル上の移動後の移動体の進行方向の角度の変化量θb(未知(ここの計算で最終的に求めたい値))
・旋回中心から左車輪までの距離R(未知)
・左車輪から右車輪までの距離r(既知)
【0035】
尚、上述した移動体2の自己位置推定方法は、センサとしてのエンコーダを用いた「デッドレコニング」による自己位置推定方法を例示したが、その他の自己位置推定方法を用いてもよい。例えば、「拡張カルマンフィルタ」による自己位置推定方法を用いてもよい。
【0036】
ステップS5での
BsP
Mの算出方法について説明する。
BsP
Mは、以下の数3に示す式(17)で表され、式(18)に簡素化される。この式(18)を用いて、
BsP
Mを求めることができる。
【数3】
【0037】
尚、移動体2がA地点からB地点へと進行方向の変化を伴って移動した場合、当該移動体2の移動経路とレーザポインタ5による照射位置Mとの関係は
図7のようにモデル化され、数3に示した式(17),(18)における変数の定義は、以下の通りとなる。
・ΔX;レーザ座標系B
sの原点から見た移動体座標系B
rの原点までのX軸方向の距離
・ΔY;レーザ座標系B
sの原点から見た移動体座標系B
rの原点までのY軸方向の距離
・-ΔX;移動体座標系A
rの原点から見たレーザ座標系A
sの原点までのX軸方向の距離
・-ΔY;移動体座標系A
rの原点から見たレーザ座標系A
sの原点までのY軸方向の距離
・θ
a;移動経路モデル上で、前進前に行った旋回角度
・θ
b;移動経路モデル上で、前進後に行った旋回角度
・θ
l;レーザ座標系A
sから見たレーザが照射されている角度
・L;レーザ座標系A
sから見たレーザが照射されている位置までの距離
・S;前進距離
・M;レーザ座標系A
sの原点から見たポイント位置
・
BsP
M;レーザ座標系B
sの原点から見たMの位置(ここの計算で最終的に求めたい値)
【0038】
以上のように、移動体2の移動に基づいてレーザポインタ5の照射制御が行われるとともにカメラ3で撮影された写真(撮影画像)の合成方法の一例について、
図8,
図9に基づいて説明する。
即ち、実施形態に係る特徴点付加装置1は、例えば
図8,
図9のフローチャートに示す画像合成処理を実現する画像合成処理プログラムと、当該画像合成処理プログラムによる情報処理を実現するコンピュータ等のハードウエア資源とにより構成された画像処理手段を備えている。
当該画像処理手段は、まず、nを1に設定し(ステップS11)、記録された写真の中からn番目の写真Pとn+1番目の写真Pを取り出す(ステップS12)。つまり、ここでは、例えば1番目に撮影された写真と2番目に撮影された写真とが取り出される。
n番目の写真Pとn+1番目の写真Pから赤い画像成分Rを取り出し、それを2値化する(ステップS13)。
n番目の写真Pとn+1番目の写真Pから緑画像成分Gを取り出し、それを2値化する(ステップS14)。
n番目の写真Pとn+1番目の写真Pから青い画像成分Bを取り出し、それを2値化する(ステップS15)。
その後、ステップS16に進んで、それぞれの色を2値化した画像のうち、n番目の画像に点が2つ写り込んでおり、かつn+1番目の画像に点が2つ写り込んでいる画像が存在するか否かを判定する。
ステップS16にて、該当する画像が無いと判定された場合(ステップS16でNo)、レーザポインタ5によって付加された特徴点に基づいて画像を合成できないので、例外処理(ステップS25)に移行する。
ステップS16にて、該当する画像があると判定された場合(ステップS16でYes)、その画像を選択する(ステップS17)。
図4の例では、赤い画像成分Rを取り出した画像が選択される。
次に、選択したn番目の2値化画像の点の図心を求める。そして、2つの図心のうち、左に寄ってるもの(左側の点の図心)にa、右に寄ってるもの(右側の点の図心)にbと附番する(ステップS18)
同様に、選択したn+1番目の2値化画像の点の図心を求め。そして、2つの図心のうち、左に寄ってるもの(左側の点の図心)にc、右に寄ってるもの(右側の点の図心)にdと附番する(ステップS19)。
選択したn番目の2値化画像とn+1番目の2値化画像のそれぞれの図心(a→b、c→d)を結ぶベクトルを定義する(ステップS20)。
そして、ベクトルa→bの傾きとn+1番目の2値化画像のベクトルc→dの傾きが同じになるようにn+1番目の2値化画像を傾ける(ステップS21)。
さらに、aとcを結ぶ線分、及び、bとdを結ぶ線分の長さの合計が最低値になるようにn+1番目の2値化画像の位置を移動させる(ステップS22)。
以上により、n番目の写真Pとn+1番目の写真Pとの合成が完了する。
その後、n←n+1に設定する(ステップS23)。そして、n番目の写真が存在するか否かを判定する(ステップS24)。ステップS24において、n番目の写真が存在していると判定された場合(ステップS24でYes)、ステップS12に戻って、ステップS12~ステップS24の処理を繰り返す。
ステップS24において、n番目の写真が存在しないと判定した場合(ステップS24でNo)、終了する。
以上により、前後に撮影された写真(撮影画像)を合成することができる。
【0039】
尚、上記では、レーザ光の色の異なる一対のレーザポインタ5,5のセットを3セット使用した特徴点付加装置1を例示したが、レーザ光の色の異なる一対のレーザポインタ5,5のセットを2セットだけ用いるようにしてもよい。
即ち、照射手段は、移動体に設けられた撮影対象と対向する基台の前側左右にそれぞれ設けられた一対の前側照射手段と、基台の後側左右にそれぞれ設けられた一対の後側照射手段とを備え、一対の前側照射手段の照射光の色と一対の後側照射手段の照射光の色とが異なる色となるように設定すればよい。
あるいは、左右一対のレーザポインタ5,5のセットを、4セット以上設けて、左右一対のレーザポインタ5,5のセット毎に、レーザ光の色を異ならせるようにしても良い。
即ち、本願発明においては、照射手段は、移動体の撮影対象と対向する側において、移動体の進行方向に対する左右に一対に設けられた一対照射手段が、移動体の進行方向の前後に沿って間隔を隔てて複数設けられて構成され、各一対照射手段の照射光の色はそれぞれ異なる色となるように設定すればよい。
【0040】
また、実施形態では、移動体に撮影手段及び照射手段を搭載して撮影手段を移動させて照射手段の照射姿勢を制御する例を示したが、本発明に係る特徴点付加方法及び特徴点付加装置は、撮影手段及び照射手段を固定して撮影対象側を移動させる場合であっても適用可能である。
【符号の説明】
【0041】
1 特徴点付加装置、2 移動体、3 カメラ(撮影手段)、4 特徴点付加手段、
4B 照射制御手段、5 レーザポインタ(照射手段)、6 取付手段、
10 撮影対象、20 移動体の基台、50A レーザポインタ(前側照射手段)、
50B レーザポインタ(中央側照射手段)、
50C レーザポインタ(後側照射手段)、60 移動体側固定部材、
61 第1の回転軸、62 第2の回転軸、63 直交軸、
64 モータ(第1の回転軸の回転駆動源)、
65 モータ(第2の回転軸の回転駆動源)、66 照射手段固定部材、
F 移動体の進行方向。