IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社SYMMETRYの特許一覧

<>
  • 特許-検査装置、及び、検査方法 図1
  • 特許-検査装置、及び、検査方法 図2
  • 特許-検査装置、及び、検査方法 図3
  • 特許-検査装置、及び、検査方法 図4
  • 特許-検査装置、及び、検査方法 図5
  • 特許-検査装置、及び、検査方法 図6
  • 特許-検査装置、及び、検査方法 図7
  • 特許-検査装置、及び、検査方法 図8
  • 特許-検査装置、及び、検査方法 図9
  • 特許-検査装置、及び、検査方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-01-27
(45)【発行日】2025-02-04
(54)【発明の名称】検査装置、及び、検査方法
(51)【国際特許分類】
   G01N 21/88 20060101AFI20250128BHJP
【FI】
G01N21/88 J
【請求項の数】 7
(21)【出願番号】P 2024161412
(22)【出願日】2024-09-18
【審査請求日】2024-09-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】723009858
【氏名又は名称】株式会社SYMMETRY
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】沼倉 正吾
(72)【発明者】
【氏名】ケラネン トンミ
【審査官】小野寺 麻美子
(56)【参考文献】
【文献】特開2021-018710(JP,A)
【文献】特開2010-183150(JP,A)
【文献】国際公開第2020/225843(WO,A1)
【文献】特開2006-226807(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 - G01N 21/958
G01B 11/00 - G01B 11/30
G01C 1/00 - G01C 25/00
G06Q 10/00 - G06Q 10/30
G06Q 50/00 - G06Q 50/60
E01D 22/00
H04N 5/00 - H04N 5/956
(57)【特許請求の範囲】
【請求項1】
構造物の状態を検査する検査装置であって、
前記構造物に対する検査領域を撮影可能な撮影部と、
現状の位置を測定する位置測定部と、
現状の姿勢を測定する姿勢測定部と、
測定した現状の位置及び姿勢を示す現状情報と、前記検査領域を過去に撮影したときの位置及び姿勢を示す誘導情報とを生成する制御部と、
前記構造物に重畳して、前記現状情報と前記誘導情報とを表示する表示部と、を備え、
前記制御部は、前記現状情報と前記誘導情報との位置が所定以上離れている場合、いずれの方向に移動すればよいかを示す移動先情報を前記表示部に表示する、
検査装置。
【請求項2】
前記制御部は、前記現状情報と前記誘導情報の位置及び姿勢が合っている場合、前記撮影部により前記検査領域の撮影を行う、
請求項1に記載の検査装置。
【請求項3】
前記制御部は、
前記構造物に対する複数の検査領域を前記表示部に表示し、
ユーザに1つの前記検査領域を選択させ、
選択された前記検査領域に対応する前記誘導情報を生成する、
請求項1に記載の検査装置。
【請求項4】
前記表示部に表示される前記複数の検査領域は、前記構造物において検査を要する部分を含む検査領域である、
請求項3に記載の検査装置。
【請求項5】
前記構造物に対する検査領域を過去に撮影したときの位置及び姿勢に関する情報と、前記構造物において検査を要する部分を含む検査領域に関する情報とを、所定のサーバ装置から受信する通信部、をさらに備える、
請求項4に記載の検査装置。
【請求項6】
前記表示部は、透過型ディスプレイを含んで構成され、
前記表示部は、前記透過型ディスプレイ越しの前記構造物に重畳して、前記現状情報と誘導情報とを表示する、
請求項1からのいずれか1項に記載の検査装置。
【請求項7】
構造物の状態を検査する検査方法であって、
現状の位置を測定し、
現状の姿勢を測定し、
測定した現状の位置及び姿勢を示す現状情報と、前記構造物に対する検査領域を過去に撮影したときの位置及び姿勢を示す誘導情報とを生成し、
前記構造物に重畳して、前記現状情報と前記誘導情報とを表示部に表示
前記現状情報と前記誘導情報との位置が所定以上離れている場合、いずれの方向に移動すればよいかを示す移動先情報を前記表示部に表示する、
検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検査装置、及び、検査方法に関する。
【背景技術】
【0002】
特許文献1には、3次元点群データと、当該3次元点群データにより画素の位置が補正された道路画像との少なくとも一方と、3次元道路施設データとを重畳し、道路画像上に重畳された3次元道路施設データが表示画面内に表示できるように、表示画面上における路面の高さを補正し、高さ補正後の道路画像と3次元道路施設データとを表示することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-169824号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
橋梁、ダム、トンネル、道路又は建物等の構造物の点検では、構造物を撮影し、その撮影画像と、過去の撮影画像とを比較して、構造物の状態の変化(例えば経年劣化、ひび割れの発生等)を検出する。しかしながら、過去の撮影画像と同じような構図で構造物を撮影することは難しい。
【0005】
本開示は、過去の撮影画像と同じような構図で構造物を簡単に撮影することができる技術の提供を目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様は、構造物の状態を検査する検査装置であって、前記構造物に対する検査領域を撮影可能な撮影部と、現状の位置を測定する位置測定部と、現状の姿勢を測定する姿勢測定部と、測定した現状の位置及び姿勢を示す現状情報と、前記検査領域を過去に撮影したときの位置及び姿勢を示す誘導情報とを生成する制御部と、前記構造物に重畳して、前記現状情報と前記誘導情報とを表示する表示部と、を備える、検査装置を提供する。
【0007】
本開示の一態様は、構造物の状態を検査する検査方法であって、現状の位置を測定し、
現状の姿勢を測定し、測定した現状の位置及び姿勢を示す現状情報と、前記構造物に対する検査領域を過去に撮影ときの位置及び姿勢を示す誘導情報とを生成し、前記構造物に重畳して、前記現状情報と前記誘導情報とを表示する、検査方法を提供する。
【0008】
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0009】
本開示によれば、過去の撮影画像と同じような構図で構造物を簡単に撮影することができる。
【図面の簡単な説明】
【0010】
図1】実施の形態1に係る検査システムの構成例を示すブロック図である。
図2】実施の形態1に係る構造物の検査方法を説明するための図である。
図3】実施の形態1に係る検査情報テーブルの構成例を示す図である。
図4】実施の形態1に係る基準距離の設定方法を説明するための図である。
図5】実施の形態1に係る検査装置の動作の一例を示すフローチャートである。
図6】実施の形態2に係る検査情報テーブルの構成例を示す図である。
図7】実施の形態2に係る要検査領域の情報の表示例を示す図である。
図8】実施の形態2に係る要検査領域の撮影処理の一例を示すフローチャートである。
図9】実施の形態2に係る検査装置の画面例を示す図である。
図10】実施の形態2に係る現状情報を誘導情報に合わせる画面の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。また、本実施の形態で示される1つの構成が有する機能が2つ以上の物理的構成により実現されても、又は2つ以上の構成の機能が例えば1つの物理的構成によって実現されていても構わない。
【0012】
(実施の形態1)
<システム構成>
図1は、実施の形態1に係る検査システム10の構成例を示すブロック図である。
【0013】
検査システム10は、検査装置100と、サーバ装置200とを備える。検査装置100とサーバ装置200は、通信ネットワーク50を通じて、互いに情報を送受信できる。通信ネットワーク50の例として、無線LAN(Local Area Network)、移動体通信網、インターネット等が挙げられる。
【0014】
検査装置100は、構造物2の経年劣化を検査するために、構造物2を撮影する装置である。構造物2は、例えば橋梁、ダム、トンネル、道路、ビル等のコンクリート構造物であってよい。また、経年劣化は、例えばコンクリート構造物のひび割れであってよい。本実施の形態では、検出対象とするひび割れの最小幅を、一般的な検出基準とされる0.2mmとする。ただし、0.2mmは一例であり、本実施の形態が検出対象とするひび割れの最小幅は、0.2mmより小さくてもよいし、0.2mmよりも大きくてもよい。
【0015】
検査装置100は、プロセッサ101と、メモリ102と、ストレージ103と、通信部104と、入力部105と、表示部106と、音発生部107と、撮影部108と、測距部109と、位置センサ110と、姿勢センサ111とを備える。検査装置100は、ユーザ(例えば検査者)が所持又は装着可能な装置であってよく、例えばタブレット端末、スマートフォン、AR(Augmented Reality)グラス、MR(Mixed Reality)グラス、VR(Virtual Reality)グラス等であってよい。
【0016】
プロセッサ101は、メモリ102又はストレージ103からプログラム及びデータを読み出して処理することにより、本実施の形態に係る検査装置100が有する機能を実現する。機能の詳細については後述する。プロセッサ101は、CPU(Central Processing Unit)、制御部又はコントローラ等と読み替えられてもよい。また、プロセッサ101は、GPU(Graphics Processing Unit)及び/又はNPU(Neural network Processing Unit)を含んでもよい。
【0017】
メモリ102は、揮発性記憶媒体及び/又は不揮発性記憶媒体によって構成され、プログラム及びデータを記憶する。メモリ102は、RAM(Random Access Memory)と読み替えられてもよい。
【0018】
ストレージ103は、不揮発性記憶媒体(例えばSSD(Solid State Drive)、フラッシュメモリ等)によって構成され、プログラム及びデータを記憶する。なお、メモリ102及び/又はストレージ103は、記憶部と読み替えられてもよい。
【0019】
通信部104は、通信ネットワーク50を通じて、サーバ装置200とデータを送受信する。
【0020】
入力部105は、ユーザが指示を入力するための装置であり、例えばキーボード、タッチパッド、タッチパネル、ボタン、マイク、ジェスチャ検出等である。
【0021】
表示部106は、映像、画像又は情報等を表示するための装置であり、例えば液晶ディスプレイ、有機ELディスプレイ、透過型ディスプレイ等である。検査装置100が、ユーザが装着可能なARグラスである場合、表示部106は透過型ディスプレイであってよい。検査装置100が、スマートフォン又はタブレット端末等である場合、表示部106は液晶ディスプレイ又は有機ELディスプレイであってよい。
【0022】
音発生部107は、音を発生させる装置であり、例えばスピーカである。
【0023】
撮影部108は、映像又は画像を撮影する装置である。撮影部108はカメラと読み替えられてもよい。撮影部108は、イメージセンサ121と少なくとも1つのレンズ122とを含む。イメージセンサ121の例として、CMOS(Complementary Metal Oxide Semiconductor)センサ又はCCD(Charge Coupled Device)センサが挙げられる。
【0024】
測距部109は、例えばToF(Time of Flight)方式で、構造物2の表面の深度データを測定する装置である。深度データは、3D点群データと読み替えられてもよい。測距部109の例として、LiDAR(Light Detection and Ranging)が挙げられる。深度データは、測距部109から構造物2の表面までの距離に相当する。
【0025】
位置センサ110は、検査装置100の3次元位置(x,y,z)を測定するためのセンサである。例えば、位置センサ110は、GNSS(Global Navigation Satellite System)によって検査装置100の緯度(x)及び経度(y)を測定し、高度センサによって検査装置100の高度(z)を測定してよい。
【0026】
姿勢センサ111は、検査装置100の姿勢(θ、φ、ψ)を測定するためセンサである。姿勢センサ111は、例えば6軸ジャイロによって、検査装置100のロール角(θ)、ピッチ角(θ)、ヨー角(ψ)を測定してよい。
【0027】
サーバ装置200は、プロセッサ201と、メモリ202と、ストレージ203と、通信部204と、入力部205と、表示部206とを備える。
【0028】
プロセッサ201は、メモリ202又はストレージ203からプログラム及びデータを読み出して処理することにより、本実施の形態に係るサーバ装置200が有する機能を実現する。機能の詳細については後述する。プロセッサ201は、CPU、制御装置又はコントローラ等と読み替えられてもよい。また、プロセッサ201は、GPU及び/又はNPUを含んでもよい。
【0029】
メモリ202は、揮発性記憶媒体及び/又は不揮発性記憶媒体によって構成され、プログラム及びデータを記憶する。メモリ202は、RAMと読み替えられてもよい。
【0030】
ストレージ203は、不揮発性記憶媒体(例えばHDD(Hard Disk Drive)、SSD、フラッシュメモリ等)によって構成され、プログラム及びデータを記憶する。
【0031】
通信部204は、通信ネットワーク50を通じて、検査装置100とデータを送受信する。
【0032】
入力部205は、ユーザが指示を入力するための装置であり、例えばキーボード、マウス、タッチパッド、タッチパネル、ボタン、マイク検出等である。
【0033】
表示部206は、画像又は情報等を表示するための装置であり、例えば液晶ディスプレイ、有機ELディスプレイ等である。
【0034】
<検査方法>
図2は、実施の形態1に係る構造物2の検査方法を説明するための図である。
【0035】
ユーザは、検査装置100を用いて、構造物2の様々な部分を撮影する。検査装置100は、撮影によって生成した撮影画像を含む検査情報310(図3参照)を、サーバ装置200に送信する。サーバ装置200は、検査装置100から受信した撮影画像を含む検査情報を、検査情報テーブル300(図3参照)に蓄積する。
【0036】
サーバ装置200は、検査情報テーブル300に蓄積された撮影画像を分析することにより、構造物2のひび割れ及び経年劣化等を検出する。
【0037】
本実施の形態では、検査装置100によって撮影された領域を検査領域400と称する。つまり、検査領域400と撮影画像とは対応関係にある。
【0038】
<検査情報テーブル>
図3は、実施の形態1に係る検査情報テーブル300の構成例を示す図である。
【0039】
検査情報テーブル300は、検査領域ID311と、検査日時312と、撮影位置313と、撮影姿勢314と、撮影画像315と、深度データ316とが対応付けられた検査情報310を格納するテーブルである。
【0040】
検査領域ID311は、構造物2に対して設定された検査領域400を一意に識別するためのIDである。
【0041】
検査日時312は、検査領域ID311の検査領域400が撮影された日時である。
【0042】
撮影位置313は、検査領域ID311の検査領域400が撮影されたときの検査装置100の3次元位置(x,y,z)を示す。
【0043】
撮影姿勢314は、検査領域ID311の検査領域400が撮影されたときの検査装置100の姿勢(θ、φ、ψ)を示す。
【0044】
撮影画像315は、検査領域ID311の検査領域400が撮影された画像である。撮影画像315は、同じ行の撮影位置313及び撮影姿勢314で撮影されたものである。
【0045】
深度データ316は、測距部109が、構造物2における、検査領域ID311の検査領域400に対して取得した深度データである。深度データ316は、同じ行の撮影位置313及び撮影姿勢314で測定されたものである。
【0046】
<基準距離の設定>
図4は、実施の形態1に係る基準距離Mの設定方法を説明するための図である。
【0047】
上述したように、コンクリートの構造物2の検査において、例えば、最小0.2mm幅のひび割れの検出が求められる。しかし、例えば、撮影部108から構造物2までの距離が遠すぎる場合、最小0.2mm幅のひび割れが、撮影部108のイメージセンサ121の1画素よりも小さくなり、最小0.2mm幅のひび割れが撮影画像315に撮影されない、又は撮影されにくくなる。
【0048】
そこで、本実施の形態では、撮影部108が構造物2に存在する0.2mm幅のひび割れを撮影可能な距離である基準距離Mを設定する。別言すると、基準距離Mは、撮影部108が、0.2mm幅のひび割れを少なくとも1画素、2画素又は4画素で撮影可能な距離である。なお、この画素数は一例であり、より多数の画素数であってもよい。
【0049】
基準距離Mは、撮影部108に含まれるイメージセンサ121の画素数と、イメージセンサ121のサイズと、撮影部108におけるレンズ122からイメージセンサ121までの焦点距離Lとに基づいて決定されてよい。
【0050】
基準距離Mは、例えば以下の式1により算出されてよい。なお、以下ではY方向を基準に説明するが、X方向を基準としてもよい。
【0051】
基準距離M(m)=(最小検出サイズ(mm)×イメージセンサのY画素数×焦点距離L)/(最小検出画素数×イメージセンサのYサイズ) …(式1)
【0052】
ここで、最小検出サイズは、検出が求められるひび割れの最小幅であり、ここでは0.2mmとする。最小検出画素数は、最小検出サイズを検出するために必要な最小の画素数であり、ここでは2画素とする。
【0053】
また、撮影部108のイメージセンサ121の仕様が以下であるとする。
・サイズ:36.0mm(X)×24.0mm(Y)
・画素数:6000画素(X)×4000画素(Y)
【0054】
この場合、仮に焦点距離Lを100mmとすると、基準距離Mは、式1により、次のように計算される。
基準距離M(m)=(0.2mm×4000×100mm)/(2×24mm)≒1.6m
【0055】
このように算出された基準距離Mは、検査装置100のストレージ103に予め保持されてよい。
【0056】
あるいは、焦点距離Lを変数とし、他の値の計算結果を係数として、検査装置100のストレージ103に保持されてもよい。
【0057】
例えば、上述の式の場合、(0.2mm×4000)/(2×24mm)=0.016が係数としてストレージ103に保持されてもよい。そして、ユーザが現地で検査装置100の焦点距離Lを設定した場合(例えばレンズ位置を調整してピントを合わせた場合)、検査装置100は、その設定した焦点距離Lに係数0.016を掛けた値を、基準距離Mとして出力してもよい。
【0058】
<検査情報の生成>
図5は、実施の形態1に係る検査装置100の動作の一例を示すフローチャートである。次に、図5を参照して、ユーザが構造物2を撮影する際の検査装置100の動作について説明する。
【0059】
ユーザは、検査装置100の撮影部108及び測距部109を、構造物2に向ける(S101)。
【0060】
検査装置100の測距部109は、構造物2に対する深度を測定し、深度データを取得する(S102)。
【0061】
検査装置100のプロセッサ101は、ステップS102で取得した深度データに基づいて、構造物2の検査領域400の距離(以下、検査領域距離Dと称する)を特定する(S103)。ここで、検査領域400は、撮影部108における撮影領域(画角)に対応する領域であってよい。また、検査領域距離Dは、検査領域400の深度データの中心付近における距離であってよい。
【0062】
プロセッサ101は、ステップS103で特定した検査領域距離Dが、基準距離Mよりも大きいか否かを判定する(S104)。つまり、検査装置100の位置が、検査領域400における0.2mm幅のひび割れを撮影するには遠すぎるか否かを判定する。なお、検査装置100の焦点距離Lが可変の場合、当該基準距離Mは、上述した係数を用いて算出されたものであってよい。
【0063】
検査領域距離Dが基準距離Mよりも大きい場合(S104:YES)、プロセッサ101は、音発生部107から第1の通知音を出力すると共に、表示部106に第1の通知情報を出力する(S105)。第1の通知音は、現在の検査領域距離Dが基準距離Mよりも大きいことを通知する音である。第1の通知情報は、現在の検査領域距離Dが基準距離Mよりも大きいことを通知する画像又は情報である。なお、プロセッサ101は、第1の通知音及び第1の通知情報のいずれか一方を出力してもよい。これにより、ユーザは、第1の通知音及び/又は第1の通知情報から、検査装置100の現在の位置が、検査領域400の0.2mm幅のひび割れを撮影するには遠すぎることを容易に認識できる。
【0064】
この場合、ユーザは、検査装置100を構造物2に近づける(S106)。あるいは、検査装置100の焦点距離Lが可変の場合、ユーザは、検査装置100の焦点距離Lを大きくしてもよい。そして、処理は、ステップS102に戻る。
【0065】
検査領域距離Dが基準距離Mよりも大きくない場合(S104:NO)、プロセッサ101は、基準距離Mから現在の検査領域距離Dを引いた値(つまり基準距離Mと検査領域距離Dとの差分値)が所定の閾値以上であるか否かを判定する(S107)。つまり、検査装置100の位置が基準距離Mから遠すぎ、かつ、構造物2に近すぎるか否かを判定する。検査装置100の位置が構造物2に近すぎる場合、構造物2に対する検査領域400(撮影領域)のサイズが小さくなりすぎ、構造物2の全体をカバーするために多数の検査領域400が必要となってしまう。そのため、撮影位置は、基準距離Mからあまり離れない方が好ましい。
【0066】
基準距離Mから現在の検査領域距離Dを引いた値が所定の閾値以上である場合(S107:YES)、プロセッサ101は、音発生部107から第2の通知音を出力すると共に、表示部106に第2の通知情報を出力する(S108)。第2の通知音は、基準距離Mから現在の検査領域距離Dを引いた値が所定の閾値以上であることを通知する音であり、第1の通知音とは異なる音である。第2の通知情報は、基準距離Mから現在の検査領域距離Dを引いた値が所定の閾値以上であることを示す情報であり、第2の通知情報とは異なる情報である。これにより、ユーザは、第2の通知音及び/又は第2の通知情報から、検査装置100の現在の位置が構造物2に近すぎることを容易に認識できる。
【0067】
この場合、ユーザは、検査装置100を構造物2から遠ざける(S109)。あるいは、検査装置100の焦点距離Lが可変の場合、ユーザは、検査装置100の焦点距離Lを小さくしてもよい。そして、処理は、ステップS102に戻る。
【0068】
基準距離Mから現在の検査領域距離Dを引いた値が所定の閾値未満である場合(S107:NO)、撮影部108は、検査領域400(撮影領域)を撮影し、撮影画像315を生成する(S110)。プロセッサ101は、当該ステップS107の判定がNOとなったタイミングで、自動的に検査領域400を撮影してもよい。あるいは、ユーザが、このタイミングで、手動で検査領域400を撮影してもよい。
【0069】
このとき、プロセッサ101は、位置センサ110及び姿勢センサ111から、検査領域400の撮像時における検査装置100の撮影位置及び撮影姿勢の情報を取得する(S111)。
【0070】
プロセッサ101は、この撮影日時と、ステップS110で撮影した検査領域400の検査領域IDと、ステップS111で取得した撮影位置及び撮影姿勢と、ステップS110で撮影した撮影画像と、ステップS102で取得した撮影時の深度データとを対応付けた検査情報310を生成する(S112)。
【0071】
プロセッサ101は、ステップS112で生成した検査情報310をサーバ装置200に送信する(S113)。サーバ装置200は、当該送信された検査情報310を受信し、検査情報テーブル300に格納する。そして、本処理は終了する。
【0072】
検査装置100は、他の検査領域400についても、上述した処理を行って検査情報310を生成し、サーバ装置200に送信してよい。
【0073】
これにより、サーバ装置200の検査情報テーブル300には、構造物2の最小0.2mm幅のひび割れを検出可能な撮影画像315が格納される。よって、サーバ装置200は、検査情報テーブル300に格納された撮影画像315から、構造物2に発生した0.2mm幅以上のひび割れを、精度良く検出することができる。
【0074】
なお、検査装置100は、ステップS105では第1の通知音を出力し、第1の通知情報を出力せず、ステップS108では第2の通知音を出力せず、第2の通知情報を出力してもよい。これにより、ユーザは、通知音が発生した場合、検査装置100の位置が基準距離Mよりも遠すぎ、通知情報が表示された場合、検査装置100の位置が構造物に近すぎることを容易に認識できる。
【0075】
また、検査装置100は、ステップS105において、検査領域距離Dと基準距離Mとの差分に基づいて、第1の通知音を変更してもよい。例えば、検査装置100は、検査領域距離Dと基準距離Mとの差分が小さくなるに応じて、音の間隔が短くなり、検査領域距離Dと基準距離Mとの差分が大きくなるに応じて、音の間隔が長くなるように、第1の通知音を変更してもよい。これにより、ユーザは、第1の通知音の変化を聞いて、検査装置100の位置が、基準距離Mに近づいているか、それとも遠ざかっているかを認識できる。
【0076】
上述した本実施の形態に係る検査装置100を用いることで、カメラの仕様に精通しない人物であっても、構造物2に発生した幅の狭いひび割れ等の変状を適切に撮影することができる。
【0077】
(実施の形態1のまとめ)
以上の実施の形態1の記載により、下記の技術が開示される。
【0078】
<技術A1>
一態様に係る、構造物(2)の状態を検査する検査装置(100)は、前記構造物の少なくとも一部を撮影して撮影画像(315)を生成する撮影部(108)と、前記構造物の少なくとも一部を測距して深度データ(316)を生成する測距部(109)と、前記構造物における所定幅の変状(例えばひび割れ)を所定の画素数(例えば1画素、2画素又は4画素)以上で撮像できる、前記撮影部からの距離である基準距離(M)を記憶する記憶部(例えばメモリ102又はストレージ103)と、前記深度データに基づいて前記構造物の撮影対象までの測定距離(例えば検査領域距離D)を特定し、前記測定距離が前記基準距離よりも大きい場合、所定の第1の通知を行う制御部(例えばプロセッサ101)と、を備える。
このように、検査装置は、測定距離が基準距離よりも大きい場合、撮影画像に映る構造物の変状(例えばひび割れ)の幅が所定の画素数未満となってしまうため、所定の第1の通知を行う。これにより、ユーザは、第1の通知から、現在の測定距離が、構造物の変状の撮影に適切な基準距離まで遠いことを認識できる。
【0079】
<技術A2>
技術A1に記載の検査装置において、前記制御部は、前記測定距離が前記基準距離よりも小さく、かつ、前記測定距離と前記基準距離の差分が所定の閾値以上である場合、前記第1の通知と異なる第2の通知を行う。
このように、検査装置は、測定距離と基準距離の差分が所定の閾値以上である場合、つまり、検査装置の現在の測定距離が、基準距離よりも構造物に近すぎる場合、第2の通知を行う。これにより、ユーザは、第1の通知を受けた場合、現在の測定距離が基準距離まで遠く、第2の通知を受けた場合、現在の測定距離が基準距離よりも構造物に近すぎることを認識できる。よって、ユーザは、構造物の変状の撮影に適切な距離を容易に認識できる。
【0080】
<技術A3>
技術A2に記載の検査装置は、音を発生する音発生部(107)をさらに備え、前記制御部は、前記第1の通知として、前記音発生部から第1の音を発生させ、前記第2の通知として、前記音発生部から第2の音を発生させる。
これにより、ユーザは、互いに異なる第1の音及び第2の音の通知を聞いて、現在の測定距離が、基準距離まで遠いのか、基準距離よりも構造物に近すぎるのかを認識できる。
【0081】
<技術A4>
技術A2に記載の検査装置において、前記構造物の撮影対象を表示可能な表示部(106)をさらに備え、前記制御部は、前記第1の通知として、前記表示部に第1の情報を表示させ、前記第2の通知として、前記表示部に第2の情報を表示させる。
これにより、ユーザは、互いに異なる第1の情報及び第2の情報の通知を見て、現在の測定距離が、基準距離まで遠いのか、基準距離よりも構造物に近すぎるのかを認識できる。
【0082】
<技術A5>
技術A2に記載の検査装置は、音を発生する音発生部(107)と、前記構造物の撮影対象を表示可能な表示部(106)と、をさらに備え、前記制御部は、前記第1の通知として、前記音発生部から所定の音を発生させ、前記第2の通知として、前記表示部に所定の情報を表示させる。
これにより、ユーザは、音の通知を聞いた場合、現在の測定距離が基準距離まで遠いことを認識でき、情報表示の通知を見た場合、現在の測定距離が基準距離よりも構造物に近すぎることを認識できる。
【0083】
<技術A6>
技術A1からA5のいずれか1つに記載の検査装置において、前記撮影部は、レンズ(122)とイメージセンサ(121)とを含み、前記基準距離は、前記イメージセンサの画素数と、前記イメージセンサのサイズと、前記レンズから前記イメージセンサまでの焦点距離(L)とに基づいて設定される。
これにより、検査装置は、基準距離を決定することができる。
【0084】
<技術A7>
技術A6に記載の検査装置において、前記制御部は、前記焦点距離が変更された場合、変更された前記焦点距離に基づいて前記基準距離を再設定する。
これにより、検査装置は、焦点距離に応じた基準距離を決定することができる。
【0085】
<技術A8>
技術A1からA7のいずれか1つに記載の検査装置において、前記構造物は、コンクリート壁面であり、前記変状は、前記コンクリート壁面のひび割れである。
これにより、検査装置は、コンクリート壁面のひび割れを適切な距離で撮影することができる。
【0086】
<技術A9>
技術A8に記載の検査装置において、前記所定幅の変状は、0.2mm幅の前記ひび割れである。
これにより、検査装置は、一般的な検出基準とされる0.2mm幅のひび割れを適切な距離で撮影することができる。
【0087】
<技術A10>
一態様に係る、構造物(2)の状態を検査する検査方法は、前記構造物の少なくとも一部を撮影して撮影画像(315)を生成し、前記構造物の少なくとも一部を測距して深度データ(316)を生成し、前記構造物における所定幅の変状を所定の画素数以上で撮像できる、前記撮影部からの距離である基準距離(M)を取得し、前記深度データに基づいて前記構造物の撮影対象までの測定距離(例えば検査領域距離D)を特定し、前記測定距離が前記基準距離よりも大きい場合、所定の第1の通知を行う。
このように、検査方法は、測定距離が基準距離よりも大きい場合、撮影画像に映る構造物の変状(例えばひび割れ)の幅が所定の画素数未満となってしまうため、所定の第1の通知を行う。これにより、ユーザは、第1の通知から、現在の測定距離が、構造物の変状の撮影に適切な基準距離まで遠いことを認識できる。
【0088】
(実施の形態2)
実施の形態2では、実施の形態1で説明した方法で撮影した検査領域400を、同じように再撮影するための技術について説明する。
【0089】
なお、実施の形態2では、実施の形態1と共通する構成要素に同じ参照符号を付し、説明を省略する場合がある。また、実施の形態2における検査装置100及びサーバ装置200の構成は、実施の形態1と同様のため、説明を省略する。
【0090】
<検査領域の分析>
図6は、実施の形態2に係る検査情報テーブル300の構成例を示す図である。
【0091】
図6に示すように、検査情報テーブル300は、図3に示した項目に加えて、同じ行の検査領域に対する分析結果を示す分析情報317を有してよい。
【0092】
例えば、サーバ装置200(プロセッサ201)は、検査情報テーブル300に格納された撮影画像315から、ひび割れの位置、形状及び幅等を検出し、その検出結果を同じ行の分析情報317に登録する。例えば、サーバ装置200は、構造物2の形状及び周囲の環境等から、経年劣化しやすい、及び/又は、塩害が発生しやすい部分を含む検査領域ID311を特定し、その内容を同じ行の分析情報317に登録する。
【0093】
これにより、検査情報テーブル300には、各検査領域の検査日時毎の分析情報317が格納される。
【0094】
<要検査領域の決定>
サーバ装置200は、検査情報テーブル300に格納された検査情報310に基づいて、要検査領域410を決定する。サーバ装置200は、検査情報テーブル300に格納された検査情報310に基づいて、例えば、以下の(B1)から(B4)のいずれかの条件に適合する検査領域400を検出し、要検査領域410とする。
(B1)最後の検査日時312から所定期間以上経過している検査領域
(B2)分析情報317において、ひび割れの幅が所定以上の検査領域
(B3)分析情報317を時系列で比較した結果、ひび割れが拡大傾向にある検査領域
(B4)分析情報317において、経年劣化しやすい、及び/又は、塩害が発生しやすい部分が存在する検査領域
【0095】
なお、上記の条件は一例であり、他の条件が追加されてもよい。また、ユーザが、適用する条件を選択できてもよい。
【0096】
また、サーバ装置200は、要検査領域410に対して、検査の緊急度を設定してもよい。例えば、サーバ装置200は、上記(B1)の経過時間が長い要検査領域ほど、緊急度を高く設定してよい。例えば、サーバ装置200は、上記(B2)の検出されたひび割れの幅が大きいほど、緊急度を高く設定してよい。例えば、サーバ装置200は、上記(B3)のひび割れの拡大傾向が速いほど、緊急度を高く設定してよい。
【0097】
<要検査領域の情報表示>
図7は、実施の形態2に係る要検査領域の情報の表示例を示す図である。
【0098】
検査装置100は、要検査領域410を含む検査情報310をサーバ装置200から取得し、図7に示すように、要検査領域410における分析情報317(例えばひび割れの情報)を、ユーザの視界(又は撮影部108が撮影中の映像)に重畳して表示してよい。
【0099】
例えば、検査装置100は、検査日時312及び分析情報317を参照し、ユーザの視界に映っている構造物2の、ひび割れが検出された部分に、ひび割れの幅及び形状501と、検査日時(撮影日時)502とを重畳して表示する。
【0100】
例えば、検査装置100は、分析情報317を参照し、ユーザの視界に映っている構造物2の、経年劣化しやすいと判定された部分に、囲み枠503を重畳して表示する。
【0101】
例えば、検査装置100は、分析情報317を参照し、ユーザの視界に映っている構造物2の、塩害が発生しやすいと判定された部分に、囲み枠504を重畳して表示する。
【0102】
例えば、検査装置100は、分析情報317を時系列に比較し、ユーザの視界に映っている構造物2の、変形があった部分に、囲み枠505を重畳して表示する。
【0103】
これにより、ユーザは、検査装置100を通じて構造物2を見ることにより、構造物2のどの部分にどのような問題があるかを容易に把握することができる。
【0104】
<要検査領域の撮影処理>
図8は、実施の形態2に係る要検査領域410の撮影処理の一例を示すフローチャートである。図9は、実施の形態2に係る検査装置100の画面例を示す図である。次に、図8及び図9を参照して、ユーザが構造物2の要検査領域410を再撮影する際の検査装置100の動作について説明する。
【0105】
検査装置100のプロセッサ101は、図9に示すように、ユーザの視界に映っている構造物に対して、1又は複数の要検査領域410を重畳して表示部106に表示する(S201)。このとき、プロセッサ101は、図9に示すように、要検査領域410以外の検査領域400(例えば検査済みで今回は検査不要の領域)についても合わせて重畳して表示部106に表示してよい。プロセッサ101は、要検査領域410とそれ以外の検査領域400とを互いに異なる態様(例えば異なる色又は枠)で表示部106に表示する。これにより、ユーザは、視界に映っている構造物2において、要検査領域410でもそれ以外の検査領域400でもない部分が、未検査領域(つまり未撮影領域)であることを把握できる。なお、未検査領域については、実施の形態1で説明した方法で撮影を行うことにより、検査領域400とすることができる。
【0106】
また、プロセッサ101は、要検査領域410に緊急度が設定されている場合、緊急度の高さに応じて異なる態様(例えば異なる色又は枠、あるいは緊急度を示す数字又はマーク等)で要検査領域410を重畳表示してもよい。これにより、ユーザは、要検査領域410の緊急度を視認することができる。
【0107】
ユーザは、表示部106に表示された要検査領域410から、検査対象とする要検査領域410を選択する(S202)。以下、選択された要検査領域410を、選択要検査領域410Aと称する。
【0108】
プロセッサ101は、検査情報テーブル300から、選択要検査領域410Aに対応する撮影位置313及び撮影姿勢314を取得し、当該撮影位置313及び撮影姿勢314から誘導情報521(図10参照)を生成する(S203)。誘導情報521の詳細については後述する(図10参照)。
【0109】
プロセッサ101は、位置センサ110及び姿勢センサ111に基づいて、現在の位置及び姿勢を取得し、当該位置及び姿勢から現状情報522(図10参照)を生成する(S204)。現状情報522の詳細については後述する(図10参照)。
【0110】
プロセッサ101は、図10に示すように、ユーザの視界に対して、現状情報522と誘導情報521とを重畳表示する(S205)。
【0111】
ユーザは、図10に示すように、現状情報522が誘導情報521に合うように、検査装置100の位置及び姿勢を調整する(S206)。当該調整の詳細については後述する(図10参照)。
【0112】
プロセッサ101は、現状情報522が誘導情報521に合ったか否かを判定する(S207)。
【0113】
現状情報522が誘導情報521に合っていない場合(S207:NO)、プロセッサ101は、処理をステップS204に戻す。
【0114】
現状情報522が誘導情報521に合った場合(S207:YES)、撮影部108は、選択要検査領域410Aの撮影を行い、撮影画像を生成する(S208)。プロセッサ101は、当該ステップS207の判定がYESとなったタイミングで、プロセッサ101を制御して、自動的に撮影を行ってもよい。あるいは、ユーザが、このタイミングで、手動で撮影を行ってもよい。これにより、選択要検査領域410Aについて、前回とほぼ同じ位置及び姿勢で撮影を行うことができる。
【0115】
このとき、測距部109は、選択要検査領域410Aにおける構造物2の深度を測定し、深度データを生成する(S209)。
【0116】
プロセッサ101は、撮影日時と、選択要検査領域410Aの検査領域ID311と、ステップS206で調整した撮影位置313及び撮影姿勢314と、ステップS208で撮影した撮影画像315と、ステップS209で生成した深度データとを対応付けて検査情報310を生成する(S210)。
【0117】
プロセッサ101は、ステップS210で生成した検査情報310をサーバ装置200に送信する(S211)。サーバ装置200は、当該送信された検査情報310を受信し、検査情報テーブル300に格納する。そして、本処理は終了する。
【0118】
なお、検査装置100は、他の要検査領域410についても、上述した処理を行って検査情報310を生成し、サーバ装置200に送信してよい。
【0119】
これにより、ユーザは、検査装置100を用いて、要検査領域410に対して、前回の撮影画像315とほぼ同じ位置及び姿勢で、今回の撮影画像315を簡単に撮影することができる。よって、サーバ装置200は、要検査領域410の異なる検査日時312の撮影画像315を時系列に比較して、例えば同じ箇所のひび割れ又は経年劣化の変化を精度良く分析することができる。
【0120】
<現状情報を誘導情報に合わせる>
図10は、実施の形態2に係る現状情報522を誘導情報521に合わせる画面の一例を示す図である。
【0121】
検査装置100は、図10に示すように、ユーザの視界に、現状情報522と誘導情報521とを重畳表示する。
【0122】
例えば、現状情報522は、図10に示すような、立体形状と互いに直交する3つの矢印とを呈する。画面における当該立体形状の位置は、検査装置100の現在の位置(x,y,z)に対応する。また、当該立体形状から延びる3つの矢印の向きは、検査装置100の現在の姿勢(θ、ψ、φ)に対応する。
【0123】
例えば、誘導情報521は、図10に示すような、立体形状と互いに直交する3つの矢印とを呈する。画面における当該立体形状の位置は、選択要検査領域410Aの撮影時の検査装置100の位置(x,y,z)に対応する。また、当該立体形状から延びる3つの矢印の向きは、選択要検査領域410Aの撮影時の検査装置100の姿勢(θ、ψ、φ)に対応する。
【0124】
ユーザは、現状情報522を示す立体形状の位置及び矢印の向きが、誘導情報521を示す立体形状の位置及び矢印の向きと合うように、検査装置100の位置及び姿勢を調整する。
【0125】
これにより、ユーザは、検査装置100を用いて、選択要検査領域410Aの過去の撮影画像315とほぼ同じ位置及び姿勢にて、今回の撮影を行うことができる。
【0126】
また、検査装置100は、現状情報522と誘導情報521との位置が所定以上離れている場合、いずれの方向に移動すればよいかを示す移動先情報523(図10では太い矢印の形状)を重畳表示してもよい。これにより、ユーザは、いずれの方向に移動すれば現状情報522を誘導情報521に合わせることができるかを容易に認識できる。
【0127】
(実施の形態2のまとめ)
以上の実施の形態2の記載により、下記の技術が開示される。
【0128】
<技術B1>
一態様に係る、構造物(2)の状態を検査する検査装置(100)は、前記構造物に対する検査領域を撮影可能な撮影部(108)と、現状の位置を測定する位置測定部(例えば位置センサ110)と、現状の姿勢を測定する姿勢測定部(例えば姿勢センサ111)と、測定した現状の位置及び姿勢を示す現状情報(522)と、前記検査領域を過去に撮影ときの位置及び姿勢を示す誘導情報(521)とを生成する制御部(例えばプロセッサ101)と、前記構造物に重畳して、前記現状情報と前記誘導情報とを表示する表示部(106)と、を備える。
これにより、ユーザは、構造物に対して重畳して表示された現状情報と誘導情報とに基づいて、検査装置を、検査領域を過去に撮影したときの位置及び姿勢にすることができる。
【0129】
<技術B2>
技術B1に記載の検査装置において、前記制御部は、前記現状情報と前記誘導情報の位置及び姿勢が合っている場合、前記撮影部により前記検査領域の撮影を行う。
これにより、検査装置を、検査領域を過去に撮影したときの位置及び姿勢にし、当該検査領域の撮影画像を撮影することができる。よって、検査装置は、検査領域を過去と同じ構図で撮影した撮影画像を得ることができる。
【0130】
<技術B3>
技術B1からB2のいずれか1つに記載の検査装置において、前記制御部は、前記構造物に対する複数の検査領域を前記表示部に表示し、ユーザに1つの前記検査領域を選択させ、選択された前記検査領域に対応する前記誘導情報を生成する。
これにより、ユーザは、選択した検査領域を、過去に当該検査領域を撮影したときとほぼ同じ位置及び姿勢で撮影することができる。
【0131】
<技術B4>
技術B1からB3のいずれか1つに記載の検査装置において、前記表示部に表示される前記複数の検査領域は、前記構造物において検査を要する部分を含む検査領域である。
これにより、ユーザは、検査を要する検査領域を、過去に当該検査領域を撮影したときとほぼ同じ位置及び姿勢で撮影することができる。
【0132】
<技術B5>
技術B1からB4のいずれか1つに記載の検査装置において、前記構造物に対する検査領域を過去に撮影ときの位置及び姿勢に関する情報と、前記構造物において検査を要する部分を含む検査領域に関する情報とを、所定のサーバ装置から受信する通信部、をさらに備える。
これにより、検査装置は、構造物に対する検査領域を過去に撮影ときの位置及び姿勢に関する情報と、構造物において検査を要する部分を含む検査領域に関する情報とを、サーバ装置から受信して利用することができる。
【0133】
<技術B6>
技術B1からB5のいずれか1つに記載の検査装置において、前記制御部は、前記現状情報と前記誘導情報との位置が所定以上離れている場合、いずれの方向に移動すればよいかを示す移動先情報(523)を前記表示部に表示する。
これにより、ユーザは、検査装置をいずれの方向に移動させればよいかを容易に認識できる。
【0134】
<技術B7>
技術1から6のいずれか1項に記載の検査装置において、前記表示部は、透過型ディスプレイを含んで構成され、前記表示部は、前記透過型ディスプレイ越しの前記構造物に重畳して、前記現状情報と誘導情報とを表示する。
これにより、ユーザは、透過型ディスプレイ越しに見える構造物に重畳して、現状情報と誘導情報との位置及び姿勢を認識できる。
【0135】
<技術B8>
一態様に係る、構造物の状態を検査する検査方法は、現状の位置を測定し、現状の姿勢を測定し、測定した現状の位置及び姿勢を示す現状情報と、前記構造物に対する検査領域を過去に撮影ときの位置及び姿勢を示す誘導情報とを生成し、前記構造物に重畳して、前記現状情報と前記誘導情報とを表示する。
これにより、ユーザは、構造物に対して重畳して表示された現状情報と誘導情報とに基づいて、検査方法を実施する検査装置を、検査領域を過去に撮影したときの位置及び姿勢にすることができる。
【0136】
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0137】
本開示の技術は、構造物の検査に有用である。
【符号の説明】
【0138】
2 構造物
10 検査システム
50 通信ネットワーク
100 検査装置
101 プロセッサ
102 メモリ
103 ストレージ
104 通信部
105 入力部
106 表示部
107 音発生部
108 撮影部
109 測距部
110 位置センサ
111 姿勢センサ
121 イメージセンサ
122 レンズ
200 サーバ装置
201 プロセッサ
202 メモリ
203 ストレージ
204 通信部
205 入力部
206 表示部
300 検査情報テーブル
310 検査情報
311 検査領域ID
312 検査日時
313 撮影位置
314 撮影姿勢
315 撮影画像
316 深度データ
400 検査領域
410 要検査領域
410A 選択要検査領域
501 ひび割れの幅及び形状
502 検査日時
503,504,505 囲み枠
521 誘導情報
522 現状情報
523 移動先情報
【要約】
【課題】過去の撮影画像と同じような構図で構造物を簡単に撮影する。
【解決手段】構造物の状態を検査する検査装置は、構造物に対する検査領域を撮影可能な撮影部と、現状の位置を測定する位置測定部と、現状の姿勢を測定する姿勢測定部と、測定した現状の位置及び姿勢を示す現状情報と、検査領域を過去に撮影ときの位置及び姿勢を示す誘導情報とを生成する制御部と、構造物に重畳して、現状情報と誘導情報とを表示する表示部と、を備える。
【選択図】図10
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10