特開 2024-174540 情報処理装置および方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174540

(43)【公開日】2024-12-17

(54)【発明の名称】情報処理装置および方法、プログラム

(51)【国際特許分類】

   G01N 29/04 20060101AFI20241210BHJP

【ＦＩ】

G01N29/04

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023092412

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】庄田 良介

【テーマコード（参考）】

2G047

【Ｆターム（参考）】

2G047AA10

2G047BA04

2G047BC07

2G047CA03

2G047GA21

2G047GD02

2G047GH06

(57)【要約】

【課題】 打音検査を抜けもれを低減することを可能にするシステムを提供すること。
【解決手段】 第１のユーザによって指示された指示位置を取得する第１取得手段と、
前記第１のユーザとは異なる第２のユーザによって対象物を打撃した打音位置を取得する第２取得手段と、
前記指示位置と、前記打音位置とに基づいて、前記第２のユーザが前記指示位置を打撃したか判断する判断手段と、を有する
ことを特徴とする情報処理装置。
【選択図】 図５

【特許請求の範囲】

【請求項1】

第１のユーザによって指示された指示位置を取得する第１取得手段と、
前記第１のユーザとは異なる第２のユーザによって対象物を打撃した打音位置を取得する第２取得手段と、
前記指示位置と、前記打音位置とに基づいて、前記第２のユーザが前記指示位置を打撃したか判断する判断手段と、を有する
ことを特徴とする情報処理装置。

【請求項2】

前記判断手段によって前記第２のユーザが前記指示位置を打撃したと判断されなかった場合、前記第２のユーザに打撃のやり直しを通知する通知手段を有する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第１取得手段は、前記第１のユーザから前記指示位置の指示を受け付ける指示手段から前記指示位置を取得し、
前記指示手段は、前記対象物の変状の位置に基づいて、前記指示位置を受け付ける
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記第２のユーザによって前記対象物を打撃する画像を撮影する撮像手段と、
前記画像に基づいて、前記対象物の変状の形状を検出する検出手段と、
前記画像と、前記変状の形状とに基づいて、前記指示位置を表示する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記第２のユーザが前記指示位置を打撃した場合に、前記第２のユーザによって前記対象物を打撃した打音を記録する記録手段を有する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

第１のユーザによって指示された指示位置を取得する第１取得工程と、
前記第１のユーザとは異なる第２のユーザによって対象物を打撃した打音位置を取得する第２取得工程と、
前記指示位置と、前記打音位置とに基づいて、前記第２のユーザが前記指示位置を打撃したか判断する判断工程と、を有する
ことを特徴とする情報処理方法。

【請求項7】

請求項１～５のいずれか１項に記載の画像処理システムの各手段をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データを元に、指定された打音検査ポイントに対する打音検査を抜けもれなく行うことを補助する情報処理装置に関するものである。

【背景技術】

【0002】

トンネルや橋梁等の構造物の壁面の欠陥検査を行う技術として、トンネルや橋梁等の構造物の壁面の画像による変状検知による検査を行い、打診棒やハンマー等を使用し、打音検査を実施する。これによって、コンクリート内部にひび割れや浮きなどの異常部位が無いか調べる方法が一般的である。打音検査には、打音場所の選定や、検査結果の判断に高い技量を有する必要があることが知られている。

【0003】

特許文献１に記載の構造物点検システムがある。このシステムは、打音検査の検査時間短縮のため、構造物の壁面の画像による変状検知による検査結果に従って、飛行ロボットにより打診棒やハンマー等を使用し、打音検査を実施する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－０７９５２６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の特許文献に開示された従来技術では、トンネルや橋梁の周辺は必ずしもラジコンヘリコプター等の飛行ロボットの飛行に適した環境ではなく、むしろ飛行に不向きな環境の場合もある。また、飛行ロボットのプロペラやモーター音により打音検査に影響を与える懸念がある。

【0006】

一方、人の手で打音検査を行う場合は、必要な打音場所の選定に高い技量を有する必要がある。すべての現場に高い技量を有する一部の者を向かわせる工数が惜しい場合、高い技量を有する者が変状位置を元に、あらかじめ選択したポイントを、誰でも間違わずに打音検査できる仕組みが必要である。

【0007】

そこで、本発明の目的は、打音検査を抜けもれを低減することを可能にするシステムを提供することである。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明は、
第１のユーザによって指示された指示位置を取得する第１取得手段と、
前記第１のユーザとは異なる第２のユーザによって対象物を打撃した打音位置を取得する第２取得手段と、
前記指示位置と、前記打音位置とに基づいて、前記第２のユーザが前記指示位置を打撃したか判断する判断手段と、を有する
ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、打音検査の抜けもれを低減できる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態のシステムの構成図

【図2】画像による変状検知による検査を行うための撮影作業の概要を示すフローチャート

【図3】本発明の実施形態の打音検査システムを用いた打音場所の選定を行う作業者の作業の概要を示すフローチャート

【図4】本発明の実施形態の打音検査システムを用いた打音場所の選定を行う際に情報処理装置に表示されるＵＩの表示例

【図5】本発明の実施形態の打音検査システムを用いた打音検査を行う作業者の作業の概要を示すフローチャート

【図6】本発明の実施形態の打音範囲を示す図

【図7】本発明の実施形態の撮像範囲を示す図

【図8】本発明の実施形態の表示部を示す図

【図9】本発明の実施形態の撮像範囲を示す図

【図10】本発明の実施形態のライブビュー表示を示す図

【図11】本発明の実施形態の画像データ全体を示す図

【図12】本発明の実施形態の表示部の表示例を示す図

【図13】本発明の実施形態の打音検査システムを用いた打音検査を行う作業者が打音場所を追加する際の作業の概要を示すフローチャート

【図14】本発明の実施形態にかかわる打音検査システムでの検査結果の表示を表すイメージ図

【発明を実施するための形態】

【0011】

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮影システムの構成図である。

【0012】

１００は、打音検査システムを構成する情報処理装置である。１０１は情報処理装置のシステム制御を行うシステム制御部である。１０２は画像処理部であり、入力された画像データの画像解析よる変状検知、特徴点抽出、比較等の処理を行い、処理結果を出力する。１０３は画像処理装置１１０に備える内部メモリであり、画像処理部１０２の入出力データや一時的なデータの保持、および表示、通信処理の際に一時的にデータ保持するときにも使用する。１０４は表示部であり、ＴＦＴ液晶パネルや有機ＥＬパネルを備え、画像処理部１０２の出力データを表示する。また、タッチパネル構成によりユーザー入力部を兼ねている。１０５は通信部で、無線または有線で接続により情報処理装置１００の外部のシステムと接続し、データの送受信を行う。１０６はマイクで、音声として記録される情報処理装置１００の周囲の音声を集音するマイクロフォンである。１０７は記録媒体で、撮影されたトンネルや橋梁等の構造物の画像、および画像に対する相対的な位置として打音検査位置を記録するためのメモリカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。

【0013】

１１０は、打音検査システムを構成する撮像装置である。１１１は撮像装置１１０のシステム制御を行うシステム制御部であり、撮影に関わる制御、画像処理、通信等の制御を行う。１１２は撮像部で、撮像センサを露光・結像するための光学系、撮像センサ、ＡＤ変換、ゲイン制御、補正制御を行う。１１３は画像処理部で、撮像部１１２で撮像したデータに対し補正、現像、圧縮、符号化等の処理を行い画像データを生成する。またＡＦ、ＡＥ、ＷＢ、手振れ補正、ストロボ調光などの撮影画像高画質化のための制御および処理、画像解析、検出、認識などの処理を行う。１１４は撮像装置１１０に備える内部メモリおよび着脱可能な外部メモリである。内部メモリは、撮像部１１２の撮像データ取得や画像処理部１１３の画像処理の際に一時的にデータ保持するとき、および通信処理の際に一時的にデータ保持するときにも使用する。１１５は通信部で、無線または有線で接続により撮像装置１１０の外部のシステムと接続し、データの送受信を行う。

【0014】

情報処理装置１００の通信部１１５は、カメラ１００の通信部１０６と、無線または有線の通信方式で接続されている。撮像装置の撮像部１１２で撮像され、画像処理部１１３で生成されたライブビュー画像である。通信部１１５を介して無線接続された情報処理装置に画像を転送し、情報処理装置の通信部１０５で転送されたライブビュー画像を受信し、メモリ１０３に蓄積された画像を、表示部１０４で表示する。そうすることで、情報処理装置１００が電子ビューファインダとしても機能し、ライブビュー表示を行える。

【0015】

図２は、変状検知による検査を行うための構造物の画像の撮影作業の概要を示すフローチャートである。点検対象物の形状・規模把握、撮影計画等、撮影作業準備に関してはすでにされていることを前提としている。Ｓ２０１で、構造物の撮影対象領域の分割撮影を行う。橋脚やトンネルのような構造物に対し、一般的に利用可能な解像度のカメラで、高精度の傷等劣化検査を行える画質での撮影を１枚の撮影で実現することは難しい。そのため、多数の分割撮影を行い、全撮影対象領域の撮影を行う。Ｓ２０２で、分割画像の合成を行う。ひびや腐食等の変状の画像解析に合成画像を用いるか、分割画像を用いるかは画像解析シーケンスまたはアルゴリズムに依る。撮影対象領域の撮影が失敗や漏れなく行われたかの確認のため、また画像に記録されたひびや腐食等の変状が構造物のどの位置に存在するのかを管理・表示するために合成を行う。本発明の実施形態にかかわる打音検査システムではこの変状検知による検査を行うための構造物の合成画像がすでに用意されていることを前提としている。

【0016】

図３から図１２を参照して、本発明の実施形態による、打音検査システムについて説明する。

【0017】

図３は、本発明の実施形態にかかわる打音検査システムを用いた打音場所の選定を行う作業者の作業の概要を示すフローチャートである。作業者の作業と本発明に係る情報処理装置の処理について、それぞれ表記列を変えて表現している。付番Ｓ３０１～３０３は作業者の作業フロー、Ｓ３１０～３１２は情報処理装置１００の本発明に係る処理を表している。

【0018】

Ｓ３０１で、作業者は、情報処理装置１００に対して、変状検知による検査を行うための構造物の合成画像の表示指示を行う（Ｓ３１０）。

【0019】

Ｓ３１０で、システム制御部１０１は、記録媒体１０７から構造物の合成画像を読み出し、画像処理部１０２により構造物の合成画像から画像解析による変状検知を行い、表示部１０４に構造物の合成画像と変状検知結果の重畳表示を行う。

【0020】

Ｓ３０２で、作業者は、情報処理装置１００に対して、変状の位置を元に打音検査を実施させたい位置（打音検査ポイント）をタッチ操作で指定する（Ｓ３１１）。

【0021】

Ｓ３１１で、システム制御部１０１は、表示部１０４に指示を受け付けたことを行う表示を行うと共に、メモリ１０３に指示を受けた位置の、構造物の合成画像に対する相対的な位置を記憶する。

【0022】

Ｓ３０３で、作業者は、情報処理装置１００に対して、打音検査を実施したい位置の保存指示を行う（Ｓ３１２）。

【0023】

Ｓ３１２で、システム制御部１０１は、メモリ１０３に一時保存していた、指示を受けた位置の、構造物の合成画像に対する相対的な位置を、記録媒体１０７に記憶する。

【0024】

図４は、図３の説明を補うための情報処理装置１００に表示されるＵＩの表示例図である。図４の４０１および４０２は、構造物の合成画像と変状検知結果の重畳表示を行う。４０２が構造物の合成画像全体を表示するのに対して、４０１は作業者により変状および変状検知結果が確認しやすいように、ピンチイン／ピンチアウト、ドラッグ操作を受け付る。これにより構造物の合成画像と変状検知結果の重畳表示の拡大／縮小、拡大位置移動を行うことができる。４０３は、本検査指示の作成日や打音検査を行う場所、指定された打音検査ポイント数、打音検査ポイント数に一定の係数をかけることで導かれる打音検査の予定工数など、打音検査にかかる情報を表示する。４０４から４０６は、指定された打音検査ポイントを表示している。拡大可能な構造物の合成画像４０１をタッチ操作４０８によりタッチされると打音検査ポイントが指定される。メモリ１０３に指示を受けた位置の、構造物の合成画像に対する相対的な位置が記憶されると共に、４０４の打音検査ポイント表示が表示される。４０５から４０７は構造物の合成画像全体の中で、メモリに１０３に記憶された、打音検査ポイントの構造物の合成画像に対する相対的な位置に応じて、打音検査ポイント表示を表している。４０４の打音検査ポイントの４０２の構造物の合成画像全体の表示上の表示が４０５となる。変状を拡大して確認し打音検査ポイントを指定できること、指定した打音検査ポイントを一覧で確認できることの両方を実現するために、４０１の拡大可能な構造物の合成画像の表示と、４０２の構造物の合成画像全体の表示を分けている。タッチ操作４１０により、４０９の検査ポイント指定完了ボタンがタッチされると、メモリ１０３に一時保存していた、指示を受けた位置の、構造物の合成画像に対する相対的な位置を、記録媒体１０７に記憶する。

【0025】

図５は、本発明の実施形態にかかわる打音検査システムを用いた打音検査を行う作業者の作業の概要を示すフローチャートである。作業者の作業と本発明に係る情報処理装置の処理について、それぞれ表記列を変えて表現している。付番Ｓ５００１～５００８は作業者の作業フロー、Ｓ５１００～５１１５は情報処理装置１００の本発明に係る処理を、Ｓ５２０１～５２０２は情報処理装置１００の本発明に係る処理を表している。

【0026】

図６は、図５の説明を補うためのイメージ図である。図６（ａ）の６００は、インフラ構造物を表している。６０１の面が打音検査の実施対象としたい範囲とする。６０２は、インフラ構造物６００にみられるひびなどの変状であり、一様なコンクリートなどで構成される構造物表面で検知可能な特徴点でもある。図６（ｂ）はＳ２０１～２０２により作成した、変状検知による検査を行うための構造物の合成画像を表しており、６０３はＳ３１０～３１２により該当位置に打音検査ポイントが指定されていることを表している。

【0027】

Ｓ５００１で、作業者は、情報処理装置１００に対して、打音検査位置指定モードの開始指示を行う（Ｓ５１００）。

【0028】

Ｓ５１００で、システム制御部１０１は、記録媒体１０７から構造物の合成画像を読み出し、構造物の合成画像に対する相対的な位置である最初の打音検査ポイントを読み出す。

【0029】

Ｓ５１０１で、システム制御部１０１は、通信部１０５を通じて、撮像装置１１０に対して、ライブビュー画像の供給を指示する（Ｓ５２０１）。

【0030】

Ｓ５２０１で、システム制御部１１１は、通信部１１５を通じて、情報処理装置１００からのライブビュー供給指示を受け取り、撮像部１１２、画像処理部１１３を用いてライブビュー画像の生成を開始する。

【0031】

Ｓ５００２で、作業者は、撮像装置１１０に対して、打音検査位置を探すため、検査対象に撮像装置を向ける（Ｓ５２０２）。

【0032】

Ｓ５２０２で、システム制御部１１１は、逐次ライブビュー生成、および通信部１１５から画像データの送信を行う（Ｓ５１０２）。

【0033】

Ｓ５１０２で、システム制御部１０１は、通信部１０５を通じて、撮像装置１１０から、逐次画像データを受信する（Ｓ５１０３）。

【0034】

Ｓ５１０３で、システム制御部１０１は、構造物の合成画像と逐次画像データの変状の特徴点一致検索を行う（Ｓ５１０４）。

【0035】

Ｓ５１０４で、システム制御部１０１は、Ｓ５１０２で受信した逐次画像データの、打音検査指定位置に対する相対位置情報を算出する（Ｓ５１０５）。

【0036】

図７は、図５の説明を補うためのイメージ図である。図７（ａ）は、Ｓ５００２におけるインフラ構造物と撮像装置１１０の撮影範囲を示している。図７（ａ）の７０１は図６（ａ）の６０１と同一のインフラ構造物、７０２の点線枠は撮像装置１１０の撮影範囲を示している。図７（ｂ）はＳ５１０３の構造物の合成画像との特徴点一致検索のイメージ図である。７１１は構造物の合成画像、７１２はこのときの撮像装置１１０から転送された逐次画像データを表している。７１３は、メモリ１０３に保持している壁面の合成画像に含まれる特徴点情報、７１４は画像データ６１２における特徴点検索結果を表している。図５のＳ５１０３では、特徴点情報７１３と、特徴点検索結果７１４との一致検索を行い、特徴点情報７１３に含まれる座標情報に基づいて、画像データ７１２が構造物の合成画像上の座標におけるどの位置に該当するかを特定する。図７（ｃ）は、構造物の合成画像７１１上の打音検査ポイントに対する、画像データ７１２の相対位置情報を示すイメージ図である。７２１は、構造物の合成画像上の画像データ７１２の撮影範囲を表している。７２２は、図３のＳ３１１で打音場所の選定を行う作業者が指定した打音検査ポイントの一つを表している。７２３は、７２１を基準とした７２２の相対位置情報を表している。

【0037】

Ｓ５１０５で、システム制御部１０１は、Ｓ５１０２で受け付けた壁面の合成画像上の位置が、Ｓ５１０４で生成された壁面の合成画像上の座標情報に対する相対位置情報に基づき、逐次画像データに打音検査指定位置が含まるかどうかの判断を行う。含まれない場合は（Ｓ５１０６）に進み、含まれる場合は（Ｓ５１０７）に進む。

【0038】

Ｓ５１０６で、システム制御部１０１は、位置関連情報としてベクトル情報、およびベクトル情報に基づく打音検査指定位置の方向を示すガイド情報を生成し、逐次画像データと共に表示部１０４に表示する。

【0039】

Ｓ５００３で、作業者は、情報処理装置１００の表示部１０４に表示された、逐次画像データと打音検査指定位置の方向を示すガイド情報に従い、構造物に向ける撮像装置１１０の方向を調節し、画角を変更することができる（Ｓ５００２）。

【0040】

図８は、図５の説明を補うための図である。８０１は、情報処理装置１００の表示部１０４を表している。８０２は逐次取得した画像データを表示するライブビュー表示を表し、８０３はガイド表示情報を表している。Ｓ５１０６で、情報処理装置１００の表示部１０４には図８のように、逐次画像情報と重畳してガイド表示情報を表示する。

【0041】

Ｓ５１０７で、システム制御部１０１は、位置関連情報として打音検査指定位置を示すガイド情報を生成し、逐次画像データと共に表示部１０４に表示する。

【0042】

Ｓ５００４で、作業者は、情報処理装置１００の表示部１０４に表示された、逐次画像データと打音検査指定位置を示すガイド情報に従い、構造物を打音検査することができる（Ｓ５１０８）。

【0043】

図９は、図５の説明を補うための図である。図９（ａ）は、図７（ａ）同様、Ｓ５００２におけるインフラ構造物と撮像装置１１０の撮影範囲を示している。９０１は図６（ａ）の６０１と同一のインフラ構造物、９０２の点線枠はこのときの撮像装置１１０から転送された逐次画像データの撮影範囲を示している。図９（ｂ）は、図７（ｂ）同様、Ｓ５１０３の構造物の合成画像との特徴点一致検索のイメージ図である。９１１は構造物の合成画像、９１２はこのときの撮像装置１１０から転送された逐次画像データを表している。９１３は、メモリ１０３に保持している構造物の合成画像範囲に含まれる特徴点情報、９１４は画像データ９１２における特徴点検索結果を表している。図９（ｃ）は、構造物の合成画像９１１上の打音検査ポイントに対する、画像データ７１２の相対位置情報を示すイメージ図である。９２１は、構造物の合成画像上の画像データ９１２の撮影範囲を表している。９２２は、図３のＳ３１１で打音場所の選定を行う作業者が指定した打音検査ポイントの一つを表している。構造物の合成画像９１１上の画像データ９１２の撮影範囲９２１に、作業者が打音場所の選定を行う作業者が指定した打音検査ポイント９２２が含まれていることが判定できる。

【0044】

図１０は、図５の説明を補うための図である。１００１は、情報処理装置１００の表示部１０４を表している。１００２は逐次取得した画像データを表示するライブビュー表示を表している。１００３はガイド表示情報として、図３のＳ３１１で打音場所の選定を行う作業者が指定した打音検査ポイントの一つ示す表示を表している。１００４は、ガイド表示情報としてさらに表示する、画像データ９１２の撮影範囲に含まれる特徴点検索結果９１４または９１３を示す表示を表している。ガイド表示情報１００３は、図３のＳ３１１で打音場所の選定を行う作業者が指定した打音検査ポイントの一つ示す別の表示でもよく文字列、アイコン、枠などの表示またはそれらの組み合わせでもよい。ガイド表示情報１００４は、特徴点として検出されたひびなどの変状の形状をそのまま表す表示でもよく、矩形などの別の表示方法でもよい。

【0045】

Ｓ５１０８で、システム制御部１０１は、Ｓ５００４で作業者が打音を行ったタイミングをマイクの出力および音声の周波数によって検知し、検知したタイミングの一定時間の打音データと画像データをメモリ１０３上に保存する。

【0046】

Ｓ５１０９で、システム制御部１０１は、Ｓ５１０７で取得した画像データ解析により、構造物の合成画像内の打音位置の相対的な位置を特定する。

【0047】

図１１は、図５の説明を補うための図である。１１０１はＳ５１０７で取得した画像データ全体を表している。１１０２は打音検査を行うハンマーを表している。１１０３はハンマー１１０２で打音を行った際の打点を表している。１１０４は打点の近傍にあるインフラ構造物にみられるひびなどの変状であり、一様なコンクリートなどで構成される構造物表面で検知可能な特徴点でもある。１１０５は構造物の合成画像全体を表している。メモリ１０３に保持している構造物の合成画像範囲に含まれる特徴点情報と１１０４の変状の特徴点を元に、打点１１０３近傍の変状１１０４の構造物の合成画像内での位置１１０６を特定する。これにより、相対位置として打点１１０３の構造物の合成画像内での相対位置を特定することができる。

【0048】

Ｓ５１１０で、システム制御部１０１は、打音場所の選定を行う作業者が指定した打音検査ポイントとＳ５１０９で求めた打音位置の距離が閾値内かどうかの判断を行う。含まれない場合は（Ｓ５１１１）に進み、含まれる場合は（Ｓ５１１２）に進む。

【0049】

Ｓ５１１１で、システム制御部１０１は、表示部１０４に打音位置が異なる旨のガイド情報を表示する（Ｓ５００５）。

【0050】

Ｓ５００４で、作業者は、情報処理装置１００の表示部１０４に表示された、打音位置が異なる旨のガイド情報に従い、再度打音を試行する（Ｓ５００２）。

【0051】

Ｓ５１１２で、システム制御部１０１は、メモリ１０３上に保持した打音データを構造物の合成画像内の相対位置に関連付けて記録媒体１０７に保存し、表示部１０４にその旨のガイド情報を表示する。指定された打音データと図１３で後述する任意位置の打音データは区別できるように、指定位置の打音データであることをファイル情報として保存する。（Ｓ５１１３）。

【0052】

Ｓ５１１３で、システム制御部１０１は、打音場所の選定を行う作業者が指定したすべての打音検査位置の検査が終了したかの判断を行う。終了していない場合は（Ｓ５１１４）に進み、終了した場合は（Ｓ５１１５）に進む。

【0053】

Ｓ５１１４で、システム制御部１０１は、表示部１０４に次の指定された打音検査位置の読込と検査を行う旨のガイド情報を表示する（Ｓ５００６）。

【0054】

Ｓ５００６で、作業者は、情報処理装置１００の表示部１０４に表示された、次の指定された打音検査位置の検査を行う旨のガイド情報に従い、再度打音を試行する（Ｓ５００２）。

【0055】

Ｓ５１１５で、システム制御部１０１は、表示部１０４に全ての指定された打音検査位置の検査が完了した旨のガイド情報を表示する（Ｓ５００６）。

【0056】

Ｓ５００７で、作業者は、情報処理装置１００の表示部１０４に表示された、全ての指定された打音検査位置の検査が完了した旨のガイド情報に従い、作業を終了する。

【0057】

図１２は、図５の説明を補うための図である。１２０１から１２０４は情報処理装置１００の表示部１０４の表示例である。１２０１はＳ５１１１の表示例である。１２０２はＳ５１１２の表示例である。１２０３はＳ５１１４の表示例である。１２０４はＳ５１１５の表示例である。

【0058】

打音場所の選定を行う作業者が指定した打音検査位置だけでなく、打音検査を行う作業者が気になった打音検査位置も同様に打音検査出来てもよい。

【0059】

図１３は、本発明の実施形態にかかわる打音検査を行う作業者が気になった打音検査位置の打音検査を行う作業の概要を示すフローチャートである。作業者の作業と本発明に係る情報処理装置の処理について、それぞれ表記列を変えて表現している。付番Ｓ１３００１～１３００３は作業者の作業フロー、Ｓ１３１０１～１３１０５は情報処理装置１００の本発明に係る処理を、Ｓ１３２０１～１３２０２は情報処理装置１００の本発明に係る処理を表している。

【0060】

Ｓ１３００１で、作業者は、情報処理装置１００に対して、打音検査位置任意モードの開始指示を行う（Ｓ１３１０１）。

【0061】

Ｓ１３１０１で、システム制御部１０１は、通信部１０５を通じて、撮像装置１１０に対して、ライブビュー画像の供給を指示する（Ｓ１３２０１）。

【0062】

Ｓ１３２０１で、システム制御部１１１は、通信部１１５を通じて、情報処理装置１００からのライブビュー供給指示を受け取り、撮像部１１２、画像処理部１１３を用いてライブビュー画像の生成を開始する。

【0063】

Ｓ１３２０２で、システム制御部１１１は、逐次ライブビュー生成、および通信部１１５から画像データの送信を行う（Ｓ１３１０２）。

【0064】

Ｓ１３１０２で、システム制御部１０１は、通信部１０５を通じて、撮像装置１１０から、逐次画像データを受信し、表示部１０４にライブビュー表示を行う（Ｓ１３００２）。

【0065】

Ｓ１３００２で、作業者は、構造物の任意の位置を打音検査する（Ｓ１３１０３）。

【0066】

Ｓ１３１０３で、システム制御部１０１は、Ｓ１３００２で作業者が打音を行ったタイミングをマイクの出力によって検知し、検知したタイミングの一定時間の打音データと画像データをメモリ１０３上に保存する。

【0067】

Ｓ１３１０４で、システム制御部１０１は、Ｓ１３１０３で取得した画像データ解析により、構造物の合成画像内の打音位置の相対的な位置を特定する。説明は図１１と同一のため割愛。

【0068】

Ｓ１３１０５で、システム制御部１０１は、メモリ１０３上に保持した打音データを構造物の合成画像内の相対位置に関連付けて記録媒体１０７に保存し、表示部１０４にその旨のガイド情報を表示する（Ｓ１３００３）。指定された打音データと任意位置の打音データは区別できるように、任意位置の打音データであることをファイル情報として保存する。ガイド情報の説明は１２０２と同一のため割愛。

【0069】

Ｓ１３００３で、作業者は、作業を終了するか判断する。終了しない場合は（Ｓ１３００２）に進む。

【0070】

図１４は、本発明の実施形態にかかわる打音検査システムでの検査結果の表示を表すイメージ図である。検査結果の表示を行うとまず図１４（ａ）の１４０１のような表示を行う。１４０２から１４０４は打音データの構造物の合成画像内の相対的な位置に従い表示を行う。１４０２、１４０３と１４０４の違いは、指定された打音データか任意位置の打音データかのファイル情報の違いによって表示を行う。

【0071】

１４０５は、１４０１上で打音データがある１４０２の位置をタッチすることを表しており、図１４（ｂ）の表示に遷移を行うとともに打音データの再生を行う。１４０６は近傍の変状の情報を表している。１４０７は打音データに関する情報を表示している。打音場所の選定を行った作業者、打音検査を行った作業者、打音点検結果、打音点検場所の表示を行う。１４０８はＳ５１０７またはＳ１３１０３で取得した画像データを表示する例である。Ｓ５１０７またはＳ１３１０３で取得した画像データを打音データと関連付けて保存しておき、打音データ選択時に表示することで取得した打音データの打音時の位置の正しさを、検査結果の表示時にも再確認することができる。

【0072】

１４０９は１４０１上で打音データが無い位置をタッチすることを表しており、図１４（ｃ）の表示に遷移を行う。１４０９は近傍の変状の情報を表している。１４１０のように打音データに関する情報が存在しないことを表示する。

【0073】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0074】

＜構成１＞
第１のユーザによって指示された指示位置を取得する第１取得手段と、
前記第１のユーザとは異なる第２のユーザによって対象物を打撃した打音位置を取得する第２取得手段と、
前記指示位置と、前記打音位置とに基づいて、前記第２のユーザが前記指示位置を打撃したか判断する判断手段と、を有する
ことを特徴とする情報処理装置。

【0075】

＜構成２＞
前記判断手段によって前記第２のユーザが前記指示位置を打撃したと判断されなかった場合、前記第２のユーザに打撃のやり直しを通知する通知手段を有する
ことを特徴とする構成１に記載の情報処理装置。

【0076】

＜構成３＞
前記第１取得手段は、前記第１のユーザから前記指示位置の指示を受け付ける指示手段から前記指示位置を取得し、
前記指示手段は、前記対象物の変状の位置に基づいて、前記指示位置を受け付ける
ことを特徴とする構成１に記載の情報処理装置。

【0077】

＜構成４＞
前記第２のユーザによって前記対象物を打撃する画像を撮影する撮像手段と、
前記画像に基づいて、前記対象物の変状の形状を検出する検出手段と、
前記画像と、前記変状の形状とに基づいて、前記指示位置を表示する
ことを特徴とする構成１に記載の情報処理装置。

【0078】

＜構成５＞
前記第２のユーザが前記指示位置を打撃した場合に、前記第２のユーザによって前記対象物を打撃した打音を記録する記録手段を有する
ことを特徴とする構成１に記載の情報処理装置。

【0079】

＜方法１＞
第１のユーザによって指示された指示位置を取得する第１取得工程と、
前記第１のユーザとは異なる第２のユーザによって対象物を打撃した打音位置を取得する第２取得工程と、
前記指示位置と、前記打音位置とに基づいて、前記第２のユーザが前記指示位置を打撃したか判断する判断工程と、を有する
ことを特徴とする情報処理方法。

【0080】

＜プログラム１＞
構成１～５のいずれか１項に記載の画像処理システムの各手段をコンピュータにより制御するためのコンピュータプログラム。

【符号の説明】

【0081】

１００ 情報処理装置
１０１ システム制御部
１０２ 画像処理部
１０４ 表示部
１０６ マイク
１１０ 撮像装置
１１１ システム制御部
１１２ 撮像部
１１３ 画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】