特許 7499475 検査支援装置、検査支援システム、検査支援ネットワークシステム、検査支援方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-06

(45)【発行日】2024-06-14

(54)【発明の名称】検査支援装置、検査支援システム、検査支援ネットワークシステム、検査支援方法、及びプログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240607BHJP

【ＦＩ】

G06Q50/08

【請求項の数】 25

(21)【出願番号】P 2022544585

(86)(22)【出願日】2021-08-23

(86)【国際出願番号】 JP2021030806

(87)【国際公開番号】W WO2022045066

(87)【国際公開日】2022-03-03

【審査請求日】2023-02-08

(31)【優先権主張番号】P 2020141165

(32)【優先日】2020-08-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】是澤 康平

【審査官】池田 聡史

(56)【参考文献】

【文献】特開２０１１－０４８６７３（ＪＰ，Ａ）

【文献】特開２０１７－１０７４２０（ＪＰ，Ａ）

【文献】特開２０１８－０４５３５６（ＪＰ，Ａ）

【文献】特開２０１３－０７３５６１（ＪＰ，Ａ）

【文献】特開２０１１－１９８２５１（ＪＰ，Ａ）

【文献】特開２０１０－１５７２３３（ＪＰ，Ａ）

【文献】特開２０１９－０６６３６８（ＪＰ，Ａ）

【文献】国際公開第２０２０／１１０７６６（ＷＯ，Ａ１）

【文献】特開２０１４－１５９９８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

検査の対象である対象空間の状態を記録する検査支援装置であって、
前記対象空間の図面である空間図面のデータを取得する図面取得部と、
前記対象空間の少なくとも一部である実撮影領域を撮影した撮影画像のデータを取得する画像取得部と、
前記空間図面において前記実撮影領域に対応する領域を図面撮影領域として設定する領域設定部と、
前記空間図面、前記撮影画像、及び前記図面撮影領域の各データを対応付けて保持するデータ保持部と、
前記実撮影領域に予め決められた判定条件を満たす小領域が存在するか否かを判定し、当該判定結果を小領域情報とする小領域判定部と、を備え、
前記データ保持部は、前記小領域情報を保持する
検査支援装置。

【請求項2】

前記領域設定部は、ユーザによって設定された前記空間図面内の領域を、前記図面撮影領域とする
請求項１の検査支援装置。

【請求項3】

前記データ保持部は、前記図面撮影領域のデータとして、前記空間図面における前記図面撮影領域の範囲及び撮影方向のデータを保持する
請求項１又は２の検査支援装置。

【請求項4】

前記小領域判定部は、前記撮影画像のデータを入力として前記撮影画像から前記小領域が写っている領域を抽出するアルゴリズムであって、機械学習によって予め作成された学習モデルを用いて、前記実撮影領域に前記小領域が存在するか否かを判定する
請求項１乃至３のいずれか１つの検査支援装置。

【請求項5】

前記小領域判定部は、前記撮影画像内に予め決められた特徴を有する領域が存在することを、前記判定条件に含める
請求項１乃至４のいずれか１つの検査支援装置。

【請求項6】

前記小領域判定部は、ユーザによって前記撮影画像に画像内設定領域が設定されていることを、前記判定条件に含める
請求項１乃至５のいずれか１つの検査支援装置。

【請求項7】

前記データ保持部は、前記撮影画像に前記小領域情報を対応付けて保持する
請求項１乃至６のいずれか１つの検査支援装置。

【請求項8】

前記小領域に関する情報を関連情報として取得する関連情報取得部を更に備え、
前記データ保持部は、前記関連情報を前記小領域情報に対応付けて保持する
請求項１乃至７のいずれか１つの検査支援装置。

【請求項9】

前記小領域判定部は、前記撮影画像において前記小領域に対応する領域を画像内検出領域とし、前記画像内検出領域の位置情報を前記小領域情報に含める
請求項１乃至８のいずれか１つの検査支援装置。

【請求項10】

前記画像内検出領域の位置情報は、前記撮影画像の座標で表される
請求項９の検査支援装置。

【請求項11】

ユーザの操作によって、前記撮影画像における前記画像内検出領域の位置の変更、及び前記撮影画像における前記画像内検出領域の削除の少なくとも一方を行う画像変更部を更に備える
請求項９又は１０の検査支援装置。

【請求項12】

前記撮影画像の前記画像内検出領域にマーカを配置した１つのマーカ画像を作成して、前記マーカ画像を表示部に表示させる表示制御部を更に備える
請求項９乃至１１のいずれか１つの検査支援装置。

【請求項13】

前記画像内検出領域に対応する位置にマーカを配置した副画像を作成し、前記撮影画像に前記副画像を重ねて表示部に表示させる表示制御部を更に備える
請求項９乃至１１のいずれか１つの検査支援装置。

【請求項14】

前記図面撮影領域、及び前記画像内検出領域に基づいて、前記空間図面において前記画像内検出領域に対応する位置を、図面内検出位置として求める位置変換部を更に備える
請求項９乃至１３のいずれか１つの検査支援装置。

【請求項15】

前記空間図面における前記図面内検出位置を変更する図面変更部を更に備え、
前記図面変更部は、ユーザに選択された前記図面内検出位置のいずれかを、前記ユーザに指定された前記空間図面内の位置へ移動させる
請求項１４の検査支援装置。

【請求項16】

前記画像内検出領域及び前記図面内検出位置の少なくとも一方に番号を付与する番号付与部を更に備える
請求項１４又は１５の検査支援装置。

【請求項17】

前記番号付与部は、前記番号の修正に関する修正情報を受け取ると、前記修正情報に基づいて、前記小領域に付与する番号を修正する
請求項１６の検査支援装置。

【請求項18】

前記小領域判定部は、ユーザによって前記図面内検出位置が設定されたことを、前記判定条件に含める
請求項１４乃至１７のいずれか１つの検査支援装置。

【請求項19】

サーバ装置との間で通信することができる通信部を更に備える
請求項１乃至１８のいずれか１つの検査支援装置。

【請求項20】

請求項１乃至１９のいずれか１つの検査支援装置と、
前記空間図面及び前記撮影画像を表示する表示部と、を備える
検査支援システム。

【請求項21】

請求項１９の検査支援装置と、
前記サーバ装置と、を備え、
前記サーバ装置は、
前記検査支援装置から受信した前記データを保持するサーバ側データ保持部と、
前記データを用いた演算処理を行うデータ演算部と、を備える
検査支援ネットワークシステム。

【請求項22】

前記データ演算部は、前記サーバ側データ保持部が保持している前記データに基づいて、前記検査の結果を作成する
請求項２１の検査支援ネットワークシステム。

【請求項23】

検査の対象である対象空間の状態を記録する検査支援装置により実行される検査支援方法であって、
前記検査支援装置により、前記対象空間の図面である空間図面のデータを取得する図面取得ステップと、
前記検査支援装置により、前記対象空間の少なくとも一部である実撮影領域を撮影した撮影画像のデータを取得する画像取得ステップと、
前記検査支援装置により、前記空間図面において前記実撮影領域に対応する領域を図面撮影領域として設定する領域設定ステップと、
前記検査支援装置により、前記空間図面、前記撮影画像、及び前記図面撮影領域の各データを対応付けて保持するデータ保持ステップと、
前記検査支援装置により、前記実撮影領域に予め決められた判定条件を満たす小領域が存在するか否かを判定し、当該判定結果を小領域情報とする小領域判定ステップと、を備え、
前記データ保持ステップは、前記小領域情報を保持する
検査支援方法。

【請求項24】

コンピュータシステムに請求項２３の検査支援方法を実行させる
プログラム。

【請求項25】

検査の対象である対象空間の状態を記録する検査支援装置であって
前記対象空間の図面である空間図面のデータを取得する図面取得部と、
前記対象空間の少なくとも一部である実撮影領域を撮影した撮影画像のデータを取得する画像取得部と、
前記空間図面において前記実撮影領域に対応する領域を図面撮影領域として設定する領域設定部と、
前記撮影画像のデータを、前記撮影画像から予め決められた判定条件を満たす小領域が写っている領域を抽出するために機械学習によって予め作成された学習モデルに入力することで、前記実撮影領域に前記小領域が存在するか否かを判定し、当該判定結果を小領域情報とする小領域判定部と、
前記空間図面、前記撮影画像、前記図面撮影領域、及び前記小領域情報の各データを対応付けて保持するデータ保持部と、を備える
検査支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、検査支援装置、検査支援システム、検査支援ネットワークシステム、検査支援方法、及びプログラムに関する。

【背景技術】

【0002】

ビル建設などの工事における施工検査業務を支援するシステムとして、特許文献１の検査システムが提案されている。

【0003】

特許文献１の検査システムは、検査対象の撮影ポイントを入力する撮影ポイント入力部、及び検査対象を被写体とした画像を撮影可能な撮影部とを備えて、検査対象と検査結果と撮影ポイントと検査写真とを対応づけた検査結果データを記憶部に記憶する。この検査システムは、検査者が撮影ポイントの入力、検査写真の撮影、検査写真と撮影ポイントの関連づけを現場で入力できる。

【0004】

特許文献１の検査システムは、画像から検査対象の異常箇所を検出しても、検査対象の図面に異常箇所を対応付ける手間がかかっていた。すなわち、特許文献１の検査システムは、検査対象（対象空間）の撮影画像を検査対象の図面（空間図面）に対応付けるために、手間を要していた。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１－８７６４号公報

【発明の概要】

【0006】

本開示の目的は、検査の対象である対象空間の少なくとも一部を撮影した撮影画像を、対象空間の空間図面内に容易に対応付けることができる検査支援装置、検査支援システム、検査支援ネットワークシステム、検査支援方法、及びプログラムを提供することにある。

【0007】

本開示の一態様に係る検査支援装置は、検査の対象である対象空間の状態を記録する。前記検査支援装置は、図面取得部と、画像取得部と、領域設定部と、データ保持部と、小領域判定部と、を備える。前記図面取得部は、前記対象空間の図面である空間図面のデータを取得する。前記画像取得部は、前記対象空間の少なくとも一部である実撮影領域を撮影した撮影画像のデータを取得する。前記領域設定部は、前記空間図面において前記実撮影領域に対応する領域を図面撮影領域として設定する。前記データ保持部は、前記空間図面、前記撮影画像、及び前記図面撮影領域の各データを対応付けて保持する。前記小領域判定部は、前記実撮影領域に予め決められた判定条件を満たす小領域が存在するか否かを判定し、当該判定結果を小領域情報とする。前記データ保持部は、前記小領域情報を保持する。

【0008】

本開示の一態様に係る検査支援システムは、上述の検査支援装置と、前記空間図面及び前記撮影画像を表示する表示部と、を備える。

【0009】

本開示の一態様に係る検査支援ネットワークシステムは、上述の検査支援装置と、サーバ装置と、を備える。前記サーバ装置は、前記検査支援装置から受信した前記データを保持するサーバ側データ保持部と、前記データを用いた演算処理を行うデータ演算部と、を備える。

【0010】

本開示の一態様に係る検査支援方法は、検査の対象である対象空間の状態を記録する検査支援装置により実行される。前記検査支援方法は、図面取得ステップと、画像取得ステップと、領域設定ステップと、データ保持ステップと、小領域判定ステップと、を備える。前記図面取得ステップは、前記検査支援装置により、前記対象空間の図面である空間図面のデータを取得する。前記画像取得ステップは、前記検査支援装置により、前記対象空間の少なくとも一部である実撮影領域を撮影した撮影画像のデータを取得する。前記領域設定ステップは、前記検査支援装置により、前記空間図面において前記実撮影領域に対応する領域を図面撮影領域として設定する。前記データ保持ステップは、前記検査支援装置により、前記空間図面、前記撮影画像、及び前記図面撮影領域の各データを対応付けて保持する。前記小領域判定ステップは、前記検査支援装置により、前記実撮影領域に予め決められた判定条件を満たす小領域が存在するか否かを判定し、当該判定結果を小領域情報とする。前記データ保持ステップは、前記小領域情報を保持する。

【0011】

本開示の一態様に係るプログラムは、コンピュータシステムに上述の検査支援方法を実行させる。

【0012】

本開示の一態様に係る検査支援装置は、検査の対象である対象空間の状態を記録する。前記検査支援装置は、図面取得部と、画像取得部と、領域設定部と、小領域判定部と、データ保持部と、を備える。前記図面取得部は、前記対象空間の図面である空間図面のデータを取得する。前記画像取得部は、前記対象空間の少なくとも一部である実撮影領域を撮影した撮影画像のデータを取得する。前記領域設定部は、前記空間図面において前記実撮影領域に対応する領域を図面撮影領域として設定する。前記小領域判定部は、前記撮影画像のデータを、前記撮影画像から予め決められた判定条件を満たす小領域が写っている領域を抽出するために機械学習によって予め作成された学習モデルに入力することで、前記実撮影領域に前記小領域が存在するか否かを判定し、当該判定結果を小領域情報とする。前記データ保持部は、前記空間図面、前記撮影画像、前記図面撮影領域、及び前記小領域情報の各データを対応付けて保持する。

【図面の簡単な説明】

【0013】

【図1】図１は、実施形態の検査支援装置を備える検査支援システムを示すブロック図である。

【図2】図２は、同上の検査支援装置における空間図面を示す平面図である。

【図3】図３は、同上の検査支援装置を用いたユーザの検査を説明するための斜視図である。

【図4】図４は、同上の検査支援装置を用いたユーザの検査を説明するための別の斜視図である。

【図5】図５は、同上の検査支援装置による撮影画像を示す図である。

【図6】図６は、同上の検査支援装置による撮影画像を表示した表示画面を示す図である。

【図7】図７は、同上の検査支援装置によるマーカ画像を表示した表示画面を示す図である。

【図8】図８は、同上の検査支援装置による領域設定画像を表示した表示画面を示す図である。

【図9】図９は、同上の検査支援装置による図面内検出画像を表示した表示画面を示す図である。

【図10】図１０は、同上の検査支援装置による関連情報設定画像を表示した表示画面を示す図である。

【図11】図１１は、同上の検査支援装置によるマーカ画像の変更処理を説明するための図である。

【図12】図１２は、同上の検査支援装置によるマーカ画像における画像内検出領域の移動処理を説明するための図である。

【図13】図１３は、同上の検査支援装置によるマーカ画像における画像内検出領域の移動処理を説明するための図である。

【図14】図１４は、同上の検査支援装置によるマーカ画像における画像内検出領域の削除処理を説明するための図である。

【図15】図１５は、同上の検査支援装置によるマーカ画像における画像内検出領域の削除処理を説明するための図である。

【図16】図１６は、同上の検査支援装置による空間図面の変更処理を説明するための図である。

【図17】図１７は、同上の検査支援装置による空間図面の別の変更処理を説明するための図である。

【図18】図１８は、同上の検査支援装置を備える検査支援ネットワークシステムの構成を示すブロック図である。

【図19】図１９は、同上の検査支援ネットワークシステムによる帳票データを示す図である。

【図20】図２０は、同上の検査支援装置による検査支援方法を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下の実施形態は、一般に検査支援装置、検査支援システム、検査支援ネットワークシステム、検査支援方法、及びプログラムに関する。より詳細に、以下の実施形態は、検査の対象（検査対象）である対象空間の状態を記録する検査支援装置、検査支援システム、検査支援ネットワークシステム、検査支援方法、及びプログラムに関する。対象空間は、施工中又は施工後の建造物（例えば集合住宅、戸建住宅、オフィスビル、病院、工場、及び商業施設など）の内部空間又は外部空間である。但し、建造物は、特定の建造物に限定されない。また、以下に説明する実施形態は、本開示の実施形態の一例にすぎない。本開示は、以下の実施形態に限定されず、本開示の効果を奏することができれば、設計等に応じて種々の変更が可能である。

【0015】

（１）検査支援システムの概要
図１は、検査支援装置２を備える検査支援システム１の構成を示す。検査支援システム１及び検査支援装置２は、検査の対象である対象空間ＴＳ１の状態を記録する。対象空間ＴＳ１は、施工中又は施工後の建造物の内部空間又は外部空間であり、検査者は、対象空間ＴＳ１における不具合箇所（異常箇所）の有無を検査する。不具合箇所は、対象空間ＴＳ１において施工上の不備、欠損、欠陥、又は不良とみなされる箇所であり、例えば壁、床、及び天井の各表面の傷、汚れ、及び割れ、部材の取付ミス、並びに設備の不具合などである。なお、建造物は、集合住宅、戸建住宅、オフィスビル、病院、工場、及び商業施設などであるが、特定の建造物に限定されない。

【0016】

検査支援システム１は、コンピュータシステムを有するタブレット端末１０で構成され、検査支援装置２、及び表示部４ａを備える。また、検査支援システム１は、撮像部３を更に備えることが好ましい。検査者などのユーザは、タブレット端末１０を携行することで、対象空間ＴＳ１で検査支援システム１を用いることができる。

【0017】

タブレット端末１０のコンピュータシステムでは、ＣＰＵ（Central Processing Unit）、又はＭＰＵ（Micro Processing Unit）などのプロセッサがメモリに記憶されている検査支援方法のプログラムを読み出して実行することによって、検査支援装置２の一部又は全部の機能が実現される。コンピュータシステムは、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は複数の電子回路で構成される。ここでは、ＩＣやＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration)と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ(FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。

【0018】

検査支援装置２は、図面取得部２ｄ、画像取得部２ｅ、領域設定部２ｆ、及びデータ保持部２ｇを備える。図面取得部２ｄは、対象空間ＴＳ１の図面である空間図面Ｄ１（図２参照）のデータを取得する。画像取得部２ｅは、対象空間ＴＳ１の少なくとも一部を実撮影領域Ｒ１（図４参照）として撮影した撮影画像Ｇ１（図５参照）のデータを取得する。領域設定部２ｆは、空間図面Ｄ１において実撮影領域Ｒ１に対応する領域を図面撮影領域Ｖ１（図８参照）とする。データ保持部２ｇは、空間図面Ｄ１、撮影画像Ｇ１、及び図面撮影領域Ｖ１の各データを対応付けて保持する。

【0019】

検査支援システム１は、撮像部３を更に備える。撮像部３は、カラー又はモノクロの画像（静止画像）を撮影するカメラとして機能する。撮像部３は、撮影画像Ｇ１のデータを検査支援装置２へ出力する。

【0020】

検査支援システム１は、タッチパネルディスプレイ４を更に備える。タッチパネルディスプレイ４は、表示部４ａ及び操作部４ｂとして機能する。表示部４ａは、ＬＣＤ（Liquid Crystal Display）、又はＯＬＥＤ（Organic Light Emitting Diode）などを用いたディスプレイである。操作部４ｂは、表示部４ａの表面に加えられたユーザの指又はペンなどによる操作を検知し、検知結果を操作情報として検査支援装置２に出力する機能を有する。操作部４ｂが検知するユーザ操作は、例えばタップ、ダブルタップ、ロングタップ、ドラッグ、スワイプ、フリック、ピンチイン、及びピンチアウトなどである。

【0021】

上述の検査支援システム１及び検査支援装置２では、データ保持部２ｇが空間図面Ｄ１、撮影画像Ｇ１、及び図面撮影領域Ｖ１の各データを対応付けて保持する。この結果、検査支援システム１及び検査支援装置２は、データ保持部２ｇを参照することで、検査の対象である対象空間ＴＳ１の少なくとも一部を撮影した撮影画像Ｇ１を、対象空間ＴＳ１の空間図面Ｄ１内に容易に対応付けることができる。また、検査支援システム１及び検査支援装置２は、空間図面Ｄ１、撮影画像Ｇ１、及び図面撮影領域Ｖ１の各データによって、対象空間ＴＳ１の状態を記録することができる。

【0022】

（２）検査支援装置
図１に示すように、検査支援装置２は、図面取得部２ｄ、画像取得部２ｅ、領域設定部２ｆ、及びデータ保持部２ｇを備える。検査支援装置２は、通信部２ａ、表示制御部２ｂ、操作情報取得部２ｃ、小領域判定部２ｈ、関連情報取得部２ｉ、画像変更部２ｊ、位置変換部２ｋ、図面変更部２ｍ、及び番号付与部２ｎを更に備えることが好ましい。

【0023】

通信部２ａは、インターネットを含むネットワークＮＴ１に接続し、ネットワークＮＴ１上の機器と通信を行い、信号の送信及び受信を行う通信インタフェースの機能を有する。ネットワークＮＴ１には、サーバ装置５１及び外部端末５２が接続しており、通信部２ａは、サーバ装置５１及び外部端末５２と通信を行うことができる。

【0024】

表示制御部２ｂは、表示部４ａに表示する画面を制御する。

【0025】

操作情報取得部２ｃは、操作部４ｂに対するユーザ操作に応じた操作情報を、操作部４ｂから取得する。検査支援装置２の各部及び撮像部３は、操作情報取得部２ｃが取得した操作情報に応じた動作を実行する。

【0026】

（２．１）データ取得
図面取得部２ｄは、通信部２ａを介して、サーバ装置５１（又は他のサーバ装置）から、対象空間ＴＳ１の図面のデータとして図２に示すような空間図面Ｄ１のデータを取得する。図面取得部２ｄは、取得した空間図面Ｄ１のデータをデータ保持部２ｇに格納する。本実施形態において、対象空間ＴＳ１は集合住宅の住戸であり、空間図面Ｄ１は住戸の間取図である。空間図面Ｄ１には、対象空間ＴＳ１の壁、柱、仕切り、扉、及び窓などが所定の縮尺で描かれ、住宅設備（シンク、浴槽、便器、洗面台、コンセントなど）の各記号が、実際の位置に対応するように配置されている。空間図面Ｄ１は、設計会社などで作成されたＣＡＤ（Computer Aided Design）図面であり、ＣＡＤ端末などからサーバ装置５１（又は他のサーバ装置）にアップロードされている。なお、図２は、空間図面の一例を示す。

【0027】

そして図３に示すように、ユーザＨ１は、対象空間ＴＳ１の検査を行い、対象空間ＴＳ１における不具合箇所にマスキングテープ９を貼っていく。図３では、ユーザＨ１は、対象空間ＴＳ１の壁Ｗ１の検査を行い、壁Ｗ１に傷、汚れ、及び割れなどの不具合があれば、不具合箇所に矩形状のマスキングテープ９を貼っていく。このとき、不具合内容の種別（傷、汚れ、及び割れなど）毎に、マスキングテープ９の色、貼り方などを異ならせてもよい。なお、ユーザＨ１は、マスキングテープ９の端を折った状態で壁Ｗ１に貼ることで、検査後にマスキングテープ９を剥しやすくしておくことが好ましい。

【0028】

ユーザＨ１は、図４に示すように、確認された壁Ｗ１の不具合箇所のそれぞれにマスキングテープ９を貼った後、撮像部３によって壁Ｗ１を正面から撮影する。撮像部３による対象空間ＴＳ１内の撮影範囲を実撮影領域Ｒ１とすると、実撮影領域Ｒ１には壁Ｗ１が含まれ、壁Ｗ１の表面の６箇所にそれぞれマスキングテープ９が貼られている。以降、６箇所の各マスキングテープ９を区別するときには、６箇所の各マスキングテープ９をそれぞれ、マスキングテープ９１～９６と称す。撮像部３は、実撮影領域Ｒ１における壁Ｗ１を正面から撮影した撮影画像Ｇ１（図５参照）のデータを生成し、撮影画像Ｇ１のデータを空間図面Ｄ１のデータに対応付けてデータ保持部２ｇに格納する。撮影画像Ｇ１では、図５に示すように、壁Ｗ１が写っている領域Ｑ（Ｗ１）内には、マスキングテープ９１～９６がそれぞれ写っている領域Ｑ９１～Ｑ９６が存在する。なお、撮像部３による撮影時には、壁Ｗ１に撮影用の光を照射する照明器具を設置しておくことが好ましい。

【0029】

データ保持部２ｇは、空間図面Ｄ１及び撮影画像Ｇ１などの各データを記憶する記憶装置を備える。データ保持部２ｇは、記憶装置として、EEPROM（Electrically Erasable Programmable Read Only Memory）、又はフラッシュメモリなどの書き換え可能な不揮発性メモリを有することが好ましい。

【0030】

表示制御部２ｂは、データ保持部２ｇに記憶されている空間図面Ｄ１及び撮影画像Ｇ１を含む各データを、個別に又は２つ以上のデータをまとめて表示部４ａに表示させることができる。

【0031】

（２．２）小領域判定
ユーザＨ１は、表示部４ａに撮影画像Ｇ１を含む撮影画面Ｂ１（図６参照）を表示させて、小領域判定部２ｈに小領域判定処理を実行させる。小領域判定部２ｈは、小領域判定処理として、実撮影領域Ｒ１に予め決められた判定条件を満たす小領域が存在するか否かを判定し、当該判定結果を小領域情報とする。本実施形態の小領域は、上述のマスキングテープ９である。すなわち、小領域判定部２ｈは、小領域判定処理として、実撮影領域Ｒ１にマスキングテープ９が存在するか否かを判定する。データ保持部２ｇは、小領域判定部２ｈの判定結果である小領域情報を撮影画像Ｇ１に対応付けて保持する。

【0032】

具体的に、小領域判定部２ｈは、撮影画像Ｇ１内に予め決められた特徴を有する領域が存在することを、判定条件に含めることが好ましい。この場合、小領域判定部２ｈは、撮影画像Ｇ１にパターン認識処理を施すことで、マスキングテープ９が写っている領域の特徴が撮影画像Ｇ１に含まれているか否かを判別する。パターン認識処理の一例では、ディープラーニングなどの機械学習によって、撮影画像のデータを入力として、撮影画像からマスキングテープ９が写っている領域を抽出するアルゴリズムを学習モデルとして予め作成しておく。そして、小領域判定部２ｈは、機械学習によって作成された学習モデルを用いて、小領域判定処理を行う。本実施形態の小領域判定部２ｈは、図６に示すように、撮影画像Ｇ１においてマスキングテープ９１～９６が写っている領域Ｑ９１～Ｑ９６を検出し、領域Ｑ９１～Ｑ９６の各々を画像内検出領域とする。以降、小領域判定部２ｈが抽出した領域Ｑ９１～Ｑ９６の各々を、画像内検出領域Ｑ９１～Ｑ９６と称す。なお、小領域判定部２ｈは、機械学習による学習モデルを用いずに、撮影画像からマスキングテープ９が写っている領域を抽出してもよい。

【0033】

そして、小領域判定部２ｈが撮影画像Ｇ１から画像内検出領域Ｑ９１～Ｑ９６を検出すると、表示制御部２ｂはマーカ表示処理を行う。表示制御部２ｂは、図７に示すように、撮影画像Ｇ１の画像内検出領域Ｑ９１～Ｑ９６にマーカＭ９１～Ｍ９６をそれぞれ配置する画像処理を実行する。図７のマーカＭ９１～Ｍ９６は、画像内検出領域Ｑ９１～Ｑ９６のそれぞれを囲む矩形状の枠（矩形枠）である。なお、マーカの形状は、矩形枠に限定されず、円環、及び三角形状の他の形状であってもよい。

【0034】

さらに、番号付与部２ｎは、小領域であるマスキングテープ９（９１～９６）に番号を付与する。具体的に、番号付与部２ｎは、マスキングテープ９（９１～９６）にそれぞれ対応する画像内検出領域Ｑ９１～Ｑ９６に、「１」～「６」の番号をそれぞれ割り当てる。番号付与部２ｎは、割り当てた番号に関する情報を番号情報として、撮影画像Ｇ１の画像内検出領域Ｑ９１～Ｑ９６又はマーカＭ９１～Ｍ９６にそれぞれ対応付けてデータ保持部２ｇに格納する。表示制御部２ｂは、撮影画像Ｇ１内の画像内検出領域Ｑ９１～Ｑ９６の各近傍にそれぞれの番号の表示を追加する。なお、図７では、番号付与部２ｎによって割り当てられた各番号を丸付きの数字で表している。

【0035】

この結果、画像内検出領域Ｑ９１～Ｑ９６の各番号（小領域であるマスキングテープ９１～９６の各番号）、及びマーカＭ９１～Ｍ９６が撮影画像Ｇ１に追加された１つのマーカ画像Ｇ１１が作成される。マーカ画像Ｇ１１は、撮影画像Ｇ１に、マーカＭ９１～Ｍ９６、及び画像内検出領域Ｑ９１～Ｑ９６の各番号を配置した画像である。

【0036】

また、番号付与部２ｎは、番号の修正に関する修正情報を受け取ると、修正情報に基づいて、画像内検出領域Ｑ９１～Ｑ９６に付与する番号を修正することが好ましい。修正情報は、操作部４ｂに対するユーザＨ１の操作によって生成され、ユーザＨ１の操作によって番号を修正できる。例えば、複数の画像内検出領域に同じ番号を付与してもよい（１つの番号に複数の画像内検出領域を紐づける）。例えば、壁Ｗ１の３箇所のそれぞれに汚れがあり、３箇所の小領域が互いに近接している場合、３箇所の小領域に対応する３つの画像内検出領域に同じ番号を割り当てる。

【0037】

また、小領域判定部２ｈは、撮影画像Ｇ１における画像内検出領域Ｑ９１～Ｑ９６の各位置を検出し、画像内検出領域Ｑ９１～Ｑ９６の各位置を表す位置情報を、撮影画像Ｇ１の座標を用いて作成する。小領域判定部２ｈは、画像内検出領域Ｑ９１～Ｑ９６の各位置情報を小領域情報に含める。撮影画像Ｇ１の座標は、互いに直交するＸ座標及びＹ座標で表される。したがって、画像内検出領域Ｑ９１の位置情報は（Ｘ１、Ｙ１）で表される。画像内検出領域Ｑ９２の位置情報は（Ｘ２、Ｙ２）で表される。画像内検出領域Ｑ９３の位置情報は（Ｘ３、Ｙ３）で表される。画像内検出領域Ｑ９４の位置情報は（Ｘ４、Ｙ４）で表される。画像内検出領域Ｑ９５の位置情報は（Ｘ５、Ｙ５）で表される。画像内検出領域Ｑ９６の位置情報は（Ｘ６、Ｙ６）で表される。

【0038】

表示制御部２ｂは、検出数通知画像Ｇ２及び位置情報通知画像Ｇ３を生成し、図７に示す検出画面Ｂ２を表示部４ａに表示することができる。検出画面Ｂ２は、マーカ画像Ｇ１１に検出数通知画像Ｇ２及び位置情報通知画像Ｇ３を重ねた画面である。検出数通知画像Ｇ２は、小領域判定部２ｈが検出した画像内検出領域Ｑ９１～Ｑ９６の数（図７では６点）を表示する。位置情報通知画像Ｇ３は、画像内検出領域Ｑ９１～Ｑ９６の各位置情報を表示する。

【0039】

なお、画像内検出領域Ｑ９１～Ｑ９６の各位置情報は、撮影画像Ｇ１内の１点を定義する位置情報に限定されず、撮影画像Ｇ１内の２点（例えば矩形の４つの頂点のうち対角線上の２つの頂点）を定義する位置情報であってもよい。また、画像内検出領域Ｑ９１～Ｑ９６の各位置情報は、円の中心の座標と円の半径とを定義した情報、又は矩形の中心の座標と矩形の対角線長とを定義した情報であってもよい。

【0040】

また、不具合内容の種別（傷、汚れ、及び割れなど）毎に、マスキングテープ９の色、貼り方などが異なる場合、小領域判定部２ｈは、パターン認識処理によってマスキングテープ９の色、貼り方などを区別する。この場合、小領域判定部２ｈは、マスキングテープ９の色、貼り方などに基づいて、画像内検出領域Ｑ９１～Ｑ９６における不具合内容の種別を区別できる。表示制御部２ｂは、不具合内容の種別毎にマーカの形状及び色の少なくとも一方を異ならせる。

【0041】

（２．３）図面撮影領域の設定
領域設定部２ｆは、小領域判定処理の後、ユーザＨ１の操作によって図面撮影領域Ｖ１の設定処理を実行する。図面撮影領域Ｖ１は、実撮影領域Ｒ１に対応する空間図面Ｄ１内の領域である。

【0042】

図面撮影領域Ｖ１の設定処理が開始されると、表示制御部２ｂは、図８の領域設定画面Ｂ３を表示部４ａに表示させる。領域設定画面Ｂ３の左半分には空間図面Ｄ１が配置され、領域設定画面Ｂ３の右半分にはマーカ画像Ｇ１１が配置されている。ユーザＨ１は、操作部４ｂを操作して、領域設定画面Ｂ３の空間図面Ｄ１内に図面撮影領域Ｖ１（図８参照）を設定する。ユーザＨ１は、領域設定画面Ｂ３の空間図面Ｄ１に指又はペンを接触させて、図面撮影領域Ｖ１の範囲を描画領域Ｖ１１として設定する。描画領域Ｖ１１の形状は、矩形、台形、線分、及び円形などのいずれであってもよい。また、ユーザＨ１は、領域設定画面Ｂ３の空間図面Ｄ１に指又はペンを接触させて、図面撮影領域Ｖ１の撮影方向を矢印Ｖ１２として設定する。本実施形態では、描画領域Ｖ１１は、空間図面Ｄ１において壁Ｗ１の一部に対応する領域であり、矢印Ｖ１２は、壁Ｗ１を正面から見た方向になる。

【0043】

領域設定部２ｆは、描画領域Ｖ１１及び矢印Ｖ１２のデータを図面撮影領域Ｖ１のデータとし、図面撮影領域Ｖ１のデータを、空間図面Ｄ１及び撮影画像Ｇ１の各データに対応付けてデータ保持部２ｇに格納する。このとき、データ保持部２ｇは、図面撮影領域Ｖ１のデータとして、空間図面Ｄ１における図面撮影領域Ｖ１の範囲及び撮影方向のデータを保持している。したがって、検査支援装置２は、検査の対象である対象空間ＴＳ１の少なくとも一部を撮影した撮影画像Ｇ１を、対象空間ＴＳ１の空間図面Ｄ１内に容易に対応付けることができる。

【0044】

また、図面撮影領域Ｖ１が実撮影領域Ｒ１に完全に一致していない場合、領域設定部２ｆは、マーカ画像Ｇ１１の一部分を切り出すトリミング処理を行ってもよい。すなわち、マーカ画像Ｇ１１にトリミング処理を施すことによって、図面撮影領域Ｖ１を疑似的に実撮影領域Ｒ１により一致させることができる。トリミング処理は、ユーザＨ１による操作部４ｂの操作によって実行される構成、及び図面撮影領域Ｖ１とマーカ画像Ｇ１１とを比較して自動で実行される構成のいずれでもよい。

【0045】

（２．４）位置変換
位置変換部２ｋは、図面撮影領域Ｖ１及び画像内検出領域Ｑ９１～Ｑ９６に基づき、空間図面Ｄ１において画像内検出領域Ｑ９１～Ｑ９６に対応する位置を、図面内検出位置Ｐ９１～Ｐ９６（図９参照）として求める。

【0046】

位置変換部２ｋは、図面内検出位置Ｐ９１～Ｐ９６を求めると、図９の図面内検出画面Ｂ４を表示部４ａに表示させる。図面内検出画面Ｂ４の左半分には空間図面Ｄ１が配置され、図面内検出画面Ｂ４の右半分にはマーカ画像Ｇ１１が配置されている。位置変換部２ｋは、マーカ画像Ｇ１１における画像内検出領域Ｑ９１～Ｑ９６の各位置情報（撮影画像Ｇ１の座標系における位置）を空間図面Ｄ１の座標系に座標変換することで、図面内検出位置Ｐ９１～Ｐ９６を求める。番号付与部２ｎによって割り当てられた画像内検出領域Ｑ９１～Ｑ９６の各番号は、図面内検出位置Ｐ９１～Ｐ９６にもそれぞれ割り当てられる。図面内検出画面Ｂ４の空間図面Ｄ１では、図面内検出位置Ｐ９１～Ｐ９６の各番号が、図面内検出位置Ｐ９１～Ｐ９６の各位置に対応付けられている。なお、図９では、番号付与部２ｎによって割り当てられた各番号を丸付きの数字で表している。

【0047】

（２．５）関連情報
関連情報取得部２ｉは、マスキングテープ９（小領域）に関する情報を関連情報として取得する。データ保持部２ｇは、関連情報を小領域情報に対応付けて保持する。

【0048】

具体的に、関連情報取得部２ｉは、番号付与部２ｎによって割り当てられた各番号に対して、関連情報を設定する。番号付与部２ｎによって割り当てられた各番号は、画像内検出領域Ｑ９１～Ｑ９６及び図面内検出位置Ｐ９１～Ｐ９６にそれぞれ対応している。すなわち、番号付与部２ｎによって割り当てられた各番号は、実撮影領域Ｒ１に存在するマスキングテープ９１～９６（小領域）にそれぞれ対応している。そこで、関連情報取得部２ｉは、番号付与部２ｎによって割り当てられた各番号に対して関連情報を設定することで、マスキングテープ９（小領域）のそれぞれに対して関連情報を設定できる。

【0049】

図１０は、番号「２」の小領域（マスキングテープ９２）に対して関連情報を設定する関連情報設定画面Ｂ５を示す。ユーザＨ１がマーカ画像Ｇ１１の画像内検出領域Ｑ９２又は空間図面Ｄ１の図面内検出位置Ｐ９２を選択する操作を行うことで、関連情報取得部２ｉは、関連情報設定画面Ｂ５を表示部４ａに表示させる。関連情報設定画面Ｂ５の左半分には空間図面Ｄ１が配置されている。関連情報設定画面Ｂ５の右半分の上部にはマーカ画像Ｇ１１が配置され、関連情報設定画面Ｂ５の右半分の下部には関連情報入力領域Ｇ５が配置されている。関連情報入力領域Ｇ５は、実撮影領域Ｒ１が属する部屋の名称を入力する「部屋」、マスキングテープ９２（小領域）が存在する部位を入力する「部位」、不具合の内容を入力する「内容」、不具合の改修を担当する会社又は人の名称を入力する「担当」、及び不具合を解消するための具体的な対応を入力する「対応」の各項目を有する。ユーザＨ１は、操作部４ｂの操作、又はタブレット端末１０が有するマイクロホンを用いた音声入力によって、関連情報入力領域Ｇ５の入力を行う。関連情報取得部２ｉは、関連情報入力領域Ｇ５に入力された内容を、番号「２」の小領域（マスキングテープ９２）の関連情報とし、番号「２」に対応付けてデータ保持部２ｇに格納する。

【0050】

（２．６）画像変更
画像変更部２ｊは、表示部４ａに表示されているマーカ画像に変更を施す機能を有する。画像変更部２ｊは、変更内容を小領域情報（位置情報を含む）に反映させる。

【0051】

図１１の表示部４ａは、マーカ画像Ｇ１１ａを含むマーカ画面Ｂ６ａを表示している。マーカ画像Ｇ１１ａは、壁Ｗ１が写っている領域Ｑ（Ｗ１）内に画像内検出領域Ｑ９１、Ｑ９２を有する撮影画像Ｇ１ａに、マーカＭ９１、Ｍ９２を追加した画像である。マーカＭ９１は画像内検出領域Ｑ９１を囲み、マーカＭ９２は画像内検出領域Ｑ９２を囲んでいる。画像変更部２ｊは、ユーザＨ１による操作部４ｂの操作（例えばロングタップ又はダブルタップ）によって、領域Ｑ（Ｗ１）内に画像内設定領域Ｑａを追加することができる。領域Ｑ（Ｗ１）の画像内設定領域Ｑａは、実撮影領域Ｒ１の壁Ｗ１においてマスキングテープ９が貼られていない箇所に対応する。すなわち、画像変更部２ｊは、小領域判定部２ｈが画像内検出領域を検出していないマーカ画像Ｇ１１ａ内の箇所に、画像内検出領域に相当する画像内設定領域Ｑａを追加することができる。番号付与部２ｎは、画像内設定領域Ｑａに新たな番号を付与し、番号情報を更新する。したがって、検査支援装置２は、マスキングテープ９の貼り忘れ、又は小領域判定部２ｈの検出ミスなどが生じても、ユーザＨ１の操作によって修正できる。

【0052】

このとき、小領域判定部２ｈは、ユーザＨ１によって撮影画像Ｇ１ａに画像内設定領域Ｑａが設定されたことを、判定条件に含めることが好ましい。この場合、小領域判定部２ｈは、撮影画像Ｇ１ａにおける画像内設定領域Ｑａの位置情報を小領域情報に含める。したがって、検査支援装置２は、追加された画像内設定領域Ｑａの情報も小領域情報に反映させることができる。

【0053】

図１２の表示部４ａは、マーカ画像Ｇ１１ｂを含むマーカ画面Ｂ６ｂを表示している。マーカ画像Ｇ１１ｂは、撮影画像Ｇ１ｂに、マーカＭ９１、Ｍ９２を追加した画像である。撮影画像Ｇ１ｂでは、マスキングテープ９１、９２がそれぞれ写っている領域Ｑ９１、Ｑ９２、及びコンセント（outlet）が写っている領域Ｑｂが存在している。しかしながら、小領域判定部２ｈは、マスキングテープ９１が写っている領域Ｑ９１を画像内検出領域として検出せず、コンセントが写っている領域Ｑｂを誤って画像内検出領域として検出している。すなわち、小領域判定部２ｈは、コンセントが写っている領域Ｑｂをマスキングテープ９が写っている領域であると誤判定している。この結果、図１２のマーカ画像Ｇ１１ｂでは、領域Ｑｂは画像内検出領域としてマーカＭ９１に囲まれ、領域Ｑ９２は画像内検出領域としてマーカＭ９２に囲まれているが、領域Ｑ９１はマーカに囲まれていない。

【0054】

そこで、図１３に示すように、画像変更部２ｊは、ユーザＨ１による操作部４ｂの操作（例えばドラッグ操作ＯＰ１）によって、マーカＭ９１をユーザＨ１に指定された位置にまで移動させることができる。

【0055】

図１３では、マーカＭ９１は、領域Ｑｂを囲む位置から領域Ｑ９１を囲む位置にまで移動している。この結果、領域Ｑ９１が画像内検出領域となり、領域Ｑｂは画像内検出領域から除外される。図１３のマーカ画像Ｇ１１ｂでは、領域Ｑ９１は画像内検出領域としてマーカＭ９１に囲まれ、領域Ｑ９２は画像内検出領域としてマーカＭ９２に囲まれているが、領域Ｑｂはマーカに囲まれていない。

【0056】

このように、画像変更部２ｊは、マーカ画像Ｇ１１ｂにおいて、小領域判定部２ｈが画像内検出領域を検出してない箇所にマーカを移動させることで、画像内検出領域の位置を変更できる。すなわち、画像変更部２ｊは、ユーザＨ１の操作によって、撮影画像Ｇ１ｂにおける画像内検出領域の位置を変更する。したがって、検査支援装置２は、小領域判定部２ｈの検出ミスなどが生じても、ユーザＨ１の操作によって修正できる。

【0057】

また、番号付与部２ｎは、領域Ｑｂに割り当てていた番号をマーカＭ９１内の領域Ｑ９１に振り替える。すなわち、領域Ｑ９１に画像内検出領域の番号が割り当てられ、領域Ｑｂには画像内検出領域の番号が割り当てられていない状態になる。

【0058】

次に、図１４の表示部４ａは、マーカ画像Ｇ１１ｃを含むマーカ画面Ｂ６ｃを表示している。マーカ画像Ｇ１１ｃは、撮影画像Ｇ１ｃに、マーカＭ９１、Ｍ９２を追加した画像である。撮影画像Ｇ１ｃでは、マスキングテープ９２が写っている領域Ｑ９２、及びコンセントが写っている領域Ｑｂが存在している。しかしながら、小領域判定部２ｈは、コンセントが写っている領域Ｑｂを誤って画像内検出領域として検出している。すなわち、小領域判定部２ｈは、コンセントが写っている領域Ｑｂをマスキングテープ９が写っている領域であると誤判定している。この結果、図１４のマーカ画像Ｇ１１ｃでは、領域Ｑｂは画像内検出領域としてマーカＭ９１に囲まれている。

【0059】

そこで、図１５に示すように、画像変更部２ｊは、ユーザＨ１による操作部４ｂの操作（例えば、マーカＭ９１のロングタップ又はダブルタップ）によって、マーカＭ９１を削除することができる。この結果、領域Ｑｂは画像内検出領域から除外される。

【0060】

このように、画像変更部２ｊは、ユーザＨ１の操作によって、撮影画像Ｇ１ｂにおける画像内検出領域を削除する。したがって、検査支援装置２は、小領域判定部２ｈの検出ミスなどが生じても、ユーザＨ１の操作によって修正できる。

【0061】

なお、小領域判定部２ｈが誤判定する対象には、コンセント以外に、スイッチ、壁紙の柄、影などの他の要素も含まれる。

【0062】

（２．７）図面変更
図面変更部２ｍは、表示部４ａに表示されている空間図面Ｄ１内の図面内検出位置を変更する機能を有する。図面変更部２ｍは、変更内容を小領域情報（位置情報を含む）に反映させる。

【0063】

図１６の表示部４ａは、図面内検出画面Ｂ４ａを表示している。図面内検出画面Ｂ４ａの空間図面Ｄ１では、図面内検出位置Ｐ９１～Ｐ９６の各番号が、図面内検出位置Ｐ９１～Ｐ９６の各位置に対応付けられている。しかしながら、図面内検出位置Ｐ９１の位置が実際のマスキングテープ９１の貼付位置からずれている。そこで、画像変更部２ｊは、ユーザＨ１による操作部４ｂの操作（例えばドラッグ）によって、図面内検出位置Ｐ９１をユーザＨ１に指定された位置にまで移動させることができる。図１６では、移動後の図面内検出位置Ｐ９１を図面内検出位置Ｐａとして表している。したがって、検査支援装置２は、位置変換部２ｋの変換ミスなどが生じても、ユーザＨ１の操作によって修正できる。

【0064】

また、図１７の表示部４ａは、図面内検出画面Ｂ４ｂを表示している。画像変更部２ｊは、ユーザＨ１による操作部４ｂの操作（例えばロングタップ又はダブルタップ）によって、図面内検出画面Ｂ４ｂの空間図面Ｄ１に新たな図面内検出位置Ｐ９７を追加することができる。番号付与部２ｎは、図面内検出位置Ｐ９７に新たな番号を付与し、番号情報を更新する。したがって、検査支援装置２は、マスキングテープ９の貼り忘れ、又は位置変換部２ｋの変換ミスなどが生じても、ユーザＨ１の操作によって修正できる。

【0065】

そして、小領域判定部２ｈは、ユーザＨ１によって空間図面Ｄ１に図面内検出位置Ｐ９７が設定されたことを、判定条件に含めることが好ましい。この場合、小領域判定部２ｈは、空間図面Ｄ１における図面内検出位置Ｐ９７の位置情報を小領域情報に含める。したがって、検査支援装置２は、図面内検出位置Ｐ９７の情報も小領域情報に反映させることができる。

【0066】

（３）検査支援ネットワークシステム
以下、図１８を用いて、検査支援ネットワークシステム５について説明する。

【0067】

検査支援ネットワークシステム５は、検査支援装置２、及びサーバ装置５１を備える。検査支援ネットワークシステム５は、外部端末５２を更に備えることが好ましい。検査支援装置２、サーバ装置５１、及び外部端末５２は、インターネットを含むネットワークＮＴ１を介して、互いに通信可能に構成されている。

【0068】

検査支援装置２の通信部２ａは、データ保持部２ｇに保持されて、互いに対応付けられている空間図面Ｄ１、撮影画像Ｇ１、小領域情報（位置情報を含む）、番号情報、関連情報、及び図面撮影領域Ｖ１の各データをサーバ装置５１へ送信する。

【0069】

サーバ装置５１は、サーバ側データ保持部５１ａ、及びデータ演算部５１ｂを備える。サーバ装置５１は、検査支援装置２から各データを取得する。サーバ装置５１は、検査支援装置２から取得した各データをサーバ側データ保持部５１ａに格納する。データ演算部５１ｂは、サーバ側データ保持部５１ａが保持している各データに基づいて、対象空間ＴＳ１の検査結果を、予め決められたフォーマットの帳票データＦ１として作成する。帳票データＦ１は、図１９に示すように、番号付与部２ｎが付与した番号に対応付けて、対象空間ＴＳ１において不具合箇所が存在する部屋及び部位、不具合の内容、不具合改修の担当、具体的な対応などを記載している。サーバ装置５１は、帳票データＦ１を、図面内検出画面Ｂ４のデータなどと併せて、外部端末５２へ送信する。

【0070】

外部端末５２は、対象空間ＴＳ１の施工を請け負っている施工会社及び設計会社などが管理するパーソナルコンピュータ、タブレット端末、又はスマートフォンなどである。外部端末５２は、サーバ装置５１から受け取った帳票データＦ１及び図面内検出画面Ｂ４などを画面に表示することで、施工会社及び設計会社などの担当者に対象空間ＴＳ１の検査結果を通知する。担当者は、通知された帳票データＦ１及び図面内検出画面Ｂ４などに基づいて、担当する不具合箇所の改修を行う。

【0071】

（４）検査支援方法
上述の検査支援装置２による検査支援方法をまとめると、図２０のフローチャートで表される。

【0072】

検査支援方法は、図面取得ステップＳ１と、画像取得ステップＳ２と、領域設定ステップＳ３と、データ保持ステップＳ４と、を備える。図面取得ステップＳ１は、対象空間ＴＳ１の図面である空間図面Ｄ１のデータを取得する。画像取得ステップＳ２は、対象空間ＴＳ１の少なくとも一部である実撮影領域Ｒ１を撮影した撮影画像Ｇ１のデータを取得する。領域設定ステップＳ３は、空間図面Ｄ１において実撮影領域Ｒ１に対応する領域を図面撮影領域Ｖ１として設定する。データ保持ステップＳ４は、空間図面Ｄ１、撮影画像Ｇ１、及び図面撮影領域Ｖ１の各データを対応付けて保持する。

【0073】

（５）変形例
上述のマーカ画像Ｇ１１（図７参照）は、１つの画像データで構成されている。しかし、表示制御部２ｂは、画像内検出領域Ｑ９１～Ｑ９６にそれぞれ対応する位置にマーカＭ９１～Ｍ９６を配置した副画像を作成し、撮影画像Ｇ１に副画像を重ねて表示部４ａに表示させてもよい。この場合、マーカ画像は、撮影画像Ｇ１のデータと、副画像のデータとの２つの画像データで構成される。

【0074】

また、小領域は、マスキングテープ９以外であってもよい。小領域判定部２ｈは、例えばマスキングテープ９を貼っていない傷、汚れ、割れなどの領域を小領域として認識してもよい。

【0075】

また、検査支援システム１の構成は、パーソナルコンピュータのように、検査支援装置２、撮像部３、表示部４ａ、及び操作部４ｂを２つ以上の装置に分散させた構成であってもよい。

【0076】

また、検査支援装置２の少なくとも一部は、クラウドコンピューティング技術によって実現されてもよい。

【0077】

（６）まとめ
上述の実施形態に係る第１の態様の検査支援装置（２）は、検査の対象である対象空間（ＴＳ１）の状態を記録する検査支援装置である。検査支援装置（２）は、図面取得部（２ｄ）と、画像取得部（２ｅ）と、領域設定部（２ｆ）と、データ保持部（２ｇ）と、を備える。図面取得部（２ｄ）は、対象空間（ＴＳ１）の図面である空間図面（Ｄ１）のデータを取得する。画像取得部（２ｅ）は、対象空間（ＴＳ１）の少なくとも一部である実撮影領域（Ｒ１）を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）のデータを取得する。領域設定部（２ｆ）は、空間図面（Ｄ１）において実撮影領域（Ｒ１）に対応する領域を図面撮影領域（Ｖ１）として設定する。データ保持部（２ｇ）は、空間図面（Ｄ１）、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）、及び図面撮影領域（Ｖ１）の各データを対応付けて保持する。

【0078】

上述の検査支援装置（２）は、検査の対象である対象空間（ＴＳ１）の少なくとも一部を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）を、対象空間（ＴＳ１）の空間図面（Ｄ１）内に容易に対応付けることができる。

【0079】

上述の実施形態に係る第２の態様の検査支援装置（２）では、第１の態様において、領域設定部（２ｆ）は、ユーザ（Ｈ１）によって設定された空間図面（Ｄ１）内の領域を、図面撮影領域（Ｖ１）とすることが好ましい。

【0080】

上述の検査支援装置（２）は、ユーザ（Ｈ１）の操作によって、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）を、対象空間（ＴＳ１）の空間図面（Ｄ１）内に容易に対応付けることができる。

【0081】

上述の実施形態に係る第３の態様の検査支援装置（２）では、第１又は第２の態様において、データ保持部（２ｇ）は、図面撮影領域（Ｖ１）のデータとして、空間図面（Ｄ１）における図面撮影領域（Ｖ１）の範囲及び撮影方向のデータを保持することが好ましい。

【0082】

上述の検査支援装置（２）は、空間図面（Ｄ１）に対する撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）の対応付けを容易に行うことができる。

【0083】

上述の実施形態に係る第４の態様の検査支援装置（２）は、第１乃至第３の態様のいずれか１つにおいて、小領域判定部（２ｈ）を更に備えることが好ましい。小領域判定部（２ｈ）は、実撮影領域（Ｒ１）に予め決められた判定条件を満たす小領域（９）が存在するか否かを判定し、当該判定結果を小領域情報とする。データ保持部（２ｇ）は、小領域情報を保持する。

【0084】

上述の検査支援装置（２）は、対象空間（ＴＳ１）における不具合箇所の有無を判定することができる。

【0085】

上述の実施形態に係る第５の態様の検査支援装置（２）では、第４の態様において、小領域判定部（２ｈ）は、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）のデータを入力として撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）から小領域（９）が写っている領域を抽出するアルゴリズムであって、機械学習によって予め作成された学習モデルを用いて、実撮影領域（Ｒ１）に小領域（９）が存在するか否かを判定することが好ましい。

【0086】

上述の検査支援装置（２）は、対象空間（ＴＳ１）における不具合箇所を自動で検出することができる。

【0087】

上述の実施形態に係る第６の態様の検査支援装置（２）では、第４又は５の態様において、小領域判定部（２ｈ）は、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）内に予め決められた特徴を有する領域が存在することを、判定条件に含めることが好ましい。

【0088】

上述の検査支援装置（２）は、対象空間（ＴＳ１）における不具合箇所を自動で検出することができる。

【0089】

上述の実施形態に係る第７の態様の検査支援装置（２）では、第４乃至第６の態様のいずれか１つにおいて、小領域判定部（２ｈ）は、ユーザ（Ｈ１）によって撮影画像（Ｇ１ａ）に画像内設定領域（Ｑａ）が設定されていることを、判定条件に含めることが好ましい。

【0090】

上述の検査支援装置（２）は、対象空間（ＴＳ１）における不具合箇所の判定結果を、ユーザ（Ｈ１）の操作によって修正できる。

【0091】

上述の実施形態に係る第８の態様の検査支援装置（２）では、第４乃至第７の態様のいずれか１つにおいて、データ保持部（２ｇ）は、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）に小領域情報を対応付けて保持することが好ましい。

【0092】

上述の検査支援装置（２）は、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）に不具合箇所の情報を付加することができる。

【0093】

上述の実施形態に係る第９の態様の検査支援装置（２）は、第４乃至第８の態様のいずれか１つにおいて、小領域（９）に関する情報を関連情報として取得する関連情報取得部（２ｉ）を更に備えることが好ましい。データ保持部（２ｇ）は、関連情報を小領域情報に対応付けて保持する。

【0094】

上述の検査支援装置（２）は、不具合箇所に関する情報を検査結果に反映させることができる。

【0095】

上述の実施形態に係る第１０の態様の検査支援装置（２）では、第４乃至第９の態様のいずれか１つにおいて、小領域判定部（２ｈ）は、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）において小領域（９）に対応する領域を画像内検出領域（Ｑ９１～Ｑ９６）とし、画像内検出領域（Ｑ９１～Ｑ９６）の位置情報を小領域情報に含めることが好ましい。

【0096】

上述の検査支援装置（２）は、不具合箇所の位置情報を検査結果に反映させることができる。

【0097】

上述の実施形態に係る第１１の態様の検査支援装置（２）では、第１０の態様において、画像内検出領域（Ｑ９１～Ｑ９６）の位置情報は、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）の座標で表されることが好ましい。

【0098】

上述の検査支援装置（２）は、不具合箇所の位置情報を撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）に反映させることができる。

【0099】

上述の実施形態に係る第１２の態様の検査支援装置（２）は、第１０又は第１１の態様において、ユーザ（Ｈ１）の操作によって、撮影画像（Ｇ１ｂ）における画像内検出領域の位置の変更、及び撮影画像（Ｇ１ｃ）における画像内検出領域の削除の少なくとも一方を行う画像変更部（２ｊ）を更に備えることが好ましい。

【0100】

上述の検査支援装置（２）は、小領域判定部（２ｈ）の検出ミスなどが生じても、ユーザ（Ｈ１）の操作によって修正できる。

【0101】

上述の実施形態に係る第１３の態様の検査支援装置（２）は、第１０乃至第１２の態様のいずれか１つにおいて、表示制御部（２ｂ）を更に備えることが好ましい。表示制御部（２ｂ）は、撮影画像（Ｇ１）の画像内検出領域（Ｑ９１～Ｑ９６）にマーカ（Ｍ９１～Ｍ９６）を配置した１つのマーカ画像（Ｇ１１、Ｇ１１ａ、Ｇ１１ｂ、Ｇ１１ｃ）を作成して、マーカ画像（Ｇ１１、Ｇ１１ａ、Ｇ１１ｂ、Ｇ１１ｃ）を表示部（４ａ）に表示させる。

【0102】

上述の検査支援装置（２）は、不具合箇所をマーカ（Ｍ９１～Ｍ９６）で示すマーカ画像（Ｇ１１、Ｇ１１ａ、Ｇ１１ｂ、Ｇ１１ｃ）を作成できる。

【0103】

上述の実施形態に係る第１４の態様の検査支援装置（２）は、第１０乃至第１２の態様のいずれか１つにおいて、表示制御部（２ｂ）を更に備えることが好ましい。表示制御部（２ｂ）は、画像内検出領域（Ｑ９１～Ｑ９６）に対応する位置にマーカ（Ｍ９１～Ｍ９６）を配置した副画像を作成し、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）に副画像を重ねて表示部（４ａ）に表示させる。

【0104】

上述の検査支援装置（２）は、不具合箇所をマーカ（Ｍ９１～Ｍ９６）で示すマーカ画像（Ｇ１１、Ｇ１１ａ、Ｇ１１ｂ、Ｇ１１ｃ）を作成できる。

【0105】

上述の実施形態に係る第１５の態様の検査支援装置（２）は、第１０乃至第１４の態様のいずれか１つにおいて、位置変換部（２ｋ）を更に備えることが好ましい。位置変換部（２ｋ）は、図面撮影領域（Ｖ１）、及び画像内検出領域（Ｑ９１～Ｑ９６）に基づいて、空間図面（Ｄ１）において画像内検出領域（Ｑ９１～Ｑ９６）に対応する位置を、図面内検出位置（Ｐ９１～Ｐ９６）として求める。

【0106】

上述の検査支援装置（２）は、空間図面（Ｄ１）に不具合箇所を反映させることができる。

【0107】

上述の実施形態に係る第１６の態様の検査支援装置（２）は、第１５の態様において、空間図面（Ｄ１）における図面内検出位置（Ｐ９１～Ｐ９６）を変更する図面変更部（２ｍ）を更に備えることが好ましい。図面変更部（２ｍ）は、ユーザ（Ｈ１）に選択された図面内検出位置（Ｐ９１～Ｐ９６）のいずれかを、ユーザ（Ｈ１）に指定された空間図面（Ｄ１）内の位置へ移動させる。

【0108】

上述の検査支援装置（２）は、位置変換部（２ｋ）の変換ミスなどが生じても、ユーザ（Ｈ１）の操作によって修正できる。

【0109】

上述の実施形態に係る第１７の態様の検査支援装置（２）は、第１５又は第１６の態様において、画像内検出領域（Ｑ９１～Ｑ９６）及び図面内検出位置（Ｐ９１～Ｐ９６）の少なくとも一方に番号を付与する番号付与部（２ｎ）を更に備えることが好ましい。

【0110】

上述の検査支援装置（２）は、複数の不具合箇所の区別を容易にすることができる。

【0111】

上述の実施形態に係る第１８の態様の検査支援装置（２）では、第１７の態様において、番号付与部（２ｎ）は、番号の修正に関する修正情報を受け取ると、修正情報に基づいて、小領域（９）に付与する番号を修正することが好ましい。

【0112】

上述の検査支援装置（２）は、不具合箇所と番号との対応付けを柔軟に行うことができる。

【0113】

上述の実施形態に係る第１９の態様の検査支援装置（２）では、第１５乃至第１８の態様のいずれか１つにおいて、小領域判定部（２ｈ）は、ユーザ（Ｈ１）によって図面内検出位置（Ｐ９１～Ｐ９６）が設定されたことを、判定条件に含めることが好ましい。

【0114】

上述の検査支援装置（２）は、対象空間（ＴＳ１）における不具合箇所の判定結果を、ユーザ（Ｈ１）の操作によって修正できる。

【0115】

上述の実施形態に係る第２０の態様の検査支援装置（２）は、第１乃至第１９の態様のいずれか１つにおいて、サーバ装置（５１）との間で通信することができる通信部（２ａ）を更に備えることが好ましい。

【0116】

上述の検査支援装置（２）は、データの演算処理に必要なリソースを抑えることができる。

【0117】

上述の実施形態に係る第２１の態様の検査支援システム（１）は、第１乃至第２０の態様のいずれか１つの検査支援装置（２）と、空間図面（Ｄ１）及び撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）を表示する表示部（４ａ）と、を備える。

【0118】

上述の検査支援システム（１）は、検査の対象である対象空間（ＴＳ１）の少なくとも一部を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）を、対象空間（ＴＳ１）の空間図面（Ｄ１）内に容易に対応付けることができる。

【0119】

上述の実施形態に係る第２２の態様の検査支援ネットワークシステム（５）は、第２０の態様の検査支援装置（２）と、サーバ装置（５１）と、を備える。サーバ装置（５１）は、検査支援装置（２）から受信したデータを保持するサーバ側データ保持部（５１ａ）と、データを用いた演算処理を行うデータ演算部（５１ｂ）と、を備える。

【0120】

上述の検査支援ネットワークシステム（５）は、検査の対象である対象空間（ＴＳ１）の少なくとも一部を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）を、対象空間（ＴＳ１）の空間図面（Ｄ１）内に容易に対応付けることができる。

【0121】

上述の実施形態に係る第２３の態様の検査支援ネットワークシステム（５）では、第２２の態様において、データ演算部（５１ｂ）は、サーバ側データ保持部（５１ａ）が保持しているデータに基づいて、前記検査の結果を作成することが好ましい。

【0122】

上述の検査支援ネットワークシステム（５）は、データの演算処理に必要な検査支援装置（２）のリソースを抑えることができる。

【0123】

上述の実施形態に係る第２４の態様の検査支援方法は、検査の対象である対象空間（ＴＳ１）の状態を記録する検査支援方法である。検査支援方法は、図面取得ステップ（Ｓ１と、画像取得ステップ（Ｓ２）と、領域設定ステップ（Ｓ３）と、データ保持ステップ（Ｓ４）と、を備える。図面取得ステップ（Ｓ１）は、対象空間（ＴＳ１）の図面である空間図面（Ｄ１）のデータを取得する。画像取得ステップ（Ｓ２）は、対象空間（ＴＳ１）の少なくとも一部である実撮影領域（Ｒ１）を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）のデータを取得する。領域設定ステップ（Ｓ３）は、空間図面（Ｄ１）において実撮影領域（Ｒ１）に対応する領域を図面撮影領域（Ｖ１）として設定する。データ保持ステップ（Ｓ４）は、空間図面（Ｄ１）、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）、及び図面撮影領域（Ｖ１）の各データを対応付けて保持する。

【0124】

上述の検査支援方法は、検査の対象である対象空間（ＴＳ１）の少なくとも一部を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）を、対象空間（ＴＳ１）の空間図面（Ｄ１）内に容易に対応付けることができる。

【0125】

上述の実施形態に係る第２５の態様のプログラムは、コンピュータシステムに第２４の態様の検査支援方法を実行させる。

【0126】

上述のプログラムは、検査の対象である対象空間（ＴＳ１）の少なくとも一部を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）を、対象空間（ＴＳ１）の空間図面（Ｄ１）内に容易に対応付けることができる。

【0127】

上述の実施形態に係る第２６の態様の検査支援装置（２）は、検査の対象である対象空間（ＴＳ１）の状態を記録する検査支援装置である。検査支援装置（２）は、図面取得部（２ｄ）と、画像取得部（２ｅ）と、領域設定部（２ｆ）と、小領域判定部（２ｈ）と、データ保持部（２ｇ）と、を備える。図面取得部（２ｄ）は、対象空間（ＴＳ１）の図面である空間図面（Ｄ１）のデータを取得する。画像取得部（２ｅ）は、対象空間（ＴＳ１）の少なくとも一部である実撮影領域（Ｒ１）を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）のデータを取得する。領域設定部（２ｆ）は、空間図面（Ｄ１）において実撮影領域（Ｒ１）に対応する領域を図面撮影領域（Ｖ１）として設定する。小領域判定部（２ｈ）は、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）のデータを、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）から予め決められた判定条件を満たす小領域（９）が写っている領域を抽出するために機械学習によって予め作成された学習モデルに入力することで、実撮影領域（Ｒ１）に小領域（９）が存在するか否かを判定し、当該判定結果を小領域情報とする。データ保持部（２ｇ）は、空間図面（Ｄ１）、撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）、図面撮影領域（Ｖ１）、及び小領域情報の各データを対応付けて保持する。

【0128】

上述の検査支援装置（２）は、検査の対象である対象空間（ＴＳ１）の少なくとも一部を撮影した撮影画像（Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ）を、対象空間（ＴＳ１）の空間図面（Ｄ１）内に容易に対応付けることができる。

【符号の説明】

【0129】

１ 検査支援システム
２ 検査支援装置
２ａ 通信部
２ｂ 表示制御部
２ｄ 図面取得部
２ｅ 画像取得部
２ｆ 領域設定部
２ｇ データ保持部
２ｈ 小領域判定部
２ｉ 関連情報取得部
２ｊ 画像変更部
２ｋ 位置変換部
２ｍ 図面変更部
２ｎ 番号付与部
４ａ 表示部
５ 検査支援ネットワークシステム
５１ サーバ装置
５１ａ サーバ側データ保持部
５１ｂ データ演算部
９ マスキングテープ（小領域）
ＴＳ１ 対象空間
Ｄ１ 空間図面
Ｒ１ 実撮影領域
Ｇ１、Ｇ１ａ、Ｇ１ｂ、Ｇ１ｃ 撮影画像
Ｇ１１、Ｇ１１ａ、Ｇ１１ｂ、Ｇ１１ｃ マーカ画像
Ｖ１ 図面撮影領域
Ｈ１ ユーザ
Ｑａ 画像内設定領域
Ｑ９１～Ｑ９６ 画像内検出領域
Ｍ９１～Ｍ９６ マーカ
Ｐ９１～Ｐ９６ 図面内検出位置
Ｓ１ 図面取得ステップ
Ｓ２ 画像取得ステップ
Ｓ３ 領域設定ステップ
Ｓ４ データ保持ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】