特開 2024-15248 対象の検査と報告書の作成のためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024015248

(43)【公開日】2024-02-01

(54)【発明の名称】対象の検査と報告書の作成のためのシステム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240125BHJP

【ＦＩ】

G06Q50/10

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023206429

(22)【出願日】2023-12-06

(62)【分割の表示】P 2019022751の分割

【原出願日】2019-02-12

(71)【出願人】

【識別番号】516356402

【氏名又は名称】株式会社スカイマティクス

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】倉本 泰隆

(72)【発明者】

【氏名】北原 真名美

(72)【発明者】

【氏名】渡邉 善太郎

(57)【要約】

【課題】 対象から得られた多数の画像を用いて対象を検査する作業、又はその検査結果を報告書にまとめる作業を支援するコンピュータ利用システムを提供する。
【解決手段】 データ処理サーバ３が、対象の撮影で得られた多数の画像を結合し、検査対象の全体と異なる部分とを表した複数の画像を作成し、ユーザ端末７から要求された画像とコメント入力ツールとを表示した検査作業画面をユーザ端末７に表示する。ユーザにより作業画面に入力されたコメントが、表示された画像に関連付けられて保存される。データ処理サーバ３は、保存されたコメントと、それに関連付けられた画像とを用いて、報告書フォームに従って、報告書を自動的に作成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象の検査と報告書の作成のためのシステムにおいて、
ユーザにより使用されるユーザ端末と通信する手段と、
前記対象の全体と前記対象の異なる部分とをそれぞれ表した複数の画像を用意する手段と、
前記ユーザに要求された画像とコメント入力ツールとを表示した作業画面を前記ユーザ端末に表示する手段と、
前記ユーザにより前記作業画面に入力されたコメントを受けて、前記コメントを前記作業画面に表示された前記画像に関連付けて保存する手段と、
保存された前記コメントと、それに関連付けられた前記画像とを用いて、報告書を自動的に作成する手段と
を備え、
前記ユーザが前記作業画面に表示された前記画像中の領域を選択すると、前記表示手段が、前記画像上に前記領域を表示し、かつ、前記領域に関するコメントを入力するための前記コメント入力ツールを表示し、
前記保存する手段が、前記作業画面に表示された前記画像、前記領域の位置座標、及び、前記コメント入力ツールで入力された前記コメントを、互いに関連付けて保存し、
前記報告書を自動的に作成する手段が、互いに関連付けて保存された前記画像、前記位置座標、及び、前記コメントに基づいて、前記画像、前記領域、及び、前記コメントが配置された前記報告書を作成する、
ように構成されたシステム。

【請求項2】

前記ユーザが前記作業画面に表示された前記画像中の前記領域を選択すると、前記表示手段が、さらに、前記領域が前記対象の中のどの位置の部分に相当するのかを示した補助的画像も、前記作業画面上に表示する、
ように構成された請求項１記載のシステム。

【請求項3】

報告書フォームを格納する手段をさらに備え、
前記報告書を自動的に作成する手段が、保存された前記画像、前記領域の前記位置座標、及び、前記コメントに基づいて、前記画像、前記領域、及び、前記コメントが前記報告書フォームに定義されたレイアウトに従って配置された前記報告書を作成する、
ように構成された請求項１又は２のいずれか一項記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を用いて対象の検査、点検又は評価を行い、その結果を記述した報告書を作成する作業を支援するための、コンピュータを利用したシステムに関する。

【背景技術】

【0002】

人工施設や自然物の調査や保守点検などの目的で、対象の土地又は施設を、その上空あるいは地上の移動体に搭載された又は人に携行されるカメラで撮影し、得られた多数の画像を人が見ながら対象を点検又は評価し、その結果を撮影画像及びそれに付属するマークやテキストコメントなどの組み合わせを用いて表現した報告書を作成する仕事が、さまざまな産業分野でなされている。

【0003】

報告書の作成のためのシステムが、例えば特許文献１及び特許文献２などに開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５－３５２８４８号公報

【特許文献2】特開２００７－３４４５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば太陽光発電施設のように広大な対象の状態を、それを無人飛行体搭載のカメラで撮影して得られた画像に基づいて検査するような場合、撮影された画像の数は対象全体では非常に多くなる。それら多数の画像を見て対象の全貌を把握したり、個々の部分を子細に点検することは、人にとり容易な仕事ではない。

【0006】

さらに、その点検結果を他人に分かり易く理解させ得る報告書を作成するために、多くの画像を報告書上に巧みに配置し、それらの画像にマークやコメントなどを付したりする作業が必要である。報告書作成に多くの時間がかかる。例えば、太陽光発電施設を無人飛行体から撮影した画像に基づいて点検して報告書を作成するために、通常一週間程度の時間がかかるといわれている。

【0007】

しかし、特許文献１，２に開示された従来技術は、上記の問題の解決に向けられていない。

【0008】

一つの目的は、対象から得られた多数の画像を用いて対象を検査する作業、又はその検査結果を報告書にまとめる作業を支援するコンピュータ利用システムを提供することにある。

【課題を解決するための手段】

【0009】

一実施形態に従う、対象の検査と報告書の作成のためのシステムは、ユーザ端末と通信する手段と、対象の全体と対象の異なる部分とそれぞれ表した複数の画像を用意する手段と、ユーザに要求された画像とコメント入力ツールとを表示した作業画面を前記ユーザ端末に表示する手段と、前記ユーザにより前記作業画面に入力されたコメントを受けて、前記コメントを前記作業画面に表示された前記画像に関連付けて保存する手段と、報告書フォームを格納する手段と、保存された前記コメントと、それに関連付けられた前記画像とを用いて、前記報告書フォームに従って、報告書を自動的に作成する手段とを備える。

【図面の簡単な説明】

【0010】

【図1】一実施形態にかかる検査報告書支援システムの全体構造を示す。

【図2】同システムにおけるデータ処理サーバとユーザとの間の基本的な通信の流れを示す。

【図3】データ処理サーバが行う検査処理の流れを示す。

【図4】検査処理においてユーザに検査対象の全体画像を俯瞰させるためのスクリーン表示例を示す。

【図5】検査処理においてユーザに検査対象を複数の副領域に区分させるためスクリーン表示例を示す。

【図6】検査処理においてユーザに検査対象の部分を詳細に検査させるためのスクリーン表示例を示す。

【図7】検査処理においてユーザに検査対象の注目箇所を一覧させ、各個所の検査結果を確認させるためのスクリーン表示例を示す。

【図8】データ処理サーバが行う対比検査処理の流れを示す。

【図9】検査処理においてユーザに対象の二つの画像を対比観察させて検査を行わせるためのスクリーン表示例を示す。

【図10】データ処理サーバが行う報告書作成処理の流れを示す。

【図11】データ処理サーバが自動作成した報告書例の一部分を示す。

【発明を実施するための形態】

【0011】

図１は、一実施形態にかかる検査報告書支援システムの全体構造を示す。

【0012】

図１に示すように、検査報告書支援システム１はデータ処理サーバ３を有し、データ処理サーバ３は１台又は複数台のサーバコンピュータマシンにより構成され得る。データ処理サーバ３は一人又は複数人のユーザのそれぞれに対して、一以上の対象物を検査して検査結果を報告書にまとめる作業を手伝うサービスを提供する。データ処理サーバ３は、WEBサーバ５を介して、それぞれのユーザの使用するパーソナルコンピュータやスマートフォンなどの情報処理端末（以下、ユーザ端末）７のウェブブラウザとデータ通信を行うことができる。図１では、便宜上、一つのユーザ端末７だけが図示されており、以下では、一人のユーザがデータ処理サーバ３を利用する場合を例にとり、本システムの詳細を説明する。

【0013】

データ処理サーバ３は、処理要求受付部１１、データ保存・検索部１３、画像登録部１５、画像結合部１７、地図・画像表示部１９、コメント登録部２１、報告書作成部２３、報告書表示部２５、報告書編集部２７、及び報告書出力部２９などの処理コンポーネントを有する。

【0014】

処理要求受付部１１は、ユーザからの種々の処理要求（例えば、検査を行うための種々の処理要求、又は、報告書を作成するための種々の処理要求など）を受け付けて、要求された処理を行う処理コンポーネントにその要求を渡す。

【0015】

データ保存・検索部１３は、様々な検査対象の地図、画像、検査結果及び報告書などのデータを保存し、他の処理コンポーネントからのデータ要求に応じて、要求された地図、画像又は検査結果データを読み出してその処理コンポーネントに渡す。

【0016】

画像登録部１５は、ユーザ端末７から検査対象物の画像（それには、一般的な可視光の写真画像だけでなく、赤外線などの非可視光を用いた写真画像や、その他の種類の画像なども含まれ得る）を受信して、それらの画像をその検査対象物とそのユーザに関連付けてデータ保存・検索部１３に登録する。通常、一つの検査対象について多数の画像が登録される。例えば、無人飛行体搭載のカメラで太陽光発電施設のような広大な対象の写真を撮影した場合、その施設の諸部分をそれぞれ撮影した多数の高画質写真画像が、その太陽光発電施設に関連付けて登録される。

【0017】

画像結合部１７は、登録された各検査対象の多数の画像を結合することで、ユーザがその対象物を検査するために観察することになる各種の画像（以下、検査画像という）を生成する。検査画像はデータ保存・検索部１３に保存される。

【0018】

対象物の検査画像として、最低解像度から最高解像度まで解像度が複数レベルで異なる画像が作成されてよい。例えば、対象の全体を俯瞰するための比較的に低解像度の画像や、対象の個々の個所を詳細に検査するための比較的に高解像度の画像や、その中間の解像度の画像などが、検査画像として作成され得る。検査画像の形式とユーザへの提供は、例えば、WMTS（Web Map Tile Service）又はWMS（Web Map Service）に従った方法で行い得る。検査画像はオルソ画像であってもよいし、モザイク画像であてもよい。オルソ画像の検査画像の作成は、SfM（Structure from motion）を用いてなされてよい。

【0019】

地図・画像表示部１９は、ユーザからの処理要求に応じて、ユーザ端末7のスクリーンに表示されるべき検査対象物の地図又は検査画像をWebサーバ５に送る。Webサーバ５が、その地図又は検査画像を組み込んだ作業画面をユーザ端末７に送ってそのウェブブラウザのスクリーン上に表示する。

【0020】

コメント登録部２１は、ユーザが対象物を検査するときにユーザ端末７に入力したコメント等（テキスト、選択肢、マーク又は図形など）を受けて、それをその対象物に関連付けられた検査結果データとして、データ保存・検索部１３に保存する。

【0021】

報告書作成部２３は、ユーザからの要求に応じて、データ保存・検索部１３に保存された各検査対象の地図、検査画像及び検査結果などのデータを用いて、各検査対象の検査報告書を自動的に作成する。自動作成された報告書は、その対象に関連付けられて、データ保存・検索部１３に保存される。

【0022】

報告書表示部２５は、ユーザからの要求に応じて、自動作成された検査報告書をWebサーバ５に送る。Webサーバ５は、その報告書をユーザ端末７に送り、そのウェブブラウザのスクリーン上に表示する。

【0023】

報告書編集部２７は、ユーザ端末7のスクリーン上に表示された報告書を、ユーザが自由に編集することを可能にする。ユーザにより編集された報告書は、その対象に関連付けられて、データ保存・検索部１３に保存される。

【0024】

報告書出力部２９は、ユーザからの要求に応じて、編集された報告書をWebサーバ５に送る。Webサーバ５は、ユーザがその報告書をユーザ端末７にダウンロードすることを可能にする。

【0025】

図２は、検査報告書支援システム１におけるデータ処理サーバ３とユーザ９との間の基本的な通信の流れを示す。

【0026】

図２において、ステップ３１で、ユーザ９が、或る検査対象の画像（通常多数の画像がある）をデータ処理サーバ３に登録する。ステップ３３で、データ処理サーバ３が、登録された画像を保存し、そしてステップ３５で、保存された画像を結合して、その検査対象の解像度の異なる検査画像を作成する。

【0027】

ステップ３７で、ユーザが、その検査対象を検査するために、所望の検査画像（例えば、その対象の全体を俯瞰するための画像、又はその対象の特定個所を詳細に観察するための画像など）を要求する。その要求に応答して、ステップ３９で、データ処理サーバ３が、要求された検査画像を保存された検査画像の中から選んで読み出し、そしてステップ４１で、その検査画像をユーザ端末７に表示させる。

【0028】

ステップ４３で、ユーザは表示された検査画像を観て調べて、検査対象について必要な判断を下し、そしてステップ４５で、その判断結果に応じたコメント等（判断結果や意見を記述したテキストや選択肢や図形マーク等）を入力する。すると、ステップ４７で、データ処理サーバ３が、調べられた画像と入力されたコメント等を相互に関連づけて保存する。

【0029】

一つの検査対象の検査プロセスで、ステップ３７からステップ４７が、複数回繰り返され得る。例えば、ユーザは、最初に対象の全体を俯瞰してコメント等入力し、次に、対象の各部分の詳細画像を見てその部分を検査してコメント等を入力する、という作業をすべての部分の検査が終わるまで繰り返すであろう。その繰り返し作業の都度に、ステップ３７からステップ４７が行われる。

【0030】

その後、ステップ４９で、ユーザがその検査対象の検査結果をまとめた報告書を要求する。その要求を受けて、ステップ５１で、データ処理サーバ３が、保存された検査結果を用いて報告書を自動的に作成し、そしてステップ５３で、その報告書をユーザ端末7に表示する。

【0031】

ステップ５５で、ユーザが自動作成された報告書を確認し、そして、ステップ５７で、その自動作成された報告書に所望の編集を加え、その編集された報告書をデータ処理サーバ３へ送る。ステップ５９で、データ処理サーバ３が、編集された報告書を保存し、そしてステップ６１で、その報告書を出力する。ステップ６３で、ユーザがその出力された報告書をダウンロードする。

【0032】

図３は、データ処理サーバ３が行う検査処理（図２のステップ３９、４１及び４７に相当する処理）の流れを示す。

【0033】

図３に示すように、データ処理サーバ３は、検査処理を開始すると、ステップＳ１、Ｓ２及びＳ３の処理を並行的に行う。ステップＳ１では、ユーザから画像表示要求が来たか、及び、検査対象の全体又は特定部分などどのような領域の画像の表示がユーザから要求されたか、が判断される。ステップＳ２では、表示された画像のズーム又はスクロールがユーザから要求されたか、が判断される。ステップＳ３では、表示された画像内で、ユーザが選択した領域の画像かが判断される。

【0034】

ステップＳ１で、或る検査対象の或る領域の画像の表示が要求されたと判断されると、データ処理サーバ３は、ステップＳ４で、当該検査対象の当該領域の画像を用意し、その画像を組み込んだ作業画面をユーザ端末7のスクリーンに表示させる。例えば、ユーザがその検査対象の全体を俯瞰するための画像の表示を要求した場合は、図４に例示するような作業画面が表示され、そこには、検査対象全体を包含した広い領域を示す画像７１が組み込まれる。また例えば、ユーザが検査対象の特定の部分を詳細に調べるための画像を要求した場合には、図６に例示したような作業画面が表示され、そこには、その特定部分の狭い領域を示した画像９１が組み込まれる。

【0035】

再び図３を参照して、ステップＳ２で表示画像のズーム（拡大又縮小）又はスクロールが要求されたと判断された場合には、データ処理サーバ３は、ステップＳ５で、その表示画像の要求されたズーム又はスクロールを行う。例えば、図４に例示した作業画面でユーザは、対象全体を示す画像７１をズームイン（拡大）して、この対象の一部分をより高解像度で詳細に見ることができる。あるいは例えば、図６に例示した作業画面でユーザは、対象の特定の一部を示す画像９１をスクロールして、この対象の別の部分を見ることができる。

【0036】

再び図３を参照して、ステップＳ３で、作業画面に表示された画像内の或る領域がユーザにより選択されたと判断された場合には、データ処理サーバ３は、ステップＳ６で、その選択された領域の輪郭枠をその画像上に表示する。さらに、データ処理サーバ３は、ステップＳ７で、その選択された領域の領域名や検査結果などのコメント等をユーザが入力するための１以上のツール（以下、コメント等入力ツールという）を、Ｗｅｂサーバ５を介して作業画面に表示する。例えば、図４に示された作業画面上には、ユーザの選択した領域の輪郭枠７５（この例では、選択された領域は検査対象である太陽光発電施設の全体敷地である）が画像上に表示されるとともに、その選択領域に関する領域名及び任意のコメントを入力するためのコメント等入力ツール７６、７７が表示されている。

【0037】

再び図３を参照して、表示されたコメント等入力ツールを用いて、ユーザがその領域の領域名又はその領域に関するコメントを入力したならば、データ処理サーバ３は、ステップＳ８で、その入力された領域名又はコメントを作業画面上に表示する。例えば、図４に例示された作業画面では、コメント等入力ツール７６に、入力された領域名が表示され、また、コメント表示フィールド７９に、入力されたコメントが、入力時のタイムスタンプとともに、表示されている。

【0038】

再び図３を参照して、データ処理サーバは、ステップＳ９で、作業画面に表示された画像、ユーザにより選択された領域（又は領域枠）の位置座標、ユーザにより入力された領域名及びコメントを、その選択領域の検査結果を構成するデータ要素として、その選択領域に関連付けて保存する。

【0039】

図４～図７は、図３に示された検査処理によってユーザ端末７のスクリーンに表示される、対象を検査するための作業画面の幾つかの例を示す。図４～図７に示された例では、或る太陽光発電施設が検査対象である。

【0040】

図４は、ユーザに検査対象である太陽光発電施設の全体を俯瞰させて、その敷地の全体領域を選択させるための作業画面の例を示す。

【0041】

図４に示されるように、作業画面上に表示された画像７１は、その太陽光発電施設の全体が写った比較的に低解像度の画像である。ユーザは、表示された画像をズームインして、より高解像度の画像を表示させて太陽光発電施設詳細を見ることができる。

【0042】

ユーザは、表示画像７１上で、領域選択ツール７３を用いて、検査対象つまり太陽光発電施設の全体敷地を選択できる（典型的には、その全体敷地の輪郭を描く）。すると、選択された領域の輪郭枠７５が画像７１上に表示される。それとともに、作業画面上に、その選択された領域について領域名やコメントを入力するためのツール（コメント等入力ツール）７６、７７が表示される。

【0043】

ユーザは、入力ツール７６を用いて、その選択領域の領域名（例えば「Ａ県Ｂ市Ｃ町 Ｅ施設」）を入力でき、また、入力ツール７７を用いて、その選択領域の検査結果や説明など自由なコメントを入力できる。ユーザがそれら入力ツール７６、７７の送信ボタンをクリックすると、入力された領域名やコメントが、データ処理サーバ３へ送られて、表示画像７１や選択領域（又は領域枠）の位置座標などと関連付けられて保存される。なお、図４の例では、コメント等入力ツール）７６、７７の他に、その選択領域について先に入力され保存されたコメントもコメント表示ツール７９に表示されている。

【0044】

ユーザは、図４に例示されたような作業画面上で、検査対象の輪郭枠７５をダブルクリックするか、又はその他の所定方法で検査対象を指定すると、その検査対象の各部の状態を詳細に調べながら検査するための作業画面が、スクリーン上に表示されることになる。

【0045】

図５は、既に選択された任意の領域内に１以上の副領域に設定することを可能にする作業画面の表示例を示す。

【0046】

図５に例示された作業画面は、図４の画面例で選択された太陽光発電施設の全体敷地の領域内に、複数の副領域が設定された場合を例示する。すなわち、ユーザが領域選択ツール７３を用いて、それぞれの副領域の輪郭を描くと、描かれた輪郭枠８１Ａ、８１Ｂが表示画像７５上に表示される。同時に、それぞれの副領域の領域名やコメントを入力するためのコメント等入力ツール８３Ａ、８５Ａ、８３Ｂ、８５Ｂも作業画面上に表示される。ユーザが入力ツール８３Ａ、８３Ｂを用いてそれぞれの領域の名称（例えば、「Ａ区」と「Ｂ区」）を入力すると、それぞれの領域名が表示画像７５上にそれぞれの副領域の輪郭枠８１Ａ、８１Ｂに関連付けられて表示される。また、ユーザが入力ツール８５Ａ、８５Ｂを用いてそれぞれの領域に関するコメントを入力する、それらのコメントが入力ツール８５Ａ、８５Ｂにそれぞれ表示される。図５の例では、さらに、「Ａ区」と名付けられた副領域に関して、過去に入力されたコメントも、コメント表示フィールド８７Ａに表示されている。

【0047】

ユーザは、さらに新たな副領域を追加設定することができる。追加された副領域のコメント等入力ツールは、図５に示された最下位置のコメント等入力ツール８５Ｂの下方に追加されていく。ユーザは、作業画面７５上のコメント等入力ツール群をスクロールすることで、任意のコメント等入力ツールにアクセスすることができる。

【0048】

ユーザが図５に例示したような作業画面上で、任意の副領域の輪郭枠８１Ａ、８１Ｂ又はその領域名をダブルクリックするか、あるいはその他の所定の方法で任意の副領域を指定すると、その指定された副領域の各部を詳細に調べながら検査を行うための作業画面が、スクリーン上に表示されることになる。

【0049】

図６は、検査対象の各部を詳細に調べながら検査を行うための作業画面の例を示す。

【0050】

図６に示された例は、図５に示された副領域「Ａ区」の各部を詳細に検査するための作業画面である。この作業画面では、Ａ区の中の一部分の領域の状態を詳細に表した比較的に高解像度の画像９１が表示される。加えて、その表示画像９１が表す領域が検査対象の中のどの位置の部分に相当するのかを枠９４で示した補助的な画像９５も、その作業画面上に表示される。

【0051】

ユーザが、領域選択ツール７３を用いて、表示画面９１の中の注目すべき個所を選択すると（例えば、その箇所を囲む枠を描くと）、その注目個所の枠９１が表示画面９１上に表示される。同時に、その注目箇所が検査対象のどの位置にあるのかを示すマーク９６が補助的画像９５上に表示される。さらに同時に、その注目箇所に関する個所番号、位置情報、メンテナンスの緊急度、及び状態評価のコメントなどを入力するためのツール（コメント等入力ツール）９７、９９、１０１、１０３も、その作業画面上に表示される。

【0052】

ここで、個所番号は、自動的に設定されるようになっていてよいし、あるいは、ユーザが任意の番号を入力できるようになっていてよい。緊急度は、例えばメニューから「高」「中」又は「低」などの定型レベルを選べるようになっていてよい。また、状態評価のコメントも、図５に例示したようなプルダウンメニュー１０５から幾つかの定型コメントのどれかを選択できるようになっていてよいし、加えて、自由テキスを入力できるようになっていてよい。

【0053】

その注目箇所の個所番号（例えば「（１）」）が設定又は入力されると、表示画面９１上に、その個所番号がその注目箇所の枠９３と関連付けられて表示され

【0054】

図７は、検査対象内の既に検査された注目個所の一覧を表示し、ぞれぞれの注目個所の検査結果を確認することを可能にするための作業画面の表示例を示す。

【0055】

図７に示されるように、検査対象の全体を俯瞰できる画像７１上に、それぞれの注目箇所を示す個所マーク１１３が表示される。ユーザがカーソル１１１で任意の個所マーク１１３を指定すると、それに該当する注目箇所の詳細状態を示す画像１１５、及び、その注目箇所の検査結果１１７が、作業画面上に表示される。

【0056】

図８は、上述した検査処理のプロセスの中で、データ処理サーバが行うことができる対比検査処理の流れを示す。

【0057】

対比検査処理とは、作業画面上に検査対象の異なる複数の画像を並べて表示して、ユーザがそれらの画像を対比して調べて検査を行うことを可能にする処理である。表示される複数の画像は、例えば、検査対象の同じ部分を異なる時期に撮影した画像、その同じ部分を異なる方法で撮影した画像（例えば、可視光写真画像と赤外線写真画像など）など、があり得る。

【0058】

図８に示されるように、データ処理サーバ３は、ステップＳ２１で、ユーザから要求された複数の画像を作業画面に並列に表示する。

【0059】

その後、ステップＳ２２で、表示された画像のいずれかのズーム又はスクロールがユーザから要求されると、ステップＳ２３で、その作業画面に並列的に表示された複数の画像が同期して同様のズーム倍率又はスクロール方向及び距離だけにズーム又はスクロールされる。

【0060】

また、ステップＳ２４で、表示されたいずれかの画像上でユーザが任意の領域を示す枠を描くと、ステップＳ２５で、複数の画像上にその領域枠が表示され、また、ステップＳ２６で、その領域に関して検査結果などを入力するためのツール（コメント等入力ツール）が作業画面に表示される。

【0061】

また、ステップＳ２７で、ユーザがコメント等入力ツールを用いてコメント等を入力すると、入力されたコメント等が作業画面に表示され、また、ステップＳ２８で、入力されたコメント等と、領域（又は領域枠）の座標と、作業画面上の複数の画像とが互いに関連付けられて、検査結果データとして保存される。

【0062】

ステップＳ２７で、ユーザが検査終了を要求すると、対比検査処理が終了する。

【0063】

図９は、対比検査処理のための作業画面の表示例を示す。

【0064】

図９に例示された作業画面上には、検査対象の同じ部分を表す二つの画像１２１、１２３が並べられて表示されている。例えば、一方の画像１２１が赤外線写真画像であり、他方の画像１２３が可視光写真画像であるというように、この並べられて表示される画像は同じあるいは別のセンサで撮影した他時期の画像であっても良い。

【0065】

ユーザが一方の画像（例えば画像１２１）をズーム又はスクロールすると、両方の画像１２１、１２３が同時に同様にズーム又はスクロールされる。

【0066】

また、ユーザが領域選択ツール７３を用いて、一方の画像（例えば画像１２１）上で領域枠を描くと、両方の画像１２１、１２３上に、その領域枠１２５、１２７が表示される。加えて、その領域に関するコメント等入力ツール１２９も表示される。

【0067】

図１０は、データ処理サーバ３が行う報告書作成処理の流れを示す。

【0068】

図１０に示されるように、ステップＳ３１で、前もって保存されている報告書フォーム（報告書の構成（例えば、どのような題目の項目がどの順序で並ぶが、各項目には、どのような画像及びテキストコメントがどのようなレイアウトで配置されるか、など）を定義したデータ）が読み出される。ここで、報告書フォームは、幾つか異なるやり方で用意することができる。一つの方法は、ユーザがプログラミングにより報告書の構成を定義する方法である。別の方法は、ユーザが既存の印刷された報告書の画像又は文書のファイル（例えば、報告書をイメージプリンタでスキャンして得た画像ファイル、又は、ワードプロセッサなどで作成された報告書の文書ファイル）をユーザ端末７からデータ処理サーバ３に送り、データ処理サーバ３がそのファイルを解析して報告書フォームを自動作成する方法である。

【0069】

ステップ３２で、報告書フォームに定義されている報告すべき諸項目の中から、未作成の項目が抽出される。そして、ステップＳ３２で、各未作成項目を構成要素に該当する画像、領域座標、領域名称、コメント等が、保存されている検査結果データの中から読み出され、そして、ステップＳ３４で、それら読み出されたデータに基づいて、報告書の該当項目の部分に、画像、領域名、領域枠、コメント等が、報告書フォームに定義されたレイアウトに従って配置され記載される。ステップＳ３３とＳ３４が、未作成項目がなくなるまで繰り返されることで、報告書が作成される。

【0070】

その後、ステップＳ３５で、その報告書が、ユーザが後に編集できる形式のファイルとして保存される。

【0071】

図１１は、図１０に示された処理によって自動作成された報告書例の一部分を示す。

【0072】

図１１に示されるように、自動作成された報告書には、図４～図７に例示したような作業画面で使用された表示画像、画像上の領域枠、領域名、入力コメント等が、報告書フォームに定義された順序とレイアウトに従って記載されている。ユーザは、このような自動作成された報告書のファイルをユーザ端末７にダウンロードし、必要に応じて編集することで、報告書を完成させることができる。

【0073】

以上、一実施形態を説明したが、本発明の範囲はこの実施形態にのみ限定されるものではなく、例えば、自動生成された報告書に含まれる画像上の領域枠、領域名、入力コメント等は人工知能等によって自動的に作成されたものでもよく、その要旨を逸脱しない範囲で、他の様々な態様で実施することができる。

【符号の説明】

【0074】

１ 検査報告書支援システム
３ データ処理サーバ
７ ユーザ端末
１１ 処理要求受付部
１３ データ保存・検索部
１５ 画像登録部
１７ 画像結合部
１９ 地図・画像表示部
２１ コメント登録部
２３ 報告書作成部
２５ 報告書表示部
２７ 報告書編集部
２９ 報告書出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】