特許 7450182 地上物体検出システム、地上物体検出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-07

(45)【発行日】2024-03-15

(54)【発明の名称】地上物体検出システム、地上物体検出方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240308BHJP

   G06T 1/00 20060101ALI20240308BHJP

【ＦＩ】

G06T7/00 640

G06T1/00 285

【請求項の数】 3

(21)【出願番号】P 2020016303

(22)【出願日】2020-02-03

(65)【公開番号】P2020144855

(43)【公開日】2020-09-10

【審査請求日】2022-11-15

(31)【優先権主張番号】P 2019037240

(32)【優先日】2019-03-01

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】516356402

【氏名又は名称】株式会社スカイマティクス

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】倉本 泰隆

(72)【発明者】

【氏名】榎本 真貴

(72)【発明者】

【氏名】渡邉 善太郎

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２００８－１１１７２５（ＪＰ，Ａ）

【文献】特開２０１４－１０００９９（ＪＰ，Ａ）

【文献】特開２００７－２９３５５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

地上物体を含む地面を撮影した複数の撮影画像を結合して、上空から俯瞰した状態の俯瞰画像を生成する画像結合部と、
前記俯瞰画像に撮影された前記地上物体の位置を検出する機械学習部と、
前記俯瞰画像に、前記機械学習部により検出された前記地上物体の位置を重畳して表示する画面を表示するための表示制御信号を生成する地図・画像表示部と、
前記地上物体の位置が重畳された前記俯瞰画像に対する関心領域の設定入力を受け入れる処理要求受付部と、
前記関心領域の前記設定入力に基づいて、前記地上物体の位置が重畳された前記俯瞰画像に空間的なフィルタリング処理を行う空間フィルタ部と、
前記俯瞰画像の土地被覆を推定して、前記俯瞰画像を同一の前記土地被覆を有する領域に分類する土地被覆分類部と、
前記関心領域内における前記土地被覆の分類及び前記領域を解析する土地被覆解析部と、
前記土地被覆解析部の解析結果に基づいて、前記設定入力をまだ受け入れていない前記地上物体の位置が重畳された前記俯瞰画像に対して前記関心領域を推定し、前記俯瞰画像に空間的なフィルタリング処理を行う空間フィルタ推論部と
を有する地上物体検出システム。

【請求項2】

地上物体検出システムにより実行される地上物体検出方法であって、
地上物体を含む地面を撮影した複数の撮影画像を結合して、上空から俯瞰した状態の俯瞰画像を生成し、
前記俯瞰画像に撮影された前記地上物体の位置を検出し、
前記俯瞰画像に、検出された前記地上物体の位置を重畳して表示する画面を表示するための表示制御信号を生成し、
前記地上物体の位置が重畳された前記俯瞰画像に対する関心領域の設定入力を受け入れ、
前記関心領域の前記設定入力に基づいて、前記地上物体の位置が重畳された前記俯瞰画像に空間的なフィルタリング処理を行い、
前記俯瞰画像の土地被覆を推定して、前記俯瞰画像を同一の前記土地被覆を有する領域に分類し、
前記関心領域内における前記土地被覆の分類及び前記領域を解析し、
前記解析の結果に基づいて、前記設定入力をまだ受け入れていない前記地上物体の位置が重畳された前記俯瞰画像に対して前記関心領域を推定し、前記俯瞰画像に空間的なフィルタリング処理を行う
地上物体検出方法。

【請求項3】

コンピュータにより実行されるコンピュータプログラムであって、
このコンピュータプログラムが実行されると、前記コンピュータを
地上物体を含む地面を撮影した複数の撮影画像を結合して、上空から俯瞰した状態の俯瞰画像を生成する画像結合部と、
前記俯瞰画像に撮影された前記地上物体の位置を検出する機械学習部と、
前記俯瞰画像に、前記機械学習部により検出された前記地上物体の位置を重畳して表示する画面を表示するための表示制御信号を生成する地図・画像表示部と、
前記地上物体の位置が重畳された前記俯瞰画像に対する関心領域の設定入力を受け入れる処理要求受付部と、
前記関心領域の前記設定入力に基づいて、前記地上物体の位置が重畳された前記俯瞰画像に空間的なフィルタリング処理を行う空間フィルタ部と、
前記俯瞰画像の土地被覆を推定して、前記俯瞰画像を同一の前記土地被覆を有する領域に分類する土地被覆分類部と、
前記関心領域内における前記土地被覆の分類及び前記領域を解析する土地被覆解析部と、
前記土地被覆解析部の解析結果に基づいて、前記設定入力をまだ受け入れていない前記地上物体の位置が重畳された前記俯瞰画像に対して前記関心領域を推定し、前記俯瞰画像に空間的なフィルタリング処理を行う空間フィルタ推論部と
して機能させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、地上物体検出システム、地上物体検出方法及びプログラムに関する。

【背景技術】

【0002】

防災を目的として、例えば河原の石礫のような地上物体を検出してその大きさと個数とを記した報告書を作成することが行われている。特に、洪水で流されると下流に被害を生じかねないメートルオーダーの岩石を検出することの重要性は非常に高い。

【0003】

一般的に、石礫の検出は、まず、空撮により河原の写真を撮影し、この写真に撮影された石礫を検査員が目視で抽出、特定し、検査員が危険と判断した石礫についてはその大きさを目分量で特定し、その個数を数えて報告書を作成していた。さらに、石礫の場所を特定する必要があるときは、河原に検査員が出向いて石礫の場所を測量していた。

【0004】

特許文献１には、高精度な３次元画像の生成処理に利用することのできる航空測量映像を、無人飛行体を使用して正確且つ効率的に収集できる技術が開示されている。また、特許文献２には、被写体が遠方にあって被写体までの距離が大きい場合でも、その被写体距離を正確に測定し、測距データや該測距データに基づくスケールデータを正確に写真画面に写し込むようにした技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－２７３３１号公報

【文献】特開平１０－２８１７６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、上述した石礫の大きさと個数とを記した報告書を作成する手法は人力によるものであり、手間と時間を要するとともに、報告書作成までの費用も高額になっていた。

【0007】

また、人力で報告書を作成する作業の場合、石礫の大きさの判定などの判断基準が作業者によって差異が生じてしまう可能性があった。

【0008】

加えて、報告書を作成する作業者の訓練にも時間を要する。

【0009】

本発明は上記の課題に鑑みてなされたもので、地上物体の大きさと個数とを記した報告書の作成作業を簡略かつ短時間に行い、結果として報告書作成作業を安価に行うことが可能な地上物体検出システム、地上物体検出方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決すべく、本発明の一つの観点に従う地上物体検出システムは、地上物体を含む地面を撮影した複数の撮影画像を結合して、上空から俯瞰した状態の俯瞰画像を生成する画像結合部と、俯瞰画像に撮影された前記地上物体の位置を検出する機械学習部と、俯瞰画像に、機械学習部により検出された地上物体の位置を重畳して表示する画面を表示するための表示制御信号を生成する地図・画像表示部と、地上物体の位置が重畳された俯瞰画像に対する関心領域の設定入力を受け入れる処理要求受付部と、関心領域の設定入力に基づいて、地上物体の位置が重畳された俯瞰画像に空間的なフィルタリング処理を行う空間フィルタ部と、俯瞰画像の土地被覆を推定して、俯瞰画像を同一の土地被覆を有する領域に分類する土地被覆分類部と、関心領域内における土地被覆の分類及び領域を解析する土地被覆解析部と、土地被覆解析部の解析結果に基づいて、設定入力をまだ受け入れていない地上物体の位置が重畳された俯瞰画像に対して関心領域を推定し、俯瞰画像に空間的なフィルタリング処理を行う空間フィルタ推論部とを有する。

【発明の効果】

【0011】

本発明によれば、地上物体の大きさと個数とを記した報告書の作成作業を簡略かつ短時間に行い、結果として報告書作成作業を安価に行うことが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施例である地上物体検出システムの全体構成を示す図である。

【図2】地上物体検出システムにおけるデータ処理サーバとユーザとの間の基本的な通信の流れを示す図である。

【図3】データ処理サーバの３次元データ生成部が生成したオルソ画像の一例を示す図である。

【図4】ユーザ端末に表示される、石礫の検出結果の画面表示の一例を示す図である。

【図5】データ処理サーバの機械学習部が機械学習モデルを生成する手順を示す図である。

【図6】関心領域の設定入力の一例を示す図である。

【図7】関心領域の設定入力の他の例を示す図である。

【図8】関心領域の設定入力のまた他の例を示す図である。

【図9】関心領域の設定入力のさらに他の例を示す図である。

【図10】誤認識領域の設定入力の一例を示す図である。

【図11】データ処理サーバのヒストグラム生成部により生成されるヒストグラムの一例を示す図である。

【図12】データ処理サーバの報告書生成部により作成された調査報告書の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0014】

本実施例の地上物体検出システムは、河原の石礫のような地上物体を画像を用いて検出し、この地上物体の大きさと個数とを計測して報告書を作成するシステムである。本実施例の地上物体検出システムは、河原の石礫を検出するシステムに適用されるが、地上物体検出システムにより検出する地上物体は石礫に限定されない。

【0015】

＜システムの全体構成＞
図１は、本発明の一実施例である地上物体検出システムの全体構成を示す図である。

【0016】

図1に示すように、地上物体検出システム１はデータ処理サーバ３を有し、データ処理サーバ３は１台又は複数台のサーバコンピュータマシンにより構成され得る。データ処理サーバ３は一人又は複数人のユーザのそれぞれに対して、それぞれのユーザにより指定される対象物を画像を用いて検査する作業と、その検査結果を報告書にまとめる作業とを手伝うサービスを提供する。

【0017】

データ処理サーバ３は、Ｗｅｂサーバ５を介して、それぞれのユーザの使用するパーソナルコンピュータやスマートフォンなどの情報処理端末（以下、ユーザ端末）７のウェブブラウザとデータ通信を行うことができる。図１では、便宜上、一つのユーザ端末７だけが図示されており、以下では、一人のユーザがデータ処理サーバ３を利用する場合を例にとり、本システムの詳細を説明する。

【0018】

データ処理サーバ３は、処理要求受付部１１、データ保存・検索部１３及び解析・演算部１５などの処理コンポーネントを有する。

【0019】

処理要求受付部１１は、ユーザからの種々の処理要求（例えば、検査を行うための種々の処理要求、又は、報告書を作成するための種々の処理要求など）を受け付けて、要求された処理を行う処理コンポーネントにその要求を渡す。

【0020】

データ保存・検索部１３は、様々な検査対象の地図、画像、検査結果及び報告書などのデータを保存し、他の処理コンポーネントからのデータ要求に応じて、要求された地図、画像又は検査結果データを読み出してその処理コンポーネントに渡す。また、データ保存・検索部１３には、データ処理サーバ３の起動時に実行されるファームウェア、データ処理サーバ３の基本的動作を制御するオペレーティングシステムなどのプログラムが格納されている。

【0021】

解析・演算部１５はデータ処理サーバ３全体の制御を行う。また、データ処理サーバ３の起動時にデータ保存・検索部１３に格納されたファームウェアが解析・演算部１５により実行されることで、この解析・演算部１５は、次に説明する処理コンポーネントとしての機能を実行する。

【0022】

解析・演算部１５は、画像登録部１７、画像結合部１９、３次元データ生成部２１、機械学習部２３、空間フィルタ部２５、長径・短径計算部２７、ヒストグラム生成部２９、地図・画像表示部３１、報告書生成部３３、報告書表示部３５、報告書出力部３７、土地被覆分類部３９、土地被覆解析部４１、空間フィルタ推論部４３、報告書様式登録部４５、報告書様式解析部４７などの処理コンポーネントを有する。

【0023】

画像登録部１７は、ユーザ端末７から検出対象物である地上物体（本実施例では石礫）を含む地面を撮影した撮影画像（それには、一般的な可視光の写真画像だけでなく、赤外線などの非可視光を用いた写真画像や、その他の種類の画像なども含まれ得る）を受け入れて、それらの画像を、その画像の地理的情報（緯度、経度など）とそのユーザに関連付けてデータ保存・検索部１３に登録する。

【0024】

通常、検出対象物である地上物体（石礫）は地面上に多数存在する。従って、河原などの検出対象空間について多数の撮影画像が登録される。例えば、無人飛行体に搭載されたカメラで河原のような広大な検出対象空間の写真を撮影した場合、その河原の一部をそれぞれ撮影した多数の高画質撮影画像がカメラにより撮影される。カメラは河原の一部を撮影した際の地理的情報を撮影画像に紐付けて記憶する。

【0025】

従って、画像登録部１７は、それぞれの撮影画像を、撮影したときの地理的情報に紐付けて登録する。この際、画像登録部１７は、それぞれの撮影画像に紐付けられた地理的情報のうち、いずれかの地理的情報を、検出対象空間である河原を代表する地理的情報として紐付けて登録してもよい。

【0026】

画像結合部１９は、登録された多数の撮影画像を結合することで、検出対象空間全体のモザイク画像を生成する。

【0027】

３次元データ生成部２１は、画像結合部１９がモザイク画像を生成する際に使用した入力データ（画像）が所定の条件を満たした場合、この入力データに対してＳｆＭ（Structure from motion）処理を行って、撮影された検出対象空間の３次元データを生成し、この３次元データからオルソ画像を生成する。このオルソ画像は、検出対象空間（河原）を上空から俯瞰した状態の俯瞰画像である。オルソ画像とは、写真測量技術に基づき、カメラの傾きや比高等による歪みを補正して正射投影とした画像である。ＳｆＭ及びＳｆＭにより３次元データを生成し、この３次元データに基づいてオルソ画像を生成する手法は公知であるため、ここでの説明は省略する。

【0028】

オルソ画像は、後述する地上物体検出精度（特に大きさとその位置の検出精度）を確保するために生成される。以降、このオルソ画像（俯瞰画像）に基づいて、検出対象空間に存在する検出対象物である地上物体（石礫）の検査を行う。３次元データ及びオルソ画像はデータ保存・検索部１３に保存される。

【0029】

機械学習部２３は、オルソ画像に撮影された石礫の位置を検出する。より詳細には、機械学習部２３は、機械学習モデルを用いて、オルソ画像から石礫が撮影されている位置を検出する。機械学習モデルの生成方法は公知であるため、ここでの説明は省略する。

【0030】

空間フィルタ部２５は、ユーザ端末７を介してユーザが設定入力した関心領域に基づいて、３次元データ生成部２１が生成したオルソ画像に対して空間的なフィルタリング処理を行う。関心領域とは、後述する長径・短径計算部２７及びヒストグラム生成部２９による石礫の長径・短径の計算処理及び石礫の個数算出処理を行う領域であり、オルソ画像の少なくとも一部に設定される。空間的なフィルタリング処理とは、オルソ画像に対して関心領域を設定して、長径・短径計算部２７等による計算処理をすべき領域を限定することである。

【0031】

長径・短径計算部２７は、空間フィルタ部２５により設定された関心領域内におけるオルソ画像から、機械学習部２３の出力結果、つまり石礫の検出結果に基づいて、この機械学習部２３により検出された石礫の長径及び短径を計算する。

【0032】

ヒストグラム生成部２９は、長径・短径計算部２７により計算された石礫の長径及び短径の計算結果に基づいて、石礫のサイズのヒストグラム、及び、石礫のサイズの累計ヒストグラムを生成する。

【0033】

地図・画像表示部３１は、ユーザからの処理要求に応じて、ユーザ端末７のスクリーンに表示されるオルソ画像等をＷｅｂサーバ５に送る。Ｗｅｂサーバ５は、オルソ画像を組み込んだ作業画面をユーザ端末７に送出し、ユーザ端末７はこの作業画面をウェブブラウザのスクリーン上に表示する。

【0034】

特に、地図・画像表示部３１は、機械学習部２３により検出された石礫の位置をオルソ画像に重畳して表示する画面を表示するための表示制御信号を生成することができる。

【0035】

報告書生成部３３は、ユーザからの要求に応じて、オルソ画像、石礫の位置検出結果、石礫のサイズのヒストグラム、石礫のサイズの累計ヒストグラム等のデータを用いて、関心領域における石礫の調査報告書を作成する。この際、報告書生成部３３は、ユーザがユーザ端末７を介して入力したコメントを処理要求受付部１１を介して受け入れ、このコメントを含めた調査報告書を作成する。

【0036】

報告書表示部３５は、ユーザからの要求に応じて、報告書生成部３３が作成した調査報告書をＷｅｂサーバ５に送る。Ｗｅｂサーバ５は調査報告書をユーザ端末７に送出し、ユーザ端末７はこの作業画面をウェブブラウザのスクリーン上に表示する。

【0037】

報告書出力部３７は、ユーザからの要求に応じて、報告書生成部３３が作成した調査報告書をＷｅｂサーバ５に送る。Ｗｅｂサーバ５は、調査報告書をユーザがユーザ端末７にダウンロードすることを可能にする。

【0038】

土地被覆分類部３９は、オルソ画像の各画素が持つ分光放射特性やサブビクセルのテクスチャ情報から、オルソ画像中の各領域または各画素の土地被覆を推測する。土地被覆分類部３９の処理自体は既知であり、例えば特開平８－３２０９３０号公報に開示された技術等が適用可能である。

【0039】

土地被覆解析部４１は、ユーザが設定入力した関心領域である空間フィルタと、土地被覆分類部３９による分類された土地被覆分類結果との相関を調べる。一例として、土地被覆解析部４１は、空間フィルタ内におけるオルソ画像中の各領域または各画素の土地被覆の推定結果を抽出する。

【0040】

空間フィルタ推論部４３は、地上物体検出システム１においてまだ解析が行われていない検出対象空間についての調査報告書を作成する際に、土地被覆解析部４１による土地被覆解析結果に基づいて、最適と思われる空間フィルタを設定する。

【0041】

報告書様式登録部４５は、ユーザがユーザ端末７を介して入力した、ユーザが作成を希望する調査報告書の様式（サンプル）を登録する。登録した調査報告書の様式はデータ保存・検索部１３に格納される。

【0042】

報告書様式解析部４７は、報告書様式登録部４５により登録され、データ保存・検索部１３に格納された調査報告書の様式を解析して、様式を文字部、グラフ部、写真部などに分類して、この分類結果と略同一の比率を有する調査報告書のテンプレートを生成する。

【0043】

＜システムの動作＞
図２は、地上物体検出システム１におけるデータ処理サーバ３とユーザとの間の基本的な通信の流れを示す。

【0044】

図２において、ステップ５１で、ユーザ９が、調査報告書作成の際の基礎となる撮影画像をユーザ端末７を介してデータ処理サーバ３にアップロードする。ステップ５３で、データ処理サーバ３の画像登録部１７が、アップロードされた撮影画像を登録し、データ保存・検索部１３に格納する。

【0045】

ステップ５５で、画像結合部１９が、ステップ５３で登録された撮影画像を結合して、検出対象空間のモザイク画像を生成する。この後、３次元データ生成部２１が、画像結合部１９が生成したモザイク画像に対してＳｆＭ処理を行って、３次元データ及びオルソ画像を生成する。図３は、３次元データ生成部２１が生成したオルソ画像Ｐの一例を示す。

【0046】

ステップ５７で、３次元データ生成部２１が生成したオルソ画像に基づいて、機械学習部２３がオルソ画像に撮影された石礫の位置を検出する。そして、ステップ５９で、地図・画像表示部３１が、オルソ画像に検出された石礫の位置を重畳した画面をユーザ端末７に表示させる。

【0047】

図４は、ユーザ端末７に表示される、石礫の検出結果の画面表示の一例を示す。オルソ画像Ｐに重畳して、機械学習部２３が検出した石礫Ｔの位置がバーＢとして表示されている。バーＢの長さは、機械学習部２３が検出した石礫Ｔのおおよその大きさに比例している。

【0048】

図５は、機械学習部２３が機械学習モデルを生成する手順を示す。モデル生成指示者（教師）は、オルソ画像Ｐにおいて石礫が撮影されている位置を矩形領域Ｒにより指定する。機械学習部２３は、矩形領域Ｒの特徴量に基づいて機械学習モデルを生成する。

【0049】

ステップ６１で、ユーザ９は、ユーザ端末７に表示された画面を見ながら、石礫の位置及びその大きさを計算すべき関心領域の設定入力を行う。ステップ６１における関心領域の設定入力は、例えば、ユーザ端末７に設けられたマウス等の入力機器を用いて行われる。

【0050】

図６は、ステップ６１において行われる関心領域の設定入力の一例を示す。まず、ユーザ９は、検出対象空間である河原における工事予定地８０から上流及び下流にｎメートル（一例として２００ｍ）の長さ８１を指定する。次いで、ユーザ９は、関心領域の幅を設定する。この際、川沿いの道路など、石礫の計数を行わない領域を除外して指定する。さらに、ユーザ９は、コンクリートブロック群のように、石礫の計数を行わない領域（除外領域）８２を指定する。これにより、関心領域８３の設定入力が行われる。加えて、ユーザ９は、関心領域８３内において機械学習部２３による検出漏れがあった石礫が撮影されている領域８４を追記する。

【0051】

ステップ６３で、空間フィルタ部２５は、ユーザが設定入力した関心領域８３に基づいて、オルソ画像に対して空間的なフィルタリング処理を行う。ステップ６５で、長径・短径計算部２７が、関心領域８３内にある石礫の長径・短径を計数し、さらに、石礫の個数を計数する。

【0052】

ユーザ９は、ステップ６１において設定入力をした関心領域８３を、ステップＳ６６において修正することができる。以下、図７～図１０を参照して、関心領域８３の修正手法について説明する。

【0053】

図７に示すように、ユーザ９は、河川を横切るように、工事予定地８０である線分を空撮画像上に引くことができる。（この線分は砂防ダムの建設予定位置を模擬し得る。）すると、関心領域８３として、その線分の上流側と下流側にその線分を一辺としてもつ、長さ８１の規定サイズ（例えば、それぞれ長さ２００ｍ、幅は線分の長さ）の２つの長方形領域が自動的に設定される。これら２つの長方形領域が関心領域８３として設定される。

【0054】

そして、ステップＳ６５において、その関心領域８３内に存在する石礫の複数のサイズレベル毎の個数と個数割合が自動計算され、その集計結果が画面上に表示される（図７の右下表参照）。この集計結果には、石礫のサイズレベルに固有の色マークが表示される。

【0055】

さらに、空撮画像上にも、関心領域８３内に存在する石礫の各々が、それが該当するサイズレベルの固有の色を付されて表示される。ユーザ９は、どのレベルのサイズの石礫が、関心領域内にどのように分布しているかを、視覚的に把握できる。

【0056】

ユーザ９は、集計結果と、空撮画像上での砂防ダム建設予定位置、関心領域８３内の石礫のサイズ別の分布などを見ることで、砂防ダム建設予定位置の適否を判断しやすい。

【0057】

ユーザは関心領域８３を次のように変更できる。

【0058】

例えば、図８に示すように、砂防ダム建設予定位置（線分８０）を固定したまま、その上流側と下流側の関心領域８３の方向を個別に変えることができる（長方形領域が平行四辺形領域に変わる）。河川の折れ曲がりに対応できる。

【0059】

また、図９に示すように、砂防ダム建設予定位置（線分８０）を固定したまま、その上流側と下流側の関心領域の方向に関心領域の長さ８１を個別に変えることができる。砂防ダムが近くに存在したり、河川や河原の幅が変化している場合に対応しやすい。

【0060】

さらに、図８、図９に示すように、空撮画像上で除外領域８２を指定することで、除外領域８２を関心領域８３から除外することができる。

【0061】

さらに、図示は省略するが、ダム建設予定位置（線分８０）の長さや位置を変えることもできる。

【0062】

さらに、図１０に示すように、ユーザ９は、空撮画像上で石礫に該当しない領域が石礫と自動認識されて表示されていた場合、その誤認識された表示（例えば囲み枠８４）を指定して、これを石礫から除外する修正を行うことができる。逆に、図示は省略するが、石礫に該当する領域が自動では認識漏れになっていた場合、その領域を指定して（例えば枠線で囲むことで）それを石礫に加える修正を行うことができる。

【0063】

ユーザ９が上記の関心領域８３変更や誤認識修正を行なうと、その都度、ステップ６３、６５において集計が再度行われ、集計結果の表示と、関心領域の表示と、関心領域内の石礫の表示とが更新される。そして、石礫のサイズに応じた色分け表示がされ、関心領域８３内に存在する石礫のサイズレベルごとの石礫の個数と個数割合が計算され、画面に表示される。

【0064】

関心領域８３の更新が行われた後、ヒストグラム生成部２９が、長径・短径計算部２７により計算された石礫の長径及び短径の計算結果に基づいて、石礫のサイズのヒストグラム、及び、石礫のサイズの累計ヒストグラムを生成する。

【0065】

図７は、ヒストグラム生成部２９により生成されるヒストグラムの一例を示す。図１１は、ヒストグラム生成部２９によりヒストグラムが生成された後に、ユーザ９からの指示に基づいてユーザ端末７に表示される画面の一例である。

【0066】

この画面には、石礫のサイズのヒストグラム９０及び石礫のサイズの累計ヒストグラム９１が表示されている。また、画面には、機械学習部２３により検出された石礫の個数を表示する領域９２、長径・短径計算部２７により計算された石礫の径の平均を表示する領域９３、検出された石礫全体の個数の５０％に相当する石礫の径（Ｄ５０）を表示する領域９４、及び、検出された石礫全体の個数の９５％に相当する石礫の径（Ｄ９５）を表示する領域９５が設けられている。

【0067】

ステップ６７で、報告書生成部３３が調査報告書を作成する。図１２は、報告書生成部３３により作成された調査報告書の一例を示す。調査報告書は、書誌的事項及び検出結果が記載された文字部１００、オルソ画像に石礫の検出結果が重畳された画像が表示された写真部１０１、及び、２種類のヒストグラムが表示されたグラフ部１０２を有する。

【0068】

ステップ６９で、報告書表示部３５がユーザ端末７の画面に調査報告書を表示する。ステップ７１で、ユーザ９がユーザ端末７を介して、調査報告書のコメントを入力することでこの調査報告書を編集する。ユーザ９が入力したコメントは文字部１００に追記される。

【0069】

ステップ７３で、報告書生成部３３が調査報告書をデータ保存・検索部１３に格納する。ステップ７５で、報告書出力部３７が調査報告書をダウンロード可能な状態でＷｅｂサーバ５に送出し、ユーザ９は調査報告書をダウンロードする。

【0070】

＜システムの効果＞
このように構成される本実施例によれば、撮影画像に基づいて石礫の位置を検出し、設定入力された関心領域に撮影されている石礫の大きさと個数とを計数し、さらに、石礫のサイズのヒストグラムを生成して、これらに基づいて調査報告書を作成することができる。

【0071】

従って、本実施例によれば、石礫の大きさと個数とを記した報告書の作成作業を簡略かつ短時間に行い、結果として報告書作成作業を安価に行うことが可能となる。

【0072】

＜システムの他の機能＞
本実施例の地上物体検出システム１は、上述した機能、動作に加えて、次のような機能、動作を有する。

【0073】

まず、撮影画像に地理的情報が紐付けられていることから、関心領域についても地理的情報を紐付けることができる。空間フィルタ部２５は、関心領域の設定入力があったら、この関心領域に対応する空間的なフィルタリング処理を行う際に、空間的なフィルタリング処理を行った関心領域と、この関心領域に紐付けられた地理的情報とをデータ保存・検索部１３に格納する。

【0074】

そして、空間フィルタ部２５は、同一と判断できる（地理的情報が重複する撮影画像が多数を占める）俯瞰画像が入力されたら、俯瞰画像の地理的情報を検索キーとしてデータ保存・検索部１３内を検索し、対応する関心領域に関する情報を読み出す。この後、空間フィルタ部２５は、関心領域の設定入力を待つことなく、既に格納されている関心領域に基づいて空間的なフィルタリング処理を行う。

【0075】

また、土地被覆分類部３９は、オルソ画像中の各領域または各画素の土地被覆を推測し、土地被覆解析部４１は、関心領域と土地被覆分類結果との相関を調べる。そして、土地被覆解析部４１は、空間フィルタ内の土地被覆分類上の特徴を学習する。

【0076】

さらに、画像登録部１７により登録された撮影画像が、既にデータ保存・検索部１３に格納されている地理的情報に紐付けられていない撮影画像であるとき、空間フィルタ推論部４３は、土地被覆解析部４１の学習結果に基づいて、土地被覆分類部３９による土地被覆分類結果から、ユーザ９が入力するであろう関心領域を推測する。加えて、機械学習部２３は、空間フィルタ推論部４３により推測された空間フィルタ内の石礫の検出結果と、オルソ画像全体における石礫の検出結果とを提示する。

【0077】

このような動作により、一度調査報告書を作成した検出対象空間については、関心領域の設定入力を省略することができ、調査報告書作成作業をさらに高速に行うことができる。

【0078】

また、調査報告書を繰り返し作成していれば、土地被覆解析部４１の学習結果に基づいて空間フィルタを推測することができ、同様に関心領域の設定入力を省略することができ、調査報告書作成作業をさらに高速に行うことができる。特に、撮影画像はユーザにも紐付けられているので、土地被覆解析部４１の学習結果をユーザに紐付けておけば、ユーザの関心領域の設定の好みや癖を学習してユーザ毎に最適な関心領域を推測することができる。

【0079】

そして、報告書様式解析部４７は、報告書様式登録部４５により登録された調査報告書を解析して、様式の中を文字部１００、グラフ部１０２、写真部１０１などに分類して調査報告書のテンプレートを作成する。従って、報告書生成部３３は、報告書様式解析部４７により作成されたテンプレートに従って調査報告書を作成することができる。

【0080】

これにより、予め様式が定められている調査報告書の様式に基づいて調査報告書を作成する場合でも、予め定められている様式に基づいてコーディングを行ったりＧＵＩ（Graphic User Interface）に基づいて様式を指定する手間をかけることなく、予め定められている様式に準拠した様式で調査報告書を作成することができる。しかも、報告書様式登録部４５により異なる調査報告書の様式を登録すれば、登録された様式に基づいて調査報告書を簡易に作成することができる。

【変形例】

【0081】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0082】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0083】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0084】

１…地上物体検出システム ３…データ処理サーバ ５…Ｗｅｂサーバ ７…ユーザ端末 ９…ユーザ １１…処理要求受付部 １３…データ保存・検索部 １５…解析・演算部 １７…画像登録部 １９…画像結合部 ２１…３次元データ生成部 ２３…機械学習部 ２５…空間フィルタ部 ２７…長径・短径計算部 ２９…ヒストグラム生成部 ３１…画像表示部 ３３…報告書生成部 ３５…報告書表示部 ３７…報告書出力部 ３９…土地被覆分類部 ４１…土地被覆解析部 ４３…空間フィルタ推論部 ４５…報告書様式登録部 ４７…報告書様式解析部 ８３…関心領域 ９０…ヒストグラム ９１…累計ヒストグラム １００…文字部 １０１…写真部 １０２…グラフ部 Ｐ…オルソ画像 Ｔ…石礫

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】