特許 7153264 画像解析システム、画像解析方法及び画像解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-05

(45)【発行日】2022-10-14

(54)【発明の名称】画像解析システム、画像解析方法及び画像解析プログラム

(51)【国際特許分類】

   G06T 7/55 20170101AFI20221006BHJP

   G06T 7/00 20170101ALI20221006BHJP

   G06T 7/174 20170101ALI20221006BHJP

   H04N 7/18 20060101ALI20221006BHJP

   G08G 5/00 20060101ALN20221006BHJP

【ＦＩ】

G06T7/55

G06T7/00 640

G06T7/174

H04N7/18 K

G08G5/00 A

【請求項の数】 17

(21)【出願番号】P 2018146124

(22)【出願日】2018-08-02

(65)【公開番号】P2020021368

(43)【公開日】2020-02-06

【審査請求日】2021-06-24

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(73)【特許権者】

【識別番号】500433225

【氏名又は名称】学校法人中部大学

(74)【代理人】

【識別番号】110000785

【氏名又は名称】ＳＳＩＰ弁理士法人

(72)【発明者】

【氏名】飯尾 聡

(72)【発明者】

【氏名】杉本 喜一

(72)【発明者】

【氏名】中尾 健太

(72)【発明者】

【氏名】松本 知浩

(72)【発明者】

【氏名】円谷 信一

(72)【発明者】

【氏名】高橋 静香

(72)【発明者】

【氏名】藤吉 弘亘

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１３－０６９２３５（ＪＰ，Ａ）

【文献】特開２０１６－１５１４１４（ＪＰ，Ａ）

【文献】特開２０１８－１３３０６３（ＪＰ，Ａ）

【文献】特開２０１８－１０１４０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５５

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１７４

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

異なる角度から対象エリアを撮像した複数の画像データを取得する画像データ取得部と、
前記複数の画像データの各々について画素毎に属性を判定する属性判定部と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する形状情報作成部と、
前記形状情報に含まれる各点について前記属性判定部による判定結果を集計することにより前記対象エリアにおける属性分布を算出する属性分布算出部と、
前記属性分布に基づいて前記対象エリアにおける特異地点を特定する特異地点特定部と、
を備える、画像解析システム。

【請求項2】

前記属性分布算出部は、前記形状情報の各点について前記属性の種類毎に判定回数をカウントし、前記判定回数が最大となる種類の前記属性を採用することによって、前記属性分布を算出する、請求項１に記載の画像解析システム。

【請求項3】

前記属性判定部は、前記属性の種類毎にスコアを求め、
前記属性分布算出部は、前記形状情報の各点について前記属性の種類毎に前記スコアの合計値を算出し、前記合計値が最大となる種類の前記属性を採用することにより、前記属性分布を算出する、請求項１に記載の画像解析システム。

【請求項4】

前記複数の画像データの各々について画素毎に撮像点からの距離を算出する距離算出部を備え、
前記属性分布算出部は、前記形状情報に含まれる各点について前記距離に応じた重み付け係数を設定する、請求項２又は３に記載の画像解析システム。

【請求項5】

前記属性分布をデジタル地図に重畳表示可能な出力装置を備える、請求項１に記載の画像解析システム。

【請求項6】

前記出力装置は、前記特異地点を周辺領域と区別して表示する、請求項５に記載の画像解析システム。

【請求項7】

前記形状情報は、前記複数の画像データに基づいて作成される三次元情報である、請求項１から６のいずれか一項に記載の画像解析システム。

【請求項8】

前記属性分布算出部は、前記形状情報に基づいて求められるオクルージョンを考慮して前記属性分布を算出する、請求項１から７のいずれか一項に記載の画像解析システム。

【請求項9】

前記複数の画像を撮像可能な撮像装置を搭載する移動体と、
前記移動体を制御するための移動制御部と、
前記撮像装置を制御するための撮像制御部と、
を備える、請求項１から８のいずれか一項に記載の画像解析システム。

【請求項10】

前記撮像制御部は、各撮像点において異なる複数の撮像条件下で撮像が行われるように前記撮像装置を制御し、
前記画像データ取得部は、前記撮像装置で撮像された前記複数の画像データから所定の品質基準を満たす画像データを選択的に取得する、請求項９に記載の画像解析システム。

【請求項11】

前記複数の撮像条件は、前記撮像装置の撮影位置／角度、露光時間、焦点距離、絞り値或いは環境条件を含む少なくとも一つの撮像パラメータが異なるように設定される、請求項１０に記載の画像解析システム。

【請求項12】

前記複数の撮像条件は、前記撮像パラメータの差分が所定値以上に設定される、請求項１１に記載の画像解析システム。

【請求項13】

異なる角度から対象エリアを撮像した複数の画像データを取得する画像データ取得部と、
前記複数の画像データの各々について画素毎に属性を判定する属性判定部と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する形状情報作成部と、
前記形状情報に含まれる各点について前記属性判定部による判定結果を集計することにより前記対象エリアにおける属性分布を算出する属性分布算出部と、
を備え、
前記属性分布算出部は、前記形状情報の各点について前記属性の種類毎に判定回数をカウントし、前記判定回数が最大となる種類の前記属性を採用することによって、前記属性分布を算出する、画像解析システム。

【請求項14】

異なる角度から対象エリアを撮像した複数の画像データを取得する画像データ取得部と、
前記複数の画像データの各々について画素毎に属性を判定する属性判定部と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する形状情報作成部と、
前記形状情報に含まれる各点について前記属性判定部による判定結果を集計することにより前記対象エリアにおける属性分布を算出する属性分布算出部と、
を備え、
前記属性判定部は、前記属性の種類毎にスコアを求め、
前記属性分布算出部は、前記形状情報の各点について前記属性の種類毎に前記スコアの合計値を算出し、前記合計値が最大となる種類の前記属性を採用することにより、前記属性分布を算出する、画像解析システム。

【請求項15】

異なる角度から対象エリアを撮像した複数の画像データを取得する画像データ取得部と、
前記複数の画像データの各々について画素毎に属性を判定する属性判定部と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する形状情報作成部と、
前記形状情報に含まれる各点について前記属性判定部による判定結果を集計することにより前記対象エリアにおける属性分布を算出する属性分布算出部と、
前記複数の画像を撮像可能な撮像装置を搭載する移動体と、
前記移動体を制御するための移動制御部と、
前記撮像装置を制御するための撮像制御部と、
を備え、
前記撮像制御部は、各撮像点において異なる複数の撮像条件下で撮像が行われるように前記撮像装置を制御し、
前記画像データ取得部は、前記撮像装置で撮像された前記複数の画像データから所定の品質基準を満たす画像データを選択的に取得し、
前記複数の撮像条件は、前記撮像装置の撮影位置／角度、露光時間、焦点距離、絞り値或いは環境条件を含む少なくとも一つの撮像パラメータが異なるように設定され、
前記複数の撮像条件は、前記撮像パラメータの差分が所定値以上に設定される、画像解析システム。

【請求項16】

異なる角度から対象エリアを撮像した複数の画像データを取得する工程と、
前記複数の画像データの各々について画素毎に属性を判定する工程と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する工程と、
前記形状情報に含まれる各点について前記属性の判定結果を集計することにより前記対象エリアにおける属性分布を算出する工程と、
前記属性分布に基づいて前記対象エリアにおける特異地点を特定する工程と、
を備える、画像解析方法。

【請求項17】

異なる角度から対象エリアを撮像した複数の画像データを取得する工程と、
前記複数の画像データの各々について画素毎に属性を判定する工程と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する工程と、
前記形状情報に含まれる各点について前記属性の判定結果を集計することにより前記対象エリアにおける属性分布を算出する工程と、
前記属性分布に基づいて前記対象エリアにおける特異地点を特定する工程と、
をコンピュータに実行させる画像解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置によって撮像された画像データを解析することで属性判定を行う画像解析システム、画像解析方法及び画像解析プログラムに関する。

【背景技術】

【0002】

対象エリアを撮像して取得した画像を解析することにより、画像に含まれる要素の属性
を判定する技術が知られている。ここで属性とは、画像に含まれる要素が属する性質又は特徴をいい、属性の判定とは、予め定義されている複数の属性の中から要素が属する属性を判定することをいう。このような属性は、例えば、植物や動物等の植生、人工物、水、空、道路及び土壌などがある。

【0003】

例えば特許文献１には、このような属性判定技術を利用することにより、撮像された画像データから自然災害や人的災害の被害域を自動抽出する被害域自動抽出システムが開示されている。このシステムでは、読み込んだ画像データを構成する画素の輝度によって属性判定することにより被害域の特定が行われている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第３９２４５６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１では、単一の画像データを対象として属性判定が行われている。そのため、対象となる画像データの状態によっては十分な属性判定ができないおそれがある。例えば、撮像時の照明条件によって、画像データ中にハレーション領域が発生していたり、照度不足による低コントラスト領域が発生している場合には、これらの領域における属性判定が困難になってしまう場合がある。また対象エリアに対して所定角度から撮像した画像データには、対象エリアの地形や障害物（樹木や建物など）の存在によって一部領域が死角になってしまい、対象エリアの広範囲における属性判定が困難になってしまう場合がある。

【0006】

本発明の少なくとも一実施形態は上述の事情に鑑みなされたものであり、対象エリアの広い範囲にわたって精度のよい属性判定が可能な画像解析システム、画像解析方法及び画像解析プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）本発明の少なくとも一実施形態に係る画像解析システムは上記課題を解決するために、
異なる角度から対象エリアを撮像した複数の画像データを取得する画像データ取得部と、
前記複数の画像データの各々について画素毎に属性を判定する属性判定部と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する形状情報作成部と、
前記形状情報に含まれる各点について前記属性判定部による判定結果を集計することにより前記対象エリアにおける属性分布を算出する属性分布算出部と、
を備える。

【0008】

上記（１）の構成によれば、異なる角度から対象エリアを撮像した複数の画像データにおいて、互いに対応する画素同士を関連付けることにより形状情報が作成される。形状情報に含まれる各点に対して各画像データにおける属性の判定結果を集計することにより、単一の画像データでは属性判定が困難な領域が存在する場合であっても、当該領域を補間し、広い範囲にわたって属性判定を行うことができる。また複数の画像データにおける属性の判定結果を集計することで、単一の画像データによる属性判定に比べて精度の高い判定結果が得られる。

【0009】

（２）幾つかの実施形態では上記（１）の構成において、
前記属性分布算出部は、前記形状情報の各点について前記属性の種類毎に判定回数をカウントし、前記判定回数が最大となる種類の前記属性を採用することによって、前記属性分布を算出する。

【0010】

上記（２）の構成によれば、形状情報に含まれる各点について各画像データにおける属性の判定結果を集計する際に、各点において判定回数が最大となった属性が採用される。これにより、判定頻度が最も高い属性の判定結果に基づいて信頼性の高い属性分布が得られる。

【0011】

（３）幾つかの実施形態では上記（１）の構成において、
前記属性判定分類部は、前記属性の種類毎にスコアを求め、
前記属性分布算出部は、前記形状情報の各点について前記属性の種類毎に前記スコアの合計値を算出し、前記合計値が最大となる種類の前記属性を採用することにより、前記属性分布を算出する。

【0012】

上記（３）の構成によれば、画像データに含まれる各画素について属性の種類毎にスコア（例えば属性種類毎の確率値）を求めることで属性判定が行われる。そして、集計時には形状情報に含まれる各点について、各画像データで求められたスコアの合計値が算出され、最終的に合計値が最大となる種類の属性を採用することで属性分布が求められる。

【0013】

（４）幾つかの実施形態では上記（２）又は（３）の構成において、
前記複数の画像データの各々について画素毎に撮像点からの距離を算出する距離算出部を備え、
前記属性分布算出部は、前記形状情報に含まれる各点について前記距離に応じた重み付け係数を設定する。

【0014】

上記（３）の構成によれば、属性分布を算出する際に形状情報の各点について属性の判定結果を集計する際に、各画像データにおいて撮像点と各画素との距離に応じた重み付け係数が考慮される。重み付け係数は、例えば撮像点からの距離が近い画素に関する判定結果は、撮像点からの距離が遠い画素に関する判定結果に比べて信頼性が高いことに鑑みて、距離に応じて可変に設定される。このような重み付け係数を考慮した集計を行うことで、より信頼性の高い属性分布が得られる。

【0015】

（５）幾つかの実施形態では上記（１）から（４）のいずれか一構成において、
前記属性分布に基づいて前記対象エリアにおける特異地点を特定する特異地点特定部と、
を備える。

【0016】

上記（５）の構成によれば、上述の構成によって算出される属性分布に基づいて、対象エリアにおける特異地点の有無や範囲を容易に特定できる。

【0017】

（６）幾つかの実施形態では上記（５）の構成において、
前記属性分布をデジタル地図に重畳表示可能な出力装置を備える。

【0018】

上記（６）の構成によれば、上述の構成によって算出される属性分布をデジタル地図に重畳表示することで、オペレータによる属性分布の状況把握を容易にすることができる。

【0019】

（７）幾つかの実施形態では上記（６）の構成において、
前記出力装置は、前記特異地点を周辺領域と区別して表示する。

【0020】

上記（７）の構成によれば、対象エリアにおける特異地点の有無及び範囲のオペレータによる認識を容易にできる。

【0021】

（８）幾つかの実施形態では上記（１）から（７）のいずれか一構成において、
前記形状情報は、前記複数の画像データに基づいて作成される三次元情報である。

【0022】

上記（８）の構成によれば、複数の画像データに含まれる各画素を関連付けることで、対象エリアにおける凹凸地形を三次元情報として把握できる。

【0023】

（９）幾つかの実施形態では上記（１）から（８）のいずれか一構成において、
前記属性分布算出部は、前記形状情報に基づいて求められるオクルージョンを考慮して前記属性分布を算出する。

【0024】

上記（９）の構成によれば、形状情報に基づいて対象エリアにおける凹凸地形からオクルージョン（隠れ）が求められる。このようなオクルージョンを考慮することにより、明らかにエラーである属性判定を排除することができ、属性分布の精度向上を図ることができる。

【0025】

（１０）幾つかの実施形態では上記（１）から（９）のいずれか一構成において、
前記複数の画像を撮像可能な撮像装置を搭載する移動体と、
前記移動体を制御するための移動制御部と、
前記撮像装置を制御するための撮像制御部と、
を備える。

【0026】

上記（１０）の構成によれば、移動制御部によって対象エリアに対する移動体の位置を変更させながら、撮像制御部によって撮像装置による撮像動作が制御される。これにより、対象エリアに対して異なる角度から複数の画像データを取得することが可能となる。

【0027】

（１１）幾つかの実施形態では上記（１０）の構成において、
前記撮像制御部は、各撮像点において異なる複数の撮像条件下で撮像が行われるように前記撮像装置を制御し、
前記画像データ取得部は、前記撮像装置で撮像された前記複数の画像データから所定の品質基準を満たす画像データを選択的に取得する。

【0028】

上記（１１）の構成によれば、各撮像点において異なる複数の撮像条件下で撮像を行うことで、品質のよい撮像データの取得可能性を効果的に向上させることができる。画像データ取得部では、このように撮像された複数の撮像データから所定の品質基準を満たす画像データを選択的に取得することで、属性判定精度をより向上・処理時間をより短縮させられる。

【0029】

（１２）幾つかの実施形態では上記（１１）の構成において、
前記複数の撮像条件は、前記撮像装置の撮影位置／角度、露光時間、焦点距離、絞り値或いは環境条件を含む少なくとも一つの撮像パラメータが異なるように設定される。

【0030】

上記（１２）の構成によれば、各撮像地点において、これらの撮像パラメータの少なくとも一つが異なる複数の撮像条件下で撮像が行われることで、属性判定精度をより向上・処理時間をより短縮させられる。

【0031】

（１３）幾つかの実施形態では上記（１２）の構成において、
前記複数の撮像条件は、前記撮像パラメータの差分が所定値以上に設定される。

【0032】

上記（１３）の構成によれば、複数の撮像条件では、各撮像条件に含まれる撮像パラメータの差分が所定値以上に設定されることで、より幅広い撮像条件で撮像データが取得されるため、各撮像点において品質のよい撮像データの取得確率をより効果的に向上できる。

【0033】

（１４）本発明の少なくとも一実施形態に係る画像解析方法は上記課題を解決するために、
異なる角度から対象エリアを撮像した複数の画像データを取得する工程と、
前記複数の画像データの各々について画素毎に属性を判定する工程と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する工程と、
前記形状情報に含まれる各点について前記属性の判定結果を集計することにより前記対象エリアにおける属性分布を算出する工程と、
を備える。

【0034】

上記（１４）の方法によれば、異なる角度から対象エリアを撮像した複数の画像データにおいて、互いに対応する画素同士を関連付けることにより形状情報が作成される。形状情報に含まれる各点に対して各画像データにおける属性の判定結果を集計することにより、単一の画像データでは属性判定が困難な領域が存在する場合であっても、当該領域を補間し、広い範囲にわたって属性判定を行うことができる。また複数の画像データにおける属性の判定結果を集計することで、単一の画像データによる属性判定に比べて精度の高い判定結果が得られる。

【0035】

（１５）本発明の少なくとも一実施形態に係る画像解析プログラムは上記課題を解決するために、
異なる角度から対象エリアを撮像した複数の画像データを取得する工程と、
前記複数の画像データの各々について画素毎に属性を判定する工程と、
前記複数の画像データに含まれる各画素を互いに関連付けることにより、前記対象エリアにおける形状情報を作成する工程と、
前記形状情報に含まれる各点について前記属性の判定結果を集計することにより前記対象エリアにおける属性分布を算出する工程と、
をコンピュータに実行させる。

【0036】

上記（１５）のプログラムは、コンピュータによって実行されることにより上述の画像解析システムの少なくとも一部を構成し、また、上述の画像解析方法を好適に実施できる。

【発明の効果】

【0037】

本発明の少なくとも一実施形態によれば、対象エリアの広い範囲にわたって精度のよい属性判定が可能な画像解析システム、画像解析方法及び画像解析プログラムを提供できる。

【図面の簡単な説明】

【0038】

【図1】本発明の少なくとも一実施形態に係る画像解析システムの全体構成を示す模式図である。

【図2】図１のメインサーバのハードウェア構成を示すブロック図である。

【図3】本発明の少なくとも一実施形態に係るメインサーバの内部構成を機能的に示すブロック図である。

【図4】本発明の少なくとも一実施形態に係る画像解析方法を工程毎に示すフローチャートである。

【図5】図４のステップＳ１００で取得される複数の画像データの一例である。

【図6】図４のステップＳ１０１における各画素に対応する属性判定結果の一例である。

【図7】図４のステップＳ１０３における属性分布の算出を概念的に示す模式図である。

【図8】図４のステップＳ１０３で算出される属性分布を比較例と共に示す図である。

【図9】本発明の少なくとも一実施形態に係るメインサーバの内部構成を機能的に示すブロック図である。

【図10】本発明の少なくとも一実施形態に係る撮像データの取得方法を工程毎に示すフローチャートである。

【発明を実施するための形態】

【0039】

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。

【0040】

図１は本発明の少なくとも一実施形態に係る画像解析システム１の全体構成を示す模式図である。
画像解析システム１は、対象エリア２における被災箇所を画像解析によって特定するためのシステムであって、対象エリア２を撮像するための撮像装置４を搭載した移動体６を備える。移動体６は、搭載された撮像装置４の対象エリア２に対する相対的位置関係を変更可能なように対象エリア２上を移動可能に構成される。本実施形態では、移動体６の一例として、遠隔操作によって対象エリア２の上空を無人飛行することにより移動可能なＵＡＶ（無人航空機：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）が示されている。

【0041】

移動体６に搭載される撮像装置４は、対象エリア２を含む画像データを撮像するためのカメラであり、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）のようなイメージセンサを含む。撮像装置４は、移動体６に対して一定の姿勢で搭載されており、移動体６が対象エリア２上を移動するに従って、対象エリア２を異なる角度から撮像可能に構成されている。
尚、撮像装置４は、移動体６に対して姿勢を可変に搭載されてもよい。

【0042】

画像解析システム１は、撮像装置４が搭載された移動体６から地理的に離れた基地局に配置されたメインサーバ１０を備える。メインサーバ１０は、撮像装置４及び移動体６と通信ネットワーク７を介して通信可能なコンピュータ等の演算処理装置から構成される。

【0043】

ここで図２は図１のメインサーバ１０のハードウェア構成を示すブロック図である。メインサーバ１０は、演算装置１２と、記憶装置１４と、ドライブ装置１６と、入力装置１８と、出力装置２０と、を備える。

【0044】

演算装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサである。演算装置１２は、記憶装置１４に記憶されたコンピュータプログラム２２を実行することにより、本発明の少なくとも一実施形態に係る画像解析方法を実施可能に構成される。尚、記憶装置１４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような不揮発性メモリであってもよいし、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリであってもよい。

【0045】

記憶装置１４に記憶されるコンピュータプログラム２２は、本発明の少なくとも一実施形態に係る画像解析プログラムの一例であり、ドライブ装置１６を介して、記録媒体２４からインストールされてもよい。記録媒体２４は、ＣＤ－ＲＯＭ、フレキシブルディスク、又は光磁気ディスクのような、光学的、電気的、又は磁気的に情報を記録する記録媒体でもよいし、ＲＯＭ又はフラッシュメモリのような、電気的に情報を記録する半導体メモリでもよい。

【0046】

入力装置１８は、メインサーバ１０の動作に必要な各種情報を外部から入力するためのインターフェースである。本実施形態では特に、入力装置１８は、遠隔地にある撮像装置４及び移動体６から送信される各種情報を通信ネットワーク７を介して受信するための受信部１８ａを含む。また入力装置１８は、オペレータが操作することによりデータ入力をするための入力手段（例えばコンピュータ用キーボード、マウス、及びタッチパネル等）を含んでもよい。

【0047】

出力装置２０は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又は有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｍｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）のようなフラットパネルディスプレイを含み、演算装置１２で生成された表示データを表示する。表示データは、画像データでもよいし文字データでもよい。尚、出力装置２０は、印刷装置及び音声データを出力するスピーカ装置の少なくとも一方を含んでもよい。

【0048】

また出力装置２０は、遠隔地にある撮像装置４及び移動体６に対して通信ネットワーク７を介して各種制御信号を送信するための送信部２０ａを含む。これにより、メインサーバ１０は撮像装置４及び移動体６を遠隔制御可能に構成されている。

【0049】

＜第１実施形態＞
図３は本発明の少なくとも一実施形態に係るメインサーバ１０の内部構成を機能的に示すブロック図である。メインサーバ１０は、通信ネットワーク７を介して撮像装置４及び移動体６をそれぞれ遠隔制御するためのコントローラ２６と、通信ネットワーク７を介して取得した画像を解析するための画像解析装置２８と、を含む。

【0050】

コントローラ２６は、撮像装置４及び移動体６に対して通信ネットワーク７（図３では省略）を介して制御信号を送受信することによって、撮像装置４及び移動体６を遠隔制御するための制御装置であり、移動体６を制御するための移動制御部３０と、撮像装置４を制御するための撮像制御部３２と、を含む。

【0051】

移動制御部３０は、移動体６に対して通信ネットワーク７（図３では省略）を介して制御信号を送受信することにより、移動体６の移動状態（例えば速度、傾斜角度など）を制御することにより、対象エリア２の上空における移動体６の位置を管理可能に構成されている。撮像制御部３２は、撮像装置４に対して通信ネットワーク７（図３では省略）を介して制御信号を送受信することにより、撮像装置４による撮像動作を制御することで、所定の撮像条件で画像データの作成が行われるように構成される。

【0052】

コントローラ２６を構成する移動制御部３０及び撮像制御部３２は、互いに同期制御可能に構成されている。これにより、移動体６が対象エリア２の上空を移動させながら撮像装置４によって所定タイミングで撮像が実施されることにより、対象エリア２に対して異なる角度からの画像データの作成が行われる。

【0053】

画像解析装置２８は、画像データ取得部３６と、属性判定部３８と、形状情報作成部４０と、属性分布算出部４２と、特異地点特定部４４と、を備える。

【0054】

画像データ取得部３６は、撮像装置４で撮像された画像データを取得する。撮像装置４では、撮像制御部３２による制御信号に従って所定の撮像条件のもとで撮像が行われることにより、画像データの作成が行われる。撮像装置４で作成された画像データは、通信ネットワーク７を介してメインサーバ１０に送信され、画像データ取得部３６によって取得される。

【0055】

属性判定部３８は、画像データ取得部３６で取得された画像データについて画素毎に属性を判定する。ここで画素の属性とは、画素が属する性質又は特徴をいう。また属性の判定とは、予め複数の属性を定義する属性ライブラリの中から画素が属する属性を判定することをいう。本実施形態では、属性の種類として、「植生」、「道路」、「土壌」及び「不明（属性判定不能）」を例示するが、他の種類を含んでいてもよい。

【0056】

属性判定部３８による属性判定は、例えばランダムフォレストアルゴリズムを用いて、次のようなプロセスによって行われる。まず属性判定部３８は、画像データ取得部３６で取得された画像データを取り込み、画像データを画素単位で認識する。そして、属性判定部３８は、画像データから認識した各画素について特徴量を特定する。画素の特徴量は、例えば、輝度、明度、色相及び質感のような各種パラメータを採用可能である。このような特徴量の特定は、例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）のような公知の特徴量算出方法を用いて行うことができる。属性判定部３８は、予め複数の属性を定義する属性ライブラリを有しており、画像データから認識された各画素を属性ライブラリと比較することにより、属性の判定を行う。

【0057】

尚、以下の説明では、画素を単位とした属性判定を行う場合について述べるが、複数の画素を単位とした属性判定を行ってもよい。この場合、例えば、画像データから複数の画素からなるパッチ画像を作成し、当該パッチ画像を属性ライブラリと比較することで属性判定が行われる。

【0058】

形状情報作成部４０は、画像データ取得部３６で取得された複数の画像に含まれる各画素を互いに関連付けることにより、形状情報を作成する。形状情報は、例えば、撮像対象である対象エリア２の三次元形状であり、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）によって算出される。ＳｆＭでは、複数の二次元的な画像データに基づいて、各画像データの撮像点（カメラ位置）、及び、撮像対象（対象エリア２）の三次元形状が点群データとして演算的に算出される。

【0059】

属性分布算出部４２は、形状情報に含まれる各点について属性判定部３８による属性判定結果を集計することにより対象エリア２における属性分布を算出する。属性判定部３８では、上述したように各画像において画素毎に属性の判定を行う。このような属性判定は、画像データ取得部３６で取得された複数の画像データについてそれぞれ行われるため、形状情報作成部４０によって作成される形状情報の各点には、複数の属性判定結果が割り当てられることとなる。属性分布算出部４２は、形状情報の各点において、各画像データに基づく属性の判定結果を集計することで、各点において最も確からしい属性を特定することができる。

【0060】

尚、上述の属性の判定結果の集計では、任意の統計的手法を用いることができる。ここではその一例として、属性分布算出部４２は、形状情報の各点について属性の種類毎に判定回数をカウントし、判定回数が最大となる種類の属性を最終的に採用する。すなわち、形状情報の各点において、判定回数のカウントが最も多かった種類の属性が特定される。このような属性判定を形状情報の各点について行うことにより、対象エリア２における属性分布が算出される。このように形状情報の各点で特定された属性判定結果の分布は、単一の画像データによる属性判定結果に比べて精度がよいものとなる。

【0061】

特異地点特定部４４は、属性分布算出部４２で算出された属性分布に基づいて特異地点を特定する。このような特異地点の特定は、属性分布の任意領域について、特定種類の属性判定がなされた画素の割合が閾値以上であるか否かに基づいて行われる。例えば、所定領域における「土壌」の属性判定がなされた画素の割合が閾値以上である場合、当該領域では土壌による侵食が生じており、特異地点として被災箇所が特定される。

【0062】

尚、特異地点は、本来想定される属性とは異なる属性がある地点であってもよい。本実施形態では、本来「道路」の属性である地点に対して「土壌」の属性判定がなされた場合に特異地点であると特定される場合が例示されている。本実施形態では「道路」「土壌」「植生」「その他」で属性分類しているが、これに「水域」「建物」を追加して分類した場合、「土壌」であれば土壌による浸食（土砂崩れ）や地盤沈下による特異地点が特定され、「植生」であれば地滑りによる特異地点が特定され、「建物」があれば家屋の倒壊による特異地点が特定される。

【0063】

続いて上記構成を有する画像解析システム１によって実施される画像解析方法について説明する。図４は本発明の少なくとも一実施形態に係る画像解析方法を工程毎に示すフローチャートである。

【0064】

まず画像データ取得部３６は、移動体６に搭載された撮像装置４から複数の画像データを取得する（ステップＳ１００）。画像データ取得部３６で取得される複数の画像データは、コントローラ２６によって撮像装置４及び移動体６が制御されることにより、対象エリア２を異なる角度から撮像することにより作成されたものである。言い換えるとステップＳ１００では、コントローラ２６によって対象エリア２の上空を移動体６が所定経路に沿って移動するように制御しながら、撮像装置４によって所定タイミングで撮像されることにより、異なる角度から対象エリア２を撮像した複数の画像データが取得される。

【0065】

ここで図５は図４のステップＳ１００で取得される複数の画像データの一例である。図５では、樹木が存在する植生領域２ａのなかを一本の道路２ｂが存在している対象エリア２を、互いに異なる角度から撮像することで作成された複数の画像データが示されている。

【0066】

続いて属性判定部３８は、画像データ取得部３６で取得された複数の画像データの各々について画素毎に属性を判定する（ステップＳ１０１）。属性判定部３８による属性判定は、ステップＳ１００で取得された画像毎に独立的に実施される。ここで図６は図４のステップＳ１０１における各画像に対応する属性判定結果の一例である。図６では、属性判定が「植生」、「土壌」、「道路」及び「不明」の画素を、それぞれ異なるパターンのハッチングで示されている。

【0067】

続いて形状情報作成部４０は、画像データ取得部３６によって取得された複数の画像データに含まれる各画素を互いに関連付けることにより、対象エリア２における形状情報を作成する（ステップＳ１０２）。すなわち、複数のデータの各画素について三次元空間における座標を特定し、互いに対応する画素同士が関連付けられることで、形状情報が構築される。このような形状情報は、上述したように例えばＳｆＭによって三次元点群データとして作成される。

【0068】

続いて属性分布算出部４２は、形状情報に含まれる各点について属性の判定結果を集計することにより対象エリア２における属性分布を算出する（ステップＳ１０３）。ここで図７は図４のステップＳ１０３における属性分布の算出を概念的に示す模式図である。図７（ａ）～（ｄ）には、ステップＳ１０１における各画像データに対応する属性判定結果が示されている（ここでは図６の最上段の３つの画像と上から２段目左側の１つの画像における属性判定結果が図７（ａ）～（ｄ）として代表的に示されている）。また図７（ｅ）には、ステップＳ１０２で作成された形状情報が示されている。ここで図７（ａ）～（ｅ）に示される複数の属性判定結果は、互いの表示領域が共通するように予め拡大・縮小・回転されることで調整されており、属性判定結果の各点と形状情報の各点とが互いに一対一に対応づけられる。属性分布算出部４２は、このように互いに対応付けられた各点について、属性判定結果の各々を集計することにより、属性の最終的な特定を行い、属性分布（図７（ｆ）を参照）を求める。

【0069】

また、上述の属性分布の算出手法では、属性判定部３８で各画素の属性が属性ライブラリに含まれる「植生」、「土壌」、「道路」又は「不明」のいずれであるかを特定し、その結果を集計しているが、属性判定部３８で属性の種類毎にスコアを求め、そのスコア値を集計することで属性分布を算出してもよい。この場合、属性判定部３８では、例えば、各画像データに含まれる各画素について「植生：○○％、土壌：○○％、道路○○％、不明○○％」のようにスコア値として、属性判定がなされる。そして属性分布算出部４２は、形状情報の各点について属性の種類毎にスコアの合計値を算出し、合計値が最大となるものを属性判定結果として採用する。これにより、最もスコア値が高い属性以外の属性についてもスコア値を加味した集計を行うことができるので、より精度の高い属性分布の算出が可能となる。

【0070】

尚、上述のようにスコア値に基づく集計を行う場合、集計の結果、合計値が最大になる属性と、次に合計値が大きな属性とのスコア差が小さい場合、正確な属性判定が困難である可能性が高い。そのため、当該スコア差が所定の閾値未満である場合には、属性分布算出部４２は、当該画素に関する判定結果を「不明」にして、属性分布を算出してもよい。

【0071】

また属性分布算出部４２は、形状情報に基づいて各画像データの撮像点におけるオクルージョン（隠れ）を求めることにより、属性判定部３８による属性判定結果から明らかにエラーと特定される属性判定結果を除外して集計することで、属性分布を算出してもよい。形状情報では、対象エリア２における凹凸地形や障害物を含めた三次元的構造が特定される。そのため、属性分布算出部４２は、当該三次元的構造を考慮することで、各画像データの撮像点と各画素との位置関係から、撮像装置４の光軸上において判定され得ない属性が判定されている場合、当該判定結果をエラーとして集計対象から除外する。属性判定部３８では二次元画像に基づいた属性判定がなされるため撮像点と対象エリア２との間の中間情報が含まれていないが、形状情報から求められるオクルージョンを考慮することで実質的に中間情報を考慮することができるようになる。このように、属性分布算出部４２では形状情報から求められるオクルージョンを用いることで、明らかにエラーである属性判定を除外し、属性分布の算出精度をより高めることができる。
尚、オクルージョン（ｏｃｃｌｕｓｉｏｎ；隠れ）とは、３次元空間において上下・左右の他に前後関係があるため、手前にある物体が背後にある物体を隠れて見えない状態が発生する事象をいう。

【0072】

また形状情報作成部４０は、外部からデジタル地図のような既成情報を地形情報として取り込んでもよい。このようなデジタル地図には、地形情報に加えて予め設定された属性情報が含まれてもよい。この場合、属性分布算出部４２は、デジタル地図に含まれる属性情報と、属性判定部３８による判定結果とがマッチングしているか否かに基づいて集計時の重み付け係数を設定してもよい。具体的には、属性判定部３８による判定結果がデジタル地図に含まれる属性情報にマッチングしている場合には、信頼性が高いとして重み付け係数を大きく設定してもよい。これにより、地形情報の各点における属性判定結果を、デジタル地図とのマッチング度に応じて重み付けて集計することができ、より精度のよい属性分布を算出することができる。

【0073】

図８は図４のステップＳ１０３で算出される属性分布を比較例と共に示す図である。図８（ａ）は図４のステップＳ１０３で複数の画像データの属性判定結果に基づいて算出される属性分布を示し、図８（ｂ）はステップＳ１００で取得された複数の画像データに含まれる単一の画像データに基づいて算出される属性分布（ステップＳ１０１で算出される属性判定結果の一つ）を示す比較例である。

【0074】

図８（ａ）及び図８（ｂ）を比較して明らかなように、本実施形態で算出される属性分布は、属性が不明である領域が消滅しており、比較例に比べて精度のよい結果が得られている。これは、本実施形態では、異なる角度で撮像された複数の画像データから得られる属性判定結果を形状情報の各点について集計することで、単一の画像データだけでは属性判定が困難な領域（例えば特定の撮像点から樹木等によって死角となる領域や、ハレーション発生によって属性判定が困難な領域など）についても、補間的に属性判定が可能となっているためである。これにより、対象エリア２の広範囲にわたって精度のよい属性判定が可能となる。

【0075】

続いて特異地点特定部４４は、属性分布算出部４２によって算出された属性分布に基づいて対象エリア２における特異地点を特定する（ステップＳ１０４）。特異地点は、周辺領域に対して特定種類の属性に関する特徴を有する領域であり、本実施形態では特異地点の一例として、対象エリア２のうち地震、大雨又は土砂崩れのような災害による被災箇所が特定される。このような被災箇所は、土壌による浸食によって特定されるため、特異地点特定部４４は属性分布のうち属性が「土壌」であると判定された画素の割合が閾値以上になる領域が特異地点として特定する。

【0076】

図８では属性分布から特定された特異地点が破線で囲まれて表示されるとともに、その拡大図が示されている。このように特異地点特定部４４によって特定される特異地点では、予め指定された特定属性「土壌」の割合が多くなっており、土壌による道路の侵食領域が特定されている。図８（ａ）及び図８（ｂ）を比較して明らかなように、特異地点特定部４４によって特定される特異地点においても、本実施形態では比較例にくらべて属性が「土壌」と判定される画素の割合が多くなっており、道路への土壌の侵食の様子がより鮮明に捕らえられている。

【0077】

続いて属性分布算出部４２で算出された属性分布、及び、特異地点特定部４４で特定された特異地点は、予め用意された対象エリア２に対応するデジタル地図に対して重畳表示されるように出力用画像データに加工され（ステップＳ１０５）、出力装置２０に出力表示される（ステップＳ１０６）。オペレータは出力装置２０の表示画面を視認することで、対象エリア２における特異地点の有無や範囲を容易に特定できる。

【0078】

以上説明したように第１実施形態によれば、異なる角度から対象エリアを撮像した複数の画像データにおいて、互いに対応する画素同士を関連付けることにより形状情報が作成される。形状情報に含まれる各点に対して各画像データにおける属性の判定結果を集計することにより、単一の画像データでは属性判定が困難な領域が存在する場合であっても、当該領域を補間し、広い範囲にわたって属性判定を行うことができる。また複数の画像データにおける属性の判定結果を集計することで、単一の画像データによる属性判定に比べて精度の高い判定結果が得られる。そして、このように得られた属性分布に基づいて、対象エリアにおける特異地点の有無や範囲を容易に特定できる。

【0079】

＜第２実施形態＞
図９は本発明の少なくとも一実施形態に係るメインサーバ１０の内部構成を機能的に示すブロック図である。本実施形態のメインサーバ１０は、上述の実施形態に比べて、距離算出部４６を更に備える点で異なる。

【0080】

尚、本実施形態では上述の他の実施形態と共通する構成については共通の符号を用いることとし、重複する説明は適宜省略する。

【0081】

距離算出部４６は、画像データ取得部３６によって取得された複数の画像データの各々について画素毎に撮像点からの距離を算出する。このような画素毎の距離算出は、形状情報作成部によって作成された形状情報に基づいて行われてもよい。形状情報では、三次元空間における対象エリア２を構成する各点及び撮像点の座標がそれぞれ特定されているため、撮像点と各画素の座標に基づいて、各距離を幾何学的に算出することができる。

【0082】

属性分布算出部４２は、距離算出部４６で算出された各画像における撮像点から各画素までの距離に応じて重み付け係数を設定する。このような重み付け係数は、撮像点から画素までの距離が短くなるに従って大きくなるように設定され、属性分布算出部４２が形状情報の各点について属性判定結果を集計するときに乗算される。これにより、撮像点から距離的に近い画素に関する属性判定結果を重視した集計が可能となる。つまり、撮像点から距離的に近い画素は、撮像点から距離的に遠い画素に比べて撮像精度がよいため、その属性判定結果も信頼性が高いものとなる（逆に言えば、撮像点から距離的に遠い画素は、撮像点から距離的に近い画素に比べて撮像精度が低くなるため、その属性判定結果も信頼性が低いものとなる。）。本実施形態では、このような撮像点から各画素までの距離に応じた重み付け係数を設定することで、より信頼性の高い属性分布を算出することができる。

【0083】

＜第３実施形態＞
続く実施形態では、コントローラ２６によって撮像装置４及び移動体６を制御することにより、画像データ取得部３６で取得される複数の画像データの撮像方法に特徴がある。図１０は本発明の少なくとも一実施形態における撮像データの取得方法を工程毎に示すフローチャートである。尚、本実施形態における画像解析システム１の構造に関しては前述の実施形態と同様であってもよい。

【0084】

一般的に、撮像装置４による撮像は、撮像対象にとって画像処理を実施しやすい照明条件で行われるべきであるが、対象エリア２は広範囲にわたるため、対象エリア２に対する撮像装置４の位置関係や、太陽などの光源との位置関係によって、撮像装置４の照明条件が時々刻々と変化する。そのため前述の第１及び第２実施形態では、撮像装置４は画像全体の明るさが一定になるように調整されることが基本となる。

【0085】

その一方で、対象エリア２には道路、土壌及び植生を含む様々な要素が含まれているため、画像全体の明るさが一定になるように調整された撮像装置４で撮像した場合、比較的輝度が低い植生を基準に撮像条件を調整すると、比較的輝度が高い道路や土壌がハレーション気味に撮像されてしまう。そのため、一定の撮像条件で撮像を行った場合、撮像データにハレーション等が発生し、画素毎に属性判定が困難な領域が生じてしまうことがある。

【0086】

そこで本実施形態では、対象エリア２の上空を移動体６で移動しながら撮像装置４で撮像する際に、撮像制御部３２は、各撮像点において複数の撮像条件で撮像が行われるように撮像装置４を制御する（ステップＳ２００）。つまり、各撮像点において異なる撮像条件で複数回の撮像がなされる。複数の撮像条件は、例えば、撮影位置／角度、露光時間、焦点距離、絞り値あるいは環境条件などの撮像パラメータの少なくとも一つが異なるように設定される。これにより、照明条件が時々刻々と変化する場合であっても、各撮像点において品質のよい撮像データの取得確率を効果的に向上できる。

【0087】

尚、ステップＳ２００における複数の撮像条件は、上述の撮像パラメータの差分が所定値以上に設定されてもよい。つまり、複数の撮像条件は、各撮像条件を規定する撮像パラメータが大きく異なるように設定されてもよい。これにより、より幅広い撮像条件で撮像データが取得されるため、各撮像点において品質のよい撮像データの取得確率をより効果的に向上できる。

【0088】

続いて画像データ取得部３６は、撮像装置４で作成された複数の画像データを取得する（ステップＳ２０１）。ここで画像データ取得部３６で取得される複数の画像データには、対象エリア２の異なる撮像点の各々において異なる撮像条件で撮像された画像データが含まれる。

【0089】

続いて画像データ取得部３６は、取得した画像データを解析することにより、撮像装置４で撮像された複数の画像データから所定の品質基準を満たす画像データを選択的に取得する。すなわち、画像データ取得部３６で取得された画像データから低品質の画像データを排除することで、以降の画像解析に用いる画像データの選別を行う（ステップＳ２０２）。ステップＳ２０２における画像データの選別は、属性判定が適切に実施し得るだけの品質基準を有するか否かによって行われる。これにより、複数の画像データの中からハレーション発生等によって属性判定に適さない画像データを排除し、属性判定に適した画像データを選択することができる。

【0090】

属性判定部３８及び形状情報作成部４０では、画像データ取得部３６で選別された画像データに基づいて、属性判定や形状情報の作成が行われる。すなわち第３実施形態では、図１０の方法によって取得された複数の画像データは、図４のステップＳ１０１以降と同じ処理が実施されることで、前述の実施形態と同様に解析され、属性分布の算出や特異地点の特定が行われる。

【0091】

このように第３実施形態では、品質のよい複数の画像データに基づいて属性判定及び形状情報作成が行われるため、より精度のよい属性分布の算出が可能となる。また、各撮像点において複数の撮像条件で撮像データを取得する場合、撮像データの数量が増加するため処理データが膨大になりがちであるが、このように処理対象の画像データを品質基準に基づいて選別することで、良好な解析精度を確保しつつ、処理負荷や処理時間を効果的に低減することができる。すなわち、各撮像点において異なる複数の撮像条件下で撮像を行うことで、品質のよい撮像データの取得可能性を効果的に向上させることができる。画像データ取得部３６では、このように撮像された複数の撮像データから所定の品質基準を満たす画像データを選択的に取得することで、属性判定精度をより向上・処理時間をより短縮させられる。

【0092】

以上説明したように上記各実施形態によれば、対象エリアの広い範囲にわたって精度のよい属性判定が可能な画像解析システム、画像解析方法及び画像解析プログラムを提供できる。

【産業上の利用可能性】

【0093】

本発明の少なくとも一実施形態は、画像に含まれる要素を属性判定することにより画像解析が可能な画像解析システム、画像解析方法及び画像解析プログラムに利用可能である。

【符号の説明】

【0094】

１ 画像解析システム
２ 対象エリア
４ 撮像装置
６ 移動体
７ 通信ネットワーク
１０ メインサーバ
１２ 演算装置
１４ 記憶装置
１６ ドライブ装置
１８ 入力装置
２０ 出力装置
２２ コンピュータプログラム（画像解析プログラム）
２４ 記録媒体
２６ コントローラ
２８ 画像解析装置
３０ 移動制御部
３２ 撮像制御部
３６ 画像データ取得部
３８ 属性判定部
４０ 形状情報作成部
４２ 属性分布算出部
４４ 特異地点特定部
４６ 距離算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】