特開 2023-1469 画像解析システム及び画像解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023001469

(43)【公開日】2023-01-06

(54)【発明の名称】画像解析システム及び画像解析方法

(51)【国際特許分類】

   G06Q 50/16 20120101AFI20221226BHJP

   G08B 25/04 20060101ALI20221226BHJP

   G01V 8/10 20060101ALI20221226BHJP

【ＦＩ】

G06Q50/16

G08B25/04 K

G01V8/10 S

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021102216

(22)【出願日】2021-06-21

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】山本 知史

(72)【発明者】

【氏名】山口 悟史

(72)【発明者】

【氏名】岡崎 聡一郎

(72)【発明者】

【氏名】八幡 晃一郎

【テーマコード（参考）】

2G105

5C087

5L049

【Ｆターム（参考）】

2G105AA03

2G105EE06

2G105GG03

2G105MM01

5C087AA02

5C087AA03

5C087AA09

5C087AA10

5C087DD02

5C087EE08

5C087FF01

5C087FF02

5C087GG83

5L049CC29

(57)【要約】      （修正有）

【課題】上空画像を用いた家屋の被害状況の判定を高精度に行う画像解析システム及び画像解析方法を提供する。
【解決手段】画像解析システムにおいて、全壊家屋抽出部２０２は、画像取得部２０１から取得した上空画像から家屋の被害レベルを判定する。一斉通知・集計部２０４は、全壊家屋と判定された家屋の位置に基づいて、通知対象のユーザを選択し、選択したユーザに対して状況を問い合わせる通知を行う。再評価部２０７は、通知に対する応答としてユーザから受け取った補助情報をさらに用いて、被害レベルを判定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

上空画像から家屋の被害レベルを判定する第１の判定部と、
前記第１の判定部で全壊家屋と判定された家屋の位置に基づいて、通知対象のユーザを選択し、選択したユーザに対して状況を問い合わせる通知を行う通知部と、
前記通知に対する応答として前記ユーザから受け取った補助情報をさらに用いて、前記被害レベルを判定する第２の判定部と
を備えたことを特徴とする画像解析システム。

【請求項2】

前記通知部は、前記全壊家屋のユーザ、前記全壊家屋と類似特徴を有する家屋のユーザ、前記全壊家屋の近傍に所在し且つ前記被害レベルが未定の家屋のユーザうち、少なくともいずれかのユーザを通知対象として選択することを特徴とする請求項１に記載の画像解析システム。

【請求項3】

前記補助情報は、家屋の属性を示す情報及び／又は被害の程度を示す情報であることを特徴とする請求項１に記載の画像解析システム。

【請求項4】

前記第２の判定部による判定結果を用いて調査人員の計画を立案する計画立案部をさらに備えることを特徴とする請求項１に記載の画像解析システム。

【請求項5】

前記上空画像は、１または複数の光学衛星画像あるいは航空画像であることを特徴とする請求項１に記載の画像解析システム。

【請求項6】

前記通知部は、前記選択したユーザに対して応答画面を通知し、
前記応答画面は、前記家屋の築年数、前記家屋の構造、前記家屋内の画像、前記家屋周辺の画像のうち、少なくともいずれかを前記補助情報として受け付けることを特徴とする請求項２に記載の画像解析システム。

【請求項7】

前記第２の判定部は、前記上空画像と、前記ユーザから受け取った補助情報と、前記上空画像の撮像範囲内に所在するセンサからの出力とを用いて前記被害レベルを判定することを特徴とする請求項１に記載の画像解析システム。

【請求項8】

前記第２の判定部は、前記補助情報として前記ユーザから受け取った画像を解析して被害を推定することで補助画像被害スコアを算定し、該補助画像被害スコアをさらに用いて前記被害レベルを判定することを特徴とする請求項１に記載の画像解析システム。

【請求項9】

前記計画立案部は、半壊と全壊のそれぞれの判定を受けたユーザをエリアごとに評価し、半壊の比率が多い地域に割り当てる調査人数を多くすることを特徴とする請求項４に記載の画像解析システム。

【請求項10】

前記第１の判定部は、ＳＡＲ衛星画像を用いてエリア全体の浸水域を検出し、シミュレーションによって時間的情報を補間し、個別家屋の最大被害レベルを検出することを特徴とする請求項１に記載の画像解析システム。

【請求項11】

前記通知部は、前記選択したユーザに対して応答画面を通知し、
前記応答画面は、前記家屋の床高、浸水高、前記家屋内の画像、前記家屋周辺の画像のうち、少なくともいずれかを前記補助情報として受け付けることを特徴とする請求項１０に記載の画像解析システム。

【請求項12】

上空画像から家屋の被害レベルを判定する第１の判定ステップと、
前記第１の判定ステップで全壊家屋と判定された家屋の位置に基づいて、通知対象のユーザを選択し、選択したユーザに対して状況を問い合わせる通知を行う通知ステップと、
前記通知に対する応答として前記ユーザから受け取った補助情報をさらに用いて、前記被害レベルを判定する第２の判定ステップと
を含むことを特徴とする画像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析システム及び画像解析方法に関する。

【背景技術】

【0002】

本発明の背景となる技術を説明する。
衛星画像は、一度の撮影で広域を撮影できる特性から、同一地域における地上の被覆状況を調査する用途に向いている。気候変動の影響もあってか、日本では激甚災害が増えており、広域の災害を迅速に把握する技術の検証が盛んに行われている。ドローンに加え、衛星画像も従来より入手障壁が下がってきており、これら上空から撮影した画像に対して、深層学習を適用することで、広域の情報を得ようとする試みが数多く報告されている。衛星の活用方法は、自治体による罹災認定や、保険業界の被害調査への適用が近年脚光を浴びている。

【0003】

例えば、保険業界を例に考えると、地震保険は、建物内の家財が、地震によって毀損した損害を補償することを主な目的としている。地震保険の加入者は、地震発生後、保険会社へ連絡を行い、保険会社から送付される書類を記入することで、保険の支払いを申請する。保険会社は、申請があった被保険者に対して、事故受付、損害調査を経て、被害認定して保険金を支払うステップを踏む。特許文献１では、「保険業務支援システムであって、保険の契約者ごとの保険契約情報を記憶する保険契約情報データベース及び被災した契約者を特定するための契約者特定装置を備え、契約者特定装置は、上空画像を取得する画像取得部と、取得した上空画像に含まれる特徴に基づいて、該上空画像が含むエリアの中から全損エリアを特定する全損エリア特定部と、特定された全損エリアと、保険契約情報が含む契約者の住所とに基づいて、該全損エリア内の契約者を特定する契約者特定部と、を備える」との記載がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－０４２６４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上空画像は基本的には直上から撮影、解像度は高くない。屋根しか見えないので、完全に崩壊した家屋は検出できるが、半壊家屋の検出は難しい。また、解像度が高くない画像では小さい家屋の全損の判定に失敗する場合がある。衛星画像から抽出される不完全な被災等級の情報では、遠隔で保険査定や罹災認定する情報として十分でない。
そこで、本発明は、上空画像を用いた家屋の被害状況の判定を高精度に行うことを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、代表的な本発明の画像解析システムの一つは、上空画像から家屋の被害レベルを判定する第１の判定部と、前記第１の判定部で全壊家屋と判定された家屋の位置に基づいて、通知対象のユーザを選択し、選択したユーザに対して状況を問い合わせる通知を行う通知部と、前記通知に対する応答として前記ユーザから受け取った補助情報をさらに用いて、前記被害レベルを判定する第２の判定部とを備えたことを特徴とする。
また、代表的な本発明の画像解析方法の一つは、上空画像から家屋の被害レベルを判定する第１の判定ステップと、前記第１の判定ステップで全壊家屋と判定された家屋の位置に基づいて、通知対象のユーザを選択し、選択したユーザに対して状況を問い合わせる通知を行う通知ステップと、前記通知に対する応答として前記ユーザから受け取った補助情報をさらに用いて、前記被害レベルを判定する第２の判定ステップとを含むことを特徴とする。

【発明の効果】

【0007】

本発明によれば、上空画像を用いた家屋の被害状況の判定を高精度に行うことができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】全体処理

【図2】実施例１の処理フロー

【図3】実施例１の機能ブロック図

【図4】実施例１のインタフェース画面

【図5】実施例１のユーザ管理テーブル

【図6】本発明のハードウェア構成を説明する図

【図7】実施例２の処理フロー

【図8】実施例２の機能ブロック図

【図9】実施例２のインタフェース画面

【図10】実施例２のユーザ管理テーブル

【発明を実施するための形態】

【0009】

まず、本発明における用語を定義する。上空画像とは、衛星画像あるいは航空画像である。本発明においてユーザとは、罹災認定では被害家屋に住む住民、保険査定では、火災保険及びオプション加入者のいずれかの意味で用いる。全壊・半壊の判別対象は、風災、震災、土砂災害、火災による建物倒壊、河川氾濫による建物浸水のいずれかのケースである。浸水における半壊は、全没、全損判定に至らない浸水高の家屋を指す。

【0010】

本発明のシステムでは、図１に示すようなフローにより、迅速化な安否確認を可能とする速報方法、速報時の補助情報のフィードバック方法、現地調査に向けた詳細情報の把握方法を提供する。

【0011】

まず、上空画像を用いて、被害を受けたエリアを検出する（ステップＳ１０１）。上空画像を用いた被害判定では、初動のために検出が容易な大規模被害エリアを検出する。初動では速報性が重要であり、例えば、建物倒壊の検出においては、半壊家屋に比べて、画像上の変化が顕著で検出しやすい全壊家屋を検出、所定のエリア内で、全壊家屋が所定の数より多い全壊エリアを検出するとよい（ステップＳ１０２）。過去の上空画像があれば、差分変化を特徴量として利用することで精度向上が期待できる。

【0012】

あるいは、水災の場合における浸水建物検出であれば、ＳＡＲ画像解析を用いて、エリアの浸水を検出すると良い。ＳＡＲ画像を用いると、浸水域は黒く表現されることから、浸水エリアを高精度に検出できる。しかしながら、ＳＡＲ画像を用いた浸水域検出では、浸水深を測定することが出来ない問題があるため、シミュレータと組み合わせることで、浸水深が所定よりも深い地域を算出、時間的に遡及して被害を推定できる。

【0013】

しかし、解像度が高くない画像では小さい家屋の全損の判定に失敗する場合が多い。一軒一軒の評価に閉じず、周辺家屋の損害状況も加味すべきである。家屋単位で被害等級を判別した後に、地域内の全壊家屋数をパラメータに追加して再度全壊判定する。あるいは全壊家屋と類似の屋根を検出することで、半壊疑いの建物に連ねるとよい。

【0014】

半壊家屋は、上空画像では無被害と同じような見かけになっていることが多い。半壊家屋の検出に必要な補助情報、例えば、家屋の構造データが利用できれば検出できる可能性が高まる。加入時から情報が変わっている場合など、正しい情報が利用できない可能性がある。そのため、全壊エリア内のユーザに対して安否確認を行い、安否応答時に実際の損害情報や、再判定に用いる補助情報をフィードバックしてもらうと良い。すなわち、全壊エリア内のユーザを通知対象として通知先の絞り込みを行い（ステップＳ１０３）、ユーザから情報収集するのである（ステップＳ１０５）。

【0015】

補助情報には時間情報をつけてもらう。建物倒壊の判定においては、築年数・構造データ・家財、壁面の被害写真、地面の傾き・ひび割れの写真も有用な情報になるので、これらの情報を提供してもらうと良い。水災での建物浸水の判定においては、浸水高を算出するための床高の情報、浸水を証明する写真を送付してもらうなどの方法が考えられる。水災発生後、水が引けると上空画像から被害の直接認定がむずかしくなるので、シミュレータの利用が必要になると考えられ、正確な時刻情報とセットでのフィードバックが重要となる。

【0016】

エリア内に予めセンサ類を設置しておいて、補助情報のフィードバックを機械的に収集してもよい。例えば、水災においては水深計、カメラによる監視、震災においては震度計の情報を収集すると良い。

【0017】

これらの補助情報フィードバックを利用して、現地の情報を活用して上空画像解析の結果をアップデートすることで、上空画像解析だけでは難しかった、半壊家屋の抽出精度を向上する。

【0018】

建物の倒壊の例においては、近年、耐震強度の高い家屋が増えており、半壊家屋にとどまり、全壊家屋は、築年数の古い木造家屋に集中する傾向がある。耐震強度の高い家屋の検出には、実際の家財被害写真や、地面のひび割れなどの情報をフィードバックしてもらうことで、損害判定が必要になると考えられる。それらの写真が本当に現地で得られたものか、真贋の判定が重要になるため、複数人からのフィードバックを照合する仕組みがあると良い。

【0019】

建物の浸水の例においては、複数のユーザからフィードバックしてもらった浸水深と浸水高の情報を用いて、シミュレータによる浸水深の推定や浸水域の広がりの補正を行うことで、水災の被害認定に重要となる最大浸水深の算出を補助する。

【0020】

このように、ユーザから収集した補助情報を用いて、ユーザごとに被害レベルを再判定することで（ステップＳ１０５）、家屋の被害状況の判定を高精度に行うことが可能である。再判定の結果は、現地対応方針の決定に用いることができる（ステップＳ１０６）。例えば、半壊と全壊のそれぞれの判定を受けたユーザをエリアごとに評価し、半壊の比率が多い地域に割り当てる調査人数を多くすることができる。

【0021】

本発明を実施する為の形態について例に挙げて説明する。各実施の形態において、同じ番号が付いているブロック、ハードウェア、処理は基本的に同じ動作をするため説明を省略する。

【実施例0022】

実施例１では、震災において、光学衛星画像を用いた広域の災害検出を行う例について説明する。
図２と図３を用いて実施例１におけるシーケンス、それを実現する機能ブロック図について説明する。
まず、本発明の災害調査システムは、地震が起きたことを検出したら、上空画像を取得するため、画像プロバイダに緊急撮影画像の有無を確認し、可及的速やかに入手する。
近年、米国を中心に、光学衛星のコンステレーション計画が進行しており、光学衛星画像は、広域性と即応性の観点で、ドローンや飛行機による航空画像よりも利用しやすくなると予想される。

【0023】

例えば、衛星画像プロバイダは、クラウド上に撮像画像を即時アップロードする仕組みを具備する。画像取得部２０１は、発災後、被災地域の新しい画像がアップロードされたか当該クラウドをポーリングし、新しい画像が撮像を検知したら、画像データを取得する。あるいは、単に新規画像が撮像されたことを知ることが出来ればよいため、メールによる通知を受け取ったり、予め画像が配信されるような契約形態をしておくことで画像の入手を図るとよい（ステップＳ２０１）。

【0024】

全壊家屋抽出部２０２は、上空画像を入手した後、広域の被害を迅速に判定するため、機械学習を利用して全壊家屋を検出する。ここで意図する上空画像は各ピクセルが実質の距離情報を持つ、地図投影済の画像である。ここで、家屋のポリゴンデータの周辺を切り出して、損害レベルを判定するようなクラス分類を機械学習したモデルを用意しておく。

【0025】

日本の家屋は衛星画像の解像度に比して、サイズが小さいため、表現できるピクセル数が少なく、建物が倒壊したレベルの被害を受けていないと検出が難しいことが予想される。過去に同地点を撮影した衛星画像があれば、前後データを機械学習の入力として利用することで検出精度が高まる。ここでの全壊判定結果はスコア化して保持しておくと良い。例えば、被害レベルを推定するクラス分類の深層学習モデルにおいて、出力層のベクトルデータを、全壊判定結果としてユーザ管理テーブルに保持しておくと良い。例えば、全壊：0.8、半壊:0.2、無被害:0.0、などのようにディクショナリ形式で、出力層のベクトルデータと被害等級のラベルをセットで管理しておくとよい。もちろんラベル名は省略してベクタデータやリスト形式のままで取り扱ってもよい。

【0026】

エリア解析部２０３は、全壊家屋を検出した後、安否確認を送信する被災リストを作成する（ステップＳ２０２）。上空画像を利用する利点として、緯度経度の位置情報を持つことが挙げられる。被災リストの作成に当たっては、所定のエリアで区切って、当該エリア内にて全壊家屋が一定数に達した地域のユーザを対象にするとよい。地域内には一定の割合で旧耐震の家屋が存在していて、大きな被害を受けていることが予想される。

【0027】

図５に示すようなユーザ管理テーブルと照合することで、被災者を特定するとよい。ユーザ管理テーブルの住所情報を、緯度経度の情報に変換して保持しておくことで、上空画像の全壊検出位置との照合が可能となる。家屋の存在位置をポイントデータ、あるいは家屋の形状を表すポリゴンデータとして保持しておくと良い。ユーザ管理テーブルはPostGIS等の位置情報を管理できるデータベース上に格納しておくことで、ポリゴンデータで表現されるエリア情報をキーとして、当該ポリゴン内に含まれるユーザを検出してもよい。

【0028】

一斉通知・集計部２０４は、このように作成した被災リストを用いて、安否確認をユーザにプッシュ通知する（ステップＳ２０３）。安否確認の通知方法は、メールで所定のURLへアクセスするように誘導し、応答を入力してもらう形式が考えられる。あるいは、専用のアプリを開発し、アプリを介してのプッシュ通知を可能とすると良い。安否確認をしたのち、被害確認と、補助情報の提供を依頼する入力画面を通知する（ステップＳ２０４）。

【0029】

補助情報の入力画面では、安否確認時には、自宅周辺の上空写真に、検出アルゴリズムの結果、全壊判定のスコアをヒートマップで重畳し、通知に至ったエビデンスを示す。確認の結果、被害ありの場合には、事故受付、被災認定の諸手続きの開始を勧奨する。この際、補助情報の提供を呼びかけ、自宅や周囲の被害情報、自宅の築年数、構造データ（木造・鉄骨）、などを提供してもらうと良い。ユーザからの安否確認・補助情報の入力依頼の画面は例えば図４のような画面でこれらの情報をインプットしてもらうと良い。自宅や周辺の写真を提供してもらうためのカメラツール、ローカルに保存された画像をアップロードしてもらうための添付機能も有しておく（ステップＳ２０５）。

【0030】

回答集計部２０６は、補助情報を提供してくれたユーザの情報を用いてユーザ管理テーブル２０９のデータベースを逐次アップデートする。ユーザ管理テーブル２０９は例えば図５のようなテーブル属性値を管理するとよい。ユーザごとにＩＤで管理し、住所及び対応する緯度経度、エリアＩＤ、家屋の形状ポリゴンの情報を基本情報として持つ。ユーザの住所を用いて、最寄の震度計の情報を参照するかを予め設定しておき、震災発生タイミングで情報を取得する。ユーザ管理テーブル２０９は、ユーザからアップロードしてもらったデータを保持するための、Upload画像の有無、構造データ、築年数の属性値を管理するとよい。加えて、Uploadした画像を解析して、周辺及び自宅の被害判定した結果を属性値として保持してもよい。ユーザ管理テーブル２０９は最初に被害判定をした結果と、ユーザからアップロードしてもらったデータで再判定を行った結果を格納するとよい。

【0031】

再評価部２０７は、まず、ユーザから提供された自宅周辺写真と、自宅写真を解析し、直接的に被害判定に寄与する可能性のある特徴量を抽出する。例えば、自宅周辺写真のデータを解析して、深層学習により、自宅周辺の異常度を評価する。異常度とは、地震によって道路や玄関の舗装にひび割れが発生しているか、隣接店舗の看板が落ちている、車が瓦礫に埋もれているなどのシーンを認識させ、被害度合いをスコア化する。同じように、自宅写真の解析では、家財が転倒していたり、壁面にクラックが発生していたり、窓ガラスが割れていることをシーン認識させて、被害度合いをスコア化する。これらのスコアはユーザ管理テーブルに反映する。

【0032】

ユーザ管理テーブルのアップデートが終了したら、当該テーブルデータを解析し、過去の実績で機械学習したモデルを用いて、被害レベルの再判定結果を得る（ステップＳ２０６）。この再判定結果をもとに、判定結果の自信度の高いユーザに対しては、現地に行かなくても被害認定対応を取ることが可能となる。

【0033】

計画立案部２０８は、半壊以上の認定ユーザに対しては、被害の認定に必要な書面を送付し書類を返送してもらうとよい。あきらかに全壊の家屋に関しては調査は不要と思われるが、法律・契約上の制約に従い、現地へ調査に向かう必要がある。そこで、現地訪問の必要性も制約条件に取り入れて、実際に現地に派遣する人数を決定するとよい。全壊家屋は上空画像と補助情報を用いて高い確率で認定できるから、現地での査定作業自体は少なく、作業人数の割り当てを減らすことは可能である。半壊家屋に関しては、再判定の結果、スコアが低かったり、補助情報が提供されずに、再判定がそもそもできないユーザが存在することが想定される。この場合、現地調査に必要な人数を優先的に割り当てる必要がある。計画立案部２０８は、再判定の結果、エリアごとに全壊家屋と半壊家屋の数をカウントして、現地の調査にあたる人数を調整するとよい。もし、現地に訪問するにあたっての法律・契約上の問題が取り払われたならば、被害認定のフロー全てを現地調査なしで遠隔・電子的手段で完結させてもよい。
以上をもって、必要な手続きが終了すると、被害認定通知をユーザに対して通知する。

【0034】

図６に、本発明を実現するハードウェア構成について示す。ＣＰＵ４１３は本発明のプログラムを起動し、図３の機能ブロックの処理を実行する。演算に使用するデータは一時的にメモリ４１５に格納される。高速な計算が必要な場合、ＧＰＵ４１４のメモリにデータを転送し、ＧＰＵの演算サポートを使用してよい。被災リストの抽出結果は表示装置４１１に表示される。この時点で、ユーザは表示された結果に基づき、妥当性を確認してユーザインタフェース４１６により、通知対象のユーザの選択などを決定するとよい。記憶装置上４１２上の属性テーブルの更新を行う。通信インタフェースは、複数の計算機をもってシステムを構成する際や、実際の計算処理をクラウド上のインスタンスで実行するために使用してよい。本サーバーの提供形態は、オンプレミスのサーバーでもよいし、パブリッククラウド上に実装する形態であってもよい。パブリッククラウドで実装する場合には、ＣＰＵ４１３、ＧＰＵ４１４、メモリ４１５を動的に確保、計算規模に合わせてスケーリングする構成を取ってもよい。

【0035】

サーバーからユーザへ、安否確認や補助情報の提供依頼をする場合には通信Ｉ／Ｆ
４１７で通信する。ユーザ側の端末も同様のハードウェア構成を持つが、スマートフォンのようなモバイル端末を含むため、末尾の番号に－Ｕを付けた表記を取っている。ノートパソコンや、据え置き型のデスクトップＰＣもある。

【実施例0036】

実施例２では、水災の被災把握サービスについて説明する。図７に水災におけるフロー、図８に水災解析における機能ブロック図を示す。基本的な流れは、実施例１と同じである。実施例２では、解析アプローチとして機械学習による認識結果とシミュレータを合わせて使用する。

【0037】

水災が発生すると、画像取得部２０１－Ａは、光学画像の代わりに、ＳＡＲ（Synthetic Aparture Radar）画像を取得する。ＳＡＲ衛星のコンステレーションが完成すると、緊急撮影時に、浸水エリアを捉えやすくなる。第一の実施形態と同様に、水災の発生前に取得した画像もペアで取得しておくと良い。ＳＡＲ画像は水災発生時に緊急撮影されることを想定する。

【0038】

震災の場合と異なる点は、浸水の場合は先に浸水領域が決まってから、その中で床高の高い家屋を選択することで全壊家屋判定を行う点である。
エリア解析部２０３－Ａでは、入手したＳＡＲ画像を用いて、全壊家屋を検出する。水災の前後で撮影したＳＡＲ画像を入力として、深層学習を適用して浸水領域を検出する。ＳＡＲ画像の解析だけで抽出した浸水領域はスナップショットであり、浸水域は時々刻々と変化するため、最大浸水域、最大浸水深を取得することはできない。そこで、シミュレータと連携させることで、時系列の浸水域の情報を再現すると良い。具体的には、ＳＡＲ画像で検出した浸水領域の情報と、時刻情報を正解データとして、もっともよく一致する結果を出力するシミュレータのパラメータを探索する。一致度合いは浸水領域のIoU （Intersection over Union）で測定してもよい。シミュレータはパラメータが決まれば時系列の解析データを出力することが出来るため、最終的な浸水域と浸水深のパラメータを推定できる。エリア解析部２０３－Ａでは、このパラメータを用いて、最も被害が大きかった時刻の浸水発生エリアとその浸水深を確定する（ステップＳ３０１）。

【0039】

全壊家屋抽出部２０２－Ａは、シミュレータの解析結果と、可能ならばユーザ管理テーブル２０９－Ａに保存されている各家屋の床高情報を用いて、最大浸水高を算出する。床高の情報が利用できない場合には最大浸水深の情報を使って、閾値によって半壊以上の判定となる浸水に達するユーザを抽出してリストを作成する（ステップＳ３０２）。

【0040】

一斉通知・集計部２０４は、抽出したユーザリストを用いて安否確認のプッシュ通知をユーザに対して行う。プッシュ通知の手段はメール、専用アプリを用いた通知であってもよい。許可が得られれば、ETWS（Earthquake Tsunami Warning System）等の公共アラート手段を用いてもよい。

【0041】

ユーザは安否確認の連絡を受けたのち、実施例１と同様に補助情報のやり取りを行う（ステップＳ３０３～ステップＳ３０５）。補助情報で必要となるのは、ある時刻における水深の情報と、ユーザの家屋における床高の情報である。スマートフォンアプリでカメラ画像と同時に、加速度センサ、距離センサ（LiDAR等）を活用して距離計測をする機能を有しているものもある。可能であれば、水深の情報はそういったデータで提供してもらう形態も考えられる。

【0042】

補助情報ＧＵＩ ２０５－Ａは、補助情報の回答の受け付けを可能にする。補助情報の入力画面では、安否確認時には、自宅周辺の上空写真に、浸水深の時系列変化を参照できるマップとともに、通知に至ったエビデンスを示す。確認の結果、被害ありの場合には、事故受付、被災認定の諸手続きの開始を勧奨する。この際、補助情報の提供を呼びかけ、自宅や周囲の被害情報、自宅の床高、浸水高などを提供してもらうと良い。ユーザからの安否確認・補助情報の入力依頼の画面は例えば図９のような画面でこれらの情報をインプットしてもらうと良い。自宅や周辺の写真を提供してもらうためのカメラツール、ローカルに保存された画像をアップロードしてもらうための添付機能も有しておくとよい。

【0043】

ユーザ以外にも、自動で補助情報を返してくれるセンサを設置しておき、フィードバックのインタフェースを合わせておくことで、共通にデータを回収することも可能である。

【0044】

自動で取得可能なセンサの情報には浸水深の情報、センサ設置場所付近の画像等が考えられる。このようにすることで、センサをユーザの一人としてＩＤを割り当てて管理してもよい。

【0045】

回答集計部２０６－Ａでは、ユーザから報告が返ってくるたびに、ユーザ管理テーブル２０９－Ａを更新する。ユーザ管理テーブル２０９－Ａは例えば図９のようなテーブル属性値を管理するとよい。ユーザごとにＩＤで管理し、住所及び対応する緯度経度、エリアＩＤ、家屋の形状ポリゴンの情報を基本情報として持つ。ユーザの住所を用いて、最寄河川の水深計の情報を参照するかを予め設定しておき、水災の発生タイミングで情報を取得する。水深計の情報は時系列データと扱い、変化分を参照できるようにする。ユーザ管理テーブル２０９－Ａは、ユーザからアップロードしてもらったデータを保持するための、Upload画像の有無、床高、浸水高の属性値を管理するとよい。加えて、Uploadした画像を解析して、周辺及び自宅の被害判定した結果を属性値として保持してもよい。ユーザ管理テーブル２０９－Ａは最初に被害判定をした結果と、ユーザからアップロードしてもらったデータで再判定を行った結果を格納してもよい。

【0046】

被害の再評価部２０７－Ａでは、ユーザやセンサからフィードバックされた浸水深の情報を最もよく再現できるように、例えば、誤差平均が最も小さくなるようにシミュレーションのパラメータを再調整する。ユーザから報告された画像があれば、解析によって浸水深の情報を取得すると良い。浸水跡の情報を画像と距離情報の取得データをフィードバックしてもらう方法も考えられる。現地の測定データを反映することで浸水深の精度が向上する効果が期待できる。補助情報として床高の情報を入手できる場合には、各地点における浸水深の情報を浸水高の情報に変換できる。被害の再評価部２０７－Ａでは、ユーザからフィードバックされた画像を解析して全没を判定する仕組みを持っていてもよい。

【0047】

浸水高の情報が得られれば、半壊、全壊の認定が自動化できる可能性がある。
計画立案部２０８－Ａは、更新された浸水深あるいは浸水高の情報を用いて、被害レベルの認定を行う。床高の情報が得られなかった場合には、現地の調査に向かい、そうでない場合には、遠隔で被害認定する手続きを開始すると良い。明らかに全損の家屋が集中しているエリアは、遠隔で査定が出来るので派遣人数を多くする必要はない。

【0048】

上述してきたように、実施例に係る画像解析システムは、上空画像から家屋の被害レベルを判定する第１の判定部としての全壊家屋抽出部２０２と、前記第１の判定部で全壊家屋と判定された家屋の位置に基づいて、通知対象のユーザを選択し、選択したユーザに対して状況を問い合わせる通知を行う通知部としての一斉通知・集計部２０４と、前記通知に対する応答として前記ユーザから受け取った補助情報をさらに用いて、前記被害レベルを判定する第２の判定部としての再評価部２０７と、を備える。
かかる構成により、上空画像を用いた家屋の被害状況の判定を高精度に行うことができる。
この判定結果は、自治体による罹災認定、保険会社による損害保険の認定業務に利用できる可能性がある。

【0049】

また、前記通知部は、前記全壊家屋のユーザ、前記全壊家屋と類似特徴を有する家屋のユーザ、前記全壊家屋の近傍に所在し且つ前記被害レベルが未定の家屋のユーザうち、少なくともいずれかのユーザを通知対象として選択する。
この通知対象のユーザは、個別に選択してもよいし、予め設定された区画単位で選択してもよい。
このように通知ユーザを絞り込むことで、効率的に情報を収集し、再判定に用いることができる。

【0050】

また、前記補助情報は、家屋の属性を示す情報及び／又は被害の程度を示す情報であることを特徴とする。家屋の属性とは、築年数、木造か鉄筋か、何階建か、屋根瓦を使っているか、などである。被害の程度を示す情報は、家屋内の画像は家屋周囲の画像など、実際の被害を客観的に示すものが好適であり、不正などを防ぐために時刻情報や位置情報を含めることが望ましい。
これらの補助情報を用いることで、客観的な被害レベルを高い精度で求めることができる。

【0051】

また、前記第２の判定部による判定結果は、調査人員の計画立案にも適用でき、状況に応じた最適な人員配置が実現できる。例えば、半壊と全壊のそれぞれの判定を受けたユーザをエリアごとに評価し、半壊の比率が多い地域に割り当てる調査人数を多くすることができる。

【0052】

実施例１に示したように、前記上空画像は、１または複数の光学衛星画像あるいは航空画像を用いることができる。これらは、広範囲の被害を低コストで判定することに寄与する。

【0053】

また、前記通知部は、前記選択したユーザに対して応答画面を通知し、前記応答画面は、前記家屋の築年数、前記家屋の構造、前記家屋内の画像、前記家屋周辺の画像のうち、少なくともいずれかを前記補助情報として受け付ける。
このため、補助情報を簡易且つ効率的に収集することができる。

【0054】

また、前記第２の判定部は、前記上空画像と、前記ユーザから受け取った補助情報と、前記上空画像の撮像範囲内に所在するセンサからの出力とを用いて前記被害レベルを判定する。
このように、センサの出力をさらに用いることで、判定精度をより高めることができる。

【0055】

また、前記第２の判定部は、前記補助情報として前記ユーザから受け取った画像を解析して被害を推定することで補助画像被害スコアを算定し、該補助画像被害スコアをさらに用いて前記被害レベルを判定する。
このため、上空画像から求めたスコアと補助情報から求めたスコアを統合して再判定を行うことができる。

【0056】

実施例２に示したように、前記第１の判定部は、ＳＡＲ衛星画像を用いてエリア全体の浸水域を検出し、シミュレーションによって時間的情報を補間し、個別家屋の最大被害レベルを検出する構成としてもよい。
かかる構成では、水災の被害を高い精度で評価できる。

【0057】

実施例２では、前記通知部は、前記選択したユーザに対して応答画面を通知し、前記応答画面は、前記家屋の床高、浸水高、前記家屋内の画像、前記家屋周辺の画像のうち、少なくともいずれかを前記補助情報として受け付ける。例えば、詳細な被害把握を可能とするよう、床高、浸水高、自宅内および自宅周辺の画像等の補助情報の提供を依頼すればよい。
また、ユーザごとに被害等級を評価するためのユーザ管理テーブルを保持し、前記ユーザ管理テーブルは、前記ユーザから受け取るデータ、画像を解析して得られた損害スコア、初回判定結果、住所、河川水深計、水深センサなど、最寄の公共センサの情報を保存するよう構成してもよい。
係る構成及び動作により、水災に係る補助情報を効率的に収集することができる。

【0058】

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。