(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-22
(45)【発行日】2022-10-03
(54)【発明の名称】情報提供システム
(51)【国際特許分類】
G06T 1/00 20060101AFI20220926BHJP
G06F 16/00 20190101ALI20220926BHJP
G06F 16/50 20190101ALI20220926BHJP
G08B 25/00 20060101ALI20220926BHJP
G08B 25/04 20060101ALI20220926BHJP
【ＦＩ】
G06T1/00 200E
G06F16/00
G06F16/50
G08B25/00 510M
G08B25/04 F
【請求項の数】
4
(21)【出願番号】P 2017116599
(22)【出願日】2017-06-14
(65)【公開番号】P2019003363
(43)【公開日】2019-01-10
【審査請求日】2020-05-29
【審判番号】
【審判請求日】2022-02-16
(73)【特許権者】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】横井 佐代子
【合議体】
【審判長】千葉 輝久
【審判官】畑中 高行
【審判官】田中 啓介
(56)【参考文献】
【文献】特開２０１５－７２５７８（ＪＰ，Ａ）
【文献】特開２０１２－２５２６５４（ＪＰ，Ａ）
【文献】特開２００６－２４３７９８（ＪＰ，Ａ）
【文献】特開２０１８－１６９６４５（ＪＰ，Ａ）
【文献】国際公開第２０１５／１５１１５５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G06T1/00
G06F16/00
G06F16/50
G08B25/00
G08B25/04
(57)【特許請求の範囲】
【請求項1】
避難所で撮影された避難所の画像から抽出された避難者の顔画像と、前記避難所の画像を撮影した場所に関する情報を対応づけて複数組、記憶するデータベースと、前記データベースの前記顔画像と当該顔画像に対応づけられている前記場所に関する情報を出力する出力部と、
を備えた情報提供システムであって、
前記データベースに記憶されている前記顔画像との類似度を算出する類似度算出部をさらに備え、
前記類似度算出部に捜索対象の避難者に関する比較対象画像が入力されることにより、前記類似度算出部が算出した前記類似度が所定値以上である、前記データベースに記憶された前記顔画像と当該顔画像に対応づけられている前記場所に関する情報を前記出力部に出力する、
情報提供システム。
【請求項2】
前記出力部は、複数組の前記顔画像と前記類似度を表す情報と前記場所に関する情報を表す情報を出力する請求項１に記載の情報提供システム。
【請求項3】
前記出力部は、前記顔画像と当該顔画像に対応付けられている前記場所に関する情報に加え、前記顔画像を抽出した前記避難所の画像が撮影された時刻に関する情報を出力する、
請求項１または請求項２に記載の情報提供システム。
【請求項4】
前記比較対象画像は、捜索対象となる避難者の顔画像、もしくは捜索対象となる避難者の近親者の顔画像である、
請求項１ないし請求項３のいずれか１項に記載の情報提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提供システムおよび情報提供方法に関する。
【背景技術】
【0002】
自然災害の発災直後の安否確認については、避難した場所で作成された避難者の名簿が情報源のひとつとなる。避難者の名簿の作成は、例えば、避難した場所の運営者（自治体職員など）による聞き取りによってなされる。この場合、聞き取りに時間がかかると、名簿が完成し公表されるまでに時間がかかるという課題がある。
【0003】
一方、特許文献１に記載されている避難者データ収集システムでは、次の構成を採用することで、避難時における受け付け時の避難者情報の入力の手間を削減する。特許文献１に記載されているシステムでは、各避難者が携帯するＩＣカード（集積回路カード）に記録されている固有ＩＤ（固有識別子）を用いて個人を特定するとともに、避難者の情報を映像や音声を用いて記録することで、キー入力を不要とする。この場合、個人か自治体等でＩＣカードを用意する必要があるという課題がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－１０３５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記事情に鑑みてなされたものであり、上記課題を解決することができる情報提供システムおよび情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の一態様は、避難所で撮影された避難所の画像から抽出された避難者の顔画像と、前記避難所の画像を撮影した場所に関する情報を対応づけて複数組、記憶するデータベースと、前記データベースの前記顔画像と当該顔画像に対応づけられている前記場所に関する情報を出力する出力部と、を備えた情報提供システムであって、前記データベースに記憶されている前記顔画像との類似度を算出する類似度算出部をさらに備え、前記類似度算出部に捜索対象の避難者に関する比較対象画像が入力されることにより、前記類似度算出部が算出した前記類似度が所定値以上である、前記データベースに記憶された前記顔画像と当該顔画像に対応づけられている前記場所に関する情報を前記出力部に出力する、情報提供システムである。
【0007】
また、本発明の一態様は、上記情報提供システムであって、前記出力部は、複数組の前記顔画像と前記類似度を表す情報と前記場所に関する情報を表す情報を出力する。
【0008】
また、本発明の一態様は、上記情報提供システムであって、前記出力部は、前記顔画像と当該顔画像に対応付けられている前記場所に関する情報に加え、前記顔画像を抽出した前記避難所の画像が撮影された時刻に関する情報を出力する。
【0009】
また、本発明の一態様は、前記比較対象画像は、捜索対象となる避難者の顔画像、もしくは捜索対象となる避難者の近親者の顔画像である。
【発明の効果】
【0010】
本発明によれば、ＩＣカードなどを使用しなくても、避難者情報の入力の手間を少なくすることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る情報提供システムの構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係る情報提供システム１の構成例を示すブロック図である。図１に示す情報提供システム１は、避難者画像情報管理サーバ２と、撮像部３１と、撮像部４１と、ユーザ端末５と、顔画像データベース６を備える。避難者画像情報管理サーバ２と、撮像部３１、撮像部４１、ユーザ端末５および顔画像データベース６は、所定の情報を送受信できるように図示していない通信網、他のコンピュータ、通信機器等を介して接続されている。情報提供システム１では、避難者画像情報管理サーバ２が、ユーザ端末５から捜索対象の避難者の顔画像を比較対象画像として受信し、顔画像データベース６から類似度が高い顔画像を検索し、検索された顔画像と当該顔画像が撮像された避難した場所と時刻を示す情報を捜索結果としてユーザ端末５へ提供する。
【0013】
避難者画像情報管理サーバ２は、ＣＰＵ（中央処理装置）、記憶装置、入出力装置、通信装置等のハードウェアを備えるコンピュータである。本実施形態において避難者画像情報管理サーバ２は、入力部２１、顔画像抽出部２２、類似度算出部２３、出力部２４、および記憶部２５を有する。これらの入力部２１、顔画像抽出部２２、類似度算出部２３、出力部２４、および記憶部２５は、避難者画像情報管理サーバ２が有するハードウェアとＣＰＵが実行するプログラムの組み合わせから構成される機能の区分に対応する。
【0014】
入力部２１は、例えば、撮像部３１から避難した場所Ａ３で撮像された撮像画像を表すファイルを所定の通信回線を介して受信したり、撮像部４１から避難した場所Ｂ４で撮像された撮像画像を表すファイルを所定の通信回線を介して受信したり、ユーザ端末５から捜索対象の避難者の顔画像である比較対象画像を表すファイルを所定の通信回線を介して受信したりする。あるいは、入力部２１は、例えば、着脱可能な記録媒体等を介して、撮像画像や比較対象画像を入力してもよい。入力部２１は、入力した撮像画像を表すファイルや比較対象画像を表すファイルを例えば記憶部２５に記憶する。なお、本実施形態において入力部２１による入力は、例えば、通信回線等を介した受信、記録媒体等を介した読み込み、イメージスキャナ等を用いた取り込み等、避難者画像情報管理サーバ２の外部から内部への情報の入力を意味するものとする。
【0015】
顔画像抽出部２２は、入力部２１が入力した撮像部３１または撮像部４１が撮像した撮像画像から１または複数の顔画像を抽出する。顔画像を抽出する手法には限定がなく既存の技術を用いることができる。顔画像抽出部２２は、例えばパターンマッチング等の手法によって顔画像を抽出する。また、顔画像抽出部２２は、抽出した顔画像と、当該顔画像の抽出元の撮像画像が撮像された避難した場所と撮像時刻を対応づけて顔画像データベース６に登録する。
【0016】
類似度算出部２３は、比較対象として与えられた比較対象画像と、顔画像データベース６に記憶されている顔画像との類似度を算出する。類似度を算出する手法に限定はなく既存の技術を用いることができる。類似度算出部２３は、例えば、比較対象画像と顔画像データベース６に登録されている各顔画像について所定の複数種類の特徴量を算出し、各特徴量の類似度合いを数値化することで類似度を算出する。類似度算出部２３は、所定値以上の類似度を有する顔画像が得られた場合、得られた１または複数の顔画像と算出した各類似度を表す情報を記憶部２５に記憶する。なお、類似度算出部２３（あるいは出力部２４）は、所定値以上の類似度を有する顔画像が複数、得られた場合、類似度や撮像時刻に応じて一部の顔画像を選択してもよい。また、類似度算出部２３は、所定値以上の類似度を有する顔画像が得られなかった場合、その旨を示す情報を記憶部２５に記憶する。なお、比較対象画像は、例えば、捜索対象の避難者の顔画像、捜索対象の避難者の近親者の顔画像、捜索対象の避難者の似顔絵等とすることができる。
【0017】
出力部２４は、類似度算出部２３が算出した類似度に基づき、所定値以上の類似度を有する顔画像と当該顔画像に対応づけられている撮像時刻を表す情報と避難した場所を表す情報を出力する。出力部２４は、例えば、顔画像と撮像時刻を表す情報と避難した場所を表す情報を表すファイルを所定の通信回線を介してユーザ端末５へ送信する。あるいは、出力部２４は、類似度算出部２３が所定値以上の類似度を有する顔画像を抽出できなかった場合、その旨を示す情報を通信回線を介してユーザ端末５へ送信する。ただし、本実施形態において、出力部２４による出力は、通信回線を介して直接ユーザ端末５へ捜索結果を送信するもののほか、電子メールやソーシャルネットワークを用いてユーザ端末５のユーザに対して捜索結果を送信するもの、避難者画像情報管理サーバ２に接続された表示装置に表示したり、印刷装置に印刷したりするもの、所定の記憶媒体に記憶するもの等を含む。
【0018】
記憶部２５は、例えば、入力部２１、顔画像抽出部２２、類似度算出部２３および出力部２４が上述したような処理を実行する際に処理に用いられるデータを記憶する。
【0019】
次に、撮像部３１は、避難した場所Ａ３で画像を撮像する撮像装置である。撮像部３１は、例えば、撮影機能と通信機能を有するネットワークカメラ、スマートフォン等の装置であってもよいし、カメラとそのカメラが撮像した画像を取り込む機能を有するコンピュータの組み合わせ等であってもよい。撮像部３１は、一定の周期で、あるいは決められた時刻に、あるいは被写体の動きを検出したとき等に、自動的に避難した場所Ａ３の画像を撮像し、撮像画像と撮像時刻と撮像場所を示す情報を所定の通信回線を介して入力部２１へ送信する。あるいは、撮像部３１は、操作者の指示に応じて、任意のタイミングで、避難した場所Ａ３の画像を撮像し、撮像画像と撮像時刻と撮像場所を示す情報を所定の通信回線を介して入力部２１へ送信する。なお、撮像時刻や撮像場所を示す情報は、例えば、撮像画像を表すファイルに含まれていてもよいし、撮像画像を表すファイルとは別のファイルに含まれていてもよい。撮像場所を示す情報は、例えば、撮像位置の緯度および経度を示す情報であってもよいし、避難した場所の識別符号や、住所、避難した場所の名称を表す情報であってもよい。なお、撮像時刻や撮像場所を示す情報は、必ずしも撮像部３１から入力部２１に対して送信しなくてもよい。この場合、避難者画像情報管理サーバ２は、入力部２１が撮像画像を表すファイルを受信した時刻を撮像時刻としたり、撮像部３１の識別情報や通信元アドレス等に基づいて撮像場所を特定したりすることができる。なお、撮像部３１は、同一の避難した場所Ａ３に複数設置されていてもよい。なお、撮像部３１が撮像する画像には、１または複数の避難者が含まれていることが望ましい。
【0020】
撮像部４１は、撮像部３１と同様の装置であり、避難した場所Ａ３とは異なる避難した場所Ｂ４で画像を撮像する。
【0021】
ユーザ端末５は、スマートフォン、タブレット端末、パーソナルコンピュータ等の通信機能を有するコンピュータである。ユーザ端末５は、例えば、汎用のブラウザや専用のアプリケーションプログラムを実行することで、ユーザの指示に応じて、避難者画像情報管理サーバ２との間で所定の情報を送受信する。ユーザ端末５は、例えば、ユーザ端末５が記憶している捜索対象の避難者の顔画像を比較対象画像として入力部２１に対して送信し、比較対象画像と類似度が高い顔画像データベース６に登録されている顔画像と当該顔画像が撮像された避難した場所と時刻を示す情報を捜索結果として出力部２４から受信し、表示する。
【0022】
顔画像データベース６は、避難した場所Ａ３または避難した場所Ｂ４で撮像された撮像画像から抽出された顔画像と、撮像画像の撮像時刻と、避難した場所（撮像画像の撮像情報）を対応づけて複数組、記憶する。ここで、図２を参照して、顔画像データベース６の構成例について説明する。図２は、図１に示す顔画像データベース６の構成例を示す模式図である。図２に示す顔画像データベース６は、複数の顔画像ファイル６１と複数の管理情報ファイル６２を備える。各顔画像ファイル６１には各１つの管理情報ファイル６２が対応づけられている。顔画像ファイル６１は、１人分の顔画像を表す所定形式の画像データを含む。ただし、顔画像ファイル６１は、１人分の顔画像の背景画像として２人分以上の顔画像を含んでいてもよい。管理情報ファイル６２は、顔画像ファイル６１を管理するための情報を含む。図２に示す例では、管理情報ファイル６２は、データ６２１～６２４を含む。データ６２１は、シリアル番号等の識別符号を表す。データ６２２は、対応づけられた顔画像ファイル６１の格納位置であるファイルパスを表す。データ６２３は、顔画像ファイル６１が含む顔画像の撮像場所を表す。データ６２４は、顔画像ファイル６１が含む顔画像の撮像時刻を表す。
【0023】
なお、顔画像データベース６は、図２に示す構成例に限定されず、例えば、顔画像ファイル６１と管理情報ファイル６２を１つのファイルにまとめたり、管理情報ファイル６２に類似度を判定する際に算出した特徴量の値を格納したりしてもよい。また、顔画像データベース６は、避難者画像情報管理サーバ２が備えていてもよい。また、顔画像データベース６は、格納する各ファイルを管理する機能を有していてもよい。この場合、顔画像データベース６は、各ファイルを管理するコンピュータとそのコンピュータが実行するプログラムを含むデータベースシステムとして構成される。また、顔画像データベース６あるいは避難者画像情報管理サーバ２と顔画像データベース６は、クラウドコンピューティング（クラウドサービス）を利用して構築されていてもよい。
【0024】
次に、図３と図４を参照して、図１に示す避難者画像情報管理サーバ２の動作例について説明する。図３は、撮像部３１や撮像部４１から撮像画像が送られてきた際に、避難者画像情報管理サーバ２が実行する処理の流れを示すフローチャートである。図４は、図１に示す撮像部４１が撮像した撮像画像の一例（撮像画像７）を示す模式図である。
【0025】
図３に示すように、撮像画像が送られてきた場合、避難者画像情報管理サーバ２では、まず、入力部２１が、避難した場所Ａ３や避難した場所Ｂ４で撮像された撮像画像を撮像部３１や撮像部４１から受信する（ステップＳ１１）。ステップＳ１１で入力部２１は例えば撮像画像を表すファイルと、撮像時刻と撮像場所を示す情報を含むファイルを受信する。
【0026】
次に、顔画像抽出部２２が、受信した撮像画像から１または複数の顔画像を抽出する（ステップＳ１２）。例えば図４に示すように撮像画像７が複数の人物を含む場合、顔画像抽出部２２は顔画像として認識できた複数の顔画像８１～８９を撮像画像７から抽出する。
【0027】
次に、顔画像抽出部２２が、抽出した各顔画像と、撮像画像の撮像時刻と避難した場所を対応づけて顔画像データベース６に登録する（ステップＳ１３）。図４に示す撮像画像７の場合、ステップＳ１２では、各顔画像８１～８９に対応する複数の顔画像ファイル６１と複数の管理情報ファイル６２が顔画像データベース６に登録される。
【0028】
次に、図５と図６を参照して、図１に示す避難者画像情報管理サーバ２の他の動作例について説明する。図５は、ユーザ端末５から避難者の捜索依頼が送られてきた際に避難者画像情報管理サーバ２が実行する処理の流れを示すフローチャートである。図６は、ユーザ端末５における表示画面の一例（表示画面９）を示す模式図である。図６に示す表示画面９は、避難者画像情報管理サーバ２が送信した捜索結果を示す情報をユーザ端末５が受信したときの表示例である。図６に示す表示画面９は、例えばブラウザの表示領域に対応する。この場合、表示画面９には、比較対象画像９１０、比較対象画像９１０を選択したりアップロードしたりするためのボタン群９２０、捜索結果９３０、捜索結果を示す文字情報９４０、および、捜索結果に該当する避難した場所を示す地図９５０が表示されている。
【0029】
例えば、図６に示す表示画面９において図示と異なり捜索結果（捜索結果９３０、文字情報９４０および地図９５０）が表示されていない状態で、ユーザがボタン群９２０を操作し、捜索対象者の顔画像である比較対象画像９１０の格納位置を指定して、アップロードボタンをクリックすると、ユーザ端末５から比較対象画像９１０を表すファイルが避難者画像情報管理サーバ２に対して送信される。
【0030】
図５に示すように、比較対象画像が送られてきた場合、避難者画像情報管理サーバ２では、まず、入力部２１が、比較対象画像を受信する（ステップＳ２１）。ステップＳ２１で入力部２１は、例えば比較対象画像を表すファイルと、ユーザ端末５のアドレスと撮像時刻と撮像場所を示す情報を含むファイルを受信する。
【0031】
次に、類似度算出部２３が、受信した比較対象画像と顔画像データベース６に記憶されている各顔画像との類似度を算出する（ステップＳ２２）。
【0032】
次に、出力部２４が、所定値以上の類似度を有する顔画像と当該顔画像の撮像時刻を表す情報と避難した場所を表す情報を、捜索結果としてユーザ端末５へ出力する（ステップＳ２３）。出力部２４は、例えば、避難した場所を表す情報として、避難した場所の名称を示す情報と、避難した場所周辺の地図を表す情報を出力する。ユーザ端末５では、出力部２４から捜索結果を示す情報を受信すると、例えば図６に示すように捜索結果（捜索結果９３０、文字情報９４０および地図９５０）を表示する。図６に示す例では、捜索結果９３０として、類似度が比較的高い顔画像９３１と顔画像９３３が表示されている。また、顔画像９３１の下に顔画像９３１が撮像された避難した場所および類似度を示す情報９３２が表示されるとともに、顔画像９３３の下に顔画像９３３が撮像された避難した場所および類似度を示す情報９３４が表示されている。また、文字情報９４０として、類似度が最も高い顔画像９３１が撮像された時刻と避難した場所が表示されている。また、地図９５０は、類似度が最も高い顔画像９３１が撮像された避難した場所周辺の地図である。
【0033】
以上のように本実施形態によれば、ＩＣカードなどを使用しなくても、避難者情報の入力の手間を少なくすることができる。
【0034】
なお、本実施形態の情報提供システム１について、具体的な使用例の流れを以下に示す。すなわち、本実施形態の情報提供システム１は、例えば下記（１）～（６）の手順で使用することができる。ただし、この使用例では、避難者画像情報管理サーバ２と顔画像データベース６がクラウドコンピューティングを利用して構築されているものとする。
【0035】
（１）災害発災直後に避難者が退避した場所の様子を避難した場所に取り付けられたカメラ（撮像部３１、撮像部４１等）で撮影し電子データ化する。
【0036】
（２）得られた電子データは、写真が撮影された場所、時刻と共にクラウド（顔画像データベース６）に集められる。
【0037】
（３）クラウド（避難者画像情報管理サーバ２）では顔検出処理によって避難者の集団の画像から個人の顔写真を抽出し、リスト（顔画像データベース６）を作成する。
【0038】
（４）避難者の近親者は、捜索用のウェブサイトを通してクラウド（避難者画像情報管理サーバ２）にアクセスし、捜索者の手持ちの写真をアップロードする。
【0039】
（５）クラウド（避難者画像情報管理サーバ２）では、捜索者の写真と避難者の個人の写真を照合し類似度を算出する。
【0040】
（６）近親者は、捜索者用のウェブサイト上で捜索者と似ている避難者の写真とその写真の撮影場所、時刻の情報を得る。
【0041】
なお、手順（１）での「カメラ」は、避難した場所に設置された監視カメラ等に限定するものではなく、避難者の携帯電話についているカメラでもよい。また、手順（３）においてクラウドで抽出された顔データはインターネット上のソーシャル・ネットワーキング・サービス（ＳＮＳ）など既存の個人情報（顔写真と名前）と照合することで避難者の名前を推定することに発展させられる。
【0042】
上述したように、本実施形態によれば、画像を撮像するだけで情報を入力することができるので、文字による名簿作成よりも早く個人特定の情報を公開できる。また、避難者毎にＩＣカードを用意する等の事前準備が発生しない。また、避難した時も本人が何らかの動作をする必要がない。また、画像は、顔の類似度を算出できる程度の解像度があればよく、多くの場合、新たな設備投資（例えば解像度の高いカメラの設置など）をする必要がない。また、顔画像を情報とするため、外国人旅行者などの言葉が通じない避難者や、聞き取りの難しい名前の避難者の聞き間違いに配慮する必要がない。また、顔と名前が関連付けられていないので、発災後に個人情報が不正利用される危険性を伴わない。
【0043】
また、本実施形態は次の効果を奏する。すなわち、事前準備が必要ないので、被災者は身の安全を図ることに集中できる。また、安否確認の高速化によって、近親者のパニックを解消し、憶測による行動が引き起こす二次災害（車で塾に子供を迎えに行く親が原因で幹線道路が渋滞し、救急車がなかなか病院にたどり着けなかったなど）を防ぐことができる。また、外国人旅行者の生存確認を近親者が行えるようになるため、出国手続き、遺体引き取りなどの手続きなどの迅速化につながる。
【0044】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0045】
１…情報提供システム、２…避難者画像情報管理サーバ、３…避難した場所Ａ、４…避難した場所Ｂ、５…ユーザ端末、６…顔画像データベース、２１…入力部、２２…顔画像抽出部、２３…類似度算出部、２４…出力部、２５…記憶部、３１、４１…撮像部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】