ホーム > 特許ランキング > 株式会社ロックガレッジ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022108823
(43)【公開日】2022-07-27
(54)【発明の名称】捜索支援システムおよび救助支援プログラム
(51)【国際特許分類】
G06Q 50/26 20120101AFI20220720BHJP
H04N 7/18 20060101ALI20220720BHJP
G09B 29/10 20060101ALI20220720BHJP
G09B 29/00 20060101ALI20220720BHJP
G08G 1/005 20060101ALI20220720BHJP
G06T 7/70 20170101ALI20220720BHJP
G06T 7/00 20170101ALI20220720BHJP
【ＦＩ】
G06Q50/26
H04N7/18 K
G09B29/10 A
G09B29/00 A
G08G1/005
G06T7/70 A
G06T7/00 350C
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021003989
(22)【出願日】2021-01-14
(11)【特許番号】
(45)【特許公報発行日】2022-03-23
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 第３０条第２項適用、令和３年１月８日、株式会社ロックガレッジの代表者である岩倉大輔が、福島ロボットテストフィールドにて、災害現場の要救助者をドローンとＡＩによって、リアルタイムに特定し、複数人のＡＲ／ＭＲグラスに投影する実証実験を実施して、岩倉大輔が発明した捜索支援システムについて公開
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 第３０条第２項適用、株式会社ロックガレッジの代表者である岩倉大輔が、令和３年１月８日、福島ロボットテストフィールドにて、災害現場の要救助者をドローンとＡＩによって、リアルタイムに特定し、複数人のＡＲ／ＭＲグラスに投影する実証実験を実施した際、公開者である福島民報社の取材を受け、当該実証実験の内容を開示した。福島民報社は、令和３年１月９日、岩倉大輔の開示内容に基づき実証実験の内容を福島民報社のウェブサイトｈｔｔｐｓ：／／ｗｗｗ．ｍｉｎｐｏ．ｊｐ／ｎｅｗｓ／ｍｏｒｅｄｅｔａｉｌ／２０２１０１０９８２５０４にて、「ドローンとＡＩで救助者捜索 ロックガレッジロボテスで試験」として公開し、岩倉大輔が発明した捜索支援システムについて公開
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 第３０条第２項適用、株式会社ロックガレッジの代表者である岩倉大輔が、令和３年１月８日、福島ロボットテストフィールドにて、災害現場の要救助者をドローンとＡＩによって、リアルタイムに特定し、複数人のＡＲ／ＭＲグラスに投影する実証実験を実施した際、公開者である福島民友新聞社の取材を受け、当該実証実験の内容を開示した。福島民友新聞社は、令和３年１月９日、岩倉大輔の開示内容に基づき実証実験の内容を福島民友新聞社のウェブサイトｈｔｔｐｓ：／／ｗｗｗ．ｍｉｎｙｕ－ｎｅｔ．ｃｏｍ／ｎｅｗｓ／ｎｅｗｓ／ＦＭ２０２１０１０９－５７４８１３．ｐｈｐにて、「ＡＩドローン＋立体映像 災害救助迅速化へロボテスで実証実験」として公開し、岩倉大輔が発明した捜索支援システムについて公開
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 第３０条第２項適用、令和３年１月１２日、株式会社ロックガレッジが、同社のウェブサイトのアドレス１（ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｃｋｇａｒａｇｅ．ｔｅｃｈ／）において、ニュース・イベントの紹介として、「［リリース］ＡＲ／ＭＲグラスを用いたドローンシステム」を掲載し、当該掲載されたリリース本文の掲載されているアドレス２（ｈｔｔｐｓ：／／ｄｅ４ｄｃ９２６－ｃｄ３３－４１５３－ａ８７７－９０ｅｃｆ１ｅｃ１ｆ６６．ｆｉｌｅｓｕｓｒ．ｃｏｍ／ｕｇｄ／ｆ４３３ｅ５＿ｄｄ８３ｅ７５６ａ２３６４２１ｄ９２８４ｆｅ１ａ８０ｅｄ１００ｅ．ｐｄｆ）へのリンクを張った。株式会社ロックガレッジが、上記アドレス２のウェブサイトにおいて、「「あそこに人がいる！」株式会社ロックガレッジがＡＲ／ＭＲグラスを用いたレスキュードローンシステム実証実験を実施」として、ドローンの映像をＡＩによって自動解析し、捜索対象の人影や物の位置をリアルタイムに特定し、オンラインで共有するシステムの開発を行っていることを公開し、岩倉大輔が発明した捜索支援システムについて公開
(71)【出願人】
【識別番号】518135179
【氏名又は名称】株式会社ロックガレッジ
(74)【代理人】
【識別番号】110000671
【氏名又は名称】八田国際特許業務法人
(72)【発明者】
【氏名】岩倉 大輔
【テーマコード（参考）】
2C032
5C054
5H181
5L049
5L096
【Ｆターム（参考）】
2C032HB22
5C054CF08
5C054DA07
5C054FC12
5C054FE12
5C054HA00
5H181AA21
5H181BB04
5H181BB20
5H181CC04
5H181CC12
5H181EE08
5H181FF05
5H181FF21
5H181FF32
5H181FF33
5H181MB12
5L049CC35
5L096CA04
5L096DA01
5L096FA69
5L096HA03
5L096HA11
(57)【要約】 （修正有）
【課題】電波発生源だけに頼ることなく捜索対象の発見を支援する捜索支援システム及び救助支援プログラムを提供する。
【解決手段】捜索支援システム１において、ドローン１００に搭載されたドローンカメラ１０８によって撮影された画像、ドローン１００の位置及びドローンカメラ１０８の姿勢のデータを取得して、画像のデータから捜索対象を検出するとともに、ドローン１００の位置及びドローンカメラ１０８の姿勢のデータから、検出した捜索対象の位置を特定し、捜索対象の位置のデータを出力するサーバ２００と、表示部を有し、捜索対象の位置のデータをサーバ２００から取得して、捜索対象の位置情報を表示部に表示する端末装置とを有する。
【選択図】図１
【解決手段】捜索支援システム１において、ドローン１００に搭載されたドローンカメラ１０８によって撮影された画像、ドローン１００の位置及びドローンカメラ１０８の姿勢のデータを取得して、画像のデータから捜索対象を検出するとともに、ドローン１００の位置及びドローンカメラ１０８の姿勢のデータから、検出した捜索対象の位置を特定し、捜索対象の位置のデータを出力するサーバ２００と、表示部を有し、捜索対象の位置のデータをサーバ２００から取得して、捜索対象の位置情報を表示部に表示する端末装置とを有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有する、捜索支援システム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有する、捜索支援システム。
【請求項2】
前記端末装置は、
第２カメラと、
前記第２カメラの移動に伴う加速度を計測する加速度センサーと、
前記第２カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出し、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示する、請求項１に記載の捜索支援システム。
第２カメラと、
前記第２カメラの移動に伴う加速度を計測する加速度センサーと、
前記第２カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出し、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示する、請求項１に記載の捜索支援システム。
【請求項3】
前記端末装置は、スマートフォン、タブレットコンピューター、ウェアラブルコンピューター、ノート型コンピューター、デスクトップ型コンピューターよりなる群から選択された少なくともいずれか一つである、請求項１または２に記載の捜索支援システム。
【請求項4】
前記端末装置は、前記表示部に、前記第２カメラによって撮影された画像とともに、情報を表示する情報表示装置である、請求項２または３に記載の捜索支援システム。
【請求項5】
前記端末装置は、レンズを有し、前記レンズを通して実体を目視できるともに、前記表示部に表示された情報を目視できる透過型情報表示装置であり、
前記透過型仮想現実装置は、方位センサーを有し、
前記方位センサーが計測した方位から前記レンズを通して視認可能な視野範囲を算出し、
前記捜索対象の位置データと前記視野範囲とを比較して、前記視野範囲内に、前記捜索対象が存在する場合に、前記捜索対象の位置情報を、前記表示部に表示する、請求項１に記載の捜索支援システム。
前記透過型仮想現実装置は、方位センサーを有し、
前記方位センサーが計測した方位から前記レンズを通して視認可能な視野範囲を算出し、
前記捜索対象の位置データと前記視野範囲とを比較して、前記視野範囲内に、前記捜索対象が存在する場合に、前記捜索対象の位置情報を、前記表示部に表示する、請求項１に記載の捜索支援システム。
【請求項6】
前記情報処理装置は、
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第１カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、請求項１～５のいずれか一つに記載の捜索支援システム。
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第１カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、請求項１～５のいずれか一つに記載の捜索支援システム。
【請求項7】
前記人工知能は、人型または人影を検出するための前記訓練画像データによって機械学習されており、前記第１カメラによって撮影された前記画像のデータから、前記人型または人影を検出する、請求項６に記載の捜索支援システム。
【請求項8】
前記捜索対象は、人である、請求項１～７のいずれか一つに記載の捜索支援システム。
【請求項9】
ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラが撮影した画像のデータから捜索対象を検出するとともに、検出した前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有する、捜索支援システムにおいて、前記情報処理装置であるコンピューターに、前記画像のデータから前記捜索対象を検出させて、前記捜索対象の位置を特定させるための捜索支援プログラムであって、
前記ドローンから、前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得する段階（１ａ）と、
あらかじめ複数の訓練画像データを用いて機械学習された人工知能を用いて、前記画像のデータから前記捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定する段階（１ｂ）と、
特定した前記捜索対象の位置を位置データとして前記端末装置へ出力する段階（１ｃ）と、
を有する、捜索支援プログラム。
前記ドローンに搭載された第１カメラと、
前記第１カメラが撮影した画像のデータから捜索対象を検出するとともに、検出した前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有する、捜索支援システムにおいて、前記情報処理装置であるコンピューターに、前記画像のデータから前記捜索対象を検出させて、前記捜索対象の位置を特定させるための捜索支援プログラムであって、
前記ドローンから、前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得する段階（１ａ）と、
あらかじめ複数の訓練画像データを用いて機械学習された人工知能を用いて、前記画像のデータから前記捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定する段階（１ｂ）と、
特定した前記捜索対象の位置を位置データとして前記端末装置へ出力する段階（１ｃ）と、
を有する、捜索支援プログラム。
【請求項10】
ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第２カメラ、前記第２カメラの移動に伴う加速度を計測する加速度センサー、および前記第２カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記端末装置であるコンピューターに、前記捜索対象の位置情報を前記表示部に表示させるための捜索支援プログラムであって、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出する段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得する段階（２ｂ）と、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示する段階（２ｃ）と、
を有する、捜索支援プログラム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第２カメラ、前記第２カメラの移動に伴う加速度を計測する加速度センサー、および前記第２カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記端末装置であるコンピューターに、前記捜索対象の位置情報を前記表示部に表示させるための捜索支援プログラムであって、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出する段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得する段階（２ｂ）と、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示する段階（２ｃ）と、
を有する、捜索支援プログラム。
【請求項11】
ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
レンズ、表示部、および方位センサーを有し、前記レンズを通して実体を目視できるともに、前記表示部に表示された情報を目視できる透過型情報表示装置と、を有する捜索支援システムにおいて、前記透過型情報表示装置を制御するコンピューターに、前記捜索対象の位置情報を前記表示部に表示させるための捜索支援プログラムであって、
前記方位センサーが計測した方位から前記レンズを通して視認可能な視野範囲を算出する段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得する段階（２ｂ）と、
前記捜索対象の位置データと前記視野範囲とを比較して、前記視野範囲内に、前記捜索対象が存在する場合に、前記捜索対象の位置情報を、前記表示部に表示する段階（２ｃ）と、
を有する、捜索支援プログラム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
レンズ、表示部、および方位センサーを有し、前記レンズを通して実体を目視できるともに、前記表示部に表示された情報を目視できる透過型情報表示装置と、を有する捜索支援システムにおいて、前記透過型情報表示装置を制御するコンピューターに、前記捜索対象の位置情報を前記表示部に表示させるための捜索支援プログラムであって、
前記方位センサーが計測した方位から前記レンズを通して視認可能な視野範囲を算出する段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得する段階（２ｂ）と、
前記捜索対象の位置データと前記視野範囲とを比較して、前記視野範囲内に、前記捜索対象が存在する場合に、前記捜索対象の位置情報を、前記表示部に表示する段階（２ｃ）と、
を有する、捜索支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、捜索支援システムおよび救助支援プログラムに関する。
【背景技術】
【0002】
従来、遭難者、災害被災者など（以下、要救助者と称する）の捜索には、たとえば、要救助者が持つビーコンや携帯電話などの電波発信源を探知する技術ある（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００４－３１７２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術は、予期せぬ災害に遭ってしまった要救助者の捜索には、対応できないこともある。予期せぬ災害では、ビーコンのような特別な装置を携帯している人はほとんどいない。また、携帯電話は、要救助者が携帯していたとしても、電池切れや水難による故障などによって使えないこともある。
【0005】
そこで、本発明の目的は、電波発生源だけに頼ることなく、捜索対象の発見を支援することのできる、捜索支援システムおよび救助支援プログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の上記目的は、下記の手段によって達成される。
【0007】
（１）ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有する、捜索支援システム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有する、捜索支援システム。
【0008】
（２）前記端末装置は、
第２カメラと、
前記第２カメラの移動に伴う加速度を計測する加速度センサーと、
前記第２カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出し、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示する、上記（１）に記載の捜索支援システム。
第２カメラと、
前記第２カメラの移動に伴う加速度を計測する加速度センサーと、
前記第２カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出し、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示する、上記（１）に記載の捜索支援システム。
【0009】
（３）前記端末装置は、スマートフォン、タブレットコンピューター、ウェアラブルコンピューター、ノート型コンピューター、デスクトップ型コンピューターよりなる群から選択された少なくともいずれか一つである、上記（１）または（２）に記載の捜索支援システム。
【0010】
（４）前記端末装置は、前記表示部に、前記第２カメラによって撮影された画像とともに、情報を表示する情報表示装置である、上記（２）または（３）に記載の捜索支援システム。
【0011】
（５）前記端末装置は、レンズを有し、前記レンズを通して実体を目視できるともに、前記表示部に表示された情報を目視できる透過型情報表示装置であり、
前記透過型仮想現実装置は、方位センサーを有し、
前記方位センサーが計測した方位から前記レンズを通して視認可能な視野範囲を算出し、
前記捜索対象の位置データと前記視野範囲とを比較して、前記視野範囲内に、前記捜索対象が存在する場合に、前記捜索対象の位置情報を、前記表示部に表示する、上記（１）に記載の捜索支援システム。
前記透過型仮想現実装置は、方位センサーを有し、
前記方位センサーが計測した方位から前記レンズを通して視認可能な視野範囲を算出し、
前記捜索対象の位置データと前記視野範囲とを比較して、前記視野範囲内に、前記捜索対象が存在する場合に、前記捜索対象の位置情報を、前記表示部に表示する、上記（１）に記載の捜索支援システム。
【0012】
（６）前記情報処理装置は、
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第１カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、上記（１）～（５）のいずれか一つに記載の捜索支援システム。
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第１カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、上記（１）～（５）のいずれか一つに記載の捜索支援システム。
【0013】
（７）前記人工知能は、人型または人影を検出するための前記訓練画像データによって機械学習されており、前記第１カメラによって撮影された前記画像のデータから、前記人型または人影を検出する、上記（６）に記載の捜索支援システム。
【0014】
（８）前記捜索対象は、人である、上記（１）～（７）のいずれか一つに記載の捜索支援システム。
【0015】
（９）ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラが撮影した画像のデータから捜索対象を検出するとともに、検出した前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有する、捜索支援システムにおいて、前記情報処理装置であるコンピューターに、前記画像のデータから前記捜索対象を検出させて、前記捜索対象の位置を特定させるための捜索支援プログラムであって、
前記ドローンから、前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得する段階（１ａ）と、
あらかじめ複数の訓練画像データを用いて機械学習された人工知能を用いて、前記画像のデータから前記捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定する段階（１ｂ）と、
特定した前記捜索対象の位置を位置データとして前記端末装置へ出力する段階（１ｃ）と、
を有する、捜索支援プログラム。
前記ドローンに搭載された第１カメラと、
前記第１カメラが撮影した画像のデータから捜索対象を検出するとともに、検出した前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有する、捜索支援システムにおいて、前記情報処理装置であるコンピューターに、前記画像のデータから前記捜索対象を検出させて、前記捜索対象の位置を特定させるための捜索支援プログラムであって、
前記ドローンから、前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得する段階（１ａ）と、
あらかじめ複数の訓練画像データを用いて機械学習された人工知能を用いて、前記画像のデータから前記捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定する段階（１ｂ）と、
特定した前記捜索対象の位置を位置データとして前記端末装置へ出力する段階（１ｃ）と、
を有する、捜索支援プログラム。
【0016】
（１０）ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第２カメラ、前記第２カメラの移動に伴う加速度を計測する加速度センサー、および前記第２カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記端末装置であるコンピューターに、前記捜索対象の位置情報を前記表示部に表示させるための捜索支援プログラムであって、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出する段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得する段階（２ｂ）と、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示する段階（２ｃ）と、
を有する、捜索支援プログラム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第２カメラ、前記第２カメラの移動に伴う加速度を計測する加速度センサー、および前記第２カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記端末装置であるコンピューターに、前記捜索対象の位置情報を前記表示部に表示させるための捜索支援プログラムであって、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出する段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得する段階（２ｂ）と、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示する段階（２ｃ）と、
を有する、捜索支援プログラム。
【0017】
（１１）ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
レンズ、表示部、および方位センサーを有し、前記レンズを通して実体を目視できるともに、前記表示部に表示された情報を目視できる透過型情報表示装置と、を有する捜索支援システムにおいて、前記透過型情報表示装置を制御するコンピューターに、前記捜索対象の位置情報を前記表示部に表示させるための捜索支援プログラムであって、
前記方位センサーが計測した方位から前記レンズを通して視認可能な視野範囲を算出する段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得する段階（２ｂ）と、
前記捜索対象の位置データと前記視野範囲とを比較して、前記視野範囲内に、前記捜索対象が存在する場合に、前記捜索対象の位置情報を、前記表示部に表示する段階（２ｃ）と、
を有する、捜索支援プログラム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
レンズ、表示部、および方位センサーを有し、前記レンズを通して実体を目視できるともに、前記表示部に表示された情報を目視できる透過型情報表示装置と、を有する捜索支援システムにおいて、前記透過型情報表示装置を制御するコンピューターに、前記捜索対象の位置情報を前記表示部に表示させるための捜索支援プログラムであって、
前記方位センサーが計測した方位から前記レンズを通して視認可能な視野範囲を算出する段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得する段階（２ｂ）と、
前記捜索対象の位置データと前記視野範囲とを比較して、前記視野範囲内に、前記捜索対象が存在する場合に、前記捜索対象の位置情報を、前記表示部に表示する段階（２ｃ）と、
を有する、捜索支援プログラム。
【発明の効果】
【0018】
本発明は、情報処理装置がドローンに搭載されている第１カメラによって撮影された画像から捜索対象を検出して、その位置を特定し、端末装置に捜索対象の位置情報を表示させることとした。これにより、本発明は、捜索対象に電波発生源がなくとも、捜索対象の捜索効率を飛躍的に高められる。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施形態に係る捜索支援システム１の概略構成を示す図である。
【図2】ドローンのハードウェアの構成を示すブロック図である。
【図3】サーバーのハードウェア構成の一例を示すブロック図である。
【図4】端末装置のハードウェアの一例を示すブロック図である。
【図5】救助支援におけるサーバーの処理手順を示すフローチャートである。
【図6】救助支援における端末装置の処理手順を示すフローチャートである。
【図7】要救助者検出時の端末装置における画面表示例を説明するための説明図である。
【図8】要救助者の検出および位置の特定を説明するための説明図である。
【図9】確率セル集合の一例を説明する説明図である。
【図10】確率分布を例示した説明図である。
【図11】各セルへの参照を例示した説明図である。
【発明を実施するための形態】
【0020】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0021】
（捜索支援システム）
図１は、本発明の一実施形態に係る捜索支援システム１の概略構成を示す図である。
図１は、本発明の一実施形態に係る捜索支援システム１の概略構成を示す図である。
【0022】
図１に示すように、一実施形態に係る捜索支援システム１は、ドローン１００、サーバー２００、端末装置３００（３００ａ、３００ｂ、３００ｃ）、および操縦装置８００を有する。
【0023】
（ドローン）
ドローン１００は、無人移動体、無人航空機、および無人飛行体などとも称されている。ドローン１００は、機体本体１０１、機体本体１０１から延びる４本のローターアーム１０２、それぞれのローターアーム１０２に取り付けられた４つのローター１０３（回転翼）、およびローター１０３を回転させる４つのモーター１０４を有する。ドローン１００は、モーター１０４を駆動源としてローター１０３が回転し、ローター１０３の回転による揚力によって空中を飛行し、または、空中にホバリングする。モーター１０４は、各ローター１０３に個別に接続され、各モーター１０４によって各ローター１０３が回転する。なお、ローターアーム１０２の数は、４本に限定されず、ドローン１００の構成によって４本以上の場合もある。なお、図示しないが、ドローン１００は、モーター１０４の原動力となるバッテリーを有する。
ドローン１００は、無人移動体、無人航空機、および無人飛行体などとも称されている。ドローン１００は、機体本体１０１、機体本体１０１から延びる４本のローターアーム１０２、それぞれのローターアーム１０２に取り付けられた４つのローター１０３（回転翼）、およびローター１０３を回転させる４つのモーター１０４を有する。ドローン１００は、モーター１０４を駆動源としてローター１０３が回転し、ローター１０３の回転による揚力によって空中を飛行し、または、空中にホバリングする。モーター１０４は、各ローター１０３に個別に接続され、各モーター１０４によって各ローター１０３が回転する。なお、ローターアーム１０２の数は、４本に限定されず、ドローン１００の構成によって４本以上の場合もある。なお、図示しないが、ドローン１００は、モーター１０４の原動力となるバッテリーを有する。
【0024】
また、ドローン１００は、ドローンカメラ１０８（第１カメラ）を有する。ドローンカメラ１０８は、ドローン１００の飛行中またはホバリング中に、画像を撮影する。ドローンカメラ１０８は可視光による画像を撮影する。撮影する画像は、静止画および／または動画である。
【0025】
図２は、ドローン１００のハードウェアの構成を示すブロック図である。ドローン１００は、図２に示すように、飛行制御部１１０、衛星測位システム１２０（ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ））、姿勢方位基準システム１３０（ＡＨＲＳ（Ａｔｔｉｔｕｄｅ Ｈｅａｄｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｓｙｓｔｅｍ））、カメラ搭載用ジンバル１４０、および通信インターフェース１５０を有する。各構成は、バス１９０を介して相互に通信可能に接続されている。また、飛行制御部１１０には、バス１９０を介してドローンカメラ１０８も接続されている。
【0026】
飛行制御部１１０は、コンピューターである。飛行制御部１１０には、モーター１０４が専用線によって接続されている。飛行制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３、およびストレージ１１４を有する。
【0027】
ＣＰＵ１１１は、ＲＯＭ１１２やストレージ１１４に記録されているプログラムを実行することで、ドローン１００の飛行を制御する。
【0028】
ＲＯＭ１１２は、各種プログラムや各種データを記憶する。
【0029】
ＲＡＭ１１３は、作業領域として一時的にプログラムやデータを記憶する。また、ＲＡＭ１１３は、ストレージ１１４に記憶されている飛行ミッションのデータを読み出して記憶する。
【0030】
ストレージ１１４は、たとえば、ｅＭＭＣ（ｅｍｂｅｄｄｅｄ ＭｕｌｔｉＭｅｄｉａＣａｒｄ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの半導体メモリーが使用される。ストレージ１１４は、飛行ミッションのデータを記憶する。また、ストレージ１１４には、ドローンカメラ１０８によって撮影された画像データが記憶されてもよい。
【0031】
飛行制御部１１０の構成は、たとえば、実行する処理内容を書き換え可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよい。ＦＰＧＡは、演算素子となるＣＰＵ、記憶素子となるＲＯＭおよびＲＡＭなどの機能が１チップで形成されている半導体素子である。また、飛行制御部１１０は、ＣＰＵ、ＲＯＭ、およびＲＡＭなどのチップが１つのチップに統合されたコンピューターなどあってもよい。また、ＦＰＧＡや１チップコンピューターには、衛星測位システム１２０、通信インターフェース１５０などが統合されていてもよい。
【0032】
飛行制御部１１０は、衛星測位システム１２０、姿勢方位基準システム１３０、およびカメラ搭載用ジンバル１４０から位置データおよび姿勢データを取得する。飛行制御部１１０は、位置データおよび姿勢データを用いて、ドローン１００をあらかじめ設定された飛行ミッション（フライトプラン）によって自律して飛行（自律飛行）させる。本実施系来では、操縦装置８００から飛行ミッションをドローンへ送信して自律飛行させている。
【0033】
なお、ドローン１００は、自律飛行に代えて、プロポ（操縦装置８００）による遠隔操作による飛行（マニュアル飛行）を実行してもよい。
【0034】
衛星測位システム１２０は、ドローン１００の地球上での現在位置を計測して、ドローン１００の位置データを出力する。衛星測位システム１２０は、たとえば、全地球測位システム（ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ））が使用される。
【0035】
姿勢方位基準システム１３０およびカメラ搭載用ジンバル１４０は、ドローンカメラ１０８の姿勢を計測して、ドローンカメラ１０８の姿勢データを出力する。
【0036】
ドローン１００は、ドローンカメラ１０８によって撮影された画像データをサーバー２００に送信する。また、ドローン１００は、衛星測位システム１２０から出力されたドローン１００の位置データをサーバー２００に送信する。また、ドローン１００は、姿勢方位基準システム１３０およびカメラ搭載用ジンバル１４０から出力されたドローンカメラ１０８の姿勢データをサーバー２００に送信する。データの送信は、通信インターフェース１５０を介して実行される。
【0037】
通信インターフェース１５０は、サーバー２００との間でデータの送受信（通信）を実行する。ドローン１００とサーバー２００との間の通信には、たとえば、移動通信システムが用いられる。移動通信システムは、近年、第５世代移動通信システム（５Ｇ）のインフラが普及してきており、高速での通信が可能となることから、好適である。そのほか、ドローン１００とサーバー２００との通信には、既存の移動通信システム（４Ｇなど）が用いられてもよい。また、ドローン１００とサーバー２００との間の通信には、たとえば、ＩＥＥＥ８０２．１１（いわゆるＷｉＦｉ）などの無線通信システムが用いられてもよい。さらに、ドローン１００とサーバー２００との間の通信には、専用の無線通信システム（テレメトリデータ通信および映像伝送装置）が用いられてもよい。専用の無線通信システムは、たとえば、災害発生時に、既存の公衆移動通信システムが被災してしまった場合にも、使用可能である。
【0038】
（サーバー）
サーバー２００は、情報処理装置として機能するコンピューターである。サーバー２００は、たとえば、災害現場とは異なる場所に設置されたクラウドサーバーである。また、サーバー２００は、たとえば、災害が発生した現場に搬送されて、臨時に設置されてもよい。
サーバー２００は、情報処理装置として機能するコンピューターである。サーバー２００は、たとえば、災害現場とは異なる場所に設置されたクラウドサーバーである。また、サーバー２００は、たとえば、災害が発生した現場に搬送されて、臨時に設置されてもよい。
【0039】
図３は、サーバー２００のハードウェア構成の一例を示すブロック図である。
【0040】
サーバー２００は、図３に示すように、ＣＰＵ２１０、ＲＯＭ２２０、ＲＡＭ２３０、ストレージ２４０、通信インターフェース２５０および操作表示部２６０を有する。各構成は、バス２９０を介して相互に通信可能に接続されている。
【0041】
ＣＰＵ２１０は、ＲＯＭ２２０やストレージ２４０に記録されているプログラムを実行する。ＣＰＵ２１０は、特に、後述するサーバー２００の処理手順に沿って作成された救助支援プログラムを実行することで、捜索対象を検出して、その位置を出力する情報処理装置（仮想マシンを含む）としての機能を実行する。
【0042】
ＲＯＭ２２０は、各種プログラムや各種データを記憶する。
【0043】
ＲＡＭ２３０は、作業領域として一時的にプログラムやデータを記憶する。
【0044】
ストレージ２４０は、オペレーティングシステムを含む各種プログラムや、各種データを記憶する。ストレージ２４０は、特に、後述するサーバー２００の処理手順に沿って作成された救助支援プログラムを記憶している。
【0045】
ストレージ２４０としては、サーバー２００の場合、主に、ＨＤＤなどの大容量の記憶媒体が使用される。また、ストレージ２４０として、ｅＭＭＣやＳＳＤなどの半導体メモリーが、ＨＤＤとともに、またはＨＤＤに代えて用いられてもよい。
【0046】
通信インターフェース２５０は、ドローン１００および端末装置３００との間のデータの送受信（通信）を実行する。したがって、通信インターフェース２５０としては、ドローン１００および端末装置３００のそれぞれに合わせた無線通信システムが使用される。ここでは、上述のように、たとえば、移動通信システム、ＷｉＦｉなどが利用される。
【0047】
操作表示部２６０は、たとえば、タッチパネル式のディスプレイであり、各種情報を表示するとともに、各種入力を受け付ける。また、操作表示部２６０としては、キーボードやマウスなどの入力機器とディスプレイなどが接続されていてもよい。
【0048】
なお、サーバー２００のハードウェアの構成は、このような形態に限定されない。サーバー２００のハードウェアの構成は、たとえば、実行する処理内容を書き換え可能なＦＰＧＡなどであってもよい。また、サーバー２００のハードウェアには、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのアクセラレータが搭載されていてもよい。
【0049】
（端末装置）
端末装置３００は、表示部が搭載または接続されたコンピューターである。端末装置３００は、端末カメラ３７０によって撮影された画像とともに、位置情報を表示する情報表示装置である。端末装置３００は、後述するように、端末カメラ３７０によって撮影された画像の中に、拡張現実（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ））技術、または、複合現実（ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ））技術によって、様々な情報を表示する。
端末装置３００は、表示部が搭載または接続されたコンピューターである。端末装置３００は、端末カメラ３７０によって撮影された画像とともに、位置情報を表示する情報表示装置である。端末装置３００は、後述するように、端末カメラ３７０によって撮影された画像の中に、拡張現実（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ））技術、または、複合現実（ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ））技術によって、様々な情報を表示する。
【0050】
端末装置３００は、たとえば、人が携帯するスマートフォン、タブレットコンピューター（以下、これらを携帯端末３００ａと称する）、人が装着するスマートグラス３００ｂ、可搬式または固定式のノート型コンピューターまたはデスクトップ型コンピューター（以下、これらをパソコン３００ｃと称する）などである。
【0051】
ここで、スマートグラス３００ｂは、ウェアラブルコンピューターの一種である。スマートグラス３００ｂは、レンズを通して実体を目視できるとともに、視野範囲内で情報を見ることができる透過型情報表示装置である。スマートグラス３００ｂは、後述するように、端末カメラ３７０によって撮影された画像またはレンズを通して目視できる視野範囲の中に、ＡＲ技術、または、ＭＲ技術によって、様々な情報を表示する。拡張現実で使用されるスマートグラス３００ｂは、特に、ＡＲグラスと称されている。また、複合現実で使用されるスマートグラス３００ｂは、特に、ＭＲグラスと称されている。
【0052】
装着者の視野範囲内への情報の表示は、たとえば、レンズまたは目視（視野）範囲にあるスクリーンへ画像（情報）を投影する投影表示部３６１（図１参照）によって行われる。
【0053】
なお、スマートグラス３００ｂ以外のウェアラブルコンピューターとしては、たとえば、腕に装着するスマートウォッチなどが用いられてもよい。
【0054】
また、本実施形態の説明において、携帯端末３００ａ、スマートグラス３００ｂ、パソコン３００ｃは、特に区別する必要がない場合、端末装置３００と記載する。
【0055】
これらの端末装置３００は、捜索対象である要救助者を捜索する捜索者、要救助者を救助する救助者、または、捜索や救助を支援する支援者などが使用する。以下の説明では、これら捜索者、救助者、支援者などを特に区別することなく、捜索者と称する。端末装置３００は、複数の捜索者がいる場合、それぞれの捜索者によって個別に使用されてもよいし、複数の捜索者がいくつかのグループ（捜索隊）となって、グループごとに使用されてもよい。また、端末装置３００は、たとえば、要救助者を捜索するために捜索隊が結成されている警察署、消防署、捜索本部（または支部）、救助隊本部（または支部）、または指揮所などにおいて使用される。
【0056】
図４は、端末装置３００のハードウェアの一例を示すブロック図である。
【0057】
端末装置３００は、図４に示すように、ＣＰＵ３１０、ＲＯＭ３２０、ＲＡＭ３３０、ストレージ３４０、通信インターフェース３５０、操作表示部３６０、端末カメラ３７０（第２カメラ）、加速度センサー３７１、および方位センサー３７２、および衛星測位システム（ＧＳＮＮ）３７３を有する。各構成は、バス３９０を介して相互に通信可能に接続されている。
【0058】
ＣＰＵ３１０は、ＲＯＭ３２０やストレージ３４０に記録されているプログラムを実行することで、端末装置３００を制御する。ＣＰＵ３１０は、特に、後述する端末装置３００の処理手順に沿って作成された救助支援プログラムを実行することで、要救助者の位置情報を操作表示部３６０に表示する端末装置３００としての機能を実行する。
【0059】
ＲＯＭ３２０は、各種プログラムや各種データを記憶する。
【0060】
ＲＡＭ３３０は、作業領域として一時的にプログラムやデータを記憶する。
【0061】
ストレージ３４０は、オペレーティングシステムを含む各種プログラムや、各種データを記憶する。ストレージ３４０は、ｅＭＭＣ（ｅｍｂｅｄｄｅｄ ＭｕｌｔｉＭｅｄｉａＣａｒｄ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶媒体である。また、ストレージ３４０は、メモリーカードなどの可搬式記憶媒体であってもよい。ストレージ３４０は、特に、後述する端末装置３００の処理手順に沿って作成された救助支援プログラムを記憶している。
【0062】
通信インターフェース３５０は、サーバー２００との通信を実行する。通信インターフェース３５０には、たとえば、移動通信システムが用いられる。特に、近年、インフラが普及してきている第５世代移動通信システム（５Ｇ）が好適である。もちろん、通信インターフェース３５０には、既存の移動通信システムが用いられてもよい。また、通信インターフェース３５０には、たとえば、ＩＥＥＥ８０２．１１（ＷｉＦｉ）などの無線通信システムが用いられてもよい。また、通信インターフェース３５０には、サーバー２００と間で構築される、専用の無線通信システムが用いられてもよい。
【0063】
なお、スマートグラス３００ｂは、単独でサーバー２００と通信するための通信インターフェース３５０を有していてもよい。しかし、スマートグラス３００ｂは、スマートフォンやタブレットコンピューターなどの携帯端末３００ａと近距離無線通信（たとえばＢｌｕｅｔｏｏｔｈ（登録商標））によって接続され、サーバー２００との通信は携帯端末３００ａが実行することとしてもよい。この場合の携帯端末３００ａは、サーバー２００との通信機能を有するだけでもよいし、サーバー２００から受信した位置データをスマートグラス３００ｂに表示させるために必要な処理を実行することとしてもよい。
【0064】
操作表示部３６０は、たとえば、タッチパネル式のディスプレイ（表示部）であり、各種情報を表示するとともに、各種入力を受け付ける。また、操作表示部３６０としては、キーボードやマウスなどの入力機器とディスプレイなどが接続されていてもよい。なお、スマートグラス３００ｂにおいて、操作表示部３６０の表示機能は、投影表示部３６１（図１参照）によって提供される。したがって、以下の説明において、操作表示部３６０による表示は、投影表示部３６１により同様に実行される。
【0065】
端末カメラ３７０は、静止画および／または動画を撮影する。端末カメラ３７０によって撮影された画像は、操作表示部３６０にリアルタイムで表示される。端末カメラ３７０は、主に、捜索者の現在位置からの撮影に用いられる。
【0066】
携帯端末３００ａの場合、端末カメラ３７０は、携帯端末本体に内蔵されている。
【0067】
スマートグラス３００ｂの場合、端末カメラ３７０は、スマートグラス３００ｂの本体に内蔵または取り付けられている。また、端末カメラ３７０は、スマートグラス３００ｂの装着者によって、スマートグラス３００ｂとは別に装備されてもよい。
【0068】
なお、スマートグラス３００ｂの場合、端末カメラ３７０は、使用されなくてもよい。なぜなら、スマートグラス３００ｂを装着した捜索者は、端末カメラ３７０がなくても、レンズを介して、肉眼で実体を見ることができるからである。
【0069】
パソコン３００ｃの場合、端末カメラ３７０は、捜索者によって携帯される。この場合、端末カメラ３７０は、無線通信機能を有し、パソコン３００ｃへ画像データを送信する。無線通信機能としては、たとえば、移動通信システム（５Ｇ、４Ｇ）、ＷｉＦｉ、専用の無線通信システムなどが用いられる。
【0070】
なお、パソコン３００ｃの場合、端末カメラ３７０は、使用されなくてもよい。端末カメラ３７０が使用されない場合、パソコン３００ｃは、他の端末装置３００（携帯端末３００ａ、スマートグラス３００ｂなど）からの画像を受信してもよい。
【0071】
加速度センサー３７１は、端末カメラ３７０の移動に伴う加速度を計測する。端末装置３００は、計測された加速度から、端末カメラ３７０の撮影方向の上下角を算出する。
【0072】
携帯端末３００ａの場合、加速度センサー３７１は、携帯端末３００ａに一体的に設けられている。携帯端末３００ａは、加速度センサー３７１によって計測される加速度から、自身の傾斜角度を算出する。算出された携帯端末３００ａの傾斜角度は、そのまま端末カメラ３７０の撮影方向の上下角となる。
【0073】
スマートグラス３００ｂに端末カメラ３７０が内蔵または取り付けられる場合、加速度センサー３７１は、スマートグラス３００ｂに内蔵または取り付けられる。スマートグラス３００ｂは、加速度センサー３７１によって計測される加速度から、端末カメラ３７０の撮影方向の上下角を算出する。
【0074】
また、スマートグラス３００ｂに端末カメラ３７０が内蔵または取り付けられていない場合も、加速度センサー３７１は、スマートグラス３００ｂに内蔵または取り付けられることが好ましい。この場合、スマートグラス３００ｂは、加速度センサー３７１によって計測される加速度から、レンズ面の傾き角度を計測する。レンズ面の傾き角度は、スマートグラス装着者が見ている方向の上下角となる。なお、スマートグラス装着者は、捜索時、多くの場合、レンズ面全体を通して外を見ている。このため、スマートグラス装着者が見ている方向の上下角の移動は、水平方向の移動と比較して少ない。このため、上下角の情報は計測されなくてもよい。したがって、スマートグラス３００ｂに端末カメラ３７０が内蔵または取り付けられていない場合、加速度センサー３７１は設けられなくてもよい。
【0075】
パソコン３００ｃに端末カメラ３７０が接続されている場合、加速度センサー３７１は、端末カメラ３７０に設けられる。パソコン３００ｃは、端末カメラ３７０に設けられた加速度センサー３７１から、画像データとともに、加速度データを受信して、端末カメラ３７０の撮影方向の上下角を計測する。一方、パソコン３００ｃに端末カメラ３７０が接続されていない場合、加速度センサー３７１は、なくてもよい。
【0076】
方位センサー３７２は、端末装置３００に設けられている端末カメラ３７０の撮影方向の方位を計測する。方位センサー３７２は、たとえば、地磁気センサーである。また、方位センサー３７２は、たとえば、空間認識によって方位を判別するセンサーであってもよい。空間認識の場合、端末装置３００は、端末カメラ３７０（第２カメラ）を方位センサー３７２として用いて、マーカーやランドマーク（ドローン含む）、天体などを検出することによって絶対方位をリセットする。
【0077】
携帯端末３００ａの場合、方位センサー３７２は、一体的に設けられている。携帯端末３００ａは、方位センサー３７２によって自身の向いている方位を計測する。計測された携帯端末３００ａの方位は、そのまま端末カメラ３７０が撮影している方位となる。
【0078】
スマートグラス３００ｂに端末カメラ３７０が内蔵または取り付けられる場合、方位センサー３７２は、スマートグラス３００ｂに内蔵または取り付けられる。スマートグラス３００ｂは、方位センサー３７２によって端末カメラ３７０で撮影している方位を計測する。スマートグラス３００ｂに端末カメラ３７０が内蔵または取り付けられていない場合、方位センサー３７２は、スマートグラス３００ｂに内蔵または取り付けられる。スマートグラス３００ｂは、方位センサー３７２によって、スマートグラス３００ｂのレンズ面が向いている方位を計測する。
【0079】
パソコン３００ｃに端末カメラ３７０が接続されている場合、方位センサー３７２は、端末カメラ３７０に設けられる。パソコン３００ｃは、端末カメラ３７０に設けられた方位センサー３７２から、画像データとともに、方位データを受信して、端末カメラ３７０が撮影している方位を計測する。一方、パソコン３００ｃに端末カメラ３７０が接続されていない場合、方位センサー３７２は、なくてもよい。
【0080】
端末装置３００は、加速度センサー３７１によって計測された上下角（仰角および俯角）、および方位センサー３７２によって計測された方位から、端末カメラ３７０の撮影方向を算出する。
【0081】
衛星測位システム１７３は、端末装置３００の地球上での現在位置を計測する。衛星測位システム１７３は、たとえば、全地球測位システム（ＧＰＳ）が使用される。
【0082】
衛星測位システム１７３は、携帯端末３００ａの場合、一体的に設けられている。携帯端末３００ａは、衛星測位システム１７３から自身の地球上での現在位置を取得する。取得された携帯端末３００ａの位置は、そのまま端末カメラ３７０の位置となる。
【0083】
なお、端末装置３００の現在位置は、衛星測位システム１７３を用いずに計測することもできる。たとえば、端末装置３００は、端末カメラ３７０（第２カメラ）によって撮影された画像から、マーカーやランドマーク（ドローン含む）、天体などを検出することによって絶対位置をリセットする。
【0084】
なお、方位の計測や位置の計測に空間認識を利用する場合のカメラは、端末カメラ３７０（第２カメラ）以外に、空間認識（特徴点追跡）用のカメラを設けてもよい。また、空間認識（特徴点追跡）用のカメラは、たとえば、深度カメラを設けてもよい。
【0085】
スマートグラス３００ｂに端末カメラ３７０が内蔵または取り付けられる場合、および端末カメラ３７０が内蔵または取り付けられていない場合のいずれにおいても、衛星測位システム１７３は、スマートグラス３００ｂに内蔵または取り付けられる。スマートグラス３００ｂは、衛星測位システム１７３から地球上での位置を取得する。
【0086】
パソコン３００ｃに端末カメラ３７０が接続されている場合、衛星測位システム１７３は、端末カメラ３７０に設けられる。パソコン３００ｃは、端末カメラ３７０に設けられた衛星測位システム１７３から、画像データとともに、端末カメラ３７０の地球上での位置データを受信する。一方、パソコン３００ｃに端末カメラ３７０が接続されていない場合、衛星測位システム１７３は、なくてもよい。
【0087】
なお、端末装置３００のハードウェアの構成は、このような形態に限定されない。端末装置３００のハードウェアの構成は、たとえば、実行する処理内容を書き換え可能なＦＰＧＡなどであってもよい。また、端末装置３００のハードウェアには、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのアクセラレータが搭載されていてもよい。
【0088】
このように構成された端末装置３００は、サーバー２００によって検出された要救助者の位置情報を、操作表示部３６０に表示する。
【0089】
たとえば、携帯端末３００ａにおいては、携帯端末３００ａの端末カメラ３７０で撮影されている画像の中にＡＲ技術によって要救助者の位置情報が表示される。
【0090】
また、スマートグラス３００ｂがカメラを有する場合、スマートグラス３００ｂにおいては、スマートグラス３００ｂを装着している捜索者の視界の中に、ＡＲ技術によって、カメラによって撮影された画像とともに、要救助者の位置情報が表示される。また、スマートグラス３００ｂがカメラを有しない場合（透過型仮想実現表示装置）においては、スマートグラス３００ｂのレンズを通して実体を見る捜索者の視界（視野範囲）の中に、ＡＲ技術によって、要救助者の位置情報が表示される。
【0091】
また、パソコン３００ｃにおいては、捜索者の持つ端末カメラ３７０で撮影されている画像の中にＡＲ技術によって要救助者の位置情報が表示される。
【0092】
ＡＲ技術は、周知のとおりであるが、本実施形態におけるＡＲ技術を利用した要救助者の位置情報の表示は、概略以下のとおりである。
【0093】
端末装置３００は、端末カメラ３７０の撮影範囲とサーバー２００から受信した要救助者の位置とを比較する。撮影範囲は、端末装置３００の位置からの端末カメラ３７０の撮影方向と撮影時の画角によって決まった上下方向および水平方向の広がりの範囲である。端末装置３００の位置および要救助者の位置は、いずれも、衛星測位システム１２０から得られた地球上での座標位置である。座標位置は、端末装置３００で使用される空間座標系内の座標位置に変換されることもある。
【0094】
端末装置３００は、比較の結果、端末カメラ３７０の撮影範囲内に要救助者が存在する場合、撮影された画像内に要救助者の位置情報を表示する。要救助者の位置情報の表示は、たとえば、要救助者の位置を示すターゲットマーク、要救助者を検出したことを示すためのアイコン、端末装置３００から要救助者までの距離情報などである。ターゲットマークは、たとえば、円、二重円、十字と円の組み合わせなど、アイコンは、たとえば、人型アイコン、ハートマークアイコンなど、任意に設定するとよい。距離情報は、端末装置３００の座標位置と要救助者の座標位置から算出される。
【0095】
また、端末装置３００は、位置情報のほかに、たとえば、捜索対象（要救助者）の状態（姿勢、温度、服装等）を表示するようにしてもよい。要救助者の状態は、たとえば、ドローンカメラ１０８によって撮影された画像から、要救助者を含む部分画像を切り出して表示させてもよい。この場合、端末装置３００は、サーバー２００から位置データとともに、要救助者を含む部分画像データを受信する。また、要救助者の状態は、たとえば、サーバー２００によって解析された要救助者の状態を図案化（シンボル化）して表示させてもよい。
【0096】
なお、端末カメラ３７０の画像の中に、要救助者の位置情報を重ねて表示させるための技術は、上記概略説明とは異なる方法によって実現されてもよい。また、ＡＲ技術は、これらを利用するための様々なソフトウェアが市販されているので、それらを使用して実現され得る。また、画像または目視の中への位置情報の表示は、ＡＲ技術やＭＲ技術を利用しない方法によって実現されてもよい。
【0097】
（操縦装置）
操縦装置８００は、ドローンに１００を自律飛行させる飛行ミッションの作成、ドローンへの転送を実行する。また、操縦装置８００は、必要な場合に、ドローンを直接操作する。
操縦装置８００は、ドローンに１００を自律飛行させる飛行ミッションの作成、ドローンへの転送を実行する。また、操縦装置８００は、必要な場合に、ドローンを直接操作する。
【0098】
操縦装置８００は、コンピューターであり、基本的なハードウェア構成はサーバー２００と同様であるので説明は省略する。ただし、操縦装置８００は、ドローン１００と、直接、通信可能である。
【0099】
（処理手順）
以下、救助支援の処理手順について説明する。
以下、救助支援の処理手順について説明する。
【0100】
（サーバーの処理手順）
図５は、救助支援におけるサーバー２００の処理手順を示すフローチャートである。サーバー２００は、この処理手順に沿って作成された救助支援プログラムを実行する。
図５は、救助支援におけるサーバー２００の処理手順を示すフローチャートである。サーバー２００は、この処理手順に沿って作成された救助支援プログラムを実行する。
【0101】
まず、サーバー２００は、ドローン１００からデータを受信する（Ｓ１０１）。ドローン１００からのデータは、ドローンカメラ１０８により撮影された画像データ、ドローン１００の位置データ、およびドローンカメラ１０８の姿勢データである。サーバー２００は、受信した画像データをストレージ２４０に記憶する。記憶された画像データは、たとえば、後から読み出して画像を確認するために利用される。画像データは、通常、動画データである。画像データは、静止画データであってもよい。静止画データの場合は、ドローンカメラ１０８によって任意に設定された撮影間隔で撮影される。撮影間隔は、たとえば、ドローン１００が一定距離移動するごととしてもよい。
【0102】
続いて、サーバー２００は、受信した画像データをフレームごとに解析して、フレーム内における要救助者の有無を判断する（Ｓ１０２）。サーバー２００による画像データの解析は、すべてのフレームについて実行してもよいし、任意の間隔のフレームごとに実行してもよい。ただし、任意の間隔のフレームごとに解析する場合、任意の間隔は、少なくとも飛行中のドローン１００によって撮影される範囲が重複する部分を有するフレームごととすることが好ましい。これにより、ドローン１００の移動によって撮影される範囲が欠落することなく解析される。対称の有無の判断は、異なる位置から撮影した複数の画像フレームから（ベイズ推論、カルマンフィルタ等によって）確率論的に判断される。その際、人工知能による検知の尤もらしさ（尤度）が、検知／非検知の２値ではない中間を表すものとして利用される（詳細後述）。
【0103】
Ｓ１０２のステップにおいて、サーバー２００は、画像データから要救助者を検出した場合を要救助者有（Ｓ１０２：ＹＥＳ）、画像データから要救助者を検出しない場合を要救助者無（Ｓ１０２：ＮＯ）と判断する。要救助者の有無は、サーバー２００にて実行されている人工知能（ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ））によって判断される。人工知能は、あらかじめ、要救助者の有無を判断するために、機械学習（深層学習を含む）されている。機械学習は、たとえば、要救助者に相当する人影および人型が写っている数万枚の画像を訓練画像データとして、捜索対象である、人影または人型の検出能力を人工知能に獲得させる。
【0104】
Ｓ１０２のステップにおいて、サーバー２００は、要救助者無と判断した場合（Ｓ１０２：ＮＯ）、Ｓ１０１へ戻り処理を継続する。
【0105】
Ｓ１０２のステップにおいて、サーバー２００は、要救助者有と判断した場合（Ｓ１０２：ＹＥＳ）、検出した要救助者の位置データを端末装置３００へ送信する（Ｓ１０３）。
【0106】
続いて、サーバー２００は、処理終了か否かを判断し（Ｓ１０４）、処理終了の指示が入力されなければ（Ｓ１０４：ＮＯ）、Ｓ１０１へ戻り処理を継続する。サーバー２００は、処理終了の指示が入力されれば（Ｓ１０４：ＹＥＳ）、処理を終了する。
【0107】
（端末装置の処理手順）
図６は、救助支援における端末装置３００の処理手順を示すフローチャートである。端末装置３００は、この処理手順に沿って作成された救助支援プログラムを実行する。
図６は、救助支援における端末装置３００の処理手順を示すフローチャートである。端末装置３００は、この処理手順に沿って作成された救助支援プログラムを実行する。
【0108】
まず、端末装置３００は、端末装置３００に内蔵または取り付けられる端末カメラ３７０（捜索者が別途装備している場合を含む、以下同様）によって撮影を開始する（Ｓ２０１）。なお、カメラのないスマートグラス３００ｂでは、Ｓ２０１のステップは省略される。
【0109】
続いて、端末装置３００は、サーバー２００から要救助者の位置データを受信したか否かを判断する（Ｓ２０２）。端末装置３００は、要救助者の位置データを受信していない場合（Ｓ２０２：ＮＯ）、Ｓ２０１のステップへ戻り、処理を継続する。
【0110】
端末装置３００は、要救助者の位置データを受信した場合（Ｓ２０２：ＹＥＳ）、すでに説明したように、ＡＲ技術によって、撮影されている画像の中に要救助者の位置情報を表示する（Ｓ２０３）。
【0111】
続いて、端末装置３００は、処理終了か否かを判断し（Ｓ２０４）、処理終了の指示が入力されなければ（Ｓ２０４：ＮＯ）、Ｓ２０１へ戻り処理を継続する。端末装置３００は、処理終了の指示が入力されれば（Ｓ２０４：ＹＥＳ）、処理を終了する。
【0112】
【0113】
水害発生の現場において、捜索者は、たとえば、危険な場所を避けて、地上から要救助者を捜索している。また、捜索者は、地上からは見えない範囲を捜索するために、ドローン１００を飛行させる。
【0114】
図７に示した状況では、捜索者の視点５０２（後述図８参照）からは、要救助者５１８（図８参照）が、建物５０３の陰になっていて見えない。このような状況において、サーバー２００は、ドローン１００から受信した画像データから、要救助者５１８を検出したなら（上記Ｓ１０２：ＹＥＳ）、要救助者５１８の位置データを端末装置３００へ送信する（上記Ｓ１０３）。端末装置３００は、受信した要救助者５１８の位置データをもとに、要救助者５１８の位置情報をＡＲ技術によって、図７に示すように、操作表示部３６０の画面に表示する。
【0115】
要救助者５１８の位置情報としては、たとえば、要救助者５１８の位置を示すターゲットマーク４０１、要救助者５１８を検出したことを示すため人型アイコン４０２、および端末装置３００から要救助者５１８まで距離情報４０３が表示されている。
【0116】
図７において、ターゲットマーク４０１は、建物５０３と重なっている。しかし、画面に要救助者５１８の姿は、見えていない。このことから、捜索者は、捜索者自身の位置から見て、要救助者５１８が建物５０３の陰にいるとわかる。また、捜索者は、画面に表示されている距離情報４０３から、自身の現在位置から要救助者５１８までの距離を把握することができる。
【0117】
また、図示はしないが、たとえば、山岳遭難現場においては、捜索者が、山岳部の上空から有人航空機（ドローン１００ではない）などに乗って捜索する。そのような状況において、捜索者の視点からは、山岳部の木々などに隠れて要救助者の発見が難しいことがある。このような状況においては、別途、ドローン１００を飛行させることで、捜索者とは異なる視点からの捜索が同時に可能となる。山岳遭難現場においても、すでに説明したように、サーバー２００は、ドローンカメラ１０８によって撮影された画像から要救助者を検出し、その位置情報を端末装置３００へ送信する。端末装置３００では、操作表示部３６０に、ＡＲ技術によって、端末装置３００の端末カメラ３７０によって撮影された画像の中に、要救助者の位置情報が表示される。
【0118】
なお、要救助者５１８の位置情報は、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術（複合現実）を利用して表示してもよい。ＭＲ技術は、周知のとおり、撮影された画像や視野範囲などの現実空間の中に、３Ｄモデル画像や情報を表示する。
【0119】
本実施形態においては、ＭＲ技術を使用して、現実空間の中に、あらかじめ捜索現場を再現した３Ｄモデル画像（実像ではない）、または現場を撮影した画像そのものを３Ｄモデル画像（実像）化して表示する。そのうえで、端末装置３００は、現実空間内に、３Ｄモデル画像とともに、要救助者５１８の位置情報を表示する。表示される要救助者は、その姿勢を含めて３Ｄモデル画像とされてもよい。
【0120】
３Ｄモデル画像は、たとえば、端末装置３００のストレージ３４０に記憶させておく。また、３Ｄモデル画像は、たとえば、サーバー２００から端末装置３００に提供されるようにしてもよい。３Ｄモデル画像は、たとえば、捜索現場を、あらかじめ決められた視点から見たモデルとして作成する。また、３Ｄモデル画像は、たとえば、端末装置３００の端末カメラ３７０または端末カメラ３７０とは別に現場を撮影しているカメラによって撮影された画像から、リアルタイムで３Ｄモデル画像を作成することとしてもよい。
【0121】
（要救助者の検出および位置の特定）
要救助者５１８の検出および位置の特定は、たとえば、特開２０１９－１８５６８９号公報に記載された技術を用いることができる。
要救助者５１８の検出および位置の特定は、たとえば、特開２０１９－１８５６８９号公報に記載された技術を用いることができる。
【0122】
図８は、要救助者５１８の検出および位置の特定を説明するための説明図である。図８は、水害発生の現場（以下、災害現場５００と称する）を想定している。図８に示すように、捜索者の視点５０２から見ると、要救助者５１８は、建物５０３の陰にいるため発見できない。
【0123】
サーバー２００の人工知能には、あらかじめ捜索対象を検出するために、機械学習させる。捜索対象は、要救助者５１８、すなわち、人物である。
【0124】
機械学習は、画像データに含まれる要救助者５１８の検出尤度を求めることができるように人工知能に学習させる。機械学習によって、サーバー２００は、高い精度で人を認識できるようになる。
【0125】
脳のニューロン（神経細胞）を模倣した人工知能（人工ニューラルネットワーク）は、正解の捜索対象である要救助者５１８を含む画像データとその画像データ上の位置および大きさが組になった大量の訓練画像データを用いて学習を重ねる。これにより、人工知能は、次第に正解の捜索対象である要救助者５１８とそれ以外（背景）を区別する方法を学び、画像データに含まれる要救助者５１８の検出尤度や画像データ上の位置、画像データ上の大きさを正確に求めることができるようになる。
【0126】
大量の訓練画像データを入力して訓練した人工ニューラルネットワークは、要救助者５１８とそれ以外を正確に区別し、与えた画像データが訓練画像データ（人工ニューラルネットワークの学習に使用したサンプル画像データ）と異なっていたとしても要救助者５１８を認識することや、要救助者５１８の検出尤度、画像データ上の位置、画像データ上の大きさを求めることができるようになる。
【0127】
要救助者５１８の認識や要救助者５１８の検出尤度、画像データ上の位置、画像データ上の大きさを求めるため、人工ニューラルネットワークの入力層では入力画像データ（２次元訓練画像データや３次元訓練画像データ）の個々の画像が解析され、次の層（隠れ層）ではある特定の要救助者５１８が有する特有の幾何学的な形状を抽出する。中間の層（隠れ層）では各要救助者５１８の特徴が検出され、さらに深い層（隠れ層）ではそれらを組み合わせた要救助者５１８全体を認識する。そして、人工ニューラルネットワークの出力層および、出力層側に存在する隠れ層では、その要救助者５１８が他の捜索対象ではなく、検出が必要な要救助者５１８であると推測するとともに、要救助者５１８の画像データ上の位置、画像データ上の大きさを推測し、その尤度を出力する。
【0128】
ドローン１００の飛行ミッション作成（フライトプラン作成）は、操縦装置８００によって作成される。操縦装置８００では、ドローン１００を遠隔飛行させるソフトウェアが起動されると、図示はしていないが、飛行ミッション作成（フライトプラン作成）のための画面が表示される。飛行ミッション作成画面には、ドローン１００の飛行地域（移動体の移動地域）を選択する飛行地域選択エリア、要救助者５１８を選択する捜索対象選択エリア、選択確認ボタンが表示される。飛行地域選択エリアには、複数の航空写真（飛行地域画像）または地図の画面（飛行地域画像）が表示される。
【0129】
捜索者（そのほか、ドローン１００の操縦者など）は、飛行ミッション作成画面から、飛行地域選択エリアに表示された複数の航空写真または複数の地図の画面からドローン１００を飛行させる航空写真または地図の画面を選択（反転させ）し、捜索対象選択エリアに要救助者５１８（人物）を入力（たとえば、捜索対象選択エリアのプルダウンリストから要救助者５１８を選択）し、選択確認ボタンをクリックする。
【0130】
選択確認ボタンはクリックされると、操縦装置８００は、選択された航空写真または地図の画面を表す３次元コンピュータグラフィックスによる三次元航空写真画像または三次元地図画像を表示させるとともに、要救助者５１８の捜索対象表示エリアを表示する。
【0131】
三次元航空写真画像または三次元地図画像には、ドローン１００の飛行速度（離陸速度、移動速度、着陸速度）入力エリア、飛行高度入力エリア条件確定ボタンが表示される。
【0132】
捜索者は、表示された画面から、三次元航空写真画像または三次元地図画像にドローン１００の飛行経路（離陸地点および着陸地点を含む）を入力し、飛行速度入力エリアにドローン１００の飛行速度（離陸速度、移動速度、着陸速度）を入力し、飛行高度入力エリアにドローン１００の飛行高度を入力した後、条件確定ボタンをクリックする。なお、捜索者は、表示された三次元航空写真画像または三次元地図画像に、空中の各経由地点（第１～第ｎ経由地点）を入力（各経由地点の位置座標および高度を入力、または、ポインターによって各経由地点を位置決め）することもできる。
【0133】
条件確定ボタンがクリックされると、操縦装置８００は、入力された飛行条件を有する飛行ミッション（フライトプラン）を作成する。飛行ミッションは、ドローン１００へ転送される。また、飛行ミッションは、ドローン１００の識別子（ドローン１００の個体識別番号やユニークな識別番号）および飛行ミッション作成日時に関連付けられた状態でサーバー２００のストレージ２４０に記憶される。
【0134】
【0135】
続いて、サーバー２００は、人工知能（人工ニューラルネットワーク）に学習済みの係数をロードする。生成された確率セル集合５１９は、所定容積の六面体の確率セル集合領域である。
【0136】
操縦装置８００は、飛行ミッション（フライトプラン）をドローン１００の飛行制御部１１０（コントローラ）に送信する。ドローン１００の飛行制御部１１０は、サーバー２００から受信した飛行ミッションをドローン１００の飛行制御部１１０が内蔵するストレージ１１４に格納（記憶）する。飛行ミッションをドローン１００の飛行制御部１１０に送信した後、捜索者は、操縦装置８００から、飛行開始を指示する。ドローン１００は、操縦装置８００から送信された飛行開始信号を受信すると、自律飛行を開始する。
【0137】
自律飛行を開始したドローン１００は、離陸地点から所定面積の飛行地域（所定面積の地域）に向かって飛行し、入力された飛行経路に従って飛行地域を飛行しつつ（所定面積の地域を移動しつつ）、ドローンカメラ１０８を利用して所定面積の撮影エリアＳｅを撮影し、ドローンカメラ１０８によって所定の画像データＥｉを取得する。ドローンカメラ１０８による撮影エリアＳｅの撮影は、動画として連続して行われる。
【0138】
ドローン１００は、常に移動しながら異なる位置において撮影エリアＳｅを撮影する。ドローン１００の飛行制御部１１０は、ドローンカメラ１０８によって動画（画像データＥｉ）を撮影する。飛行制御部１１０は、撮影時点の位置（ドローン１００の現在位置）および姿勢データとともに、画像データＥｉをサーバー２００に送信する。より具体的には、ドローン１００の飛行制御部１１０は、衛星測位システム１２０を利用し、飛行経路の位置データ（座標情報）を割り出すとともに、画像データＥｉの撮影時のドローン１００の３次元位置データを割り出す。ドローン１００の飛行制御部１１０は、姿勢方位基準システム１３０およびカメラ搭載用ジンバル１４０から得られる姿勢データを利用し、画像データＥｉの撮影時のドローンカメラ１０８の姿勢を特定する。ドローン１００の飛行制御部１１０は、飛行経路の位置データ（座標情報）をサーバー２００に送信するとともに、画像データＥｉの撮影時のドローン１００の３次元位置データと画像データＥｉの撮影時のドローンカメラ１０８の姿勢データとをサーバー２００に送信する。ドローン１００の３次元位置データは、画像データＥｉの撮影時におけるドローン１００の経度、画像データＥｉの撮影時におけるドローン１００の緯度、画像データＥｉの撮影時におけるドローン１００の高度である。また、ドローンカメラ１０８の姿勢は、画像データＥｉの撮影時における四元数または四元数と同等の画像データＥｉの撮影時における姿勢を表すロール、ピッチ、ヨー角である。
【0139】
なお、プロポによってドローン１００を遠隔操作する場合、飛行経路は、飛行ミッションに指定された経路ではなく、操縦者自身がプロポの操作によって指定される。ドローンカメラ１０８による所定の画像データＥｉの取得は、自律飛行時と同様に動画として連続して行われる。プロポは、コンピューターを備えたコントロールシステム（図示せず）に接続されている。プロポによるドローン１００の操縦時では、プロポのコントロールシステムのディスプレイにドローン１００の飛行速度や高度、地図情報、撮影映像表示、バッテリー残量等が表示される。
【0140】
プロポによるドローン１００の遠隔操作においてドローン１００の飛行制御部１１０は、画像データＥｉの撮影時のドローン１００の３次元位置データ（ドローン１００の経度、緯度、高度）、画像データＥｉの撮影時のドローンカメラ１０８の姿勢（四元数または四元数と同等の姿勢を表すロール、ピッチ、ヨー角）をサーバー２００に送信する。
【0141】
サーバー２００は、ドローン１００の飛行制御部１１０から受信した飛行経路の位置データ（座標情報）を、ドローン１００の識別子および飛行日時に関連付けた状態でストレージ２４０に記憶する。サーバー２００は、ドローン１００の飛行制御部１１０から受信したドローンカメラ１０８によって撮影した複数の画像データＥｉをドローン１００の識別子および撮影日時に関連付けた状態でストレージ２４０に記憶する。サーバー２００は、画像データＥｉの撮影時のドローン１００の３次元位置データ（ドローン１００の経度、緯度、高度）、画像データＥｉの撮影時のドローン１００の姿勢（四元数または四元数と同等の姿勢を表すロール、ピッチ、ヨー角）をドローン１００の識別子および撮影日時に関連付けた状態でストレージ２４０に記憶する。
【0142】
サーバー２００は、人工知能を利用して画像データＥｉに含まれる所定の要救助者５１８の検出尤度を求め、人工知能を利用して要救助者５１８の画像データＥｉ上の位置を求めるとともに、人工知能を利用して要救助者５１８の画像データＥｉ上の大きさを求める。サーバー２００は、検出した要救助者５１８の検出尤度および要救助者５１８の画像データＥｉ上の位置、大きさをもとに画像データＥｉの各画素に検出尤度を対応付ける。サーバー２００は、画像データＥｉの各画素に検出尤度を対応付ける際、複数の検出尤度が対応付く場合はそれら検出尤度のうちの最大の検出尤度をその画素に対応付け、何も検出尤度が対応付けられない場合はその画素に尤度０を対応付ける。
【0143】
サーバー２００は、画像データＥｉの各画素に対して要救助者５１８（人）が窺知（検知）となる窺知確率を算出する。
【0144】
サーバー２００は、窺知確率算出の際に、画像データＥｉの撮影時におけるドローン１００の経度、緯度、および高度（３次元位置データ）と、画像データＥｉの撮影時におけるドローンカメラ１０８の姿勢（四元数または四元数と同等の姿勢を表すロール、ピッチ、ヨー角）と、ドローンカメラ１０８の定数パラメータ（画角、イメージサイズ）とから確率セル集合５１９における画像データＥｉの各画素に対応する観測方向（撮影方向）を算出する。
【0145】
続いて、観測方向に存在する確率セルを参照し、以下［数１］に示す所定の窺知確率算出数式によって要救助者５１８が窺知（検知）となる窺知確率をＰ（Ｘ＝１）算出する。
【0146】
【数1】
【0147】
窺知確率算出数式［数１］中、
Ｐ１：その方向に要救助者５１８が存在していた場合に窺知（検知）となる確率パラメータ（０＜Ｐ１＜１）、
Ｐ２：その方向に要救助者５１８が存在しないが、窺知（検知）となる確率パラメータ（０≦Ｐ２＜Ｐ１）、
ｐｋ：確率分布のセル集合からサンプリングされたｋ番目の確率である。
Ｐ１：その方向に要救助者５１８が存在していた場合に窺知（検知）となる確率パラメータ（０＜Ｐ１＜１）、
Ｐ２：その方向に要救助者５１８が存在しないが、窺知（検知）となる確率パラメータ（０≦Ｐ２＜Ｐ１）、
ｐｋ：確率分布のセル集合からサンプリングされたｋ番目の確率である。
【0148】
図１０は、確率分布を例示した説明図である。
【0149】
図１０を参照して、確率分布のセルへの参照を例示すると以下のようになる。
【0150】
サンプリングは、等間隔とする。ｐｋの値は、観測方向（撮影方向）のベクトルが通るセルのうち、最近傍点への参照や内挿等により妥当であるものが選択される。
【0151】
サーバー２００は、ドローン１００から送信されたドローン１００の位置データ、および姿勢データから算出された画像データＥｉの撮影方向をもとに確率セル集合５１９における更新対象範囲５２０を特定する。サーバー２００は、更新対象範囲５２０に含まれる各セルの確率値を、ベイズの定理を応用した所定の更新数式（下記［数２］）を使用して、検出した要救助者５１８の検出尤度および要救助者５１８の画像データＥｉ上の位置、大きさをもとに更新する。更新数式には、算出した窺知確率が含まれる。
【0152】
【数2】
【0153】
更新数式中、Ｌ：尤度、左辺：更新後の確率である。
【0154】
図１１は、各セルへの参照を例示した説明図である。
【0155】
図１１に示すように、窺知確率Ｐ（Ｘ＝１）およびＬは、ドローンカメラ１０８の焦点と更新対象のセルを結ぶ直線が通る画素のうち、最近傍点への参照や内挿などにより妥当なものが選択される。確率分布値の更新は、確率セル集合５１９のセルの確率値を更新数式によって更新する場合、確率セル集合５１９のセルの３次元位置、ドローン１００の３次元位置データ、ドローンカメラ１０８の姿勢データ、およびドローンカメラ１０８の定数パラメータから、画像データＥｉ上の参照すべき画素を特定し、窺知確率および検出尤度を読み出して算出する。
【0156】
捜索対象の検出、窺知確率の算出、および確率分布値の更新が１回実施されると、図９に示した確率セル集合５１９のうち、六面体の領域における更新対象範囲５２０が更新される。
【0157】
サーバー２００は、捜索対象の検出、窺知確率の算出、確率分布値の更新を１回以上（好ましくは、２回以上）繰り返し実施することで、要救助者５１８を、確率セル集合５１９におけるセルごとの確率値の高低として特定する。確率分布値の更新によって確率値が更新された更新対象範囲５２０は、所定容積の六面体の確率セル集合５１９の中に存在する所定容積の六面体の更新対象範囲５２０である。
【0158】
なお、要救助者５１８を、確率セル集合５１９におけるセルごとの確率値の高低として確実に特定するためには、２回以上異なる位置、異なる方向から要救助者５１８を含む撮影エリアＳｅを撮影し、上述した捜索対象の検出、窺知確率の算出、確率分布値の更新を２回以上実施して更新対象範囲５２０の確率値を複数回更新する必要がある。図１２は、図８に続いて、確率分布の変化を説明する説明図である。図１３は、図１２に続いて、確率分布の変化を説明する説明図である。図１２および図１３は、図８同様に、ドローンカメラ１０８を下向きに制御して移動しながら複数回撮影を行い、更新対象範囲５２０の確率値の処理を行った場合の確率分布の変化を示している。
【0159】
先に示した図８は、１度だけの撮影で要救助者５１８が特定された画像データＥｉを含む確率セル集合５１９の各画素の確率値を更新（１回の更新対象範囲５２０の確率値の更新）した更新対象範囲５２０の確率分布を示している。図８を参照すると、要救助者５１８の窺知（検知）が行われた領域は確率が増加し、窺知（検知）が行われなかった領域は確率が減少している。１度だけの撮影（１回の更新対象範囲５２０の確率値の更新）では、ドローンカメラ１０８の奥行き方向に対する変化が一様であるため、確率が上昇する領域は柱状となり、要救助者５１８の位置がまだ曖昧にしか定まっていない。
【0160】
図１２は、２回の撮影によって要救助者５１８が特定された画像データＥｉを含む確率セル集合５１９の各画素の確率値を更新（２回の更新対象範囲５２０の確率値の更新）した更新対象範囲５２０の確率分布を示している。図１２では、１度目の撮影（１回の更新対象範囲５２０の確率値の更新）、２度目の撮影（２回の更新対象範囲５２０の確率値の更新）ともに要救助者５１８が窺知（検知）となり、２回とも確率が増加した領域を「窺知（検知）が重複した領域」として図示している。１度目に比べ、確率分布がより集中し、要救助者５１８の位置が定まりつつあるのがわかる。
【0161】
図１３は、３回の撮影によって要救助者５１８が特定された画像データＥｉを含む確率セル集合５１９の各画素の確率値を更新（３回の更新対象範囲５２０の確率値の更新）した更新対象範囲５２０の確率分布を示している。図１３では、１度目の撮影（１回の更新対象範囲５２０の確率値の更新）、２度目の撮影（２回の更新対象範囲５２０の確率値の更新）、３度目の撮影（３回の更新対象範囲５２０の確率値の更新）ともに要救助者５１８が窺知（検知）となる。そして、３回とも確率が増加した領域は、特に高い確率値を持つことを示している。図１３に示すように、確率が増加した領域は、より集中しており、要救助者５１８の位置がより限定されている。
【0162】
サーバー２００は、特定された要救助者５１８の確率セル集合５１９におけるセルごとの確率値の最も高い位置を要救助者５１８の三次元位置（位置データ）として端末装置３００へ送信する。
【0163】
端末装置３００では、すでに説明したように、ＡＲ技術によって、要救助者５１８の位置情報が、端末カメラ３７０によって撮影されている画像内に表示される。
【0164】
以上説明した本実施形態によれば、以下の効果を奏する。
【0165】
本実施形態においては、サーバー２００（情報処理装置）が、ドローン１００によって撮影された画像から要救助者５１８を検出して、その位置を特定する。サーバー２００は、端末装置３００に特定した要救助者５１８の位置データを送信する。そして、端末装置３００は、サーバー２００から、要救助者５１８の位置データを受信して、要救助者５１８の位置情報を表示部に表示する。これにより、本発明は、要救助者５１８が電波発生源を携帯していなくても、また電波発生源の電力が消失していても、要救助者５１８の捜索効率を飛躍的に高められる。
【0166】
また、本実施形態では、複数の捜索者がいる場合に、それぞれの捜索者に個別に、またはグループ（捜索隊）単位で、端末装置３００を使用させることで、複数の捜索者や捜索隊内で、要救助者５１８の位置情報を共有できる。このように本実施形態では、複数の捜索者が要救助者の正確な位置を即時かつ直感的に把握、共有することができる。
【0167】
また、本実施形態では、使用されている端末装置３００の位置からの画像（または目視範囲）内に、要救助者５１８の位置情報が表示される。このため、捜索者は、要救助者５１８を救助に行く際に、どちらの方向へ行けばよいか直観的にわかるようになる。
【0168】
また、本実施形態では、ドローンカメラ１０８の画像データから要救助者５１８を検出することとしたので、捜索者の視点５０２から見えていない要救助者５１８を発見できる可能性が高くなる。
【0169】
以上、本発明の実施形態を説明したが、様々な変形が可能である。
【0170】
上述した実施形態は、情報処理装置として、ドローン１００から、サーバー２００へ画像データが直接送信されて、サーバー２００によって要救助者５１８の検出、および位置の特定が実行されることとした。しかし、ドローン１００からの画像データは、直接サーバーへではなく、端末装置３００、操縦装置８００、および、その他の無線中継局（無線装置）などを通してサーバー２００へ送信されることとしてもよい。
【0171】
また、実施形態は、情報処理装置として、ドローン１００および端末装置３００とは別に設置されたサーバー２００を使用することとした。しかし、情報処理装置の機能である、要救助者５１８の検出、および位置の特定は、必ずしもサーバー２００を使用しなくてもよい。要救助者５１８の検出、および位置の特定は、たとえば、端末装置３００により実行させてもよい。この場合、ドローン１００からの各種データは、端末装置３００へ直接送信されるようにしてもよいし、無線中継局などを通して送信されるようにしてもよい。
【0172】
また、情報処理装置の機能である、要救助者５１８の検出、および位置の特定は、ドローン１００に搭載されたコンピューターに実行させてもよい。この場合、ドローン１００からは、検出された要救助者５１８の位置データが端末装置３００へ送信される。要救助者５１８の位置データは、ドローン１００から端末装置３００へ直接送信されるようにしてもよいし、無線中継局などを通して送信されるようにしてもよい。
【0173】
また、要救助者５１８の検出は、要救助者５１８（人）の姿勢を含めて検出するようにしてもよい。人の姿勢は、たとえば立位、しゃがみ位、および臥位（仰臥位、側臥位、腹臥位など）などである。要救助者５１８（人）の姿勢を含めて検出する場合、たとえば、人工知能には、人の姿勢を区別できるように機械学習させる。このように人の姿勢を機械学習させた人工知能は、ドローンカメラ１０８の画像データから要救助者５１８の姿勢を区別して検出できるようになる。捜索者は、判明した要救助者５１８の姿勢から救助の緊急性を判断できる。たとえば、捜索者は、立位の要救助者５１８より、しゃがみ位や臥位の要救助者５１８の方が救助の緊急性が高いと判断する。なお、このような判断は、あくまでも一例であり、実施際の救助は、検出された要救助者５１８の姿勢から捜索者の経験や、救助マニュアルなどに従って実行される。
【0174】
また、上述した実施形態は、ドローンカメラ１０８として可視光のカメラを使用することを前提に説明した。しかし、ドローンカメラ１０８は、可視光のカメラに限定されない。たとえば、ドローンカメラ１０８は、可視光のカメラに代えて、または、可視光のカメラとともに、近赤外線または遠赤外線を検知する赤外線カメラを使用してもよい。赤外線カメラを使用する場合、捜索者は、要救助者５１８の体温を知ることができる。
【0175】
また、ドローン１００には、ドローンカメラ１０８とともに音響センサーが搭載されてもよい。音響センサーは、たとえば、指向性マイクロフォンであり、ドローンカメラ１０８による撮影方向の音を集音させる。指向性マイクロフォンを合わせて使用する場合、捜索者は、要救助者５１８が発する声や音を知ることができる。
【0176】
また、上述した実施形態では、図１において１台のドローン１００を示したが、捜索支援システム１は、同時に、複数台のドローン１００を使用してもよい。同時に、複数台のドローン１００を使用する場合、たとえば、要救助者５１８の検出、位置の特定は、１台のサーバー２００が実行してもよい。この場合、サーバー２００は、複数台のドローン１００からの画像データを解析して、いずれか一つのドローン１００からの画像データから要救助者５１８を検出した場合、その位置データを各端末装置３００へ送信する。また、同時に、複数台のドローン１００を使用する場合、たとえば、要救助者５１８の検出、位置の特定は、各ドローン１００に対応させた複数台のサーバー２００が実行してもよい。この場合、各サーバー２００は、対応するドローン１００からの画像データを解析する。そして、要救助者５１８を検出したサーバー２００は、位置データを各端末装置３００へ送信する。なお、この場合、各端末装置３００は、複数台のサーバー２００とそれぞれ通信可能な状態とする。
【0177】
また、上述した実施形態は、捜索対象として要救助者５１８（人）を例に説明したが、本発明は、人の捜索に限定されない。本発明は、たとえば、人以外の動植物や物体の捜索にも使用できる。たとえば、動物の捜索の場合は、人工知能の機械学習時に捜索対象となる動物と他の動物と区別できるように学習させる。また、物体の捜索における捜索対象としては、たとえば、車両、不法投棄物、構造物上のひび割れ等の損傷個所などが挙げられる。これらの物体の捜索の場合、人工知能には、機械学習時に捜索対象となる物体と、他の物体とを区別できるように学習させる。
【0178】
さらに、動植物や物体の捜索においては、人の捜索同様に、その姿勢の違いを区別させてもよい。たとえば、捜索対象が動物の場合、人工知能には、物体の立体的な配置や向き（物体が正しく位置しているか転覆しているなど）などを区別できるように機械学習させてもよい。特に、捜索対象が車両の場合、人工知能には、正常な状態、転覆した状態などを区別できるように機械学習させる。
【0179】
なお、本発明に係る救助支援プログラムは、専用のハードウェア回路によって実現することも可能である。また、このデータ入力制御プログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのコンピューター読み取り可能な記録媒体によって提供したり、記録媒体によらず、インターネットなどのネットワークを介してオンラインで提供したりすることも可能である。オンラインで提供される場合、救助支援プログラムは、ネットワークに接続されたコンピューター内の磁気ディスクなどの記録媒体（ストレージ）に記録される。
【0180】
また、本発明は、特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。
【符号の説明】
【0181】
１ 捜索支援システム、
１００ ドローン、
１０１ 機体本体、
１０２ ローターアーム、
１０３ ローター、
１０４ モーター、
１０８ ドローンカメラ、
１１０ 飛行制御部、
１２０ 衛星測位システム、
１３０ 姿勢方位基準システム、
１４０ カメラ搭載用ジンバル、
１５０ 通信インターフェース、
２００ サーバー、
３００ 端末装置、
３００ａ 携帯端末、
３００ｂ スマートグラス、
３００ｃ パソコン、
３６０ 操作表示部、
３６１ 投影表示部、
３７０ 端末カメラ、
３７１ 加速度センサー、
３７２ 方位センサー、
４０１ ターゲットマーク、
４０２ 人型アイコン、
４０３ 距離情報、
５００ 災害現場、
５０２ 視点、
５０３ 建物、
５１８ 要救助者、
８００ 操縦装置。
１００ ドローン、
１０１ 機体本体、
１０２ ローターアーム、
１０３ ローター、
１０４ モーター、
１０８ ドローンカメラ、
１１０ 飛行制御部、
１２０ 衛星測位システム、
１３０ 姿勢方位基準システム、
１４０ カメラ搭載用ジンバル、
１５０ 通信インターフェース、
２００ サーバー、
３００ 端末装置、
３００ａ 携帯端末、
３００ｂ スマートグラス、
３００ｃ パソコン、
３６０ 操作表示部、
３６１ 投影表示部、
３７０ 端末カメラ、
３７１ 加速度センサー、
３７２ 方位センサー、
４０１ ターゲットマーク、
４０２ 人型アイコン、
４０３ 距離情報、
５００ 災害現場、
５０２ 視点、
５０３ 建物、
５１８ 要救助者、
８００ 操縦装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2021-11-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有し、
前記端末装置は、
第２カメラと、
前記第２カメラの移動に伴う加速度を計測する加速度センサーと、
前記第２カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出し、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示し、
前記情報処理装置は、前記捜索対象を検出した場合に、前記端末装置に対して前記捜索対象の位置データを送信する、捜索支援システム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有し、
前記端末装置は、
第２カメラと、
前記第２カメラの移動に伴う加速度を計測する加速度センサーと、
前記第２カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出し、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示し、
前記情報処理装置は、前記捜索対象を検出した場合に、前記端末装置に対して前記捜索対象の位置データを送信する、捜索支援システム。
【請求項2】
前記第１カメラは、前記第２カメラで撮影されない範囲を撮影する、請求項１記載の捜索支援システム。
【請求項3】
前記端末装置は、スマートフォン、タブレットコンピューター、ウェアラブルコンピューター、ノート型コンピューター、デスクトップ型コンピューターよりなる群から選択された少なくともいずれか一つである、請求項１または２に記載の捜索支援システム。
【請求項4】
前記情報処理装置は、
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第１カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、請求項１～３のいずれか一つに記載の捜索支援システム。
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第１カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、請求項１～３のいずれか一つに記載の捜索支援システム。
【請求項5】
前記人工知能は、人型または人影を検出するための前記訓練画像データによって機械学習されており、前記第１カメラによって撮影された前記画像のデータから、前記人型または人影を検出する、請求項４に記載の捜索支援システム。
【請求項6】
前記人工知能は、人の姿勢を検出するための前記訓練画像データによって機械学習されており、前記第１カメラによって撮影された前記画像のデータから、前記人の姿勢を検出して、前記人の姿勢から、救助の緊急性を判断する、請求項５に記載の捜索支援システム。
【請求項7】
前記捜索対象は、人である、請求項１～６のいずれか一つに記載の捜索支援システム。
【請求項8】
前記第１カメラは、赤外線カメラである、請求項５または６に記載の捜索支援システム。
【請求項9】
前記情報処理装置は、前記ドローンの飛行経路の位置データを記憶する、請求項１～８のいずれか一つに記載の捜索支援システム。
【請求項10】
ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第２カメラ、前記第２カメラの移動に伴う加速度を計測する加速度センサー、および前記第２カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記捜索対象の位置情報を前記表示部に表示させる処理をコンピューターに実行させるための捜索支援プログラムであって、
前記情報処理装置であるコンピューターに、前記第１カメラによって撮影された画像のデータから前記捜索対象を検出したか否かを判断させる段階（１ａ）と、
前記捜索対象を検出した場合に、前記捜索対象の位置のデータを前記端末装置へ出力させる段階（１ｂ）と、を実行させ、
前記端末装置であるコンピューターに、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出させる段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得させる段階（２ｂ）と、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示させる段階（２ｃ）と、を実行させるための、捜索支援プログラム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第２カメラ、前記第２カメラの移動に伴う加速度を計測する加速度センサー、および前記第２カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記捜索対象の位置情報を前記表示部に表示させる処理をコンピューターに実行させるための捜索支援プログラムであって、
前記情報処理装置であるコンピューターに、前記第１カメラによって撮影された画像のデータから前記捜索対象を検出したか否かを判断させる段階（１ａ）と、
前記捜索対象を検出した場合に、前記捜索対象の位置のデータを前記端末装置へ出力させる段階（１ｂ）と、を実行させ、
前記端末装置であるコンピューターに、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出させる段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得させる段階（２ｂ）と、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示させる段階（２ｃ）と、を実行させるための、捜索支援プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
（１）ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有し、
前記端末装置は、
第２カメラと、
前記第２カメラの移動に伴う加速度を計測する加速度センサーと、
前記第２カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出し、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示し、
前記情報処理装置は、前記捜索対象を検出した場合に、前記端末装置に対して前記捜索対象の位置データを送信する、捜索支援システム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有し、
前記端末装置は、
第２カメラと、
前記第２カメラの移動に伴う加速度を計測する加速度センサーと、
前記第２カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出し、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示し、
前記情報処理装置は、前記捜索対象を検出した場合に、前記端末装置に対して前記捜索対象の位置データを送信する、捜索支援システム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
（２）前記第１カメラは、前記第２カメラで撮影されない範囲を撮影する、上記（１）に記載の捜索支援システム。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【0012】
（４）前記情報処理装置は、
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第１カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、上記（１）～（３）のいずれか一つに記載の捜索支援システム。
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第１カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、上記（１）～（３）のいずれか一つに記載の捜索支援システム。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【0013】
（５）前記人工知能は、人型または人影を検出するための前記訓練画像データによって機械学習されており、前記第１カメラによって撮影された前記画像のデータから、前記人型または人影を検出する、上記（４）に記載の捜索支援システム。
（６）前記人工知能は、人の姿勢を検出するための前記訓練画像データによって機械学習されており、前記第１カメラによって撮影された前記画像のデータから、前記人の姿勢を検出して、前記人の姿勢から、救助の緊急性を判断する、上記（５）に記載の捜索支援システム。
（６）前記人工知能は、人の姿勢を検出するための前記訓練画像データによって機械学習されており、前記第１カメラによって撮影された前記画像のデータから、前記人の姿勢を検出して、前記人の姿勢から、救助の緊急性を判断する、上記（５）に記載の捜索支援システム。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【0014】
（７）前記捜索対象は、人である、上記（１）～（６）のいずれか一つに記載の捜索支援システム。
（８）前記第１カメラは、赤外線カメラである、上記（５）または（６）に記載の捜索支援システム。
（８）前記第１カメラは、赤外線カメラである、上記（５）または（６）に記載の捜索支援システム。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【0015】
（９）前記情報処理装置は、前記ドローンの飛行経路の位置データを記憶する、上記（１）～（８）のいずれか一つに記載の捜索支援システム。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【0016】
（１０）ドローンと、
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第２カメラ、前記第２カメラの移動に伴う加速度を計測する加速度センサー、および前記第２カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記捜索対象の位置情報を前記表示部に表示させる処理をコンピューターに実行させるための捜索支援プログラムであって、
前記情報処理装置であるコンピューターに、前記第１カメラによって撮影された画像のデータから前記捜索対象を検出したか否かを判断させる段階（１ａ）と、
前記捜索対象を検出した場合に、前記捜索対象の位置のデータを前記端末装置へ出力させる段階（１ｂ）と、を実行させ、
前記端末装置であるコンピューターに、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出させる段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得させる段階（２ｂ）と、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示させる段階（２ｃ）と、を実行させるための、捜索支援プログラム。
前記ドローンに搭載された第１カメラと、
前記第１カメラによって撮影された画像、前記ドローンの位置、および前記第１カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第１カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第２カメラ、前記第２カメラの移動に伴う加速度を計測する加速度センサー、および前記第２カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記捜索対象の位置情報を前記表示部に表示させる処理をコンピューターに実行させるための捜索支援プログラムであって、
前記情報処理装置であるコンピューターに、前記第１カメラによって撮影された画像のデータから前記捜索対象を検出したか否かを判断させる段階（１ａ）と、
前記捜索対象を検出した場合に、前記捜索対象の位置のデータを前記端末装置へ出力させる段階（１ｂ）と、を実行させ、
前記端末装置であるコンピューターに、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第２カメラの撮影方向を算出させる段階（２ａ）と、
前記情報処理装置から前記捜索対象の位置データを取得させる段階（２ｂ）と、
前記撮影方向および前記第２カメラの画角から、前記第２カメラの撮影範囲を特定して、前記第２カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第２カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第２カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示させる段階（２ｃ）と、を実行させるための、捜索支援プログラム。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】