特開 2024-123484 位置予測システム、位置予測方法及び位置予測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123484

(43)【公開日】2024-09-12

(54)【発明の名称】位置予測システム、位置予測方法及び位置予測プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240905BHJP

   G08G 1/01 20060101ALI20240905BHJP

   G08B 25/00 20060101ALI20240905BHJP

   G06T 7/70 20170101ALI20240905BHJP

   G06T 7/00 20170101ALI20240905BHJP

   G06V 10/70 20220101ALI20240905BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G08G1/01 A

G08B25/00 510M

G06T7/70 A

G06T7/00 350B

G06V10/70

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023030936

(22)【出願日】2023-03-01

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】高橋 和男

(72)【発明者】

【氏名】増田 玲子

【テーマコード（参考）】

5C054

5C087

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CE00

5C054DA07

5C054FC12

5C054FC13

5C054FC14

5C054HA18

5C054HA26

5C087AA03

5C087EE14

5C087GG02

5C087GG10

5C087GG14

5H181AA16

5H181BB04

5H181BB13

5H181BB20

5H181CC04

5H181DD01

5H181FF04

5H181FF10

5H181FF13

5H181FF27

5H181FF33

5H181MC19

5H181MC27

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA67

5L096FA69

5L096GA51

5L096HA11

5L096JA03

5L096JA09

(57)【要約】

【課題】捜索対象の位置を予測可能な位置予測システム、位置予測装置、位置予測方法及び位置予測プログラムを提供すること。
【解決手段】位置予測システム１００は、画像判定部１１０と、位置予測部１２０とを含む。画像判定部１１０は、既定のルートを定期的に移動する移動体装置１０ａ～１０ｃが既定のルートを移動する間に、移動体装置１０ａ～１０ｃの備える撮影装置１２が移動体装置１０ａ～１０ｃの周囲を撮影して生成された複数の撮影画像と、捜索対象の画像とを用いて、撮影画像内に捜索対象が含まれているか判定する。位置予測部１２０は、捜索対象の属性情報と、捜索対象が含まれていると判定された複数の撮影画像の撮影位置を示す位置情報と、撮影画像の生成時刻を示す時刻情報と、捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を用いて、予測したい時刻における捜索対象の位置を予測する。
【選択図】図１９

【特許請求の範囲】

【請求項1】

既定のルートを定期的に移動する１以上の移動体装置が前記既定のルートを移動する間に、前記移動体装置の備える撮影装置が前記移動体装置の周囲を撮影して生成された複数の撮影画像と、捜索対象の画像とを用いて、前記撮影画像内に前記捜索対象が含まれているか判定する画像判定部と、
前記撮影画像内に前記捜索対象が含まれていると判定された場合に、前記捜索対象の位置を予測する位置予測部とを含み、
前記位置予測部は、前記捜索対象の属性情報と、前記捜索対象が含まれていると判定された複数の撮影画像の撮影位置を示す位置情報と、前記撮影画像の生成時刻を示す時刻情報と、前記捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を用いて、前記予測したい時刻における前記捜索対象の位置を予測する、
位置予測システム。

【請求項2】

前記位置予測部は、前記捜索対象の属性情報と、前記撮影画像の生成時刻に相当する前記捜索対象の過去の時刻を示す時刻情報と、前記撮影画像の位置に相当する前記過去の時刻における前記捜索対象の位置を示す位置情報と、予測したい時刻を示す時刻情報を入力情報とし、前記予測したい時刻における前記捜索対象の位置を示す位置情報を出力情報とする学習済モデルを用いて、前記予測したい時刻における前記捜索対象の位置を予測する、請求項１に記載の位置予測システム。

【請求項3】

前記位置予測部は、前記捜索対象の属性情報と、前記撮影画像の生成時刻に相当する前記捜索対象の過去の時刻を示す時刻情報と、前記撮影画像の位置に相当する前記過去の時刻における前記捜索対象の位置を示す位置情報と、前記過去の時刻における前記捜索対象の方向を示す方向情報と、予測したい時刻を示す時刻情報を入力情報とし、前記予測したい時刻における前記捜索対象の位置を示す位置情報を出力情報とする学習済モデルを用いて、前記予測したい時刻における前記捜索対象の位置を予測する、請求項２に記載の位置予測システム。

【請求項4】

前記位置予測部は、前記捜索対象の属性情報と、前記撮影画像の生成時刻に相当する前記捜索対象の過去の複数の時刻を示す時刻情報と、前記撮影画像の位置に相当する前記過去の複数の時刻における前記捜索対象の位置を示す位置情報と、前記過去の複数の時刻における前記捜索対象の方向を示す方向情報の差分情報と、予測したい時刻を示す時刻情報を入力情報とし、前記予測したい時刻における前記捜索対象の位置を示す位置情報を出力情報とする学習済モデルを用いて、前記予測したい時刻における前記捜索対象の位置を予測する、請求項２に記載の位置予測システム。

【請求項5】

前記位置予測部は、前記捜索対象の属性情報と、前記撮影画像の生成時刻に相当する前記捜索対象の過去の時刻を示す時刻情報と、前記撮影画像の位置に相当する前記過去の時刻における前記捜索対象の位置を示す位置情報と、前記捜索対象の移動速度と、予測したい時刻を示す時刻情報を入力情報とし、前記予測したい時刻における前記捜索対象の位置を示す位置情報を出力情報とする学習済モデルを用いて、前記予測したい時刻における前記捜索対象の位置を予測する、請求項２に記載の位置予測システム。

【請求項6】

前記捜索対象は人物であり、
前記属性情報は、前記捜索対象の年齢及び性別である、請求項２～５のいずれか１項に記載の位置予測システム。

【請求項7】

前記位置予測部は、複数の前記学習済モデルの中から、前記捜索対象が出現したエリアに対応する学習済モデルを選択する、請求項２～５のいずれか１項に記載の位置予測システム。

【請求項8】

コンピュータが実行する方法であって、コンピュータが
既定のルートを定期的に移動する１以上の移動体装置が前記既定のルートを移動する間に、前記移動体装置の備える撮影装置が前記移動体装置の周囲を撮影して生成された複数の撮影画像と、捜索対象の画像とを用いて、前記撮影画像内に前記捜索対象が含まれているか判定し、
前記撮影画像内に前記捜索対象が含まれていると判定された場合に、前記捜索対象の属性情報と、前記捜索対象が含まれていると判定された複数の撮影画像の撮影位置を示す位置情報と、前記撮影画像の生成時刻を示す時刻情報と、前記捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を用いて、前記予測したい時刻における前記捜索対象の位置を予測する、
位置予測方法。

【請求項9】

コンピュータに対し、
既定のルートを定期的に移動する１以上の移動体装置が前記既定のルートを移動する間に、前記移動体装置の備える撮影装置が前記移動体装置の周囲を撮影して生成された複数の撮影画像と、捜索対象の画像とを用いて、前記撮影画像内に前記捜索対象が含まれているか判定させ、
前記撮影画像内に前記捜索対象が含まれていると判定された場合に、前記捜索対象の属性情報と、前記捜索対象が含まれていると判定された複数の撮影画像の撮影位置を示す位置情報と、前記撮影画像の生成時刻を示す時刻情報と、前記捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を用いて、前記予測したい時刻における前記捜索対象の位置を予測させる、
位置予測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、捜索対象を捜索するための位置予測システム、位置予測方法及び位置予測プログラムに関する。

【背景技術】

【0002】

従来、捜索対象を捜索するための種々の技術が提案されている。このような技術の一例として、特許文献１が開示する救援システムは、複数の移動体からの映像等の移動体情報を用いて保護対象者を特定し、当該保護対象者の位置情報を保護対象者の保護者に通知する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－９１１６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１が開示する救援システムは、映像等の移動体情報を用いて保護対象者を特定するため、移動し得る捜索対象の位置を予測することができないという課題があった。

【0005】

本開示の目的の一つは、上述した課題を鑑み、捜索対象の位置を予測可能な位置予測システム、位置予測装置、位置予測方法及び位置予測プログラムを提供することにある。

【課題を解決するための手段】

【0006】

例示的な一実施形態に係る位置予測システムは、
既定のルートを定期的に移動する１以上の移動体装置が既定のルートを移動する間に、移動体装置の備える撮影装置が移動体装置の周囲を撮影して生成された複数の撮影画像と、捜索対象の画像とを用いて、撮影画像内に捜索対象が含まれているか判定する画像判定部と、
撮影画像内に捜索対象が含まれていると判定された場合に、捜索対象の位置を予測する位置予測部とを含み、
位置予測部は、捜索対象の属性情報と、捜索対象が含まれていると判定された複数の撮影画像の撮影位置を示す位置情報と、撮影画像の生成時刻を示す時刻情報と、捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を用いて、予測したい時刻における捜索対象の位置を予測する。

【0007】

例示的な一実施形態に係るコンピュータが実行する方法は、コンピュータが
既定のルートを定期的に移動する１以上の移動体装置が既定のルートを移動する間に、移動体装置の備える撮影装置が移動体装置の周囲を撮影して生成された複数の撮影画像と、捜索対象の画像とを用いて、撮影画像内に捜索対象が含まれているか判定し、
撮影画像内に捜索対象が含まれていると判定された場合に、捜索対象の属性情報と、捜索対象が含まれていると判定された複数の撮影画像の撮影位置を示す位置情報と、撮影画像の生成時刻を示す時刻情報と、捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を用いて、予測したい時刻における捜索対象の位置を予測する。

【0008】

例示的な一実施形態に係る位置予測プログラムは、
既定のルートを定期的に移動する１以上の移動体装置が既定のルートを移動する間に、移動体装置の備える撮影装置が移動体装置の周囲を撮影して生成された複数の撮影画像と、捜索対象の画像とを用いて、撮影画像内に捜索対象が含まれているか判定させ、
撮影画像内に捜索対象が含まれていると判定された場合に、捜索対象の属性情報と、捜索対象が含まれていると判定された複数の撮影画像の撮影位置を示す位置情報と、撮影画像の生成時刻を示す時刻情報と、捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を用いて、予測したい時刻における捜索対象の位置を予測させる。

【発明の効果】

【0009】

本開示により、捜索対象の位置を予測可能な位置予測システム、位置予測装置、位置予測方法及び位置予測プログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】例示的な一実施形態に係るシステムの一例を示す図である。

【図2】例示的な一実施形態に係る捜索システムの構成を示す図である。

【図3】例示的な一実施形態に係る画像管理システムの構成を示す図である。

【図4】撮影画像の付属情報のデータテーブルの一例を示す図である。

【図5】例示的な一実施形態に係る捜索システムの構成を示す図である。

【図6】例示的な一実施形態に係るシステムで実行される処理の一例を示すシーケンス図である。

【図7】例示的な一実施形態に係るシステムで実行される処理の別の例を示すシーケンス図である。

【図8】例示的な一実施形態に係る移動体装置の制御装置が実行する処理の一例を示すフローチャートである。

【図9】例示的な一実施形態に係る移動体装置の制御装置が実行する処理の別の例を示すフローチャートである。

【図10】例示的な一実施形態に係る画像管理システムの画像管理装置が実行する処理の一例を示すフローチャートである。

【図11】例示的な一実施形態に係る画像管理システムの画像管理装置が実行する処理の一例を示すフローチャートである。

【図12】例示的な一実施形態に係る捜索システムにおいて実行される処理の一例を示すフローチャートである。

【図13】例示的な一実施形態に係る捜索システムの分析装置が実行する処理の一例を示すフローチャートである。

【図14】例示的な一実施形態に係る捜索システムの分析装置が実行する処理の一例を示すフローチャートである。

【図15】例示的な一実施形態に係る捜索システムの予測装置が実行する予測処理の一例を示すフローチャートである。

【図16】例示的な一実施形態に係る捜索システムの予測装置が実行する予測処理の他の例を示すフローチャートである。

【図17】移動体装置の移動方向を算出する方法の一例を示す図である。

【図18】方向予測モデルの学習方法の一例を示す図である。

【図19】例示的な一実施形態に係る位置予測システムの主要な構成要素を示す図である。

【図20】例示的な一実施形態に係る情報処理装置の構成を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、例示的な実施形態について説明する。図１は、例示的な一実施形態に係るシステム１の一例を示す図である。システム１は、移動体装置１０ａ～１０ｃと、画像管理システム２０と、捜索システム３０とを含む。移動体装置１０ａ～１０ｃと、画像管理システム２０を構成する各装置は、ネットワーク４０を介して、互いにデータを通信することができる。画像管理システム２０を構成する各装置と、捜索システム３０を構成する各装置は、ネットワーク５０を介して、互いにデータを通信することができる。なお、システム１は、任意の数の移動体装置を含むことができる。

【0012】

図２は、例示的な一実施形態に係る移動体装置１０ａの構成を示す図である。移動体装置１０ｂ～１０ｃも移動体装置１０ａと同一の構成を有する。移動体装置１０ａは、既定のルートを定期的に移動する装置である。移動体装置１０ａの具体例として、路線バスや電車等の車両やドローン等の飛行体が挙げられる。移動体装置１０ａは、制御装置１１と、撮影装置１２と、通信装置１３と、時刻位置取得装置１４と、記憶装置１５とを備える。

【0013】

制御装置１１は、移動体装置１０ａの周囲の撮影画像の生成及び提供を制御する装置である。制御装置１１は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の種々のプロセッサ、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路を備え得る。

【0014】

撮影装置１２は、移動体装置１０ａの周囲を撮影して撮影画像を生成する装置である。撮影装置１２が生成した撮影画像は、記憶装置１５に保存される。制御装置１１は、撮影装置１２に撮影を実行させ、撮影画像を記憶装置１５に保存することができる。また、撮影装置１２は、自立的に撮影装置１２に撮影を実行し、撮影画像を記憶装置１５に保存することもできる。

【0015】

通信装置１３は、ネットワーク４０を介して、画像管理システム２０に含まれる装置と通信する装置である。通信装置１３は、制御装置１１から受信した情報を画像管理システム２０へ送信する。また、通信装置１３は、画像管理システム２０から受信した情報を制御装置１１へ提供する。

【0016】

時刻位置取得装置１４は、時刻情報及び位置情報を受信する装置である。時刻位置取得装置１４は、ＧＮＳＳ（global navigation satellite system）等の衛星測位システムから時刻情報及び位置情報を受信することができる。また、時刻位置取得装置１４は、移動体装置１０ａに設置されたナビゲーション装置等の位置情報及び時刻情報を取得する装置から時刻情報及び位置情報を受信してもよい。制御装置１１は、時刻位置取得装置１４が受信した時刻情報及び位置情報を撮影画像に付加して保存することができる。撮影画像に付加された時刻情報及び位置情報は、当該撮影画像の生成時刻及び撮影位置を表す。撮影画像に付加された時刻情報及び位置情報は、撮影画像の付属情報に相当する。

【0017】

記憶装置１５は、制御装置１１が実行するプログラム、制御装置１１が処理する情報、撮影画像及び当該撮影画像の付属情報等のデータが保存される。

【0018】

図３は、例示的な一実施形態に係る画像管理システム２０の構成を示す図である。画像管理システム２０は、画像管理装置２１と、移動体管理装置２２と、データサーバ２３とを含む。画像管理装置２１、移動体管理装置２２及びデータサーバ２３は、ネットワーク２４を介して、互いにデータを通信することができる。

【0019】

画像管理装置２１は、移動体装置１０ａ～１０ｃから提供された撮影画像を管理する装置である。画像管理装置２１の具体例として、サーバ等の情報処理装置が挙げられる。図２０は、例示的な一実施形態に係る情報処理装置２００の構成を示す図である。情報処理装置２００は、プロセッサ２１０と、通信インタフェース（Ｉ／Ｆ）２１１と、記憶装置２１２とを備える。プロセッサ２１０は、情報処理装置２００の全体制御を行う演算装置である。プロセッサ２１０の具体例としては、ＣＰＵやＭＰＵ等のプロセッサが挙げられる。プロセッサ２１０は、記憶装置２１２からプログラムを読み出して実行することにより、当該プログラムによって規定される方法を実行する。なお、プロセッサ２１０が実行するプログラムを、ＦＰＧＡやＡＳＩＣ等の集積回路が実行してもよい。プロセッサ、ＦＰＧＡ及びＡＳＩＣ等の集積回路及び情報処理装置は、コンピュータに相当する。通信インタフェース２１１は、情報処理装置２００と他の装置との間でデータを通信する。記憶装置２１２は、プロセッサ２１０が実行するプログラム等、プロセッサ２１０が処理する種々のデータが保存される。

【0020】

画像管理装置２１は、撮影画像及び当該撮影画像の付属情報をデータサーバ２３に保存する。また、画像管理装置２１は、データサーバ２３に保存されている撮影画像及び当該撮影画像の付属情報を、捜索システム３０に提供する。

【0021】

移動体管理装置２２は、移動体装置１０ａ～１０ｃによる撮影画像の生成及び提供を管理する装置である。移動体管理装置２２の具体例として、サーバ等の情報処理装置が挙げられる。当該情報処理装置は、図２０に示す構成を有する。

【0022】

データサーバ２３は、撮影画像及び当該撮影画像の付属情報を保存する装置である。データサーバ２３は、撮影画像と当該撮影画像の付属情報とを関連付けてデータテーブルに登録する。図４は、撮影画像の付属情報のデータテーブルの一例を示す図である。撮影画像の付属情報には、路線運行番号、日付、開始時刻、停止時刻、位置情報、撮影時刻、撮影画像識別情報が含まれる。

【0023】

路線運行番号は、移動体装置１０ａ～１０ｃによる運行の識別情報である。なお、路線運行番号として、移動体装置１０ａ～１０ｃ自体の識別情報を採用してもよい。日付は、撮影画像が生成された日付である。開始時刻は、移動体装置１０ａ～１０ｃの運行の開始時刻である。停止時刻は、移動体装置１０ａ～１０ｃの運行の終了時刻である。位置情報は、撮影画像が生成されたときの移動体装置１０ａ～１０ｃの位置を示す情報である。撮影時刻は、撮影画像が生成された時刻である。撮影画像識別情報は、路線運行番号によって識別される運行において生成された複数の撮影画像の識別情報である。なお、路線運行番号が移動体装置１０ａ～１０ｃ自体の識別情報である場合、撮影画像識別情報は、路線運行番号によって識別される移動体装置１０ａ～１０ｃにおいて生成された複数の撮影画像の識別情報に相当する。

【0024】

図５は、例示的な一実施形態に係る捜索システム３０の構成を示す図である。捜索システム３０は、画像収集装置３１と、捜索装置３２と、分析装置３３と、予測装置３４とを含む。画像収集装置３１、捜索装置３２、分析装置３３及び予測装置３４は、ネットワーク３５を介して、互いにデータを通信することができる。なお、他の実施形態では、画像収集装置３１、捜索装置３２、分析装置３３及び予測装置３４を１つの装置として構成することができる。

【0025】

画像収集装置３１は、画像管理システム２０から撮影画像を収集する装置である。画像収集装置３１の具体例として、サーバ等の情報処理装置が挙げられる。当該情報処理装置は、図２０に示す構成を有する。

【0026】

捜索装置３２は、捜索対象の捜索を依頼した依頼者が提供した捜索対象の画像を取得すると共に、画像管理システム２０が収集した撮影画像の中から捜索対象の捜索条件に合致する画像を取得するための装置である。捜索装置３２の具体例として、サーバ等の情報処理装置が挙げられる。当該情報処理装置は、図２０に示す構成を有する。

【0027】

捜索対象には、人物、動物及び移動可能な物体が含まれる。捜索対象の画像（以下、「捜索対象画像」とする。）は、捜索対象を撮影した画像である。捜索対象が人物である場合、捜索対象画像は、例えば、捜索対象の人物の顔の撮影画像、当該人物の上半身の撮影画像、及び全身の撮影画像等である。捜索対象の捜索条件は、捜索対象が存在する可能性のあるエリアの識別情報、捜索対象が不明となった時刻以降の時間である捜索対象時間等が含まれる。

【0028】

分析装置３３は、捜索装置３２が取得した撮影画像を分析して、撮影画像に捜索対象が含まれるか判定する装置である。分析装置３３の具体例として、サーバ等の情報処理装置が挙げられる。当該情報処理装置は、図２０に示す構成を有する。

【0029】

予測装置３４は、捜索対象の位置を予測する装置である。予測装置３４の具体例として、サーバ等の情報処理装置が挙げられる。当該情報処理装置は、図２０に示す構成を有する。

【0030】

図６は、例示的な一実施形態に係るシステム１で実行される処理の一例を示すシーケンス図である。図６に示す処理は、捜索システム３０が、画像管理システム２０を介して移動体装置１０ａから撮影画像を取得する場合の処理の一例である。

【0031】

ステップＳ１では、捜索システム３０の捜索装置３２が、捜索対象の捜索を依頼した依頼者が提供した捜索対象画像を受け付ける。ステップＳ２では、捜索装置３２は、捜索対象の捜索条件の指定を受け付ける。

【0032】

ステップＳ３では、捜索装置３２は、捜索対象の捜索条件を示す情報を画像収集装置３１に送信し、捜索対象の捜索条件に合致する撮影画像を画像収集装置３１から取得する。ここで、画像収集装置３１は、画像管理システム２０から受信した撮影画像が保存されている画像収集装置３１の記憶装置から、捜索対象の捜索条件に合致する撮影画像を取得して、捜索装置３２に送信する。

【0033】

ステップＳ４では、画像収集装置３１は、撮影画像の送信要求を、画像管理システム２０の画像管理装置２１に送信する。画像管理装置２１は、画像収集装置３１から撮影画像の送信要求を受信すると、ステップＳ５で撮影画像の送信要求を移動体装置１０ａに送信する。

【0034】

移動体装置１０ａは、画像管理装置２１から撮影画像の送信要求を受信すると、ステップＳ６で移動体装置１０ａの記憶装置１５に保存されている撮影画像及び付属情報を取得して画像管理装置２１に送信する。

【0035】

画像管理装置２１は、移動体装置１０ａから撮影画像及び付属情報を受信すると、ステップＳ７で当該撮影画像及び付属情報をデータサーバ２３に保存する。ステップＳ８では、画像管理装置２１は、移動体装置１０ａから受信した撮影画像及び付属情報を画像収集装置３１に送信する。

【0036】

ステップＳ９では、捜索装置３２は、画像収集装置３１が受信した撮影画像の中から、捜索対象の捜索条件に合致する撮影画像を取得する。

【0037】

図７は、例示的な一実施形態に係るシステム１で実行される処理の別の例を示すシーケンス図である。図７に示す処理は、捜索システム３０が、画像管理システム２０から撮影画像を取得する場合の処理の一例である。

【0038】

ステップＳ１では、捜索システム３０の捜索装置３２が、捜索対象の捜索を依頼した依頼者が提供した捜索対象画像を受け付ける。ステップＳ２では、捜索装置３２は、捜索対象の捜索条件の指定を受け付ける。ステップＳ３では、捜索装置３２は、捜索対象の捜索条件を示す情報を画像収集装置３１に送信し、捜索対象の捜索条件に合致する撮影画像を画像収集装置３１から取得する。ステップＳ４では、画像収集装置３１は、撮影画像の送信要求を、画像管理システム２０の画像管理装置２１に送信する。

【0039】

画像管理装置２１は、画像収集装置３１から撮影画像の送信要求を受信すると、ステップＳ１０でデータサーバ２３に保存されている撮影画像及び付属情報を取得する。ステップＳ１１では、画像管理装置２１は、取得した撮影画像及び付属情報を画像収集装置３１に送信する。ステップＳ１２では、捜索装置３２は、画像収集装置３１が受信した撮影画像の中から、捜索対象の捜索条件に合致する撮影画像を取得する。

【0040】

図８は、例示的な一実施形態に係る移動体装置１０ａの制御装置１１が実行する処理の一例を示すフローチャートである。図８の処理は、移動体装置１０ａの運行開始時に実行される。

【0041】

ステップＳ２０では、制御装置１１が、撮影画像の付属情報を記憶装置１５に保存する。撮影画像の付属情報には、路線運行番号、日付、開始時刻、停止時刻、位置情報、撮影時刻、撮影画像識別情報が含まれる。このうち、ステップＳ２０で制御装置１１は、路線運行番号、日付、開始時刻及び撮影画像識別情報を記憶装置１５に保存する。

【0042】

ステップＳ２１では、制御装置１１は、撮影装置１２による撮影を開始する。ステップＳ２２では、制御装置１１は、時刻位置取得装置１４による先の位置情報及び時刻情報の取得から所定の時間が経過したか否か判定する。所定の時間は、時刻位置取得装置１４による位置情報及び時刻情報の取得のサイクルを規定する。所定の時間は、例えば、分単位等の任意の時間とすることができる。なお、運行開始時では、制御装置１１は、時刻位置取得装置１４による先の位置情報及び時刻情報の取得から所定の時間が経過したものと判定する。

【0043】

先の位置情報及び時刻情報の取得から所定の時間が経過していないと判定された場合（ＮＯ）、ステップＳ２０に処理が戻る。一方、先の位置情報及び時刻情報の取得から所定の時間が経過したと判定された場合（ＹＥＳ）、ステップＳ２３に処理が分岐する。

【0044】

ステップＳ２３では、制御装置１１は、時刻位置取得装置１４から位置情報を取得する。ステップＳ２４では、制御装置１１は、時刻位置取得装置１４から時刻情報を取得する。ステップＳ２５では、制御装置１１は、撮影装置１２が生成した撮影画像に対し、時刻位置取得装置１４から取得した位置情報及び時刻情報を付加して、記憶装置１５に保存する。

【0045】

ステップＳ２６では、制御装置１１は、収集停止要求を受信したか否か判定する。収集停止要求は、例えば、移動体管理装置２２が発行することができる。収集停止要求を受信した場合（ＹＥＳ）、ステップＳ２８に処理が分岐する。一方、収集停止要求を受信していない場合（ＮＯ）、ステップＳ２７に処理が分岐する。

【0046】

ステップＳ２７では、制御装置１１は、移動体装置１０ａの運行が終了したか否か判定する。移動体装置１０ａの運行が終了していない場合（ＮＯ）、ステップＳ２０に処理が戻る。一方、移動体装置１０ａの運行が終了した場合（ＹＥＳ）、ステップＳ２８に処理が分岐する。

【0047】

ステップＳ２８では、制御装置１１は、記憶装置１５に保存されている撮影画像及び当該撮影画像の付属情報を、画像管理システム２０に送信し、図８の処理が終了する。制御装置１１が画像管理システム２０に送信する撮影画像の付属情報には、路線運行番号、日付、開始時刻、停止時刻、位置情報、撮影時刻、撮影画像識別情報が含まれる。

【0048】

図９は、例示的な一実施形態に係る移動体装置１０ａの制御装置１１が実行する処理の別の例を示すフローチャートである。

【0049】

ステップＳ３０では、制御装置１１が、画像管理システム２０から撮影画像の送信要求である画像要求を受信したか否か判定する。画像要求を受信していない場合（ＮＯ）、ステップＳ３０の処理が再び実行される。一方、画像要求を受信した場合（ＹＥＳ）、ステップＳ３１で制御装置１１は、記憶装置１５から撮影画像及び当該撮影画像の付属情報を取得する。ステップＳ３２では、制御装置１１は、取得した撮影画像及び付属情報を、画像管理システム２０に送信し、図９の処理が終了する。

【0050】

図１０は、例示的な一実施形態に係る画像管理システム２０の画像管理装置２１が実行する処理の一例を示すフローチャートである。図１０に示す処理は、画像管理装置２１の備えたプロセッサが実行することができる。

【0051】

ステップＳ４０では、画像管理装置２１が、移動体装置１０ａから撮影画像及び付属情報を受信したか否か判定する。撮影画像及び付属情報を受信していない場合（ＮＯ）、ステップＳ４０の処理が再び実行される。一方、撮影画像及び付属情報を受信した場合（ＹＥＳ）、ステップＳ４１で画像管理装置２１は、撮影画像及び付属情報をデータサーバ２３に保存し、図１０の処理が終了する。

【0052】

図１１は、例示的な一実施形態に係る画像管理システム２０の画像管理装置２１が実行する処理の一例を示すフローチャートである。図１１に示す処理は、画像管理装置２１の備えたプロセッサが実行することができる。

【0053】

ステップＳ５０では、画像管理装置２１が、捜索システム３０の画像収集装置３１から画像要求を受信したか否か判定する。画像管理装置２１が画像要求を受信していない場合（ＮＯ）、ステップＳ５０の処理が再び実行される。一方、画像管理装置２１が画像要求を受信した場合（ＹＥＳ）、ステップＳ５１で画像管理装置２１が画像要求の種類を判定する。

【0054】

画像要求の種類が、データサーバ２３に保存されている撮影画像の送信要求である場合、ステップＳ５２で画像管理装置２１は、データサーバ２３から撮影画像及び当該撮影画像の付属情報を取得する。ステップＳ５３では、画像管理装置２１は、取得した撮影画像及び当該撮影画像の付属情報を、捜索システム３０の画像収集装置３１に送信し、図１１の処理が終了する。

【0055】

画像要求の種類が、移動体装置１０ａ～１０ｃからの新規の撮影画像の送信要求である場合、ステップＳ５４で画像管理装置２１は、撮影画像の送信要求を１以上の移動体装置１０ａ～１０ｃに送信する。ステップＳ５５では、画像管理装置２１は、移動体装置１０ａ～１０ｃから撮影画像及び当該撮影画像の付属情報を受信したか否か判定する。移動体装置１０ａ～１０ｃから撮影画像及び当該撮影画像の付属情報を受信していない場合（ＮＯ）、ステップＳ５５の処理が再び実行される。一方、移動体装置１０ａ～１０ｃから撮影画像及び当該撮影画像の付属情報を受信した場合（ＹＥＳ）、ステップＳ５６で画像管理装置２１は、受信した撮影画像及び付属情報を、データサーバ２３に保存する。

【0056】

ステップＳ５７では、画像管理装置２１は、撮影画像の送信要求を送信した全ての移動体装置１０ａ～１０ｃから、撮影画像及び付属情報を受信したか否か判定する。撮影画像の送信要求を送信した全ての移動体装置１０ａ～１０ｃから撮影画像及び付属情報を受信していないと判定した場合（ＮＯ）、ステップＳ５５に処理が戻る。一方、撮影画像の送信要求を送信した全ての移動体装置１０ａ～１０ｃから撮影画像及び付属情報を受信したと判定した場合（ＹＥＳ）、ステップＳ５８で画像管理装置２１は、移動体装置１０ａ～１０ｃから受信した撮影画像及び付属情報を、捜索システム３０の画像収集装置３１に送信し、図１１の処理が終了する。

【0057】

図１２は、例示的な一実施形態に係る捜索システム３０において実行される処理の一例を示すフローチャートである。図１２に示す処理は、捜索装置３２の備えたプロセッサが実行することができる。

【0058】

ステップＳ６０では、捜索装置３２が、移動体装置１０ａ～１０ｃが生成した撮影画像及び当該撮影画像の付属情報を、画像収集装置３１から取得する。ステップＳ６１では、捜索装置３２は、捜索対象画像と、取得した撮影画像と、当該撮影画像の識別情報を分析装置３３に提供して、分析装置３３に対し、これらの画像に対する分析処理を実行させる。分析処理については、図１３及び図１４を参照して後述する。

【0059】

ステップＳ６２では、捜索装置３２は、分析装置３３による分析処理の結果を出力する。捜索装置３２は、捜索装置３２と通信可能な表示装置に分析処理を出力して表示させることができる。また、捜索装置３２は、捜索装置３２と通信可能な通信端末装置に分析処理の結果を送信して表示させることもできる。

【0060】

ステップＳ６３では、捜索装置３２は、撮影画像に対する分析処理の結果に基づき、捜索対象が発見されたか否か判定する。捜索対象が発見されていない場合（ＮＯ）、図１２の処理が終了する。一方、捜索対象が発見された場合（ＹＥＳ）、ステップＳ６４では、捜索装置３２は、予測装置３４に対し、捜索対象が発見された撮影画像、当該撮影画像の付属情報、捜索対象の属性情報、及び捜索対象が出現する時刻に相当する予測したい時刻を示す情報、及び捜索対象が存在し得るエリアを示す識別情報を送信し、捜索対象の位置の予測処理を実行させる。予測装置３４に送信される撮影画像の付属情報には、当該撮影画像の位置情報及び撮影時刻が含まれる。捜索装置３２は、依頼者から提供された捜索対象の属性情報を受け付けることができる。捜索対象の属性情報には、捜索対象の人物の性別を示す情報及び年齢を示す情報が含まれる。予測したい時刻は、ユーザが指定可能な任意の時刻である。エリアを示す識別情報は、依頼者から提供されたエリアを示す識別情報である。捜索対象の位置の予測処理については、図１５を参照して後述する。

【0061】

ステップＳ６５では、捜索装置３２は、予測装置３４による捜索対象の位置の予測処理の結果を出力し、図１２の処理が終了する。捜索装置３２は、捜索装置３２と通信可能な表示装置に予測処理の結果を出力して表示させることができる。また、捜索装置３２は、捜索装置３２と通信可能な通信端末装置に予測処理の結果を送信して表示させることもできる。

【0062】

図１３及び図１４は、例示的な一実施形態に係る捜索システム３０の分析装置３３が実行する処理の一例を示すフローチャートである。図１３及び図１４に示す処理は、分析装置３３の備えたプロセッサが実行することができる。

【0063】

ステップＳ７０では、分析装置３３が、捜索装置３２から提供された捜索対象画像の特徴量を算出する。具体的には、捜索対象が人物である場合、分析装置３３は、捜索対象の人物の顔の特徴量を算出することができる。捜索対象画像の特徴量は、捜索対象の人物の顔の特徴を表す数値である。

【0064】

ステップＳ７１では、分析装置３３は、捜索装置３２から提供された撮影画像の中から１つの撮影画像を選択する。ステップＳ７２では、分析装置３３は、捜索対象画像を用いて、選択した撮影画像に捜索対象が含まれるか否か判定する。具体的には、分析装置３３は、パターンマッチングを利用して、選択した撮影画像に捜索対象が含まれるか否か判定できる。例えば、パターンマッチングの１つであるテンプレートマッチングを利用する場合、分析装置３３は、捜索対象画像をテンプレート画像とし、ステップＳ７１で選択した撮影画像を構成する複数の画像領域とテンプレート画像とを照合して、各画像領域とテンプレート画像との類似度スコアを算出する。そして、分析装置３３は、算出した類似度スコアが既定の閾値を超える場合、選択した撮影画像に捜索対象が含まれると判定する。一方、分析装置３３は、算出した類似度スコアが既定の閾値以下である場合、選択した撮影画像に捜索対象が含まれないと判定する。既定の閾値は、照合された画像の類似度を規定する値であり、検出精度に応じて任意の値を設定することができる。なお、分析装置３３は、ＰＧＧＡＮ（Progressive Growing Generative Adversarial Networks）等の高解像度化技術を用いて、選択した撮影画像を高解像度化し、高解像度化された撮影画像に捜索対象が含まれるか否か判定してもよい。

【0065】

選択した撮影画像に捜索対象が含まれないと判定された場合（ＮＯ）、ステップＳ７４に処理が分岐する。一方、選択した撮影画像に捜索対象が含まれると判定された場合（ＹＥＳ）、ステップＳ７３で分析装置３３は、選択した撮影画像のうち捜索対象を含む画像領域で構成された分析対象画像を生成する。換言すると、分析対象画像は、捜索対象画像との類似度が最も高い画像領域で構成された画像である。

【0066】

ステップＳ７４では、分析装置３３は、捜索装置３２から提供された撮影画像のうち、選択されていない撮影画像が有るか否か判定する。選択されていない撮影画像が有ると判定された場合（ＹＥＳ）、ステップＳ７１に処理が戻る。一方、選択されていない撮影画像が無いと判定された場合（ＮＯ）、ステップＳ７５に処理が分岐する。

【0067】

ステップＳ７５では、分析装置３３は、生成された分析対象画像の中から１つの分析対象画像を選択する。ステップＳ７６では、分析装置３３は、選択された分析対象画像に加工処理を施す。ステップＳ７７では、分析装置３３は、捜索対象画像と、加工処理が施された分析対象画像とを用いて、捜索対象画像に含まれる捜索対象と、加工処理が施された分析対象画像に含まれる捜索対象との類似度を示す類似度スコアを算出する。例えば、分析装置３３は、ディープラーニング等によって機械学習されたモデルを用いて、類似度スコアを算出できる。このモデルは、分析装置３３の備えたプロセッサが実行可能なプログラムであり、畳み込みニューラルネットワーク等を構築する。分析装置３３は、捜索対象画像と、加工処理が施された分析対象画像とを畳み込みニューラルネットワークに入力し、類似度スコアを算出できる。この畳み込みニューラルネットワークは、同一の人物の顔が撮影された２つの撮影画像を入力情報とし、当該人物が同一人物である旨を示す情報を出力情報とする訓練データを用いて、学習させることができる。また、この畳み込みニューラルネットワークは、異なる人物の顔が撮影された２つの撮影画像を入力情報とし、当該人物が異なる人物である旨を示す情報を出力情報とする訓練データを用いて、学習させることができる。

【0068】

ステップＳ７８では、分析装置３３は、算出された類似度スコアが既定の近似閾値を超えるか否か判定する。近似閾値は、捜索対象画像に含まれる捜索対象と、加工処理が施された分析対象画像に含まれる捜索対象との類似度を示す値である。算出された類似度スコアが既定の近似閾値を超える場合（ＹＥＳ）、ステップＳ７９で分析装置３３は、捜索対象が発見された旨の分析結果と、捜索対象が発見された分析対象画像に関連する撮影画像の識別情報を捜索装置３２に送信する。捜索対象が発見された分析対象画像に関連する撮影画像とは、当該分析対象画像の元になった撮影画像である。ステップＳ８０では、分析装置３３は、選択されていない分析対象画像が有るか否か判定する。選択されていない分析対象画像が有る場合（ＹＥＳ）、ステップＳ７５に処理が戻る。一方、選択されていない分析対象画像が無い場合（ＮＯ）、図１４の処理が終了する。

【0069】

一方、分析対象画像の特徴量が既定の近似閾値以下である場合（ＮＯ）、ステップＳ８１で分析装置３３は、選択されていない分析対象画像が有るか否か判定する。選択されていない分析対象画像が有る場合（ＹＥＳ）、ステップＳ７５に処理が戻る。一方、選択されていない分析対象画像が無い場合（ＮＯ）、ステップＳ８２で分析装置３３は、捜索対象が発見されなかった旨の分析結果を出力し、図１４の処理が終了する。

【0070】

図１５は、例示的な一実施形態に係る捜索システム３０の予測装置３４が実行する予測処理の一例を示すフローチャートである。予測処理は、予測装置３４の備えたプロセッサが実行することができる。予測装置３４は、予測処理の実行に先立ち、捜索装置３２から提供された捜索対象が発見された撮影画像、当該撮影画像の付属情報、捜索対象の属性情報、捜索対象が出現する時刻に相当する予測したい時刻、及び捜索対象が存在し得るエリアを示す識別情報を示す情報を、予測装置３４の記憶装置に保存する。以下、予測装置３４が使用する捜索対象が発見された撮影画像を予測対象画像と称する。予測装置３４は、捜索装置３２から提供された全ての予測対象画像について、図１５に示す予測処理を実行する。

【0071】

ステップＳ９０では、予測装置３４のプロセッサは、予測装置３４の記憶装置から捜索対象の属性情報を取得する。ステップＳ９１では、予測装置３４のプロセッサは、記憶装置から予測対象画像の撮影時刻を示す時刻情報及び予測対象画像の撮影位置を示す位置情報を取得する。予測対象画像の撮影時刻は、捜索対象が出現した時刻に相当する。予測対象画像の撮影位置は、捜索対象が出現した位置に相当する。ステップＳ９２では、予測装置３４のプロセッサは、記憶装置から、捜索対象が出現する時刻に相当する予測したい時刻を示す情報を取得する。

【0072】

ステップＳ９３では、予測装置３４のプロセッサは、記憶装置から捜索対象が存在し得るエリアの識別情報を取得する。ステップＳ９４では、予測装置３４のプロセッサは、記憶装置に保存されたエリア毎に用意された複数の学習済みの位置予測モデルの中から、取得したエリアの識別情報が示すエリアに対応する学習済みの位置予測モデルを選択する。

【0073】

位置予測モデルは、ディープラーニング等の機械学習によって学習される予測モデルであり、予測装置３４のプロセッサが実行可能なプログラムである。位置予測モデルは、例えば、過去の捜索対象に関する情報を用いて学習させることができる。より詳細には、捜索対象が人物である場合、当該人物が存在し得るエリア毎の学習済みモデルを用意する。位置予測モデルは、捜索対象の人物の性別を示す情報と、捜索対象の人物の年齢を示す情報と、捜索対象の人物が出現した複数の第１の時刻を示す複数の第１の時刻情報と、当該第１の時刻情報のそれぞれが示す時刻における捜索対象の人物の第１の位置を示す第１の位置情報と、第１の時刻よりも後の捜索対象の人物が出現した第２の時刻を示す第２の時刻情報と、当該第２の時刻情報が示す時刻における捜索対象の人物の第２の位置を示す第２の位置情報を用いて、学習させることができる。捜索対象の人物の性別を示す情報及び捜索対象の人物の年齢を示す情報は、捜索対象の人物の属性情報に相当する。第１の時刻には、捜索対象の人物が行方不明になった時刻が含まれる。また、第１の位置には、捜索対象の人物が行方不明になった位置が含まれる。第２の時刻は、上述した予測したい時刻に対応する。

【0074】

例えば、捜索対象の人物が１１時１０分にＡ地点におり、１１時１１分にＢ地点におり、１１時１２分にＣ地点に居た場合について説明する。この場合、捜索対象の人物の性別を示す情報と、捜索対象の人物の年齢を示す情報と、第１の時刻情報及び位置情報に相当する１１時１０分を示す時刻情報及びＡ地点を示す位置情報を組み合わせた情報と、第１の時刻情報及び位置情報に相当する１１時１１分を示す時刻情報及びＢ地点を示す位置情報を組み合わせた情報と、第２の時刻情報に相当する１１時１３分を示す時刻情報とを入力情報とし、第２の位置情報に相当するＣ地点を示す位置情報を出力情報とする訓練データを用いて、位置予測モデルを学習させることができる。

【0075】

ステップＳ９５では、予測装置３４のプロセッサは、選択された学習済みの位置予測モデルに対し、捜索対象の属性情報と、捜索対象が出現した位置を示す位置情報と、捜索対象が出現した時刻を示す時刻情報と、捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を入力することにより、予測したい時刻における捜索対象の位置を示す予測位置情報を生成する。より詳細には、捜索対象が人物である場合、予測装置３４のプロセッサは、選択された学習済みの位置予測モデルに対し、捜索対象の人物の性別を示す情報と、捜索対象の人物の年齢を示す情報と、捜索対象の人物が実際に出現した時刻を示す時刻情報及び当該時刻情報に対応する位置情報と、捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を、当該学習済みの位置予測モデルに入力することにより、当該予測したい時刻において捜索対象の人物の出現が予測される位置を示す予測位置情報を出力させる。

【0076】

上述した位置予測モデルは、追加の入力情報として、捜索対象の人物の移動速度を示す速度情報を用いて学習させることができる。この場合、位置予測モデルは、捜索対象の人物の性別を示す情報と、捜索対象の人物の年齢を示す情報と、捜索対象の人物の性別を示す情報と、捜索対象の人物が出現した複数の第１の時刻を示す複数の第１の時刻情報と、当該第１の時刻情報のそれぞれが示す時刻における捜索対象の人物の第１の位置を示す第１の位置情報と、第１の時刻よりも後の捜索対象の人物が出現した第２の時刻を示す第２の時刻情報と、当該第２の時刻情報が示す時刻における捜索対象の人物の第２の位置を示す第２の位置情報を用いて、学習させることができる。

【0077】

また、位置予測モデルは、追加の入力情報として、捜索対象の人物の向きを示す方向情報を用いて学習させることができる。捜索対象の人物の向きは、例えば、北等の特定の方位（０°）を基準とし、０～３５９°の数値を用いて表現できる。例えば、捜索対象の人物が１１時１０分にＡ地点で方向情報「０°」（例えば、北）が示す方向を向いており、１１時１１分にＢ地点で方向情報「４５°」（例えば、北東）が示す方向を向いており、１１時１２分にＣ地点に居た場合について説明する。この場合、捜索対象の人物の性別を示す情報と、捜索対象の人物の年齢を示す情報と、１１時１０分を示す時刻情報、Ａ地点を示す位置情報及び方向情報「０°」を組み合わせた情報と、１１時１１分を示す時刻情報、Ｂ地点を示す位置情報及び方向情報「４５°」を組み合わせた情報と、１１時１３分を示す時刻情報とを入力情報とし、Ｃ地点を示す位置情報を出力情報とする訓練データを用いて、位置予測モデルを学習させることができる。予測装置３４は、この学習済みの位置予測モデルに対し、捜索対象の人物の性別を示す情報と、捜索対象の人物の年齢を示す情報と、捜索対象の人物が出現した時刻を示す時刻情報、当該時刻情報が示す時刻における当該人物の位置情報及び方向情報と、予測したい時刻を示す時刻情報とを、当該学習済みの位置予測モデルに入力することにより、予測したい時刻において捜索対象の人物の出現が予測される位置を示す予測位置を出力させることができる。

【0078】

さらに、位置予測モデルは、追加の入力情報として、捜索対象の人物の向きを示す複数の方向情報の差分情報を用いて学習させることができる。例えば、捜索対象の人物が１１時１０分にＡ地点で方向情報「０°」（例えば、北）が示す方向を向いており、１１時１１分にＢ地点で方向情報「４５°」（例えば、北東）が示す方向を向いており、１１時１２分にＣ地点に居た場合を想定する。この場合、捜索対象の人物の性別を示す情報と、捜索対象の人物の年齢を示す情報と、１１時１０分を示す時刻情報及びＡ地点を示す位置情報を組み合わせた情報と、１１時１１分を示す時刻情報及びＢ地点を示す位置情報と、Ａ地点における方向情報「０°」及びＢ地点における方向情報「４５°」の差分情報と、Ｃ地点における１１時１３分を示す時刻情報を、入力情報とし、Ｃ地点を示す位置情報を出力情報とする訓練データを用いて、位置予測モデルを学習させることができる。Ａ地点における方向情報「０°」及びＢ地点における方向情報「４５°」の差分情報は、Ｂ地点の方向情報からＡ地点の方向情報を減算した「４５°」である。予測装置３４は、この学習済みの位置予測モデルに対し、捜索対象の人物の性別を示す情報と、捜索対象の人物の年齢を示す情報と、捜索対象の人物が出現した先行の時刻を示す時刻情報及び当該時刻情報が示す時刻における当該人物の位置を示す位置情報を組み合わせた情報と、当該人物が出現した後続の時刻を示す時刻情報及び当該時刻情報における当該人物の位置を示す位置情報を組み合わせた情報と、先行の時刻における当該人物の方向を示す方向情報と後続の時刻における当該人物の方向を示す方向情報との差分情報と、予測したい時刻を示す時刻情報を、学習済みの位置予測モデルに入力することにより、予測した時刻において捜索対象の人物の出現が予測される位置を示す予測位置を出力させることができる。

【0079】

図１６は、例示的な一実施形態に係る捜索システム３０の予測装置３４が実行する予測処理の他の例を示すフローチャートである。図１６に示す処理は、予測装置３４の備えた予測装置３４のプロセッサが実行することができる。ステップＳ１００～ステップＳ１０２の処理は、図１５に示すステップＳ９０～ステップＳ９２の処理と同じである。

【0080】

ステップＳ１００では、予測装置３４のプロセッサは、記憶装置から捜索対象の属性情報を取得する。ステップＳ１０１では、予測装置３４のプロセッサは、記憶装置から予測対象画像の撮影時刻を示す時刻情報及び予測対象画像の撮影位置を示す位置情報を取得する。ステップＳ１０２では、予測装置３４のプロセッサは、記憶装置から、捜索対象が出現する時刻に相当する予測したい時刻を示す情報を取得する。

【0081】

ステップＳ１０３では、予測装置３４のプロセッサは、予測位置情報の生成に使用する追加の入力情報を生成する。この追加の入力情報には、捜索対象の人物の移動速度、特定の方位を基準とする捜索対象の人物の向きを示す方向情報、及び、特定の方位を基準とする捜索対象の人物の向きを示す複数の方向情報の差分情報が含まれる。予測装置３４のプロセッサは、捜索対象の人物が出現した複数の時刻と、当該複数の時刻における当該人物の複数の位置の距離に基づいて、捜索対象の人物の移動速度を算出できる。

【0082】

捜索対象の人物の向きを示す方向情報の生成について説明する。予測装置３４のプロセッサは、予測対象画像と、予測対象画像における移動体装置１０ａ～１０ｃの移動方向を示す情報に基づき、特定の方位を基準とする捜索対象の人物の向きを示す方向情報を生成できる。より詳細には、予測装置３４のプロセッサは、当該予測対象画像を撮影したときの、特定の方位を基準とする移動体装置１０ａ～１０ｃの移動方向を算出する。特定の方位を基準とする移動体装置１０ａ～１０ｃの移動方向は、当該予測対象画像を撮影したときの移動体装置１０ａ～１０ｃの位置情報と、当該予測対象画像の直前に生成された撮影画像の位置情報と、特定の方位を基準とする角度とに基づき、算出することができる。例えば、図１７に示すように、移動体装置１０ａ～１０ｃが位置Ａから位置Ｂに移動した場合、予測装置３４は、北を基準とする角度を算出することにより、移動体装置１０ａ～１０ｃの移動方向を算出する。例えば、図１７に示すように、算出した角度が４０°であった場合、北を基準とする移動体装置１０ａ～１０ｃの移動方向は、４０°である。

【0083】

次いで、予測装置３４のプロセッサは、予測対象画像と、撮影画像における移動体装置１０ａ～１０ｃの移動方向（以下、「基準移動方向」とする。）を示す情報を用いて、基準移動方向を基準とする捜索対象の人物の方向を算出する。基準移動方向を示す情報は、捜索装置３２が予測装置３４に提供することができる。基準移動方向を示す情報は、撮影画像の識別情報と関連付けて、撮影画像の付属情報のデータテーブルに登録することができる。捜索装置３２は、画像管理装置２１から基準移動方向を示す情報を取得することができる。

【0084】

予測装置３４のプロセッサは、予測対象画像と、基準移動方向を示す情報を入力情報とし、基準移動方向を基準とする捜索対象の人物の方向を示すオフセット角を出力情報とする学習済み予測モデル（以下、「方向予測モデル」とする。）を用いて、基準移動方向を基準とする捜索対象の人物の方向を示すオフセット角を算出する。方向予測モデルは、予測装置３４のプロセッサが実行可能なプログラムである。方向予測モデルは、基準移動方向と、様々な方向を向いた人物の撮影画像と、基準移動方向を基準とする当該人物の向きを示すオフセット角を用いて、ディープラーニング等の機械学習によって学習させることができる。

【0085】

ここで、図１８を参照して、様々な方向を向いた人物の顔の撮影画像を複数用いて、方向予測モデルの学習方法について説明する。方向予測モデルの学習方法では、様々な人物の顔の撮影画像を用いることが好ましい。図１８に示す例では、基準移動方向が、撮影画像における左方向である。これは、例えば、撮影装置１２が移動体装置１０ａ～１０ｃの右側を撮影する場合が想定される。移動体装置１０ａ～１０ｃの右側とは、移動体装置１０ａ～１０ｃの前進方向を基準とした場合の位置を意味する。

【0086】

撮影画像１８０は、正面を向いた人物の撮影画像である。この撮影画像の人物のオフセット角は、２７０°である。この場合、撮影画像１８０と、基準移動方向が左側である旨を示す情報を入力情報とし、オフセット角が２７０°である旨を示す情報を出力情報として、方向予測モデルを学習させる。

【0087】

撮影画像１８１は、撮影装置から見て左側を向いた人物の撮影画像である。この撮影画像の人物のオフセット角は、０°である。この場合、撮影画像１８１と、基準移動方向が左側である旨を示す情報を入力情報とし、オフセット角が０°である旨を示す情報を出力情報として、方向予測モデルを学習させる。

【0088】

撮影画像１８２は、撮影装置から見て右側を向いた人物の撮影画像である。この撮影画像の人物のオフセット角は、１８０°である。この場合、撮影画像１８２と、基準移動方向が左側である旨を示す情報を入力情報とし、オフセット角が１８０°である旨を示す情報を出力情報として、方向予測モデルを学習させる。

【0089】

撮影画像１８３は、撮影装置から見て左斜め４５°を向いた人物の撮影画像である。この撮影画像の人物のオフセット角は、３１５°である。この場合、撮影画像１８３と、基準移動方向が左側である旨を示す情報を入力情報とし、オフセット角が３１５°である旨を示す情報を出力情報として、方向予測モデルを学習させる。

【0090】

撮影画像１８４は、撮影装置から見て右斜め４５°を向いた人物の撮影画像である。この撮影画像の人物のオフセット角は、２２５°である。この場合、撮影画像１８４と、基準移動方向が左側である旨を示す情報を入力情報とし、オフセット角が２２５°である旨を示す情報を出力情報として、方向予測モデルを学習させる。

【0091】

同様に、基準移動方向が撮影画像における右方向である場合も、方向予測モデルを学習させることができる。この場合、例えば、撮影装置１２が移動体装置１０ａ～１０ｃの左側を撮影する場合が想定される。

【0092】

また、基準移動方向が撮影画像における上方向である場合も、方向予測モデルを学習させることができる。この場合、例えば、ドローン等の飛行体である移動体装置１０ａ～１０ｃに設置された撮影装置１２が移動体装置１０ａ～１０ｃの下方を撮影する場合が想定される。撮影画像における上方向は、飛行体の移動方向に相当する。

【0093】

さらに、基準移動方向が撮影画像における下方向である場合も、方向予測モデルを学習させることができる。この場合、例えば、ドローン等の飛行体である移動体装置１０ａ～１０ｃに設置された撮影装置１２が移動体装置１０ａ～１０ｃの下方を撮影する場合が想定される。撮影画像における下方向は、飛行体の移動方向の反対側の方向に相当する。

【0094】

予測装置３４のプロセッサは、このようにして学習した方向予測モデルに対し、予測対象画像と、基準移動方向を示す情報を入力することにより、基準移動方向を基準とする予測対象画像内の捜索対象の人物の方向情報、すなわち、オフセット角を得ることができる。

【0095】

そして、予測装置３４のプロセッサは、算出された特定の方位を基準とする移動体装置１０ａ～１０ｃの移動方向を示す情報と、算出されたオフセット角に基づき、当該特定の方位を基準とする捜索対象の人物の方向を示す方向情報を算出する。具体的には、予測装置３４のプロセッサは、特定の方位を基準とする移動体装置１０ａ～１０ｃの移動方向を示す情報（０～３５９°）と、算出されたオフセット角（０～３５９°）を加算することにより、特定の方位を基準とする捜索対象の人物の方向を示す方向情報を算出することができる。なお、加算値が３６０°以上の場合、予測装置３４のプロセッサは、加算値から３６０を減算する。このようにして、予測装置３４のプロセッサは、特定の方位を基準とする捜索対象の人物の方向を示す方向情報を算出できる。

【0096】

特定の方位を基準とする捜索対象の人物の向きを示す複数の方向情報の差分情報の生成について説明する。予測装置３４のプロセッサは、或る予測対象画像と、その直前の予測対象画像のそれぞれについて、方位予測モデルを用いて、特定の方位を基準とする捜索対象の人物の向きを示す複数の方向情報を算出する。そして、予測装置３４のプロセッサは、当該或る予測対象画像の方向情報である角度から、当該直前の予測対象画像の方向情報である角度を減算することにより、これらの方向情報の差分情報である角度の変位を算出することができる。

【0097】

ステップＳ１０４では、予測装置３４のプロセッサは、記憶装置から捜索対象が存在し得るエリアの識別情報を取得する。ステップＳ１０５では、予測装置３４のプロセッサは、記憶装置に保存されたエリア毎に用意された複数の学習済みの位置予測モデルの中から、取得したエリアの識別情報が示すエリアに対応する学習済みの位置予測モデルを選択する。

【0098】

ステップＳ１０６では、予測装置３４のプロセッサは、選択した学習済みの位置予測モデルに対し、捜索対象の属性情報と、捜索対象が出現した位置を示す位置情報と、捜索対象が出現した時刻を示す時刻情報と、ステップＳ１０３で生成した追加の入力情報と、捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を入力し、予測したい時刻における捜索対象の位置を示す予測位置情報を生成する。

【0099】

図１９は、例示的な一実施形態に係る位置予測システム１００の主要な構成要素を示す図である。位置予測システム１００は、画像判定部１１０と、位置予測部１２０とを含む。

【0100】

画像判定部１１０は、既定のルートを定期的に移動する１以上の移動体装置１０ａ～１０ｂが既定のルートを移動する間に、移動体装置１０ａ～１０ｂの備える撮影装置１２が移動体装置１０ａ～１０ｂの周囲を撮影して生成された複数の撮影画像と、捜索対象画像とを用いて、撮影画像内に捜索対象が含まれているか判定する。上述した分析装置３３、分析装置３３が備えるプロセッサ等の装置、又は分析装置３３が実行するプログラムが、画像判定部１１０に相当する。

【0101】

位置予測部１２０は、撮影画像内に捜索対象が含まれていると判定された場合に、捜索対象の位置を予測する。上述した予測装置３４、予測装置３４が備えるプロセッサ等の装置、又は予測装置３４が実行するプログラムが、位置予測部１２０に相当する。位置予測部１２０は、捜索対象の属性情報と、捜索対象が含まれていると判定された複数の撮影画像の撮影位置を示す位置情報と、撮影画像の生成時刻を示す時刻情報と、捜索対象が出現する時刻に相当する予測したい時刻を示す時刻情報を用いて、予測したい時刻における捜索対象の位置を予測する。

【0102】

このように、移動体装置１０ａ～１０ｃが既定のルートを移動する間に撮影された複数の撮影画像を、捜索対象の位置の予測に用いることにより、捜索対象を発見する可能性を高めることができる。また、捜索対象が出現した時刻及び位置を、捜索対象の位置の予測に用いることにより、捜索対象の移動したルートや徘徊性が反映された捜索対象の位置を予測することができる。そのため、捜索対象の位置の予測精度を高めることができる。

【0103】

また、位置予測部１２０は、捜索対象の属性情報と、捜索対象の過去の時刻を示す時刻情報と、過去の時刻における捜索対象の位置を示す位置情報と、過去の時刻における捜索対象の方向を示す方向情報と、予測したい時刻を示す時刻情報を入力情報とし、予測したい時刻における捜索対象の位置を示す位置情報を出力情報とする学習済モデルを用いて、予測したい時刻における捜索対象の位置を予測する。捜索対象の方向は、予測したい時刻における捜索対象の位置に相関する。このように、過去の時刻における捜索対象の方向を、捜索対象の位置の予測に用いることにより、過去の時刻における捜索対象の方向が反映された捜索対象の位置を予測することができる。そのため、捜索対象の位置の予測精度を高めることができる。

【0104】

さらに、位置予測部１２０は、捜索対象の属性情報と、捜索対象の過去の複数の時刻を示す時刻情報と、過去の複数の時刻における捜索対象の位置を示す位置情報と、過去の複数の時刻における捜索対象の方向を示す方向情報の差分情報と、予測したい時刻を示す時刻情報を入力情報とし、予測したい時刻における捜索対象の位置を示す位置情報を出力情報とする学習済モデルを用いて、予測したい時刻における捜索対象の位置を予測する。捜索対象の方向の変化は、予測したい時刻における捜索対象の位置に相関する。このように、過去の時刻における捜索対象の方向の差分を、捜索対象の位置の予測に用いることにより、過去の時刻における捜索対象の方向転換が反映された捜索対象の位置を予測することができる。そのため、捜索対象の位置の予測精度を高めることができる。

【0105】

さらに、位置予測部１２０は、捜索対象の属性情報と、捜索対象の過去の時刻を示す時刻情報と、過去の時刻における捜索対象の位置を示す位置情報と、捜索対象の移動速度と、予測したい時刻を示す時刻情報を入力情報とし、予測したい時刻における捜索対象の位置を示す位置情報を出力情報とする学習済モデルを用いて、予測したい時刻における捜索対象の位置を予測する。捜索対象の移動速度は、予測したい時刻における捜索対象の位置に相関する。このように、捜索対象の移動速度を、捜索対象の位置の予測に用いることにより、捜索対象の移動速度が反映された捜索対象の位置を予測することができる。そのため、捜索対象の位置の予測精度を高めることができる。

【0106】

さらに、捜索対象は人物であり、属性情報は、捜索対象の年齢及び性別である。捜索対象の年齢及び性別は、予測したい時刻における捜索対象の位置に相関する。これにより、捜索対象の人物の年齢及び性別を、捜索対象の人物の位置の予測に用いることにより、捜索対象の人物の年齢及び性別が反映された捜索対象の人物の位置を予測することができる。そのため、捜索対象の人物の位置の予測精度を高めることができる。

【0107】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disk（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。プロセッサ及びサーバは、コンピュータに相当する。

【0108】

本開示は、上述した実施形態に限られたものではなく、本開示の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施形態では、分析装置３３及び予測装置３４が個別の装置として構成されるが、他の実施形態では、分析装置３３及び予測装置３４を１つの装置で実現してもよい。この場合、位置予測システム１００は、１つの装置で実現することができる。

【0109】

また、他の実施形態では、予測装置３４が予測した捜索対象の予測結果を他の装置に送信してもよい。捜索対象の予測結果には、予測したい時刻を示す時刻情報及び当該時刻における捜索対象の位置情報が含まれる。他の装置には、捜索に関わる機関や人物、依頼者等が使用するＰＣ（Personal Computer）やスマートフォン等の端末装置が含まれる。

【符号の説明】

【0110】

１ システム
１０ａ 移動体装置
１０ｂ 移動体装置
１０ｃ 移動体装置
１１ 制御装置
１２ 撮影装置
１３ 通信装置
１４ 時刻位置取得装置
１５ 記憶装置
２０ 画像管理システム
２１ 画像管理装置
２２ 移動体管理装置
２３ データサーバ
２４ ネットワーク
３０ 捜索システム
３１ 画像収集装置
３２ 捜索装置
３３ 分析装置
３４ 予測装置
３５ ネットワーク
４０ ネットワーク
５０ ネットワーク
１００ 位置予測システム
１１０ 画像判定部
１２０ 位置予測部
２００ 情報処理装置
２１０ プロセッサ
２１１ 通信インタフェース
２１２ 記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】