特許 7581558 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241105BHJP

   H04N 7/18 20060101ALI20241105BHJP

   G06T 7/00 20170101ALI20241105BHJP

【ＦＩ】

G06T1/00 200E

H04N7/18 D

G06T7/00 510F

G06T1/00 340A

【請求項の数】 21

(21)【出願番号】P 2024104043

(22)【出願日】2024-06-27

【審査請求日】2024-07-01

【早期審査対象出願】

(73)【特許権者】

【識別番号】515029558

【氏名又は名称】セーフィー株式会社

(74)【代理人】

【識別番号】100128886

【弁理士】

【氏名又は名称】横田 裕弘

(72)【発明者】

【氏名】橋本 貴博

(72)【発明者】

【氏名】沖 総一朗

(72)【発明者】

【氏名】中島 賢史

(72)【発明者】

【氏名】碇石 慶子

(72)【発明者】

【氏名】松木 辰真

(72)【発明者】

【氏名】前田 祐貴

(72)【発明者】

【氏名】平田 牧子

(72)【発明者】

【氏名】今野 裕也

(72)【発明者】

【氏名】木村 有希

(72)【発明者】

【氏名】寺田 裕也

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２００４－２５８７６４（ＪＰ，Ａ）

【文献】特開２００９－０４８４４７（ＪＰ，Ａ）

【文献】特開２０１４－０６３２５１（ＪＰ，Ａ）

【文献】国際公開第２０２０／１３６７９４（ＷＯ，Ａ１）

【文献】特開２０２１－００５３００（ＪＰ，Ａ）

【文献】特開２０２３－１２９４２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

カメラで撮影された映像を情報端末で表示させる情報処理システムであって、
前記映像から顔画像を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像と共に前記映像に含まれる顔画像を表示し、
ユーザーの指示に応じて前記顔画像を登録する、
情報処理システム。

【請求項2】

カメラで撮影された映像を情報端末で表示させる情報処理システムであって、
登録された複数の顔画像を表示し、
ユーザーの指示に応じて前記複数の顔画像から顔画像を選択し、
前記選択された顔画像に対応する人物を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像を表示する、
情報処理システム。

【請求項3】

請求項１に記載の情報処理システムであって、
前記表示する顔画像は、同一人物の複数の顔画像である、
情報処理システム。

【請求項4】

請求項３に記載の情報処理システムであって、
前記複数の顔画像は、同一人物を互いに異なる角度から撮影した顔画像を含む、
情報処理システム。

【請求項5】

請求項４に記載の情報処理システムであって、
前記複数の顔画像は、正面を向いている顔画像と、右を向いている顔画像と、左を向いている顔画像と、体全体を含んでいる顔画像と、のうち少なくとも１つ以上を含む、
情報処理システム。

【請求項6】

請求項１に記載の情報処理システムであって、
前記顔画像と共に前記顔画像が登録済か否かを識別可能な態様で表示する、
情報処理システム。

【請求項7】

請求項１に記載の情報処理システムであって、
前記顔画像と共に、前記顔画像を登録するためのボタンを表示する、
情報処理システム。

【請求項8】

請求項１又は請求項２に記載の情報処理システムであって、
前記映像と共に、前記映像に関するタイムラインを表示する、
情報処理システム。

【請求項9】

請求項８に記載の情報処理システムであって、
前記タイムラインは、登録された顔画像が映っている部分を識別可能な態様で表示する、
情報処理システム。

【請求項10】

請求項８に記載の情報処理システムであって、
前記タイムラインを含む画面を介した所定の操作に基づき前記映像に関するムービークリップを作成する画面を表示する、
情報処理システム。

【請求項11】

請求項１又は請求項２に記載の情報処理システムであって、
前記顔画像を含む映像の検索は、ユーザーにより入力された検索条件に基づいて実行し、
前記検索条件は、期間と、キーワードと、のうち少なくとも１つ以上を含む、
情報処理システム。

【請求項12】

請求項１又は請求項２に記載の情報処理システムであって、
前記複数の映像は、前記複数の映像それぞれを撮影したカメラごとに縮小表示画像の態様で表示される、
情報処理システム。

【請求項13】

請求項１又は請求項２に記載の情報処理システムであって、
登録された前記顔画像が映像より検知された場合に、ユーザーに通知する、
情報処理システム。

【請求項14】

請求項１３に記載の情報処理システムであって、
登録された前記顔画像が映像より検知された場合の通知先は、前記複数のカメラそれぞれごと、又はカメラのグループごとに設定可能に構成される、
情報処理システム。

【請求項15】

請求項１又は請求項２に記載の情報処理システムであって、
登録された前記顔画像は、ユーザーの指示に基づいて変更、又は顔画像を追加することが可能である、
情報処理システム。

【請求項16】

請求項１又は請求項２に記載の情報処理システムであって、
前記顔画像は、前記選択された映像に含まれる人物であることが分かる態様で表示される、
情報処理システム。

【請求項17】

請求項１又は請求項２に記載の情報処理システムであって、
前記映像と共に、前記選択された映像に含まれる人物のうち顔が判別可能な人物の画像を表示する、
情報処理システム。

【請求項18】

カメラで撮影された映像を情報端末で表示させる情報処理システムが実行する情報処理方法であって、
前記映像から顔画像を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像と共に前記映像に含まれる顔画像を表示し、
ユーザーの指示に応じて前記顔画像を登録する、
情報処理方法。

【請求項19】

カメラで撮影された映像を情報端末で表示させる情報処理システムが実行する情報処理方法であって、
登録された複数の顔画像を表示し、
ユーザーの指示に応じて前記複数の顔画像から顔画像を選択し、
前記選択された顔画像に対応する人物を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像を表示する、
情報処理方法。

【請求項20】

カメラで撮影された映像を情報端末で表示させるコンピュータに、
前記映像から顔画像を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像と共に前記映像に含まれる顔画像を表示し、
ユーザーの指示に応じて前記顔画像を登録する、
処理を実行させるためのプログラム。

【請求項21】

カメラで撮影された映像を情報端末で表示させるコンピュータに、
登録された複数の顔画像を表示し、
ユーザーの指示に応じて前記複数の顔画像から顔画像を選択し、
前記選択された顔画像に対応する人物を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像を表示する、
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には表示装置に複数のカメラアイコンを表示させる処理と、表示装置に表示された複数のカメラアイコンの中から、少なくとも二つ以上のカメラアイコンを囲う入力を受け付ける処理と、少なくとも二つ以上のカメラアイコンを囲う入力を受け付けたことに応じて、少なくとも二つ以上のカメラアイコンのそれぞれに対応するカメラが撮影した映像に基づいて、人物の検索を行う処理と、を一以上のコンピュータに実行させるプログラムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３―１２９４２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラの設置場所の拡大に伴い、カメラで撮影された映像から特定の人物を探したいというニーズが高まっている。

【課題を解決するための手段】

【0005】

カメラで撮影された映像を情報端末で表示させる情報処理システムが提供される。情報処理システムは、映像から顔画像を含む映像を検索し、検索の結果として複数の映像を表示し、ユーザーの指示に応じて複数の映像から映像を選択し、選択された映像と共に映像に含まれる顔画像を表示し、ユーザーの指示に応じて顔画像を登録する。

【図面の簡単な説明】

【0006】

【図1】図１は、情報処理システムのシステム構成の一例を示す図である。

【図2】図２は、サーバー装置のハードウェア構成の一例を示す図である。

【図3】図３は、クライアント装置のハードウェア構成の一例を示す図である。

【図4】図４は、監視カメラのハードウェア構成の一例を示す図である。

【図5】図５は、情報処理システムにおける顔画像の登録に係る情報処理の一例を示すフローチャートである。

【図6】図６は、一覧表示画面の一例を示す図である。

【図7】図７は、カレンダー画面を重畳表示させた一例を示す図である。

【図8】図８は、映像詳細画面の一例を示す図（その１）である。

【図9】図９は、映像詳細画面の一例を示す図（その２）である。

【図10】図１０は、人物登録画面の一例を示す図である。

【図11】図１１は、編集画面の一例を示す図である。

【図12】図１２は、ムービークリップの作成画面の一例を示す図である。

【図13】図１３は、情報処理システムにおける顔画像検索に係る情報処理の一例を示すフローチャートである。

【図14】図１４は、人物検索画面の一例を示す図である。

【図15】図１５は、一覧表示画面の一例を示す図である。

【図16】図１６は、映像詳細画面の一例を示す図である。

【図17】図１７は、通知設定画面の一例を示す図である。

【図18】図１８は、通知設定画面の一例を示す図である。

【発明を実施するための形態】

【0007】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせることができる。

【0008】

＜実施形態１＞
１．システム構成図
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、サーバー装置１００と、クライアント装置１１０と、クライアント装置１２０と、複数の監視カメラ１６０と、を含む。サーバー装置１００と、クライアント装置１１０と、クライアント装置１２０と、監視カメラ１６０とは、ネットワーク１５０を介して通信可能に接続されている。ネットワーク１５０は、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びインターネットの何れか又は双方を含んでもよい。ネットワーク１５０はネットワーク１５０に接続される複数の装置同士を有線及び無線を介して通信可能に構成されている。

【0009】

情報処理システム１０００は、映像検索のサービスを提供するシステムである。

【0010】

サーバー装置１００は、情報処理システム１０００の主な機能を提供する装置であり、以下に示す実施形態の主な処理を実行する。サーバー装置１００は、複数の監視カメラ１６０で撮影された映像をクライアント装置１１０又はクライアント装置１２０で出力（表示）させる装置である。

【0011】

監視カメラ１６０は、監視及び／又は記録を目的として設置されるカメラである。明細書では所定の店舗の複数個所それぞれに監視カメラ１６０が設置されているものとして説明を行う。複数個所としては例えば、店舗の複数の出入り口（例えば、入店口東口、入店口西口、出口専用口等）である。なお、これらは例であって監視カメラ１６０が設置される場所を限定するものではない。図１では簡略化のため監視カメラ１６０を３台しか示していないが、２台であってもよいし、４台以上であってもよい。複数の監視カメラ１６０が情報処理システム１０００に含まれていればよい。また明細書では１つの店舗に複数のカメラが設置されているものとして説明を行うが、複数の店舗それぞれに複数のカメラが設置されていてもよい。

【0012】

クライアント装置１１０は、監視カメラ１６０の所有者又は管理者（以下、単に所有者という）が操作する端末装置である。クライアント装置１１０には、後述する図１７及び図１８に示されるような画面が表示される。

【0013】

クライアント装置１２０は、監視カメラ１６０が設置される店舗の管理者等が操作する端末装置である。クライアント装置１２０には、後述する図６～図１２、図１４～図１６に示されるような画面が表示される。

【0014】

ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成される場合、その装置の一例はサーバー装置１００である。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の例は、サーバー装置１００及び複数の監視カメラ１６０のうち少なくとも１つ以上の監視カメラ１６０及びクライアント装置１１０又はクライアント装置１２０、又はサーバー装置１００の機能を提供する複数のサーバー装置で構成されたクラウドサーバー等である。

【0015】

２．ハードウェア構成
（１）サーバー装置１００のハードウェア構成
図２は、サーバー装置１００のハードウェア構成の一例を示す図である。
図２に示されるように、サーバー装置１００は、ハードウェア構成として、制御部２１０と、記憶部２２０と、通信部２３０と、内部バス２４０と、を含む。制御部２１０と、記憶部２２０と、通信部２３０と、は内部バス２４０を介して電気的に接続されている。

【0016】

制御部２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、サーバー装置１００の全体を制御する。

【0017】

記憶部２２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓａｔｅ Ｄｒｉｖｅ）等の何れか、又はこれらの任意の組み合わせであって、プログラム、制御部２１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。記憶部２２０は、記憶媒体の一例である。制御部２１０がプログラムに基づき処理を実行する際に利用するデータとしては、例えば、監視カメラ１６０から送られてきた映像データ、検知対象の顔画像等、検知対象に関するデータ、後述する図１７及び図１８等で設定される送信先に関するデータ等がある。

【0018】

明細書では制御部２１０がプログラムに基づき処理を実行する際に利用するデータは記憶部２２０に記憶されるものとして説明するが、サーバー装置１００と通信可能な他の装置の記憶部等に記憶されていてもよい。データは、制御部２１０が参照又は取得可能であればどの装置の記憶部に記憶されていてもよい。制御部２１０が、記憶部２２０に記憶されているプログラムに基づき、処理を実行することによって、サーバー装置１００の機能及び後述する図５及び図１３に示されるフローチャートの処理等が実現される。なお、この処理は主にサーバー装置１００が実行するものとして説明するが、その代わりにクライアント装置１１０又はクライアント装置１２０、複数の監視カメラ１６０の何れかが実行することとしてもよい。

【0019】

通信部２３０は、サーバー装置１００をネットワーク１５０に接続し、他の装置との通信を司る。

【0020】

なお、制御部２１０、記憶部２２０、通信部２３０の各ハードウェア構成は１つに限られない。例えば、複数の制御部がサーバー装置１００に含まれてもよい。以下に示すクライアント装置１１０及びクライアント装置１２０も同様である。

【0021】

（２）クライアント装置１１０／１２０のハードウェア構成
図３は、クライアント装置１１０／１２０のハードウェア構成の一例を示す図である。
図３に示されるように、クライアント装置１１０は、ハードウェア構成として、制御部３１０と、記憶部３２０と、入力部３３０と、出力部３４０と、通信部３５０と、内部バス３６０と、を含む。制御部３１０と、記憶部３２０と、入力部３３０と、出力部３４０と、通信部３５０と、は内部バス３６０を介して電気的に接続されている。

【0022】

制御部３１０は、ＣＰＵ等であって、クライアント装置１１０の全体を制御する。

【0023】

記憶部３２０は、ＨＤＤ、ＲＯＭ、ＲＡＭ、ＳＳＤ等の何れか、又はこれらの任意の組み合わせであって、プログラム、制御部３１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。記憶部３２０は、記憶媒体の一例である。

【0024】

明細書では制御部３１０がプログラムに基づき処理を実行する際に利用するデータは記憶部３２０に記憶されるものとして説明するが、クライアント装置１１０と通信可能な他の装置の記憶部等に記憶されていてもよい。データは、制御部３１０が参照又は取得可能であればどの装置の記憶部に記憶されていてもよい。制御部３１０が、記憶部３２０に記憶されているプログラムに基づき、処理を実行することによって、クライアント装置１１０の機能等が実現される。

【0025】

入力部３３０は、操作者の操作に応じて情報をクライアント装置１１０に入力する装置である。入力部３３０は、ユーザーによってなされた操作入力を受け付ける。操作入力は、命令信号として内部バス３６０を介して制御部３１０に転送される。制御部３１０は、必要に応じて、転送された命令信号に基づいて所定の制御及び／又は演算を実行し得る。入力部３３０は、クライアント装置１１０の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３３０は、出力部３４０と一体となってタッチパネルとして実施されてもよい。入力部３３０がタッチパネルとして実施される場合、ユーザーは、入力部３３０に対してタップ操作、スワイプ操作等を入力することができる。入力部３３０としては、タッチパネルに代えて、スイッチボタン、マウス、トラックパッド、キーボード等が採用することができる。

【0026】

出力部３４０は、例えば、ディスプレイに代表される表示部であって、ユーザーが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面として情報を出力（表示）する装置である。出力部３４０は、クライアント装置１１０の筐体に含まれるものであってもよいし、外付けされるものであってもよい。より具体的には、出力部３４０は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｎ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、又はプラズマディスプレイ等の表示デバイスとして実施され得る。これらの表示デバイスは、クライアント装置１１０の種類に応じて使い分けて実施されることが好ましい。

【0027】

通信部３５０は、クライアント装置１１０をネットワーク１５０に接続し、他の装置との通信を司る。

【0028】

クライアント装置１２０のハードウェア構成もクライアント装置１１０のハードウェア構成と同様である。

【0029】

なお、明細書ではクライアント装置１１０及びクライアント装置１２０の例としてＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を用いて説明する。しかし、クライアント装置１１０及びクライアント装置１２０は、スマートフォン、タブレット型コンピュータ等であってもよい。クライアント装置は、後述するような画面を表示し、画面等を介したユーザー操作を受け付け、サーバー装置１００に情報を送信することができればどのような装置であってもよい。

【0030】

（３）監視カメラ１６０のハードウェア構成
図４は、監視カメラ１６０のハードウェア構成の一例を示す図である。
図４に示されるように、監視カメラ１６０は、ハードウェア構成として、制御部４１０と、記憶部４２０と、撮影部４３０と、通信部４４０と、内部バス４５０と、を含む。制御部４１０と、記憶部４２０と、撮影部４３０と、通信部４４０と、は内部バス４５０を介して電気的に接続されている。

【0031】

制御部４１０は、ＣＰＵ等であって、監視カメラ１６０の全体を制御する。

【0032】

記憶部４２０は、ＨＤＤ、ＲＯＭ、ＲＡＭ、ＳＳＤ等の何れか、又はこれらの任意の組み合わせであって、プログラム、制御部４１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。記憶部４２０は、記憶媒体の一例である。

【0033】

明細書では制御部４１０がプログラムに基づき処理を実行する際に利用するデータは記憶部４２０に記憶されるものとして説明するが、監視カメラ１６０と通信可能な他の装置の記憶部等に記憶されていてもよい。データは、制御部３１０が参照又は取得可能であればどの装置の記憶部に記憶されていてもよい。制御部４１０が、記憶部４２０に記憶されているプログラムに基づき、処理を実行することによって、監視カメラ１６０の機能等が実現される。

【0034】

撮影部４３０は、被写体を撮影するカメラである。カメラには例えばイメージセンサー、レンズ及びＩＲカットフィルター等が含まれる。

【0035】

通信部４４０は、監視カメラ１６０をネットワーク１５０に接続し、他の装置との通信を司る。

【0036】

３．情報処理
以下、実施形態１の情報処理を説明する。

【0037】

（１）処理の概要
（１－１）顔画像登録
制御部２１０は、情報処理システム１０００に含まれる監視カメラ１６０で撮影されている映像から顔画像が含まれる映像を検索し、顔画像が含まれる複数の映像を検索結果として出力（表示）する。制御部２１０は、検索結果に含まれる複数の映像からユーザーの選択操作に応じて映像を選択し、選択された映像と共に映像に含まれる人物の顔画像を出力（表示）する。制御部２１０は、ユーザーの指示に応じて顔画像を登録する。

【0038】

このような処理を実行することによって、簡単に映像から人物を探し出し、気になる人物の顔画像を情報処理システム１０００に登録することができる。

【0039】

（１－２）顔画像検索
制御部２１０は、登録された複数の顔画像を出力（表示）する。制御部２１０は、ユーザーの選択操作に応じて複数の顔画像から顔画像を選択し、選択された顔画像を含む映像を検索し、選択された顔画像が含まれる複数の映像を検索結果として出力（表示）する。制御部２１０は、検索結果に含まれる複数の映像からユーザーの選択操作に応じて映像を選択し、選択された映像を出力（表示）する。

【0040】

このような処理を実行することによって、登録された顔画像から選択した顔画像の人物の映像を検出し、出力することができる。

【0041】

（２）処理の詳細
（２－０）前処理
まず、事前の設定として、顔の正面角度と判定する角度、正面角度と十分差があると判定する角度差、信頼のおける画像pixel数、ベストショット取得指定時間、等を設定しておく。これらの設定は、例えばクライアント装置１２０を介したユーザーの指示に応じて設定され、各監視カメラ１６０（又はサーバー装置１００）に記憶される。

【0042】

そして、本システムでは基本的に各監視カメラ１６０が映像を撮影してサーバー装置１００に送信して記憶する処理を常時実行するが、その際にベストショットの抽出処理を併せて行うものとする。ここで、ベストショットとは、同一人物を異なる所定の角度から撮影した顔画像（又は全身画像）として最適なものであり、後述する図８及び／又は図１０の顔画像（７４０、７５０、７６０、７７０、９１０、９２０、９３０、９４０）に対応する。なお、この処理は主に各監視カメラ１６０側で実行するが、サーバー装置１００側で実行してもよい。カメラ側で処理を実行するメリットは、その分、サーバー側の処理負荷及び利用料金が軽減されることにあるが、その反面カメラ側で該当する処理を行うためのスペックが要求されることになる。

【0043】

ベストショットの抽出処理の詳細は、次の通りである。まず、監視カメラ１６０は、カメラの映像から、人の全身像をトラッキングする。次に、全身像のデータから顔を検出し、追跡する。そして、追跡した顔から角度を検出し、顔の正面角度範囲内に収まっている画像を、ベストショットの1stとし、顔の角度を記録する。ベストショットの1stは、例えば顔の正面画像を検出するAIモデルを用いて、そのスコアが最も高くなったものを採用してもよい。さらに、追跡した顔から角度を検出し続け、ベストショット1stの顔の角度に対して正面角度との角度差以上の顔があったら、ベストショット2ndとして保存する。ベストショットの2ndは、例えばカメラに対する顔の左向き（又は右向き）画像を検出するAIモデルを用いて、そのスコアが最も高くなったものを採用してもよい。さらに、ベストショット1st,2nd両方と角度差がある画像をベストショット3rdとして保存する。ベストショットの3rdは、例えばカメラに対する顔の右向き（又は左向き）画像を検出するAIモデルを用いて、そのスコアが最も高くなったものを採用してもよい。さらに、ベストショット1st,2nd,3rdのうち少なくとも何れか１つ以上に対応する人物について、その人物の全身画像（又はバストアップ画像等）をベストショット4thとして保存してもよい。バストアップ画像とは、人物の上半身が写った画像のことである。ベストショットの4thは、例えば全身画像（又はバストアップ画像等）を検出するAIモデルを用いて、そのスコアが最も高くなったものを採用してもよい。なお、追跡した顔を検出し続け、正面角度範囲内に収まっている画像で、信頼のおける画像pixel数を上回る画像があった場合、ベストショット1stを入れ替えてもよい。同様に、2nd,3rd,4thも入れ替えてもよい。また、ベストショット取得の指定時間を超えた場合、ベストショット抽出を停止してもよい。また、ベストショット1st,2nd,3rd,4thは夫々の観点で最もスコアが高かったものを採用するとしたが、これに加え夫々において次点以降のスコアのものも含めた複数採用することとしてもよい。そして、トラッキングが終了した時点で、ベストショット1st,2nd,3rd,4thを、夫々の画像を撮影したカメラ及び日時を示すメタデータとともに、サーバー装置１００に送信する。監視カメラ１６０は、ベストショット1st,2nd,3rd,4thと、夫々の画像を撮影したカメラ及び日時を示すメタデータとを受信したうえで、それら画像同士／各画像とメタデータとを対応付けて記憶する。なお、この段階で、ベストショット1st,2nd,3rdに基づいて顔画像の平均処理を行い、顔の特徴量を計算したうえで、画像及びメタデータと対応付けて記憶しておいてもよい。以下、これら対応付けられた情報のセット（ベストショット1st,2nd,3rd,4th／夫々の画像を撮影したカメラ及び日時を示すメタデータ／顔の特徴量）を、ベストショット情報と呼ぶ。ベストショット情報は、人物ごと／シーンごとに、互いに異なる複数のベストショット情報として記憶される。

【0044】

（２－１）顔画像登録
図５は、情報処理システム１０００における顔画像の登録に係る情報処理の一例を示すフローチャートである。なお、この処理は主にサーバー装置１００が実行するものとして説明するが、その代わりにクライアント装置１１０又はクライアント装置１２０、複数の監視カメラ１６０の何れかが実行することとしてもよい。

【0045】

ステップＳ５１０において、制御部２１０は、情報処理システム１０００に含まれる監視カメラ１６０で撮影された映像から顔画像が含まれる映像を検索する。具体的には、まず、前述した前処理にて記憶された複数のベストショット情報を読み出す。そして、夫々のベストショット情報について、ベストショット1st(又は4th）を撮影したカメラ及び日時を示すメタデータに基づいて、映像を特定する。

【0046】

なお、ステップＳ５１０は次のように実現してもよい。情報処理システム１０００に含まれる複数の監視カメラ１６０で撮影された映像は、ネットワーク１５０を介してサーバー装置１００に送信され、記憶部２２０等の所定の記憶領域に記憶される。映像は、どの監視カメラ１６０で撮影された映像か識別可能な態様で記憶部２２０等の所定の記憶領域に記憶される。どの監視カメラ１６０で撮影された映像か識別可能な態様としては、監視カメラごとに異なるフォルダ（ディレクトリ）が記憶部２２０等に作成され、フォルダ内に映像が記憶されてもよいし、映像のファイル名に監視カメラを識別する識別情報が記述されてもよいし、映像のファイルのメタデータ内に監視カメラを識別する識別情報が記述されてもよい。また、映像は、いつ撮影された映像か識別可能な態様で記憶部２２０等の所定の記憶領域に記憶される。いつ撮影された映像か識別可能な態様としては、日付ごとに異なるフォルダ（ディレクトリ）が記憶部２２０等に作成され、フォルダ内に映像が記憶されてもよいし、映像のファイル名に映像が撮影された日時情報が記述されてもよいし、映像のファイルのメタデータ内に映像が撮影された日時情報が記述されてもよい。制御部２１０は、記憶部２２０等の所定の記憶領域に記憶された映像から顔画像が含まれる映像を検索し、検索結果を取得する。

【0047】

例えば、制御部２１０は、映像を学習済みモデルに入力する。この学習済みモデルは、映像を入力データ、映像に顔画像が含まれるか否か、及び、映像に顔画像が含まれる場合は顔画像の人物が出現してから消失するまでの時間情報を出力データとして学習された学習済みモデルである。さらに、学習済みモデルは、同じ映像に複数の顔画像が含まれる場合には複数の顔画像それぞれの人物が出現してから消失するまでの時間情報を出力データとして学習された学習済みモデルである。
制御部２１０は、学習済みモデルから映像に顔画像が含まれるか否かの情報、及び、映像に顔画像が含まれる場合は顔画像の人物が出現してから顔画像の人物が消失するまでの時間情報を検索結果として取得する。

【0048】

ステップＳ５２０において、制御部２１０は、検索結果に基づき、顔画像が含まれる映像の顔画像が出現したタイミングの縮小画像（以下、単にサムネイルともいう）を含む一覧表示画面を生成する。制御部２１０は、生成した一覧表示画面をクライアント装置１２０に送信し、クライアント装置１２０の出力部に表示されるよう制御する。

【0049】

図６は、一覧表示画面６００の一例を示す図である。図６に示される一覧表示画面６００には、人物映像タグ６１０と、人物映像領域６７０と、が含まれる。人物映像タグ６１０は、画面のサイドメニューに含まれる。なお、サイドメニューが含まれる画面においては、サイドメニューを含めた全体を画面と言ってもよいし、サイドメニューは含めない部分を画面と言ってもよい。以下の画面においても同様である。人物映像タグ６１０が選択されると、上述したステップＳ５１０及びステップＳ５２０の処理が実行され、人物映像領域６７０に検索結果のサムネイルが表示される。図６の例では一覧表示画面６００において人物映像タグ６１０が選択された状態であることが示されている。

【0050】

人物映像領域６７０のデバイスセクション６２０には入店口東口の監視カメラ１６０で撮影された映像から検知された人物のサムネイルの一覧が表示されている。サムネイルのそれぞれには人物のトラッキング開始時間（不図示）が表示されてもよい。監視カメラ１６０で撮影された映像から検知された人物のサムネイルの一覧として図６では３つが表示されているがこれに限定されるものではない。画面の大きさに応じて画面に表示するサムネイルの数は変化させてもよい。また「もっと見るボタン」が選択されると、制御部２１０は、監視カメラ１６０で撮影された映像から検知された人物のサムネイルをさらに表示させるよう制御する。

【0051】

人物映像領域６７０のデバイスセクション６３０には入店口西口の監視カメラ１６０で撮影された映像から検知された人物のサムネイルの一覧が表示されている。
人物映像領域６７０のデバイスセクション６４０には出口専用口の監視カメラ１６０で撮影された映像から検知された人物のサムネイルの一覧が表示されている。
なお、画面に含まれるデバイスセクションの並びは、サムネイルがあるデバイス（監視カメラ１６０）、かつ、サムネイルに表示されるトラッキング開始時間が新しい順に一覧表示画面６００の先頭（画面の一番上）から順に表示される。後述する図１５の一覧表示画面１３００においても同様である。

【0052】

一覧表示画面６００においては、検索結果として出力される複数の映像は、複数の映像それぞれを撮影した撮影デバイスごとに縮小表示画像の態様で出力（表示）されている。
ステップＳ５２０の処理は、顔画像が含まれる複数の映像それぞれの縮小画像を検索結果として出力（表示）する処理の一例である。

【0053】

一覧表示画面６００には、キーワード入力領域６５０と、期間入力領域６６０と、が含まれる。キーワード入力領域６５０は、キーワードを入力可能な領域である。キーワード入力領域６５０においてキーワードが入力されると、制御部２１０は、キーワードに基づき、監視カメラ１６０のデバイス名、監視カメラ１６０を識別可能な監視カメラ１６０のシリアル番号、及び監視カメラ１６０に設定されているデバイスタグ等を検索する。そして、制御部２１０は、該当する監視カメラ１６０の映像から顔画像を検索し、検索結果を人物映像領域６７０に表示させる。この処理は、画面を介して入力された検索条件に基づき顔画像が含まれる映像を検索する処理の一例である。

【0054】

期間入力領域６６０は、期間を入力可能な領域である。制御部２１０は、期間入力領域６６０が選択されると、一覧表示画面６００にカレンダー画面を重畳表示させる。
図７は、カレンダー画面１５１０を重畳表示させた一例を示す図である。
カレンダー画面１５１０は、日付及び曜日を表形式で表示する画面であり、検索対象の映像の開始時間と終了時間とを選択可能に構成されている。カレンダー画面１５１０において期間（開始時間と終了時間と）が入力されると、制御部２１０は、入力された期間において撮影された映像を検索対象として検索を行い、検索結果を人物映像領域６７０に表示させる。この処理は、画面を介して入力された検索条件に基づき顔画像が含まれる映像を検索する処理の一例である。図７の例では、期間として２０２４年３月２９日から２０２４年４月１６日までが選択されている。なお、期間入力領域６６０は期間として２０２４年３月２９日以降等と指定可能に構成されていてもよい。すなわち、期間としてある時点以降と指定可能に構成されていてもよい。同様に期間入力領域６６０は期間として２０２４年４月１６日以前等と指定可能に構成されてもよい。すなわち、期間としてある時点までと指定可能に構成されていてもよい。

【0055】

上述したように、一覧表示画面６００は、期間と、キーワードと、のうち少なくとも１つ以上の情報を検索条件として入力可能に構成されている。なお、一覧表示画面６００を映像が撮影された撮影デバイスを検索条件として入力可能に構成するようにしてもよい。

【0056】

図６の人物映像領域６７０においてサムネイルの一つが選択されると、選択されたサムネイルを識別する識別情報を含むサムネイル選択情報がクライアント装置１２０からサーバー装置１００に送信される。

【0057】

図５のステップＳ５３０において、制御部２１０は、サムネイル選択情報を受信したか否かを判定する。制御部２１０は、サムネイル選択情報を受信した場合には、ステップＳ５４０に処理を進め、サムネイル選択情報を受信していない場合には、ステップＳ５２０に処理を戻す。

【0058】

ステップＳ５４０において、制御部２１０は、サムネイル選択情報で識別されるサムネイルの映像を選択する。
ステップＳ５５０において、制御部２１０は、選択した映像のタイムラインと共に映像に含まれる人物の顔画像を含む映像詳細画面を生成する。より具体的には、制御部２１０は、Ｓ５４０で選択された映像について、ベストショット情報に基づいて対応するベストショット1st,2nd,3rd,4thを特定し、映像のタイムラインとともに表示するための映像詳細画面を生成する。制御部２１０は、生成した映像詳細画面をクライアント装置１２０に送信し、クライアント装置１２０の出力部に表示されるよう制御する。

【0059】

図８は、映像詳細画面７００の一例を示す図（その１）である。映像詳細画面７００には表示領域７９０が含まれる。表示領域７９０には、該当する監視カメラ１６０で撮影された映像が表示される。映像には人物７３５が含まれる。人物７３５はサムネイルで選択された映像に含まれる人物である。また図８では簡略化のため省略してあるが映像には背景７３６が含まれる。背景７３６は該当する監視カメラ１６０で撮影される街並み、室内、自然風景等が該当する。表示領域７９０に人物７３５及び背景７３６が含まれることにより、操作者は、人物がどのような状況で何をしているのか等を把握することができる。

【0060】

映像詳細画面７００にはタイムライン７１０が含まれる。タイムライン７１０は、表示領域７９０に表示される映像の時間を示すものである。より具体的に説明すると、タイムラインは、映像の開始時点から映像の終了時点まで時間軸を帯状に表示したものである。本実施形態のタイムラインには、目盛りとして開始時点からの経過時間を表示している。ただし、タイムラインには、目盛りとして時刻又は日時を表示してもよい。再生位置表示オブジェクト７２０は、表示領域７９０に表示されている映像の撮影日時を示すオブジェクト（ＧＵＩ部品）である。再生位置表示オブジェクト７２０が一番左にあるときは映像の再生の開始位置であり、一番右にあるときは映像の再生の終了位置である。再生位置表示オブジェクト７２０は、表示領域７９０で再生されている映像のタイムライン７１０上の位置を示す。クライアント装置１２０の操作者（監視カメラ１６０が設置される店舗の管理者等）は、再生位置表示オブジェクト７２０を操作して、表示領域７９０に表示されている映像の撮影日時を指定することもできる。フラグ７３０は、タイムライン７１０に表示される、映像に人物が映っている期間を示すフラグである。フラグ７３０は一番左の位置の時刻に人物が現れたことを示し、一番右の位置の時刻に人物が消えたことを示している。
制御部２１０は、選択された映像に関するタイムラインを出力する。タイムラインは登録された顔画像の人物が映っている部分と顔画像の人物が映っていない部分とを識別可能な態様で出力される。

【0061】

顔画像表示領域７９５には、表示領域７９０に表示されている映像に映っている人物の顔画像が表示される。図８の例では、顔画像表示領域７９５に、顔画像７４０、顔画像７５０、顔画像７６０、顔画像７７０が含まれている。
顔画像７４０は、監視カメラ１６０に対して正面を向いている顔画像である。これは、表示された映像に対応するベストショット1stである。両目が映っている顔画像は監視カメラ１６０に対して正面を向いている顔画像と言ってもよい。また顔の向きが監視カメラ１６０に向いている顔画像を、正面を向いている顔画像と言ってもよい。また視点が監視カメラ１６０の方向にある顔画像を、正面を向いている顔画像と言ってもよい。
顔画像７５０は、監視カメラ１６０に対して左を向いている顔画像である。これは、表示された映像に対応するベストショット2ndである。両目ではなく右目だけが映っている顔画像は監視カメラ１６０に対して左を向いている顔画像と言ってもよい。また顔の右側が撮影されており顔の左側が撮影されていない画像を監視カメラ１６０に対して左を向いている顔画像と言ってもよい。
顔画像７６０は、監視カメラ１６０に対して右を向いている顔画像である。これは、表示された映像に対応するベストショット3rdである。両目ではなく左目だけが映っている顔画像は監視カメラ１６０に対して右を向いている顔画像と言ってもよい。また顔の左側が撮影されており顔の右側が撮影されていない画像を監視カメラ１６０に対して右を向いている顔画像と言ってもよい。
なお、顔の向きとしては正面／左向き／右向き以外として、例えば斜め左向き／斜め右向き／後向き等の向きを、追加的／代替的に用いることとしてもよい。
顔画像７７０は、人物の体全体を含んでいる顔画像である。これは、表示された映像に対応するベストショット4thである。体全体とは顔画像のみではなく人物の胴体、手、足等が含まれることをいう。
なお、体全体以外に、例えばバストアップ等を、追加的／代替的に用いることとしてもよい。

【0062】

顔画像表示領域７９５には、複数の顔画像には、正面を向いている顔画像と、右を向いている顔画像と、左を向いている顔画像と、体全体を含んでいる顔画像と、のうち少なくとも１つ以上の顔画像が含まれる。
顔画像表示領域７９５には、同一人物を互いに異なる角度から撮影された複数の顔画像が含まれる、ということもできる。

【0063】

制御部２１０は、選択された映像に含まれる人物の画像のうち人物の顔が判別可能な画像を映像と共に出力（表示）する。

【0064】

制御部２１０は、フラグ７３０の一番左の位置の時刻に顔画像表示領域７９５に顔画像を表示し、フラグ７３０の一番右の位置の時刻に顔画像表示領域７９５の顔画像を非表示とする（又は削除する）ようにしてもよい。制御部２１０は、表示領域７９０に表示されている映像に人物が映っている間は、その人物の顔画像を顔画像表示領域７９５に表示するようにしてもよい。このような処理を実行することによって、制御部２１０は、選択された映像に含まれる人物であることが分かる態様で人物の顔画像を表示することができる。
選択された映像に含まれる人物であることが分かる態様とは、例えば、同じ画面に表示領域７９０（又は人物７３５）及び顔画像表示領域７９５が表示される、又は表示領域７９０に重畳されて顔画像表示領域７９５が表示される等の態様である。

【0065】

ステップＳ５５０の処理は、人物映像領域６７０において選択された映像と映像のタイムラインとを含む画面を出力（表示）する処理の一例である。
またステップＳ５５０の処理は、人物映像領域６７０において選択されたサムネイルの映像と共に、映像に含まれる人物と同一人物の複数の顔画像を出力（表示）する処理の一例である。

【0066】

顔画像表示領域７９５には、さらに「人物を登録」ボタン７７５が含まれる。表示領域７９０に表示されている映像に映っている人物が情報処理システム１０００にまだ登録されていない人物であった場合、制御部２１０は、顔画像表示領域７９５に「人物を登録」ボタン７７５を含めて出力する。この処理は、表示領域７９０に表示されている映像に映っている人物が情報処理システム１０００にまだ登録されていない人物であった場合、制御部２１０は、「人物を登録」ボタン７７５を活性化させて顔画像表示領域７９５に表示する、ともいえる。ボタンを活性化させるとは、ボタンを選択可能にすることである。
映像に含まれる人物の顔画像が登録済みでないでない場合、制御部２１０は、顔画像を登録する登録ボタンをユーザーが選択可能な態様で出力（表示）する。

【0067】

表示領域７９０に表示されている映像に映っている人物が情報処理システム１０００にすでに登録されている人物であった場合、制御部２１０は、顔画像表示領域７９５に「登録済み」ボタン８１０を含めて出力する。
図９は、映像詳細画面７００の一例を示す図（その２）である。「登録済み」ボタン８１０は、顔画像表示領域７９５に含まれる顔画像の人物はすでに情報処理システム１０００に検索対象の人物として登録されていることを示すボタンである。なお、顔画像表示領域７９５に含まれる顔画像の人物が情報処理システム１０００にすでに登録されていることを示すことができればボタンに限られずどのようなＧＵＩ部品又は画像等であってもよい。
映像に含まれる人物の顔画像はすでに登録済みか否かを識別可能な態様で出力（表示）される。

【0068】

図８の「人物を登録」ボタン７７５が選択されると、制御部２１０は、人物登録画面を生成する。制御部２１０は、生成した人物登録画面をクライアント装置１２０に送信し、クライアント装置１２０の出力部に表示されるよう制御する。

【0069】

図１０は、人物登録画面９００の一例を示す図である。図１０に示されるように、人物登録画面９００には、顔画像表示領域７９５に表示されている顔画像と同じ顔画像の顔画像９１０、顔画像９２０、顔画像９３０及び顔画像９４０が含まれる。制御部２１０は、クライアント装置１２０の操作者によるドラッグ操作に基づき、顔画像（顔画像９１０、顔画像９２０、顔画像９３０、顔画像９４０等）の位置を入れ替えることができる。顔画像９１０の位置にある画像がカバー写真として用いられる。カバー写真は、例えば、後述する図１４、図１５等に示される保存人物の顔画像として画面等に用いられる。
また、制御部２１０は、クライアント装置１２０の操作者が各顔画像（顔画像９１０、顔画像９２０、顔画像９３０、顔画像９４０等）の右上にある「×」ボタンをクリックしたことに応じて、その顔画像を削除することができる。これは、顔画像の中に誤って所望の人物とは異なる顔画像が含まれていた場合に、後述のステップS１１４０における検索の精度低下を防止するためのものである。なお、検索の精度向上のため、単に顔画像を削除するのみならず、その代わりに例えば同じ向きの顔画像で次なる候補となるものを自動的にセットしたり、同じ向きの顔画像で次なる候補となるものを幾つか一覧表示してユーザーが選択したものをセットしたりしてもよい。

【0070】

また、人物登録画面９００には、プラスを示すＧＵＩ部品９５０が含まれる。ＧＵＩ部品９５０が選択されると、制御部２１０は、顔画像を追加するための画面を生成する。制御部２１０は、生成した画面をクライアント装置１２０に送信し、クライアント装置１２０に表示するよう制御する。制御部２１０は、顔画像を追加するための画面において、顔画像９１０、顔画像９２０、顔画像９３０及び顔画像９４０に表示されている顔画像と同じ人物の別の顔画像を選択可能に表示する。クライアント装置１２０の操作者はこの画面を介して、同じ人物の別の顔画像を選択し、顔画像を追加することができる。なお、これ以外の顔画像の追加方法として、例えばクライアント装置１２０において別途用意した顔画像をアップロード可能としてもよい。

【0071】

また、制御部２１０は、顔画像９１０、顔画像９２０、顔画像９３０及び顔画像９４０の何れかの顔画像が選択され、所定の操作が行われると、制御部２１０は、顔画像を変更するための画面を生成する。制御部２１０は、生成した画面をクライアント装置１２０に送信し、クライアント装置１２０に表示するよう制御する。制御部２１０は、顔画像を変更するための画面において、選択された顔画像を選択された顔画像と同一の人物の別の顔画像を選択可能に表示する。クライアント装置１２０の操作者はこの画面を介して、顔画像を同じ人物の別の顔画像に変更することができる。
これらの処理は、ユーザーの所定の操作に基づいて登録された顔画像を変更、又は顔画像を追加／削除する処理の一例である。

【0072】

クライアント装置１２０の操作者は、図１０に示されるような人物登録画面９００において、例えば、人物名、人物タグ、メモ等を入力し、検索対象の人物として人物の顔画像を登録する操作を行う。人物登録画面９００において「この内容で保存する」ボタンが選択されると、人物登録画面９００に含まれる、顔画像等を含む登録情報がクライアント装置１２０からサーバー装置１００に送信される。

【0073】

図５のステップＳ５６０において、制御部２１０は、登録情報を受信したか否かを判定する。制御部２１０は、登録情報を受信した場合には、ステップＳ５７０に処理を進め、サムネイル選択情報を受信していない場合には、ステップＳ５５０の処理を繰り返す。

【0074】

ステップＳ５７０において、制御部２１０は、登録情報に含まれる顔画像を検索対象の人物（保存人物ともいう）として登録する。具体的には、複数のベストショット情報のうち、Ｓ５６０で受信した登録情報に対応するものについて、フラグを立てる等して識別可能にする。

【0075】

人物登録画面９００上においてクライアント装置１２０の操作者により所定の操作（例えば、顔画像上で右クリックし、表示されたメニューから編集ボタンを選択する操作等）を受けると、制御部２１０は、顔画像を編集可能な編集画面を生成する。制御部２１０は、生成した編集画面をクライアント装置１２０に送信し、クライアント装置１２０の出力部に表示されるよう制御する。

【0076】

図１１は、編集画面１０１０の一例を示す図である。編集画面１０１０には人物登録画面９００で選択された顔画像が含まれる。編集画面１０１０では顔画像のトリミング、回転・傾き補正、明るさ及びコントラストの調整等を行うことが可能に構成されている。

【0077】

図８の映像詳細画面７００は、「ムービークリップを作成」ボタン７８０が含まれる。「ムービークリップを作成」ボタン７８０が選択されると、制御部２１０は、ムービークリップの作成画面１７００を作成する。そして、制御部２１０は、ムービークリップの作成画面１７００をクライアント装置１２０に送信し、クライアント装置１２０の出力部に表示されるよう制御する。

【0078】

図１２は、ムービークリップの作成画面１７００の一例を示す図である。ムービークリップの作成画面１７００は、ムービークリップを作成可能に構成されている。ムービークリップとは、映像から残しておきたい時間を指定して映像を切り取り、記憶部２２０等に保存しておく機能である。なお、ムービークリップには、指定された映像である保存用動画と指定された映像の早送り動画であるタイムラプスとが含まれていてもよい。

【0079】

ムービークリップの作成画面１７００には、映像のタイムライン１７１０が表示されている。操作者は、タイムライン１７１０上のアンカー１７４０及びアンカー１７５０を操作することで切り取る映像の始まりの時間と終わりの時間とを指定することができる。アンカー１７４０が映像の始まりの時間を指定するＧＵＩ部品である。アンカー１７５０が映像の終わりの時間を指定するＧＵＩ部品である。アンカー１７４０で指定された時間の映像の静止画が表示領域１７２０に表示される。アンカー１７５０で指定された時間の映像の静止画が表示領域１７３０に表示される。

【0080】

制御部２１０は、クライアント装置１２０の操作者の操作に基づき、映像のムービークリップを作成し、記憶部２２０等の所定の記憶領域に保存することができる。

【0081】

制御部２１０は、選択された映像に関するタイムラインを出力し、タイムラインを含む画面を介した所定の操作に基づき映像に関するムービークリップを作成する画面を出力する。

【0082】

（２－２）顔画像検索
図１３は、情報処理システム１０００における顔画像検索に係る情報処理の一例を示すフローチャートである。なお、この処理は主にサーバー装置１００が実行するものとして説明するが、その代わりにクライアント装置１１０又はクライアント装置１２０、複数の監視カメラ１６０の何れかが実行することとしてもよい。
ステップＳ１１１０において、制御部２１０は、クライアント装置１２０からの要求に応じて、登録されている複数の顔画像を含む画面（保存人物表示画面）を生成する。具体的には、複数のベストショット情報のうち、ステップＳ５７０でフラグが立てられたものを抽出し、夫々ベストショット1stを特定したうえで、それらを表示するための保存人物表示画面を生成する。制御部２１０は、生成した保存人物表示画面をクライアント装置１２０に送信する。

【0083】

図１４は、人物検索画面１２００の一例を示す図である。図１４に示されるように、人物検索画面１２００には、保存人物タブ１２１０と、保存人物表示領域１２５０と、が含まれる。保存人物タブ１２１０が選択されると、保存事物表示画面の表示要求がクライアント装置１２０からサーバー装置１００に送信される。そして、表示要求に応じて、保存人物表示領域１２５０にステップＳ５７０で顔画像が登録された人物の顔画像の一覧が表示される。図１４では保存人物タブ１２１０が選択されていることが示されている。図１４の保存人物表示領域１２５０には、一例として、顔画像１２２０、顔画像１２３０、顔画像１２４０が保存人物の一覧として表示されている。

【0084】

クライアント装置１２０の操作者（監視カメラ１６０の所有者等）は、保存人物表示領域１２５０に表示されている顔画像から検索対象とする人物の顔画像を選択する。クライアント装置１２０の操作者が顔画像を選択すると、選択した顔画像を識別する識別情報等を含む選択情報がクライアント装置１２０からサーバー装置１００に送信される。

【0085】

ステップＳ１１２０において、制御部２１０は、クライアント装置１２０から選択情報を受信したか否かを判定する。制御部２１０は、選択情報を受信した場合には、ステップＳ１１３０に処理を進め、選択情報を受信していない場合には、ステップＳ１１２０の処理を繰り返す。

【0086】

ステップＳ１１３０において、制御部２１０は、選択情報に含まれる識別情報に基づき顔画像を選択する。
ステップＳ１１４０において、制御部２１０は、選択した顔画像を含む、監視カメラ１６０で撮影された映像を検索する。具体的には、まず、ステップＳ１１３０で選択された顔画像のベストショット情報を参照し、対応する顔の特徴量を用いて、ＡＩモデル等によりその人物が含まれる映像を特定する。なお、前述した前処理において顔の特徴量を算出しなかった場合、この時点で同様にして顔の特徴量を算出すればよい。
なお、ステップＳ１１４０は次のように実現してもよい。例えば、制御部２１０は、顔画像と、記憶部２２０等に記憶されている複数の映像と、を入力データとして学習済みモデルに入力する。この学習済みモデルは、顔画像と、複数の映像とを入力データ、映像に顔画像の人物と同一人物が含まれるか否か、及び、映像に顔画像の人物と同一人物が含まれる場合は顔画像の人物が出現してから消失するまでの時間情報を出力データとして学習された学習済みモデルである。さらに、学習済みモデルは、同じ映像に複数の顔画像が含まれる場合には複数の顔画像それぞれが出現してから消失するまでの時間情報を出力データとして学習された学習済みモデルである。

【0087】

制御部２１０は、学習済みモデルから映像に顔画像の人物と同一人物が含まれるか否かの情報、及び、映像に顔画像の人物と同一人物が含まれる場合はこの人物が出現してから消失するまでの時間情報を検索結果として取得する。

【0088】

ステップＳ１１５０において、制御部２１０は、検索結果に基づき、選択された顔画像の人物の同一の人物が含まれる映像の顔画像が出現したタイミングのサムネイルを含む一覧表示画面を生成する。制御部２１０は、生成した一覧表示画面をクライアント装置１２０に送信し、クライアント装置１２０の出力部に表示されるよう制御する。

【0089】

図１５は、一覧表示画面１３００の一例を示す図である。図１５に示される一覧表示画面１３００には、保存人物表示領域１３２０が含まれる。保存人物表示領域１３２０には、人物検索画面１２００で選択された顔画像１３１０と、顔画像１３１０の人物と同一の人物が含まれる映像のサムネイルの一覧が表示されている。サムネイルの一覧は、デバイスごとに表示される。図１５では簡略化のため、デバイスセクション１３４０として、入店口東口の監視カメラ１６０で撮影された映像のサムネイルの一覧のみが表示されているが、これに限定されるものではない。図６の一覧表示画面６００に示したのと同様、デバイスセクションごとにサムネイルの一覧が表示される。

【0090】

図１５の一覧表示画面１３００においてサムネイルの一つが選択されると、選択されたサムネイルを識別する識別情報を含む、サムネイル選択情報がクライアント装置１２０からサーバー装置１００に送信される。

【0091】

図１３のステップＳ１１６０において、制御部２１０は、サムネイル選択情報を受信したか否かを判定する。制御部２１０は、サムネイル選択情報を受信した場合には、ステップＳ１１７０に処理を進め、サムネイル選択情報を受信していない場合には、ステップＳ１１５０及びステップＳ１１６０の処理を繰り返す。

【0092】

ステップＳ１１７０において、制御部２１０は、サムネイル選択情報で識別されるサムネイルの映像を選択する。
ステップＳ１１８０において、制御部２１０は、選択した映像のタイムラインと共に映像に含まれる人物の顔画像を含む映像詳細画面を生成する。制御部２１０は、生成した映像詳細画面をクライアント装置１２０に送信し、クライアント装置１２０の出力部に表示されるよう制御する。

【0093】

図１６は、映像詳細画面１４００の一例を示す図である。映像詳細画面１４００は、図８に示した映像詳細画面７００及び図９に示した映像詳細画面７００とほぼ同様である。ただし、映像詳細画面１４００に含まれる顔画像表示領域１４１０には図８の映像詳細画面７００に含まれる「人物を登録」ボタン７７５及び図９の「登録済み」ボタン８１０は含まれない。

【0094】

（２－３）送信先設定
制御部２１０は、クライアント装置１１０からの要求に応じて、通知設定（送信先設定ともいう）画面を生成し、クライアント装置１１０に送信する。

【0095】

図１７は、通知設定画面１８００の一例を示す図である。図１７に示されるように、通知設定画面１８００には、通知設定タグ１８１０と、通知設定領域１８２０と、が含まれる。通知設定タグ１８１０が選択されると、通知設定画面の生成要求がクライアント装置１１０からサーバー装置１００に送信される。そして、生成要求に応じて、通知設定領域１８２０にデバイスごとに送信先を設定可能なＧＵＩ部品１８３０が表示される。図１７の例では通知設定タグ１８１０が選択されていることが示されている。
この処理は、登録された顔画像の人物が映像より検知された場合に、顔画像の人物が検知されたことを示す情報を送信する送信先の通知設定画面１８００を出力する処理の一例である。

【0096】

ＧＵＩ部品１８３０では、デバイス名ごとにメール及びＷｅｂｈｏｏｋ連携の連携先を設定可能に構成されている。なお、デバイス名はデバイスを一意に識別可能なものであってもよいし、デバイスに付されたタグ（デバイスタグ）を識別可能なものであってもよい。デバイスタグは、監視カメラ１６０のグループに対して付することができるものである。通知設定画面１８００は、複数のカメラそれぞれごと、又はカメラのグループごとに送信先を設定可能に構成されている。

【0097】

ＧＵＩ部品１８３０においてデバイス名（例えば「入店口 東口」１８２０）が選択されると、制御部２１０は、通知設定画面１９００を生成し、クライアント装置１１０の出力部３４０に表示されるよう制御する。

【0098】

図１８は、通知設定画面１９００の一例を示す図である。項目１９１０では通知メールの送信先が設定可能になっている。項目１９２０ではＷｅｂｈｏｏｋ連携の連携先を設定可能になっている。Ｗｅｂｈｏｏｋ連携の連携先としては複数の連絡先が設定可能となっている。
図１８では通知設定画面１９００では、送信先としてユーザーを設定可能に構成されているといえる。

【0099】

以上、実施形態１によれば、簡単に映像から人物を探し出し、気になる人物の顔画像を情報処理システム１０００に登録することができる。また、実施形態１によれば、登録された顔画像から選択した顔画像の人物の映像を検出し、出力することができる。

【0100】

＜付記＞
次に記載の各態様で提供されるようにしてもよい。
（付記１）
カメラで撮影された映像を情報端末で表示させる情報処理システムであって、
前記映像から顔画像を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像と共に前記映像に含まれる顔画像を表示し、
ユーザーの指示に応じて前記顔画像を登録する、
情報処理システム。
（付記２）
カメラで撮影された映像を情報端末で表示させる情報処理システムであって、
登録された複数の顔画像を表示し、
ユーザーの指示に応じて前記複数の顔画像から顔画像を選択し、
前記選択された顔画像に対応する人物を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像を表示する、
情報処理システム。
（付記３）
付記１に記載の情報処理システムであって、
前記表示する顔画像は、同一人物の複数の顔画像である、
情報処理システム。
（付記４）
付記３に記載の情報処理システムであって、
前記複数の顔画像は、同一人物を互いに異なる角度から撮影した顔画像を含む、
情報処理システム。
（付記５）
付記４に記載の情報処理システムであって、
前記複数の顔画像は、正面を向いている顔画像と、右を向いている顔画像と、左を向いている顔画像と、体全体を含んでいる顔画像と、のうち少なくとも１つ以上を含む、
情報処理システム。
（付記６）
付記１に記載の情報処理システムであって、
前記顔画像と共に前記顔画像が登録済か否かを識別可能な態様で表示する、
情報処理システム。
（付記７）
付記１に記載の情報処理システムであって、
前記顔画像と共に、前記顔画像を登録するためのボタンを表示する、
情報処理システム。
（付記８）
付記１又は付記２に記載の情報処理システムであって、
前記映像と共に、前記映像に関するタイムラインを表示する、
情報処理システム。
（付記９）
付記８に記載の情報処理システムであって、
前記タイムラインは、登録された顔画像が映っている部分を識別可能な態様で表示する、
情報処理システム。
（付記１０）
付記８に記載の情報処理システムであって、
前記タイムラインを含む画面を介した所定の操作に基づき前記映像に関するムービークリップを作成する画面を表示する、
情報処理システム。
（付記１１）
付記１又は付記２に記載の情報処理システムであって、
前記顔画像を含む映像の検索は、ユーザーにより入力された検索条件に基づいて実行し、
前記検索条件は、期間と、キーワードと、のうち少なくとも１つ以上を含む、
情報処理システム。
（付記１２）
付記１又は付記２に記載の情報処理システムであって、
前記複数の映像は、前記複数の映像それぞれを撮影したカメラごとに縮小表示画像の態様で表示される、
情報処理システム。
（付記１３）
付記１又は付記２に記載の情報処理システムであって、
登録された前記顔画像が映像より検知された場合に、ユーザーに通知する、
情報処理システム。
（付記１４）
付記１３に記載の情報処理システムであって、
登録された前記顔画像が映像より検知された場合の通知先は、前記複数のカメラそれぞれごと、又はカメラのグループごとに設定可能に構成される、
情報処理システム。
（付記１５）
付記１又は付記２に記載の情報処理システムであって、
登録された前記顔画像は、ユーザーの指示に基づいて変更、又は顔画像を追加することが可能である、
情報処理システム。
（付記１６）
付記１又は付記２に記載の情報処理システムであって、
前記顔画像は、前記選択された映像に含まれる人物であることが分かる態様で表示される、
情報処理システム。
（付記１７）
付記１又は付記２に記載の情報処理システムであって、
前記映像と共に、前記選択された映像に含まれる人物のうち顔が判別可能な人物の画像を表示する、
情報処理システム。
（付記１８）
カメラで撮影された映像を情報端末で表示させる情報処理システムが実行する情報処理方法であって、
前記映像から顔画像を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像と共に前記映像に含まれる顔画像を表示し、
ユーザーの指示に応じて前記顔画像を登録する、
情報処理方法。
（付記１９）
カメラで撮影された映像を情報端末で表示させる情報処理システムが実行する情報処理方法であって、
登録された複数の顔画像を表示し、
ユーザーの指示に応じて前記複数の顔画像から顔画像を選択し、
前記選択された顔画像に対応する人物を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像を表示する、
情報処理方法。
（付記２０）
カメラで撮影された映像を情報端末で表示させるコンピュータに、
前記映像から顔画像を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像と共に前記映像に含まれる顔画像を表示し、
ユーザーの指示に応じて前記顔画像を登録する、
処理を実行させるためのプログラム。
（付記２１）
カメラで撮影された映像を情報端末で表示させるコンピュータに、
登録された複数の顔画像を表示し、
ユーザーの指示に応じて前記複数の顔画像から顔画像を選択し、
前記選択された顔画像に対応する人物を含む映像を検索し、
前記検索の結果として複数の映像を表示し、
ユーザーの指示に応じて前記複数の映像から映像を選択し、
前記選択された映像を表示する、
処理を実行させるためのプログラム。

【0101】

本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態及び実施形態の変形は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0102】

例えば、上述したサーバー装置１００の処理の一部をクライアント装置１１０及び／又はクライアント装置１２０が実行するようにしてもよい。また、上述したサーバー装置１００の処理の一部を監視カメラ１６０が実行するようにしてもよい。

【符号の説明】

【0103】

１００ ：サーバー装置
１１０ ：クライアント装置
１５０ ：ネットワーク
１６０ ：監視カメラ
２１０ ：制御部
２２０ ：記憶部
２３０ ：通信部
１０００ ：情報処理システム

【要約】      （修正有）

【課題】カメラの設置場所の拡大に伴い、カメラで撮影された映像から特定の人物を探したいというニーズが高まっている。
【解決手段】本開示の一態様によれば、カメラで撮影された映像を情報端末で表示させる情報処理システムが提供される。前記情報処理システムは、映像から顔画像を含む映像を検索し、検索の結果として複数の映像を表示し、ユーザーの指示に応じて複数の映像から映像を選択し、選択された映像と共に映像に含まれる顔画像を表示し、ユーザーの指示に応じて顔画像を登録する。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】