特開 2024-10741 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024010741

(43)【公開日】2024-01-25

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240118BHJP

   G08B 21/24 20060101ALI20240118BHJP

   G08B 25/00 20060101ALI20240118BHJP

   G08B 25/10 20060101ALI20240118BHJP

   H04N 7/18 20060101ALI20240118BHJP

   G06T 7/60 20170101ALI20240118BHJP

【ＦＩ】

G06T7/00 660Z

G08B21/24

G08B25/00 510M

G08B25/10 D

H04N7/18 D

G06T7/60 180B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022112201

(22)【出願日】2022-07-13

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】神谷 卓也

(72)【発明者】

【氏名】竹野 唯志

【テーマコード（参考）】

5C054

5C086

5C087

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054HA19

5C086AA21

5C086AA55

5C086CA28

5C086CB36

5C086DA14

5C086DA33

5C086FA06

5C086FA17

5C087AA02

5C087AA03

5C087AA25

5C087AA37

5C087BB18

5C087BB74

5C087EE14

5C087FF01

5C087FF02

5C087FF04

5C087FF16

5C087FF23

5C087GG02

5C087GG08

5L096AA06

5L096BA02

5L096CA04

5L096DA03

5L096FA16

5L096FA66

5L096FA69

5L096GA51

5L096HA05

5L096HA11

5L096JA11

(57)【要約】

【課題】持ち物にＩＣタグ等の識別手段を取り付けることなく、当該持ち物を落としたことを検出することができる情報処理装置およびプログラムを提供する。
【解決手段】サーバ装置（情報処理装置）は、カメラ（撮像装置）が撮影した画像を取得する画像取得部と、画像取得部が取得した画像の中から人物を検出する人物検出部と、人物検出部が検出した人物から離脱した物体を検出する物体検出部（異常検出部）と、人物検出部が検出した人物と、物体検出部が検出した物体との距離を算出する距離算出部と、距離算出部が算出した距離が、所定時間以上に亘って閾値以上である場合に、物体は落とし物であると判定する落とし物判定部と、を備える。
【選択図】図８

【特許請求の範囲】

【請求項1】

撮像装置が撮影した画像を取得する画像取得部と、
前記画像取得部が取得した画像の中から人物を検出する人物検出部と、
前記人物検出部が検出した人物から離脱した物体を検出する異常検出部と、
前記人物検出部が検出した人物と、前記異常検出部が検出した物体との距離を算出する距離算出部と、
前記距離算出部が算出した距離が、所定時間以上に亘って閾値以上である場合に、前記物体は落とし物であると判定する落とし物判定部と、
を備える情報処理装置。

【請求項2】

前記人物検出部が検出した人物を表す画像と、前記人物から離脱した物体を表す画像と、前記物体の位置とを関連付けて、記憶装置に記憶させる記憶制御部を更に備える、
請求項１に記載の情報処理装置。

【請求項3】

前記落とし物判定部が落とし物があると判定したことを条件として、報知を行う報知部を更に備える、
請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記記憶制御部は、
前記落とし物を落とし主に返却されたことを示す情報が入力されたことを条件として、前記記憶装置から、前記落とし物に係る情報を削除する、
請求項２に記載の情報処理装置。

【請求項5】

前記人物検出部が検出した人物を表す画像と、前記落とし物の落とし主であると申告した申告者の画像とを比較する画像比較部を更に備えて、
前記落とし物判定部は、前記画像比較部が比較した人物の画像が一致していることを条件として、前記申告者を落とし主であると判定する、
請求項１または請求項２に記載の情報処理装置。

【請求項6】

コンピュータを、
撮像装置が撮影した画像を取得する画像取得部と、
前記画像取得部が取得した画像の中から人物を検出する人物検出部と、
前記人物検出部が検出した人物から離脱した物体を検出する異常検出部と、
前記人物検出部が検出した人物と、前記異常検出部が検出した物体との距離を算出する距離算出部と、
前記距離算出部が算出した距離が、所定時間以上に亘って閾値以上である場合に、前記物体は落とし物であると判定する落とし物判定部と、
して機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

従来、自身が所持する物品にＩＣタグを取り付けて、当該物品を落とした際に、ＩＣタグからの信号を検出することによって、自身が所持する報知器に報知を行う忘れ物・落とし物・紛失物報知システムが知られている（例えば、特許文献１）。

【0003】

このような忘れ物・落とし物・紛失物報知システムにあっては、所持する物品のそれぞれにＩＣタグを取り付ける必要があるため、手間がかかっていた。また、ＩＣタグを取り付けていない物品を落とした場合には報知することができなかった。そのため、より簡便に落とし物をしたことを検出することが可能な情報処理装置が望まれていた。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、持ち物にＩＣタグ等の識別手段を取り付けることなく、当該持ち物を落としたことを検出することができる情報処理装置およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の情報処理装置は、画像取得部と、人物検出部と、異常検出部と、距離算出部と、落とし物判定部とを備える。画像取得部は、撮像装置が撮影した画像を取得する。人物検出部は、画像取得部が取得した画像の中から人物を検出する。異常検出部は、人物検出部が検出した人物から離脱した物体を検出する。距離算出部は、人物検出部が検出した人物と、異常検出部が検出した物体との距離を算出する。落とし物判定部は、距離算出部が算出した距離が、所定時間以上に亘って閾値以上である場合に、物体は落とし物であると判定する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態の落とし物検出システムの概略構成の一例を示すブロック図である。

【図2】図２は、実施形態の落とし物検出システムが備えるサーバ装置のハードウエア構成の一例を示すハードウエアブロック図である。

【図3】図３は、サーバ装置が行う落とし物検出処理の流れの一例を示す図である。

【図4】図４は、サーバ装置が記憶する画像データのデータ構造の一例を示す図である。

【図5】図５は、サーバ装置が記憶する人物データのデータ構造の一例を示す図である。

【図6】図６は、サーバ装置が記憶する物体データのデータ構造の一例を示す図である。

【図7】図７は、サーバ装置が記憶する落とし物データのデータ構造の一例を示す図である。

【図8】図８は、実施形態の落とし物検出システムが備えるサーバ装置の機能構成の一例を示す機能ブロック図である。

【図9】図９は、実施形態のサーバ装置が行う、落とし物検出処理の流れの一例を示すフローチャートである。

【図10】図１０は、実施形態のサーバ装置が行う、落とし物返却処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0007】

本発明の情報処理装置を落とし物検出システム１０に適用した実施の形態について、図面を参照して説明する。落とし物検出システム１０は、例えば店舗の内部に設置されて、店内の様子を監視した画像データに基づいて、客が店内で落とし物をしたことを検出するものである。

【0008】

（落とし物検出システムの概略構成）
図１を用いて、落とし物検出システム１０の概略構成を説明する。図１は、実施形態の落とし物検出システムの概略構成の一例を示すブロック図である。

【0009】

落とし物検出システム１０は、サーバ装置１２と、カメラ１４と、携帯端末１６とを備える。

【0010】

サーバ装置１２は、カメラ１４が撮影した監視画像Ｉ（ｔ）（図３参照）を時系列で受信する。そして、サーバ装置１２は、受信した監視画像Ｉ（ｔ）に対して画像処理を行い、落とし物と、当該落とし物をした人物とを検出する。具体的な検出方法について、詳しくは後述する（図３参照）。なお、サーバ装置１２は、本開示における情報処理装置の一例である。

【0011】

カメラ１４は、例えば、店舗に少なくとも１台備えられて、店内の様子を時系列で撮影する。なお、カメラ１４は複数台が備えられて、店内の様子を死角が生じないように撮影できるのが望ましい。なお、カメラ１４の設置位置は、店舗内に限定されるものではなく、店舗の外に設置されてもよい。カメラ１４は、本開示における撮像装置の一例である。カメラ１４とサーバ装置１２は、店内に敷設されたＬＡＮ（Local Area Network）１３によって接続されており、カメラ１４が撮影した画像は、サーバ装置１２に送信される。なお、カメラ１４とサーバ装置１２とは、無線接続されてもよい。

【0012】

携帯端末１６は、店舗の店員が所持しており、サーバ装置１２が落とし物を検出した際に、落とし物があることを知らせる報知情報を受信する。また、携帯端末１６は、報知情報を受信したことを店員に知らせる。携帯端末１６は、例えば、スマートフォンやタブレット端末である。

【0013】

（サーバ装置のハードウエア構成）
図２を用いて、サーバ装置１２のハードウエア構成を説明する。図２は、実施形態の落とし物検出システムが備えるサーバ装置のハードウエア構成の一例を示すハードウエアブロック図である。

【0014】

サーバ装置１２は、当該サーバ装置１２の各部を制御するための制御部２１を備える。制御部２１は、ＣＰＵ（Central Processing Unit）２２と、ＲＯＭ（Read Only Memory）２３と、ＲＡＭ（Random Access Memory）２４とを備える。ＣＰＵ２２は、アドレスバス、データバス等の内部バス４１を介して、ＲＯＭ２３と、ＲＡＭ２４と接続する。ＣＰＵ２２は、ＲＯＭ２３や記憶部２５に記憶された各種プログラムを、ＲＡＭ２４に展開する。ＣＰＵ２２は、ＲＡＭ２４に展開された各種プログラムに従って動作することでサーバ装置１２を制御する。即ち、制御部２１は、一般的なコンピュータの構成を有する。

【0015】

制御部２１は、内部バス４１を介して、記憶部２５と、表示デバイス４２と、操作デバイス４３と、カメラコントローラ４４と、通信インタフェース４５と接続する。

【0016】

記憶部２５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置である。また、記憶部２５は、電源を切っても記憶情報が保持されるフラッシュメモリ等の不揮発性メモリであってもよい。記憶部２５は、制御プログラム２６と、画像データ２７と、人物データ２８と、物体データ２９と、落とし物データ３０とを記憶する。

【0017】

制御プログラム２６は、サーバ装置１２の全体の動作を制御するプログラムである。

【0018】

なお、制御プログラム２６は、ＲＯＭ２３に予め組み込まれて提供されてもよい。また、制御プログラム２６は、制御部２１にインストール可能な形式又は実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、制御プログラム２６を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御プログラム２６を、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0019】

画像データ２７は、カメラ１４が撮影した監視画像I（ｔ）（図３参照）を記憶する。なお、画像データ２７の詳細なデータ構造について、詳しくは後述する（図４参照）。

【0020】

人物データ２８は、監視画像I（ｔ）から検出された人物を示す人物画像Ｐ（ｔ）（図３参照）を記憶する。なお、人物データ２８の詳細なデータ構造について、詳しくは後述する（図５参照）。

【0021】

物体データ２９は、人物画像Ｐ（ｔ）から離脱した物体を示す物体画像Ｏ（ｔ）（図３参照）を記憶する。なお、物体データ２９の詳細なデータ構造について、詳しくは後述する（図６参照）。

【0022】

落とし物データ３０は、サーバ装置１２が検出した落とし物に係る情報を記憶する。なお、落とし物データ３０の詳細なデータ構造について、詳しくは後述する（図７参照）。

【0023】

表示デバイス４２は、サーバ装置１２が生成した画像情報やテキスト情報を表示する出力装置である。表示デバイス４２は、例えば、液晶モニタや有機ＥＬモニタ等である。

【0024】

操作デバイス４３は、サーバ装置１２の操作者が、サーバ装置１２に対して各種操作指示を入力する入力装置である。操作デバイス４３は、例えば、タッチパネルやキーボード等である。

【0025】

カメラコントローラ４４は、サーバ装置１２が、カメラ１４が撮影した監視画像Ｉ（ｔ）を取得するためのインタフェース装置である。

【0026】

通信インタフェース４５は、サーバ装置１２と携帯端末１６との間の通信を制御するインタフェース装置である。

【0027】

（落とし物検出処理の流れ）
図３を用いて、サーバ装置１２が行う落とし物検出処理の流れを説明する。図３は、サーバ装置が行う落とし物検出処理の流れの一例を示す図である。

【0028】

説明を簡単にするため、１台のカメラ１４で、店内の人物を監視している場合を例にあげて説明する。このとき、サーバ装置１２が、カメラ１４から、図３に示す４枚の監視画像Ｉ（ｔａ）、Ｉ（ｔａ＋Δｔ）、Ｉ（ｔａ＋２Δｔ）、Ｉ（ｔａ＋３Δｔ）を取得したとする。

【0029】

サーバ装置１２は、それぞれの監視画像の中から人物を検出する人物検出処理を行う。人物検出処理は、公知の、深層学習を用いた骨格検知手法を用いて行うことができる。具体的には、例えば、姿勢推定（Pose Estimation）と呼ばれる、人物の骨格データを検出する技術を活用することができる。人物検出処理によって、一連の監視画像Ｉ（ｔ）の中から人物が検出されて、その位置が特定される。人物の位置は、当該人物または骨格を包含する矩形領域の左上の座標Ｐａ（ｔ）と、右下の座標Ｐｂ（ｔ）で表すものとする。このような人物検出処理によって、図３に示す人物画像Ｐ（ｔａ）、Ｐ（ｔａ＋Δｔ）、Ｐ（ｔａ＋２Δｔ）、Ｐ（ｔａ＋３Δｔ）が得られる。

【0030】

更に、サーバ装置１２は、監視画像Ｉ（ｔ）の中から検出された人物が、同じ人物であるかを判定して、同じ人物の存在位置を追跡する人物追跡処理を行う。人物追跡処理は、例えば、深層学習を用いた画像分類を行うことによって実現することができる。具体的には、例えば、ＣＮＮ（Convolutional Neural Network）の畳み込み層などを特徴抽出器として利用することによって、人物の少なくとも１つの特徴量を抽出する。そして、異なる画像から抽出された特徴量同士を、最近傍法等を用いて互いに比較することによって、同一人物であるか否かを判定することができる。

【0031】

次に、サーバ装置１２は、追跡された人物から離脱する物体があるかを検出する物体検出処理を行う。物体検出処理は、公知の、深層学習を用いた動作認識によって行うことができる。具体的には、サーバ装置１２は、人間が落とし物をした際の動画像と、それ以外の行動をした際の動画像とをそれぞれ機械学習することによって、ネットワークを生成する。このようにして生成されたネットワークに、同一人物を追跡した動画像を入力することによって、人物から物体が離脱したことを認識することができる。このような物体検出処理は、例えば、行動検出手法の一つであるＳｌｏｗ Ｆａｓｔを用いて実現することができる。物体検出処理によって、一連の人物画像Ｐ（ｔ）の中から物体が検出されて、その位置が特定される。物体の位置は、当該物体を包含する矩形領域の左上の座標Оａ（ｔ）と、右下の座標Оｂ（ｔ）で表すものとする。このような物体検出処理によって、図３に示す物体画像О（ｔａ＋２Δｔ）、О（ｔａ＋３Δｔ）が得られる。なお、人物から離脱した物体は、一般に、時間とともにその位置を変化させないから、物体画像О（ｔａ＋２Δｔ）における座標Оａ（ｔａ＋２Δｔ）、Оｂ（ｔａ＋２Δｔ）と、物体画像О（ｔａ＋３Δｔ）における座標Оａ（ｔａ＋３Δｔ）、Оｂ（ｔａ＋３Δｔ）とは等しい。

【0032】

なお、店舗においては、客が１度手に取った商品を商品棚に戻す行動がよく見られる。このような行動は、落とし物をした行動ではないため、識別する必要がある。そのため、１度手に取った商品を商品棚に戻す行動も機械学習しておき、落とし物行動とは識別して認識するようにしてもよい。

【0033】

更に、サーバ装置１２は、検出された物体と、当該物体の離脱元である人物との距離を算出する。なお、物体と人物との距離は、例えば、図３に示すように、物体を包含する矩形領域と、人物を包含する矩形領域との距離ｄ（ｔ）とされる。図３の例では、時刻ｔ＝ｔａ＋２Δｔにおける距離ｄ（ｔ）よりも、時刻ｔ＝ｔａ＋３Δｔにおける距離ｄ（ｔ）の方が大きくなっている。

【0034】

サーバ装置１２は、このようにして算出された距離ｄ（ｔ）が、所定時間に亘って閾値以上である場合に、物体を落とし物であると判定する。

【0035】

（画像データのデータ構造）
図４を用いて、画像データ２７のデータ構造を説明する。図４は、サーバ装置が記憶する画像データのデータ構造の一例を示す図である。

【0036】

画像データ２７は、図４に示すように、カメラ１４を一意に特定するカメラＩＤと、当該カメラＩＤのカメラ１４が撮影した監視画像Ｉ（ｔ）と付帯情報とを関連付けて記憶する。

【0037】

付帯情報は、該当するカメラＩＤのカメラ１４の設置位置と、当該カメラ１４の観測方向と、画角と、監視画像Ｉ（ｔ）の撮影年月日と、撮影時刻と、フレーム番号である。

【0038】

（人物データのデータ構造）
図５を用いて、人物データ２８のデータ構造を説明する。図５は、サーバ装置が記憶する人物データのデータ構造の一例を示す図である。

【0039】

人物データ２８は、図３で説明した処理によって検出された人物を特定する人物ＩＤと、当該人物の検出結果を示す人物画像Ｐ（ｔ）と、人物画像Ｐ（ｔ）における人物位置である座標Ｐａ（ｔ）、Ｐｂ（ｔ）と、付帯情報とを関連付けて記憶する。

【0040】

付帯情報は、人物画像Ｐ（ｔ）が検出された監視画像Ｉ（ｔ）を撮影したカメラＩＤと、人物画像Ｐ（ｔ）が検出された監視画像Ｉ（ｔ）の撮影年月日と、撮影時刻と、フレーム番号である。

【0041】

（物体データのデータ構造）
図６を用いて、物体データ２９のデータ構造を説明する。図６は、サーバ装置が記憶する物体データのデータ構造の一例を示す図である。

【0042】

物体データ２９は、図３で説明した処理によって検出された物体を特定する物体ＩＤと、当該物体の検出結果を示す物体画像Ｏ（ｔ）と、物体画像Ｏ（ｔ）における物体位置Оａ（ｔ）、Оｂ（ｔ）と、付帯情報とを関連付けて記憶する。

【0043】

付帯情報は、物体の離脱元を示す人物ＩＤと、当該人物ＩＤの人物から離脱物体が検出された監視画像Ｉ（ｔ）を撮像したカメラＩＤと、離脱物体が検出された監視画像Ｉ（ｔ）の撮影年月日と、撮影時刻と、フレーム番号である。

【0044】

（落とし物データのデータ構造）
図７を用いて、落とし物データ３０のデータ構造を説明する。図７は、サーバ装置が記憶する落とし物データのデータ構造の一例を示す図である。

【0045】

落とし物データ３０は、図３で説明した処理によって検出された落とし物を特定する落とし物ＩＤと、落とし物であると判定された物体の検出結果を示す物体画像Ｏ（ｔ）と、当該物体画像Ｏ（ｔ）における物体位置Оａ（ｔ）、Оｂ（ｔ）と、落とし物をしたと判定された人物の検出結果を示す人物画像Ｐ（ｔ）と、当該人物画像Ｐ（ｔ）における人物位置である座標Ｐａ（ｔ）、Ｐｂ（ｔ）と、物体と人物との距離ｄ（ｔ）と、付帯情報とを関連付けて記憶する。

【0046】

付帯情報は、落とし物をした人物を特定する人物ＩＤと、落とし物に対応する物体を特定する物体ＩＤと、落とし物をした人物ＩＤの人物が検出された監視画像Ｉ（ｔ）を撮影したカメラ１４を特定するカメラＩＤと、落とし物であると判定する元になる監視画像Ｉ（ｔ）の撮影年月日と、撮影時刻と、フレーム番号である。

【0047】

上述したように、画像データ２７と、人物データ２８と、物体データ２９と、落とし物データ３０とは、カメラＩＤ、人物ＩＤ、物体ＩＤを介して互いに関連付けられている。したがって、人物が検出された監視画像Ｉ（ｔ）と、物体が検出された監視画像Ｉ（ｔ）と、落とし物があると判定された監視画像Ｉ（ｔ）とを容易に参照することができる。

【0048】

（サーバ装置の機能構成）
図８を用いて、サーバ装置１２の機能構成を説明する。図８は、実施形態の落とし物検出システムが備えるサーバ装置の機能構成の一例を示す機能ブロック図である。

【0049】

サーバ装置１２の制御部２１は、制御プログラム２６をＲＡＭ２４に展開して動作させることによって、図８に示す画像取得部５１と、人物検出部５２と、物体検出部５３と、距離算出部５４と、落とし物判定部５５と、記憶制御部５６と、報知制御部５７と、画像比較部５８と、表示制御部５９と、操作制御部６０と、通信制御部６１とを機能部として実現する。なお、これらの機能の一部または全ては、専用ハードウエアによって実現されてもよい。

【0050】

画像取得部５１は、店舗に設置されたカメラ１４（撮像装置）が撮影した監視画像Ｉ（ｔ）を取得する。

【0051】

人物検出部５２は、画像取得部５１が取得した監視画像Ｉ（ｔ）の中から人物を検出する。また、人物検出部５２は、監視画像Ｉ（ｔ）とは異なる時刻に撮影された監視画像の中で、先に検出された人物と同一人物を追跡する。

【0052】

物体検出部５３は、人物検出部５２が検出した人物から離脱した物体を検出する。なお、物体検出部５３は、本開示における異常検出部の一例である。

【0053】

距離算出部５４は、人物検出部５２が検出した人物と、物体検出部５３が検出した物体との距離ｄ（ｔ）を算出する。

【0054】

落とし物判定部５５は、距離算出部５４が算出した距離ｄ（ｔ）が、所定時間以上に亘って閾値以上である場合に、物体検出部５３が検出した物体は落とし物であると判定する。

【0055】

記憶制御部５６は、人物検出部５２が検出した人物を表す画像と、人物から離脱した物体を表す画像と、当該物体の位置とを関連付けて、記憶部２５（記憶装置）に記憶させる。

【0056】

報知制御部５７は、落とし物判定部５５が、落とし物があると判定したことを条件として報知を行う。より具体的には、報知制御部５７は、落とし物判定部５５が、落とし物があると判定したことを条件として、携帯端末１６に対して、落とし物があることを示す情報と、当該落とし物のある位置とを送信する。携帯端末１６は、サーバ装置１２から、落とし物に係る情報を受信すると、画像表示や音声出力等によって、落とし物がある旨を報知する。また、携帯端末１６は、落とし物のある位置を表示する。なお、報知制御部５７は、本開示における報知部の一例である。

【0057】

画像比較部５８は、落とし物の落とし主が現れた際に、落とし主を撮影した画像と、該当する落とし物に係る人物画像Ｐ（ｔ）とを比較することによって、同じ人物であるかを判定する。

【0058】

表示制御部５９は、サーバ装置１２に接続された表示デバイス４２に表示する画像データ等の表示情報を生成する。また、表示制御部５９は、生成した表示情報を表示デバイス４２に表示させる。

【0059】

操作制御部６０は、サーバ装置１２に接続された操作デバイス４３に対する、操作者の操作情報を取得する。また、操作制御部６０は、取得した操作情報を制御部２１に受け渡す。

【0060】

通信制御部６１は、サーバ装置１２と携帯端末１６との間の通信を制御する。

【0061】

（サーバ装置が行う落とし物検出処理の流れ）
図９を用いて、サーバ装置１２が行う落とし物検出処理の流れを説明する。図９は、実施形態のサーバ装置が行う、落とし物検出処理の流れの一例を示すフローチャートである。

【0062】

画像取得部５１は、カメラ１４から監視画像Ｉ（ｔ）を取得する（ステップＳ１１）。

【0063】

記憶制御部５６は、取得した監視画像Ｉ（ｔ）を、画像データ２７として記憶部２５に記憶させる（ステップＳ１２）。

【0064】

人物検出部５２は、監視画像Ｉ（ｔ）に対して人物検出処理を行い、人物を検出したかを判定する（ステップＳ１３）。人物を検出したと判定される（ステップＳ１３：Ｙｅｓ）とステップＳ１４に進む。一方、人物を検出したと判定されない（ステップＳ１３：Ｎｏ）とステップＳ１１に戻る。

【0065】

ステップＳ１３において、人物を検出したと判定されると、人物検出部５２は、人物の位置（座標Ｐａ（ｔ）、Ｐｂ（ｔ））を特定する（ステップＳ１４）。

【0066】

記憶制御部５６は、人物の検出結果と位置とを含む人物画像Ｐ（ｔ）を、人物データ２８として記憶部２５に記憶させる（ステップＳ１５）。

【0067】

物体検出部５３は、検出された人物からの物体の離脱を検出する物体検出処理を行い、物体の離脱が検出されたかを判定する（ステップＳ１６）。物体の離脱が検出されたと判定される（ステップＳ１６：Ｙｅｓ）とステップＳ１７に進む。一方、物体の離脱が検出されたと判定されない（ステップＳ１６：Ｎｏ）とステップＳ１１に戻る。

【0068】

ステップＳ１６において、物体の離脱が検出されたと判定されると、記憶制御部５６は、物体の検出結果と位置とを含む物体画像Ｏ（ｔ）を、物体データ２９として記憶部２５に記憶させる（ステップＳ１７）。

【0069】

画像取得部５１は、カメラ１４から監視画像Ｉ（ｔ）を取得する（ステップＳ１８）。

【0070】

人物検出部５２は、最新の監視画像Ｉ（ｔ）の中から、先に検出された人物を追跡する（ステップＳ１９）。

【0071】

距離算出部５４は、人物と当該人物から離脱した物体との距離ｄ（ｔ）を算出する（ステップＳ２０）。

【0072】

落とし物判定部５５は、距離ｄ（ｔ）が所定時間以上に亘って閾値以上であるかを判定する（ステップＳ２１）。距離ｄ（ｔ）が所定時間以上に亘って閾値以上であると判定される（ステップＳ２１：Ｙｅｓ）とステップＳ２２に進む。一方、距離ｄ（ｔ）が所定時間以上に亘って閾値以上であると判定されない（ステップＳ２１：Ｎｏ）とステップＳ２４に進む。

【0073】

ステップＳ２１において、距離ｄ（ｔ）が所定時間以上に亘って閾値以上であると判定されると、落とし物判定部５５は、着目している物体は、当該物体の離脱元である人物の落とし物であると判定する。そして、記憶制御部５６は、着目している物体の検出結果と位置とを含む物体画像Ｏ（ｔ）と、当該物体の離脱元である人物の検出結果と位置とを含む人物画像Ｐ（ｔ）とを、落とし物データ３０として記憶部２５に記憶させる（ステップＳ２２）。

【0074】

報知制御部５７は、携帯端末１６に対して、落とし物があることを示す報知を行う（ステップＳ２３）。その後、サーバ装置１２は、図９の処理を終了する。

【0075】

一方、ステップＳ２１において、距離ｄ（ｔ）が所定時間以上に亘って閾値以上であると判定されないと、画像取得部５１は、カメラ１４から監視画像Ｉ（ｔ）を取得する（ステップＳ２４）。

【0076】

人物検出部５２は、監視画像Ｉ（ｔ）に対して、同一人物を追跡できるかを判定する（ステップＳ２５）。同一人物を追跡できると判定される（ステップＳ２５：Ｙｅｓ）とステップＳ２０に戻る。一方、同一人物を追跡できると判定されない（ステップＳ２５：Ｎｏ）と、サーバ装置１２は、図９の処理を終了する。

【0077】

（サーバ装置が行う落とし物返却処理の流れ）
図１０を用いて、サーバ装置１２が行う落とし物返却処理の流れを説明する。図１０は、実施形態のサーバ装置が行う、落とし物返却処理の流れの一例を示すフローチャートである。

【0078】

画像取得部５１は、申告者の画像を取得する（ステップＳ３１）。

【0079】

画像比較部５８は申告者と落とし物の落とし主とは同一人物であるかを判定する（ステップＳ３２）。なお、サーバ装置１２の操作者は、申告者の申告に基づいて、落とし物を特定する。そして、特定された落とし物に係る落とし物データ３０の中から、落とし物の落とし主である人物画像Ｐ（ｔ）を取得する。そして、画像比較部５８は、取得した人物画像Ｐ（ｔ）と、ステップＳ３１で取得した申告者の画像とを比較する。そして、申告者と落とし物の落とし主とは同一人物であると判定される（ステップＳ３２：Ｙｅｓ）とステップＳ３３に進む。一方、申告者と落とし物の落とし主とは同一人物であると判定されない（ステップＳ３２：Ｎｏ）と、サーバ装置１２は、図１０の処理を終了する。

【0080】

ステップＳ３２において、申告者と落とし物の落とし主とは同一人物であると判定されると、操作制御部６０は、落とし物の返却を完了した旨の情報入力がなされたかを判定する（ステップＳ３３）。落とし物の返却を完了した旨の情報入力がなされたと判定される（ステップＳ３３：Ｙｅｓ）とステップＳ３４に進む。一方、落とし物の返却を完了した旨の情報入力がなされたと判定されない（ステップＳ３３：Ｎｏ）とステップＳ３３を繰り返す。

【0081】

ステップＳ３３において、落とし物の返却を完了した旨の情報入力がなされたと判定されると、記憶制御部５６は、落とし物データ３０の中から、返却した落とし物に係るデータを削除する（ステップＳ３４）。なお、このとき、記憶制御部５６は、画像データ２７、人物データ２８、物体データ２９の中から、返却した落とし物、および当該落とし物の落とし主に係るデータを削除してもよい。その後、サーバ装置１２は、図１０の処理を終了する。

【0082】

（実施形態の作用効果）
以上説明したように、本実施形態のサーバ装置１２（情報処理装置）は、カメラ１４（撮像装置）が撮影した監視画像Ｉ（ｔ）を取得する画像取得部５１と、画像取得部５１が取得した画像の中から人物を検出する人物検出部５２と、人物検出部５２が検出した人物から離脱した物体を検出する物体検出部５３（異常検出部）と、人物検出部５２が検出した人物と、物体検出部５３が検出した物体との距離ｄ（ｔ）を算出する距離算出部５４と、距離算出部５４が算出した距離ｄ（ｔ）が、所定時間以上に亘って閾値以上である場合に、物体は落とし物であると判定する落とし物判定部５５と、を備える。したがって、持ち物にＩＣタグ等の識別手段を取り付けることなく、当該持ち物を落としたことを検出することができる。

【0083】

また、本実施形態のサーバ装置１２（情報処理装置）は、人物検出部５２が検出した人物を表す人物画像Ｐ（ｔ）と、人物から離脱した物体を表す物体画像Ｏ（ｔ）と、物体の位置Оａ（ｔ）、Оｂ（ｔ）とを関連付けて、記憶部２５（記憶装置）に記憶させる記憶制御部５６を更に備える。したがって、人物から離脱した物体が落とし物であるかを、容易かつ確実に判定することができる。

【0084】

また、本実施形態のサーバ装置１２（情報処理装置）は、落とし物判定部５５が落とし物があると判定したことを条件として、報知を行う報知制御部５７（報知部）を更に備える。したがって、落とし物が検出されたことを即座に報知することができる。

【0085】

また、本実施形態のサーバ装置１２（情報処理装置）において、記憶制御部５６は、落とし物を落とし主に返却されたことを示す情報が入力されたことを条件として、記憶部２５（記憶装置）から、落とし物に係る情報を削除する。したがって、記憶装置の記憶内容の管理を、手間をかけずに行うことができる。

【0086】

また、本実施形態のサーバ装置１２（情報処理装置）は、人物検出部５２が検出した人物を表す画像と、落とし物の落とし主であると申告した申告者の画像とを比較する画像比較部５８を更に備えて、落とし物判定部５５は、画像比較部５８が比較した人物の画像が一致していることを条件として、申告者を落とし主であると判定する。したがって、落とし主であると申告した人物が正しい落とし主であるかを容易かつ確実に判定することができる。

【0087】

以上、本発明の実施形態を説明したが、これらの実施形態は例示であり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0088】

１０ 落とし物検出システム
１２ サーバ装置（情報処理装置）
１３ ＬＡＮ
１４ カメラ（撮像装置）
１６ 携帯端末
２１ 制御部
２５ 記憶部（記憶装置）
２７ 画像データ
２８ 人物データ
２９ 物体データ
３０ 落とし物データ
５１ 画像取得部
５２ 人物検出部
５３ 物体検出部（異常検出部）
５４ 距離算出部
５５ 落とし物判定部
５６ 記憶制御部
５７ 報知制御部（報知部）
５８ 画像比較部
５９ 表示制御部
６０ 操作制御部
６１ 通信制御部
ｄ（ｔ） 距離
Ｉ（ｔ） 監視画像
Ｏ（ｔ） 物体画像
Ｐ（ｔ） 人物画像

【先行技術文献】

【特許文献】

【0089】

【特許文献1】特開２００５－１８２７２６号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】