特許 7416524 コンピュータシステム、遺失物検知方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】コンピュータシステム、遺失物検知方法及びプログラム

(51)【国際特許分類】

   G08B 21/24 20060101AFI20240110BHJP

   G08B 25/04 20060101ALI20240110BHJP

   G08B 25/00 20060101ALI20240110BHJP

【ＦＩ】

G08B21/24

G08B25/04 F

G08B25/00 510M

【請求項の数】 10

(21)【出願番号】P 2021541397

(86)(22)【出願日】2019-08-21

(86)【国際出願番号】 JP2019032524

(87)【国際公開番号】W WO2021033278

(87)【国際公開日】2021-02-25

【審査請求日】2022-02-17

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(73)【特許権者】

【識別番号】399112458

【氏名又は名称】株式会社佐賀銀行

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】濱場 匡之

(72)【発明者】

【氏名】横尾 敏史

【審査官】山岸 登

(56)【参考文献】

【文献】特開２０１９－１１３９５８（ＪＰ，Ａ）

【文献】特開２０１１－２２７８５７（ＪＰ，Ａ）

【文献】特開２００７－３１８６７３（ＪＰ，Ａ）

【文献】特開２０１８－２０１１５６（ＪＰ，Ａ）

【文献】特開２００６－３３８５３５（ＪＰ，Ａ）

【文献】特開２０１６－１５７２６１（ＪＰ，Ａ）

【文献】特開２０１８－１４２１３０（ＪＰ，Ａ）

【文献】特開２００１－２８５８４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ１９／００－３１／００

(57)【特許請求の範囲】

【請求項1】

遺失物を防止するコンピュータシステムであって、
所定エリアへの利用者の進入直前に特定箇所を撮影した第１撮影画像と当該第１撮影画像の撮影日時とを取得する第１取得手段と、
前記所定エリアから利用者が退出直後に前記特定箇所を撮影した第２撮影画像と当該第２撮影画像の撮影日時とを取得する第２取得手段と、
前記第１撮影画像と第２撮影画像とを比較する比較手段と、
比較結果に、所定の差分が存在するかを判断する差分判断手段と、
判断結果に基づいて、遺失物が存在するかを判断する遺失物判断手段と、
遺失物存在の判断結果に基づいて、当該遺失物を特定する遺失物特定手段と、
を備え、
前記比較手段は、前記第１撮影画像の撮影日時と、前記第２撮影画像の撮影日時とが、所定時間以上離れている場合、前記第１撮影画像と前記第２撮影画像とを比較しないことを特徴とするコンピュータシステム。

【請求項2】

前記比較手段は、前記第１撮影画像及び前記第２撮影画像の其々からエッジ検出を行い比較する、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項3】

前記第１撮影画像は、利用者の進入時の直前の所定フレーム数の画像を合成したものであり、
前記第２撮影画像は、利用者の退出時の直後の所定フレーム数の画像を合成したものである、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項4】

前記所定エリアは、ＡＴＭ設置エリア、切符売り場、トイレ、列車の指定席、公共の充電スペース又は公共のイートインスペースである、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項5】

前記比較手段は、定常的な箇所を除外して、比較する、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項6】

前記遺失物が存在すると判断した場合、前記利用者に、その旨を通知する通知手段と、
をさらに備えることを特徴とする請求項１に記載のコンピュータシステム。

【請求項7】

前記通知手段は、スピーカ、端末装置又は回転灯を介して、前記利用者に通知する、
ことを特徴とする請求項６に記載のコンピュータシステム。

【請求項8】

前記遺失物特定手段は、予め記録した過去に遺失物となった様々な物体の情報と、第２撮影画像に存在する遺失物とを対応付けて登録したデータベースを備え、当該データベースを参照することによって、前記遺失物を特定することを特徴とする請求項１に記載のコンピュータシステム。

【請求項9】

遺失物を防止するコンピュータが実行する遺失物検知方法であって、
所定エリアへの利用者の進入直前に特定箇所を撮影した第１撮影画像と当該第１撮影画像の撮影日時とを取得するステップと、
前記所定エリアから利用者が退出直後に前記特定箇所を撮影した第２撮影画像と当該第２撮影画像の撮影日時とを取得するステップと、
前記第１撮影画像と第２撮影画像とを比較するステップと、
比較結果に、所定の差分が存在するかを判断するステップと、
判断結果に基づいて、遺失物が存在するかを判断するステップと、
遺失物存在の判断結果に基づいて、当該遺失物を特定するステップと、
を備え、
前記比較するステップは、前記第１撮影画像の撮影日時と、前記第２撮影画像の撮影日時とが、所定時間以上離れている場合、前記第１撮影画像と前記第２撮影画像とを比較しないことを特徴とする遺失物検知方法。

【請求項10】

遺失物を防止するコンピュータに、
所定エリアへの利用者の進入直前に特定箇所を撮影した第１撮影画像と当該第１撮影画像の撮影日時とを取得するステップ、
前記所定エリアから利用者が退出直後に前記特定箇所を撮影した第２撮影画像と当該第２撮影画像の撮影日時とを取得するステップ、
前記第１撮影画像と第２撮影画像とを比較するステップ、
比較結果に、所定の差分が存在するかを判断するステップ、
判断結果に基づいて、遺失物が存在するかを判断するステップ、
遺失物存在の判断結果に基づいて、当該遺失物を特定するステップ、
を実行させるためのコンピュータ読み取り可能なプログラムであって、
前記比較するステップは、前記第１撮影画像の撮影日時と、前記第２撮影画像の撮影日時とが、所定時間以上離れている場合、前記第１撮影画像と前記第２撮影画像とを比較しないことを特徴とするコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遺失物を防止するコンピュータシステム、遺失物検知方法及びプログラムに関する。

【背景技術】

【0002】

従来より、ＡＴＭ設置エリア、切符売り場、トイレ、列車の指定席、公共の充電スペース又は公共のイートインスペース等の所定エリアにおける遺失物が問題になっている。

【0003】

このような遺失物に対する対策として、利用者が施設へ入退場する際、利用者が所持する無線媒体と、持ち物に含まれる無線媒体とを検知し、遺失物の有無を判定する構成が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１６５９００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の構成では、遺失物の判定に際して、利用者自身及び持ち物自体の其々から無線媒体を読み取る必要があるため、利便性が低かった。加えて、無線媒体を含まない持ち物に関して検知することができなかった。

【0006】

本発明は、利用者の所定エリアへの進入時及び退出時を撮影した撮影画像を比較し、その差分に基づいて、遺失物の有無を判断することが可能なコンピュータシステム、遺失物検知方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明では、以下のような解決手段を提供する。

【0008】

本発明は、遺失物を防止するコンピュータシステムであって、
所定エリアへの利用者の進入直前に特定箇所を撮影した第１撮影画像と当該第１撮影画像の撮影日時とを取得する第１取得手段と、
前記所定エリアから利用者が退出直後に前記特定箇所を撮影した第２撮影画像と当該第２撮影画像の撮影日時とを取得する第２取得手段と、
前記第１撮影画像と第２撮影画像とを比較する比較手段と、
比較結果に、所定の差分が存在するかを判断する差分判断手段と、
判断結果に基づいて、遺失物が存在するかを判断する遺失物判断手段と、
遺失物存在の判断結果に基づいて、当該遺失物を特定する遺失物特定手段と、
を備え、
前記比較手段は、前記第１撮影画像の撮影日時と、前記第２撮影画像の撮影日時とが、所定時間以上離れている場合、前記第１撮影画像と前記第２撮影画像とを比較しないことを特徴とするコンピュータシステムを提供する。

【0009】

本発明によれば、所定エリアへの利用者の進入直前に特定箇所を撮影した第１撮影画像と当該第１撮影画像の撮影日時とを取得し、前記所定エリアから利用者が退出直後に前記特定箇所を撮影した第２撮影画像と当該第２撮影画像の撮影日時とを取得し、前記第１撮影画像と第２撮影画像とを比較し、比較結果に、所定の差分が存在するかを判断し、判断結果に基づいて、遺失物が存在するかを判断し、遺失物存在の判断結果に基づいて、当該遺失物を特定し、前記第１撮影画像の撮影日時と、前記第２撮影画像の撮影日時とが、所定時間以上離れている場合、前記第１撮影画像と前記第２撮影画像とを比較しない。

【0010】

本発明は、システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【発明の効果】

【0011】

本発明によれば、利用者の所定エリアへの進入時及び退出時を撮影した撮影画像を比較し、その差分に基づいて、遺失物の有無を判断することが可能なコンピュータシステム、遺失物検知方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0012】

【図1】図１は、遺失物検知システム１の概要を示す図である。

【図2】図２は、遺失物検知システム１の全体構成図である。

【図3】図３は、コンピュータ１０が実行する遺失物検知処理のフローチャートを示す図である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。

【0014】

［遺失物検知システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である遺失物検知システム１の概要を説明するための図である。遺失物検知システム１は、コンピュータ１０から構成され、遺失物を防止するコンピュータシステムである。

【0015】

なお、遺失物検知システム１は、利用者が所持する利用者端末（例えば、スマートフォンやタブレット端末等の携帯端末や、スマートグラス等のヘッドマウントディスプレイといったウェアラブル端末）、所定エリア（例えば、ＡＴＭ設置エリア、切符売り場、トイレ、列車の指定席、公共の充電スペース又は公共のイートインスペース）の管理者が所持する管理者端末（例えば、スマートフォンやタブレット端末等の携帯端末や、スマートグラス等のヘッドマウントディスプレイといったウェアラブル端末や、パーソナルコンピュータ等の据置端末）、スピーカ、回転灯、その他の端末や装置類が含まれていてもよい。この場合、遺失物検知システム１は、後述する各処理を、コンピュータ１０と含まれる端末や装置類等との何れか又は複数の組み合わせにより実行することになる。

【0016】

また、遺失物検知システム１は、例えば、コンピュータ１０等の１台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。

【0017】

コンピュータ１０は、利用者端末、管理者端末、スピーカ、回転灯、その他の端末や装置類等と、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。

【0018】

コンピュータ１０は、所定エリアへの利用者の進入時に特定箇所を撮影した第１撮影画像を取得する。所定エリアは、例えば、ＡＴＭ設置エリア、切符売り場、トイレ、列車の指定席、公共の充電スペース又は公共のイートインスペースである。特定箇所は、例えば、ＡＴＭそのものやその一部、切符売り場そのものやその一部、トイレの個室や便器や手洗い場、列車の指定席の座席やテーブル、公共の充電スペースの椅子や机又は公共のイートインスペースの椅子や机である。

【0019】

例えば、この所定エリアを撮影可能な位置に設置された撮影装置は、利用者がこの所定エリアの入場口や入場ゲート等の入場地点に隣接したことを検知し、動画や静止画等の画像の撮影を開始する。撮影装置は、この入場地点を利用者が通過した際に、特定箇所を撮影した画像を、第１撮影画像としてコンピュータ１０に送信する。コンピュータ１０は、第１撮影画像を受信することにより、第１撮影画像を取得することになる。

【0020】

なお、この撮影装置は、利用者が入場地点に進入する直前の所定フレーム数（例えば、５フレーム分、１０フレーム分）の間に撮影した画像を合成したものを第１撮影画像としてコンピュータ１０に送信する構成であってもよい。この結果、コンピュータ１０は、このように合成された画像を、第１撮影画像として取得することになる。

【0021】

コンピュータ１０は、所定エリアへ進入した利用者が退出時に特定箇所の動画や静止画等を撮影した第２撮影画像を取得する。

【0022】

例えば、上述した撮影装置は、利用者がこの所定エリアの退場口や退場ゲート等の退場地点へ隣接したことを検知し、動画や静止画等の画像の撮影を開始する。撮影装置は、この所定エリアの退場地点を利用者が通過した際に、特定箇所を撮影した画像を、第２撮影画像としてコンピュータ１０に送信する。コンピュータ１０は、第２撮影画像を受信することにより、第２撮影画像を取得することになる。

【0023】

なお、この撮影装置は、利用者が退場地点から退場した直後の所定フレーム数（例えば、５フレーム分、１０フレーム分）の間に撮影した画像を合成したものを第２撮影画像としてコンピュータ１０に送信する構成であってもよい。この結果、コンピュータ１０は、このように合成された画像を、第２撮影画像として取得することになる。

【0024】

コンピュータ１０は、取得した第１撮影画像と第２撮影画像とを比較する。

【0025】

例えば、コンピュータ１０は取得した第１撮影画像と第２撮影画像との其々を画像解析し、其々の特徴点（例えば、形状、輪郭、色相）や特徴量（例えば、画素値の平均、分散、ヒストグラム等の統計的な数値）を抽出する。コンピュータ１０は、抽出した特徴点や特徴量に基づいて、第１撮影画像と第２撮影画像とを比較する。

【0026】

なお、コンピュータ１０は、画像解析の結果として、エッジ検出を行う構成であってもよい。コンピュータ１０は、第１撮影画像と第２撮影画像の其々に対して、エッジ検出を行い、其々の画像における存在する物体の形状や輪郭を抽出し、抽出した形状や輪郭を比較することになる。

【0027】

また、コンピュータ１０は、抽出した特徴点や特徴量のうち、定常的な箇所を除外して第１撮影画像と第２撮影画像とを比較する構成であってもよい。定常的な箇所は、例えば、特定箇所に設置された装置や端末類そのものやこれらの操作画面、所定エリアや特定箇所に備えられた備品といった、利用者によって変化が発生しない又は発生しにくい箇所である。

【0028】

コンピュータ１０は、比較結果に基づいて、第１撮影画像と第２撮影画像との間に、所定の差分が存在するか否かを判断する。

【0029】

例えば、コンピュータ１０は、第２撮影画像に存在する特徴点や特徴量のうち、第１撮影画像に存在しない特徴点や特徴量の有無を判断する。コンピュータ１０は、このような特徴点や特徴量が存在する場合、このような特徴点や特徴量が所定の差分を満たすものであるか否かを判断する。この所定の差分は、例えば、利用者端末、手荷物、衣類等の利用者が所持又は装着する物体に該当するものである。すなわち、コンピュータ１０は、第２撮影画像に存在するこのような物体が、第１撮影画像に存在するか否かを判断することになる。

【0030】

コンピュータ１０は、判断結果に基づいて、遺失物が存在するかを判断する。

【0031】

例えば、コンピュータ１０は、第２撮影画像に存在する物体が、第１撮影画像に存在しないと判断した場合、遺失物が存在すると判断する。このとき、コンピュータ１０は、第１撮影画像及び第２撮影画像の画像解析結果に基づいて、この遺失物を特定する。コンピュータ１０は、所定の差分に該当する物体を特定することにより、遺失物を特定する。

【0032】

なお、コンピュータ１０は、遺失物が存在する場合、利用者に、遺失物がある旨の通知を通知する構成であってもよい。例えば、コンピュータ１０は、特定した遺失物や遺失物の有無を、スピーカ、利用者端末、管理者端末、回転灯等を介して、通知する。

【0033】

次に、遺失物検知システム１が実行する処理の概要について説明する。

【0034】

はじめに、コンピュータ１０は、利用者が所定エリアへ進入した際に、特定箇所を撮影した第１撮影画像を取得する（ステップＳ０１）。コンピュータ１０は、上述した撮影装置が撮影した第１撮影画像を取得する。この撮影装置は、利用者が所定エリアの入場地点へ隣接したことを契機として、画像を撮影する。撮影装置は、所定エリアへの入場地点に利用者が通過した時点の特定箇所を撮影した画像を、第１撮影画像としてコンピュータ１０に送信する。コンピュータ１０は、この第１撮影画像を受信することにより、第１撮影画像を取得することになる。

【0035】

コンピュータ１０は、利用者が所定エリアから退出した際に、特定箇所を撮影した第２撮影画像を取得する（ステップＳ０２）。コンピュータ１０は、上述した撮影装置が撮影した第２撮影画像を取得する。この撮影装置は、利用者が所定エリアの退場地点へ隣接したことを契機として、画像を撮影する。撮影装置は、所定エリアからの退場地点を利用者が通過した時点の特定箇所を撮影した画像を、第２撮影画像としてコンピュータ１０に送信する。コンピュータ１０は、この第２撮影画像を受信することにより、第２撮影画像を取得することになる。

【0036】

コンピュータ１０は、取得した第１撮影画像と第２撮影画像を画像解析する（ステップＳ０３）。コンピュータ１０は、この第１撮影画像と第２撮影画像とを其々画像解析し、特徴点や特徴量を抽出する。

【0037】

コンピュータ１０は、抽出した其々の画像の特徴点や特徴量を比較する（ステップＳ０４）。

【0038】

コンピュータ１０は、比較結果に基づいて、第１撮影画像と第２撮影画像との間に、所定の差分が存在するか否かを判断する（ステップＳ０５）。コンピュータ１０は、第２撮影画像から抽出した特徴点や特徴量のうち、第２撮影画像に存在しない第１撮影画像から抽出した特徴点や特徴量の有無を判断する。コンピュータ１０は、このような特徴点や特徴量が存在する場合、この特徴点や特徴量が、所定の差分を満たすものであるか否かを判断する。この結果、コンピュータ１０は、第２撮影画像に存在する物体が、第１撮影画像に存在するか否かを判断することになる。

【0039】

コンピュータ１０は、判断結果に基づいて、遺失物が存在するかを判断する（ステップＳ０６）。コンピュータ１０は、第２撮影画像に存在する物体が、第１撮影画像に存在する場合、遺失物が存在すると判断することになる。

【0040】

以上が、遺失物検知システム１が実行する処理の概要である。

【0041】

［遺失物検知システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である遺失物検知システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である遺失物検知システム１のシステム構成を示す図である。図２において、遺失物検知システム１は、コンピュータ１０から構成され、遺失物を防止するコンピュータシステムである。

【0042】

コンピュータ１０は、利用者端末、管理者端末、スピーカ、回転灯、その他の端末や装置類等と、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。

【0043】

なお、遺失物検知システム１は、図示していない利用者端末、管理者端末、スピーカ、回転灯、その他の端末や装置類等が含まれていてもよい。この場合、遺失物検知システム１は、後述する各処理を、コンピュータ１０と含まれる端末や装置類等との何れか又は複数の組み合わせにより実行することになる。

【0044】

また、遺失物検知システム１は、例えば、コンピュータ１０等の１台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。

【0045】

コンピュータ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、コンピュータ１０は、記録部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部として、各種処理を実行する各種デバイス等を備える。

【0046】

コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、第１撮影画像データ取得モジュール２０、第２撮影画像データ取得モジュール２１、通知モジュール２２を実現する。また、コンピュータ１０において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、解析モジュール４０、比較モジュール４１、差分判断モジュール４２、遺失物判断モジュール４３、遺失物特定モジュール４４を実現する。

【0047】

［遺失物検知処理］
図３に基づいて、遺失物検知システム１が実行する遺失物検知処理について説明する。図３は、コンピュータ１０が実行する遺失物検知処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

【0048】

第１撮影画像データ取得モジュール２０は、所定エリアへ利用者が進入時の特定箇所を撮影した第１撮影画像、この所定エリアを示す識別子（例えば、撮影装置の管理番号や識別番号、所定エリアの名称や管理番号や位置情報）及び撮影日時を、第１撮影画像データとして取得する（ステップＳ１０）。ステップＳ１０において、第１撮影画像データ取得モジュール２０は、この所定エリアを撮影可能な位置に設置された撮影装置から、第１撮影画像データを取得する。この所定エリアは、例えば、ＡＴＭ設置エリア、切符売り場、トイレ、列車の指定席、公共の充電スペース又は公共のイートインスペースといった、利用者が入退出することが可能なエリアである。この特定エリアは、例えば、例えば、ＡＴＭそのものやその一部、切符売り場そのものやその一部、トイレの個室や便器や手洗い場、列車の指定席の座席やテーブル、公共の充電スペースの椅子や机又は公共のイートインスペースの椅子や机である。

【0049】

撮影装置は、利用者が所定エリア又はこの所定エリアへの入場口や入場ゲート等の入場地点に隣接した（例えば、所定エリア又は入場地点から所定の範囲内に進入した）ことを検知し、画像の撮影を開始する。撮影装置は、この入場地点を利用者が通過した際に特定箇所を撮影した画像を第１撮影画像として利用する。このとき、撮影装置は、利用者が入場地点を通過する直前の所定フレーム数で其々に撮影した画像を合成したものを第１撮影画像として利用する。撮影装置が行う画像合成そのものは、既知の方法で行われればよく、例えば、所定フレーム数分の画像と、入場地点を通過時の画像とに存在する輪郭を全て足し込むことにより合成するといったものである。この結果、撮影装置は、各画像に存在するノイズ（例えば、光の差し込みや影）を除去することになる。撮影装置は、このように合成した第１撮影画像、この所定エリアの識別子及びこの第１撮影画像を撮影した日時（入場地点を通過時又は合成時の日時）を、第１撮影画像データとしてコンピュータ１０に送信する。第１撮影画像データ取得モジュール２０は、この第１撮影画像データを受信することにより、第１撮影画像を取得することになる。

【0050】

なお、撮影装置は、所定エリアへ利用者が進入時に、特定箇所を撮影した画像を第１撮影画像として、利用する構成であってもよい。この場合、撮影装置は、所定エリアへの利用者の進入時に撮影した第１撮影画像、この所定エリアの識別子及び撮影日時を第１撮影画像データとしてコンピュータ１０に送信する。第１撮影画像データ取得モジュール２０は、この第１撮影画像データを受信することにより、第１撮影画像を取得することになる。

【0051】

また、コンピュータ１０は、このように取得した第１撮影画像データを自身に記録する構成であってもよい。この場合、コンピュータ１０は、後述する処理において、記録した第１撮影画像データを用いることになる。

【0052】

第２撮影画像データ取得モジュール２１は、所定エリアへ進入した利用者が退出時に、特定箇所を撮影した第２撮影画像、この所定エリアの識別子及び撮影日時を、第２撮影画像データとして取得する（ステップＳ１１）。ステップＳ１１において、第２撮影画像データ取得モジュール２１は、上述した撮影装置から、第２撮影画像データを取得する。

【0053】

撮影装置は、利用者が、この所定エリアの退場口や退場ゲート等の退場地点へ隣接した（例えば、退場地点から所定の範囲内に進入した）ことを検知し、画像の撮影を開始する。撮影装置は、この退場地点を利用者が通過した際に特定箇所を撮影した画像を第２撮影画像として利用する。このとき、撮影装置は、利用者が退場地点を通過した直後の所定フレーム数で其々に撮影した画像を合成したものを第２撮影画像として利用する。撮影装置が行う画像合成は、上述した第１撮影画像における合成方法と同様である。この結果、撮影装置は、各画像に存在するノイズ（例えば、光の差し込みや影）を除去することになる。撮影装置は、このように合成した第２撮影画像、この所定エリアの識別子及びこの第２撮影画像を撮影した日時（退場地点を通過時又は合成時の日時）を、第２撮影画像データとしてコンピュータ１０に送信する。第２撮影画像データ取得モジュール２１は、この第２撮影画像データを受信することにより、第２撮影画像を取得することになる。

【0054】

なお、撮影装置は、所定エリアから利用者が退出時に、特定箇所を撮影した画像を第２撮影画像として、利用する構成であってもよい。この場合、撮影装置は、所定エリアからの利用者の退出時に撮影した第２撮影画像、この所定エリアの識別子及び撮影日時を第２撮影画像データとしてコンピュータ１０に送信する。第２撮影画像データ取得モジュール２１は、この第２撮影画像データを受信することにより、第２撮影画像を取得することになる。

【0055】

解析モジュール４０は、取得した第１撮影画像と第２撮影画像とを画像解析する（ステップＳ１２）。ステップＳ１２において、解析モジュール４０は、第１撮影画像及び第２撮影画像における特徴点や特徴量を抽出する。特に、解析モジュール４０は、其々の画像に対して、エッジ検出を行い、其々の画像に存在する物体や人物等の輪郭を抽出する。また、解析モジュール４０は、エッジ検出を行い、其々の画像に存在する定常的な箇所を抽出する。定常的な箇所とは、例えば、特定箇所に設置された装置や端末類そのものやこれらの操作画面、所定エリアや特定箇所に備えられた備品である。この定常的な箇所は、利用者の行動によって変化が発生しない又は発生しにくい箇所である。

【0056】

なお、解析モジュール４０は、エッジ検出以外の方法により、其々の画像に存在する物体や人物等を抽出してもよい。この場合、コンピュータ１０は、後述する処理において、用いた方法に合わせたものを利用すればよい。

【0057】

比較モジュール４１は、取得した第１撮影画像と第２撮影画像とを比較する（ステップＳ１３）。ステップＳ１３において、比較モジュール４１は、其々の画像から抽出した輪郭を比較する。このとき、比較モジュール４１は、其々の画像から抽出した輪郭のうち、定常的な箇所を除外して、其々から抽出した輪郭を比較する。

【0058】

なお、比較モジュール４１は、其々の画像から定常的な箇所を除外せずに、其々から抽出した輪郭を比較する構成であってもよい。

【0059】

また、比較モジュール４１は、複数の第１撮影画像データと複数の第２撮影画像データとを取得していた場合、其々に含まれる所定エリアの識別子に基づいて、比較する第１撮影画像と第２撮影画像とを特定する。比較モジュール４１は、複数の第１撮影画像データと、複数の第２撮影画像データにおいて、一致する所定エリアの識別子に対応付けられた第１撮影画像と第２撮影画像とを比較することになる。

【0060】

また、比較モジュール４１は、第１撮影画像データにおける撮影日時と、第２撮影画像データにおける撮影日時とが、所定時間以上離れている場合（例えば、数時間以上、１日以上）、第１撮影画像と第２撮影画像とを比較することなく、本処理を終了する。

【0061】

差分判断モジュール４２は、比較結果に基づいて、第１撮影画像と第２撮影画像との間に所定の差分が存在するか否かを判断する（ステップＳ１４）。ステップＳ１４において、差分判断モジュール４２は、其々の画像の比較結果において、所定の差分が存在するか否かを判断する。所定の差分は、例えば、利用者端末、手荷物、衣類等の利用者が所持又は装着する物体に該当する特徴点や特徴量である。本実施例では、所定の差分は、これらの物体に該当する輪郭となる。差分判断モジュール４２は、このような物体に該当する差分が、第１撮影画像と第２撮影画像との間に存在するか否かを判断する。すなわち、差分判断モジュール４２は、第２撮影画像に存在するこのような物体が、第１撮影画像に存在するか否かを判断することになる。

【0062】

ステップＳ１４において、差分判断モジュール４２は、所定の差分が存在しないと判断した場合（ステップＳ１４ ＮＯ）、コンピュータ１０は、遺失物が存在しないと判断し、本処理を終了する。

【0063】

一方、ステップＳ１４において、差分判断モジュール４２は、所定の差分が存在すると判断した場合（ステップＳ１４ ＹＥＳ）、遺失物判断モジュール４３は、この差分に該当する物体を遺失物として判断する（ステップＳ１５）。ステップＳ１５において、遺失物判断モジュール４３は、第２撮影画像に存在する所定の差分を、遺失物として判断する。すなわち、遺失物判断モジュール４３は、第２撮影画像に存在し、第１撮影画像に存在しない輪郭を、遺失物であるものと判断する。

【0064】

遺失物特定モジュール４４は、この第２撮影画像に存在する遺失物を特定する（ステップＳ１６）。ステップＳ１６において、遺失物特定モジュール４４は、第２撮影画像に存在する所定の差分の特徴点や特徴量に基づいて、この所定の差分に該当する遺失物が何であるかを特定する。遺失物特定モジュール４４は、この所定の差分に該当する輪郭に基づいて、この輪郭に該当する遺失物を特定する。例えば、遺失物特定モジュール４４は、予め記録した過去に遺失物となった様々な物体の特徴点や特徴量と、この物体とを対応付けて登録したデータベース等を参照することにより、この遺失物を特定する。

【0065】

遺失物特定モジュール４４は、この所定の差分に該当する輪郭が、スマートフォンやタブレット端末等の端末装置である場合、今回の所定の差分に該当する物体は、利用者端末等の端末装置であると判断する。また、遺失物特定モジュール４４は、この所定の差分に該当する輪郭が、カバンや財布等の手荷物である場合、今回の所定の差分に該当する物体は、利用者の手荷物であると判断する。同様に、遺失物特定モジュール４４は、他の物体であっても、所定の差分に該当する輪郭に基づいて、利用者の物体であるものと特定する。

【0066】

通知モジュール２２は、利用者に、遺失物がある旨の通知を通知する（ステップＳ１７）。ステップＳ１７において通知モジュール２２は、所定エリア又はその付近に設けられたスピーカや回転灯、利用者端末、管理者端末等を介して、この通知を通知する。この通知は、例えば、音声によるもの、メッセージによるもの、装置類を駆動するものといったものである。通知モジュール２２は、この通知を、これらの端末や装置類に送信する。これらの端末や装置類は、この通知を受信する。これらの端末は、自身に合わせた通知内容を実行する。例えば、利用者端末や管理者端末である場合、通知に含まれる音声を放音することや、メッセージを自身の表示部に表示することを実行する。また、スピーカである場合、通知に含まれる音声やメッセージや予め設定された音声を放音する。また、回転灯である場合、予め設定されたパターンにより放光する。その結果、コンピュータ１０は、利用者にこの通知を通知させることになり、遺失物検知システム１は、利用者に、この通知を通知することになる。

【0067】

以上が、遺失物検知処理である。

【0068】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0069】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0070】

１ 遺失物検知システム、１０ コンピュータ

【図1】

【図2】

【図3】