特許 7466318 画像情報処理装置及び画像情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-04

(45)【発行日】2024-04-12

(54)【発明の名称】画像情報処理装置及び画像情報処理システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240405BHJP

   H04N 5/92 20060101ALI20240405BHJP

   H04N 5/76 20060101ALI20240405BHJP

   H04N 5/77 20060101ALI20240405BHJP

   G08B 25/00 20060101ALI20240405BHJP

   G08B 21/24 20060101ALI20240405BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 U

H04N7/18 K

H04N5/92 010

H04N5/76

H04N5/77

G08B25/00 510M

G08B21/24

【請求項の数】 10

(21)【出願番号】P 2020011235

(22)【出願日】2020-01-27

(65)【公開番号】P2021118464

(43)【公開日】2021-08-10

【審査請求日】2022-12-07

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】柴田 真理子

(72)【発明者】

【氏名】藤本 克彦

(72)【発明者】

【氏名】池田 智

(72)【発明者】

【氏名】菅原 通孝

(72)【発明者】

【氏名】橋本 敬介

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１５－１３０６３１（ＪＰ，Ａ）

【文献】特開２００２－３２９２０１（ＪＰ，Ａ）

【文献】特開２００４－１７１２４１（ＪＰ，Ａ）

【文献】特開２０１７－２１０３１０（ＪＰ，Ａ）

【文献】特開２００５－２８６４９３（ＪＰ，Ａ）

【文献】特開２０２０－００４２５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／７６－ ５／９２

Ｇ０６Ｔ １／００－ ７／００

Ｇ０６Ｑ ２０／００－５０／００

Ｇ０８Ｂ １３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

所定の場所の画像データを取得する取得部と、
前記画像データに基づいて、動作物に付帯している付帯物を検出する検出部と、
前記検出部による検出結果に基づいて、前記付帯物の位置と、その位置に対応する時刻とに関する付帯物情報を検索用データベースに登録する登録制御部と、
を有し、
前記登録制御部は、前記動作物に付帯している前記付帯物の、前記動作物からの離脱動作をトリガとして、前記付帯物情報を前記検索用データベースに登録する、
画像情報処理装置。

【請求項2】

前記付帯物情報は、前記画像データである、
請求項１に記載の画像情報処理装置。

【請求項3】

前記取得部により取得される前記画像データは、動画像データであり、
前記登録制御部により前記検索用データベースに登録される前記画像データは、前記動画像データの一部であるフレーム画像データである、
請求項２に記載の画像情報処理装置。

【請求項4】

前記取得部により取得される前記画像データは、動画像データであり、
前記登録制御部により前記検索用データベースに登録される前記付帯物情報は、前記付帯物の位置と、その位置に対応する時刻とを表現した音声を含む音声データである、
請求項１に記載の画像情報処理装置。

【請求項5】

前記登録制御部により前記検索用データベースに登録される前記画像データは、さらに前記動画像データを含む、
請求項３又は４に記載の画像情報処理装置。

【請求項6】

前記動作物を示す動作物像と動作の種類とが対応付けられたデータが予め登録された動作物データベースと、
前記付帯物を示す付帯物像と付帯物の種類とが対応付けられたデータが予め登録された付帯物データベースと、
をさらに有し、
前記検出部は、
前記動作物データベースを利用して、前記画像データに含まれる動作物像に対応する動作の種類を検出し、
前記付帯物データベースを利用して、前記画像データに含まれる付帯物像に対応する付帯物の種類を検出し、
検出した前記動作の種類及び前記付帯物の種類に基づいて、前記動作物に付帯している前記付帯物の、前記動作物からの離脱動作を検出する、
請求項１乃至５のいずれか一項に記載の画像情報処理装置。

【請求項7】

前記登録制御部は、所定の付帯物に関する付帯物情報の表示を要求する、装置外の出力装置からの要求に従って、前記付帯物情報が登録された前記検索用データベースから、前記所定の付帯物に関する付帯物情報を読み出し、
読み出された前記所定の付帯物に関する付帯物情報を前記出力装置に送信する送信部、
をさらに有する請求項１乃至６のいずれか一項に記載の画像情報処理装置。

【請求項8】

前記画像情報処理装置の前記検出部は、前記動作物に付帯している前記付帯物の、前記動作物からの離脱動作の後に、装置外の出力装置の、前記付帯物からの距離を検出し、前記距離が閾値より大きいと判断する場合に、警告情報を生成し、
前記警告情報を、前記出力装置に送信する送信部、
をさらに有する請求項１乃至７のいずれか一項に記載の画像情報処理装置。

【請求項9】

請求項７に記載の前記画像情報処理装置と、
所定の場所を撮像することにより画像データを生成する撮像装置と、
所定の付帯物に関する付帯物情報の表示を要求する出力装置と、
を有する画像情報処理システムであって、
前記画像情報処理装置の前記取得部は、前記撮像装置によって生成された前記画像データを前記撮像装置から取得し、
前記出力装置は、前記画像情報処理装置の前記送信部によって送信された前記付帯物情報を表示する、
画像情報処理システム。

【請求項10】

請求項８に記載の前記画像情報処理装置と、
所定の場所を撮像することにより画像データを生成する撮像装置と、
所定の付帯物に関する付帯物情報の表示を要求する出力装置と、
を有する画像情報処理システムであって、
前記画像情報処理装置の前記取得部は、前記撮像装置によって生成された前記画像データを前記撮像装置から取得し、
前記出力装置は、前記画像情報処理装置の前記送信部によって送信された前記警告情報を出力する、
画像情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、画像情報処理装置及び画像情報処理システムに関する。

【背景技術】

【0002】

生活をしていく中で、建物内でメガネや車の鍵等の物品がどこにあるのか分からなくなる場合があり、所望の物品を探すのに手間取ってしまうことがある。このような問題を解決する技術として、物品に非接触ＩＣタグを取り付けるとともに、建物内に複数の読取装置を設置しておくことにより、所望の物品が建物内のどこにあるかを通知するシステムがある。

【0003】

また、室内の撮像で生成された画像データに基づいて特定の物品を認識し、特定の物品に応じた条件に従って、物品に対応付けられた画像データを表示させるシステムがある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１５２９４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、紛失した任意の付帯物を、持ち主であるユーザが容易に捜索することができる手段を提供することである。

【0006】

ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0007】

実施形態に係る画像情報処理装置は、取得部と、検出部と、登録制御部とを備える。取得部は、所定の場所の画像データを取得する。検出部は、画像データに基づいて、動作物に付帯している付帯物を検出する。登録制御部は、検出部による検出結果に基づいて、付帯物の位置と、その位置に対応する時刻とに関する付帯物情報をデータベースに登録する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る画像情報処理システムの構成例を示す概略図。

【図2】図２は、実施形態に係る画像情報処理システムの構成例を示す詳細図。

【図3】図３は、実施形態に係る画像情報処理システムにおいて、動作物データベースが予め登録するデータの一例を示す図。

【図4】図４は、実施形態に係る画像情報処理システムにおいて、付帯物データベースが予め登録するデータの一例を示す図。

【図5】図５は、実施形態に係る画像情報処理システムの機能を示すブロック図。

【図6】図６は、第１の実施形態に係る画像情報処理システムの動作をフローチャートとして示す図。

【図7】図７は、第１の実施形態に係る画像情報処理システムの動作をフローチャートとして示す図。

【図8】図８は、第１の実施形態に係る画像情報処理システムにおいて、検索用データベースの登録内容の一例を示す図。

【図9】図９は、第２の実施形態に係る画像情報処理システムの動作をフローチャートとして示す図。

【図10】図１０は、第２の実施形態に係る画像情報処理システムの動作をフローチャートとして示す図。

【図11】図１１は、第２の実施形態に係る画像情報処理システムにおいて、検索用データベースの登録内容の一例を示す図。

【図12】図１２は、第３の実施形態に係る画像情報処理システムの動作をフローチャートとして示す図。

【図13】図１３は、第４の実施形態に係る画像情報処理システムの動作をフローチャートとして示す図。

【図14】図１４は、第４の実施形態に係る画像情報処理システムの動作をフローチャートとして示す図。

【図15】図１５は、第４の実施形態に係る画像情報処理システムにおいて、携帯リストの一例を示す図。

【図16】図１６は、第４の実施形態に係る画像情報処理システムにおいて、出力装置の出力を説明するための概念図。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、画像情報処理装置及び画像情報処理システムの実施形態について詳細に説明する。

【0010】

１．第１の実施形態
図１は、第１の実施形態に係る画像情報処理システムの構成例を示す概略図である。

【0011】

図１は、実施形態に係る画像情報処理システム１を示す。画像情報処理システム１は、撮像装置１０と、第１の実施形態に係る画像情報処理装置２０と、出力装置３０とを備える。撮像装置１０と、画像情報処理装置２０と、出力装置３０とは、有線又は無線ＬＡＮ（Local Area Network）等のネットワークＮを介して相互に通信可能なように接続される。なお、画像情報処理システム１において、撮像装置１０は、ユーザごとに、１又は複数が対応付けられるものである。例えば、ユーザＡの自宅のリビングと、書斎と、寝室と、ダイニングとに撮像装置１０がそれぞれ設置される場合が想定される。ユーザＢについても同様である。

【0012】

例えば、ユーザ、特に、短期記憶が失われやすい疾患のある患者は、眼鏡等を任意の場所に置いたことを忘れて紛失してしまう場合がある。また、人間は誰でも無意識のうちに眼鏡等を任意の場所に置いてしまい、その場所を思い出せずに困ることがある。画像情報処理システム１は、そのような問題を解決するものである。

【0013】

撮像装置１０は、イメージセンサと、増幅器と、Ａ／Ｄ（Analog to Digital）変換器等（図示省略）等を備える。イメージセンサは、対物光学系（図示省略）を介して、所定の場所、例えば、ユーザの自宅のリビング及び書斎等の部屋内を日常的に撮像する。増幅器は、イメージセンサからの出力ビデオ信号を増幅させる。Ａ／Ｄ変換器は、増幅器から出力されたアナログビデオ信号をデジタルビデオ信号に変換する。

【0014】

撮像装置１０は、ユーザの部屋内の状況を監視するために、当該部屋内に設置されるものである。撮像装置１０は、汎用のビデオカメラであればよい。

【0015】

撮像装置１０は、画像情報処理装置２０による制御の下、ユーザの部屋内を連続的に撮像することで動画像データを生成する。なお、撮像装置１０は、固定カメラである場合について説明するが、その場合に限定されるものではない。例えば、撮像装置１０は、ＰＴＺ（パン・チルト・ズーム）カメラであってもよい。撮像装置１０によって生成された動画像データは、画像情報処理装置２０に提供される。

【0016】

画像情報処理装置２０は、撮像装置１０が設置される各ユーザの所有物（自宅、社宅、事務所等を含む）に設置されていてもよいし、撮像装置１０が設置される複数ユーザの自宅に接続されるクラウドサーバとして設置されていてもよい。

【0017】

画像情報処理装置２０は、ＰＣ（Personal Computer）の一般的な構成を備える。画像情報処理装置２０は、デスクトップＰＣ又はノートＰＣであってもよいし、スマートフォン及びタブレット端末等のモバイルＰＣであってもよい。画像情報処理装置２０は、各フレーム画像データを入力して解析することで、画像データに含まれる動作物の動作の種類（動作名）や、動作物に付帯させることが可能な付帯物の種類（付帯物名）を検出する。

【0018】

出力装置３０は、ＰＣの一般的な構成を備える。出力装置３０は、デスクトップＰＣ又はノートＰＣであってもよいし、スマートフォン、タブレット端末等のモバイルＰＣであってもよい。又は、出力装置３０は、ＰＣの構成を備えなくてもよい。出力装置３０は、遠隔制御によってワイヤレスで音声データを出力可能なワイヤレスブザーや、ワイヤレスチャイム等であってもよい。以下、第１～第３の実施形態では出力装置３０が、タブレット端末である場合について説明し、第４の実施形態では、出力装置３０が、ワイヤレスブザーである場合について説明する。

【0019】

図２は、画像情報処理システム１の構成例を示す詳細図である。

【0020】

図２に示すように、画像情報処理システム１の画像情報処理装置２０は、コンピュータとしての構成を備え、処理回路２１と、記憶回路２２と、動作物データベース（ＤＢ：Data Base）２３と、付帯物ＤＢ２４と、検索用ＤＢ２５と、入力インターフェース２６と、ディスプレイ２７と、ネットワークインターフェース２８とを備える。処理回路２１は、共通信号伝送路としてのバスを介して、画像情報処理装置２０を構成する各ハードウェア構成要素２２～２８に相互接続される。処理回路２１は、専用のハードウェアで構成されてもよいし、内蔵のプロセッサによるソフトウェア処理で各種機能を実現するように構成してもよい。

【0021】

処理回路２１は、所定のプログラムを実行する専用又は汎用のＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processor Unit）等のプロセッサの他、特定用途向け集積回路（ＡＳＩＣ）、及び、プログラマブル論理デバイス等の処理回路を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の回路が挙げられる。

【0022】

また、処理回路２１は、単一のプロセッサによって構成されてもよいし、複数の独立したプロセッサの組み合わせによって構成されてもよい。後者の場合、複数のプロセッサにそれぞれ対応する複数の記憶回路２２が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でもよい。別の例としては、１個の記憶回路２２が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でもよい。なお、処理回路２１は、処理部の一例である。

【0023】

記憶回路２２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。記憶回路２２は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）等の可搬型メディアを脱着自在な回路として構成されてもよい。記憶回路２２は、処理回路２１において実行される各種プログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）、プログラムの実行に必要な文字情報、及び画像データを記憶する。また、記憶回路２２には、ＯＳを制御するための各種コマンドや、タッチパネル１３からの入力を支援するＧＵＩ（Graphical User Interface）のプログラムを記憶する。なお、記憶回路２２は、記憶部の一例である。

【0024】

動作物ＤＢ２３は、ハードディスク等によって構成される記憶部である。動作物ＤＢ２３は、動作物を示す像（以下、「動作物像」という）と、動作の種類（動作名）とが対応付けられたデータが予め登録されたデータベースである。

【0025】

図３は、動作物ＤＢ２３が予め登録するデータの一例を示す図である。

【0026】

図３に示すように、動作物ＤＢ２３は、動作物（例えば、人間、犬、猫）を示す動作物像に、動作の種類（動作名）が予め対応付けられて成る。動作物ＤＢ２３が利用される際、例えば、画像情報処理装置２０は、フレーム画像データから、人間の像を検出する。そして、画像情報処理装置２０は、動作物ＤＢ２３を参照し、検出された人間の像に、動作の種類としての「上に載せる」を関連付ける。なお、動作「上に載せる動作」は、大きくは、「離脱動作」に分類される。

【0027】

図２の説明に戻って、付帯物ＤＢ２４は、ハードディスク等によって構成される記憶部である。付帯物ＤＢ２４は、付帯物を示す像（以下、「付帯物像」という）と、付帯物の種類（付帯物名）とが対応付けられたデータが予め登録されたデータベースである。また、付帯物ＤＢ２４は、付帯物像と、付帯物名と、個人の識別情報（例えば、ユーザ名やＩＤ等）とが対応付けられたデータが予め登録されたデータベースであってもよい。以下、特に言及しない限り、前者の場合について説明する。

【0028】

図４は、付帯物ＤＢ２４が予め登録するデータの一例を示す図である。

【0029】

図４に示すように、付帯物ＤＢ２４は、付帯物（例えば、眼鏡、有価証券等）を示す付帯物像に、付帯物の種類（付帯物名）が予め対応付けられて成る。付帯物ＤＢ２４が利用される際、例えば、画像情報処理装置２０は、フレーム画像データから、付帯物としての眼鏡の形状を検出する。そして、画像情報処理装置２０は、付帯物ＤＢ２４を参照し、検出された眼鏡の像に、付帯物の種類としての「眼鏡」を関連付ける。なお、付帯物である「スマートフォン」は、表示機能や送受信機能を備えているので、出力装置３０にもなり得る。

【0030】

図２の説明に戻って、検索用ＤＢ２５は、ハードディスク等によって構成される記憶部である。検索用ＤＢ２５は、動作物、例えば、人間であるユーザに、付帯物の種類と、所定のフレーム画像データとを対応付けて登録可能である。検索用ＤＢ２５の登録内容については、図８と図１１とを用いて後述する。

【0031】

なお、ＤＢ２３～２５の少なくとも１つは、画像情報処理システム１の内部、かつ、画像情報処理装置２０の外部や、画像情報処理システム１の外部に画像サーバ装置として設けられてもよい。その場合、画像サーバ装置は、画像情報処理装置２０からの要求を受け、要求に従ったデータを探し出して画像情報処理装置２０に転送することができる。

【0032】

入力インターフェース２６は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路２１に出力する。なお、入力インターフェース２６は、入力部の一例である。

【0033】

ディスプレイ２７は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ２７は、処理回路２１の制御に従って各種情報を表示する。なお、ディスプレイ２７は、表示部の一例である。

【0034】

ネットワークインターフェース２８は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成される。ネットワークインターフェース２８は、各規格に応じた通信制御を行うことで、画像情報処理装置２０をネットワークＮ網に接続させる。なお、ネットワークインターフェース２８は、通信部の一例である。

【0035】

画像情報処理システム１のタブレット端末３０は、コンピュータとしての構成を備え、処理回路３１と、記憶回路３２と、入力インターフェース３３と、ディスプレイ３４と、スピーカ３５と、ネットワークインターフェース３６とを備える。処理回路３１は、共通信号伝送路としてのバスを介して、タブレット端末３０を構成する各ハードウェア構成要素３２～３６に相互接続される。処理回路３１は、専用のハードウェアで構成されてもよいし、内蔵のプロセッサによるソフトウェア処理で各種機能を実現するように構成してもよい。

【0036】

なお、タブレット端末３０の処理回路３１と、記憶回路３２と、入力インターフェース３３と、ディスプレイ３４と、ネットワークインターフェース３６との構成は、画像情報処理装置２０の処理回路２１と、記憶回路２２と、入力インターフェース２６と、ディスプレイ２７と、ネットワークインターフェース２８との構成とそれぞれ同一なものであるので、説明を省略する。

【0037】

スピーカ３５は、電気信号を物理振動に変えて、音声等の音を生成して出力するデバイスである。

【0038】

続いて、画像情報処理装置２０の機能について説明する。

【0039】

図５は、画像情報処理装置２０の機能を示すブロック図である。

【0040】

画像情報処理装置２０の処理回路２１は、記憶回路２２に記憶された、又は、処理回路２１内に直接組み込まれたコンピュータプログラムを読み出して実行することで、取得機能２１１と、検出機能２１２と、登録制御機能２１３と、送信機能２１４として機能する。なお、機能２１１～２１４の機能の全部又は一部は、画像情報処理装置２０にＡＳＩＣ等の回路の機能として備えられるものであってもよい。

【0041】

取得機能２１１は、所定の場所に設置された撮像装置１０から、所定の場所の画像データを取得する機能を含む。なお、取得機能２１１は、取得部の一例である。

【0042】

検出機能２１２は、取得機能２１１によって取得された画像データに基づいて、動作物に付帯している付帯物を検出する機能を含む。なお、検出機能２１２は、検出部の一例である。

【0043】

登録制御機能２１３は、検出機能２１２による検出結果に基づいて、付帯物の位置と、その位置に対応する時刻とに関する付帯物情報を検索用ＤＢ２５に登録する機能を含む。付帯物情報は、例えば、画像データである。その場合、取得機能２１１は、画像データとして動画像データを取得し、登録制御機能２１３は、付帯物情報として、動画像データの一部としてのフレーム画像データを検索用ＤＢ２５に登録する。一方で、取得機能２１１は、画像データとして動画像データを取得し、登録制御機能２１３は、付帯物情報として、付帯物の位置と、その位置に対応する時刻とを表現した音声を含む音声データを検索用ＤＢ２５に登録する。

【0044】

なお、取得機能２１１は、フレーム画像データと音声データとの一方を付帯物情報として検索用ＤＢ２５に登録してもよいし、両方を付帯物情報として検索用ＤＢ２５に登録してもよい。また、取得機能２１１は、フレーム画像データ及び／又は音声データに加え、動画像データを付帯物情報として検索用ＤＢ２５に登録してもよい。なお、登録制御機能２１３は、登録制御部の一例である。

【0045】

また、登録制御機能２１３は、所定の付帯物に関する付帯物情報の表示を要求する、画像情報処理装置２０外のタブレット端末３０からの要求に従って、付帯物情報が登録された検索用ＤＢ２５から、所定の付帯物に関する付帯物情報を読み出す機能を有する。

【0046】

その場合、送信機能２１４は、登録制御機能２１３によって読み出された所定の付帯物に関する付帯物情報を画像情報処理装置２０外のタブレット端末３０に送信する機能を含む。タブレット端末３０は、送信機能２１４によって送信された付帯物情報をディスプレイ３４に表示させる。

【0047】

さらに、検出機能２１２は、動作物に付帯している付帯物の、動作物からの離脱動作の後に、動作物の、付帯物からの距離を検出し、距離が閾値より大きいと判断する場合に、警告情報を生成する機能を含む。

【0048】

その場合、送信機能２１４は、検出機能２１２によって生成された警告情報を、画像情報処理装置２０外のタブレット端末３０に送信する機能を含む。タブレット端末３０は、送信機能２１４によって送信された警告情報をスピーカ３５から出力する。なお、送信機能２１４は、送信部の一例である。

【0049】

続いて、図６～図８を用いて、第１の実施形態に係る画像情報処理システム１の動作について説明する。

【0050】

図６と図７とは、第１の実施形態に係る画像情報処理システム１の動作をフローチャートとして示す図である。図６と図７とにおいて、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。

【0051】

まず、図６について説明する。図６は、検索用ＤＢ２５に、後に付帯物の検索を行うために画像情報処理システム１が日頃行う撮像工程や付帯物情報の登録工程に関する。

【0052】

所定の部屋内に設置された撮像装置１０は、所定の画角範囲内における部屋内の撮像を開始する（ステップＳＴ１）。ステップＳＴ１により開始された撮像により、フレーム画像データが画像情報処理装置２０に逐次送信される。

【0053】

画像情報処理装置２０の取得機能２１１は、撮像装置１０（又は撮像装置１０から送信されたフレーム画像データが記憶された記憶回路２２）から、所定の場所のフレーム画像データを取得する（ステップＳＴ２）。検出機能２１２は、ステップＳＴ２によって取得されたフレーム画像データから、付帯物が動作物に付帯されている状態を検出する（ステップＳＴ３）。例えば、ステップＳＴ３において、検出機能２１２は、ステップＳＴ２によって取得されたフレーム画像データから、付帯物としての「眼鏡」が、動作物としての「人間」に付帯されている状態を検出する。以下、付帯物が「眼鏡」であり、動作物が「人間」である場合について説明する。

【0054】

ここで、付帯物が動作物に付帯されている状態か否かは、フレーム画像データに含まれる動作物像と、付帯物像とに基づいて行うことができる。検出機能２１２は、動作物ＤＢ２３を利用して、フレーム画像データに含まれる動作物像に対応する動作の種類「上に載せる」を検出するとともに、付帯物ＤＢ２４を利用して、フレーム画像データに含まれる付帯物像に対応する付帯物の種類「眼鏡」を検出する。

【0055】

続いて、取得機能２１１は、次のフレームについて、撮像装置１０からフレーム画像データを取得する（ステップＳＴ４）。検出機能２１２は、ステップＳＴ４によって取得されたフレーム画像データから、ステップＳＴ３の状態からの変化、つまり、人間による眼鏡の離脱動作を検出したか否かを判断する（ステップＳＴ５）。

【0056】

ここで、人間による眼鏡の離脱動作の検出は、フレーム画像データに含まれる動作物像に基づいて行うことができる。検出機能２１２は、動作物ＤＢ２３を利用して、フレーム画像データに含まれる動作物像に対応する動作の種類「上に載せる」を検出する。

【0057】

例えば、動作物の動作の種類の検出には、例えば、機械学習が用いられる。検出機能２１２は、動作物像を含む大量のフレーム画像データ（又は、動画像データ）を機械学習に通すことでモデルを作成し、ステップＳＴ４によって取得されたフレーム画像データ（又は、そのフレームまでの複数のフレーム画像データからなる動画像データ）をモデルに入力することで、機械学習による比較を行って結果としての動作物の動作の種類を出力する。なお、動作物の動作の種類の検出は、撮像装置１０によって生成される画像データに基づくものに限定されるものではない。例えば、撮像装置１０とは異なるｋｉｎｅｃｔセンサ等の装置により検出されてもよい。

【0058】

図６の説明に戻って、ステップＳＴ５の判断にてＮＯ、つまり、人間による眼鏡の離脱動作を検出していないと判断される場合、取得機能２１１は、さらに次のフレームについて、撮像装置１０から、フレーム画像データを取得する（ステップＳＴ４）。

【0059】

一方、ステップＳＴ５の判断にてＹＥＳ、つまり、人間による眼鏡の離脱動作を検出したと判断される場合、検出機能２１２は、人間から離脱された付帯物の種類（眼鏡、有価証券等）を検出する（ステップＳＴ６）。

【0060】

ここで、離脱された付帯物の種類の検出は、フレーム画像データに含まれる付帯物像に基づいて行うことができる。検出機能２１２は、付帯物ＤＢ２４を利用して、フレーム画像データに含まれる付帯物像に対応する付帯物の種類「眼鏡」を検出する。付帯物ＤＢ２４は、付帯物像と、付帯物名とが対応付けられたデータを予め登録しているからである。

【0061】

例えば、付帯物の種類の検出には、例えば、機械学習が用いられる。検出機能２１２は、付帯物像を含む大量のフレーム画像データを機械学習に通すことでモデルを作成し、ステップＳＴ４によって取得されたフレーム画像データをモデルに入力することで、機械学習による比較を行って結果としての付帯物の種類を出力する。また、付帯物ＤＢ２４は、付帯物像と、付帯物名との他に、個人の識別情報が対応付けられたデータを予め登録していてもよい。その場合、検出機能２１２は、動作物像から動作の種類の他に個人（例えば、ユーザＡ）を特定し、付帯物ＤＢ２４を利用して、ユーザＡについて予め登録された、付帯物像に対応する付帯物名の種類「眼鏡」を検出する。

【0062】

登録制御機能２１３は、ステップＳＴ６によって検出された付帯物の種類を検索用ＤＢ２５に登録する（ステップＳＴ７）。

【0063】

登録制御機能２１３は、動画像データの一部として、当該フレーム画像データを付帯物情報として検索用ＤＢ２５に登録する（ステップＳＴ８）。つまり、登録制御機能２１３は、動作物に付帯している付帯物の、動作物からの離脱動作をトリガとして、付帯物情報を検索用ＤＢ２５に登録する。

【0064】

また、登録制御機能２１３は、ステップＳＴ５のＹＥＳにより眼鏡の離脱があり、眼鏡の部屋への置き忘れの可能性が高いものとして、ステップＳＴ８によって登録されるフレーム画像データにタグ付け等を行ってもよい。ここで、人間であるユーザＡについて、ユーザＡの自宅のリビングと書斎とに撮像装置１０がそれぞれ設置されていたとする。ユーザＡが自宅のリビングで眼鏡の離脱動作が検出された場合、登録制御機能２１３は、リビングの撮像装置１０で撮像され、生成されたフレーム画像データのみを検索用ＤＢ２５に登録する（ステップＳＴ８）。

【0065】

図８は、検索用ＤＢ２５の登録内容の一例を示す図である。

【0066】

図８の最上段は、付帯物の種類「眼鏡」を、動作の種類「（机の）上に載せる」というユーザＡの離脱動作をトリガとして検索用ＤＢ２５に登録されるフレーム画像データを示す。ユーザＡの自宅に配置された撮像装置１０から送信されたフレーム画像データは、ユーザＡに帰属するものとして予め決めておけばよい。なお、ユーザＡの自宅にユーザＡ以外のユーザが存在する場合も有り得る。そのため、ユーザＡの自宅に配置された撮像装置１０から送信されたフレーム画像データであっても、当該フレーム画像データから顔認証の技術を採用して、動作物がユーザＢであると認定してもよい。

【0067】

上から２段目は、付帯物の種類「有価証券（書類）」を、動作の種類「（引き出しに）入れる」というユーザＡの離脱動作をトリガとして検索用ＤＢ２５に登録されるフレーム画像データを示す。上から３段目は、付帯物の種類「有価証券（書類）」を、動作の種類「（書籍に）挟む」というユーザＢの離脱動作をトリガとして検索用ＤＢ２５に登録されるフレーム画像データを示す。最下段は、付帯物の種類「書籍」を、動作の種類「（本棚に）置く」というユーザＢの離脱動作をトリガとして検索用ＤＢ２５に登録されるフレーム画像データを示す。

【0068】

このように、検索用ＤＢ２５には、動作物の動作の種類と付帯物の種類とに対応付けられたフレーム画像データが離脱動作の検出の度に登録される。なお、フレーム画像データには、その生成時刻が付帯される。

【0069】

図６の説明に戻って、画像情報処理システム１は、動画像データを付帯物情報として検索用ＤＢ２５に登録し、ステップＳＴ１によって開始された撮像を終了する（ステップＳＴ９）。なお、動画像データの検索用ＤＢ２５への登録は必須ではない。

【0070】

続いて、図７について説明する。図７は、検索用ＤＢ２５から、後に付帯物の検索を行うタイミングで、画像情報処理システム１が行う検索動作に関する。

【0071】

ユーザＡは、画像情報処理システム１のタブレット端末３０の入力インターフェース３３を通して、所定の付帯物である、ユーザＡが紛失した眼鏡に関する付帯物情報の表示を要求する（ステップＳＴ１１）。画像情報処理装置２０の登録制御機能２１３は、タブレット端末３０からの要求を受け付ける（ステップＳＴ１２）。登録制御機能２１３は、ユーザＡの眼鏡に関する付帯物情報が登録された検索用ＤＢ２５から、ユーザＡの眼鏡に関する付帯物情報をフレーム画像データとして読み出す（ステップＳＴ１３）。なお、フレーム画像データは、図６のステップＳＴ８によって登録された、眼鏡の離脱動作時のフレームに係るものである。

【0072】

送信機能２１４は、ステップＳＴ１３によって読み出された、ユーザＡの眼鏡に関する付帯物情報をタブレット端末３０に送信する（ステップＳＴ１４）。タブレット端末３０は、ステップＳＴ１４によって送信された、ユーザＡの眼鏡に関する付帯物情報をディスプレイ３４に表示する（ステップＳＴ１５）。つまり、タブレット端末３０は、ユーザＡのリビングと書斎とにそれぞれ設置された２個の撮像装置１０のうち、眼鏡の離脱動作が検出された方の撮像装置１０で撮像され、生成された離脱時のフレーム画像データを表示することができる。

【0073】

これにより、タブレット端末３０を操作するユーザＡは、自身の眼鏡について、眼鏡の離脱検出時のフレーム画像データと、その取得時刻との表示により、眼鏡の位置と、その位置に対応する時刻とを認識することができる。

【0074】

具体的には、別の部屋で眼鏡の存在がないことに気づいたユーザＡが、タブレット端末３０を用いて「眼鏡」と入力すると、画像情報処理装置２０は、リビングの机上に載置されたユーザＡの眼鏡を含む、登録されたフレーム画像データをタブレット端末３０のディスプレイ３４に表示して眼鏡が存在する場所を提示する。なお、タブレット端末３０を用いた「眼鏡」の入力は、入力インターフェース３３を介して行われるものであってもよいし、マイク（図示省略）を介した音声入力であってもよい。また、ユーザＡの眼鏡を含む、登録されたフレーム画像データを、「リビング」という単語の音声とセットで検索用ＤＢ２５に登録しておくことで、タブレット端末３０のスピーカ３５から「リビング」という音声データを出力するようにしてもよい。

【0075】

また、ユーザごとの付帯物を、秘密性の高いものから順にレベル分けし、有価証券をレベル１とし、眼鏡をレベル２としてもよい。その場合、眼鏡については、ユーザＡが所有するタブレット端末３０であっても、ユーザＡ以外のユーザ、例えば、家族や介護士等の音声入力を受け付ける一方、有価証券については、ユーザＡ以外のユーザの音声入力は受け付けないようにしてもよい。

【0076】

さらに、検出機能２１２は、付帯物の動作自体を検出してもよい。地震や風や動物等の影響により、付帯物が、その置き場所からすべり落ちたり、持ち去られたりする場合があるからである。その場合、撮像装置１０は、一定時間は撮像を行う。その撮像の間に、フレーム画像データ又は音声から付帯物の動作が検出されると、登録制御機能２１３は、その検出をトリガとして、当該フレーム画像データ（時刻含む）を検索用ＤＢ２５に登録する。なお、登録制御機能２１３は、一定の時間が経過すると、フレーム画像データだけを検索用ＤＢ２５に残して、動画像データを消去してもよい。

【0077】

加えて、検出機能２１２は、付帯物の種類を検出するものとして説明したが、その検出は必須のものではない。ユーザＡの動作が検出されることをトリガとしてフレーム画像データを多数登録し、ユーザＡに対応する全ての付帯物に係る多数のフレーム画像データをタブレット端末３０のディスプレイに３４に表示させる。この構成により、ユーザＡは、ディスプレイに３４に表示された多数のフレーム画像データを閲覧することで、その中から所望のフレーム画像データを検索することができる。

【0078】

ここで、有価証券のように重要性が高い付帯物である場合、家族や介護士等の第三者がタブレット端末３０を使って付帯物を検索する場合もある。そのような付帯物の検索については、特に、タブレット端末３０は、タブレット端末３０にログインするためのパスワードや、指紋、声紋、顔等の認証を行う構成とすることが好適である。

【0079】

以上のように、第１の実施形態に係る画像情報処理システム１によれば、ユーザＡの眼鏡の位置と、その位置に対応する時刻とを示す付帯物情報（例えば、時刻付きのフレーム画像データ）を提示することにより、ユーザＡの眼鏡の捜索を容易にすることができる。

【0080】

２．第２の実施形態
第２の実施形態に係る画像情報処理システムでは、上述の第１の実施形態に係る画像情報処理システムの動作に加え、撮像開始と撮像終了とのタイミングを制御する動作が追加されたものである。また、第２の実施形態に係る画像情報処理システムでは、上述の第１の実施形態に係る画像情報処理システムの動作に加え、検索用ＤＢ２５に登録されるフレーム画像データの種類を増やすものである。

【0081】

第２の実施形態に係る画像情報処理システムと画像情報処理装置の構成は、図１及び図２（図３及び図４についても同様）に示すものと同等であるので説明を省略する。第２の実施形態に係る画像情報処理システムと画像情報処理装置の機能は、図５に示すものと同等であるので説明を省略する。

【0082】

図９と図１０とは、第２の実施形態に係る画像情報処理システム１の動作をフローチャートとして示す図である。図９と図１０とにおいて、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。なお、図９と図１０とにおいて、図６に示すフローチャートと同一ステップには同一符号を付して説明を省略する。

【0083】

まず、図９について説明する。画像情報処理システム１は、人感センサ（図示省略）等のセンサにより、撮像装置１０が設置された部屋内へのユーザＡの入室動作を検出したか否かを判断する（ステップＳＴ２１）。ステップＳＴ２１の判断にてＮＯ、つまり、部屋内へのユーザＡの入室動作を検出していないと判断された場合、画像情報処理システム１は、部屋内へのユーザＡの入室動作を検出したと判断されるまで判断を繰り返す。一方で、ステップＳＴ２１の判断にてＹＥＳ、つまり、部屋内へのユーザＡの入室動作を検出したと判断された場合、撮像装置１０は、その部屋に設置された撮像装置１０による撮像を開始する（ステップＳＴ２１）。

【0084】

ステップＳＴ２に続いて、検出機能２１２は、ステップＳＴ２によって取得されたフレーム画像データから、ユーザＡの眼鏡がユーザＡに付帯されているか否かを判断する（ステップＳＴ２２）。

【0085】

ここで、ユーザＡの眼鏡がユーザＡに付帯されているか否かの判断は、フレーム画像データに含まれる動作物像と付帯物像とに基づいて行うことができる。検出機能２１２は、フレーム画像データにおいて、ユーザＡ（人間）の像と眼鏡の像とが一定範囲内に存在すれば、眼鏡がユーザＡに付帯されていると判断すればよい。

【0086】

ステップＳＴ２２に判断にてＮＯ、つまり、ユーザＡの眼鏡がユーザＡに付帯されていないと判断された場合、取得機能２１１は、次のフレームについて、フレーム画像データを取得する（ステップＳＴ２）。一方、ステップＳＴ２２に判断にてＹＥＳ、つまり、ユーザＡの眼鏡がユーザＡに付帯されていると判断された場合、登録制御機能２１３は、眼鏡が付帯されたユーザＡに係るフレーム画像データを検索用ＤＢ２５に登録する（ステップＳＴ２３）。

【0087】

ここで、ユーザＡについて、ユーザＡの自宅のリビングと書斎とに撮像装置１０がそれぞれ設置されていたとする。ユーザＡが自宅のリビングで眼鏡を付帯したユーザＡが検出された場合、登録制御機能２１３は、リビングの撮像装置１０による撮像で生成されたフレーム画像データを検索用ＤＢ２５に登録すると共に、別のタイミングで書斎の撮像装置１０による撮像で生成されたフレーム画像データを検索用ＤＢ２５に登録する（ステップＳＴ２３）。

【0088】

図１１は、検索用ＤＢ２５の登録内容の一例を示す図である。図１１に示す登録内容は、図８に示す登録内容に追加されるものである。

【0089】

図１１の上段は、付帯物の種類「眼鏡」を付帯するユーザＡの検出で検索用ＤＢ２５に登録されるフレーム画像データを示す。

【0090】

図１０の説明に進む。ステップＳＴ８に続いて、撮像装置１０から、さらに次のフレーム画像データを取得する（ステップＳＴ２４）。画像情報処理システム１は、人感センサ（図示省略）等により部屋内からのユーザＡの退室動作を検出したか否かを判断する（ステップＳＴ２５）。ステップＳＴ２５の判断にてＮＯ、つまり、部屋内からのユーザＡの退室動作を検出していないと判断された場合、取得機能２１１は、さらに次のフレームについて、フレーム画像データを取得する（ステップＳＴ２４）。

【0091】

一方で、ステップＳＴ２５の判断にてＹＥＳ、つまり、部屋内からのユーザＡの退室動作を検出したと判断された場合、登録制御機能２１３は、当該フレームにおける、ユーザＡが居ない動作物に係るフレーム画像データを検索用ＤＢ２５に登録する（ステップＳＴ２６）。つまり、登録制御機能２１３は、動作物の所定の動作をトリガとして、付帯物情報を検索用ＤＢ２５に登録する。

【0092】

また、登録制御機能２１３は、ステップＳＴ５のＹＥＳ、かつ、ステップＳＴ２５のＹＥＳにより眼鏡の離脱があり、眼鏡の部屋への置き忘れがあったものとして、ステップＳＴ２６によって登録されるフレーム画像データにタグ付け等を行ってもよい。第１の実施形態では、ステップＳＴ５のみの判断で置き忘れの可能性を評価したが、ここでは、ステップＳＴ５の判断とステップＳＴ２５の判断とにより、置き忘れがあったことを評価することができる。

【0093】

図１１の最下段は、ユーザＡの退室動作をトリガとして検索用ＤＢ２５に登録されるフレーム画像データを示す。ユーザＡの自宅に配置された撮像装置１０から送信されたフレーム画像データは、ユーザＡに帰属するものとして予め決めておけばよい。なお、ユーザＡの自宅にユーザＡ以外のユーザが存在する場合も有り得る。そのため、ユーザＡの自宅に配置された撮像装置１０から送信されたフレーム画像データであっても、当該フレーム画像データから顔認証の技術を採用して、動作物がユーザＢであると認定してもよい。

【0094】

図１０の説明に戻って、画像情報処理システム１は、動画像データを付帯物情報として検索用ＤＢ２５に登録し、ステップＳＴ１によって開始された撮像を終了する（ステップＳＴ９）。これにより、ユーザＡ等の動作物がリビング等の部屋内から退室した場合に撮像を終了することによって、動画像データのデータ量が膨大になることを避けることができる。なお、ユーザＡ等の動作物が撮像装置１０の視界から消えたことをフレーム画像データから判断し、撮像を終了するようにしてもよい。

【0095】

続けて、画像情報処理システム１は、検索用ＤＢ２５から眼鏡の検索を行うタイミングで、図７で説明したように検索動作を行う。これにより、画像情報処理システム１は、眼鏡の離脱動作時のフレーム画像データ（ステップＳＴ８）のみならず、眼鏡が付帯されたユーザＡに係るフレーム画像データ（ステップＳＴ２３）や、ユーザＡの居ない眼鏡だけのフレーム画像データ（ステップＳＴ２６）をタブレット端末３０のディスプレイ３４に選択的に表示することができる。なお、ユーザＡの眼鏡に対して複数のフレーム画像データは、それぞれ撮像時刻を付帯しているので、時刻でソートしながら有用なものを探し出すこともできる。

【0096】

以上のように、第２の実施形態に係る画像情報処理システム１によれば、第１の実施形態と同様の効果が得られる。加えて、第２の実施形態に係る画像情報処理システム１によれば、ユーザの、眼鏡を離脱した後の退室時のフレーム画像データをユーザに提示することにより、ユーザＡの眼鏡の捜索をさらに容易にすることができる。また、第２の実施形態に係る画像情報処理システム１によれば、撮像開始と撮像終了のタイミング制御を自動化することができるので、記録媒体等のハードウェア資源のコストの増大を抑えることもできる。

【0097】

３．第３の実施形態
第３の実施形態に係る画像情報処理システムでは、上述の第１の実施形態に係る画像情報処理システムの動作に加え、特定の動作物に関する特定の音声データを検出した場合に、フレーム画像データを検索用ＤＢ２５に登録するものである。

【0098】

第３の実施形態に係る画像情報処理システムと画像情報処理装置の構成は、図１及び図２（図３及び図４についても同様）に示すものと同等であるので説明を省略する。第３の実施形態に係る画像情報処理システムと画像情報処理装置の機能は、図５に示すものと同等であるので説明を省略する。

【0099】

図１２は、第３の実施形態に係る画像情報処理システム１の動作をフローチャートとして示す図である。図１２において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。なお、図１２において、図６に示すフローチャートと同一ステップには同一符号を付して説明を省略する。

【0100】

ユーザＢのタブレット端末３０は、ユーザＢ（又はその他のユーザ）の特定の「大切」等、予め登録されたものと同一と推定される音声データに反応して、そのタイミングでユーザＢが携帯している付帯物を秘密性の高い重要な付帯物であると認定し、付帯物情報を検索用ＤＢ２５に登録するものである。外出先から帰宅したユーザＢが、重要な付帯物である有価証券を紛失しないように、自宅の書斎の本に挟んで保管しようと考える場合を想定する。

【0101】

検出機能２１２は、マイク（図示省略）により部屋内のユーザＢが発した特定の音声データを検出したか否かを判断する（ステップＳＴ３１）。ステップＳＴ３１の判断にてＮＯ、つまり、ユーザＢの特定の音声データを検出していないと判断された場合、検出機能２１２は、ユーザＢの特定の音声データを検出するまで判断を繰り返す。一方で、ステップＳＴ３１の判断にてＹＥＳ、つまり、ユーザＢの特定の音声データを検出したと判断された場合、登録制御機能２１３は、特定の音声データの検出時刻を検索用ＤＢ２５に登録する（ステップＳＴ３２）。また、ステップＳＴ５の後、図６のステップＳＴ６に進む。

【0102】

つまり、ステップＳＴ３１のＹＥＳによって特定の音声データの検出時刻が検索用ＤＢ２５に登録されると、後に、有価証券がユーザＢから離脱した際のフレーム画像データ（図８の上から３段目）が検索用ＤＢ２５に登録されることになる（１回目の離脱動作）。また、有価証券が書籍に挟まれた後で、その書籍がユーザＢからさらに離脱した場合は、有価証券が挟まれた書籍がユーザＢから離脱した際のフレーム画像データ（図８の最下段）もまた検索用ＤＢ２５に登録されることになる（２回目の離脱動作）。

【0103】

続けて、画像情報処理システム１は、検索用ＤＢ２５から有価証券の検索を行うタイミングで、図７で説明したように検索動作を行う。

【0104】

なお、付帯物の種類が「書類」という大分類しかない場合には、検索用ＤＢ２５には、「書類」に含まれる「有価証券」に関するフレーム画像データと、「書類」に含まれる「保険証」に関するフレーム画像データと、「書類」に含まれる「マイナンバーカード」に関するフレーム画像データとが混在することになる。タブレット端末３０は、これらの全てのフレーム画像データをディスプレイ３４に表示させることで、その中から、ユーザが所望の付帯物に関するフレーム画像データを選択できるようにしてもよい。

【0105】

また、付帯物の種類が「有価証券」と「保険証」と「マイナンバーカード」との場合には、ユーザがタブレット端末３０を使って「有価証券」の表示を要求すると、画像情報処理装置２０から、当該ユーザの「有価証券」に関するフレーム画像データが送信される。しかし、その場合に限定されるものではない。例えば、ユーザがタブレット端末３０を使って「有価証券」の表示を要求すると、画像情報処理装置２０から、大分類である「書類」に関する全てのフレーム画像データ（「有価証券」と「保険証」と「マイナンバーカード」）や、又は、中分類である「紙類」に関する全てのフレーム画像データ（「有価証券」と「保険証」）が送信されるようにしてもよい。前者の場合、タブレット端末３０は、大分類「書類」に関する全てのフレーム画像データをディスプレイ３４に表示させることで、その中から、ユーザが所望の「有価証券」と思われるフレーム画像データを選択できるようにする。後者の場合、タブレット端末３０は、中分類「紙類」に関する全てのフレーム画像データをディスプレイ３４に表示させることで、その中から、ユーザが所望の「有価証券」と思われるフレーム画像データを選択できるようにする。

【0106】

以上のように、第３の実施形態に係る画像情報処理システム１によれば、第１の実施形態及び第２の実施形態と同様の効果が得られる。加えて、第３の実施形態に係る画像情報処理システム１によれば、ユーザの、有価証券の離脱動作に係るフレーム画像データをユーザに提示することにより、ユーザＢの有価証券の捜索をさらに容易にすることができる。また、第３の実施形態に係る画像情報処理システム１によれば、特定の音声データのみに反応した特定の付帯物である有価証券に関するフレーム画像データのみが検索用ＤＢ２５に登録されるので、記録媒体等のハードウェア資源のコストの増大を抑えることもできる。

【0107】

４．第４の実施形態
第２の実施形態に係る画像情報処理システムでは、上述の第１の実施形態に係る画像情報処理システムの動作に加え、忘れ物があることを検出し、ユーザが携帯する出力装置３０に報知するものである。

【0108】

第４の実施形態に係る画像情報処理システムと画像情報処理装置の構成は、図１及び図２（図３及び図４についても同様）に示すものと同等であるので説明を省略する。第４の実施形態に係る画像情報処理システムと画像情報処理装置の機能は、図５に示すものと同等であるので説明を省略する。なお、第４の実施形態では、出力装置３０は、特に言及しない限り、ワイヤレスブザーである。

【0109】

図１３と図１４とは、第４の実施形態に係る画像情報処理システム１の動作をフローチャートとして示す図である。図１３と図１４とにおいて、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。なお、図１３と図１４とにおいて、図６に示すフローチャートと同一ステップには同一符号を付して説明を省略する。

【0110】

まず、図１３について説明する。ステップＳＴ２に続いて、検出機能２１２は、ステップＳＴ２によって取得されたフレーム画像データから、ユーザＡの、付帯物（例えば、スマートフォン）の取り出し動作を検出したか否かを判断する（ステップＳＴ４１）。ステップＳＴ４１の判断にてＮＯ、つまり、ユーザＡのスマートフォンの取り出し動作を検出していないと判断される場合、取得機能２１１は、撮像装置１０から、さらに次のフレームについて、フレーム画像データを取得する（ステップＳＴ２）。

【0111】

一方、ステップＳＴ４１の判断にてＹＥＳ、つまり、ユーザＡのスマートフォンの取り出し動作を検出したと判断される場合、当該フレームの、ユーザＡのスマートフォンの取り出し動作に係るフレーム画像データを検索用ＤＢ２５に登録する（ステップＳＴ４２）。
図１４に進んで、検出機能２１２は、取り出された付帯物は、携帯リストに挙げられているものであるか否かを判断する（ステップＳＴ４３）。

【0112】

図１５は、携帯リストの一例を示す図である。

【0113】

図１５に示すように、携帯リストは、ユーザごとに、携帯すべき付帯物が予め対応付けられて成る。例えば、ユーザＡには、携帯すべき付帯物として、「財布」、「保険証」、「スマートフォン」が対応付けられる。また、ユーザＢには、携帯すべき付帯物として、「財布」、「保険証」、「眼鏡」、「つえ」が対応付けられる。

【0114】

図１４の説明に戻って、ステップＳＴ４３の判断にてＹＥＳ、つまり、取り出された付帯物が携帯リストに挙げられているものであると判断される場合、登録制御機能２１３は、当該フレームにおける、ユーザＡが居ない動作物に係るフレーム画像データを検索用ＤＢ２５に登録する（ステップＳＴ４４）。検出機能２１２は、ユーザＡが携帯して移動するワイヤレスブザー３０の、ユーザＡの付帯物であるスマートフォンからの距離を検出し、その距離が閾値より大きいか否かを判断する（ステップＳＴ４５）。

【0115】

ステップＳＴ４５の判断にてＮＯ、つまり、ワイヤレスブザー３０の、ユーザＡのスマートフォンからの距離が閾値以下であると判断される場合、検出機能２１２は、その判断を繰り返す。一方で、ステップＳＴ４５の判断にてＹＥＳ、つまり、ワイヤレスブザー３０の、ユーザＡのスマートフォン（部屋や自宅の位置情報）からの距離が閾値より大きいと判断される場合、検出機能２１２は、警告情報を生成する（ステップＳＴ４６）。なお、ユーザＡが携帯して移動するワイヤレスブザー３０の位置情報は、ＧＰＳ（Global Positioning System）等によって得られればよい。

【0116】

送信機能２１４は、ステップＳＴ４６によって生成された警告情報をワイヤレスブザー３０に送信する（ステップＳＴ４７）。これにより、ワイヤレスブザー３０は、スピーカ３５から警告情報を音声データとして出力することができる。又は、出力装置３０が、タブレット端末である場合は、タブレット端末３０は、音声データのみならず、ディスプレイ３４に警告情報を文字データ又は図形データとして表示することができる。

【0117】

図１６は、ワイヤレスブザー３０の出力を説明するための概念図である。

【0118】

図１６は、ステップＳＴ４１のＹＥＳによりスマートフォンの取り出し動作が検出され、かつ、ワイヤレスブザー３０を携帯したユーザＡの、スマートフォンからの距離が閾値より大きい場合の概念を示す。撮像装置１０が設置されたリビングでバッグからスマートフォンを取り出した後で外出する場合が想定される。

【0119】

このような状況の場合に、ユーザＡが携帯するワイヤレスブザー３０から、警告情報を出力することで、ユーザＡに、忘れ物があることを報知することができる。
図１４の説明に戻って、画像情報処理システム１は、ステップＳＴ１によって開始された撮像を終了し、動画像データを付帯物情報として検索用ＤＢ２５に登録する（ステップＳＴ９）。ステップＳＴ４３でＮＯと判断される場合も、ステップＳＴ９に進む。

【0120】

続けて、画像情報処理システム１は、検索用ＤＢ２５から眼鏡の検索を行うタイミングで、図７で説明したように検索動作を行う。ユーザＡへの警告警報の提示のみならず、ユーザＡが後から画像データの確認（どの部屋に置き忘れているのかの確認等）をしたい場合があるからである。これにより、画像情報処理システム１は、出力装置３０がタブレット端末である場合に、スマートフォンの離脱動作時のフレーム画像データ（ステップＳＴ８）をタブレット端末３０のディスプレイ３４に表示することができる。

【0121】

以上のように、第４の実施形態に係る画像情報処理システム１によれば、第１の実施形態と同様の効果が得られる。加えて、第４の実施形態に係る画像情報処理システム１によれば、ユーザの、スマートフォンの離脱さえも失念していた場合でも、スマートフォンの忘れ物をユーザＡに報知することができる。

【0122】

なお、取得機能２１１は、取得部の一例である。検出機能２１２は、検出部の一例である。登録制御機能２１３は、登録制御部の一例である。送信機能２１４は、送信部の一例である。

【0123】

以上説明した少なくとも１つの実施形態によれば、紛失した任意の付帯物を、持ち主であるユーザが容易に捜索することができる手段を提供することができる。特に、突発的に生じる任意の付帯物の紛失の場合に有効である。

【0124】

なお、いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0125】

１ 画像情報処理システム
１０ 撮像装置
２０ 画像情報処理装置
３０ 出力装置（例えば、タブレット端末、ワイヤレスブザー）
２１ 処理回路
２３ 動作物ＤＢ
２４ 付帯物ＤＢ
２５ 検索用ＤＢ
２１１ 取得機能
２１２ 検出機能
２１３ 登録制御機能
２１４ 送信機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】