特許 7437684 ライフログ提供システムおよびライフログ提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】ライフログ提供システムおよびライフログ提供方法

(51)【国際特許分類】

   H04N 21/231 20110101AFI20240216BHJP

   H04N 21/234 20110101ALI20240216BHJP

【ＦＩ】

H04N21/231

H04N21/234

【請求項の数】 8

(21)【出願番号】P 2020057915

(22)【出願日】2020-03-27

(65)【公開番号】P2021158567

(43)【公開日】2021-10-07

【審査請求日】2023-03-20

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】平澤 園子

(72)【発明者】

【氏名】藤松 健

【審査官】川中 龍太

(56)【参考文献】

【文献】特開２０１９－１２５８７０（ＪＰ，Ａ）

【文献】特開２００４－０４０２０５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１６７５９０（ＵＳ，Ａ１）

【文献】韓国公開特許第１０－２０１４－００６７７３０（ＫＲ，Ａ）

【文献】特開２０１６－１３９３８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

施設内の子供をカメラにより撮影した画像をライフログとしてユーザに提供する処理をプロセッサにより実行するライフログ提供システムであって、
前記プロセッサが、
前記カメラの撮影画像に対する画像認識により、子供の成長状況に関係する特定事象を検知し、
検知された前記特定事象が撮影されたシーン画像を、前記カメラの撮影画像から抽出し、
少なくとも子供の成長の時間軸および特定事象ごとの標準的な成長状況を表す指標を含むマップ画像上に、前記シーン画像のサムネイルを、そのシーン画像に関する前記特定事象の検知日時に対応するように重畳した成長マップを、前記ライフログとして生成することを特徴とするライフログ提供システム。

【請求項2】

施設に設置されたエッジコンピュータと、
このエッジコンピュータにネットワークを介して接続されたクラウドコンピュータと、を備え、
前記エッジコンピュータに設けられた第１のプロセッサが、
前記特定事象を検知する処理と、前記シーン画像を抽出する処理とを行って、前記シーン画像を前記クラウドコンピュータに送信し、
前記クラウドコンピュータに設けられた第２のプロセッサが、
前記エッジコンピュータから受信した前記シーン画像に基づいて、前記成長マップを生成して、その成長マップをユーザ装置に配信することを特徴とする請求項１に記載のライフログ提供システム。

【請求項3】

前記プロセッサは、
骨格検知処理、行動認識処理、および表情推定処理の少なくともいずれかを含む画像認識処理により、前記特定事象を検知することを特徴とする請求項１に記載のライフログ提供システム。

【請求項4】

前記プロセッサは、
前記サムネイルを選択するユーザの操作に応じて、選択された前記サムネイルに対応する特定事象が発生した日時に関する時間情報をユーザ装置に表示することを特徴とする請求項１に記載のライフログ提供システム。

【請求項5】

前記プロセッサは、
前記サムネイルを選択するユーザの操作に応じて、選択された前記サムネイルに対応する前記シーン画像をユーザ装置で再生することを特徴とする請求項１に記載のライフログ提供システム。

【請求項6】

前記プロセッサは、
お気に入りの登録を指示するユーザの操作に応じて、対象とする特定事象をお気に入りに登録することを特徴とする請求項１に記載のライフログ提供システム。

【請求項7】

前記プロセッサは、
お気に入りの閲覧を指示するユーザの操作に応じて、お気に入りに登録された特定事象に関する情報をユーザ装置で一覧表示することを特徴とする請求項１に記載のライフログ提供システム。

【請求項8】

施設内の子供をカメラにより撮影した画像をライフログとしてユーザに提供する処理をプロセッサにより実行するライフログ提供方法であって、
前記プロセッサが、
前記カメラの撮影画像に対する画像認識により、子供の成長状況に関係する特定事象を検知し、
検知された前記特定事象が撮影されたシーン画像を、前記カメラの撮影画像から抽出し、
少なくとも子供の成長の時間軸および特定事象ごとの標準的な成長状況を表す指標を含むマップ画像上に、前記シーン画像のサムネイルを、そのシーン画像に関する前記特定事象の検知日時に対応するように重畳した成長マップを、前記ライフログとして生成することを特徴とするライフログ提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、施設内の子供をカメラにより撮影した画像をライフログとしてユーザに提供するライフログ提供システムおよびライフログ提供方法に関するものである。

【背景技術】

【0002】

近年、共働き世帯が増えるなどの理由で、子供が低月齢から保育園に預けられることも多く、親などの保護者が子供の「成長の機会」を目にすることが減少している。このため、保育園に低月齢から預けることを躊躇したり、成長の機会を逃したことがずっと悔やまれたり、また子供の成長状況を保育士伝いにしか確認できないなど、保護者が不満に感じることが多く、このような不満を解消できる技術が望まれる。

【0003】

このような要望に対して、従来、カメラの撮影画像から子供の印象的なシーン、例えば、その日の笑顔、初めて立った日の様子、初めて歩いた様子などを認識して、その子供の印象的なシーンが撮影された画像をカメラの撮影画像から抽出して出力する技術が知られている（特許文献１参照）。この技術では、保護者が直接見ることができない子供の印象的なシーンを保護者が閲覧できるようになり、保護者の不満を解消することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１２５８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

さて、従来の技術では、子供の印象的なシーンが撮影された画像を保護者に提示することができるが、印象的であるかどうかは保護者の主観に依存するため、提示された画像が保護者が望むものであるとは限らない。また、保護者の立場からすると、子供の成長状況は保育士伝いにしか確認ができない。このため、保育施設で預かっている子供のライフログとして子供を撮影した画像を保護者に提示するにあたっては、子供の成長状況を把握できることが望まれる。特に、全ての保護者にとって共通の尺度で、子供の成長状況を体系的に把握できることが望まれる。

【0006】

そこで、本発明は、子供の成長状況を体系的に把握できるライフログをユーザに提供することができるライフログ提供システムおよびライフログ提供方法を提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明のライフログ提供システムは、施設内の子供をカメラにより撮影した画像をライフログとしてユーザに提供する処理をプロセッサにより実行するライフログ提供システムであって、前記プロセッサが、前記カメラの撮影画像に対する画像認識により、子供の成長状況に関係する特定事象を検知し、検知された前記特定事象が撮影されたシーン画像を、前記カメラの撮影画像から抽出し、少なくとも子供の成長の時間軸および特定事象ごとの標準的な成長状況を表す指標を含むマップ画像上に、前記シーン画像のサムネイルを、そのシーン画像に関する前記特定事象の検知日時に対応するように重畳した成長マップを、前記ライフログとして生成する構成とする。

【0008】

また、本発明のライフログ提供方法は、施設内の子供をカメラにより撮影した画像をライフログとしてユーザに提供する処理をプロセッサにより実行するライフログ提供方法であって、前記プロセッサが、前記カメラの撮影画像に対する画像認識により、子供の成長状況に関係する特定事象を検知し、検知された前記特定事象が撮影されたシーン画像を、前記カメラの撮影画像から抽出し、少なくとも子供の成長の時間軸および特定事象ごとの標準的な成長状況を表す指標を含むマップ画像上に、前記シーン画像のサムネイルを、そのシーン画像に関する前記特定事象の検知日時に対応するように重畳した成長マップを、前記ライフログとして生成する構成とする。

【発明の効果】

【0009】

本発明によれば、子供の標準的な成長状況を表す指標により、保護者などのユーザが、主観に左右されない客観的な尺度で、子供の成長状況を判断することができる。また、保護者と施設職員とで共通の指標に基づいて、子供の成長状況を把握することができる。これにより、子供の成長状況を体系的に把握することができるライフログをユーザに提供することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係るライフログ提供システムの全体構成図

【図2】ライフログ提供システムの概要を示す説明図

【図3】ユーザ端末５に表示される画面の遷移状況を示す説明図

【図4】ユーザ端末５に表示される成長マップ画面を示す説明図

【図5】エッジコンピュータ３およびクラウドコンピュータ４の概略構成を示すブロック図

【図6】クラウドコンピュータ４で処理される管理情報を示す説明図

【図7】エッジコンピュータ３で行われる処理の手順を示すフロー図

【図8】クラウドコンピュータ４で行われる顔照合処理の手順を示すフロー図

【図9】クラウドコンピュータ４で行われるログイン処理、成長マップ生成処理、および配信処理の手順を示すフロー図

【発明を実施するための形態】

【0011】

前記課題を解決するためになされた第１の発明は、施設内の子供をカメラにより撮影した画像をライフログとしてユーザに提供する処理をプロセッサにより実行するライフログ提供システムであって、前記プロセッサが、前記カメラの撮影画像に対する画像認識により、子供の成長状況に関係する特定事象を検知し、検知された前記特定事象が撮影されたシーン画像を、前記カメラの撮影画像から抽出し、少なくとも子供の成長の時間軸および特定事象ごとの標準的な成長状況を表す指標を含むマップ画像上に、前記シーン画像のサムネイルを、そのシーン画像に関する前記特定事象の検知日時に対応するように重畳した成長マップを、前記ライフログとして生成する構成とする。

【0012】

これによると、子供の標準的な成長状況を表す指標により、保護者などのユーザが、主観に左右されない客観的な尺度で、子供の成長状況を判断することができる。また、保護者と施設職員とで共通の指標に基づいて、子供の成長状況を把握することができる。これにより、子供の成長状況を体系的に把握することができるライフログをユーザに提供することができる。

【0013】

また、第２の発明は、施設に設置されたエッジコンピュータと、このエッジコンピュータにネットワークを介して接続されたクラウドコンピュータと、を備え、前記エッジコンピュータに設けられた第１のプロセッサが、前記特定事象を検知する処理と、前記シーン画像を抽出する処理とを行って、前記シーン画像を前記クラウドコンピュータに送信し、前記クラウドコンピュータに設けられた第２のプロセッサが、前記エッジコンピュータから受信した前記シーン画像に基づいて、前記成長マップを生成して、その成長マップをユーザ装置に配信する構成とする。

【0014】

これによると、エッジコンピュータからクラウドコンピュータに送信するデータ量を削減して通信負荷を低減することができる。

【0015】

また、第３の発明は、前記プロセッサは、骨格検知処理、行動認識処理、および表情推定処理の少なくともいずれかを含む画像認識処理により、前記特定事象を検知する構成とする。

【0016】

これによると、特定事象を精度よく検知することができる。

【0017】

また、第４の発明は、前記プロセッサは、前記サムネイルを選択するユーザの操作に応じて、選択された前記サムネイルに対応する特定事象が発生した日時に関する時間情報をユーザ装置に表示する構成とする。

【0018】

これによると、ユーザが注目した特定事象が発生した日時をユーザが容易に確認することができる。

【0019】

また、第５の発明は、前記プロセッサは、前記サムネイルを選択するユーザの操作に応じて、選択された前記サムネイルに対応する前記シーン画像をユーザ装置で再生する構成とする。

【0020】

これによると、ユーザが注目した特定事象に関するシーン画像をユーザが容易に閲覧することができる。

【0021】

また、第６の発明は、前記プロセッサは、お気に入りの登録を指示するユーザの操作に応じて、対象とする特定事象をお気に入りに登録する構成とする。

【0022】

これによると、ユーザが注目した特定事象をお気に入りに登録することで、その特定事象のシーン画像を後から容易に繰り返し閲覧することができる。

【0023】

また、第７の発明は、前記プロセッサは、お気に入りの閲覧を指示するユーザの操作に応じて、お気に入りに登録された特定事象に関する情報をユーザ装置で一覧表示する構成とする。

【0024】

これによると、ユーザが、お気に入りに登録された特定事象に関する情報をユーザ装置で容易に確認することができる。なお、一覧表示される特定事象に関する情報は、例えば、特定事象の名称、特定事象が発生した日時、対象とする子供の月齢（生後月日数）などである。

【0025】

また、第８の発明は、施設内の子供をカメラにより撮影した画像をライフログとしてユーザに提供する処理をプロセッサにより実行するライフログ提供方法であって、前記プロセッサが、前記カメラの撮影画像に対する画像認識により、子供の成長状況に関係する特定事象を検知し、検知された前記特定事象が撮影されたシーン画像を、前記カメラの撮影画像から抽出し、少なくとも子供の成長の時間軸および特定事象ごとの標準的な成長状況を表す指標を含むマップ画像上に、前記シーン画像のサムネイルを、そのシーン画像に関する前記特定事象の検知日時に対応するように重畳した成長マップを、前記ライフログとして生成する構成とする。

【0026】

これによると、第１の発明と同様に、子供の成長状況を体系的に把握できるライフログをユーザに提供することができる。

【0027】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0028】

図１は、本実施形態に係るライフログ提供システムの全体構成図である。図２は、ライフログ提供システムの概要を示す説明図である。

【0029】

このライフログ提供システムは、保育園などの保育施設に預けられた子供（乳幼児）を撮影した画像をライフログとして、保育施設に子供を預けている親などの保護者や、保育施設で保育業務に携わる保育士などの施設職員などのユーザに提供するものであり、カメラ１と、レコーダー２と、エッジコンピュータ３と、クラウドコンピュータ４と、ユーザ端末５（ユーザ装置）と、を備えている。

【0030】

カメラ１、レコーダー２、およびエッジコンピュータ３は保育施設に設置される。このカメラ１とレコーダー２とエッジコンピュータ３とは、ＬＡＮなどのネットワークを介して接続されている。また、エッジコンピュータ３とクラウドコンピュータ４とユーザ端末５とは、インターネットなどのネットワークを介して接続されている。

【0031】

カメラ１は、保育施設内を撮影する。このカメラ１により、保育施設内での子供の日常の生活風景が常時撮影される。

【0032】

レコーダー２は、カメラ１の撮影画像を蓄積（録画）する。

【0033】

エッジコンピュータ３は、カメラ１の撮影画像をレコーダー２から取得して、その撮影画像に対する画像認識により、子供の成長状況に関係する特定事象を検知して、その検知結果に基づいて、カメラ１の撮影画像から特定事象を含むシーン画像を抽出して、そのシーン画像と、特定事象の事象ＩＤや検知日時などの情報とを、クラウドコンピュータ４に送信する。ここで、特定事象とは、子供に現れる種々の事象（行動、表情、状態など）のうち、子供の成長状況を判断する際の対象（評価事項）とする事象である。

【0034】

クラウドコンピュータ４は、エッジコンピュータ３から受信したシーン画像に写る子供を顔照合により特定して、予め登録された子供の情報とシーン画像とを対応付ける。また、クラウドコンピュータ４は、子供の成長状況（成長度合い）を可視化した成長マップを生成する。また、クラウドコンピュータ４は、ユーザ端末５からのシステムへのログインを管理し、ユーザに関係する子供の成長マップおよびシーン画像をライフログとしてユーザ端末５に配信する。

【0035】

ユーザ端末５は、ＰＣやスマートフォンであり、ユーザとしての保護者（親など）や施設職員（保育士など）が操作する。本実施形態では、クラウドコンピュータ４からライフログとして配信される成長マップおよびシーン画像を表示する。これにより、ユーザとしての保護者や施設職員が、保護者が養育する子供や施設職員が担当する子供の成長マップおよびシーン画像を閲覧することができる。

【0036】

なお、本実施形態では、エッジコンピュータ３およびクラウドコンピュータ４の２つの情報処理装置が設けられた構成としたが、エッジコンピュータ３およびクラウドコンピュータ４の各機能を単一の情報処理装置で実現する構成、すなわち、エッジコンピュータ３およびクラウドコンピュータ４のいずれか一方のみが設けられた構成としてもよい。

【0037】

また、本実施形態では、保育施設内に設置されたカメラ１の撮影画像から、特定事象が撮影されたシーン画像が抽出されるようにしたが、公園などに出かけた外出時の状況をスマートフォンなどで撮影した撮影画像から、シーン画像が抽出されるようにしてもよい。

【0038】

なお、本実施形態では、エッジコンピュータ３が、特定事象を検知して、その特定事象が撮影されたシーン画像（動画像）を、レコーダー２に録画された画像の中から抽出するようにしたが、施設職員などが、特定事象が撮影されたシーン画像を選択する操作を行うことで、シーン画像が抽出されるようにしてもよい。また、エッジコンピュータ３が、シーン画像の候補を抽出して、施設職員などが、シーン画像の候補を選択するようにしてもよい。

【0039】

次に、ユーザ端末５に表示される画面について説明する。図３は、ユーザ端末５に表示される画面の遷移状況を示す説明図である。

【0040】

ユーザ端末５では、クラウドコンピュータ４にアクセスすると、まず、図３（Ａ）に示すログイン画面が表示される。このログイン画面で、ユーザが、入力部１１，１２にユーザＩＤおよびパスワードを入力してログインボタン１３を操作すると、図３（Ｂ）に示す人物選択画面に遷移する。

【0041】

図３（Ｂ）に示す人物選択画面では、複数の子供ごとの人物選択部１５，１６が表示される。この人物選択部１５，１６には、人物画像と氏名と月齢とが表示される。この人物選択画面で、ユーザが、複数の人物選択部１５，１６のいずれかを選択する操作を行うと、図３（Ｃ）に示す成長マップ画面に遷移する。

【0042】

なお、人物選択画面は、保育施設に複数の子供を預けている保護者や施設職員がログインした場合に表示される。保育施設に子供を１人しか預けていない保護者がログインした場合には人物選択画面は省略される。また、ユーザが、親などの保護者の場合には、自分が養育する子供が表示され、ユーザが、保育士などの施設職員の場合には、自分が担当する子供が表示される。

【0043】

図３（Ｃ）に示す成長マップ画面では、ユーザが選択した子供に関する成長マップ２１が表示される。この成長マップ２１には、特定事象に該当する子供の動作が写るシーン画像のサムネイル２２が表示される。ユーザが、サムネイル２２を選択する操作を行うと、図３（Ｄ）に示す動画再生画面に遷移する。また、成長マップ画面には、お気に入り閲覧マーク２３が表示される。ユーザが、お気に入り閲覧マーク２３を操作すると、図３（Ｅ）に示すお気に入り一覧画面に遷移する。

【0044】

図３（Ｄ）に示す動画再生画面には、動画ビューワ２５が表示される。この動画ビューワ２５では、成長マップ上で選択したサムネイル２２に対応する特定事象に関するシーン画像（動画）が再生される。また、動画再生画面には、特定事象の名称と、特定事象が検知された日時（撮影日時）と、特定事象が検知された時点（撮影時点）での子供の月齢と、が表示される。また、動画再生画面には、お気に入り登録マーク２６が表示される。ユーザが、お気に入り登録マーク２６を操作すると、該当する特定事象をお気に入りに登録する処理が行われる。

【0045】

図３（Ｅ）に示すお気に入り一覧画面には、対象とする子供に関して過去に検知された特定事象のうち、お気に入りに登録された特定事象に関する情報が一覧表示される。具体的には、特定事象の名称（「できごと」）と、特定事象が検知された日時（「できた日」）と、特定事象が検知された時点での子供の月齢と、が表示される。このお気に入り一覧画面において、ユーザが、特定事象の名称を選択する操作を行うと、図３（Ｄ）に示す動画再生画面に遷移する。

【0046】

次に、ユーザ端末５に表示される成長マップ画面について説明する。図４は、ユーザ端末５に表示される成長マップ画面を示す説明図である。

【0047】

成長マップ画面には、子供の成長状況（成長度合い）を可視化した成長マップ２１が表示される。この成長マップ２１では、マップ画像２８上に、特定事象に該当する子供の動作が写るシーン画像のサムネイル２２が重畳表示される。

【0048】

マップ画像２８には、子供の成長状況を判断する際の対象となる特定事象の分野に関する項目として、運動能力の発達に関する特定事象（「運動」）の項目欄３１と、器用さの発達に関する特定事象（「手の動き」）の項目欄３２と、精神的な発達に関する特定事象（「心・言葉・社会性」）の項目欄３３とが設けられている。

【0049】

図４に示す例では、運動能力の発達に関する特定事象（「運動」）の項目として、おすわりの行動、つかまり立ちの行動、寝返りの行動、ハイハイの行動、伝い歩きの行動、一人で歩く行動などを対象とする。また、器用さの発達に関する特定事象（「手の動き」）の項目として、がらがらをふる行動、がらがらをふりまわす行動、両手でもの（つみき）を打ち合わせる行動、両手に持つ行動、箱の中にものを出し入れする行動などを対象とする。また、精神的な発達に関する特定事象（「心・言葉・社会性」）の項目として、いないいないばあを喜ぶ行動、バイバイする行動、指さしの行動などを対象とする。

【0050】

なお、本実施形態における成長とは、主に身体的能力や精神的能力に関する成長（発達）を示すものであるが、身長や体重のような身体の大きさに関する成長を含むものとしてもよい。

【0051】

また、マップ画像２８には、月齢の項目欄３４が設けられている。この月齢の項目欄３４は、子供の成長の基準となる時間軸を表す。

【0052】

また、マップ画像２８には、成長状況を判断する際の目安となる標準期間を表す標準期間マーク３５（成長状況の指標）が、特定事象ごとに描画されている。

【0053】

また、マップ画像２８には、特定事象が検知された時点（撮影時点）での子供の月齢に基づいて、特定事象が検知された時点（撮影時点）を表す事象検知マーク３６が表示される。この事象検知マーク３６は、特定事象ごとの標準期間マーク上の対応する月齢の位置に表示される。また、事象検知マーク３６に隣接して、その事象検知マーク３６に対応するシーン画像のサムネイル２２が表示される。これにより、ユーザ、すなわち親などの保護者や保育士などの施設職員が、標準的な成長状況と比較しながら、子供の成長状況を一目で把握でき、子供が順調に成長しているか否かを容易に確認することができる。さらに、今後の育児および保育に役立つ情報が得られ、子供の成長状況に応じた適切な育児および保育を行うことができる。

【0054】

なお、対象とする子供に関して、特定事象が検知された時点が標準期間から外れる場合には、標準期間マーク３５の左側または右側に事象検知マーク３６とサムネイル２２とが表示される。ユーザが、サムネイル２２を選択する操作を行うと、図３（Ｄ）に示す動画再生画面に遷移する。

【0055】

また、サムネイル２２上にポインタを重ねる操作（マウスオーバー）をユーザが行うと、吹き出し３７が表示される。この吹き出し３７には、サムネイル２２に対応する特定事象のタイムスタンプ、すなわち、特定事象の発生日時に関する時間情報が表示される。

【0056】

また、成長マップ画面には、スクロールボタン３８が設けられている。このスクロールボタン３８をユーザが操作すると、成長マップ２１が横方向にスクロールして、１画面内に収まらない月齢の成長マップ２１を表示させることができる。なお、ページ送りボタンが設けられて、次のページの成長マップ２１に切り替わるようにしてもよい。

【0057】

また、成長マップ画面には、お気に入り閲覧マーク２３が表示される。ユーザが、お気に入り閲覧マーク２３を操作すると、図３（Ｅ）に示すお気に入り一覧画面に遷移する。

【0058】

次に、エッジコンピュータ３およびクラウドコンピュータ４の概略構成について説明する。図５は、エッジコンピュータ３およびクラウドコンピュータ４の概略構成を示すブロック図である。図６は、クラウドコンピュータ４で処理される管理情報を示す説明図である。

【0059】

エッジコンピュータ３は、通信部５１と、記憶部５２と、プロセッサ５３（第１のプロセッサ）と、を備えている。

【0060】

通信部５１は、ネットワークを介してレコーダー２との間で通信を行う。本実施形態では、レコーダー２に蓄積されたカメラ１の撮影画像をレコーダー２から受信する。また、通信部５１は、ネットワークを介してクラウドコンピュータ４との間で通信を行う。本実施形態では、プロセッサ５３で生成した画像をクラウドコンピュータ４に送信する。

【0061】

記憶部５２は、プロセッサ５３で実行されるプログラムなどを記憶する。

【0062】

プロセッサ５３は、記憶部５２に記憶されたプログラムを実行することでライフログ提供に係る各種の処理を行う。本実施形態では、プロセッサ５３が、特定事象検知処理、およびシーン画像抽出処理などを行う。

【0063】

特定事象検知処理では、プロセッサ５３が、レコーダー２に蓄積されたカメラ１の撮影画像に対して画像認識処理を行い、その認識結果に基づいて、子供の成長状況に関する特定事象を検知する。画像認識処理では、骨格検知処理、行動認識処理、および表情推定処理の少なくともいずれかの処理が行われる。骨格検知処理により、子供の各部の動きを認識することができる。行動認識処理により、子供の行動を認識することができる。表情推定処理により、子供の笑顔などの表情を認識することができる。

【0064】

なお、この特定事象検知処理は、機械学習（ディープラーニングなど）により構築された認識モデルを用いて行うことができる。また、画像認識処理では、対象とする子供の他に、その周囲に存在する人物や物体を認識する。例えば、がらがらをふる行動の検知では、人物が手に持つ物体を認識する。また、いないいないばあを喜ぶ行動の検知では、いないいないばあを行う人物（保育士）を認識する。

【0065】

シーン画像抽出処理では、プロセッサ５３が、レコーダー２に蓄積されたカメラ１の撮影画像（動画像）の中から、特定事象検知処理の検知結果に基づいて、検知された特定事象が撮影されたシーン画像（動画像）を抽出する。

【0066】

このシーン画像抽出処理で抽出されたシーン画像は、クラウドコンピュータ４に送信される。また、特定事象検知結果情報として、特定事象の検知日時、シーン画像の録画時間、シーン画像を撮影したカメラ１に関するカメラＩＤ、検知された特定事象に関する事象ＩＤ、および事象検知スコア（検知された特定事象の確からしさを表すスコア）が、クラウドコンピュータ４に送信される。

【0067】

なお、シーン画像抽出処理では、特定事象が撮影された期間の動画像を抽出する他に、カメラ１の撮影画像から人物画像、すなわち、対象とする人物が写る画像領域を切り出すようにしてもよい。具体的には、人物の検出枠または検出枠を含む矩形の範囲を切り出す。

【0068】

クラウドコンピュータ４は、通信部６１と、記憶部６２と、プロセッサ６３（第２のプロセッサ）と、を備えている。

【0069】

通信部６１は、ネットワークを介してエッジコンピュータ３およびユーザ端末５との間で通信を行う。

【0070】

記憶部６２は、プロセッサ６３で実行されるプログラムなどを記憶する。また、記憶部６２は、エッジコンピュータ３から受信したシーン画像を蓄積する。また、記憶部６２は、管理情報を記憶する。なお、シーン画像や管理情報を蓄積するために、ハードディスクなどの大容量記憶デバイスを設けるようにしてもよい。

【0071】

プロセッサ６３は、記憶部６２に記憶されたプログラムを実行することでライフログ提供に係る各種の処理を行う。本実施形態では、プロセッサ６３が、顔照合処理、ログイン管理処理、成長マップ生成処理、および配信処理などを行う。

【0072】

顔照合処理では、プロセッサ６３が、エッジコンピュータ３から受信したシーン画像に写る人物、すなわち、特定事象の主体である人物を特定する。具体的には、シーン画像から子供の顔特徴情報を抽出して、そのシーン画像に写る子供の顔特徴情報と、記憶部６２に格納された人物管理情報に含まれる予め登録された子供ごとの顔特徴情報とを比較して、顔照合スコアを取得して、顔照合スコアが所定の閾値以上となる人物を、シーン画像に写る人物と特定する。この顔照合処理の結果に基づいて、シーン画像に写る人物と、予め登録された人物管理情報（人物ＩＤ、氏名、生年月日）とを対応付けることができる。具体的には、顔照合処理で取得した人物ＩＤと顔照合スコアとが特定事象検知結果情報として記憶部６２に格納される。

【0073】

ログイン管理処理では、プロセッサ６３が、記憶部６２に格納されたログイン管理情報に基づいて、ログイン判定（ユーザ認証）を行う。ここで、ログインが成功する、すなわち、ログイン要求した人物が、正規のユーザと判定されると、成長マップ２１やシーン画像の閲覧が許可される。また、ログイン管理情報には、成長マップ２１やシーン画像の閲覧を許可する子供の人数（人物ＩＤ数）および人物ＩＤが含まれ、この情報に基づいて、人物選択画面（図３（Ｂ）参照）が生成される。

【0074】

成長マップ生成処理では、プロセッサ６３が、ログインしたユーザ（保護者や施設職員）に関係する子供で、かつ、ユーザが選択した子供に関する成長マップ２１を生成する。このとき、記憶部６２に格納された事象分野管理情報に基づいて、マップ画像２８（図４参照）が作成される。具体的には、特定事象の３つの分野ごとの項目欄３１，３２，３３が描画される。また、記憶部６２に格納された特定事象管理情報（標準開始月齢、標準終了月齢）に基づいて、標準期間マーク３５（図４参照）が描画される。また、特定事象検知結果情報に含まれる特定事象の検知日時と、人物管理情報に含まれる人物の生年月日とに基づいて、検知時の子供の月齢（年月日）が算出される。そして、検知時の子供の月齢に基づいて、マップ画像２８上にサムネイル２２が配置される。

【0075】

配信処理では、プロセッサ６３が、ユーザ端末５におけるユーザの指示操作に応じて、成長マップ生成処理で生成した成長マップ２１をユーザ端末５に配信して、成長マップ２１をユーザ端末５に表示させる。また、ユーザ端末５におけるユーザの指示操作に応じて、シーン画像（動画像）をユーザ端末５に配信し、シーン画像の再生をユーザ端末５に行わせる。

【0076】

この他に、プロセッサ６３は、各子供に関して過去に発生した特定事象のお気に入り状態を管理する（お気に入り管理処理）。このお気に入り管理処理では、お気に入り状態に関する情報が、特定事象検知結果情報および顔照合結果情報に対応付けて記憶部６２に格納される。また、ユーザが、お気に入り登録マーク２６（図３（Ｄ）参照）を操作すると、該当する特定事象をお気に入りに登録する処理が行われる。また、ユーザが、お気に入り閲覧マーク２３（図３（Ｃ）参照）を操作すると、記憶部６２のお気に入り状態に関する情報に基づいて、お気に入り一覧画面（図３（Ｅ））を表示させる処理が行われる。

【0077】

次に、エッジコンピュータ３で行われる処理について説明する。図７は、エッジコンピュータ３で行われる処理の手順を示すフロー図である。

【0078】

エッジコンピュータ３では、まず、プロセッサ５３が、レコーダー２に録画されたカメラ１の撮影画像を取得する（ＳＴ１０１）。そして、プロセッサ５３が、カメラ１の撮影画像から子供の動作を認識して、子供ごとの動作を表す動作情報を生成する（動作認識処理）（ＳＴ１０２）。次に、プロセッサ５３が、全ての特定事象を対象にして、特定事象検知処理およびシーン画像抽出処理を行う（ＳＴ１０３～ＳＴ１１３）。具体的には、検出された動作の撮影画像を順次１フレームごとに特定事象に該当するか否かを判定し、該当するフレーム（通常は数十フレーム継続）について事象ＩＤと紐付けて抽出情報を検知済み事象リストに登録する処理を行う。そして、撮影画像が特定事象に該当しなくなったとき、過去に特定事象の抽出情報が検知済み事象リストに登録されているかを事象ＩＤに基づいて判定し、制限時間に達した抽出情報（シーン画像）を統合する処理を行う。

【0079】

この処理では、まず、プロセッサ５３が、動作認識処理で認識されたある子供の動作が、対象とした特定事象に該当するか否かを判定する（動作判定処理）（ＳＴ１０４）。

【0080】

ここで、検出された動作が特定事象に該当する場合、すなわち、特定事象が検知された場合には（ＳＴ１０４でＹｅｓ）、次に、プロセッサ５３が、検知対象とした特定事象が検知済み事象リストに未登録の事象ＩＤであるか否か、すなわち、その特定事象が新規に検知されたか否かを判定する（ＳＴ１０５）。

【0081】

ここで、検知された特定事象が未登録の事象ＩＤである場合には（ＳＴ１０５でＹｅｓ）、プロセッサ５３が、特定事象に該当する子供の動作が写る撮影画像をシーン画像として新規の抽出情報を検知済み事象リストに登録する（ＳＴ１０６）。一方、検知された特定事象が検知済み事象リストに登録済みの事象ＩＤである場合には（ＳＴ１０５でＮｏ）、特定事象に該当する子供の動作が写る撮影画像をシーン画像として抽出情報を更新（追加）する（ＳＴ１０７）。

【0082】

一方、検出された動作が特定事象に該当しない場合、すなわち、特定事象が検知されない場合（特定事象が終了した場合を含む）には（ＳＴ１０４でＮｏ）、次に、プロセッサ５３が、特定事象が検知済み事象リストに登録済みであるか否かを判定する（ＳＴ１０８）。

【0083】

ここで、検知された特定事象が事象リストに登録済みである場合には（ＳＴ１０８でＹｅｓ）、次に、プロセッサ５３が、事象ＩＤに基づいて抽出情報の登録時間、すなわち、抽出情報として登録されたシーン画像（動画像）の録画時間の合計が、所定の制限時間に達したか否かを判定する（登録時間判定処理）（ＳＴ１０９）。

【0084】

ここで、登録時間が制限時間に達した場合には（ＳＴ１０９でＹｅｓ）、次に、プロセッサ５３が、抽出情報として登録された複数のシーン画像を統合する（ＳＴ１１０）。次に、通信部５１が、統合済みのシーン画像を、そのシーン画像が写る特定事象の事象ＩＤと共に、クラウドコンピュータ４に送信する（ＳＴ１１１）。次に、該当する特定事象の事象ＩＤと紐付く抽出情報を検知済み事象リストから削除する（ＳＴ１１２）。

【0085】

一方、特定事象が検知済み事象リストに未登録である場合や（ＳＴ１０８でＮｏ）、登録時間が制限時間に達していない場合には（ＳＴ１０９でＮｏ）、特に処理を行わずに、次の特定事象に関する処理に進む。

【0086】

次に、クラウドコンピュータ４で行われる顔照合処理について説明する。図８は、クラウドコンピュータ４で行われる顔照合処理の手順を示すフロー図である。

【0087】

クラウドコンピュータ４では、まず、通信部６１が、エッジコンピュータ３からシーン画像を受信する（ＳＴ２０１）。次に、プロセッサ６３が、登録された全ての子供を対象にして、シーン画像に写る子供を特定する顔照合処理を行う（ＳＴ２０２～ＳＴ２０８）。

【0088】

この処理では、まず、プロセッサ６３が、シーン画像から子供の顔特徴情報を抽出して、そのシーン画像に写る子供の顔特徴情報と、予め登録された子供ごとの顔特徴情報とを比較して、顔照合スコアを取得する（ＳＴ２０３）。そして、プロセッサ６３が、顔照合スコアが所定の閾値以上であるか否かを判定する（顔照合スコア判定）（ＳＴ２０４）。

【0089】

ここで、照合スコアが閾値以上である場合には（ＳＴ２０４でＹｅｓ）、人物ＩＤと顔照合スコアとを含む顔照合結果情報を生成する（ＳＴ２０６）。一方、照合スコアが閾値未満である場合には（ＳＴ２０４でＮｏ）、該当する人物がいないものとして、人物ＩＤを含まない顔照合結果情報を生成する（ＳＴ２０５）。

【0090】

次に、プロセッサ６３が、登録情報を、特定事象検知結果情報として記憶部６２に格納する（ＳＴ２０７）。

【0091】

次に、クラウドコンピュータ４で行われるログイン処理、成長マップ生成処理、および配信処理について説明する。図９は、クラウドコンピュータ４で行われるログイン処理、成長マップ生成処理、および配信処理の手順を示すフロー図である。

【0092】

クラウドコンピュータ４では、まず、プロセッサ６３が、ユーザ端末５からの閲覧要求に応じて、ログイン画面をユーザ端末５に表示させる（ＳＴ３０１）。次に、ユーザ端末５において、ユーザが、ログイン情報（ＩＤおよびパスワード）を入力してログインの操作を行うことで、通信部６１が、ユーザ端末５からのログイン要求を受信すると、プロセッサ６３が、ログイン情報を検証して、ログインが成功、すなわち、正規のユーザか否かを判定する（ＳＴ３０２）。

【0093】

ここで、ログインが成功すると（ＳＴ３０２でＹｅｓ）、プロセッサ６３が、人物選択画面をユーザ端末５に表示させる（ＳＴ３０３）。次に、ユーザ端末５においてユーザが人物を選択する操作を行うと、プロセッサ６３が、選択された人物に関する特定事象検知結果情報を記憶部６２から取得する（ＳＴ３０４）。次に、プロセッサ６３が、選択された人物に関する特定事象検知結果情報に基づいて、選択された人物に関する成長マップ２１を生成する（ＳＴ３０５）。次に、プロセッサ６３が、成長マップ２１をユーザ端末５に配信してユーザ端末５に表示させる（ＳＴ３０６）。

【0094】

次に、ユーザ端末５に表示された成長マップ画面において、ユーザがサムネイル２２を選択する操作を行うと（ＳＴ３０７でＹｅｓ）、プロセッサ６３が、ユーザが選択したサムネイル２２に対応する特定事象の事象ＩＤを取得する（ＳＴ３０８）。そして、その事象ＩＤに対応するシーン画像（動画像）をユーザ端末５に配信し、シーン画像の再生をユーザ端末５に行わせる（ＳＴ３０９）。

【0095】

また、ユーザ端末５においてユーザがログアウトの操作を行うことで、通信部６１が、ユーザ端末５からのログアウト要求を受信すると（ＳＴ３１０）、ログアウト処理を行う（ＳＴ３１１）。

【0096】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0097】

本発明に係るライフログ提供システムおよびライフログ提供方法は、子供の成長状況を体系的に把握できるライフログをユーザに提供することができる効果を有し、施設内の子供をカメラにより撮影した画像をライフログとしてユーザに提供するライフログ提供システムおよびライフログ提供方法などとして有用である。

【符号の説明】

【0098】

１ カメラ
２ レコーダー
３ エッジコンピュータ
４ クラウドコンピュータ
５ ユーザ端末（ユーザ装置）
２１ 成長マップ
２２ サムネイル
２３ お気に入り閲覧マーク
２５ マップ画像
２６ お気に入り登録マーク
３１，３２，３３ 特定事象の項目欄
３４ 月齢の項目欄
３５ 標準期間マーク
３６ 事象検知マーク
３７ 吹き出し
３８ スクロールボタン
５１ 通信部
５２ 記憶部
５３ プロセッサ
６１ 通信部
６２ 記憶部
６３ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】