特開 2023-183042 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183042

(43)【公開日】2023-12-27

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   H04N 5/93 20060101AFI20231220BHJP

   A01K 29/00 20060101ALI20231220BHJP

   H04N 23/60 20230101ALI20231220BHJP

   H04N 5/77 20060101ALI20231220BHJP

【ＦＩ】

H04N5/93

A01K29/00 B

H04N5/232 290

H04N5/77

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022096416

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】伊藤 光

【テーマコード（参考）】

5C053

5C122

【Ｆターム（参考）】

5C053HA21

5C053LA01

5C053LA11

5C053LA14

5C122EA42

5C122FH11

5C122FH14

5C122GA34

5C122HA86

5C122HB01

(57)【要約】

【課題】他の動物に依存する動物が当該他の動物と一緒に居ない時に感じるストレスを適切に軽減させること。
【解決手段】
情報処理装置は、第１の動物に依存する関係のある第２の動物を、撮像装置が撮像して得られた画像を取得し、取得された前記画像に含まれる前記第２の動物の感情を決定し、前記第２の動物の感情がポジティブな感情であると決定された場合における前記第２の動物と同じ場所にいる前記第１の動物の画像および音声の少なくとも一方が保存されるように制御し、前記第２の動物の感情がネガティブな感情であると決定された場合に保存された前記第１の動物の画像および前記第１の動物の音声の少なくとも一方が再生されるように制御する。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１の動物に依存する関係のある第２の動物を、撮像装置が撮像して得られた画像を取得する取得手段と、
取得された前記画像に含まれる前記第２の動物の感情を決定する決定手段と、
前記第２の動物の感情がポジティブな感情であると決定された場合における前記第２の動物と同じ場所にいる前記第１の動物の画像および音声の少なくとも一方が保存されるように制御する保存制御手段と、
前記第２の動物の感情がネガティブな感情であると決定された場合、前記保存制御手段の制御により保存された前記第１の動物の画像、および前記保存制御手段の制御により保存された前記第１の動物の音声の少なくとも一方が再生されるように制御する再生制御手段と、
を有することを特徴とする情報処理装置。

【請求項2】

取得された前記画像に含まれる被写体を検出し、検出された被写体が前記第１の動物であるか前記第２の動物であるかを検出する検出手段をさらに有する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記保存制御手段は、
取得された前記画像から前記第１の動物および前記第２の動物の両方が検出された場合であって、かつ、前記第２の動物の感情がポジティブな感情であると決定された場合、取得された前記画像および取得された前記画像に対応する音声の少なくとも一方が保存されるように制御する
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記保存制御手段は、
前記第２の動物の感情がポジティブな感情であると決定された場合、前記第２の動物の感情がポジティブな感情であるときを含む時間における前記第１の動物の画像および音声の少なくとも一方が保存されるように制御する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記再生制御手段は、
前記撮像装置が設置されている場所に前記第１の動物が存在しない場合であって、かつ、前記第２の動物の感情がネガティブな感情であると決定された場合、前記保存制御手段の制御により保存された前記第１の動物の画像および前記保存制御手段の制御により保存された前記第１の動物の音声の少なくとも一方が再生されるように制御する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記決定手段は、前記保存制御手段の制御により保存された前記第１の動物の画像および前記保存制御手段の制御により保存された前記第１の動物の音声の少なくとも一方が再生された後の、前記第２の動物の感情がポジティブな感情に変化したかを判定し、
前記第２の動物の感情がポジティブな感情に変化した際に再生されていた、前記第１の動物の画像または前記第１の動物の音声が優先的に再生されるように管理する管理手段をさらに有する。
ことを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記再生制御手段は、
前記保存制御手段の制御により保存された前記第１の動物の画像または前記保存制御手段の制御により保存された前記第１の動物の音声のうち、前記優先的に再生されるように管理されている画像または音声から先に再生されるように制御する
ことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

取得された前記画像に含まれる前記第２の動物の行動を決定する第２の決定手段をさらに有する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記保存制御手段の制御により保存された前記第１の動物の画像または前記保存制御手段の制御により保存された前記第１の動物の音声に、前記第２の決定手段が決定した行動を関連付けて管理する管理手段をさらに有する
ことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記再生制御手段は、
前記第２の動物の感情がネガティブな感情であると決定された場合、前記第２の決定手段が決定した行動と類似する行動に関連付けて管理されている画像または音声から先に再生されるように制御する
ことを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記撮像装置が設置されている場所に前記第１の動物が存在するか否かを判定する判定手段をさらに有し、
前記撮像装置が設置されている前記場所に前記第１の動物が存在すると判定された場合、前記保存制御手段による処理が実行され、
前記撮像装置が設置されている前記場所に前記第１の動物が存在しないと判定された場合、前記再生制御手段による処理が実行される
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記第２の動物はペットであり、前記第１の動物は前記ペットの飼い主である
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項13】

前記第２の動物は人間の幼児であり、前記第１の動物は前記幼児の親である
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項14】

前記第２の動物は人間以外の動物の幼児であり、前記第１の動物は前記幼児の親である
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項15】

前記第２の動物の感情がネガティブな感情であると決定された場合、所定の通知を行う通知手段をさらに有する
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項16】

第１の動物に依存する関係のある第２の動物を、撮像装置が撮像して得られた画像を取得する取得ステップと、
取得された前記画像に含まれる前記第２の動物の感情を決定する決定ステップと、
前記第２の動物の感情がポジティブな感情であると決定された場合における前記第２の動物と同じ場所にいる前記第１の動物の画像および音声の少なくとも一方が保存されるように制御する保存制御ステップと、
前記第２の動物の感情がネガティブな感情であると決定された場合、前記保存制御ステップの制御により保存された前記第１の動物の画像、および前記保存制御ステップの制御により保存された前記第１の動物の音声の少なくとも一方が再生されるように制御する再生制御ステップと、
を有することを特徴とする情報処理方法。

【請求項17】

コンピュータに請求項１６に記載の情報処理方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像画像に基づく処理に関する。

【背景技術】

【0002】

自宅に設置されたカメラを用いて、飼い主が自宅にいないときのペットのストレス、または親がいないときの幼児等のストレスを軽減させる方法が提案されている。

【0003】

特許文献１には、カメラが自宅のペットを撮像して得られた画像に基づきペットの感情を決定して、ペットの感情を示す文言を飼い主の携帯端末に通知する方法が記載されている。そして、ペットの感情を確認した飼い主は、自宅のスピーカーから音声を出力するための呼びかけ指示をすることが記載されている。

【0004】

特許文献２には、ペットの鳴き声を検出した場合、画像表示装置にペット用の映像を自動で再生する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１７０９１６号公報

【特許文献2】特開２０１５－１１５７３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示された方法では、飼い主が携帯端末から呼びかけ指示を行う必要がある。このため、飼い主が勤務中または移動中等の理由により携帯端末が使用できない場合、適切なタイミングで呼びかけ指示をすることができないことがある。

【0007】

また、特許文献２に開示された方法では、画像表示装置に表示される映像は、ペットの現在の感情は考慮されずに再生される。ペットの現在の感情に適さない映像が再生されてしまうと、ペットにストレスを与えてしまう虞がある。

【0008】

本開示は、他の動物に依存する動物が当該他の動物と一緒に居ない時に感じるストレスを適切に軽減させることを目的とする。

【課題を解決するための手段】

【0009】

本開示に係る情報処理装置は、第１の動物に依存する関係のある第２の動物を、撮像装置が撮像して得られた画像を取得する取得手段と、取得された前記画像に含まれる前記第２の動物の感情を決定する決定手段と、前記第２の動物の感情がポジティブな感情であると決定された場合における前記第２の動物と同じ場所にいる前記第１の動物の画像および音声の少なくとも一方が保存されるように制御する保存制御手段と、前記第２の動物の感情がネガティブな感情であると決定された場合、前記保存制御手段の制御により保存された前記第１の動物の画像、および前記保存制御手段の制御により保存された前記第１の動物の音声の少なくとも一方が再生されるように制御する再生制御手段と、を有することを特徴とする。

【発明の効果】

【0010】

本開示によれば、他の動物に依存する動物が当該他の動物と一緒に居ない時に感じるストレスを適切に軽減させることを目的とする。

【図面の簡単な説明】

【0011】

【図1】システム構成および情報処理装置のハードウェア構成の一例を示すブロック図である。

【図2】情報処理装置の機能構成の一例を示すブロック図である。

【図3】主要な処理の流れの一例を示すフローチャートである。

【図4】処理Ａの流れの一例を示すフローチャートである。

【図5】処理Ｂの流れの一例を示すフローチャートである。

【図6】ペットの状態変化を判定する処理の流れの一例を示すフローチャートである。

【図7】処理Ａの流れの一例を示すフローチャートである。

【図8】処理Ｂの流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、本開示の技術を実施するための形態について説明する。なお、以下の実施形態は本開示の技術を限定するものではなく、また、以下の実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

【0013】

＜第１の実施形態＞
［システム構成］
図１は、本実施形態のシステムの構成例を示す図である。本実施形態のシステム１は、情報処理装置１００、携帯端末１０９、およびネットワークカメラ１１０を有する。情報処理装置１００、携帯端末１０９、およびネットワークカメラ１１０は、ネットワーク１０８を介してデータなどを互いに送受信可能に構成されている。

【0014】

ネットワークカメラ１１０は、スピーカーなどの音声出力部１１２、および画像を表示するための表示部１１１、マイクなどの音声入力部１１３が含まれているものとして説明する。また、ネットワークカメラ１１０は、ユーザの自宅に設置されているものとして説明する。

【0015】

ネットワークカメラ１１０は、ネットワークカメラ１１０が設置されている場所に存在している被写体を撮像して得られた画像のデータを生成する。画像は、静止画および動画像のいずれでもよい。本実施形態では、ネットワークカメラ１１０が撮像して得られた画像は動画像であるものとして説明を行う。また、ネットワークカメラ１１０は、自宅にいるユーザ（飼い主）などの音声を録音する。動画像と音声を合わせたデータを映像データとよぶことがある。また、被写体は、飼い主、および飼い主のペットの少なくとも一方であるものとして本実施形態の説明を行う。

【0016】

ネットワークカメラ１１０は、ネットワーク１０８を経由して画像のデータおよび音声のデータを受信して、それぞれのデータの少なくとも１つに基づく再生をすることができる。即ち、画像のデータに基づく画像を表示部１１１へ表示する、および音声のデータに基づく音声を音声出力部１１２から出力することができる。

【0017】

なお、表示部１１１、音声出力部１１２、および音声入力部１１３は、ネットワークカメラ１１０とは別の装置としてシステム１に含まれている構成でもよい。その場合、表示部１１１、音声出力部１１２、および音声入力部１１３は、ネットワークカメラ１１０の設置場所（自宅）と同じ場所に設置されるものとする。また、ネットワークカメラ１１０と独立した装置である、表示部１１１、音声出力部１１２、および音声入力部１１３は、ネットワーク１０８等を介してデータを送受信可能に構成されているものとする。ネットワークカメラ１１０が撮像して得られた画像のデータおよび録音して得られた音声のデータは、情報処理装置１００へ送信される。

【0018】

携帯端末１０９は、ペットの飼い主であるユーザが所持している端末であり、例えば、スマートフォン、タブレット等である。携帯端末１０９は、例えば、情報処理装置１００から出力された通知を表示する。情報処理装置１００の機能の詳細については後述する。

【0019】

［情報処理装置のハードウェア構成］
図１を参照して、本実施形態に係る情報処理装置１００のハードウェア構成について説明する。情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記憶装置１０４、ＵＩ１０６、およびネットワークＩ／Ｆ１０７を有する。

【0020】

ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２および記憶装置１０４に記憶されたＯＳおよびプログラムを実行して、各種処理の演算や論理判断などを行う。さらに、ＣＰＵ１０１は、システムバス１０５に接続された各構成を制御する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。記憶装置１０４は、ハードディスクドライブまたは各種インタフェースによって接続された外部記憶装置などであり、本実施形態の各種処理に係るプログラムおよびデータを保存する。

【0021】

ＵＩ１０６は、情報処理装置１００とユーザとの間の入出力を媒介する装置であり、音声を出力するスピーカー、画像を表示するディスプレイ、およびユーザの入力を受け付けるキーボード等で実現することができる。ネットワークＩ／Ｆ１０７は、ネットワーク１０８を介して、携帯端末１０９、またはネットワークカメラ１１０等の外部装置とのデータのやり取りを中継するためのインタフェースである。

【0022】

なお、情報処理装置１００はＣＰＵ１０１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。そして、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

【0023】

［情報処理装置の機能構成］
図２は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。図２を参照して、本実施形態に係る情報処理装置１００の機能構成について説明する。情報処理装置１００は、飼い主位置判定部２０１、データ取得部２０２、被写体検出部２０３、状態決定部２０４、画像管理部２０５、保存制御部２０６、指示部２０７、および再生制御部２０８を有する。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２や記憶装置１０４に記憶されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することにより実現される。そして、ＣＰＵ１０１は、各処理の実行結果をＲＡＭ１０３に記録する。他にも例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてＦＰＧＡなどのハードウェアが利用されてもよい。ハードウェアによって機能部を構成する場合には、図２の各機能部の処理に対応させた演算部や回路を構成すればよい。または、各機能部は、ソフトウェアと専用ＩＣなどのハードウェアとの協働で実現されてもよいし、一部またはすべての機能がハードウェアのみで実現されてもよい。

【0024】

飼い主位置判定部２０１は、ネットワークカメラ１１０が設置されている場所（自宅）に飼い主がいるか否かを判定する。例えば、飼い主の携帯端末１０９が、自宅に設置されているＷｉ－Ｆｉルータに接続されている場合、自宅に飼い主がいると判定する。なお、ネットワークカメラ１１０が撮像して得られた画像を解析して自宅にユーザがいるか否かを判定してもよい。

【0025】

データ取得部２０２は、ネットワークカメラ１１０が撮像して得られた画像のデータを、ネットワーク１０８を経由して取得する。また音声入力部１１３が録音して得られた音声のデータを取得する。

【0026】

被写体検出部２０３は、データ取得部２０２が取得した画像に含まれる被写体を検出する。例えば、検出される被写体は、飼い主およびペットである。なお、被写体を検出する処理は、ネットワークカメラ１１０で行ってもよい。

【0027】

さらに被写体検出部２０３は、検出した被写体が、飼い主またはペットのいずれかであるかを検出する。例えば、飼い主およびペットそれぞれの画像を、記憶装置１０４に予め登録しておく。そして、被写体検出部２０３は、登録された飼い主の画像およびペットの画像それぞれと被写体の類似度を決定し、被写体がペットであるか飼い主であるかを検出する。

【0028】

状態決定部２０４は、被写体検出部２０３で検出した被写体がペットである場合、被写体の感情（状態）を決定する。状態決定部２０４が決定する感情（状態）は、ポジティブな感情（の状態）であるかネガティブの感情（の状態）であるか等である。ポジティブな感情のとは、喜んでいる、嬉しい、元気等である。一方、ネガティブな感情とは、寂しい、悲しい、元気がない等である。

【0029】

ペットの感情（状態）を決定する方法は限定しない。例えば、入力データをペットの画像とし、ペットの感情（ポジティブな感情の状態またはネガティブな感情の状態）を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルを生成する。そして、その学習済みモデルに撮像画像から切り出されたペットの画像を入力して得られた出力値に基づき、ペットの状態を判定すればよい。他にも、ペットの感情ごとの画像を、記憶装置１０４に予め登録しておく。そして、登録された画像と現在のペットの画像の類似度を判定し、類似度が高い画像に関連付けられている感情を、ペットの感情として決定してもよい。

【0030】

保存制御部２０６は、データ取得部２０２が取得したデータ（画像および音声の少なくとも一方のデータ）のうち、後述する画像管理部２０５によって管理されるデータを決定する。決定の方法は後述する。

【0031】

画像管理部２０５は、保存制御部２０６によって決定された画像および音声のデータを、記憶装置１０４等の記憶部に記録して管理する。なお、画像管理部２０５は、画像および音声のデータをネットワークカメラ１１０の不図示の記憶部に保存させて管理してもよいし、他の外部のストレージに保存して管理してもよい。

【0032】

再生制御部２０８は、ネットワークカメラ１１０の表示部１１１を介して自宅にいるペットに見せるための画像、またはネットワークカメラ１１０の音声出力部１１２を介して自宅にいるペットに聞かせるための音声のデータを選択する。即ち、本実施形態の再生制御部２０８は、自宅のペットの状態がネガティブな感情の状態からポジティブな感情の状態になるような画像および音声を選択する。具体的には、再生制御部２０８は、画像管理部２０５が管理しているデータを選択する。

【0033】

指示部２０７は、ネットワークカメラ１１０に対して処理を実行するように指示を行う。ネットワークカメラ１１０は、指示部２０７の指示に含まれる処理を実行する。例えば、指示部２０７は、再生制御部２０８が選択したデータが画像のデータである場合は、ネットワークカメラ１１０の表示部１１１に表示して再生されるようにネットワークカメラ１１０に指示する。指示部２０７は、再生制御部２０８が選択したデータが音声のデータである場合は、ネットワークカメラ１１０の音声出力部１１２から再生されるようにネットワークカメラ１１０に指示する。

【0034】

［フローチャート］
図３は、情報処理装置１００の処理の流れについて説明するためのフローチャートである。図３に示すフローチャートに示す一連の処理は、ＣＰＵ１０１がＲＯＭ１０２に保存されたプログラムをＲＡＭ１０３に展開し実行することによって実現される。また、図３におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

【0035】

Ｓ３０１において飼い主位置判定部２０１は、ネットワークカメラ１１０が設置されておりペットがいる場所に飼い主がいるか否かを判定する。場所は、飼い主の自宅であるものとして説明する。ペットと飼い主とが自宅にいると飼い主位置判定部２０１が判定した場合（Ｓ３０１がＹＥＳ）、Ｓ３０２に進む。

【0036】

Ｓ３０２では、飼い主が自宅にいる場合の処理Ａが行われる。処理Ａの詳細については、図４を用いて後述する。処理Ａが完了した後にＳ３０４に進む。

【0037】

一方、飼い主が自宅にいないと飼い主位置判定部２０１が判定した場合（Ｓ３０１がＮＯ）、Ｓ３０３に進む。Ｓ３０３では処理Ｂが行われる。処理Ｂの詳細については、図５を用いて後述する。処理Ｂが完了した後、Ｓ３０４に進む。

【0038】

Ｓ３０４においてＣＰＵ１０１は、ネットワークカメラ１１０の電源がＯＦＦか否かを判定する。ネットワークカメラ１１０の電源がＯＦＦとＣＰＵ１０１が判定した場合（Ｓ３０４がＹＥＳ）、本フローチャートの処理を終了する。一方、ネットワークカメラ１１０の電源がＯＦＦとＣＰＵ１０１が判定した場合（Ｓ３０４がＮＯ）、Ｓ３０１に戻る。

【0039】

Ｓ３０１に戻った後に、再度、処理Ａまたは処理Ｂが行われる場合、先に処理Ａまたは処理Ｂが実行されていた場合、数フレーム後または数分後のフレームに対して、処理Ａまたは処理Ｂが行われる。このように、ネットワークカメラ１１０の電源がＯＦＦになるまでＳ３０１～Ｓ３０３を繰り返す。

【0040】

［ペットと飼い主が一緒に自宅にいる場合に実行される処理］
図４は、本実施形態の情報処理装置１００によって実行される処理Ａの流れについて説明するためのフローチャートである。処理Ａは、自宅のペットが飼い主と一緒にいる場合に実行される処理である。

【0041】

Ｓ４０１においてデータ取得部２０２は、ネットワークカメラ１１０が撮像して得られた画像を取得する。ネットワークカメラ１１０から受信された画像が動画像である場合は、例えば、１フレーム分または数フレーム分の画像が取得される。そして、被写体検出部２０３は、データ取得部２０２が取得したネットワークカメラ１１０の画像から被写体を検出して、飼い主およびペットが被写体として含まれているか否かを判定する。飼い主およびペットの両方が取得された画像に含まれると被写体検出部２０３が判定した場合（Ｓ４０１がＹＥＳ）、Ｓ４０２に進む。

【0042】

Ｓ４０２において状態決定部２０４は、Ｓ４０１で取得された画像に含まれるペットの状態を決定する。即ち、状態決定部２０４は、ペットの状態がポジティブの感情の状態かネガティブな感情の状態かを決定する。

【0043】

Ｓ４０３において状態決定部２０４は、決定されたペットの状態がポジティブの感情の状態か否かを判定する。ペットの状態がポジティブの感情の状態であると状態決定部２０４が判定した場合（Ｓ４０３がＹＥＳ）、Ｓ４０４に進む。

【0044】

Ｓ４０４において保存制御部２０６は、ペットの状態がポジティブの感情の状態である時において、ネットワークカメラ１１０が飼い主を撮像して得られた画像、または音声入力部１１３が飼い主の声を録音して得られた音声が保存されるように制御する。例えば、Ｓ４０１で取得された画像には飼い主が含まれているので、Ｓ４０１で取得された画像および、その画像に対応する飼い主の音声の少なくとも一方を、画像管理部２０５に保存させ管理させる。または、ペットの状態がポジティブの感情の状態と決定された時を含む前後の時間で、ネットワークカメラ１１０が撮像して得られた画像および音声入力部１１３が録音して得られた音声の少なくとも一方が保存されるように制御されてもよい。

【0045】

そして、画像管理部２０５は、保存制御部２０６が決定した飼い主の画像および音声の少なくとも一方のデータを保存する。データの保存完了後、処理Ａは終了する。よって、Ｓ４０４の処理が複数回実行されることで、ペットのポジティブな感情の状態のときの飼い主の画像および音声のデータが蓄積されていくことになる。

【0046】

一方、ペットの状態がポジティブな感情の状態でないと状態決定部２０４が判定した場合（Ｓ４０３がＮＯ）、または、飼い主とペットとの両方が撮像画像に含まれていないと被写体検出部２０３が判定した場合（Ｓ４０１がＮＯ）、処理Ａを終了する。即ち、Ｓ４０４はスキップされる。

【0047】

［飼い主が自宅にいない場合に実行される処理］
図５は、本実施形態の情報処理装置１００の処理Ｂの流れについて説明するためのフローチャートである。処理Ｂは、ペットが飼い主と一緒いない場合に実行される処理である。

【0048】

例えば、自宅にネットワークカメラ１１０が設置されていて、ペットが自宅にいて、飼い主が自宅外にいる場合、処理Ｂが実行される。

【0049】

Ｓ５０１においてデータ取得部２０２は、ネットワークカメラ１１０が撮像して得られた画像を取得する。ネットワークカメラ１１０から受信された画像が動画像である場合は、例えば、１フレーム分または数フレーム分の画像が取得される。そして、被写体検出部２０３は、データ取得部２０２が取得したネットワークカメラ１１０の画像から被写体を検出して、ペットが被写体として含まれているか否かを判定する。取得された画像にペットが含まれると被写体検出部２０３が判定した場合（Ｓ５０１がＹＥＳ）、Ｓ５０２に進む。

【0050】

Ｓ５０２において状態決定部２０４は、Ｓ５０１で取得された画像に含まれるペットの状態を決定する。即ち、状態決定部２０４は、ペットの状態がポジティブの感情の状態かネガティブな感情の状態かを決定する。

【0051】

Ｓ５０３において状態決定部２０４は、決定されたペットの状態がネガティブの感情の状態か否かを判定する。ペットの状態がネガティブの感情の状態であると状態決定部２０４が判定した場合（Ｓ５０３がＹＥＳ）、Ｓ５０４に進む。

【0052】

Ｓ５０４において状態決定部２０４は、ペットの状態がネガティブな感情の状態であることを表す所定の通知を飼い主の携帯端末１０９に送信する。携帯端末１０９には、ペットの現在の状態がネガティブな感情の状態であることの通知が表示される。このため、自宅外にいる飼い主は、ペットの状態を知ることができる。

【0053】

Ｓ５０５において再生制御部２０８は、処理Ａによって保存され画像管理部２０５が管理しているデータを選択する。そして、再生制御部２０８は、選択されたデータを、ネットワーク１０８を経由して、ネットワークカメラ１１０に送信されるようにする。即ち、選択されたデータがネットワークカメラ１１０の表示部１１１または音声出力部１１２で再生されるように制御する。指示部２０７は、再生制御部２０８が選択したデータが画像のデータである場合は、表示部１１１に表示されるようにネットワークカメラ１１０に指示する。指示部２０７は、再生制御部２０８が選択したデータが音声のデータである場合は、音声出力部１１２で再生されるようにネットワークカメラ１１０に指示する。

【0054】

Ｓ５０５の処理の結果、自宅に設置された表示部１１１に再生制御部２０８が選択した画像が表示される。また、音声出力部１１２から再生制御部２０８が選択した音声が再生される。再生制御部２０８が選択したデータは、ペットがポジティブの感情の状態のときの飼い主の画像、またはペットがポジティブの感情の状態のときに録音された飼い主の音声である。このため、ネガティブな感情の状態のペットを、ポジティブな感情の状態にするための適切なデータが再生される。

【0055】

なお、犬および猫の聴覚は人間よりも優れており音声だけでも飼い主を認識することができる。よって、ペットが犬または猫である場合、Ｓ５０５では音声だけが再生されるようにデータが選択されてもよい。また、音声と画像の両方を選択して音声と画像の両方が再生された方がペットの感情を改善させる効果は大きいため、音声と画像の両方が再生された方がより好ましい。

【0056】

なお、Ｓ５０４およびＳ５０５は並列して処理してもよい。または、Ｓ５０５の処理は、Ｓ５０４で通知を受けた飼い主の指示があった場合に実行されてもよい。または、ユーザの指示によらないでＳ５０５を実行する自動モードと、ユーザの指示に基づきＳ５０５が実行される手動モードと、を有していてもよい。そして、自動モードと手動モードとは切替可能に構成されていてもよい。また、飼い主が応答できない場合のみユーザの指示によらないでＳ５０５を実行するモードが含まれていてもよい。

【0057】

Ｓ５０５による再生完了後に、処理Ｂは終了する。一方、ペットの状態がネガティブな感情の状態でないと状態決定部２０４が判定した場合（Ｓ５０３がＮＯ）、または、取得された画像にペットが含まれていないと被写体検出部２０３が判定した場合（Ｓ５０１がＮＯ）、処理Ｂを終了する。即ち、Ｓ５０４およびＳ５０５はスキップされる。

【0058】

以上説明したように本実施形態では、飼い主とペットがコミュニケーションを行っているときのようなペットがポジティブな感情の状態の場合における、飼い主の画像および音声の少なくとも一方を保存して蓄積しておく（処理Ａ）。そして、ペットが飼い主と離れてネガティブな感情な状態の場合、蓄積しておいた画像および音声の少なくとも一方をペットに対して見せる（聞かせる）ように再生する（処理Ｂ）。

【0059】

このため本実施形態によれば、飼い主の不在時におけるペットのネガティブな感情の状態を改善しペットのストレスを軽減することができる。ペットは放置されていると心身のバランスを崩して病気になる場合があることから、ペットの健康状態が悪くなることを抑制できる。特に、ペットにとって愛着がある飼い主の画像および音声の少なくとも一方を使用することで、安定してペットのストレスを軽減できる。さらに飼い主にとっても、外出時はペットを放置している不安や罪悪感に苛まれることがあるが、本実施形態によれば飼い主の不安や罪悪感を軽減できる。

【0060】

＜第２の実施形態＞
本実施形態では、処理Ｂにおける図５のＳ５０５でデータが再生された後のペットの状態の変化を判定し、この状態変化の判定結果を考慮して、次回再生するデータを選択する方法を説明する。本実施形態では、第１の実施形態からの差分を中心に説明する。特に明記しない部分については第１の実施形態と同じ構成および処理である。

【0061】

図６は、処理ＢにおけるＳ５０５の処理の結果として画像または音声がネットワークカメラ１１０で再生された後、ペットの状態の変化を判定する処理の流れについて説明するためのフローチャートである。即ち、本実施形態では、図５のフローチャートのＳ５０５の後に、図６のフローチャートの処理が実行される。

【0062】

Ｓ６０１において指示部２０７は、処理ＢにおけるＳ５０５の結果、表示部１１１に表示された画像を見た後のペット、または音声出力部１１２から出力された音声を聞いた後のペットを撮像するように、ネットワークカメラ１１０に指示する。

【0063】

Ｓ６０２において状態決定部２０４は、Ｓ６０１の撮像の結果得られた画像に基づき現在のペットの状態を決定する。

【0064】

Ｓ６０３において状態決定部２０４は、Ｓ６０２で決定されたペットの状態と、処理Ｂの図５のＳ５０２で決定された飼い主の画像または音声が再生される前のペットの状態と、を比較して、ペットの状態に変化があったかを判定する。即ち、状態決定部２０４は、Ｓ６０２で決定されたペットの状態が、ポジティブな感情の状態であった場合はペットの状態に変化があったと判定する。

【0065】

そして、画像管理部２０５は、ペットの状態変化の判定結果を保存する。例えば、ペットの状態がポジティブな感情の状態に変化したときに再生されていた飼い主の画像または音声のデータを、効果があったデータとして管理しておく。例えば、画像管理部２０５は、効果があったこと示すフラグと関連付けて飼い主の画像または音声のデータを管理する。

【0066】

また、本実施形態では、処理Ｂにおける図５のＳ５０５の処理において、Ｓ６０３で保存されたペットの状態変化の判定結果を参照して、ネットワークカメラ１１０で再生されるデータを制御する。具体的には、次に処理Ｂが実行される場合、図５のＳ５０５の処理では、効果があったデータとして管理されている飼い主の画像または音声のデータが優先的に再生されるようにデータが選択される。例えば、Ｓ５０５において再生制御部２０８は、有効を示すフラグと関連付けられているデータから先に再生されるようにデータを選択する。

【0067】

そして、再生制御部２０８は、有効を示すフラグと関連付けられているデータが全て再生されたら、次にフラグが関連付けられていないデータが再生されるようにデータを選択する。なお、ペットの状態がネガティブな感情から変化しなかったデータが音声データである場合は、音量を大きくして再生することが好ましい。

【0068】

以上説明したように本実施形態によれば、再生した画像または音声がペットのネガティブな感情の状態を改善する効果があったかを判定することができる。このため、飼い主との直接のコミュニケーションではペットの状態が改善したが、画像または音声を再生した場合は効果がなかったデータを決定することができる。よって、効果のあるデータを優先して再生することで、ペットのネガティブな感情の状態をより適切に改善することができる。

【0069】

＜第３の実施形態＞
本実施形態では、処理Ａおよび処理Ｂにおいてペットの感情に加えてペットの行動を決定して、ペットの行動にさらに基づき、再生するデータを選択する方法を説明する。本実施形態では、第１の実施形態からの差分を中心に説明する。特に明記しない部分については第１の実施形態と同じ構成および処理である。

【0070】

本実施形態の情報処理装置１００には、図２の機能部に加えて不図示の行動決定部が含まれるものとする。行動決定部が画像に含まれるペットの行動を決定する。行動決定の方法は、例えば、入力データをペットの画像とし、数から数十パターンのペットの行動を正解データとした教師あり学習をすることで、機械学習によって構築された学習済みモデルを生成する。そして、その学習済みモデルに画像から切り出されたペットの画像を入力して得られた出力値に基づきペットの行動を決定する。決定されるペットの行動とは、例えば、弱々しく吠えている、強く吠えている、ウロウロ徘徊している等である。

【0071】

図７は、本実施形態の処理Ａの流れについて説明するためのフローチャートである。Ｓ７０１～Ｓ７０２は、Ｓ４０１～Ｓ４０２と同じ処理であるため説明を省略する。

【0072】

Ｓ７０３において情報処理装置１００の行動決定部は、Ｓ７０１で取得された画像に含まれるペットの行動を決定する。

【0073】

Ｓ７０４はＳ４０３と同じ処理である。ペットの状態がポジティブの感情の状態であると状態決定部２０４が判定した場合（Ｓ７０４がＹＥＳ）、Ｓ７０５に進む。

【0074】

Ｓ７０５において保存制御部２０６は、Ｓ４０４と同様に、ネットワークカメラ１１０が飼い主を撮像して得られた画像、および音声入力部１１３が飼い主の声を録音して得られた音声の少なくとも一方を保存するように画像管理部２０５に指示する。

【0075】

そして、画像管理部２０５は、ペットがポジティブの感情の状態のときの飼い主の画像および音声のデータを、Ｓ７０３で決定されたペットの行動と関連付けて保存する。

【0076】

図８は、本実施形態の処理Ｂの流れについて説明するためのフローチャートである。Ｓ８０１～Ｓ８０２は、Ｓ５０１～Ｓ５０２と同じ処理であるため説明を省略する。

【0077】

Ｓ８０３において情報処理装置１００における行動決定部は、Ｓ８０１で取得された画像に含まれるペットの行動を決定する。

【0078】

Ｓ８０４はＳ５０３と、Ｓ８０５はＳ５０４と同じ処理である。ペットの状態がネガティブな感情の状態であると状態決定部２０４が判定した場合（Ｓ８０４がＹＥＳ）、Ｓ８０５～Ｓ８０６の処理が行われる。

【0079】

Ｓ８０６において再生制御部２０８は、処理Ａによって保存され画像管理部２０５が管理しているデータを選択する。本実施形態では、画像管理部２０５が管理しているデータのうち、Ｓ８０３で決定された現在のペットの行動に類似する行動に関連付けられているデータが優先して選択される。行動が類似するかの判定方法は、例えば、行動にカテゴリーを関連付けておいて、カテゴリーが同じ行動は、類似する行動であると判定すればよい。

【0080】

そして、再生制御部２０８は、選択されたデータがネットワークカメラ１１０の表示部１１１または音声出力部１１２で再生されるように、選択されたデータを、ネットワーク１０８を経由してネットワークカメラ１１０に送信されるようにする。

【0081】

ペットの行動には複数のパターンがある。このため、本実施形態の処理Ａでは、ペットの行動毎に対応する飼い主の画像および音声が保存されるように処理される。そして、本実施形態の処理Ｂでは、現在のペットの行動に関連する飼い主の画像または音声を選択して送信する。このため本実施形態によれば、より適切な画像および音声をペットに対して再生することができる。

【0082】

なお、本実施形態の処理Ａにける図７のＳ７０３では、飼い主とペットとの間で、飼い主がペットを撫でる、飼い主がペットにエサを与える等の物理的な接触があったか否かについても決定してもよい。そして、物理的な接触が無いと決定された場合、画像管理部２０５は、ペットの行動に加えて物理的な接触が無かったことをさらに関連付けて飼い主のデータを保存することが好ましい。この場合、処理Ｂにおける図８のＳ８０６では、物理的な接触がないと関連付けられた画像または音声のデータが優先して再生されるように制御されることが好ましい。画像または音声を用いたコミュニケーションでは、物理的な接触はできないため、物理的な接触があったときに撮像または録音されたデータでは、ペットの状態を改善する効果が弱いと推測されるためである。

【0083】

＜その他の実施形態＞
上述の実施形態では、ネットワークカメラ１１０と情報処理装置１００とは異なる装置であるものとして説明したが、ネットワークカメラ１１０に情報処理装置１００が含まれるような一体型の装置でもよい。または、情報処理装置１００の機能の少なくとも一部がネットワークカメラ１１０において実現されてもよい。

【0084】

上述の実施形態では、被写体がペットとペットの飼い主の場合の実施形態について説明したが、上述の実施形態に適用される被写体はペットと飼い主に限られない。上述の実施形態において、ペットを、他の動物によらなければ単独でネガティブな感情からポジティブな感情になること困難である動物（他の動物に依存する関係にある動物）に置き変え、飼い主を当該他の動物に置き変えて適用してもよい。例えば、人間の親と幼児について、上述の実施形態を適用してもよい。または、または、人間以外の動物（例えばペット）の親と当該動物の子の場合にも適用可能である。ペットの親と子に適用する場合は、Ｓ５０４の通知はそのペットの飼い主に通知が行われるようにして、それ以外のステップでは飼い主とあるとこをペットの親に置き変えて適用すればよい。

【0085】

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0086】

＜その他＞
上述した実施形態の開示は、以下の構成を含む。

【0087】

（構成１）
第１の動物に依存する関係のある第２の動物を、撮像装置が撮像して得られた画像を取得する取得手段と、
取得された前記画像に含まれる前記第２の動物の感情を決定する決定手段と、
前記第２の動物の感情がポジティブな感情であると決定された場合における前記第２の動物と同じ場所にいる前記第１の動物の画像および音声の少なくとも一方が保存されるように制御する保存制御手段と、
前記第２の動物の感情がネガティブな感情であると決定された場合、
前記保存制御手段の制御により保存された前記第１の動物の画像、および前記保存制御手段の制御により保存された前記第１の動物の音声の少なくとも一方が再生されるように制御する再生制御手段と、
を有することを特徴とする情報処理装置。

【0088】

（構成２）
取得された前記画像に含まれる被写体を検出し、検出された被写体が前記第１の動物であるか前記第２の動物であるかを検出する検出手段をさらに有する
ことを特徴とする構成１に記載の情報処理装置。

【0089】

（構成３）
前記保存制御手段は、
取得された前記画像から前記第１の動物および前記第２の動物の両方が検出された場合であって、かつ、前記第２の動物の感情がポジティブな感情であると決定された場合、
取得された前記画像および取得された前記画像に対応する音声の少なくとも一方が保存されるように制御する
ことを特徴とする構成２に記載の情報処理装置。

【0090】

（構成４）
前記保存制御手段は、
前記第２の動物の感情がポジティブな感情であると決定された場合、前記第２の動物の感情がポジティブな感情であるときを含む時間における前記第１の動物の画像および音声の少なくとも一方が保存されるように制御する
ことを特徴とする構成１から３のいずれか１項に記載の情報処理装置。

【0091】

（構成５）
前記再生制御手段は、
前記撮像装置が設置されている場所に前記第１の動物が存在しない場合であって、かつ、前記第２の動物の感情がネガティブな感情であると決定された場合、
前記保存制御手段の制御により保存された前記第１の動物の画像および前記保存制御手段の制御により保存された前記第１の動物の音声の少なくとも一方が再生されるように制御する
ことを特徴とする構成１から４のいずれか１項に記載の情報処理装置。

【0092】

（構成６）
前記決定手段は、前記保存制御手段の制御により保存された前記第１の動物の画像および前記保存制御手段の制御により保存された前記第１の動物の音声の少なくとも一方が再生された後の、前記第２の動物の感情がポジティブな感情に変化したかを判定し、
前記第２の動物の感情がポジティブな感情に変化した際に再生されていた、前記第１の動物の画像または前記第１の動物の音声が優先的に再生されるように管理する管理手段をさらに有する
ことを特徴とする構成１から５のいずれか１項に記載の情報処理装置。

【0093】

（構成７）
前記再生制御手段は、
前記保存制御手段の制御により保存された前記第１の動物の画像または前記保存制御手段の制御により保存された前記第１の動物の音声のうち、前記優先的に再生されるように管理されている画像または音声から先に再生されるように制御する
ことを特徴とする構成６に記載の情報処理装置。

【0094】

（構成８）
取得された前記画像に含まれる前記第２の動物の行動を決定する第２の決定手段をさらに有する
ことを特徴とする構成１から７のいずれか１項に記載の情報処理装置。

【0095】

（構成９）
前記保存制御手段の制御により保存された前記第１の動物の画像または前記保存制御手段の制御により保存された前記第１の動物の音声に、前記第２の決定手段が決定した行動を関連付けて管理する管理手段をさらに有する
ことを特徴とする構成８に記載の情報処理装置。

【0096】

（構成１０）
前記再生制御手段は、
前記第２の動物の感情がネガティブな感情であると決定された場合、前記第２の決定手段が決定した行動と類似する行動に関連付けて管理されている画像または音声から先に再生されるように制御する
ことを特徴とする構成９に記載の情報処理装置。

【0097】

（構成１１）
前記撮像装置が設置されている場所に前記第１の動物が存在するか否かを判定する判定手段をさらに有し、
前記撮像装置が設置されている前記場所に前記第１の動物が存在すると判定された場合、前記保存制御手段による処理が実行され、
前記撮像装置が設置されている前記場所に前記第１の動物が存在しないと判定された場合、前記再生制御手段による処理が実行される
ことを特徴とする構成１から１０のいずれか１項に記載の情報処理装置。

【0098】

（構成１２）
前記第２の動物はペットであり、前記第１の動物は前記ペットの飼い主である
ことを特徴とする構成１から１１のいずれか１項に記載の情報処理装置。

【0099】

（構成１３）
前記第２の動物は人間の幼児であり、前記第１の動物は前記幼児の親である
ことを特徴とする構成１から１１のいずれか１項に記載の情報処理装置。

【0100】

（構成１４）
前記第２の動物は人間以外の動物の幼児であり、前記第１の動物は前記幼児の親である
ことを特徴とする構成１から１１のいずれか１項に記載の情報処理装置。

【0101】

（構成１５）
前記第２の動物の感情がネガティブな感情であると決定された場合、所定の通知を行う通知手段をさらに有する
ことを特徴とする構成１から１４のいずれか１項に記載の情報処理装置。

【0102】

（構成１６）
第１の動物に依存する関係のある第２の動物を、撮像装置が撮像して得られた画像を取得する取得ステップと、
取得された前記画像に含まれる前記第２の動物の感情を決定する決定ステップと、
前記第２の動物の感情がポジティブな感情であると決定された場合における前記第２の動物と同じ場所にいる前記第１の動物の画像および音声の少なくとも一方が保存されるように制御する保存制御ステップと、
前記第２の動物の感情がネガティブな感情であると決定された場合、
前記保存制御ステップの制御により保存された前記第１の動物の画像、および前記保存制御ステップの制御により保存された前記第１の動物の音声の少なくとも一方が再生されるように制御する再生制御ステップと、
を有することを特徴とする情報処理方法。

【0103】

（構成１７）
コンピュータに構成１から１５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【符号の説明】

【0104】

２０２ データ取得部
２０４ 状態決定部
２０６ 保存制御部
２０８ 再生制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】