特許 6649005 ロボット撮影システムおよび画像管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6649005

(24)【登録日】2020年1月20日

(45)【発行日】2020年2月19日

(54)【発明の名称】ロボット撮影システムおよび画像管理方法

(51)【国際特許分類】

   G06F 16/535 20190101AFI20200210BHJP

   G06F 16/58 20190101ALI20200210BHJP

   G06F 13/00 20060101ALI20200210BHJP

【ＦＩ】

   G06F16/535

   G06F16/58

   G06F13/00 560A

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2015-154546(P2015-154546)

(22)【出願日】2015年8月4日

(65)【公開番号】特開2017-33413(P2017-33413A)

(43)【公開日】2017年2月9日

【審査請求日】2018年6月29日

(73)【特許権者】

【識別番号】515203631

【氏名又は名称】ユニファ株式会社

(74)【代理人】

【識別番号】110002516

【氏名又は名称】特許業務法人白坂

(74)【代理人】

【識別番号】100161322

【弁理士】

【氏名又は名称】白坂 一

(72)【発明者】

【氏名】土岐 泰之

【審査官】 松尾 真人

(56)【参考文献】

【文献】 特開２０１３−０１３０６４（ＪＰ，Ａ）

【文献】 特開２０１５−０７３２７７（ＪＰ，Ａ）

【文献】 特開２０１２−１２９６５９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０３４２６９１（ＵＳ，Ａ１）

【文献】 特開２０１１−０９５８６２（ＪＰ，Ａ）

【文献】 特開２００７−３１７１２４（ＪＰ，Ａ）

【文献】 特開２００５−３２２２１９（ＪＰ，Ａ）

【文献】 特開２０１１−１８６７３３（ＪＰ，Ａ）

【文献】 特開２０１２−２３５４１５（ＪＰ，Ａ）

【文献】 特開２０１０−０４１５２７（ＪＰ，Ａ）

【文献】 特開２００５−０６５０２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｆ １３／００

Ｇ０６Ｔ １／００

７／００

１１／６０−１３／８０

１７／０５

１９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

所定エリア内に存在する複数の被写体を撮影する撮影部を有するロボットと、
前記ロボットとネットワークを介して接続され、前記撮影部により撮影された撮影画像を管理するサーバと、
を含むロボット撮影システムであって、
前記サーバは、
前記撮影画像を受信する画像受信部と、
前記画像受信部が受信した撮影画像、前記複数の被写体のうち特定の被写体を含むマスター画像、ならびに、該マスター画像に関連付けられた前記特定の被写体の識別情報および前記特定の被写体と所定の関係性を有するユーザのユーザ情報を記憶する記憶部と、
前記記憶部に記憶された撮影画像および前記マスター画像を比較して、前記特定の被写体が含まれる撮影画像を抽出することにより、該抽出された撮影画像と、前記識別情報および前記ユーザ情報を関連付けるものとして特定する特定部と、
前記特定部により特定された識別情報、ユーザ情報および前記抽出された撮影画像を関連付けて前記記憶部に記憶する情報更新部と、
前記サーバにネットワークを介して接続されるユーザ端末であって、前記撮影画像に含まれる特定の被写体と所定の関係性を有するユーザのユーザ端末に対し、前記識別情報および前記ユーザ情報が関連付けられた撮影画像を閲覧可能とする閲覧管理部とを備え、
前記撮影部は、複数の被写体を撮影するに加え、前記被写体の検温撮影をすることにより、第二の撮影画像を生成するものであり、
前記閲覧管理部は、前記所定エリアを管理するユーザのユーザ管理端末に対して、前記撮影画像を閲覧可能とするものであり、
前記サーバは、前記第二の撮影画像を前記画像受信部が受信し、前記記憶部が記憶し、
前記サーバは、前記ユーザ管理端末を介して、前記撮影画像のうち、前記ユーザ端末が閲覧不可とする禁止情報を前記閲覧管理部に設定可能とする閲覧設定部を備える
ロボット撮影システム。

【請求項2】

前記撮影部は、複数の前記第二の撮影画像を動画として撮影するものであって、
前記特定部は、更に、前記動画に含まれる被写体の動き情報と、前記動画に含まれる検温情報に基づいて、健康を確認すべき特定の被写体を特定するものであって、
前記ロボットは、前記特定された健康を確認すべき特定の被写体を指し示す出力を行うものであることを特徴とする請求項１記載のロボット撮影システム。

【請求項3】

前記記憶部は、前記特定の被写体を含むマスター画像に加え、前記特定の被写体とは異なる他の特定の被写体を含むマスター画像を記録するものであって、
前記特定部は、前記記憶部に記憶された撮影画像と前記他の特定の被写体を含むマスター画像を比較することを特徴とする請求項１または２のいずれか一項に記載のロボット撮影システム。

【請求項4】

前記ロボット撮影システムは、前記禁止情報に基づいて、閲覧不可とされた撮影画像を解析し、新たな撮影画像が閲覧不可のものであるか否かを解析する画像解析部を備えるものであって、
前記閲覧設定部は、解析された撮影画像が閲覧不可のものである際には、前記閲覧設定は新たな禁止情報を前記閲覧管理部に設定可能とするものであることを特徴とする請求項１〜３のいずれか一項に記載のロボット撮影システム。

【請求項5】

前記ロボット撮影システムは、
前記ユーザ端末に付属して新たなロボットを備えるものであって、
前記閲覧管理部は、前記ユーザ端末によって閲覧されている撮影画像に前記被写体とは異なる他の被写体が含まれる場合は、前記撮影画像とともに、前記他の被写体の識別情報を閲覧可能とするものであって、
前記新たなロボットの制御部は、前記他の被写体の識別情報に基づいて、前記新たなロボットの部位を制御することを特徴とする請求項４記載のロボット撮影システム。

【請求項6】

所定エリア内に存在する複数の被写体を撮影する撮影部を有するロボットと、
前記ロボットとネットワークを介して接続され、前記撮影部により撮影された撮影画像を管理するサーバと、を含むロボット撮影システムにおける画像管理方法であって、
前記撮影画像を受信する画像受信ステップと、
前記受信した撮影画像、前記複数の被写体のうち特定の被写体を含むマスター画像、ならびに、該マスター画像に関連付けられた前記特定の被写体の識別情報および前記特定の被写体と所定の関係性を有するユーザのユーザ情報を記憶部が記憶する記憶ステップと、
前記記憶された撮影画像および前記マスター画像を比較して、前記特定の被写体が含まれる撮影画像を抽出することにより、該抽出された撮影画像と、前記識別情報および前記ユーザ情報を関連付けるものとして特定する特定ステップと、
前記特定ステップにおいて特定された識別情報、ユーザ情報および前記抽出された撮影画像を関連付けて記憶する情報更新ステップと、
前記サーバにネットワークを介して接続されるユーザ端末であって、前記撮影画像に含まれる特定の被写体と所定の関係性を有するユーザのユーザ端末に対し、前記識別情報および前記ユーザ情報が関連付けられた撮影画像を閲覧可能とする閲覧管理ステップと、を実行し、
前記閲覧管理ステップは、前記所定エリアを管理するユーザのユーザ管理端末に対して、前記撮影画像を閲覧可能とし、
前記撮影部は、複数の被写体を撮影するに加え、前記被写体の検温撮影をすることにより、第二の撮影画像を生成するステップを実行し、
前記サーバは、前記第二の撮影画像を前記画像受信ステップで受信し、前記記憶部が記憶するステップを実行し、
前記サーバは、前記ユーザ管理端末を介して、前記撮影画像のうち、前記ユーザ端末が閲覧不可とする禁止情報を前記閲覧管理ステップにおいて設定可能とする閲覧設定ステップを実行する
画像管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット撮影システムおよび画像管理方法に関するものであって、特に、ロボットと、このロボットの撮影部により撮影された撮影画像を管理するサーバとを備えるロボット撮影システムおよび画像管理方法に関する。

【背景技術】

【0002】

従来、人に代わって作業をする、または、擬人的に会話や動作を行うロボットシステムが知られる。例えば、特許文献１には、携帯端末を保持するユーザとロボットの通信機能を利用したコミュニケーション可能なロボットシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−１６９６１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したロボットシステムは、例えば、ユーザが行う体操の計画を示した体操計画情報を記録した携帯端末より、体操計画情報を受信するロボット受信部と、受信された体操計画情報に基づいて体操駆動を行うように制御する制御部と、体操駆動の結果を示した体操駆動情報を記録するロボット記録部と、体操駆動情報を携帯端末に送信するロボット送信部とを備えるため、ユーザがロボットと一緒に体操をした体操結果を携帯端末にフィードバックすることができ、携帯端末を保有するユーザの体操習慣の形成および継続を促すことができる。

【0005】

しかしながら、このようなロボットシステムは、検出したユーザの動きや表情を踏まえて個々に合ったロボット駆動をユーザに対し提供することはできるものの、ユーザに対しユーザと所定の関係にある人物の様子がわかる情報を提供するものではなかった。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のロボット撮影システムは、所定エリア内に存在する複数の被写体を撮影する撮影部を有するロボットと、ロボットとネットワークを介して接続され、撮影部により撮影された撮影画像を管理するサーバと、を含む。サーバは、撮影画像を受信する画像受信部と、画像受信部が受信した撮影画像、複数の被写体のうち特定の被写体を含むマスター画像、ならびに、該マスター画像に関連付けられた特定の被写体の識別情報および特定の被写体と所定の関係性を有するユーザのユーザ情報を記憶する記憶部と、記憶部に記憶された撮影画像およびマスター画像を比較して、特定の被写体が含まれる撮影画像を抽出することにより、該抽出された撮影画像と、識別情報およびユーザ情報を関連付けるものとして特定する特定部と、特定部により特定された識別情報、ユーザ情報および抽出された撮影画像を関連付けて記憶部に記憶する情報更新部と、サーバにネットワークを介して接続されるユーザ端末であって、撮影画像に含まれる特定の被写体と所定の関係性を有するユーザのユーザ端末に対し、識別情報およびユーザ情報が関連付けられた撮影画像を閲覧可能とする閲覧管理部とを備えるものである。

【0007】

また、撮影部は、複数の被写体を撮影するに加え、被写体の検温撮影をすることにより、第二の撮影画像を生成するものであって、サーバは、第二の撮影画像を画像受信部が受信し、記憶部が記憶するものであってもよい。

【0008】

また、撮影部は、複数の第二の撮影画像を動画として撮影するものであって、特定部は、更に、動画に含まれる被写体の動き情報と、動画に含まれる検温情報に基づいて、健康を確認すべき特定の被写体を特定するものであって、ロボットは、特定された健康を確認すべき特定の被写体を指し示す出力を行うものであってもよい。

【0009】

また、記憶部は、特定の被写体を含むマスター画像に加え、特定の被写体とは異なる他の特定の被写体を含むマスター画像を記録するものであって、特定部は、記憶部に記憶された撮影画像と他の特定の被写体を含むマスター画像を比較してもよい。

【0010】

また、ロボットは、予め用意された該ロボットの運動行為を行うための複数のアプリケーションソフトを記憶する記憶部と、アプリケーションソフトに基づいて、ロボットの各部位を制御する制御部とを備えるものであって、サーバは、特定された撮影画像に基づいて、ユーザの趣向を解析し、趣向情報を抽出する画像解析部を備えるものであって、制御部は、趣向情報に基づいて、ロボットの部位を制御してもよい。

【0011】

また、ロボットは、対話機能を有する対話部を備えるものであって、制御部は、趣向情報に基づいて、記憶部に記憶されたアプリケーションソフトの中から最適なアプリケーションソフトを選択し、該選択されたアプリケーションソフトを用いて、撮影部による撮影タイミング、対話部による対話内容、ロボットの部位のいずれかを制御してもよい。

【0012】

また、閲覧管理部は、所定エリアを管理するユーザのユーザ管理端末に対して、撮影画像を閲覧可能とするものであって、サーバは、ユーザ管理端末を介して、撮影画像のうち、ユーザ端末が閲覧不可とする禁止情報を閲覧管理部に設定可能とする閲覧設定部を備えてもよい。

【0013】

また、画像解析部は、禁止情報に基づいて、閲覧不可とされた撮影画像を解析し、新たな撮影画像が閲覧不可のものであるか否かを解析するものであって、閲覧設定部は、解析された撮影画像が閲覧不可のものである際には、閲覧設定は新たな禁止情報を閲覧管理部に設定可能とするものであってもよい。

【0014】

また、ロボット撮影システムは、ユーザ端末に付属して新たなロボットを備えるものであって、閲覧管理部は、ユーザ端末によって閲覧されている撮影画像に被写体とは異なる他の被写体が含まれる場合は、撮影画像とともに、他の被写体の識別情報を閲覧可能とするものであって、新たなロボットの制御部は、他の被写体の識別情報に基づいて、新たなロボットの部位を制御してもよい。

【0015】

また、所定エリア内に存在する複数の被写体を撮影する撮影部を有するロボットと、ロボットとネットワークを介して接続され、撮影部により撮影された撮影画像を管理するサーバと、を含むロボット撮影システムにおける画像管理方法であって、撮影画像を受信する画像受信ステップと、受信した撮影画像、複数の被写体のうち特定の被写体を含むマスター画像、ならびに、該マスター画像に関連付けられた特定の被写体の識別情報および特定の被写体と所定の関係性を有するユーザのユーザ情報を記憶する記憶ステップと、記憶された撮影画像およびマスター画像を比較して、特定の被写体が含まれる撮影画像を抽出することにより、該抽出された撮影画像と、識別情報およびユーザ情報を関連付けるものとして特定する特定ステップと、特定ステップにおいて特定された識別情報、ユーザ情報および抽出された撮影画像を関連付けて記憶する情報更新ステップと、サーバにネットワークを介して接続されるユーザ端末であって、撮影画像に含まれる特定の被写体と所定の関係性を有するユーザのユーザ端末に対し、識別情報およびユーザ情報が関連付けられた撮影画像を閲覧可能とする閲覧管理ステップとを備える。

【発明の効果】

【0016】

本発明によれば、特定の被写体を含む撮影画像を、該被写体と所定の関係性をするユーザのユーザ端末に対して閲覧可能とすることにより、ユーザは、撮影画像を通して被写体の様子を知ることができる。

【図面の簡単な説明】

【0017】

【図1】実施の形態に係るロボット撮影システムの概観を模式的に示す図である。

【図2】実施の形態に係るロボット撮影システムの機能構成を示すブロック図である。

【図3】実施の形態に係るユーザ端末から利用できるマスター画像登録画面の一例を示す図である。

【図4】実施の形態に係る撮影画像とマスター画像の比較を示す概念図である。

【図5】実施の形態に係るサーバの記憶部が記憶する撮影画像およびユーザ情報の一例を示す図である。

【図6】実施の形態に係るユーザ端末の画面の一例を示す図である。

【図7】実施の形態に係る検温撮影の一例を示す概念図である。

【図8】実施の形態に係る撮影部の機能構成を示すブロック図である。

【図9】図９（ａ）−（ｂ）は制御部による制御と撮影部による撮影を並行して行う一例を示す図である。

【図10】実施の形態に係るユーザ管理端末の画面の一例を示す図である。

【図11】実施の形態に係る新たなロボットを利用する一例を示す模式図である。

【図12】実施の形態に係るユーザ端末から撮影画像を利用する一例を示す図である。

【図13】実施の形態に係る制御部がロボットに運動行為を行わせる一例を示す図である。

【図14】実施の形態に係るサーバが行う処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

本発明の実施の形態の概要を述べる。図１は、実施の形態に係るロボット撮影システム１の概観を模式的に示す図である。ロボット撮影システム１は、所定エリアＥ内に存在する複数の被写体を撮影するロボット１００と、ロボット１００とネットワークＮＴを介して接続され、撮影された撮影画像を管理するサーバ２００とを含む。また、ユーザ端末１０、ユーザ管理端末２０、ロボット１００、およびサーバ２００等が通信により接続されている。

【0019】

「所定エリア」Ｅとは、複数の人物が所属する施設等が存在する敷地領域であり、また、ロボット１００は該敷地内に存在する複数の人物を対象に写真撮影を行うものである。例えば、幼稚園、習い事教室、老人ホーム等の施設が存在する敷地のことである。実施例として以降幼稚園の例を挙げて説明する。また、本実施例では、「ユーザ」は幼稚園に通う園児の親とし、「ユーザ管理者」は幼稚園の保育士として説明する。

【0020】

ユーザ端末１０は、ユーザが使用する端末であって、ユーザは、予めユーザ管理者から発行されたユーザ情報に基づいてサーバ２００にログインする。ユーザ情報とは例えばユーザＩＤを示す。ユーザ管理者は、幼稚園に通う園児一人について園児の家族に一つのユーザＩＤを発行する。ユーザ端末１０は、具体的には、有線または無線による通信機能を有するＰＣ（Ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット、ファブレット等であって、画像を表示できる端末である。ユーザ端末１０はネットワークＮＴを介してサーバ２００に接続し、ユーザ管理者がユーザに対して設定した範囲の権限で、サーバ２００のサービスを利用できる。

【0021】

ユーザ管理端末２０は、ユーザ管理者が使用する端末であって、ユーザ管理者は、該ユーザ管理者が属する幼稚園に関するサーバ２００上のデータおよび設定を管理する。ユーザ管理端末２０とは、具体的には、有線または無線による通信機能を有するＰＣ、スマートフォン、タブレット、ファブレット等である。また、ユーザ管理者は、ユーザ管理端末２０を通して、有線または無線により、所定エリアＥ内に配置したロボット１００に対しロボット１００の動作に関する設定を行ってもよい。

【0022】

図２は、実施の形態に係るロボット撮影システム１の機能構成を示すブロック図である。ロボット１００は、撮影部１１０、記憶部１２０、制御部１３０、および対話部１４０を備える。ロボット１００は、所定エリアＥ内に存在する複数の被写体を撮影するため、自走又は遠隔操作により移動可能なものが好ましい。具体的には、ロボット１００は歩行可能な人型ロボットまたはキャスター等が取り付けられた移動式ロボットであってもよい。また、ロボット１００は通信機能を有し、ロボットの撮影部１１０は撮影した撮影画像をサーバ２００に送信する。具体的には、ロボット１００は、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。

【0023】

撮影部１１０は、所定エリアＥ内に存在する複数の被写体を撮影する。撮影部１１０は、具体的にはＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）またはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）により光信号を電気信号に変換することで画像情報を取得するものである。撮影部１１０は、デジタルカメラと同様の機能を有するものであってもよい。撮影部１１０は、例えば、人の顔を追跡してカメラを動かし、人の顔にフォーカスする機能を備えてもよい。更に、撮影部１１０は、人の表情を認識して撮影する機能を備えてもよい。ロボットの記憶部１２０、制御部１３０、および対話部１４０については後述する。

【0024】

サーバ２００は、画像受信部２１０、記憶部２２０、特定部２３０、情報更新部２４０、閲覧管理部２５０、画像解析部２６０、および閲覧設定部２７０を備える。サーバ２００は、具体的にはネットワークＮＴ上に設けられたコンピュータであって、ロボット１００が撮影した撮影画像を管理するものである。サーバ２００は、また、ネットワークＮＴを介してサーバ２００に接続するユーザ端末１０およびユーザ管理端末２０に対し、サーバ２００が持つ機能、サービス、およびデータ等を提供する。

【0025】

画像受信部２１０は、ロボット１００が撮影した撮影画像を受信する。画像受信部２１０は、具体的には、ネットワークモジュール等で構成される。

【0026】

記憶部２２０は、画像受信部２１０が受信した撮影画像、複数の被写体のうち特定の被写体を含むマスター画像、ならびに、該マスター画像に関連付けられた特定の被写体の識別情報および特定の被写体と所定の関係性を有するユーザのユーザ情報を記憶する。複数の被写体とは、例えば、所定エリアＥ内に存在する人物である。「特定の被写体」とは、例えば、マスター画像が登録された対象の園児を示す。「所定の関係性」とは、例えば、該園児と家族または親せき関係にあることを示す。または、特定の被写体を特に気遣い保護する立場にある者である。

【0027】

図３を用いてマスター画像、およびマスター画像をサーバ２００へ登録する方法について説明する。図３は、実施の形態に係るユーザ端末１０から利用できるマスター画像登録画面の一例を示す図である。「マスター画像」とは、予めユーザが登録した、所定エリアＥに所属する人物を含む画像である。人物を含む画像とは、例えば、既に撮影された写真をスキャナで取り込んだ画像であってもよく、また、ユーザ端末１０が撮影した画像であってもよい。後述する特定部２３０が画像検索を行うのに利用するものである。ユーザは、予めユーザ管理者がサーバ２００に登録してユーザに通知したユーザ情報を使い、サーバ２００へログインする。図３に示す画面の右側には、現在のログインに使用しているユーザＩＤ、および該ユーザＩＤに対応する園児の園児名、ニックネーム、および所属クラス等が表示される。画面の左側には、該園児のマスター画像として取り込まれている画像が表示される。ユーザは、参照ボタンをクリックして別の画像ファイルをますがー画像として指定してもよい。更に、ユーザが、表示画面上の画像の一部を選択することで、選択した部分を抽出してマスター画像としても良い。これより、指定した画像が顔以外の部分を多く含む場合であっても、後述する特定部２３０の人物の誤認識を抑制できる。ユーザが最後に登録ボタンを押すことで、ユーザ端末１０は、選択した画像または画像の一部を該ユーザＩＤに対応するマスター画像としてサーバ２００に送信する。記憶部２２０は、ユーザ情報リスト２２１を備え、各園児に対して園児の識別情報、ユーザ情報、およびマスター画像等を関連付けて記憶する。「園児の識別情報」とは、例えば園児名である。

【0028】

特定部２３０は、記憶部２２０に記憶された撮影画像およびマスター画像を比較して、特定の被写体が含まれる撮影画像を抽出することにより、該抽出された撮影画像と、識別情報およびユーザ情報を関連付けるものとして特定する。画像の抽出は、例えば、サーバ２００のＣＰＵが検索エンジンを実行することによって実現される。

【0029】

特定部２３０および情報更新部２４０が行う処理について、図４および図５を用いて説明する。図４は、実施の形態に係る撮影画像とマスター画像の比較を示す概念図である。特定部２３０は、記憶された撮影画像（ＩＭＧ１、ＩＭＧ２、ＩＭＧ３・・・）と、マスター画像（Ｍ１、Ｍ２、Ｍ３・・・）とを比較して、特定の被写体が含まれる撮影画像を抽出する。具体的には、例えば、特定部２３０は、撮影画像ＩＭＧ６においてマスター画像Ｍ３と似た部分を検出した場合、似た部分とマスター画像Ｍ３との類似性を測定し、測定結果を基に、マスター画像Ｍ３に対応する特定の人物Ａ３が撮影画像ＩＭＧ６に含まれるか否かの判定を行う。特定部２３０は、特定の人物Ａ３が撮影画像ＩＭＧ６に含まれると判定した場合は、撮影画像ＩＭＧ６を抽出する。

【0030】

図５は、実施の形態に係るサーバ２００の記憶部２２０が記憶する撮影画像およびユーザ情報の一例を示す図である。特定部２３０は、抽出した撮影画像ＩＭＧ６について、記憶部２２０のユーザ情報リスト２２１を参照し、抽出の際に使用したマスター画像Ｍ３に関連する識別情報Ａ３、およびユーザ情報Ｕ３を特定する。

【0031】

情報更新部２４０は、特定部２３０により特定された識別情報、ユーザ情報および抽出された撮影画像を関連付けて記憶部２２０に記憶する。例えば、図５の画像特定リスト２２２は、各撮影画像と、それに対して特定された識別情報およびユーザ情報を関連づけて記憶したものである。図５に示す例では、識別情報は園児名またはニックネームであり、ユーザ情報はユーザＩＤを示す。

【0032】

閲覧管理部２５０は、撮影画像に含まれる特定の被写体と所定の関係性を有するユーザのユーザ端末１０に対し、識別情報およびユーザ情報が関連付けられた撮影画像を閲覧可能とする。

【0033】

図６は、実施の形態に係るユーザ端末１０の画面の一例を示す図である。図６は、例えばユーザＩＤを使ってユーザがユーザ端末１０からサーバ２００にログインし、園児が被写体として含まれる撮影画像を閲覧する画面である。更に、サーバ２００は招待機能を有するとしてもよい。また、ユーザに対し閲覧可能とする撮影画像の数に上限を設けても良い。例えば図６では、サーバ２００は一ユーザＩＤに対し１日１０の撮影画像を選択して閲覧可能とする。更に、図６に示すように、ユーザはユーザ端末１０を介して、撮影画像に対して気に入ったことを示すお気に入り情報、および撮影画像の説明や日記などのコメント情報を入力することができる。サーバ２００の記憶部２２０は、ユーザ端末１０からこれらの情報を受信すると、該撮影画像に関連付けて画像特定リスト２２２に記憶する。また、ユーザが希望する撮影画像を選択して購入またはダウンロードしてもよい。

【0034】

これより、例えばユーザである親は、幼稚園にいる間の子供の最近の様子を知ることができる。また、ユーザは、都合のよいときにサーバ２００へアクセスして閲覧できる。更に、ユーザは閲覧によって得た情報を基に子供と会話をすれば、より日常生活に基づいた会話内容でコミュニケーションをとることが可能となる。また、単身赴任や出張により自宅にいない家族であっても、ユーザ情報を使用して所持するユーザ端末１０を介してサーバ２００にログインすることにより、離れている間も最近の子供の様子を知ることができる。また、招待機能を利用すれば、ユーザは、例えば遠方の祖父母に閲覧を許可して孫の様子を知らせることができる。離れて暮らす家族の関係をより親密なものとすることができる。

【0035】

撮影部１１０は、複数の被写体を撮影するに加え、被写体の検温撮影をすることにより、第二の撮影画像を生成するものであって、サーバ２００は、第二の撮影画像を画像受信部２１０が受信し、記憶部２２０が記憶するものであってもよい。

【0036】

図７は、実施の形態に係る検温撮影の一例を示す概念図である。具体的には、撮影部１１０は、前述した光信号を電気信号に変換することで画像情報を取得するカメラ１１０ａに加え、温度を測定するセンサを含むサーモグラフィーカメラ１１０ｂを備える。本明細書で「第二の撮影画像」とは、被写体の検温撮影をすることにより得られる画像をいう。

【0037】

図８は、実施の形態に係る撮影部１１０の機能構成を示すブロック図である。図８では、第二の撮影画像が、撮影画像およびサーモグラフィー画像を合成した合成画像である例を示す。図８を基に、第二の撮影画像を生成する際の処理について説明する。撮影部１１０は、カメラ１１０ａが撮影した撮影画像をサーバ２００に送信するのとは別に、撮影画像に対して人の顔を検出する顔検出エンジンを実行し、例えば、検出した画像上の位置を示す位置情報を抽出する。一方、サーモグラフィーカメラ１１０ｂは、センサの出力を基に温度計算を行ってサーモグラフィー画像を生成する。撮影部１１０は、生成されたサーモグラフィー画像の温度分布を、撮影画像より抽出された位置情報に基づき分析し、人の顔に対応するサーモグラフィー画像上の位置の温度を測定する。また、撮影部１１０は、測定した温度が所定の値を超える場合に第二の撮影画像を生成する。

【0038】

図７は、上述した処理で生成された第二の撮影画像の一例を示す。図７の左側には、ユーザ管理端末２０のディスプレイ上に表示される合成画像の概念図を示す。合成画像は、例えば図７のように撮影画像と検温画像を半透明に重ねて作成した画像であってもよい。例えば、撮影画像は透明度７０％で薄く、第二の画像は透明度３０％で濃くして表示する。このように両画像を半透明に重ね合わせれば、保育士は、園児の顔を識別でき、更に園児の温度を知ることができる。また、顔検出エンジンの処理により、人の顔以外の物であってその温度が所定の値を超える被写体が撮影画像に含まれる場合でも、撮影部１１０が誤報告する可能性を抑えられる。

【0039】

また、ユーザ管理端末２０は、撮影部１１０による温度測定の結果、および前述した撮影画像に関連付けられて記憶された被写体の識別情報を併せてユーザ管理者に提示してもよい。これより園児個別の健康管理に役立てることができる。更に、撮影部１１０が定期的に温度測定した結果を記憶部２２０が記憶すれば、園児個別の平熱や体温の変化を管理することができる。また、撮影部１１０は一度の撮影で複数名の温度測定が可能なため、所定エリアＥ内の複数の被写体の温度情報を効率よく得ることができる。

【0040】

なお、顔検出エンジンは、ロボット１００の代わりにサーバ２００が備えるものとしてもよい。この場合、特定部２３０が顔検出エンジンを実行し、抽出した位置情報をロボット１００に送信してもよい。また、特定部２３０は、抽出した位置情報に加え、特定された被写体の識別情報等をロボット１００に送信してもよい。

【0041】

撮影部１１０は、複数の第二の撮影画像を動画として撮影するものであって、特定部２３０は、更に、動画に含まれる被写体の動き情報と、動画に含まれる検温情報に基づいて、健康を確認すべき特定の被写体を特定するものであって、ロボット１００は、特定された健康を確認すべき特定の被写体を指し示す出力を行うものであってもよい。具体的には、撮影部１１０のサーモグラフィーカメラ等が複数の被写体を動画として撮影する。特定部２３０は、第二の撮影画像を基に温度が高い園児を検出し、該園児の撮影前後の活動の様子を動画を基に分析する。例えば、温度が高いが直前に激しい運動をしていた被写体であれば特に健康を確認する必要はないと判定してもよい。また、温度が高く動きが鈍い被写体であれば健康を確認すべき対象として判定してもよい。ロボット１００はまた、この結果受信して、健康を確認すべき被写体を指し示す出力を行う。指し示す出力とは、例えばロボットの音声またはアラームの音による出力、または指さしなどの動きによる出力を意味する。健康を確認すべき被写体については、特定部２３０が通常の撮影画像に基づき該被写体の識別情報を特定するため、分析結果と併せて園児の名前を提供できる。また、図７に示すように、ユーザ管理端末２０は健康を確認すべき被写体を含む画像または映像等をディスプレイ画面に表示して保育士などに確認を促してもよい。

【0042】

これより、特定部２３０は、動き情報と検温情報に基づいて、健康を確認すべき人物を絞って提示することができるため、例えば保育士は特定された園児に対して更に健康を確認するための処置を施すことができる。

【0043】

記憶部２２０は、特定の被写体を含むマスター画像に加え、特定の被写体とは異なる他の特定の被写体を含むマスター画像を記録するものであって、特定部２３０は、記憶部２２０に記憶された撮影画像と他の特定の被写体を含むマスター画像を比較してもよい。

【0044】

図５に戻り、画像特定リスト２２２を用いて説明する。例えば、記憶部２２０は、幼稚園に所属する複数の園児に関するマスター画像の他、ボールやおもちゃ等の物体についてもマスター画像を記憶する。特定部２３０は、特定の被写体のマスター画像と同様に遊具等のマスター画像についても同様の処理を行い、情報更新部２４０は、抽出した撮影画像と、更に特定された物体の識別情報とを関連づけて記憶する。例えば図５の画像特定リスト２２２には、撮影画像ＩＭＧ６に園児Ａ３およびＡ５の他、被写体としてボールが含まれることを示す。

【0045】

これより、特定部２３０は撮影画像に含まれる被写体のうち園児以外の情報についても特定できるため、サーバ２００はこれらの情報を更なるサービスに利用することが可能である。

【0046】

ロボット１００は、予め用意されたロボット１００の運動行為を行うための複数のアプリケーションソフトを記憶する記憶部１２０と、アプリケーションソフトに基づいて、ロボットの各部位を制御する制御部１３０とを備えるものであって、サーバ２００は、特定された撮影画像に基づいて、ユーザの趣向を解析し、趣向情報を抽出する画像解析部２６０を備えるものであって、制御部１３０は、趣向情報に基づいて、ロボットの部位を制御してもよい。

【0047】

図９（ａ）−（ｂ）は、制御部１３０による制御と撮影部１１０による撮影を並行して行う一例を示す図である。制御部１３０は、ロボット１００の駆動制御をするものであって、例えば、ＣＰＵにより構成される。例えば図６に示す「いいね」や「購入する」等のボタンをユーザがユーザ端末１０を介して選択することにより、ユーザの趣向がサーバ２００に記憶される。画像解析部２６０は、前述したユーザ操作、および関連する撮影画像を解析することにより、ユーザが気に入る撮影画像を撮影するための撮影方法等を抽出する。制御部１３０は、抽出された撮影方法に基づきロボット１００の運動行為および撮影部１１０の撮影を制御する。例えば、ユーザが、園児の正面画像に対して「いいね」を選択する頻度が高い場合は、図９（ｂ）に示すように、ロボット１００が手を振って園児の注意をひき、園児が正面を向いた撮影画像を得る。これより、撮影部１１０は間接的にユーザの趣向を反映して撮影するため、ユーザが気に入る撮影画像を提供できる可能性が高めることができる。

【0048】

ロボットは、対話機能を有する対話部１４０を備えるものであって、制御部１３０は、趣向情報に基づいて、記憶部１２０に記憶されたアプリケーションソフトの中から最適なアプリケーションソフトを選択し、該選択されたアプリケーションソフトを用いて、撮影部１１０による撮影タイミング、対話部１４０による対話内容、ロボット１００の部位のいずれかを制御してもよい。具体的には、対話部１４０は音声入出力を行うマイクロフォンおよびスピーカーを備える。

【0049】

図９（ａ）は、ロボット１００が園児と対話を行う一例を示す。例えば、ユーザが、園児が話している撮影画像に対して「いいね」を選択する頻度が高い場合は、制御部１３０は、ロボット１００が園児に対して話しかけ、それに応じて園児が答えるタイミングで撮影部１１０が撮影を行うよう制御する。

【0050】

これより、制御部１３０がロボット１００の動き、会話、および撮影タイミングを制御するため、ユーザの趣向を反映した園児の姿勢を導くことができ、ユーザが気に入る撮影画像を提供できる可能性を高めることができる。

【0051】

閲覧管理部２５０は、所定エリアＥを管理するユーザのユーザ管理端末２０に対して、撮影画像を閲覧可能とするものであって、サーバ２００は、ユーザ管理端末２０を介して、撮影画像のうち、ユーザ端末１０が閲覧不可とする禁止情報を閲覧管理部２５０に設定可能とする閲覧設定部２７０を備えてもよい。

【0052】

図１０は、実施の形態に係るユーザ管理端末２０の画面の一例を示す図である。例えば、図１０は、幼稚園の保育士がユーザ管理者としてサーバ２００にログインし、ユーザに提示する撮影画像の検閲を行うものである。図１０では、園児二人が喧嘩をして泣く姿が撮影されている。保育士は、その日に撮影されてこれからユーザが閲覧する対象の撮影画像について、不適切な撮影画像を閲覧対象から除外ことができる。具体的には、保育士がユーザ管理端末２０を介して該撮影画像を選択し、表示された画像に対し「閲覧禁止」ボタンを選択することにより、サーバ２００に禁止情報が登録される。例えば、画像特定リスト２２２に図示しない禁止情報が、該撮影画像に関連付けられて保存される。

【0053】

これより、本発明のロボット撮影システム１は、モニター映像をリアルタイムに提供するようなシステムとは異なり、所定エリアＥ内の人物のプライバシーやセキュリティを守るためのステップを経て、限定されたユーザに対し家族の情報を提供できる。

【0054】

図１０の画面に基づきサーバ２００は、前述した閲覧設定の他、更にユーザ管理者に園児の家族とコミュニケーションをとるためのサービスを提供する。例えば、ユーザ管理端末２０から「お便り帳」ボタンを使用して、ユーザ管理者はユーザへメッセージを送信することができる。また、撮影画像を選択して添付してもよい。

【0055】

画像解析部２６０は、禁止情報に基づいて、閲覧不可とされた撮影画像を解析し、新たな撮影画像が閲覧不可のものであるか否かを解析するものであって、閲覧設定部２７０は、解析された撮影画像が閲覧不可のものである際には、閲覧設定は新たな禁止情報を閲覧管理部２５０に設定可能とするものであってもよい。具体的には、画像解析部２６０は学習機能を有し、ユーザ管理者が判断した結果を基に禁止情報が付加される傾向の画像構成等を取得して次回以降に撮影した撮影画像において類似の構成のものがあれば自動的に閲覧不可とする。これより、ユーザ管理者が行った判断をシステムが次回以降の閲覧設定に利用するため、検閲を行う保育士の負担は次第に軽減される。

【0056】

ロボット撮影システム１は、ユーザ端末１０に付属して新たなロボット４００を備えるものであって、閲覧管理部２５０は、ユーザ端末１０によって閲覧されている撮影画像に被写体とは異なる他の被写体が含まれる場合は、撮影画像とともに、他の被写体の識別情報を閲覧可能とするものであって、新たなロボット４００の制御部４１０は、他の被写体の識別情報に基づいて、新たなロボット４００の部位を制御してもよい。

【0057】

図１１は、実施の形態に係る新たなロボット４００を利用する一例を示す模式図である。新たなロボット４００はロボット１００と同様の機能を有するものであってもよい。新たなロボット４００はユーザ端末１０に有線または無線で接続されている。新たなロボット４００は制御部４１０を備え、制御部４１０は保持するアプリケーションソフトのうち適切なものを選択して新たなロボット４００の各部位を動かす、または会話内容を提供するとしてもよい。図１１に示す例では、新たなロボット４００が、ユーザが閲覧中の撮影画像に含まれる友達の名前を取得し、取得した情報に基づいてユーザおよび園児に話しかけている。

【0058】

これより、新たなロボット４００が家族の会話をサポートし、家族は園児の幼稚園での生活に基づいた会話を行うことができる。また、他の被写体に関する情報が提供されるため、家族は園児の友達やお気に入りの遊具などの情報を共有することができる。

【0059】

図１２は、実施の形態に係るユーザ端末１０から撮影画像を利用する一例を示す図である。図１２に示す例では、ユーザが期間を指定して、ユーザが過去にお気に入り情報を付した撮影画像を抽出して表示する画面である。更に、ユーザは抽出された撮影画像から数枚を選択し、ユーザ端末１０にまとめてダウンロードすることができる。また、選択した撮影画像をフォトアルバムとして作成するよう発注することができる。

【0060】

図１３は、実施の形態に係る制御部がロボットに運動行為または会話を行わせる一例を示す図である。記憶部１２０が記憶するアプリケーションソフトに基づいて、制御部１３０がロボット１００の各部位を制御することにより、ロボット１００は保育士の業務の一部を実行してもよい。保育士の任務の一部とは、例えば、ダンスや読み聞かせであり、また、ロボット１００は並行して画像を撮影してもよい。これより、豊かな表情の園児の写真を得ることができる。

【0061】

以下、本実施の形態の使用例について、図１４を基に説明する。図１４は、本発明のロボット撮影システム１および画像管理方法に関し、実施の形態に係るサーバ２００が行う処理を示すフローチャートである。図１４では、ユーザ管理者によるユーザ情報の登録、およびユーザによるマスター画像の登録は完了しているものとする。つまり、記憶部２２０は、複数の被写体のうち特定の被写体を含むマスター画像、ならびに、該マスター画像に関連付けられた特定の被写体の識別情報および特定の被写体と所定の関係性を有するユーザのユーザ情報を記憶している。

【0062】

ロボット１００の撮影部１１０は、所定エリア内に存在する複数の被写体について人の顔を検出して（Ｓ１０１）画像を撮影し（Ｓ１０２）、ネットワークＮＴを介してサーバ２００に撮影画像を送信する（Ｓ１０３）。サーバ２００の画像受信部２１０は、ロボット１００が撮影した撮影画像を受信する（Ｓ２０１）。記憶部２２０は受信した撮影画像を記憶部２２０に記憶する（Ｓ２０２）。特定部２３０は、記憶部２２０に記憶された撮影画像およびマスター画像を比較して（Ｓ２０３）、撮影画像に特定の被写体が含まれるかを判定し（Ｓ２０４）、含まれる場合には該撮影画像を抽出する（Ｓ２０５）。特定部２３０はまた、抽出する際に使用したマスター画像に基づき、記憶部２２０が記憶するユーザ情報リスト２２１を参照して該撮影画像と、識別情報およびユーザ情報を関連付けるものとして特定する（Ｓ２０６）。情報更新部２４０は、特定された識別情報、ユーザ情報および抽出された撮影画像を関連付けて記憶部２２０に記憶する（Ｓ２０７）。閲覧管理部２５０は、撮影画像に含まれる特定の被写体と所定の関係性を有するユーザのユーザ端末１０に対し、識別情報およびユーザ情報が関連付けられた撮影画像を閲覧可能とする（Ｓ２０８）。

【0063】

以上説明したように、実施の形態によれば、ユーザは家族の画像を日常的に閲覧でき、離れて過ごす間の家族の様子を知ることができるため、閲覧により得た情報に基づいて家庭での会話をより日常に基づいたものとすることができる。また、ユーザは離れて暮らす家族と最近の情報を共有できるため、より親密な関係を維持することができる。更に、保育士などのユーザ管理者は、アルバム作成やイベント時の写真撮影、写真選別、および会計処理等に関する負担を軽減できる。

【0064】

以上、本発明を実施の形態をもとに説明した。上記実施の形態では、所定エリアＥとして幼稚園を例にあげたが、例えば、習い事教室、老人ホームなどの施設にも適用できるものである。例えば、英会話教室や体操教室等で利用する場合は、撮影部１１０ａで動画を撮影し、記憶部２１０は、撮影した動画から静止画を撮影画像として取り出して記憶し、更に所定時間の動画を該撮影画像と関連付けて保存し、閲覧管理部２５０は、閲覧可能とする撮影画像に関連付けられた所定時間の動画を、閲覧可能とするものであってもよい。これより、ユーザは子供の英会話の音声や体操の動きを含んだ情報を得るため、習い事の上達状況を知ることができる。

【0065】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0066】

上述した実施の形態の他に、本発明のロボット撮影システム１は以下を備えるものとしても良い。例えば、記憶部２２０は撮影画像に付随する情報として時間情報を含む。これより、例えば予め登録した誕生日には、その日の撮影画像とともに１年前の画像をユーザに提示して、変化を確認することができる。また、上述した特定部２３０による園児の特定と併せて、園児のアレルギー情報等を登録し、食育に利用しても良い。また、ロボット１００は配信される緊急ニュース等を受信し出力するとしても良い。これより、所定エリアＥ内に存在する複数の人物の安全確保に役立てることができる。また、施設側と保護者側のコミュニケーションを円滑に、また一元管理できるよう、ユーザ管理端末２０に各種連絡機能を付帯させても良い。連絡機能とは、例えば、出欠連絡、報告、緊急連絡メールなどを送受信を示す。

【符号の説明】

【0067】

１ ロボット撮影システム、１０ ユーザ端末、２０ ユーザ管理端末、１００ ロボット、１１０ 撮影部、１２０ 記憶部、１３０ 制御部、１４０ 対話部、２００ サーバ、２１０ 画像受信部、２２０ 記憶部、２３０ 特定部、２４０ 情報更新部、２５０ 閲覧管理部、２６０ 画像解析部、２７０ 閲覧設定部、４００ 新たなロボット、４１０ 制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】