(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024025511
(43)【公開日】2024-02-26
(54)【発明の名称】通信装置、通信方法、及びプログラム
(51)【国際特許分類】
G06Q 50/22 20240101AFI20240216BHJP
G06T 7/00 20170101ALI20240216BHJP
【FI】
G06Q50/22
G06T7/00 660Z
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022129012
(22)【出願日】2022-08-12
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】中村 慶樹
(72)【発明者】
【氏名】木曽 宏顕
【テーマコード(参考)】
5L096
5L099
【Fターム(参考)】
5L096BA06
5L096DA02
5L096HA02
5L096HA09
5L099AA13
(57)【要約】
【課題】複数の人の間のコミュニケーションをサポートする際に、人の状態を用いる。
【解決手段】通信装置10は、処理部110、判断部120、及び通信部130を備えている。処理部110は、対象者を撮像した画像を処理することにより、この対象者の状態を示す状態情報を生成する。判断部120は、状態情報を用いて、第1端末20に送信するべき第1情報を決定する処理、及び、第1端末20に第1情報を送信するか否かを判断する処理、の少なくとも一方を行う。第1端末20は、対象者に紐づいており対象者とは異なる人によって操作される。通信部130は、第1情報を第1端末20に送信する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成する処理手段と、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行う判断手段と、
前記第1情報を前記第1端末に送信する通信手段と、
を備える通信装置。
【請求項2】
請求項1に記載の通信装置において、
前記画像は、前記対象者がコンテンツを閲覧している間又は前記コンテンツを閲覧した後に生成されている、通信装置。
【請求項3】
請求項2に記載の通信装置において、
前記コンテンツは、前記対象者の親族を撮影した画像を含む、通信装置。
【請求項4】
請求項2又は3に記載の通信装置において、
前記判断手段は、前記状態情報が、前記対象者が喜んでいることを示している場合は、前記画像を前記第1情報に含める、通信装置。
【請求項5】
請求項2に記載の通信装置において、
前記判断手段は、前記状態情報が、前記対象者が喜んでいることを示している場合は、前記コンテンツを示す情報を前記第1情報の少なくとも一部にする、通信装置。
【請求項6】
請求項1又は2に記載の通信装置において、
前記第1端末は前記対象者の親族に利用され、
前記判断手段は、前記状態情報が基準を満たす状態が一定期間継続している場合、前記第1情報として、そのことを示す情報を前記第1情報の少なくとも一部にする、通信装置。
【請求項7】
請求項1に記載の通信装置において、
前記対象者は、介護施設、老人ホーム、又は病院に入っており、
前記第1端末は、前記介護施設、老人ホーム、病院、又は薬局において前記対象者を担当している担当者に利用され、
前記判断手段は、前記状態情報が基準を満たした回数が所定数以上になったときに、そのことを示す情報及び前記対象者に処方されている薬の種類を示す情報の少なくとも一方を前記第1情報の少なくとも一部にする、通信装置。
【請求項8】
少なくとも一つのコンピュータが、
対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成し、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行い、
前記第1情報を前記第1端末に送信する、通信方法。
【請求項9】
コンピュータに、
対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成させ、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行わせ、
前記第1情報を前記第1端末に送信させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信装置、通信方法、及びプログラムに関する。
【背景技術】
【0002】
近年は、人の状態を分析し、サービスの提供の際にこの分析結果を利用することが検討されている。例えば特許文献1には、顧客の潜在的なニーズを視覚化する際に、顧客の感情を用いることが開示されている。詳細には、販売支援端末は、入力機器を介して入力される商品に関する情報から、商品を特定する情報を取得する。次いで販売支援端末は、商品に関する情報から、商品に関する顧客の感情を表す情報を取得し、商品を特定する情報と商品に関する顧客の感情を表す情報とを関連付けた情報を生成する。そして販売支援端末は、関連付けた情報に基づいて販売を支援する情報を生成し、出力する。
【0003】
なお、特許文献2には、窓口の待ち時間に顧客が興味を持った商品を窓口セールスに結び付けることを目的とした装置が開示されている。詳細には、この装置は、窓口の順番待ちを受け付ける受付機により受付番号が発行される第1のタイミングで顧客の追跡用データを取得する。次いでこの装置は、所定の興味検出条件を満たす商品を検出する。次いでこの装置は、商品が検出される第2のタイミングで得られる顧客の追跡用データが、第1のタイミングで取得された顧客の追跡用データと類似する場合、第1のタイミングで発行された受付番号と、第2のタイミングで検出された商品とを関連付ける。次いでこの装置は、窓口の順番待ちが受け付けられた受付番号が窓口のオペレータにより使用されるオペレータ端末に割り当てられた場合、受付番号に対応する商品を受付番号が割り当てられたオペレータ端末へ通知する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015-018301号公報
【特許文献2】特開2017-167985号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記した特許文献1及び2のいずれも、複数人の間のコミュニケーションについては考慮されていない。
【0006】
本発明の目的の一例は、複数人の間のコミュニケーションをサポートする通信装置、通信方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成する処理手段と、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行う判断手段と、
前記第1情報を前記第1端末に送信する通信手段と、
を備える通信装置が提供される。
【0008】
本発明の一態様によれば、少なくとも一つのコンピュータが、
対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成し、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行い、
前記第1情報を前記第1端末に送信する、通信方法が提供される。
【0009】
本発明の一態様によれば、コンピュータに、
対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成させ、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行わせ、
前記第1情報を前記第1端末に送信させる、プログラムが提供される。
【発明の効果】
【0010】
本発明の一態様によれば、複数の人の間のコミュニケーションをサポートする際に、人の状態を用いることができる。
【図面の簡単な説明】
【0011】
【
図1】実施形態に係る通信装置の要部を示す図である。
【
図5】記憶部が記憶している情報の一例を示す図である。
【
図6】通信装置のハードウェア構成例を示す図である。
【
図7】通信装置が行う動作を、第1端末及び第2端末が行う動作と共に示すフローチャートである。
【
図9】ステップS50の第1の具体例を示すフローチャートである。
【
図10】ステップS50の第2の具体例を示すフローチャートである。
【
図11】ステップS50の第3の具体例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0013】
図1は、実施形態に係る通信装置10の要部を示す図である。通信装置10は、処理部110、判断部120、及び通信部130を備えている。処理部110は、対象者を撮像した画像を処理することにより、この対象者の状態を示す状態情報を生成する。判断部120は、状態情報を用いて、第1端末20に送信するべき第1情報を決定する処理、及び、第1端末20に第1情報を送信するか否かを判断する処理、の少なくとも一方を行う。第1端末20は、対象者に紐づいており対象者とは異なる人によって操作される。通信部130は、第1情報を第1端末20に送信する。
【0014】
このように、判断部120は、状態情報を用いて、第1端末20に送信するべき第1情報を決定する処理、及び、第1端末20に第1情報を送信するか否かを判断する処理、の少なくとも一方を行う。従って、通信装置10は、複数の人の間のコミュニケーションをサポートする際に、対象者の状態を用いることができる。
【0015】
第1端末20を操作する人の一例は、対象者の親族である。
【0016】
例えば対象者が介護施設や病院などの施設への入居者である場合、この入居者の親族は、気軽に入居者とコミュニケーションをとることは難しい。これに対して通信装置10を用いると、親族は、入居者との間でのコミュニケーションを容易に行える。また、通信装置10は、入居者の状態、例えば精神状態に応じて、第1情報を決定したり、第1端末20に第1情報を送信するか否かを判断する。従って、親族は、入居者の状態を容易に把握できる。
【0017】
以下、通信装置10の詳細について説明する。
【0018】
図1に示した例において、通信装置10は、第1端末20と共に使用される。第1端末20は対象者以外の人によって操作される。一方、通信装置10は対象者又は補助者によって操作される。すなわち通信装置10は、第1端末20と通信することにより、対象者と対象者以外の人のコミュニケーションを補助する。例えば対象者が施設の入居者の場合、第1端末20は入居者の親族によって操作され、通信装置10は入居者、介護士、又は看護師によって操作される。また、対象者が施設の入居者の親族の場合、第1端末20は入居者、介護士、又は看護師によって操作され、通信装置10は入居者の親族によって操作される。
【0019】
図2は、通信装置10の使用環境の第2例を示す図である。本図に示す例において、通信装置10は、第1端末20に加えて第2端末30と共に使用される。この場合、通信装置10及び第2端末30の一方は介護士又は看護師によって操作され、他方は対象者によって操作される。
【0020】
なお、
図2に示す例において、通信装置10は、例えば介護士又は看護師が操作する固定型の端末であってもよいし、クラウドサーバでもよい。
【0021】
また、
図1及び
図2に示す例において、通信装置10、第1端末20、及び第2端末30に加えて、さらにクラウドサーバが用いられてもよい。この場合、通信装置10、第1端末20、及び第2端末30のいずれかが行う処理の少なくとも一部がクラウドサーバによって行われてもよい。クラウドサーバが用いられる場合、通信装置10は、クラウドサーバに加えて、このクラウドサーバのインターフェースとなる端末と共に使用される。
【0022】
図3は、第1端末20の機能構成の一例を示す図である。第1端末20は、入力部210、通信部220、及び出力部230を有している。第1端末20の一例は、スマートフォンやタブレット型端末などの携帯端末である。
【0023】
入力部210は撮像部を兼ねており、様々な情報が入力される。例えば入力部210は、撮像デバイスを有しており、画像を生成する。画像は、動画であってもよいし、静止画であってもよいし、双方を含んでいてもよい。また、入力部210は、画像と共に音声データを生成してもよい。また、入力部210には、ユーザからテキストデータが入力されてもよい。
【0024】
通信部220は、外部の装置との間で情報を送受信する。外部の装置の一例は、通信装置10である。
【0025】
出力部230は、出力デバイスを有しており、この出力デバイスを用いて情報を出力する。この出力デバイスの一例は、タッチパネルなどのディスプレイ、及びスピーカである。なお、出力部230がタッチパネルを有している場合、出力部230は、第1端末20の利用者によって操作される入力デバイスとしても機能する。
【0026】
図2に示した第2端末30の機能構成も、第1端末20の機能構成と同様である。すなわち第2端末30は、入力部310、通信部320、及び出力部330を有している。入力部310は入力部210と同様であり、通信部320は通信部220と同様であり、出力部330は出力部230と同様である。
【0027】
なお、第1端末20及び第2端末30は、他の構成を有していてもよい。例えば通信装置10による認証時に、虹彩情報、指紋情報、又は静脈情報が用いられる場合、第1端末20及び第2端末30は、これらの情報を取得するためのデバイスを有していてもよい。そしてこのデバイスによって取得された情報は、出力部230又は出力部330によって通信装置10に送信される。
【0028】
図4は、通信装置10の機能構成の一例を示す図である。通信装置10は、処理部110、判断部120、通信部130、及び決定部140を備えており、記憶部150を利用することができる。本図に示す例において、記憶部150は通信装置10の一部になっているが、通信装置10の外部に位置していてもよい。
【0029】
処理部110は、対象者の顔を含む画像を処理することにより、対象者を認証する。
。処理部110は、この画像を、通信部130を介して第2端末30から取得する。また、処理部110は、認証のマスターとなる情報を記憶部150から取得する。
【0030】
なお、対象者の認証処理は、対象者の識別情報、例えばIDを用いて行われてもよいし、顔情報以外の生体情報、例えば虹彩情報、指紋情報、及び静脈情報の少なくとも一つを用いて行われてもよい。この場合も、処理部110は、認証に必要な情報を、通信部130を介して第2端末30から取得する。
【0031】
また処理部110は、対象者を撮影した画像を処理することにより、状態情報を生成する。以下、状態情報を生成する際に用いられた画像を、第1画像と記載する。第1画像は、対象者の認証処理に用いられた画像であってもよいし、それ以外の画像であってもよい。なお、状態情報の具体例については、後述する通信装置10の使用例の中で説明する。
【0032】
判断部120は、状態情報を用いて、第1端末20に送信するべき第1情報を決定する処理、及び、第1端末20に第1情報を送信するか否かを判断する処理、の少なくとも一方を行う。ここで行われる処理の詳細については、後述する通信装置10の使用例の中で説明する。
【0033】
通信部130は、第1端末20との間で情報を送受信するとともに、第2端末30との間で情報を送受信する。通信部130が送受信する情報の具体例については、後述する通信装置10の使用例の中で説明する。
【0034】
決定部140は、通信部130に対し、第1端末20との間での情報の送受信の可否を決定する。例えば決定部140は、所定の条件が満たされていない場合、通信部130に対して、第1端末20との間の通信を許可しない。すなわち通信部130は、所定の条件が満たされない場合は第1端末20との間での通信を行わない。例えば対象者が施設の入居者の場合、所定の条件は、その入居者の補助者から所定の入力があることである。所定の入力は、例えば、親族との連絡を許可することを示している。
【0035】
記憶部150は、対象者別に、当該対象者に関する情報を記憶している。この情報の一例は、認証のマスターとなる情報である。
【0036】
なお、
図1に示した例の場合、通信装置10は、スマートフォンやタブレット型端末などの携帯端末であるのが好ましい。また、通信装置10は、さらに第2端末30に示した機能も有する。
【0037】
図5は、記憶部150が記憶している情報の一例を示す図である。記憶部150は、対象者別に、氏名、識別情報、マスターとなる生体情報、第1端末情報、送信タイミング情報、送信するべき情報、禁止要求の設定の有無、及び状態情報の履歴を記憶している。
【0038】
識別情報及びマスターとなる生体情報は、処理部110が認証処理を行う際に使用される。記憶部150は、識別情報及び生体情報の一方を記憶していなくてもよい。なお、記憶部150は、識別情報と共にパスワードを記憶していてもよい。この場合、処理部110は、識別情報及びパスワードの組み合わせを用いて対象者を認証する。
【0039】
第1端末情報は、通信部130が、その対象者に紐づいている第1端末20に接続する際に必要な情報を記憶している。第1端末情報は、例えば、電話番号、メールアドレス、及びSNSのアカウントの少なくとも一つである。
【0040】
送信タイミング情報は、第1端末20の利用者がその第1端末20を操作する可能性が高いタイミングを示している。すなわち、送信タイミング情報は、通信装置10から第1端末20に情報を送信することが好ましいタイミングを示している。このタイミングは、例えば、曜日別の時間帯で示されるが、これに限定されない。
【0041】
送信タイミング情報は、対象者、補助者、又は第1端末20の利用者からの手入力によって設定されてもよいし、第1端末20の操作履歴に基づいて設定されてもよい。後者の場合、例えば通信装置10の決定部140は、第1端末20から、通信部130が送信した情報へのアクセス履歴を取得し、このアクセス履歴においてアクセス頻度が高い時間帯を曜日別に集計し、この集計結果を用いて送信タイミング情報を設定する。なお、決定部140は、第1端末20によるSNSへのアクセス履歴を用いて送信タイミング情報を設定してもよい。
【0042】
なお、送信タイミング情報は設定されていなくてもよい。
【0043】
「送信するべき情報」は、第1端末20に送信するべき情報を記憶する領域である。通信部130は、第1端末20に送信するべき情報を例えば第2端末30から取得するが、この情報をすぐには第1端末20に送信しないことがある。この一例は、たとえば、上記した送信タイミング情報が設定されている場合である。このような場合、通信部130は、記憶部150の「送信するべき情報」の領域に、第2端末30から取得した情報を記憶させる。なお、この送信するべき情報は、第2端末30に送信された後に消去されてもよいし、そのまま残されてもよい。
【0044】
禁止要求の設定の有無は、第1端末20から、第2端末30が出力するべき情報である返信情報を受信したときに、その返信情報を対象者以外の人、例えば補助者に認識させてよいか否かを示している。この設定がある場合、通信部130は、返信情報を、その情報を対象者以外の人に認識させてはいけないことを示す禁止要求情報と共に、第2端末30に送信する。
【0045】
なお、禁止要求の設定の有無は、情報の種類別に設定されていてもよい。情報の種類は、例えば、テキストデータ、画像、及び音声であるが、これらに限定されない。例えばテキストデータに対しては対象者以外の閲覧は禁止されていないが、画像の場合は対象者以外の閲覧は禁止されている、という設定が可能になる。
【0046】
状態情報の履歴は、処理部110が生成した状態情報を、その状態情報を生成するときに用いられた第1画像の生成日時に紐づけた情報である。すなわちこの履歴は、過去の状態情報の推移を示している。この履歴は、さらに、第1画像を含んでいてもよい。
【0047】
図6は、通信装置10のハードウェア構成例を示す図である。通信装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
【0048】
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
【0049】
プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
【0050】
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
【0051】
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカードなどのリムーバブルメディア、又はROM(Read Only Memory)などで実現される補助記憶装置であり、記録媒体を有している。ストレージデバイス1040の記録媒体は通信装置10の各機能(例えば処理部110、判断部120、通信部130、及び決定部140)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。ストレージデバイス1040は、さらに、記憶部150として機能してもよい。
【0052】
入出力インタフェース1050は、通信装置10と各種入出力機器とを接続するためのインタフェースである。
【0053】
ネットワークインタフェース1060は、通信装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。通信装置10は、例えば、ネットワークインタフェース1060を介して第1端末20及び第2端末30と通信する。
【0054】
なお、第1端末20及び第2端末30のハードウェア構成も、
図6に示したハードウェア構成と同様である。この場合、ストレージデバイス1040の記録媒体は第1端末20及び第2端末30の各機能を実現するプログラムモジュールを記憶している。
【0055】
図7は、通信装置10が行う動作の一例を説明するためのフローチャートである。本図に示す例は、
図2に示した例に対応している。
【0056】
ただし、
図1に示した例の場合、通信装置10は、本図のステップS10に示した処理も行う。また、ステップS20に示した処理は行われない。これは、後述する
図8に示した例においても同様である。
【0057】
対象者又は補助者と第1端末20の利用者との間でコミュニケーションをとる必要がある場合、第2端末30は、まず、対象者を認証するために必要な情報、すなわち認証用情報を取得する。例えば認証用情報が顔情報である場合、第2端末30の入力部310は、対象者の顔を含む画像を生成する。この画像は、動画であってもよいし、静止画であってもよい。一方、認証用情報がIDなどの識別情報の場合、第2端末30は、タッチパネルなどの入力デバイスを介してこの識別情報を取得する(ステップS10)。
【0058】
すると、第2端末30の通信部320は、認証用情報を通信装置10に送信する(ステップS20)。通信装置10の通信部130は、この認証用情報を取得する。次いで通信装置10の処理部110は、認証用情報及び記憶部150に記憶されている情報を用いて、対象者を認証する。この際、対象者も特定される(ステップS30)。
【0059】
次いで、通信装置10の通信部130は、ステップS30で特定された対象者に対応する第1端末情報を、記憶部150から読み出す。これにより、今回の通信の相手となる第1端末20が特定される(ステップS40)。
【0060】
その後、通信装置10は、第1端末20との間で情報を送受信するとともに、第2端末30との間で情報を送受信する。送受信される情報は、音声、画像、及びテキストデータの少なくとも一つを含んでいる。これにより、第1端末20と第2端末30は、通信装置10を介して情報を送受信することができる。なお、ここで行われる処理の具体例については、他の図を用いて後述する(ステップS50)。
【0061】
なお、ステップS20において、第2端末30の通信部320は、認証用情報と共に、第1端末20に送信すべき情報を通信装置10に送信してもよい。ここで送信される情報の一例は、対象者から第1端末20の利用者に通知すべきメッセージである。このメッセージは、ビデオメッセージでもよいし、音声のみでもよいし、テキストデータでもよい。また、認証用情報が画像である場合、この認証用情報はメッセージを兼ねていてもよい。このような例は、この画像が動画の場合に好適である。
【0062】
図8は、
図7の変形例を示す図である。本図に示す例において、ステップS30までの処理は、
図7に示した例と同様である。通信装置10の処理部110による対象者の認証が成功した(ステップS30)後、通信装置10の決定部140は、第1端末20との通信が許可されていることを確認する(ステップS32)。
【0063】
例えば対象者が施設の入居者であり、通信装置10がその入居者の補助者によって操作されている場合を考える。この場合、決定部140は、補助者から、通信を許可することを示す情報が入力された場合に、第1端末20との通信が許可されていると判断する。なお、本例において、通信装置10は携帯端末でもよいし、デスクトップ型のパソコンでもよいし、ノートパソコンでもよい。また、補助者による情報の入力は、通信装置10とは異なる端末を介して行われてもよい。
【0064】
その後の処理(ステップS40,50)は、
図7を用いて説明した通りである。なお、ステップS32において、第1端末20との通信が許可されていることを確認できなかった場合、ステップS40及びステップS50に示した処理は行われない。
【0065】
(ステップS50の第1の具体例)
図9は、ステップS50の第1の具体例を示すフローチャートである。本図に示す例は、第1端末20の使用者に対象者に関する情報を送信する場合を示している。対象者の一例は、施設の入居者である。この場合、第1端末20の利用者は対象者の親族である。逆に、対象者が施設の入居者の親族であり、第1端末20利用者が施設の入居者であってもよい。画像は動画であるのが好ましいが、静止画であってもよい。また、画像の代わりにテキストデータが用いられてもよい。なお、第2端末30は、入居者によって操作されてもよいし、補助者に操作されてもよい。
【0066】
本図に示す例は、
図2に示した例に対応している。ただし、
図1に示した例の場合、通信装置10は、本図のステップS110及びステップS190に示した処理も行う。また、ステップS120及びステップS180に示した処理は行われない。これは、後述する
図10に示した例においても同様である。
【0067】
まず対象者又は補助者は、第2端末30の入力部310に、対象者を撮影した画像すなわち第1画像を生成させる。第1画像は、第1端末20に送信されるべき情報であってもよいし、送信されない情報であってもよい。本図に示す例において、第1画像は第1端末20に送信すべき情報である。第1画像は、対象者から第1端末20の利用者に対するメッセージであってもよいし、対象者の日常の動作を撮像したものであってもよい(ステップS110)。なお、第2端末30の入力部310は、第1画像とともに音声データを生成してもよい。
【0068】
第1画像は、例えば、対象者がコンテンツを閲覧している間又はコンテンツを閲覧した後に生成される。
【0069】
ここでコンテンツは、対象者の親族、例えば第1端末20の利用者を撮影した画像であってもよい。この画像の一例は、動画、例えばこの親族から対象者へのビデオメッセージであるが、静止画であってもよい。この場合、コンテンツは、例えば第2端末30によって出力される。このコンテンツは、第1端末20から通信装置10を経由して第2端末30に送信されてもよい。この場合、このコンテンツは、例えば第1端末20によって生成されている。
【0070】
またコンテンツは、紙媒体、例えば雑誌や本であってもよいし、第1端末20とは異なるディスプレイに出力されてもよい。後者の例は、テレビ番組である。
【0071】
またステップS110において、第2端末30は、第1画像が生成されたときに対象者が見ていたコンテンツの種類を示す情報を取得する。以下、この情報をコンテンツ情報と記載する。コンテンツが親族からのビデオメッセージである場合、コンテンツ情報は、親族名及びビデオメッセージの生成日時又は送信日時を含んでいる。コンテンツが紙媒体の場合、コンテンツ情報は、この紙媒体の名称、例えば本や雑誌の名称を含んでいる。コンテンツがテレビ番組の場合、コンテンツ情報は、番組名及び放送日時を含んでいる。コンテンツ情報は、手入力により第2端末30に入力されてもよいし、第1画像を処理することにより生成されてもよいし、他の方法により生成されてもよい。なお、コンテンツ情報はコンテンツそのものを含んでいてもよい。
【0072】
なお、第1画像は、第2端末30以外の撮像装置、例えば施設に設置された監視カメラによって生成されてもよい。
【0073】
この撮像装置は、生成した画像を直接通信装置10に送信してもよい。この場合、通信装置10は、例えば
図7のステップS40の後、この撮像装置に画像を要求する。するとこの撮像装置は、通信装置10に画像を送信する。
【0074】
またこの撮像装置は、生成した画像を第2端末30に送信してもよい。この場合、第2端末30は、撮像装置から受信した画像を通信装置10に送信する。ただし、この撮像装置は、直接第1端末20に画像を送信してもよい。
【0075】
次いで第2端末30の通信部320は、通信装置10に第1画像及びコンテンツ情報を送信する。入力部310が音声データをさらに生成していた場合、通信部320は、さらにこの音声データも通信装置10に送信する(ステップS120)。
【0076】
なお、第1画像は、対象者を認証する際に用いられた画像であってもよい。この場合、ステップS210及びステップS220に示した処理は省略されてもよい。この省略が行われる場合、コンテンツ情報の取得および送信は、
図8のステップS10及びステップS20で行われる。
【0077】
通信装置10の通信部130は、第1画像及びコンテンツ情報を取得する。すると通信装置10の処理部110は、第1画像を処理することにより、状態情報を生成する。第2端末30が音声データも送信してきた場合、処理部110は、状態情報を生成する際に、さらに音声データを用いてもよい。状態情報は、対象者の状態を示している。対象者の状態の一例は、第1画像を生成した時の対象者の感情及び体調の少なくとも一方を含んでいる。そして処理部110は、生成した状態情報を、第1画像の生成日時に紐づけて記憶部150に記憶させる。
【0078】
そして判断部120は、処理部110が生成した状態情報を用いて、第1端末20に送信するべき第1情報を決定する処理、及び、第1端末20に第1情報を送信するか否かを判断する処理、の少なくとも一方を行う(ステップS130)。
【0079】
例えば判断部120は、状態情報が、対象者が喜んでいることを示している場合、第1情報を送信するべきと判断する。また判断部120は、状態情報が、対象者が喜んでいることを示している場合、第1画像、状態情報、及びコンテンツ情報の少なくとも一つを第1情報に含める。第1情報は、これら3つのいずれか一つでもよいし、いずれか二つでもよいし、3つのすべてを含んでいてもよい。
【0080】
例えば第1画像が、対象者が喜んでいることを示す映像である場合、第1情報に第1画像が含まれていると、例えば対象者の親族はこのことを直接確認できる。また、第1情報に、状態情報の一例である「対象者が喜んでいる様子である」という情報が含まれている場合、例えば対象者の親族はこのことを認識できる。
【0081】
逆に、第1画像が、対象者の感情が負である(悲しんでいる、怒っている、又は落ち込んでいるなど)ことを示す映像である場合、第1情報に第1画像が含まれていると、例えば対象者の親族はこのことを直接確認できる。また、第1情報に、状態情報の一例である「対象者が負の感情をもっている」という情報が含まれている場合、例えば対象者の親族はこのことを認識できる。
【0082】
なお、通信装置10の利用者が、第1情報に第1画像、状態情報、及びコンテンツ情報のいずれを含めるべきかを、事前に設定できるようにしてもよい。この場合、通信装置10の判断部120は、この設定に従って第1情報に含めるべき情報を決定する。
【0083】
なお、判断部120は、状態情報が、対象者が負の感情を持っていることを示している場合、第1情報を送信しない、と判断してもよい。
【0084】
次いで通信装置10の通信部130は、第1情報を第1端末20に送信する(ステップS140)。
【0085】
第1端末20の通信部220は、通信装置10から第1情報を取得する。すると第1端末20の出力部230は、第1情報を出力する(ステップS150)。これにより、第1端末20の利用者は、第1情報を認識できる。
【0086】
そして第1端末20の利用者は、第1端末20に、対象者に送信すべき情報を入力する。以下、この情報を返信情報と記載する。例えば第1端末20は、返信情報の少なくとも一部として、入力部210を用いて第2画像を生成する。第2画像は、第1画像を見ているときの利用者を撮影した画像であってもよいし、第1画像を見終わった後に利用者を撮影した画像であってもよい。この例は、例えば、第1画像が、施設の入居者の親族から当該入居者へのメッセージである場合に好適である(ステップS160)。
【0087】
そして第1端末20の通信部220は、返信情報を通信装置10に送信する(ステップS170)。通信装置10の通信部130は、第1端末20から返信情報を取得すると、この返信情報を第2端末30に送信する(ステップS180)。
【0088】
第2端末30の通信部320は、この返信情報を取得する。すると第2端末30の出力部330は、この返信情報を出力し、対象者に認識させる(ステップS190)。なお、返信情報が動画を含んでおり、この動画の再生時間が基準値以上の場合、通信部320は、この動画を分割して出力してもよいし、早送りして出力してもよい。
【0089】
なお、対象者が施設の入居者であり、服薬を行う必要がある場合、返信情報の出力及び所定の処理が行われるタイミング、すなわちステップS190が行われるタイミングは、服薬が行われるタイミングであってもよい。
【0090】
また、第1情報は、第2端末30とは異なる第3端末が対象者を撮影した画像を含んでいてもよい。例えば第2端末30が対象者によって操作され、第3端末が補助者によって操作される場合を想定する。この場合、ステップS130とステップS140の間で、通信装置10の判断部120は、通信部130を介して、対象者を撮影することを促す情報を第3端末に送信する。すると、第3端末は、この情報を例えばディスプレイに出力する。補助者は、この情報を認識すると、対象者を撮影して画像を生成し、生成した画像を通信装置10に送信する。通信装置10の通信部130は、ステップS140において、この画像を第1情報の少なくとも一部にした後に、第1情報を第1端末20に送信する。
【0091】
また、ステップS130において、判断部120は、記憶部150が記憶している状態情報の履歴を用いて、第1端末20に送信するべき第1情報を決定する処理、及び、第1端末20に第1情報を送信するか否かを判断する処理、の少なくとも一方を行ってもよい。
【0092】
例えば判断部120は、対象者の状態情報が基準を満たす状態が一定期間継続している場合、そのことを示す情報を第1情報の少なくとも一部にするとともに、この第1情報を送信するべきと判断する。「状態情報が基準を満たす状態が一定期間継続している」ことの一例は、状態情報が負の感情を示していることが一定時間(例えば1週間)継続していることである。この場合、対象者の親族は、対象者とコミュニケーションをとることが望ましい。この例によれば、対象者の親族は、対象者とコミュニケーションをとるべきタイミングを容易に把握できる。
【0093】
また対象者は、介護施設、老人ホーム、又は病院に入っており、第1端末20は、介護施設、老人ホーム、病院、又は薬局において対象者を担当している担当者、例えば介護士、薬剤師、看護師、及び医師の少なくとも一人に利用される場合を想定する。そして第1画像は、対象者が薬を飲むときの画像を含んでいる、とする。ここで「対象者が薬を飲むときの画像」は、対象者が薬を渡されたときの画像、薬を飲み込むときの画像、及び薬を飲み込んだ直後の画像の少なくとも一つである。第1画像は静止画でもよいし動画でもよい。この場合、判断部120は、状態情報が基準を満たした回数が所定数以上になったときに、そのことを示す情報及び対象者に処方されている薬の種類を示す情報の少なくとも一方を、第1情報の少なくとも一部にしてもよい。ここで用いられる基準の一例は、状態情報が負の感情を示していることである。この場合、対象者が現在処方されている薬を嫌がっている可能性がある。この例によれば、薬剤師は、このことを容易に把握できる。
【0094】
なお、第1画像は、薬の効果が出ると思われるタイミングで対象者を撮影することにより生成されていてもよい。この場合、状態情報は、前回摂取した薬が有効であったか否かの推定結果を示している。また、判断部120が用いる基準は、この推定結果に関している。
【0095】
例えば判断部120は、対象者の表情、動き、及び姿勢が良かった場合、並びに、対象者の服装の乱れ及び髪の乱れが少ない場合、対象者が前回摂取した薬が有効であったと判断する。一方、判断部120は、対象者の表情、動き、及び姿勢が悪かった場合、並びに、対象者の服装の乱れ及び髪の乱れが多い場合、前回摂取した薬が対象者に合わなかったと判断する。また、第1画像が、対象者に今回の薬を渡す前の画像を含んでいた場合、判断部120は、この画像を処理することにより、上記した判断を行ってもよい。
【0096】
そして判断部120は、この判断結果が基準回数連続していた場合に、この判断結果を示す情報を第1情報の少なくとも一部にして、この第1情報を第1端末20に送信するべきと判断する。なお、上記した基準回数は、複数回であってもよいし、一回でもよい。この例によれば、薬剤師は、処方している薬の効果を容易に把握できる。
【0097】
(ステップS50の第2の具体例)
図10は、ステップS50の第2の具体例を示すフローチャートである。本図に示す例は、通信装置10が第1端末20に第1情報を送信するタイミングがリアルタイムではなく、対象者別に予め設定されている点を除いて、
図9に示した具体例と同様である。
【0098】
本図において、ステップS130までの処理は、
図9に示した例と同様である。通信装置10の通信部130は、ステップS130の後、記憶部150から、
図7のステップS30で特定した対象者に紐づいている送信タイミングを読み出す。これにより、通信部130は、第1情報を送信すべき日時を特定する(ステップS132)。そして通信部130は、特定した日時に第1情報を第1端末20に送信する(ステップS140)。
【0099】
その後の処理(ステップS150~S190)は、
図9に示した例と同様である。なお、後述する他の例においても、本例と同様にステップS132及びステップS140に示した処理が行われてもよい。
【0100】
(ステップS50の第3の具体例)
図11は、ステップS50の第3の具体例を示すフローチャートである。本図に示す例は、通信装置10が、返信情報と共に禁止要求情報を送信する点、及び第2端末30の出力部330が禁止要求情報に基づいて動作する点を除いて、
図9に示した具体例と同様である。禁止要求情報は、対象者以外の人がその返信情報を認識することが禁じられていることを示している。
【0101】
本図に示す例は、
図2に示した例に対応している。ただし、
図1に示した例の場合、通信装置10は、本図のステップS110及びステップS192に示した処理も行う。また、ステップS120及びステップS182に示した処理は行われない。
【0102】
本図において、ステップS170までの処理は、
図9に示した例と同様である。通信装置10の通信部130は、返信情報を通信装置10から取得すると、記憶部150から、
図7のステップS30で特定した対象者に対して禁止要求の設定があるか否かを確認する。すなわち通信部130は、対象者に基づいて、入居者以外の人が返信情報を認識することを禁止することの要否を判断する。禁止要求の設定がない場合、これ以降は
図9と同様の処理が行われる。一方、禁止要求の設定がある場合、通信部130は、入居者以外の人が返信情報を認識することを禁止するための処理を行う。本図に示す例において、通信部130は、返信情報を、禁止要求情報と共に第2端末30に送信する(ステップS182)。この処理において、通信部130は、対象者に基づいて前記禁止要求情報の送信の要否を判断していることになる。
【0103】
その後、第2端末30の出力部330は、入力部310で撮影を行いながら、出力部330に返信情報を出力させる。ここで出力部330は、入力部310で撮影した画像から対象者の顔が検出されている間のみ、返信情報を出力する。また出力部330は、入力部310で撮影した画像から対象者以外の人が検出された場合、返信情報の出力を行わない。また、返信情報の出力中に、入力部310で撮影した画像から対象者以外の人が検出された場合、返信情報の出力を中断し、その後、入力部310で撮影した画像から対象者のみが検出されるようになった場合に、返信情報の出力を再開する(ステップS192)。
【0104】
なお、
図11に示す例において、入力部310で撮影した画像の処理は、第2端末30によって行われている。ただし、この処理は通信装置10によって行われてもよい。この場合、入力部310は、画像、例えばフレーム画像を生成する度にその画像を通信装置10に送信する。すると通信装置10の処理部110は、取得した画像から対象者の画像が検出されているか否か、及び、この画像から対象者以外の人が検出されているか否かを判断し、判断結果を第2端末30に送信する。そして第2端末30の出力部330は、通信装置10から取得した判断結果を用いて、返信情報の出力を制御する。
【0105】
以上、本実施形態によれば、複数の人の間のコミュニケーションをサポートする際に、人の状態を用いることができる。具体的には、通信装置10の判断部120は、対象者の状態を示す状態情報を用いて、第1端末20に送信するべき第1情報を決定する処理、及び、第1端末20に第1情報を送信するか否かを判断する処理、の少なくとも一方を行う。このため、適切なタイミングで情報を第1端末20に送信したり、適切な内容の情報を第1端末20に送信することができる。
【0106】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0107】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0108】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成する処理手段と、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行う判断手段と、
前記第1情報を前記第1端末に送信する通信手段と、
を備える通信装置。
2.上記1に記載の通信装置において、
前記画像は、前記対象者がコンテンツを閲覧している間又は前記コンテンツを閲覧した後に生成されている、通信装置。
3.上記2に記載の通信装置において、
前記コンテンツは、前記対象者の親族を撮影した画像を含む、通信装置。
4.上記2又は3に記載の通信装置において、
前記判断手段は、前記状態情報が、前記対象者が喜んでいることを示している場合は、前記画像を前記第1情報に含める、通信装置。
5.上記2に記載の通信装置において、
前記判断手段は、前記状態情報が、前記対象者が喜んでいることを示している場合は、前記コンテンツを示す情報を前記第1情報の少なくとも一部にする、通信装置。
6.上記1~5のいずれか一項に記載の通信装置において、
前記第1端末は前記対象者の親族に利用され、
前記判断手段は、前記状態情報が基準を満たす状態が一定期間継続している場合、前記第1情報として、そのことを示す情報を前記第1情報の少なくとも一部にする、通信装置。
7.上記1~6のいずれか一項に記載の通信装置において、
前記対象者は、介護施設、老人ホーム、又は病院に入っており、
前記第1端末は、前記介護施設、老人ホーム、病院、又は薬局において前記対象者を担当している担当者に利用され、
前記判断手段は、前記状態情報が基準を満たした回数が所定数以上になったときに、そのことを示す情報及び前記対象者に処方されている薬の種類を示す情報の少なくとも一方を前記第1情報の少なくとも一部にする、通信装置。
8.少なくとも一つのコンピュータが、
対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成し、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行い、
前記第1情報を前記第1端末に送信する、通信方法。
9.上記8に記載の通信方法において、
前記画像は、前記対象者がコンテンツを閲覧している間又は前記コンテンツを閲覧した後に生成されている、通信方法。
10.上記9に記載の通信方法において、
前記コンテンツは、前記対象者の親族を撮影した画像を含む、通信方法。
11.上記9又は10に記載の通信方法において、
前記コンピュータは、前記状態情報が、前記対象者が喜んでいることを示している場合は、前記画像を前記第1情報に含める、通信方法。
12.上記9に記載の通信方法において、
前記コンピュータは、前記状態情報が、前記対象者が喜んでいることを示している場合は、前記コンテンツを示す情報を前記第1情報の少なくとも一部にする、通信方法。
13.上記8~12のいずれか一項に記載の通信方法において、
前記第1端末は前記対象者の親族に利用され、
前記コンピュータは、前記状態情報が基準を満たす状態が一定期間継続している場合、前記第1情報として、そのことを示す情報を前記第1情報の少なくとも一部にする、通信方法。
14.上記8~13のいずれか一項に記載の通信方法において、
前記対象者は、介護施設、老人ホーム、又は病院に入っており、
前記第1端末は、前記介護施設、老人ホーム、病院、又は薬局において前記対象者を担当している担当者に利用され、
前記コンピュータは、前記状態情報が基準を満たした回数が所定数以上になったときに、そのことを示す情報及び前記対象者に処方されている薬の種類を示す情報の少なくとも一方を前記第1情報の少なくとも一部にする、通信方法。
15.コンピュータに、
対象者を撮像した画像を処理することにより、前記対象者の状態を示す状態情報を生成させ、
前記状態情報を用いて、前記対象者に紐づいており前記対象者とは異なる人によって操作される第1端末に送信するべき第1情報を決定する処理、及び、前記第1端末に前記第1情報を送信するか否かを判断する処理、の少なくとも一方を行わせ、
前記第1情報を前記第1端末に送信させる、プログラム。
16.上記15に記載のプログラムにおいて、
前記画像は、前記対象者がコンテンツを閲覧している間又は前記コンテンツを閲覧した後に生成されている、プログラム。
17.上記16に記載のプログラムにおいて、
前記コンテンツは、前記対象者の親族を撮影した画像を含む、プログラム。
18.上記16又は17に記載のプログラムにおいて、
前記状態情報が、前記対象者が喜んでいることを示している場合は、前記コンピュータに、前記画像を前記第1情報に含めさせる、プログラム。
19.上記16に記載のプログラムにおいて、
前記状態情報が、前記対象者が喜んでいることを示している場合は、前記コンピュータに、前記コンテンツを示す情報を前記第1情報の少なくとも一部にさせる、プログラム。
20.上記15~19のいずれか一項に記載のプログラムにおいて、
前記第1端末は前記対象者の親族に利用され、
前記状態情報が基準を満たす状態が一定期間継続している場合、前記コンピュータに、前記第1情報として、そのことを示す情報を前記第1情報の少なくとも一部にさせる、プログラム。
21.上記15~20のいずれか一項に記載のプログラムにおいて、
前記対象者は、介護施設、老人ホーム、又は病院に入っており、
前記第1端末は、前記介護施設、老人ホーム、病院、又は薬局において前記対象者を担当している担当者に利用され、
前記状態情報が基準を満たした回数が所定数以上になったときに、前記コンピュータに、そのことを示す情報及び前記対象者に処方されている薬の種類を示す情報の少なくとも一方を前記第1情報の少なくとも一部にさせる、プログラム。
22.上記15~21のいずれか一項に記載のプログラムを記録した記録媒体。
【符号の説明】
【0109】
10 通信装置
20 第1端末
30 第2端末
110 処理部
120 判断部
130 通信部
140 決定部
150 記憶部
210 入力部
220 通信部
230 出力部
310 入力部
320 通信部
330 出力部