特開 2024-138681 情報処理システム、情報処理方法、情報処理装置および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024138681

(43)【公開日】2024-10-09

(54)【発明の名称】情報処理システム、情報処理方法、情報処理装置および情報処理プログラム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20241002BHJP

   H04N 7/15 20060101ALI20241002BHJP

【ＦＩ】

G06F3/0481

H04N7/15

H04N7/15 170

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023049278

(22)【出願日】2023-03-27

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「ＣＡ基盤構築及び階層的ＣＡ連携と操作者割り当ての研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願／令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「利用者モニタリングと経験管理の研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(72)【発明者】

【氏名】内海 章

(72)【発明者】

【氏名】宮下 敬宏

(72)【発明者】

【氏名】西村 祥吾

(72)【発明者】

【氏名】太田 陽

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164FA09

5C164PA39

5C164UB41S

5C164UB88S

5C164VA07P

5C164YA12

5C164YA21

5E555AA52

5E555AA61

5E555BA02

5E555BA13

5E555BB02

5E555BB13

5E555BC08

5E555CA42

5E555CB66

5E555DB32

5E555DC09

5E555EA05

5E555EA22

5E555FA00

(57)【要約】      （修正有）

【課題】情報漏洩を抑止する情報処理システム、方法、装置及びプログラムを提供する。
【解決手段】アバタ遠隔対話システムでは、ネットワークを介してディスプレイ３０を備えるアバタ用ロボット１４とディスプレイ８０を備える操作者端末１６とが連係する。ディスプレイ３０に操作者１００のアバタ２８を表示し、操作者がアバタを介してユーザ１０２にサービスを提供する。ディスプレイ８０の操作画面及びディスプレイ３０のアバタ表示画面の少なくとも一方で撮影行動を検知したとき、撮影行動を実行している者に関連する埋込み画像を、電子透かしとして、撮影行動対象画面に埋め込む。ディスプレイ８０に対する撮影行動を検知したときは、操作者ＩＤなどを含む埋込み画像をディスプレイに重畳表示し、ディスプレイ３０に対する撮影行動を検知したときは、ユーザ画像１０２ａ又は第三者１０６画像に基づく埋込み画像１００ｂをディスプレイ８０に重畳表示する。
【選択図】図５

【特許請求の範囲】

【請求項1】

操作画面を表示する第１ディスプレイを有する操作者端末およびアバタを表示する第２ディスプレイを有するアバタ表示装置がネットワークを介して連係して、前記操作者端末の操作者が、前記アバタを介して対話者と対話する情報処理システムであって、
前記第１ディスプレイの前記操作画面および前記第２ディスプレイのアバタ表示画面の少なくとも一方に対する撮影行動を検知する撮影行動検知手段、および
前記撮影行動検知手段によって撮影行動が検知された前記操作画面および前記アバタ表示画面の少なくとも一方に、前記撮影行動をした者に関連する埋込み画像を重畳する埋込み画像重畳手段を備える、情報処理システム。

【請求項2】

前記撮影行動検知手段は、画像処理技術を用いて撮影手段を構えるジェスチャを検知することによって、撮影行動を検知する、請求項１記載の情報処理システム。

【請求項3】

前記撮影行動検知手段が操作画面に対する前記撮影行動を検知したとき、前記埋込み画像重畳手段は、前記操作画面に、前記操作者に関連する埋込み画像を重畳する、請求項１または２記載の情報処理システム。

【請求項4】

前記撮影行動検知手段が前記アバタ表示画面に対する前記撮影行動を検知したとき、前記埋込み画像重畳手段は、前記アバタ表示画面に、前記対話者または第三者に関連する埋込み画像を重畳する、請求項１または２に記載の情報処理システム。

【請求項5】

操作画面を表示する第１ディスプレイを有する操作者端末およびアバタを表示する第２ディスプレイを有するアバタ表示装置がネットワークを介して連係して、前記操作者端末の操作者が、前記アバタを介して対話者と対話する情報処理システムにおける情報処理方法であって、
前記第１ディスプレイの前記操作画面および前記第２ディスプレイのアバタ表示画面の少なくとも一方に対する撮影行動を検知する撮影行動検知ステップ、および
前記撮影行動検知ステップで撮影行動が検知された前記操作画面および前記アバタ表示画面の少なくとも一方に、前記撮影行動をした者に関連する埋込み画像を重畳する埋込み画像重畳ステップを含む、情報処理方法。

【請求項6】

操作画面を表示する第１ディスプレイを備える操作者端末とアバタ表示装置とがネットワークを介して連係して、前記操作者端末の操作者が、前記アバタを介して対話者と対話する情報処理システムにおける前記操作者端末としての情報処理装置であって、
前記第１ディスプレイの前記操作画面に対する前記操作者による撮影行動を検知する撮影行動検知手段、および
前記撮影行動検知手段によって撮影行動が検知された前記操作画面に、前記操作者に関連する埋込み画像を重畳する埋込み画像重畳手段を備える、情報処理装置。

【請求項7】

操作画面を表示する第１ディスプレイを備える操作者端末とアバタ表示装置とがネットワークを介して連係して、前記操作者端末の操作者が、前記アバタを介して対話者と対話する情報処理システムにおける前記操作者端末の情報処理プログラムであって、
前記操作者端末のＣＰＵを、
前記第１ディスプレイの前記操作画面に対する前記操作者による撮影行動を検知する撮影行動検知手段、および
前記撮影行動検知手段によって撮影行動が検知された前記操作画面に、前記操作者に関連する埋込み画像を重畳する埋込み画像重畳手段として機能させる、情報処理プログラム。

【請求項8】

操作画面を表示する第１ディスプレイを備える操作者端末と前記操作者のアバタを表示するアバタ表示画面を有する第２ディスプレイを備えるアバタ表示装置とがネットワークを介して連係して、前記操作者端末の操作者が、前記アバタを介して対話者と対話する情報処理システムにおける前記アバタ表示装置としての情報処理装置であって、
前記第２ディスプレイの前記アバタ表示画面に対する前記対話者または第三者による撮影行動を検知する撮影行動検知手段、および
前記撮影行動検知手段によって撮影行動が検知された前記アバタ表示面に、前記対話者または第三者に関連する埋込み画像を重畳する埋込み画像重畳手段として機能させる、情報処理装置。

【請求項9】

操作画面を表示する第１ディスプレイを備える操作者端末と前記操作者のアバタを表示するアバタ表示画面を有する第２ディスプレイを備えるアバタ表示装置とがネットワークを介して連係して、前記操作者端末の操作者が、前記アバタを介して対話者と対話する情報処理システムにおける前記アバタ表示装置の情報処理プログラムであって、
前記アバタ表示装置のＣＰＵを、
前記第２ディスプレイの前記アバタ表示画面に対する前記対話者または第三者による撮影行動を検知する撮影行動検知手段、および
前記撮影行動検知手段によって撮影行動が検知された前記アバタ表示画面に、前記前記対話者または第三者に関連する埋込み画像を重畳する埋込み画像重畳手段として機能させる、情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は情報処理システム、情報処理方法、情報処理装置および情報処理プログラムに関し、特にたとえば、アバタによってユーザにサービスを提供したり、サービスの提供を受けたりする、情報処理システム、情報処理方法、情報処理装置および情報処理プログラム
に関する。

【背景技術】

【0002】

特許文献１には、ディスプレイに操作者の顔画像を表示して移動するロボットが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０‐００４１８２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術をアバタを表示するためのロボットとして機能させる場合、操作者とユーザとの対話情報などの漏洩を抑止する必要がある。

【0005】

それゆえに、この発明の主たる目的は、新規な、情報処理システム、情報処理方法、情報処理装置および情報処理プログラム提供することである。

【0006】

この発明の他の目的は、対話情報などの漏洩を抑止できる、情報処理システム、情報処理方法、情報処理装置および情報処理プログラムを提供することである。

【課題を解決するための手段】

【0007】

この発明は、上記の目的のために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

【0008】

第１の実施例は、操作画面を表示する第１ディスプレイを有する操作者端末およびアバタを表示する第２ディスプレイを有するアバタ表示装置がネットワークを介して連係して、操作者端末の操作者が、アバタを介して対話者と対話する情報処理システムであって、第１ディスプレイの操作画面および第２ディスプレイのアバタ表示画面の少なくとも一方に対する撮影行動を検知する撮影行動検知手段、および撮影行動検知手段によって撮影行動が検知された操作画面およびアバタ表示画面の少なくとも一方に、撮影行動をした者に関連する埋込み画像を重畳する埋込み画像重畳手段を備える、情報処理システムである。

【0009】

第１の実施例では、情報処理システム（１０：実施例において対応する部分を例示する参照符号。ただし、限定を意味しない。以下同じ。）は、たとえばネットワーク（１２）を介して、ロボットのようなアバタ表示装置および操作者端末（１６）と連係する。操作者端末（１６）は操作画面を表示する第１ディスプレイ（８０）を備え、アバタ表示装置（１４）が操作者のアバタを表示する第２ディスプレイ（３０）を備える。操作者は、第２ディスプレイ（３０）に表示した自分のアバタ（２８）を介して対話者と遠隔対話しながら、たとえばユーザ（対話者）に対してサービスを提供する。撮影行動検知手段（６４、１１６ｄ、Ｓ１；３２、１２４ｄ、Ｓ２１）は、操作画面およびアバタ表示画面の少なくとも一方を対象とした撮影行動を検知する。埋込み画像重畳手段（６４、１１６ｇ、Ｓ７；３２、１２４ｇ、Ｓ２９、Ｓ３１）は、操作画面およびアバタ表示画面の少なくとも一方に、撮影行動をした者に関連する埋込み画像を重畳する。

【0010】

第１の実施例によれば、撮影行動が対象とした画面に撮影行動をした者に関連する埋込み画像がたとえば電子透かしのように重畳されるので、撮影行動をしようとする者はその撮影行動を中止する可能性が大きく、撮影行動による情報漏洩が可及的抑止される。

【0011】

第２の実施例は第１の実施例に従属する情報処理システムであって、撮影行動検知手段は、画像処理技術を用いて撮影手段を構えるジェスチャを検知することによって、撮影行動を検知する。

【0012】

第２の実施例によれば、撮影行動を容易に検知することができる。

【0013】

第３の実施例は、第１の実施例または第２の実施例に従属する情報処理システムであって、撮影行動検知手段が操作画面に対する撮影行動を検知したとき、埋込み画像重畳手段は、操作画面に、操作者に関連する埋込み画像を重畳する。

【0014】

第４の実施例は、第１の実施例または第２の実施例に従属する情報処理システムであって、撮影行動検知手段がアバタ表示画面に対する撮影行動を検知したとき、埋込み画像重畳手段は、アバタ表示画面に、対話者または第三者に関連する埋込み画像を重畳する。

【0015】

第５の実施例は、操作画面を表示する第１ディスプレイを有する操作者端末およびアバタを表示する第２ディスプレイを有するアバタ表示装置がネットワークを介して連係して、操作者端末の操作者が、アバタを介して対話者と対話する情報処理システムにおける情報処理方法であって、第１ディスプレイの操作画面および第２ディスプレイのアバタ表示画面の少なくとも一方に対する撮影行動を検知する撮影行動検知ステップ、および撮影行動検知ステップで撮影行動が検知された操作画面およびアバタ表示画面の少なくとも一方に、撮影行動をした者に関連する埋込み画像を重畳する埋込み画像重畳ステップを含む、情報処理方法である。

【0016】

第５の実施例によっても、第１の実施例と同様の効果が期待できる。

【0017】

第６の実施例は、操作画面を表示する第１ディスプレイを備える操作者端末とアバタ表示装置とがネットワークを介して連係して、操作者端末の操作者が、アバタを介して対話者と対話する情報処理システムにおける操作者端末としての情報処理装置であって、第１ディスプレイの操作画面に対する操作者による撮影行動を検知する撮影行動検知手段、および撮影行動検知手段によって撮影行動が検知された操作画面に、操作者に関連する埋込み画像を重畳する埋込み画像重畳手段を備える、情報処理装置である。

【0018】

第７の実施例は、操作画面を表示する第１ディスプレイを備える操作者端末とアバタ表示装置とがネットワークを介して連係して、操作者端末の操作者が、アバタを介して対話者と対話する情報処理システムにおける操作者端末の情報処理プログラムであって、操作者端末のＣＰＵを、第１ディスプレイの操作画面に対する操作者による撮影行動を検知する撮影行動検知手段、および撮影行動検知手段によって撮影行動が検知された操作画面に、操作者に関連する埋込み画像を重畳する埋込み画像重畳手段として機能させる、情報処理プログラムである。

【0019】

第８の実施例は、操作画面を表示する第１ディスプレイを備える操作者端末と操作者のアバタを表示するアバタ表示画面を有する第２ディスプレイを備えるアバタ表示装置とがネットワークを介して連係して、操作者端末の操作者が、アバタを介して対話者と対話する情報処理システムにおけるアバタ表示装置としての情報処理装置であって、第２ディスプレイのアバタ表示画面に対する対話者または第三者による撮影行動を検知する撮影行動検知手段、および撮影行動検知手段によって撮影行動が検知されたアバタ表示面に、対話者または第三者に関連する埋込み画像を重畳する埋込み画像重畳手段として機能させる、情報処理装置である。

【0020】

第９の実施例は、操作画面を表示する第１ディスプレイを備える操作者端末と操作者のアバタを表示するアバタ表示画面を有する第２ディスプレイを備えるアバタ表示装置とがネットワークを介して連係して、操作者端末の操作者が、アバタを介して対話者と対話する情報処理システムにおけるアバタ表示装置の情報処理プログラムであって、アバタ表示装置のＣＰＵを、第２ディスプレイのアバタ表示画面に対する対話者または第三者による撮影行動を検知する撮影行動検知手段、および撮影行動検知手段によって撮影行動が検知されたアバタ表示画面に、対話者または第三者に関連する埋込み画像を重畳する埋込み画像重畳手段として機能させる、情報処理プログラムである。

【発明の効果】

【0021】

この発明によれば、操作者やユーザ、あるいは第三者が操作者端末やロボットの画面を撮影するなどの情報漏洩行為をしたとき、撮影行動をした者に関連する埋込み画像を該当する画面上にたとえば電子透かしのように表示することによって、情報漏洩を抑制することができる。

【0022】

この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0023】

【図1】図１はこの発明の一実施例を示す遠隔対話システムの概要を示す図解図である。

【図2】図２は図１に示すロボットの電気的な構成を示すブロック図である。である。

【図3】図３は図１に示す操作者端末の電気的な構成を示すブロック図である。

【図4】図４は図１に示すサーバの電気的な構成を示すブロック図である。

【図5】図５は図１実施例における第１類型を示す図解図である。

【図6】図６は図１実施例における第２類型を示す図解図である。

【図7】図７は図１実施例における第３類型を示す図解図である。

【図8】図８は操作者端末のメモリのメモリマップの一例を示す図解図である。

【図9】図９はロボットのメモリのメモリマップの一例を示す図解図である。

【図10】図１０は第１類型に対処する操作者端末の情報処理動作の一例を示すフロー図である。

【図11】図１１は第２類型および第３類型に対処するロボットの情報処理動作の一例を示すフロー図である。

【発明を実施するための形態】

【0024】

図１を参照して、情報処理装置の一例である、この実施例のアバタ遠隔対話システム１０は、遠隔操作者がアバタ（遠隔操作型ＣＧエージェント）を利用してサービスを提供するための基盤システム（プラットフォーム）である、アバタ遠隔操作基盤システム（ＣＡ：Cybernetic Avatar）を利用する。

【0025】

しかしながら、この発明は、必ずしもそのアバタ遠隔対話システム（ＣＡ）上のものである必要はなく、一般的には、ネットワーク１２を介してロボット１４に操作者端末１６の操作者のアバタを表示し、あるいはロボット１４自体を操作者のアバタとして機能させて、サーバ１８の関与を得て、ユーザが遠隔対話を通してアバタ２８によるサービスの提供を受けることができる、システムである。図１の実施例では、サーバ１８が上述の基盤システムの機能を果たすように設定されている。

【0026】

この実施例では、一例として、Web Real-Time Communication（ＷｅｂＲＴＣ）の技術によって、ロボット１４と操作者端末１６がＰ２Ｐ(Peer to Peer)通信を行い、Ｗｅｂブラウザを介して画像および／または音声をリアルタイムに送受信することができる。

【0027】

実施例のサーバ１８がこのＷｅｂＲＴＣに対処することができ、複数のサーバの組み合わせを利用している。具体的には、ＷｅｂＲＴＣを利用するための複数のサーバには、シグナリングサーバ、スタン（ＳＴＵＮ）サーバ及びターン（ＴＵＲＮ）サーバ等が含まれる。詳細な説明は省略するが、シグナリングサーバは、ＷｅｂＲＴＣによる通信相手に関する情報を取得するためのサーバである。また、スタンサーバおよびターンサーバは通信相手が異なるネットワークに存在している場合にいわゆるＮＡＴ（Network Address Translation）越えをするためのサーバである。

【0028】

さらに、この実施例に用いられるアバタ用ロボット（アバタ２８を表示するためのロボットを意味し、以下、単に「ロボット」という。）１４は、たとえばDouble Robotics, Inc.（ダブルロボティクス社）製の商品名「Double 3」のような、自律移動可能な、いわゆるテレプレゼンス（または、テレイグジステンス）ロボットである。ただし、ロボット１４はこのような特定のロボットに限られることなく、特許文献１で開示しているようなロボットも利用可能であることを予め指摘しておく。

【0029】

実施例においては、このロボット１４は、ネットワーク１２に接続（無線または有線）された操作者端末１６と通信可能である。操作者端末１６は、ロボット１４を遠隔操作する操作者が使用する汎用のコンピュータである。操作者は、操作者端末１６を用いてロボット１４にタスクを実行させるためのコマンドを送信する。また、操作者は、操作者端末１６を用いて音声をロボット１４に送信し、ロボット１４から音声を出力することにより、ロボット１４の近傍に存在する人または人物（ユーザ）と対話することができる。

【0030】

このロボット１４は、ベース２０を含み、このベース２０の正面には移動用センサの１つである超音波センサ２２が設けられる。また、このベース２０の両端には左右の移動用車輪２４Ｌおよび２４Ｒが回転自在に設けられる。

【0031】

ベース２０の上面には、上方に延びるポール２６が設けられ、そのポール２６の上端には、操作者のアバタ２８を表示することができる、タッチディスプレイ３０が設けられる。なお、このタッチディスプレイ（以下、単に「ディスプレイ」という。）３０には、カメラやマイク、スピーカ等が設けられるが、詳細は図２に示すブロック図を参照して説明する。また、このロボット１４は、バッテリ駆動型のロボットであり、バッテリはたとえばポール２６の中に収容されている。

【0032】

この実施例では、ロボット１４は、ネットワーク１２に接続された操作者端末１６と通信可能である。操作者端末１６は、ロボット１４を遠隔操作する操作者が使用する汎用のコンピュータである。操作者は、たとえば、操作者端末１６を用いて画像および音声をロボット１４に送信し、ロボット１４のディスプレイ３０に自分のアバタ２８（図１）を表示し、ユーザと対話して、サービスを提供する。

【0033】

ここで、「サービス」とは、この実施例のアバタ遠隔対話システム１０を利用して提供可能な、たとえば物品販売、家庭教師、観光案内などを含むものであって、データベース１９に事前に登録されている。「操作者」とはこのアバタ遠隔対話システム１０で、ロボット１４のディスプレイ３０にアバタ２８を表示して、そのアバタ２８を通してユーザに上記のサービスを提供する者であって、データベース１９に事前登録されている者である。また、「ユーザ」とは、実施例のアバタ遠隔対話システム１０において、ディスプレイ３０に対面して操作者のアバタ２８と対話しながらアバタによるサービスの提供を受ける者であって、データベース１９に事前登録されている人または人物のことである。ただし、ディスプレイ３０に対面している者が必ずしもここでいう「ユーザ」に該当しないこともあるので、ディスプレイ３０のアバタ２８と対話している者を「対話者」と呼ぶ場合がある。さらに、「画像」および「映像」の語は、静止画像および動画像の一方または両方を包含する用語として使用されることがあることを予め留意されたい。

【0034】

なお、データベース１９に事前に登録されるデータとしては、接続条件（提供するサービス、操作者のＩＤ（識別情報）、アバタのＩＤ、ユーザのＩＤなど）、埋込み情報などであり、リアルタイムの日時のデータを併せて記録する。

【0035】

また、ロボット１４から送信される画像データ（動画像または静止画像）および音声データを操作者端末１６で受信し、操作者端末１６で画像および音声を出力することにより、操作者は、ロボット１４の周囲を見たり、ロボット１４の周囲の状況を把握したり、ロボット１４のディスプレイ３０に対面しているユーザと対話することができる。

【0036】

なお、操作者端末１６でロボット１４の移動等を操作することは既に周知であり、また、この発明にとって本質的な事項ではないため、ここではその遠隔操作についての詳細な説明は省略する。

【0037】

アバタ表示画面を表示する機能を有するディスプレイ３０には、よく知られているように、画像を表示するディスプレイの表面に（または内蔵されて）タッチパネルが設けられており、タッチすることによって、ディスプレイ３０上の位置をポイントすることができる。

【0038】

図２はロボット１４のブロック図である。ここでは、実施例の説明に必要な範囲で、図２を参照して、ロボット１４を説明する。

【0039】

アバタ表示装置の一例として機能するロボット１４はさらに、ＣＰＵ３２およびメモリ３４を含む。メモリ３４は、詳細は図示しないが、ＲＡＭ、ＲＯＭ、ＨＤＤ（ハードデイスクドラブ）等を含む。ＣＰＵ３２には、バス３６が接続されており、このバス３６には、メモリ３４のＲＡＭ、ＲＯＭ、ＨＤＤ等が電気的に接続される。ＣＰＵ３２は、コンピュータプログラムを実行することによって、情報漏洩抑止処理や自律移動等の動作を実行する。

【0040】

通信部３８は、ネットワーク１２を介して、操作者端末１６およびサーバ１８と通信して、画像データおよび音声データを授受する。

【0041】

ロボット１４には全方位カメラ４０および対話者カメラ４２が設けられ、それらはカメラインタフェース（Ｉ／Ｆ）を通してバス３６に接続される。全方位カメラ４０は、図１では図示を省略したがたとえばディスプレイ３０の上方に設けられて、ディスプレイ３０のアバタ２８（図１）と対話するユーザの背景を撮影する。具体的には、ユーザの周囲に存在する第三者の画像を取得することによって、後述する第三者による情報漏洩行為、たとえばディスプレイ３０の画面を撮影する行為を検知することができる。

【0042】

対話者カメラ４２は、たとえば横方向に間隔を隔てた２つのカメラ（ステレオカメラ）であって、ディスプレイ３０に対面して操作者のアバタ２８（図１）と対話する対話者（アバタと対話している対話相手のこと。便宜上、「対話者」ということにする。）を撮影する。必要に応じて、パン、チルトおよびズームすることができる。カメラＩ／Ｆ４４には、全方位カメラ４０や対話者カメラ４２において、パン、チルトおよびズームの機能や、ホワイトバランスや露出制御を自動的に実行するプロセサが設けられてもよい。

【0043】

レーザ距離計４６は、特定の人を追跡するためなどの目的で設けられるものであり、後述のレーザ距離計５６はこのロボット１４の自律移動のためのものである。

【0044】

ロボット１４はさらに、たとえば６個のマイクを配列して広い範囲の音声を集音できるマイク４８を備える。このマイク４８は、スピーカ５０と同様に、たとえばディスプレイ３０に内蔵して設けられる。スピーカ５０は、ロボット１４の前のユーザと対話する操作者の音声を出力する。マイク４８およびスピーカ５０は、音声Ｉ／Ｆ５２を介してバス３６に接続される。

【0045】

図１に示す超音波センサ２２は、移動用センサＩ／Ｆ５４を介してバス３６に接続される。この移動用センサＩ／Ｆ５４にはさらに、レーザ距離計５６が接続される。レーザ距離計５６は先のレーザ距離計４６と兼用されてもよい。つまり、ロボット１４の移動中と、ロボット１４の移動を停止してアバタ２８による対話中とで、１つのレーザ距離計を使い分けるようにしてもよい。

【0046】

慣性計測ユニット５８もまた移動用センサＩ／Ｆ５４に接続されるが、この慣性計測ユニット５８は３次元の慣性運動（直交３軸方向の並進運動および回転運動）を検出する装置であって、加速度センサによって並進運動を検出し、角速度(ジャイロ)センサによって回転運動を検出する。

【0047】

バス３６にはさらに、モータドライバ６０が接続される。このモータドライバ６０は、ＣＰＵ３２の命令に従って、右車輪モータ６２Ｒおよび左車輪モータ６２Ｌを制御する。つまり、ＣＰＵ３２は、移動用センサＩ／Ｆ５４およびモータドライバ６０から得られる状況を示すデータに基づいて、モータドライバ６０によって、右車輪モータ６２Ｒおよび左車輪モータ６２Ｌを制御する。

【0048】

ロボット１４はさらに、位置検出装置６３を備える。位置検出装置６３としては、種々のものが考えられる。たとえば、ロボット１４が基本的に室内（館内）での利用を想定されたものであれば、たとえば右車輪モータ６２Ｒおよび左車輪モータ６２Ｌに関連して設けられるエンコーダ（図示せず）からの車輪回転情報を利用して、自身の位置を計算するような位置検出装置が考えられる。

【0049】

さらに、もし室内の床に位置検知用のマットを敷設している場合であれば、ロボット１４の位置検出装置６３としては、そのような位置検知用マットを検出してその座標位置を特定する位置検出装置が考えられる。

【0050】

また、位置検出装置６３は、ＧＰＳ装置であってよい。

【0051】

いずれのタイプの位置検出装置６３であっても、その位置検出装置６３が検出したロボット１４の位置情報（位置データ）は、必要に応じて、通信部３８からサーバ１８へ送られる。

【0052】

図３は操作者の操作者端末１６のブロック図である。操作者端末１６は汎用のコンピュータであるが、ここでは、実施例の説明に必要な範囲で、図３を参照して、操作者端末１６の構成を説明する。

【0053】

操作者端末１６は、ＣＰＵ６４およびメモリ６６を含む。メモリ６６は、詳細は図示しないが、ＲＡＭ、ＲＯＭ、ＨＤＤ等を含む。ＣＰＵ６４には、バス６８が接続されており、このバス６８には、メモリ６６のＲＡＭ、ＲＯＭ、ＨＤＤ等が電気的に接続される。ＣＰＵ６４は、コンピュータプログラムを実行することによって、必要な動作を実行する。

【0054】

操作者端末１６は、音声Ｉ／Ｆ７０を介してバス６８に接続される、マイク７２およびスピーカ７４を備える。操作部７６は、図示しないが、タッチディスプレイやキーボードを含む。これらのマイク７２、スピーカ７４および操作部７６を用いて、操作者はロボット１４のディスプレイ３０に自身のアバタ２８（図１）を表示させて、ディスプレイ３０に対面するユーザとの遠隔対話を実行する。

【0055】

操作者端末１６には操作者カメラ７７が設けられ、この操作者カメラ７７はカメラインタフェース（Ｉ／Ｆ）７９を通してバス６８に接続される。操作者カメラ７７は、たとえば横方向に間隔を隔てた２つのカメラ（ステレオカメラ）であって、ディスプレイ８０に対面している操作者を撮影する。必要に応じて、パン、チルトおよびズームすることができる。カメラＩ／Ｆ７９には、操作者カメラ７７において、パン、チルトおよびズームの機能や、ホワイトバランスや露出制御を自動的に実行するプロセサが設けられてもよい。

【0056】

通信部７８は、ネットワーク１２を介して、ロボット１４およびサーバ１８と通信して、画像データおよび音声データを授受する。

【0057】

ディスプレイ８０には、操作画面が表示されるが、その操作画面には、たとえばロボット１４の全方位カメラ４０や対話者カメラ４２が撮影したユーザや第三者等の画像を表示する。なお、操作部７６あるいはディスプレイ８０がタッチディスプレイである場合はディスプレイ８０に、ディスプレイ８０の画面をスクリーンショットとして記録するためのキーやアイコンが設けられてもよい。

【0058】

図４はサーバ１８のブロック図である。サーバ１８は上述のようにＷｅｂＲＴＣ用のコンピュータであるが、ここでは、実施例の説明に必要な範囲で、図４を参照して、サーバ１８の構成を説明する。

【0059】

サーバ１８は、ＣＰＵ８２およびメモリ８４を含む。メモリ８４は、詳細は図示しないが、ＲＡＭ、ＲＯＭ、ＨＤＤ等を含む。ＣＰＵ８２には、バス８６が接続されており、このバス８６には、メモリ８４のＲＡＭ、ＲＯＭ、ＨＤＤ等が電気的に接続される。ＣＰＵ８２は、コンピュータプログラムを実行することによって、匿名化処理等の必要な動作を実行する。

【0060】

サーバ１８は、音声Ｉ／Ｆ８８を介してバス８６に接続される、マイク９０およびスピーカ９２を備える。操作部９４は、図示しないが、タッチディスプレイやキーボードを含む。

【0061】

位置検出装置９５は、たとえばロボット１４が移動する室内に複数設置したカメラを含み、それぞれカメラ（図示せず）の画像を解析して、対象のロボット１４の位置を検出する。その他に、位置検出装置９５としては、公知のレーザ距離計を用いてロボット１４の位置を検出する装置であってもよい。

【0062】

通信部９６は、ネットワーク１２を介して、ロボット１４および操作者端末１６と通信して、画像データおよび音声データを授受する。特に、ロボット１４から画像データおよび音声データだけでなく、位置検出装置６３で検出したロボット１４の位置データを受信し、ロボット１４の位置によって必要な場合、匿名化処理を施した画像データおよび音声データを操作者端末１６へ送信する。

【0063】

ディスプレイ９８には、ロボット１４の全方位カメラ４０や対話者カメラ４２が撮影したユーザ等の画像および操作者端末１６の操作者カメラ７７が撮影した操作者の画像を表示する。

【0064】

なお、図１実施例のアバタ遠隔対話システム１０は、移動可能なロボット１４にユーザが対面して操作者のアバタ２８を表示するディスプレイ３０を設けているが、ディスプレイ３０は、移動可能なロボットにではなく、通常のコンピュータ、たとえばデスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータなどに設けられていてもよい。この場合も、これらのコンピュータはロボット１４と同じように、アバタ２８を表示するディスプレイ３０を有するアバタ表示装置として機能する。

【0065】

図５‐図７は、図１実施例のアバタ遠隔対話システム１０における情報漏洩行為の３類型（第１類型、第２類型および第３類型）を示す図解図である。

【0066】

図５に示す第１類型は、ロボット１４と操作者端末１６との接続が完了した後に、操作者１００およびユーザ１０２がディスプレイ８０および３０を通して対話している状況において生じる。

【0067】

ロボット１４は、たとえば店舗１０４に設置されて、操作者１００がユーザ１０２にたとえば商品販売のようなサービスを提供し、その店舗１０４におけるロボット１４の周囲には第三者１０６が存在する。操作者端末１６のディスプレイ８０には、操作者１００の画像（操作者画像）１００ａおよびユーザ１０２の画像（ユーザ画像）１０２ａが表示されていて、ロボット１４のディスプレイ３０には、操作者のアバタ２８が表示されている。

【0068】

この状況は図７に示す第３類型にも共通するが、情報漏洩の第１類型は、操作者１００がたとえばスマートフォン１０８を操作して、操作者端末１６のディスプレイ８０の画面を撮影しようとしている場合である。

【0069】

これに対して、第３類型の１つの側面は、後述するように、第三者１０６が、ロボット１４のディスプレイ３０の画面を撮影しようとする場合である。

【0070】

図５の第１類型では、操作者端末１６が、操作者１００のディスプレイ８０の画面に向けたスマートフォン１０８による撮影行動を検知して、画面に操作者を特定する埋込み画像（操作者ＩＤ１００ｂ、日時など）を電子透かし画像ないし埋込み画像として表示する。その結果、操作者１００が操作するスマートフォン１０８には、操作者画像１００ａおよびユーザ画像１０２ａの他に、ディスプレイ８０に対して撮影行動をした者、ここでは操作者１００に関連する埋込み画像が写り込んだ画像が残ることになる。

【0071】

ただし、操作者１００による撮影行為は、スマートフォン１０８のような撮影手段をディスプレイ８０の画面に向けるジェスチャを検知するだけでなく、図示しないが、たとえば操作部７６のスクリーンショット用のキーの操作を検知したり、タッチスクリーンのスクリーンショット用のアイコンの操作を検知したりすることによって、検知することができる。

【0072】

想定できる状況の一例としては、操作者１００である田中さんはアバタを利用した遠隔案内サービスを提供している業者に登録して操作者として働いている。操作者端末１６のディスプレイ８０に表示された操作画面にはロボット１４に搭載された対話者カメラ４２の画像、すなわちユーザ画像１０２ａが表示されている。

【0073】

ある日、たまたま通りかかった知り合いが対話者カメラ４２の画像として操作し画面に表示されたためスマートフォン１０８で画面を撮影して友人にシェアしたいと考えた。

【0074】

ただ、表示画像には操作者１００である田中さん自身の氏名、日時、操作者ＩＤなどが埋込み画像１００ｂとして重畳表示されているため、田中さんは撮影を思い止まる。つまり、図１実施例のアバタ遠隔対話システム１０において、操作者１００による情報漏洩行為が効果的に抑止される。

【0075】

図６に示す第２類型は、操作者１００が教師とし、ユーザ１０２が生徒となる、アバタ家庭教師サービスにおいて生じると想定している。

【0076】

家庭教師サービスでは、操作者端末１６のディスプレイ８０には、ユーザ画像１０２ａが表示されていて、ロボット１４のディスプレイ３０には、操作者のアバタ２８が表示されている。

【0077】

情報漏洩の第２類型は、ユーザ１０２がたとえばスマートフォン１０８を操作して、ロボット１４のディスプレイ３０の画面を撮影しようとしている場合である。

【0078】

この状況でユーザ１０２がスマートフォン１０８のような撮影手段をディスプレイ３０の画面に向けると、その撮影行為（情報漏洩行為）がジェスチャとして検出され、ロボット１４のディスプレイ３０には、通常のアバタ２８だけでなく、図６において点線で示すユーザ画像１０２ａが、埋込み画像（電子透かし）として、表示される。つまり、対象のディスプレイ３０に対して撮影行動をした者、ここではユーザに関連した埋込み画像が電子透かしとして重畳される。

【0079】

ただし、第２類型の埋込み画像としては、ユーザ画像１０２ａに加えて、あるいはユーザ画像１０２ａに代えて、ユーザ管理データ記憶領域１２６ｃ（図９）に記憶されているユーザＩＤを含む画像を利用してもよい。

【0080】

想定できる状況としては、ユーザ１０２である、ユウマくんはアバタ２８を介した家庭教師サービスを利用して勉強している。

【0081】

ロボット１４のディスプレイ３０にアバタ２８として表示された先生（操作者１００）の顔や教材のビデオを友達と共有するためにスマートフォン１０８で撮影しようとしたが、先生（操作者）から「アバタの画面にはユウマくんの顔や名前が写っているから撮らないほうがいいよ」と言われて、撮影をやめた。つまり、図１実施例のアバタ遠隔対話システム１０において、ユーザ１０２による情報漏洩行為が効果的に抑止される。

【0082】

ただし、ユーザ１０２による撮影行為は、スマートフォン１０８をディスプレイ３０の画面に向けるジェスチャを検知するだけでなく、図示しないが、たとえばディスプレイ３０がタッチディスプレイである場合、そのタッチスクリーンのスクリーンショット用のアイコンの操作を検知したりすることによって、検知することができる。

【0083】

図７に示す第３類型は、先に説明したように、第１類型と同じような状況で起こる。

【0084】

第３類型では、店舗１０４内で、操作者１００とユーザ１０２がアバタを介して対話している状況において、第三者１０６がロボット１４のディスプレイ３０の画面をスマートフォン１０８で撮影しようとしている。ただし、図７の状況では、ロボット１４の近くに、「撮影はご遠慮ください。」という注意看板１１０が設置されているが、その注意看板１１０があるにも拘わらず、第三者１０６がロボット１４のディスプレイ３０の画面をスマートフォン１０８で撮影しようとしている。

【0085】

図７の状況でも、図６の状況と同じく、図７（Ａ）で示すようにロボット１４のディスプレイ３０には通常、アバタ２８だけが表示されるが、ロボット１４が第三者１０６の撮影行為（情報漏洩行為）をジェスチャとして検出すると、アバタ２８だけでなく、ロボット１４の全方位カメラ４０または対話者カメラ４２で撮影した図７（Ｂ）において点線で示す第三者１０６の画像（第三者画像）１０６ａが、埋込み画像（電子透かし）として、表示される。つまり、対象のディスプレイ３０に対して撮影行動をした者、ここでは第三者１０６に関連する埋込み画像が重畳される。

【0086】

想定できる状況としては、第三者１０６である佐藤さんはたまたま買い物に訪れたショッピングモールでアバタが接客しているところに遭遇した。面白いと思った佐藤さんは、その様子をスマートフォン１０８で撮影し、帰宅後にＳＮＳにアップしようとしたがよく見ると、ロボット１４のディスプレイ３０にはアバタの画像（アバタ画像）１００ａの他に自分が写り込んでいることに気が付いたため、思い止まった。つまり、図１実施例のアバタ遠隔対話システム１０において、第三者１０６による情報漏洩行為が効果的に抑止される。

【0087】

なお、図７に示す状況において、ユーザ１０２が撮影行動を行ったときは、図６の第２類型の場合と同じように、ディスプレイ３０に、ユーザに関連する埋込み画像が表示される。

【0088】

操作者端末１６のメモリ６６の詳細が図８に示される。メモリ６６は、プログラム記憶領域１１２およびデータ記憶領域１１４を有する。

【0089】

プログラム記憶領域１１２には、アバタ遠隔対話システム１０としての基本的なプログラム、たとえば操作者端末１６がロボット１４やサーバ１８と通信するための通信プログラム１１６ａ、サーバ１８によるロボット１４との接続に対応する接続プログラム１１６ｂおよびアバタサービスを提供するためのサービス提供プログラム１１６ｃが設定される。

【0090】

この実施例では、これらのプログラムの他、プログラム記憶領域１１２には、撮影行動検知プログラム１１６ｄ、操作者同定プログラム１１６ｅ、画像および／または音声（以下、単に「画像／音声」と記載する場合がある。）出力検知プログラム１１６ｆ、可視埋込みプログラム１１６ｇ等が予め設定されている。

【0091】

撮影行動検知プログラム１１６は、先に説明したように、撮影手段、たとえばスマートフォン１０８を用いて画面を撮影するジェスチャを画像処理技術によって認識することで、検知するプログラムである。画像処理技術を用いるので、撮影行動を容易に検知することができる。

【0092】

撮影行動検知プログラム１１６は、その他、操作者端末１６のスクリーンショット用のキー操作やタッチ操作を撮影行動として検知することもできる。

【0093】

操作者同定プログラム１１６ｅは、画像認識技術（たとえば顔認証）によって、ログインした操作者または操作者としてデータベース１９に登録済みの人物の画像が、操作者端末１６の操作者カメラ７７で撮影されてディスプレイ８０の操作画面に表示されていることを検知するためのプログラムである。つまり、カメラ７７で撮影された人物が操作者であることを画像認識技術によって同定するプログラムである。

【0094】

ただし、この操作者同定プログラム１１６ｅは、この画像による同定に加えて、あるいはそれに代えて、マイク７２から入力された音声を音声認識技術（たとえば声紋認証）によって、ログインした操作者または操作者としてデータベース１９に登録済みの人物を同定するようにしてもよい。

【0095】

画像／音声出力検知プログラム１１６ｆは、ログインした操作者または操作者として登録済の人物の画像／音声がディスプレイ８０の操作画面に表示され／スピーカ７４から出力されていることを検知するプログラムである。

【0096】

可視埋込みプログラム１１６ｇは、先に説明したように、操作者端末１６のディスプレイ８０の操作画面に、図５のような埋込み画像１００ｂを電子透かしとして表示するためのプログラムである。

【0097】

操作者端末１６のメモリ６６のデータ記憶領域１１４には、この実施例のアバタ遠隔対話システム１０において提供できるサービスを管理するためのサービス管理データを記憶するサービス管理データ記憶領域１１８ａを含む。

【0098】

さらに、操作者管理データ記憶領域１１８ｂおよびユーザ管理データ記憶領域１１８ｃには、操作者端末１６とロボット１４との接続が完了したとき、サーバ１８から送られてきた、ログインしている操作者のデータ（操作者ＩＤなど）およびユーザのデータ（ユーザＩＤなど）を、一時的に（たとえば、そのサービスの提供が終了するまで）記憶する。

【0099】

データ記憶領域１１４はさらに、画像／音声データ記憶領域１１８ｄおよび埋込み画像データ記憶領域１１８ｅなどを含む。

【0100】

画像／音声データは、操作者カメラ７７が撮影した画像のデータ／マイク７２で取得した音声のデータであり、上述の操作者同定などのために使用される。

【0101】

埋込み画像１００ｂとしては、第１類型で説明したように、操作者ＩＤや日時データなどを含む、操作者１００に関連した埋込み画像（電子透かし用の画像データ）である。

【0102】

ロボット１４のメモリ３４の詳細が図８に示される。メモリ３４は、プログラム記憶領域１２０およびデータ記憶領域１２２を有する。

【0103】

プログラム記憶領域１２０には、アバタ遠隔対話システム１０としての基本的なプログラム、たとえばロボット１４が操作者端末１６やサーバ１８と通信するための通信プログラム１２４ａ、サーバ１８によるロボット１４との接続に対応する接続プログラム１１６ｂおよびアバタサービスを受けるためのサービス提供プログラム１１６ｃが設定される。

【0104】

この実施例では、これらのプログラムの他、プログラム記憶領域１２０には、撮影行動検知プログラム１２４ｄ、対話者同定プログラム１２４ｅ、画像／音声出力検知プログラム１２４ｆ、可視埋込みプログラム１２４ｇ等が予め設定されている。

【0105】

撮影行動検知プログラム１２４は、先に説明したように、撮影手段、たとえばスマートフォン１０８を用いて画面を撮影するジェスチャを画像処理技術によって認識することで、検知するプログラムである。画像処理技術を用いるので、撮影行動を容易に検知することができる。

【0106】

ただし、その他に、撮影行動検知プログラム１２４では、ロボット１４のスクリーンショット用のキー操作やタッチ操作を検知することによっても、撮影行動を検知することができる。このとき検知する撮影行動は、ユーザ１０２によるものの他、第三者１０６によるものも検出する。ただし、第三者１０６の撮影行動は、撮影手段、たとえばスマートフォン１０８を用いて画面を撮影する行為だけを検知することになる。第三者１０６はロボット１４やディスプレイ３０を直接触ることをしないであろうからである。

【0107】

対話者同定プログラム１２４ｅは、画像認識技術（たとえば顔認証）によって、ログインしたユーザまたはユーザとしてデータベース１９に登録済みの人物の画像が、ロボット１４の対話者カメラ４２で撮影されてディスプレイ３０のアバタ画面に表示されていることを検知するためのプログラムである。つまり、対話者カメラ４２で撮影された人物がユーザであることを画像認識技術によって同定するプログラムである。

【0108】

ただし、この対話者同定プログラム１２４ｅは、この画像による同定に加えて、あるいはそれに代えて、マイク４８から入力された音声を音声認識技術（たとえば声紋認証）によって、ログインしたユーザまたはユーザとしてデータベース１９に登録済みの人物を同定するようにしてもよい。

【0109】

画像／音声出力検知プログラム１２４ｆは、ログインしたユーザまたはユーザとして登録済の人物の画像／音声がディスプレイ３０のアバタ画面に表示され／スピーカ５０から出力されていることを検知するプログラムである。

【0110】

可視埋込みプログラム１２４ｇは、先に説明したように、ロボット１４のディスプレイ３０のアバタ画面に、図６または図７のような埋込み画像１０２ａまたは１０６ａを電子透かしとして表示するためのプログラムである。

【0111】

ロボット１４のメモリ３４のデータ記憶領域１２２には、この実施例のアバタ遠隔対話システム１０において提供されるサービスを管理するためのサービス管理データを記憶するサービス管理データ１２６ａを含む。

【0112】

さらに、操作者管理データ記憶領域１２６ｂおよびユーザ管理データ記憶領域１２６ｃには、ロボット１４と操作者端末１６との接続が完了したとき、サーバ１８から送られてきた、ログインしている操作者のデータ（操作者ＩＤなど）およびユーザのデータ（ユーザＩＤなど）を、一時的に（たとえば、そのサービスの提供が終了するまで）記憶する。

【0113】

データ記憶領域１２２はさらに、画像／音声データ記憶領域１２６ｄおよび埋込み画像データ記憶領域１２６ｅなどを含む。

【0114】

画像／音声データは、全方位カメラ４０および対話者カメラ４２が撮影した画像のデータ／マイク７４で取得した音声のデータであり、上述の操作者同定などのために使用される。ユーザ１０２の画像１０２ａまたは第三者１０６の画像１０６ａなどは、電子透かしによる埋込み画像として利用される。

【0115】

続いて、図１０を参照して、図５に示す第１類型に対処できる、主としてＣＰＵ６４（図３）による操作者端末１６の動作を説明する。なお、図１０（および図１１）の動作は、操作者端末１６とロボット１４との接続が完了した後の動作であり、所定周期、たとえばフレーム周期で繰り返し実行されることを予め指摘しておく。

【0116】

図１０の最初のステップＳ１では、ＣＰＵ６４は、撮影行動検知プログラム１１６ｄに従って、先に説明したように、ジェスチャおよび／またはキー操作に基づいて、操作者１００による撮影行動を検知する。

【0117】

続くステップＳ３では、操作者同定プログラム１１６ｅに従って、操作者端末１６の操作者カメラ７７で撮影されてディスプレイ８０に表示されている人物がログインした操作者または操作者としてデータベース１９に登録済みの人物であるかどうか検知する。

【0118】

次のステップＳ５で何者かによる撮影行動が検知されているかを、ステップＳ１の結果に従って、判断する。

【0119】

ステップＳ５で“ＹＥＳ”を判断すると、ＣＰＵ６４は、続くステップＳ７で可視埋込みプログラム１１６ｇに従って、埋込み画像（操作者ＩＤ１００ｂ＋日時データなど）をディスプレイ８０の操作画面に重畳する。このとき、操作者はまだ同定されていないが、先の接続ステップ（図示せず）の際に操作者として既にログインしているので、埋込み画像はそのとき入力した操作者ＩＤに基づいて生成されて、埋込み画像データ記憶領域１１８ｅ（図８）に記憶されている。したがって、ステップＳ７では、その埋込み画像を使用して、可視埋込み（電子透かし表示）を実行する。

【0120】

ステップＳ５で“ＮＯ”を判断したとき、撮影行動を検知していないので、本来であれば、可視埋込みプログラム１１６ｇによる埋込み画像の重畳は行わなくてよいが、撮影行動検知プログラム１１６ｄによるステップＳ１での撮影行動の検知が必ずしも確実ではないことを懸念して、この実施例では、「撮影行動が検知されていない」、「操作者が同定されている」および「操作者の画像／音声が出力されている」という３つの条件が全て揃ったときのみ、操作者に関連する埋込み画像による可視埋込みを解除することにしている。

【0121】

そのため、ステップＳ３の実行の結果として、ステップＳ９での操作者が同定されているか？という判断で“ＮＯ”となったときも、ステップＳ７に進む。このときにも、埋込み画像データ記憶領域１１８ｅ（図８）に記憶されている埋込み画像を使用して、可視埋込み（電子透かし表示）を実行する。

【0122】

さらに、次のステップＳ１１で画像／音声出力検知プログラム１１６ｆによって操作者の画像／音声の出力を検知する。

【0123】

その結果、操作者の画像／音声の出力が検知されなかったとき、つまりステップＳ１３で“ＮＯ”が判断されたときも、ステップＳ５に進む。このときにも、埋込み画像データ記憶領域１１８ｅ（図８）に記憶されている埋込み画像を使用して、可視埋込み（電子透かし表示）を実行する。

【0124】

そして、ステップＳ１３で“ＮＯ”を判断したときには、ステップＳ１５で、埋込み画像による可視埋込みは、解除（オフ）される。

【0125】

このようにして、第１類型に対処することができる。

【0126】

次に、図１１を参照して、図６に示す第２類型および／または図７に示す第３類型に対処できる、主としてＣＰＵ３２（図２）によるロボット１４の動作を説明する。

【0127】

図１１の最初のステップＳ２１では、ＣＰＵ３２は、撮影行動検知プログラム１２４ｄに従って、先に説明したように、ジェスチャおよび／またはキー操作に基づいて、ユーザ１０２または第三者１０６による撮影行動を検知する。

【0128】

続くステップＳ２３では、対話者同定プログラム１２４ｅに従って、ロボット１４の対話者カメラ４２で撮影されてディスプレイ３０に表示されている人物がログインしたユーザまたはユーザとしてデータベース１９に登録済みの人物であるかどうか検知する。

【0129】

そして、ステップＳ２５で何者かによる撮影行動が検知されているかを、ステップＳ１の結果に従って、判断する。

【0130】

ステップＳ２５で“ＹＥＳ”を判断すると、ＣＰＵ３２は、次のステップＳ２５でその撮影行動をしている者がデータベース１９（図１）に登録された者かどうか判断する。ここでは、データベース１９から取得してユーザ管理データ記憶領域１２６ｃに記憶されているユーザ管理データと照合することで、撮影行動をした者が登録した人物かどうか判定できる。

【0131】

ステップＳ２５で“ＹＥＳ”を判断すると、続くステップＳ２７において、撮影行動を検知した者が、データベース１９に登録された人物かどうか判断する。このステップＳ２７を設けているのは、アバタ２８を通しての操作者とユーザの対話（アバタ対話）が行われている場面で、現在の直接の対話者以外にも登録済人物がいる場合に登録画像や登録ＩＤを利用した重畳が可能であると考えられるためである。

【0132】

ステップＳ２７で“ＹＥＳ”を判断したとき、ＣＰＵ３２は、続くステップＳ２９で、可視埋込みプログラム１２４ｇに従って、対話者に関連する埋込み画像（ユーザＩＤ１００ｂ＋日時データなど）をディスプレイ３０に表示されている操作者のアバタ２８に重畳する。

【0133】

ステップＳ２７で“ＮＯ”を判断したとき、つまりディスプレイ３０に対する撮影行動をしている者がデータベースに登録された者ではないとき、ＣＰＵ３２は、ステップＳ３１において、そのときディスプレイ３０に対する撮影行動をしている者、すなわち、第三者の画像１０６ａ（図７）を埋込み画像として可視埋込みを実行する。ただし、この第三者画像はロボット１４に設けた、全方位カメラ４０および／または対話者カメラ４２で撮影したものを画像／音声データ記憶領域１２６ｄ（図９）に記憶しているので、それを使えばよい。

【0134】

ステップＳ２５で“ＮＯ”を判断したとき、撮影行動を検知していないので、本来であれば、可視埋込みプログラム１２４ｇによる埋込み画像の重畳は行わなくてよいが、撮影行動検知プログラム１２４ｄによるステップＳ２１での撮影行動の検知が必ずしも確実ではないことを懸念して、この実施例では、「撮影行動が検知されていない」、「対話者が同定されている」および「対話者の画像／音声が出力されている」という３つの条件が全て揃ったときのみ、対話者に関連する埋込み画像による可視埋込みを解除することにしている。

【0135】

そのため、ステップＳ２３の実行の結果として、ステップＳ３３での対話者が同定されているかという判断で“ＮＯ”となったときも、ステップＳ２９に進む。このときにも、埋込み画像データ記憶領域１２６ｅ（図９）に記憶されている埋込み画像を使用して、可視埋込み（電子透かし表示）を実行する。

【0136】

さらに、ステップＳ３５で画像／音声出力検知プログラム１２６ｆに従って、対話者の画像／音声の出力を検知する。その結果において、ステップＳ３７よって対話者の画像／音声の出力が検知されなかったとき、つまりステップＳ３７で“ＮＯ”が判断されたときも、ステップＳ２９に進む。このときにも、埋込み画像データ記憶領域１２６ｅ（図９）に記憶されている埋込み画像を使用して、可視埋込み（電子透かし表示）を実行する。

【0137】

そして、ステップＳ３７で“ＮＯ”を判断したときには、ステップＳ３９で、埋込み画像による可視埋込みは、解除（オフ）される。

【0138】

このようにして、第２類型および第３類型に対処することができる。

【0139】

なお、図１０の実施例は操作者がディスプレイ８０の操作画面を撮影しようとした第１類型に対処し、図１１の実施例はユーザまたは第三者がディスプレイ３０のアバタ表示画面を撮影しようとした第２類型および第３類型に対処するものであるが、これら３類型が同じ状況の中で生起されることもある。たとえば、図７に示す状況において、操作者がディスプレイ８０の操作画面を撮影し、ユーザまたは第三者がディスプレイ３０のアバタ表示画面を撮影する場合などである。つまり、この発明は、操作画面およびアバタ表示画面の少なくとも一方に対する撮影行動を検知したとき、その撮影行動をした者に関連する埋込み画像を電子透かしの手法で、操作画面およびアバタ表示画面の少なくとも一方に重畳するものである。

【0140】

さらに、上述の実施例では、操作者端末１６が操作者による情報漏洩に対処し、ロボット（アバタ表示装置）１４がユーザまたは第三者の情報漏洩に対処するようにしたが、サーバ１８がそれらに対処するようにしてもよい。この場合には、撮影行動が操作者端末１６またはロボット（アバタ表示装置）１４で検知したとき、そのことをサーバ１８に伝え、サーバ１８が埋込み画像を該当するディスプレイ８０または３０に表示するようにすればよい。

【0141】

さらに、上述の実施例で示したフロー図において、同じ結果が得られるのであれば、各ステップの実行する順番は適宜変更することが可能である。

【符号の説明】

【0142】

１０ …アバタ遠隔対話システム
１２ …ネットワーク
１４ …アバタ用ロボット
１６ …操作者端末
１８ …サーバ
３０、８０ …ディスプレイ
３２、６４、８２ …ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】