特開 2023-145957 情報処理装置、情報処理プログラムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023145957

(43)【公開日】2023-10-12

(54)【発明の名称】情報処理装置、情報処理プログラムおよび情報処理方法

(51)【国際特許分類】

   H04N 7/14 20060101AFI20231004BHJP

   G06Q 50/10 20120101ALI20231004BHJP

   H04N 21/258 20110101ALI20231004BHJP

   G06F 3/01 20060101ALI20231004BHJP

【ＦＩ】

H04N7/14 110

G06Q50/10

H04N21/258

G06F3/01 510

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022052886

(22)【出願日】2022-03-29

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「ＣＡ基盤構築及び階層的ＣＡ連携と操作者割り当ての研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願／令和２年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「利用者モニタリングと経験管理の研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(72)【発明者】

【氏名】内海 章

(72)【発明者】

【氏名】宮下 敬宏

(72)【発明者】

【氏名】西村 祥吾

(72)【発明者】

【氏名】太田 陽

【テーマコード（参考）】

5C164

5E555

5L049

【Ｆターム（参考）】

5C164FA09

5C164SC11P

5C164VA35P

5C164YA07

5E555AA27

5E555AA52

5E555AA71

5E555BA02

5E555BA76

5E555BA87

5E555BB02

5E555BD01

5E555BD07

5E555CA42

5E555CB64

5E555DB32

5E555DB57

5E555EA22

5E555EA23

5E555FA00

5L049CC11

(57)【要約】

【課題】 プライバシに配慮した遠隔対話を実現できる情報処理装置を提供する。
【解決手段】 アバタ遠隔対話システム（10）では、ネットワーク（12）によって、移動するロボット（14）、操作者端末（16）およびサーバ（18）が連係する。ロボットは、ディスプレイ（30）、カメラ（40、42）、マイク（48）およびスピーカ（50）を含み、ディスプレイにアバタ（28）を表示した操作者とロボットに対面するユーザとが対話する。カメラが撮影した映像およびマイクが拾った音声のデータがサーバへ送られる。サーバでは、ユーザのような特定の人物以外の映像および音声を匿名化処理して、操作者端末へ送信する。したがって、操作者端末のディスプレイ（78）およびスピーカ（74）では、特定の人物以外の人物の映像および音声がぼかされたりミュートされたりするので、アバタとの対話への参加を意図しないそのような人たちのプライバシが保護され得る。
【選択図】 図６

【特許請求の範囲】

【請求項1】

操作者端末およびロボットがネットワークを介して連係して、前記操作者端末の操作者が、前記ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置であって、
前記ロボットのカメラからの映像データを受ける受信手段、
前記受信手段で受信した映像データに基づいて、匿名化すべき人物の映像が含まれているかどうか判断する判断手段、
前記判断手段で匿名化すべき人物の映像が含まれていると判断したとき、当該人物の映像データに匿名化処理を適用する匿名化手段、および
前記匿名化手段によって匿名化処理を適用した映像データを含む送信データを前記操作者端末へ送信する送信手段を備える、情報処理装置。

【請求項2】

前記ロボットはさらにマイクを備え、
前記受信手段は前記マイクからの音声データを受信し、前記匿名化手段は前記音声データに基づいて、匿名化すべき人物の音声が含まれているかどうか判断し、前記匿名化手段は、前記判断手段で匿名化すべき人物の音声が含まれていると判断したとき、当該人物の音声データに匿名化処理を適用し、前記送信手段は、前記匿名化手段によって匿名化処理を適用した音声データを含む送信データを前記操作者端末へ送信する、請求項１記載の情報処理装置。

【請求項3】

前記判断手段は、匿名化を解除してよい人物を特定する人物特定手段を含み、前記人物特定手段で特定された人物以外の人物を前記匿名化すべき人物とする、請求項１または２記載の情報処理装置。

【請求項4】

操作者端末およびロボットがネットワークを介して連係して、前記操作者端末の操作者が、前記ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置の情報処理プログラムであって、前記情報処理装置のＣＰＵを、
前記ロボットのカメラからの映像データを受ける受信手段、
前記受信手段で受信した映像データに基づいて、匿名化すべき人物の映像が含まれているかどうか判断する判断手段、
前記判断手段で匿名化すべき人物の映像が含まれていると判断したとき、当該人物の映像データに匿名化処理を適用する匿名化手段、および
前記匿名化手段によって匿名化処理を適用した映像データを含む送信データを前記操作者端末へ送信する送信手段として機能させる、情報処理プログラム。

【請求項5】

操作者端末およびロボットがネットワークを介して連係して、前記操作者端末の操作者が、前記ロボットを通してユーザと対話する遠隔対話システムにおける情報処理方法であって、
前記ロボットのカメラからの映像データを受ける受信ステップ、
前記受信ステップで受信した映像データに基づいて、匿名化すべき人物の映像が含まれているかどうか判断する判断ステップ、
前記判断ステップで匿名化すべき人物の映像が含まれていると判断したとき、当該人物の映像データに匿名化処理を適用する匿名化ステップ、および
前記匿名化ステップで匿名化処理を適用した映像データを含む送信データを前記操作者端末へ送信する送信ステップを含む、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は情報処理装置、情報処理プログラムおよび情報処理方法に関し、特にたとえば、アバタによってユーザにサービスを提供したり、サービスの提供を受けたりする、情報処理装置、情報処理プログラムおよび情報処理方法に関する。

【背景技術】

【0002】

特許文献１には、ディスプレイに操作者の顔画像を表示して移動するロボットが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－００４１８２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術では、移動ロボットのカメラに写り込んだ人が望まないのに第三者に見られてしまうことがあるので、プライバシへの配慮が望まれるところである。

【0005】

それゆえに、この発明の主たる目的は、新規な、情報処理装置、情報処理プログラムおよび情報処理方法を提供することである。

【0006】

この発明の他の目的は、プライバシに配慮したアバタとの対話を実現できる、情報処理装置、情報処理プログラムおよび情報処理方法を提供することである。

【課題を解決するための手段】

【0007】

この発明は、上記の目的のために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

【0008】

第１の実施例は、操作者端末およびロボットがネットワークを介して連係して、操作者端末の操作者が、ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置であって、ロボットのカメラからの映像データを受ける受信手段、受信手段で受信した映像データに基づいて、匿名化すべき人物の映像が含まれているかどうか判断する判断手段、判断手段で匿名化すべき人物の映像が含まれていると判断したとき、当該人物の映像データに匿名化処理を適用する匿名化手段、および匿名化手段によって匿名化処理を適用した映像データを含む送信データを操作者端末へ送信する送信手段を備える、情報処理装置である。

【0009】

第１の実施例では、情報処理装置（１８：実施例において対応する部分を例示する参照符号。ただし、限定を意味しない。以下同じ。）は、たとえばネットワーク（１２）を介して、ロボット（１４）および操作者端末（１６）と連係し、操作者端末（１６）の操作者が、ロボット（１４）を通して、ユーザと遠隔対話を実行する遠隔対話システムを構成する。一例として、ロボット（１４）に設けたディスプレイ（３０）に自身のアバタ（２８）を表示して、ディスプレイ（３０）に対面するユーザと対話する遠隔対話システムを構成する。情報処理装置（１８）は、ロボット（１４）のカメラ（４０、４２）からの映像データを受ける受信手段（８２、１０４ａ、Ｓ３）を備える。判断手段（８２、１０４ｂ、１０４ｃ、Ｓ１１）は、受信手段で受信した映像データに基づいて、匿名化すべき人物の映像が含まれているかどうか判断する。判断手段で匿名化すべき人物の映像が含まれていると判断したとき、匿名化手段（８２、１０４ｄ、Ｓ１３）が、当該人物の映像データに匿名化処理を適用する。送信手段（８２、１０４ｅ、Ｓ１７）匿名は、匿名化手段によって匿名化処理を適用した映像データを含む送信データを操作者端末へ送信する。

【0010】

第１の実施例によれば、匿名化すべき人物の映像を匿名化するので、操作者のアバタとユーザの対話に参加する意図のない人物のプライバシを保護することができる。

【0011】

第２の実施例は、第１の実施例に従属する情報処理装置であって、ロボットはさらにマイクを備え、受信手段はマイクからの音声データを受信し、判断手段は音声データに基づいて、匿名化すべき人物の音声が含まれているかどうか判断し、匿名化手段は、判断手段で匿名化すべき人物の音声が含まれていると判断したとき、当該人物の音声データに匿名化処理を適用し、送信手段は、匿名化手段によって匿名化処理を適用した音声データを含む送信データを操作者端末へ送信する。

【0012】

第２の実施例では、匿名化すべき人物の音声データも匿名化処理されるので、匿名化すべき人物のプライバシの保護が一層強化される。

【0013】

第３の実施例は、第１または第２の実施例に従属する情報処理装置であって、判断手段は、匿名化を解除してよい人物を特定する人物特定手段を含み、人物特定手段で特定された人物以外の人物を匿名化すべき人物とする。

【0014】

第３の実施例では、匿名化しなくてよい人物以外の人物の映像および／または音声が確実に匿名化される。

【0015】

第４の実施例は、操作者端末およびロボットがネットワークを介して連係して、操作者端末の操作者が、ロボットを通してユーザと対話する遠隔対話システムにおける情報処理装置の情報処理プログラムであって、情報処理装置のＣＰＵを、ロボットのカメラからの映像データを受ける受信手段、受信手段で受信した映像データに基づいて、匿名化すべき人物の映像が含まれているかどうか判断する判断手段、判断手段で匿名化すべき人物の映像が含まれていると判断したとき、当該人物の映像データに匿名化処理を適用する匿名化手段、および匿名化手段によって匿名化処理を適用した映像データを含む送信データを操作者端末へ送信する送信手段として機能させる、情報処理プログラムである。

【0016】

第５の実施例は、操作者端末およびロボットがネットワークを介して連係して、操作者端末の操作者が、ロボットを通してユーザと対話する遠隔対話システムにおける情報処理方法であって、ロボットのカメラからの映像データを受ける受信ステップ、受信ステップで受信した映像データに基づいて、匿名化すべき人物の映像が含まれているかどうか判断する判断ステップ、判断ステップで匿名化すべき人物の映像が含まれていると判断したとき、当該人物の映像データに匿名化処理を適用する匿名化ステップ、および匿名化ステップで匿名化処理を適用した映像データを含む送信データを操作者端末へ送信する送信ステップを含む、情報処理プログラムである。

【0017】

第４および第５の実施例によっても、第１の実施例と同様の効果がきたいできる。

【発明の効果】

【0018】

この発明によれば、アバタとの対話への参加を意図しない人物の映像および／または音声を匿名化するので、当該人物のプライバシを保護できる。

【0019】

この発明の上述の目的、その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0020】

【図1】図１はこの発明の一実施例を示すアバタ遠隔対話システムの概要を示す図解図である。

【図2】図２は図１に示すロボットの電気的な構成を示すブロック図である。である。

【図3】図３は図１に示す操作者端末の電気的な構成を示すブロック図である。

【図4】図４は図１に示すサーバの電気的な構成を示すブロック図である。

【図5】図５は図４に示すサーバのメモリのメモリマップの一例を示す図解図である。

【図6】図６は図４に示すサーバの情報処理動作の一例を示すフロー図である。

【発明を実施するための形態】

【0021】

図１を参照して、この実施例のアバタ遠隔対話システム１０は、遠隔操作者がアバタ（遠隔操作型ＣＧエージェント）を利用してサービスを提供するための基盤システム（プラットフォーム）である、アバタ遠隔操作基盤システム（ＣＡ：Cybernetic Avatar）を利用する。

【0022】

しかしながら、この発明は、必ずしもそのアバタ遠隔操作基盤システム上のものである必要はなく、一般的には、ネットワーク１２を介してロボット１４に操作者端末１６の操作者のアバタを表示し、あるいはロボット１４自体を操作者のアバタとして、サーバ１８の関与を得て、そのアバタとユーザとが遠隔対話を実現することができる、システムである。図１の実施例では、サーバ１８が上述の基盤システムの機能を果たすように設定されている。

【0023】

この実施例に用いられるロボット１４は、たとえばDouble Robotics, Inc.（ダブルロボティクス社）製の商品名「Double 3」のような、自律移動可能な、いわゆるテレプレゼンス（または、テレイグジステンス）ロボットである。ただし、ロボット１４はこのような特定のロボットに限られることなく、特許文献１で開示しているようなロボットも利用可能であることを予め指摘しておく。

【0024】

実施例においては、このロボット１４は、ネットワーク１２に接続（無線または有線）された操作者端末１６と通信可能である。操作者端末１６は、ロボット１４を遠隔操作する操作者が使用する汎用のコンピュータである。操作者は、操作者端末１６を用いてロボット１４にタスクを実行させるためのコマンドを送信する。また、操作者は、操作者端末１６を用いて音声をロボット１４に送信し、ロボット１４から音声を出力することにより、ロボット１４の近傍に存在する人または人物と対話することができる。

【0025】

このロボット１４は、ベース２０を含み、このベース２０の正面には移動用センサの１つである超音波センサ２２が設けられる。また、このベース２０の両端には左右の移動用車輪２４Ｌおよび２４Ｒが回転自在に設けられる。

【0026】

ベース２０の上面には、上方に延びるポール２６が設けられ、そのポール２６の上端には、操作者のアバタ２８を表示することができる、タッチディスプレイ３０が設けられる。なお、このタッチディスプレイ（以下、単に「ディスプレイ」という。）３０には、カメラやマイク、スピーカ等が設けられるが、詳細は図２に示すブロック図を参照して説明する。また、このロボット１４は、バッテリ駆動型のロボットであり、バッテリはたとえばポール２６の中に収容されている。

【0027】

この実施例では、ロボット１４は、ネットワーク１２に接続された操作者端末１６と通信可能である。操作者端末１６は、ロボット１４を遠隔操作する操作者が使用する汎用のコンピュータである。操作者は、操作者端末１６を用いて映像および音声をロボット１４に送信し、ロボット１４のディスプレイ３０に自分アバタ２８（図１）を表示し、ユーザと対話して、サービスを提供する。

【0028】

ここで、「サービス」とは、この実施例のアバタ遠隔対話システム１０を利用して提供可能な、たとえば家庭教師、物品販売、観光案内などを含むものであって、後述のサービス管理データベース１０６ａ（図５）に事前に登録されている。「操作者」とはこのアバタ遠隔対話システム１０で、ディスプレイ３０にアバタを表示して、そのアバタを通して販売等のサービスを提供する者であって、後述する操作者管理データベース１０６ｂ（図５）に事前登録されている者である。また、「ユーザ」とは、実施例のアバタ遠隔対話システム１０において、ディスプレイ３０に対面して操作者のアバタ２８と対話しながらアバタによるサービスの提供を受ける者であって、後述するユーザ管理データベース１０６ｃ（図５）に事前登録されている人または人物のことである。

【0029】

また、ロボット１４から送信される映像データ（動画像または静止画像）および音声データを操作者端末１６で受信し、操作者端末１６で映像および音声を出力することにより、操作者は、ロボット１４の周囲を見たり、ロボット１４の周囲の状況を把握したり、ロボット１４のディスプレイ３０に対面しているユーザと対話することができる。

【0030】

なお、操作者端末１６でロボット１４の移動等を操作することは既に周知であり、また、この発明にとって本質的な事項ではないため、ここではその遠隔操作についての詳細な説明は省略する。

【0031】

ディスプレイ３０には、よく知られているように、映像を表示するディスプレイの表面に（または内蔵されて）タッチパネルが設けられており、タッチすることによって、ディスプレイ３０上の位置をポイントすることができる。

【0032】

サーバ１８は、コンピュータのような情報処理装置であり、この実施例では、ロボット１４のカメラ４０および／または４２（図２）による映像において、操作者端末１６の操作者すなわちディスプレイ３０に表示されたアバタ２８との対話への参加を意図しない人に由来する情報（映像および／または音声）を匿名化する。

【0033】

図２はロボット１４のブロック図である。ここでは、実施例の説明に必要な範囲で、図２を参照して、ロボット１４を説明する。

【0034】

ロボット１４はさらに、ＣＰＵ３２およびメモリ３４を含む。メモリ３４は、詳細は図示しないが、ＲＡＭ、ＲＯＭ、ＨＤＤ（ハードデイスクドラブ）等を含む。ＣＰＵ３２には、バス３６が接続されており、このバス３６には、メモリ３４のＲＡＭ、ＲＯＭ、ＨＤＤ等が電気的に接続される。ＣＰＵ３２は、コンピュータプログラムを実行することによって、後述の匿名化処理や自律移動等の動作を実行する。

【0035】

通信部３８は、ネットワーク１２を介して、操作者端末１６およびサーバ１８と通信して、映像データおよび音声データを授受する。

【0036】

ロボット１４には全方位カメラ４０およびユーザカメラ４２が設けられ、それらはカメラインタフェース（Ｉ／Ｆ）を通してバス３６に接続される。全方位カメラ４０は、図１では図示を省略したがたとえばディスプレイ３０の上方に設けられて、ディスプレイ３０のアバタ２８（図１）と対話するユーザの背景を撮影する。ただし、この全方位カメラ４０は必須のものではない。

【0037】

ユーザカメラ４２は、たとえば横方向に間隔を隔てた２つのカメラ（ステレオカメラ）であって、ディスプレイ３０に対面して操作者のアバタ２８と対話するユーザを撮影する。必要に応じて、パン、チルトおよびズームすることができる。カメラＩ／Ｆ４４には、全方位カメラ４０やユーザカメラ４２において、パン、チルトおよびズームの機能や、ホワイトバランスや露出制御を自動的に実行するプロセサが設けられてもよい。

【0038】

レーザ距離計４６は、特定の人を追跡するためなどの目的で設けられるものであり、後述のレーザ距離計５６はこのロボット１４の自律移動のためのものである。

【0039】

ロボット１４はさらに、たとえば６個のマイクを配列して広い範囲の音声を集音できるマイク４８を備える。このマイク４８は、スピーカ５０と同様に、たとえばディスプレイ３０に内蔵して設けられる。スピーカ５０は、ロボット１４の前のユーザと対話する操作者の音声を出力する。マイク４８およびスピーカ５０は、音声Ｉ／Ｆ５２を介してバス３６に接続される。

【0040】

図１に示す超音波センサ２２は、移動用センサＩ／Ｆ５４を介してバス３６に接続される。この移動用センサＩ／Ｆ５４にはさらに、レーザ距離計５６が接続される。レーザ距離計５６は先のレーザ距離計４６と兼用されてもよい。つまり、ロボット１４の移動中と、ロボット１４の移動を停止してアバタ２８による対話中とで、１つのレーザ距離計を使い分けるようにしてもよい。

【0041】

慣性計測ユニット５８もまた移動用センサＩ／Ｆ５４に接続されるが、この慣性計測ユニット５８は３次元の慣性運動（直交３軸方向の並進運動および回転運動）を検出する装置であって、加速度センサによって並進運動を検出し、角速度(ジャイロ)センサによって回転運動を検出する。

【0042】

バス３６にはさらに、モータドライバ６０が接続される。このモータドライバ６０は、ＣＰＵ３２の命令に従って、右車輪モータ６２Ｒおよび左車輪モータ６２Ｌを制御する。つまり、ＣＰＵ３４は、移動用センサＩ／Ｆ５４およびモータドライバ６０から得られる状況を示すデータに基づいて、モータドライバ６０によって、右車輪モータ６２Ｒおよび左車輪モータ６２Ｌを制御するのであるが、この発明はロボット１４の移動自体には直接関係しないので、ここでは、これ以上の説明は省略する。

【0043】

図３は操作者の操作者端末１６のブロック図である。操作者端末１６は汎用のコンピュータであるが、ここでは、実施例の説明に必要な範囲で、図３を参照して、操作者端末１６の構成を説明する。

【0044】

操作者端末１６は、ＣＰＵ６４およびメモリ６６を含む。メモリ６８は、詳細は図示しないが、ＲＡＭ、ＲＯＭ、ＨＤＤ等を含む。ＣＰＵ６４には、バス６８が接続されており、このバス６８には、メモリ６８のＲＡＭ、ＲＯＭ、ＨＤＤ等が電気的に接続される。ＣＰＵ６４は、コンピュータプログラムを実行することによって、必要な動作を実行する。

【0045】

操作者端末１６は、音声Ｉ／Ｆ７０を介してバス６８に接続される、マイク７２およびスピーカ７４を備える。操作部７６は、図示しないが、タッチディスプレイやキーボードを含む。これらのマイク７２、スピーカ７４および操作部７６を用いて、操作者はロボット１４のディスプレイ３０に自身のアバタ２８（図１）を表示させて、ディスプレイ３０に対面するユーザとの遠隔対話を実行する。

【0046】

通信部８０は、ネットワーク１２を介して、ロボット１４およびサーバ１８と通信して、映像データおよび音声データを授受する。

【0047】

ディスプレイ７８には、後述するようにしてサーバ１８が匿名化処理した後の、ロボット１４の全方位カメラ４０やユーザカメラ４２が撮影したユーザ等の映像を表示する。

【0048】

図４はサーバ１８のブロック図である。サーバ１８は汎用のコンピュータであるが、ここでは、実施例の説明に必要な範囲で、図４を参照して、サーバ１８の構成を説明する。

【0049】

サーバ１８は、ＣＰＵ８２およびメモリ８４を含む。メモリ８４は、詳細は図示しないが、ＲＡＭ、ＲＯＭ、ＨＤＤ等を含む。ＣＰＵ８２には、バス８６が接続されており、このバス８６には、メモリ８４のＲＡＭ、ＲＯＭ、ＨＤＤ等が電気的に接続される。ＣＰＵ８２は、コンピュータプログラムを実行することによって、匿名化処理等の必要な動作を実行する。

【0050】

サーバ１８は、音声Ｉ／Ｆ８８を介してバス８６に接続される、マイク９０およびスピーカ９２を備える。操作部９４は、図示しないが、タッチディスプレイやキーボードを含む。

【0051】

通信部９６は、ネットワーク１２を介して、ロボット１４および操作者端末１６と通信して、映像データおよび音声データを授受する。特に、ロボット１４から映像データおよび音声データを受信し、必要に応じて匿名化処理を施した映像データおよび音声データを操作者端末１６へ送信する。

【0052】

ディスプレイ９８には、ロボット１４の全方位カメラ４０やユーザカメラ４２が撮影したユーザ等の映像を表示する。

【0053】

図５は図４に示したサーバ１８のメモリ８４（ＲＡＭ）のメモリマップの一例を示す図解図である。図５に示すように、メモリ８４は、プログラム記憶領域１００およびデータ記憶領域１０２を含む。プログラム記憶領域１００は、サーバとして必要なプログラムの他、この発明の匿名化処理に必要なプログラムを記憶する。

【0054】

すなわち、プログラム記憶領域１００は、受信プログラム１０４ａ、人物特定プログラム１０４ｂ、人物検出プログラム１０４ｃ、匿名化プログラム１０４ｄおよび送信プログラム１０４ｅ等を含む。

【0055】

受信プログラム１０４ａは、通信部９６を制御して、ネットワーク１２を介してロボット１４から映像データおよび音声データを受信するプログラムである。

【0056】

人物特定プログラム１０４ｂは、データ記憶領域１０２のユーザ管理データベース１０６ｂに事前に登録されているユーザデータに基づいて、匿名化を解除してよい人物を特定するためのプログラムである。具体的には、たとえばサーバ１８のユーザ管理データベース１０６ｃへのユーザの顔画像の登録、ユーザ本人による操作（たとえばスマホなどによる登録、ロボット１４（に設けられた操作部（図示せず）を操作することによる登録）、ユーザＩＤを表すＩＤタグの着用などが考えられる。

【0057】

さらに、ロボット１４すなわちユーザが存在する場所による特定方法もある。たとえば、その場所が特定の匿名化が必要な場所かどうか、あるいは匿名化除外区域（たとえば要監視区域）かどうか判断することができる。ただし、ロボット１４すなわちユーザが存在する場所は、ロボット１４に設けられたＧＰＳのような位置検出手段、あるいはロボット１４の移動経路に設けられた床センサなどの情報に基づいて、検出することができる。

【0058】

人物検出ログラム１０４ｃは、人物特定プログラム１０４ｂによって特定された人物に関する、ロボット１４からの映像データおよび音声データに含まれる情報、たとえば当該人物本人の顔画像や発話音声等を検出したり追跡したりするためのプログラムである。具体的には、たとえばロボット１４に設けた全方位カメラ４０やユーザカメラ４２の映像データを画像認識処理することによって、人物を追跡することが考えられる。あるいは、ロボット１４に設けたレーザ距離計４６（および／または５６）（図２）によって、その人物の位置を追跡することができる。そして、人物特定プログラム１０４ｂによって特定された匿名化しなくてもよい人物およびそれ以外の匿名化すべき人物の顔の位置座標を匿名化プログラム１０４ｄに渡す
匿名化プログラム１０４ｄは、ロボット１４からの映像データおよび音声データに含まれる、匿名化しなくてもよい人物およびそれ以外の匿名化すべき人物のそれぞれの顔の位置座標に基づいて、その特定された人物以外の人物の映像および／音声に対して匿名化処理を適用するためのプログラムである。

【0059】

送信プログラム１０４ｅは、匿名化プログラム１０４ｄによって匿名化処理した映像および／音声をユーザの対話相手である操作者の操作者端末１６に送信するためのプログラムである。

【0060】

また、データ記憶領域１０２には、サービス管理データベース１０６ａ、操作者管理データベース１０６ｂ、ユーザ管理データベース１０６ｃ、ロボット１４から受信した映像および音声の受信データを一時的に記憶する受信データ領域１０６ｄおよび操作者端末１６へ送信する送信データを一時的に記憶する送信データ領域１０６ｅを含む。

【0061】

サービス管理データベース１０６ａは、前述したように、実施例のアバタ遠隔対話システム１０で提供可能な種々のサービスを、サービス提供者である操作者によって事前に登録したデータベースである。

【0062】

操作者管理データベース１０６ｂは、前述したように、実施例のアバタ遠隔対話システム１０によってユーザにサービスを提供する操作者の各種情報を事前に登録したデータベースである。ただし、操作者の各種情報は、操作者の氏名または名称、住所または居所や操作者ＩＤなどの基本データ、操作者の顔画像等の映像、提供できるサービスなどを含む。また、操作者としては、たとえばサービスが家庭教師であるとすると、各家庭教師だけでなく、家庭教師の運営会社も含む。つまり、操作者管理データベース１０６ｂに登録できるのは、個人だけでなく、会社等の団体である。

【0063】

ユーザ管理データベース１０６ｃは、前述したように、実施例のアバタ遠隔対話システム１０によってアバタを通して提供されるサービスを受ける人の各種情報を事前に登録したデータベースである。ただし、ユーザの各種情報は、ユーザの氏名または名称、住所または居所やユーザＩＤなどの基本データ、ユーザの顔画像等の映像、提供を受けるサービスなどを含む。また、ユーザとしては、たとえばサービスが物品販売であるとすると、個人だけでなく販売される物品を仕入れる業者等も含む。つまり、ユーザ管理データベース１０６ｃに登録できるのは、個人だけでなく、会社等の団体である。

【0064】

ただし、以下に図６のフローチャートを参照して説明する実施例では、個人のユーザを前提としている。

【0065】

実施例のアバタ遠隔対話システム１０において、操作者が操作者端末１６を通してサーバ１８へログイン操作すると、サーバ１８がそのログイン情報に対して操作者管理データベース１０６ｂを参照して認証処理を実行し、認証に成功すると操作者端末１６がサーバ１８にログインできる。一方、ユーザは、たとえばロボット１４のディスプレイ３０に近づくと、ロボット１４のユーザカメラ４２がそのユーザの顔を撮影する。その顔画像がサーバ１８に送信される。サーバ１８ではユーザ管理データベース１０６ｃを参照してユーザに対して認証処理を実行し、認証に成功するとユーザがサーバ１８にログインできる。そのうえで、操作者が提供しユーザが受けるサービスが確定される。

【0066】

このようにして図６の最初のステップＳ１では、サーバ１８において、操作者、ユーザおよびサービスの組み合わせが確定される。

【0067】

そして、ステップＳ３で、サーバ１８は、ロボット１４の２つのカメラ４０および４２による映像データおよびマイク４８による音声データの取得を開始する。つまり、ロボット１４の通信部３８から映像データおよび音声データがネットワーク１２を介して、サーバ１８の通信部９６へ送信される。サーバ１８は、それらのデータを受信し、受信データとして、受信データ領域１０６ｄに一時的に保存する。

【0068】

続くステップＳ５でサーバ１８（のＣＰＵ８２）は、人物特定プログラム１０４ｂ（図５）に従って、受信データの中の映像データおよび音声データに含まれている人物のうち、匿名化する必要のない人物を特定する。たとえば、サーバ１８に操作者やユーザとして登録している人、ロボット１４のカメラ４２に対面している人などは、ここでいう「匿名化する必要のない人物」ということができる。

【0069】

次のステップＳ７で、サーバ１８は、取得（受信）した映像データおよび音声データに基づいて、それらのデータが示す個別の人物に由来する情報、すなわち、顔画像などの映像およびマイク４８で拾った音声を検出する。つまり、ロボット１４のカメラ４０および４２に写り込んでいる各個人と、その個人の映像データおよび音声データを紐付けて、個人毎に受信データ領域１０６ｄに保存する。

【0070】

その後、ステップＳ９－Ｓ１５を繰り返し実行して必要な匿名化処理を実行する。

【0071】

すなわち、まず、ステップＳ９で、個別の人物に由来する情報（映像データおよび音声データ）を順次選択し、ステップＳ１１で、その選択した情報が匿名化が必要な人物の情報かどうか判断する。この判断は、たとえば人物特定プログラム１０４ｂおよび人物検出プログラム１０４ｃに従って実行される。つまり、人物特定プログラム１０４ｂによって匿名化しなくてもよい人物を特定し、その特定の人物の情報を、人物検出プログラム１０４ｃによって検出することによって、ステップＳ９で選択した情報がその特定の人物の情報かどうか判断することができる。

【0072】

そして、次のステップＳ１３では、サーバ当該人物に由来する情報、映像および音声に匿名化処理を適用する。なお、ここでいう「匿名化」とは、映像および／または音声によってその人物を認識できなくする（認識できにくくする）処理ということができ。

【0073】

映像を匿名化する具体的な方法としては、ロボット１４からの映像データにおいて、その人物の顔画像（または上半身など）に対して、モザイク処理を施したり、ぼかし処理を施したりする方法が考えられる。

【0074】

あるいは、その人物の映像に、予め準備しておいたキャラクタ画像あるいはＣＧ画像を重畳したり、その人物の映像をキャラクタ画像あるいはＣＧ画像と置換したりする方法がある。

【0075】

音声を匿名化する具体的な方法としては、音声データのボリューム（音量）の低減、変声データへの置換、あるいは発話内容に応じたミュート処理などが考えられる。

【0076】

なお、いずれの場合にも、匿名化処理を施す、特定の人物以外の性別、年代などの情報を収集データとしてサーバ１８内に残すようにしてもよい。

【0077】

その後、ステップＳ１５で、サーバ１８は、ステップＳ７で保存した個別の人物のすべてについてステップＳ１１およびＳ１３の処理が実行したかどうか、すなわち、すべての情報を検査したかどうか判断する。たとえば、ステップＳ７で検出した個別の人物の数をカウンタ（図示せず）でカウントすることによって、全情報を検査したかどうか判断することができる。

【0078】

ステップＳ１７で、サーバ１８は、匿名化処理済みの映像データおよび／または音声データを含む送信データを送信データ領域１０６ｅ（図５）に一時的に保存して、その送信データを操作者端末１６へ送信する。

【0079】

操作者端末１６では、この送信データを通信部７８を通して受信し、受信したデータに含まれる音声データに基づく音声をスピーカ７４から出力し、受信したデータに含まれる映像データに基づく映像をディスプレイ７８で表示する。したがって、操作者端末１６のディスプレイ８０で表示される映像および／またはスピーカ７４から出力される音声は必要な匿名化が施されたものとなり、操作者端末１６による操作者とユーザの対話への参加を意図しない人物のプライバシに配慮した遠隔対話が実現できる。

【0080】

なお、上述の実施例のステップＳ１３では、映像および音声に匿名化処理を実行するようにしたが、どちらか一方だけに匿名化処理を施すようにしてもよいし、少なくとも映像だけを匿名化するようにしてもよい。

【0081】

さらに、上述の実施例は、ロボット１４に設けたディスプレイ３０にアバタ２８の画像を表示し、そのアバタ２８とユーザとが遠隔対話するシステムとして説明した。

【0082】

しかしながら、この発明は、ロボット１４自体を操作者のアバタとして機能させるような遠隔対話システムにも適用できる。たとえばＳＯＴＡ(https://www.vstone.co.jp/products/sota/)やエリカ(https://www.irl.sys.es.osaka-u.ac.jp/projects/erica)（いずれも商品名）のように、ディスプレイのないロボットを遠隔操作しながらロボットを通して人（ユーザ）と対話することもできる。

【0083】

さらに、この発明は、操作者が遠隔操作するＣＧキャラクタを画面に表示してその前にいる人（ユーザ）と対話する（ＣＧキャラクタが操作者のアバタの役割）遠隔対話システムにも適用できる。

【符号の説明】

【0084】

１０ …アバタ遠隔対話システム
１２ …ネットワーク
１４ …ロボット
１６ …操作者端末
１８ …サーバ
３０ …ディスプレイ
３２、６４、８２ …ＣＰＵ
４０ …全方位カメラ
４２ …ユーザカメラ
４６ …レーザ距離計
４８、７２、９０ …マイク
５０、７４、９２ …スピーカ
１０４ｄ …匿名化プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】