特許 7588243 オンライン対話支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-13

(45)【発行日】2024-11-21

(54)【発明の名称】オンライン対話支援システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241114BHJP

   H04N 7/14 20060101ALI20241114BHJP

   H04N 21/431 20110101ALI20241114BHJP

   G06T 7/00 20170101ALI20241114BHJP

   G06V 40/16 20220101ALI20241114BHJP

   G06T 1/00 20060101ALI20241114BHJP

   G06T 5/50 20060101ALI20241114BHJP

   G06T 11/80 20060101ALI20241114BHJP

【ＦＩ】

H04N7/18 U

H04N7/18 K

H04N7/14 110

H04N21/431

G06T7/00 510F

G06V40/16 A

G06T1/00 340A

G06T5/50

G06T11/80 A

【請求項の数】 5

(21)【出願番号】P 2023546844

(86)(22)【出願日】2022-08-08

(86)【国際出願番号】 JP2022030319

(87)【国際公開番号】W WO2023037812

(87)【国際公開日】2023-03-16

【審査請求日】2024-01-09

(31)【優先権主張番号】P 2021147550

(32)【優先日】2021-09-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】阿部 桃子

(72)【発明者】

【氏名】岩村 幹生

(72)【発明者】

【氏名】藤本 洋平

(72)【発明者】

【氏名】加藤 禎篤

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１５－１４２１９３（ＪＰ，Ａ）

【文献】特開２００７－１４８８７２（ＪＰ，Ａ）

【文献】特表２０２０－５０７２２１（ＪＰ，Ａ）

【文献】特開２００９－１３５７０５（ＪＰ，Ａ）

【文献】特開平１１－０９６３６６（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２５９７８６７（ＣＮ，Ａ）

【文献】特開２０２１－１１４３２４（ＪＰ，Ａ）

【文献】特開２０００－００４３９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １１／８０

Ｈ０４Ｎ ７／１４－７／１５

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｖ ４０／１６

(57)【特許請求の範囲】

【請求項1】

送信側ユーザの端末と受信側ユーザの端末との間のオンライン対話を支援するオンライン対話支援システムであって、
前記送信側ユーザの顔を示す基準顔画像を記憶する記憶部と、
前記送信側ユーザの顔の一部の領域が隠された状態の前記送信側ユーザの顔を示す隠れ顔画像を取得する取得部と、
前記隠れ顔画像の前記一部の領域を補完し、補完顔画像を生成する生成部と、
前記基準顔画像及び前記補完顔画像に基づく認証を実行する認証部と、
前記認証が成功した場合に、前記受信側ユーザの端末に前記補完顔画像を表示させ、前記認証が失敗した場合に、前記受信側ユーザの端末に前記隠れ顔画像を表示させる表示制御部と、
を備えるオンライン対話支援システム。

【請求項2】

前記一部の領域は、前記送信側ユーザが装着しているヘッドマウントディスプレイによって隠されており、
前記生成部は、前記隠れ顔画像のうち前記ヘッドマウントディスプレイに対応する部分を他の画像に置換することによって、前記一部の領域を補完する、
請求項１に記載のオンライン対話支援システム。

【請求項3】

前記生成部は、予め記憶された前記ヘッドマウントディスプレイの形状に基づいて、前記隠れ顔画像のうち前記ヘッドマウントディスプレイに対応する領域を特定することにより、前記一部の領域を特定する、
請求項２に記載のオンライン対話支援システム。

【請求項4】

前記生成部は、複数の前記送信側ユーザの顔画像と共に前記送信側ユーザとは異なる複数のユーザの顔画像を教師データとして用いた機械学習によって、前記送信側ユーザの顔の一部を示す画像を入力して前記送信側ユーザの顔の他の部分の推定結果を出力するように構成されたモデルを予め用意しておき、前記隠れ顔画像のうち前記一部の領域を除いた領域を前記モデルに入力し、前記モデルからの出力結果に基づいて前記一部の領域を補完する、
請求項１に記載のオンライン対話支援システム。

【請求項5】

前記生成部は、複数の前記送信側ユーザの顔画像と共に前記送信側ユーザとは異なる複数のユーザの顔画像を教師データとして用いた機械学習によって、前記一部の領域のうち一部を示す第一範囲の画像を入力して、前記一部の領域のうち前記第一範囲とは異なる部分を示す第二範囲の推定結果を出力するように構成されたモデルを予め用意しておき、前記一部の領域のうち前記送信側ユーザの顔の一部を示す画像を前記モデルに入力し、前記入力した画像及び前記モデルからの出力結果に基づいて前記一部の領域を補完する、
請求項１に記載のオンライン対話支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一側面は、オンライン対話支援システムに関する。

【背景技術】

【0002】

特許文献１には、ヘッドマウントディスプレイ（ＨＭＤ）付顔動画像から置換対象であるＨＭＤ領域のマスクパターンを作成しておき、ＨＭＤなし顔静止画像におけるマスクパターンに対応する領域を用いて置換し、ＨＭＤなしの顔動画像を合成する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－０９６３６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、複数のユーザ間でオンライン対話を行うシステムにおいて、上記特許文献１に記載された仕組みを適用した場合、ある第１ユーザのＨＭＤなしの顔画像を他のユーザの端末上に表示させることができるため、ユーザ間のコミュニケーションを促進する効果が期待される。しかし、ＨＭＤを装着したユーザが実際には第１ユーザではない場合（例えば、第１ユーザ以外のユーザが第１ユーザになりすましてオンライン対話に参加しようとしている場合）には、他のユーザの端末上に第１ユーザの顔画像が表示されてしまうことにより、なりすましが助長されることになる。

【0005】

そこで、本発明の一側面は、オンライン対話において、顔の一部の領域が隠されたユーザのなりすましを防止可能なオンライン対話支援システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面に係るオンライン対話支援システムは、送信側ユーザの端末と受信側ユーザの端末との間のオンライン対話を支援するオンライン対話支援システムであって、送信側ユーザの顔を示す基準顔画像を記憶する記憶部と、送信側ユーザの顔の一部の領域が隠された状態の送信側ユーザの顔を示す隠れ顔画像を取得する取得部と、隠れ顔画像の一部の領域を補完し、補完顔画像を生成する生成部と、基準顔画像及び補完顔画像に基づく認証を実行する認証部と、認証が成功した場合に、受信側ユーザの端末に補完顔画像を表示させる表示制御部と、を備える。

【0007】

本発明の一側面に係るオンライン対話支援システムにおいては、送信側ユーザの顔の一部の領域が隠された隠れ顔画像から、該一部の領域を補完した補完顔画像が生成される。そして、送信側ユーザの本来の（完全な）顔画像である基準顔画像、及び補完顔画像に基づく認証が実行される。認証が成功した場合に、受信側ユーザの端末に補完顔画像が表示される。上記オンライン対話支援システムによれば、受信側ユーザは、補完顔画像が受信側ユーザの端末に表示されていることを確認することによって、送信側ユーザが本人であることを確認することが可能となる。よって、送信側ユーザのなりすましを防止することができる。

【発明の効果】

【0008】

本発明の一側面によれば、オンライン対話において、顔の一部の領域が隠されたユーザのなりすましを防止可能なオンライン対話支援システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係るオンライン対話支援システムの概要を示す図である。

【図2】オンライン対話支援システムの機能構成の一例を示すブロック図である。

【図3】顔画像の補完処理を模式的に示す図である。

【図4】第１実施形態に係るオンライン対話支援システムの動作の一例を示すシーケンス図である。

【図5】第２実施形態に係るオンライン対話支援システムの機能構成の一例を示すブロック図である。

【図6】第２実施形態に係るオンライン対話支援システムの動作の一例を示すシーケンス図である。

【図7】第３実施形態に係るオンライン対話支援システムの機能構成の一例を示すブロック図である。

【図8】第３実施形態に係るオンライン対話支援システムの動作の一例を示すシーケンス図である。

【図9】オンライン対話支援システムに関連するハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。

【0011】

図１は、一実施形態に係るオンライン対話支援システム１の概要を示す図である。オンライン対話支援システム１は、複数のユーザの端末間のオンライン対話を支援するコンピュータシステムである。オンライン対話支援システム１では、ユーザの顔を示す顔画像が撮影され、その顔画像が送受信される。顔画像は、実写の３Ｄデータであってもよく、ユーザの全身が映っていてもよい。本実施形態では、自身の顔画像を送信する側のユーザを送信側ユーザといい、送信側ユーザの顔画像を受信する側のユーザを受信側ユーザという。ただし、送信側ユーザ及び受信側ユーザは、各ユーザに対して固定的に設定されるものではない。送信側ユーザは、自身が他のユーザの顔画像を受信する場面では受信側ユーザになる。また、受信側ユーザは、自身の顔画像を他のユーザに送信する場面では送信側ユーザになる。

【0012】

オンライン対話支援システム１は、送信側ユーザ端末１０及び受信側ユーザ端末２０を備えている。送信側ユーザ端末１０及び受信側ユーザ端末２０は、通信ネットワークＮを介して通信可能に接続される。通信ネットワークＮの構成は限定されない。例えば、通信ネットワークＮはインターネットを含んで構成されてもよいし、イントラネットを含んで構成されてもよい。図１の例では、送信側ユーザ端末１０及び受信側ユーザ端末２０がそれぞれ一個示されているが、個数はこれに限られない。例えば、オンライン対話支援システム１は複数の送信側ユーザ端末１０及び複数の受信側ユーザ端末２０を備えていてもよい。すなわち、オンライン対話支援システム１は多人数間のオンライン対話を行うシステムとして適用され得る。

【0013】

送信側ユーザ端末１０は、送信側ユーザによって使用される端末である。送信側ユーザ端末１０の種類及び構成は限定されない。送信側ユーザ端末１０は、例えば、高機能携帯電話機（スマートフォン）、タブレット端末、ウェアラブル端末、ラップトップ型パーソナルコンピュータ、携帯電話機等の携帯端末でもよい。或いは、送信側ユーザ端末１０は、デスクトップ型パーソナルコンピュータ等の据置型端末でもよい。また、送信側ユーザ端末１０は、上述したような各送信側ユーザによって所持されるユーザ端末であってもよいし、各送信側ユーザのユーザ端末と通信可能に構成されたサーバ装置であってもよい。或いは、送信側ユーザ端末１０は、ユーザ端末及びサーバ装置の組み合わせによって構成されてもよい。すなわち、送信側ユーザ端末１０は、単一のコンピュータ装置によって構成されてもよいし、互いに通信可能な複数のコンピュータ装置によって構成されてもよい。

【0014】

受信側ユーザ端末２０は、受信側ユーザによって使用される端末である。受信側ユーザ端末２０の種類及び構成は、送信側ユーザ端末１０の種類及び構成と同様である。上述した通り、受信側ユーザは送信側ユーザになり得るし、送信側ユーザは受信側ユーザになり得る。従って、受信側ユーザが送信側ユーザとなる場合には、受信側ユーザ端末２０は送信側ユーザ端末１０として機能する。また、送信側ユーザが受信側ユーザとなる場合には、送信側ユーザ端末１０は受信側ユーザ端末２０として機能する。

【0015】

送信側ユーザは、ヘッドマウントディスプレイＤを頭部に装着している。ヘッドマウントディスプレイＤの形態は特定の形態に限定されない。ヘッドマウントディスプレイＤは、例えば、ゴーグル型、グラス型（眼鏡型）、帽子型等の種々の形態を取り得る。ヘッドマウントディスプレイＤは、例えばＸＲ（eXtended Reality）グラス等のスマートグラスである。一例では、ヘッドマウントディスプレイＤは、ユーザに拡張現実（ＡＲ：Augmented Reality）を提供する機能を有するＡＲグラスである。すなわち、ヘッドマウントディスプレイＤは、ユーザが仮想空間と共に現実空間（外界）を視認できるように構成されたシースルー型のグラスである。ただし、ヘッドマウントディスプレイＤは上記に限定されず、ユーザに複合現実（ＭＲ：Mixed Reality）を提供する機能を有するＭＲグラス等のＭＲデバイスであってもよいし、ユーザに仮想現実（ＶＲ：Virtual Reality）を提供する機能を有するＶＲグラス等のＶＲデバイスであってもよい。

【0016】

一例として、オンライン対話支援システム１には、Volumetric Video（又はVolumetric Capture）技術が適用され得る。この技術は、被写体を複数のカメラ等を用いて全方位から撮影し、被写体のあるがままの姿、形及び動き等（以下「動作等」という。）を高精度に再現する３Ｄコンテンツを作成する技術である。この技術が適用されたオンライン対話支援システム１は、３Ｄ化された複数のユーザの動作等を同一の仮想空間上にリアルタイムに再現することにより、同一の空間で対話しているかのようなユーザ体験を各ユーザに提供する。このようなユーザ体験を享受するために、送信側ユーザ及び受信側ユーザは、ヘッドマウントディスプレイＤを装着したままオンライン対話に参加する。

【0017】

［第１実施形態］
図２は、第１実施形態に係るオンライン対話支援システム１Ａ（１）の機能構成の一例を示すブロック図である。オンライン対話支援システム１Ａは、送信側ユーザ端末１０Ａ（１０）及び受信側ユーザ端末２０Ａ（２０）を含んで構成される。第１実施形態においては、オンライン対話支援システムの主要な機能は、受信側ユーザ端末２０Ａによって実行される。すなわち、第１実施形態においては、受信側ユーザ端末２０Ａが単独でオンライン対話支援システムを構成していると見做すことができる。送信側ユーザ端末１０Ａは、撮影部１１及び送信部１２を備えている。

【0018】

撮影部１１は、送信側ユーザの顔を撮影して顔画像を取得する。例えば、撮影部１１は、送信側ユーザの顔を示す基準顔画像を撮影する。基準顔画像とは、送信側ユーザの顔が隠されていない状態で撮影された送信側ユーザの本来の（完全な）顔画像である。例えば、基準顔画像は、送信側ユーザの顔がヘッドマウントディスプレイＤによって隠されていない状態（すなわち、送信側ユーザがヘッドマウントディスプレイＤを装着する前の状態）で送信側ユーザの顔全体が撮影された画像である。例えば、撮影部１１は、基準顔画像を静止画として撮影する。

【0019】

また、撮影部１１は、送信側ユーザの顔の一部の領域が隠された状態の送信側ユーザの顔を示す隠れ顔画像を撮影する。隠れ顔画像とは、撮影部１１と送信側ユーザの顔との間に存在する物体によって、送信側ユーザの顔の一部が隠された状態で撮影された送信側ユーザの不完全な顔画像である。例えば、隠れ顔画像は、ヘッドマウントディスプレイＤによって送信側ユーザの顔の一部の領域が隠された状態（すなわち、送信側ユーザがヘッドマウントディスプレイＤを装着した後の状態）で送信側ユーザの顔全体が撮影された画像である。換言すると、隠れ顔画像は送信側ユーザの顔と共に、送信側ユーザの顔の一部の領域を隠すヘッドマウントディスプレイＤが映り込んだ画像である。例えば、撮影部１１は、隠れ顔画像を動画像形式で撮影する。

【0020】

送信部１２は、撮影部１１によって取得された基準顔画像及び隠れ顔画像を受信側ユーザ端末２０Ａに送信する。例えば、送信部１２は、オンライン対話が開始される前に基準顔画像を受信側ユーザ端末２０Ａに送信し、オンライン対話が開始された後に隠れ顔画像を受信側ユーザ端末２０Ａに送信する。

【0021】

受信側ユーザ端末２０Ａは、受信部２１（取得部）と、生成部２２と、認証部２３と、表示制御部２４と、を有する。

【0022】

受信部２１は、送信側ユーザ端末１０Ａから基準顔画像及び隠れ顔画像を受信することによって、基準顔画像及び隠れ顔画像を取得する取得部として機能する。受信部２１は、基準顔画像を後述の記憶部３０に格納する。なお、送信側ユーザの基準顔画像は、受信側ユーザ端末２０Ａを経由することなく、送信側ユーザ端末１０から記憶部３０へと直接記憶（登録）されてもよい。

【0023】

生成部２２は、隠れ顔画像の一部の領域を補完し、補完顔画像を生成する。補完顔画像とは、隠れ顔画像の一部の領域が隠されていない状態の送信側ユーザの顔を示す顔画像である。生成部２２は補完顔画像を動画形式で生成する。隠れ顔画像の一部の領域は、例えば、送信側ユーザが装着しているヘッドマウントディスプレイＤによって隠されている。生成部２２は、隠れ顔画像のうちヘッドマウントディスプレイＤに対応する部分を他の画像に置換することによって、一部の領域を補完する。例えば、生成部２２は、隠れ顔画像のうちヘッドマウントディスプレイＤに対応する部分を、送信側ユーザの顔の部分を表す画像に置換して、ヘッドマウントディスプレイＤを装着していない状態の送信側ユーザの顔を再現する。顔画像の補完処理については後述する。

【0024】

認証部２３は、基準顔画像及び補完顔画像に基づく認証を実行する。認証部２３は、公知の手法を用いて顔認証を実行する。一例では、認証部２３は、基準顔画像及び補完顔画像における特徴点及び顔の領域等をそれぞれ抽出する。認証部２３は、抽出したそれぞれの値を照合することによって両者の類似度を算出する。認証部２３は、両者の類似度が所定の閾値以上であれば認証が成功であると判定し、両者の類似度が所定の閾値未満であれば認証が失敗であると判定する。

【0025】

表示制御部２４は、受信側ユーザ端末２０Ａにおける送信側ユーザの顔画像の表示を制御する。表示制御部２４は、認証部２３による認証結果に応答して、受信側ユーザ端末２０Ａが備えるディスプレイ等の出力装置（表示装置）上に補完顔画像又は隠れ顔画像を表示させる。例えば、認証が成功した場合に、表示制御部２４は受信側ユーザ端末２０Ａに補完顔画像を表示させる。一方、認証が失敗した場合に、表示制御部２４は受信側ユーザ端末２０Ａに隠れ顔画像を表示させる。

【0026】

記憶部３０は、受信側ユーザ端末２０Ａにおいて使用又は生成される各種データを記憶する。例えば、記憶部３０は、送信側ユーザの顔を示す基準顔画像を記憶する。記憶部３０は、認証部２３による認証に用いられる基準顔画像の特徴点等のデータを記憶してもよい。記憶部３０は、受信部２１によって取得された隠れ顔画像、及び生成部２２によって生成された補完顔画像のうち少なくとも一つを記憶してもよい。記憶部３０は、ヘッドマウントディスプレイＤの形状を記憶してもよい。記憶部３０は、受信側ユーザ端末２０Ａとは別の装置であってもよく、受信側ユーザ端末２０Ａの一構成要素であってもよい。

【0027】

図３を参照して、顔画像の補完処理について説明する。図３は、顔画像の補完処理を模式的に示す図である。なお、受信側ユーザ端末２０Ａ側に基準顔画像の一例を図示しているが、基準顔画像は顔画像の補完に用いられない。

【0028】

送信側ユーザ端末１０Ａは、隠れ顔画像を撮影して受信側ユーザ端末２０Ａに送信する。この隠れ顔画像は、送信側ユーザが装着しているヘッドマウントディスプレイＤによって、送信側ユーザの顔の一部が隠されている。具体的には、隠れ顔画像は、送信側ユーザの目付近の領域がヘッドマウントディスプレイＤのレンズ、フレーム、及びブリッジ等によって隠されている。

【0029】

生成部２２は、隠れ顔画像から補完する対象の一部の領域Ｒを特定する。例えば、生成部２２は、記憶部３０に予め記憶されたヘッドマウントディスプレイＤの形状を読み出し、該形状に基づいて隠れ顔画像のうちヘッドマウントディスプレイＤに対応する領域を特定することにより、一部の領域Ｒを特定する。

【0030】

生成部２２は、隠れ顔画像の一部の領域Ｒを補完することによって、補完顔画像を生成する。一部の領域Ｒの補完は、機械学習によって行われてもよい。例えば、生成部２２は、複数の送信側ユーザの顔画像（いわゆる正例）と共に送信側ユーザとは異なる複数のユーザの顔画像（いわゆる負例）を教師データとして用いた機械学習によって、送信側ユーザの顔の一部を示す画像を入力して送信側ユーザの顔の他の部分の推定結果を出力するように構成されたモデルを予め用意しておく。複数の送信側ユーザの顔画像は、例えば、様々な角度から撮影された送信側ユーザの顔全体を示す顔画像である。送信側ユーザとは異なる複数のユーザの顔画像は、例えば、複数のユーザの各々について、様々な角度から撮影された顔全体を示す顔画像である。上記のように正例及び負例を含む教師データを用いた機械学習を行うことにより、以下のように構成されたモデルを得ることができる。すなわち、真正の送信側ユーザの顔の一部（例えば、ヘッドマウントディスプレイＤによって隠されない口元を含む部分等）を示す画像が入力された場合に真正の送信側ユーザの特徴が反映された他の部分の推定結果（例えば、ヘッドマウントディスプレイＤによって隠された部分を含む画像）を出力し、真正の送信側ユーザとは異なるユーザ（例えば、真正の送信側ユーザになりすまそうとしているユーザ）の顔の一部を示す画像が入力された場合に真正の送信側ユーザの特徴が反映されていない推定結果を出力するように構成されたモデルを得ることができる。生成部２２は、隠れ顔画像のうち一部の領域Ｒを除いた領域をモデルに入力し、モデルからの出力結果に基づいて一部の領域Ｒを補完する。

【0031】

一部の領域Ｒの補完に関する別の例では、生成部２２は、複数の送信側ユーザの顔画像と共に送信側ユーザとは異なる複数のユーザの顔画像を教師データとして用いた機械学習によって、一部の領域Ｒのうち一部を示す第一範囲の画像を入力して、一部の領域Ｒのうち第一範囲とは異なる部分を示す第二範囲の推定結果を出力するように構成されたモデルを予め用意しておく。一部の領域Ｒのうち一部を示す第一範囲の画像は、ヘッドマウントディスプレイＤによって取得されてもよい。例えば、ヘッドマウントディスプレイＤは、眼鏡のブリッジ部分の内側（ユーザ側）にカメラが設けられていてもよい。ヘッドマウントディスプレイＤは、送信側ユーザがヘッドマウントディスプレイＤを装着している間において、送信側ユーザの目の画像（例えば、ユーザの両目を被写体として含む動画）を撮影する。ヘッドマウントディスプレイＤは、送信側ユーザの目毎に配置された２つのカメラ（例えば、各レンズの内側に配置された２つのカメラ）によって、送信側ユーザの目の画像を撮影してもよい。そして、生成部２２は、一部の領域Ｒのうち送信側ユーザの顔の一部を示す画像（例えば、送信側ユーザの目の画像）をモデルに入力し、入力した画像及びモデルからの出力結果に基づいて一部の領域を補完してもよい。

【0032】

上記のような処理によって、隠れ顔画像のうちヘッドマウントディスプレイＤに対応する部分が、送信側ユーザの顔の部分を表す画像に置換される。その結果、補完顔画像における一部の領域Ｒでは、ヘッドマウントディスプレイＤを装着していない状態の送信側ユーザの顔が再現される。

【0033】

図４を参照して、オンライン対話支援システム１Ａの動作について説明する。図４はオンライン対話支援システム１Ａの動作を処理フローＳ１として示すシーケンス図である。以下では、記憶部３０が送信側ユーザの顔を示す基準顔画像を予め記憶していることを前提とする。

【0034】

ステップＳ１１において、撮影部１１は、送信側ユーザの顔の一部の領域が隠された状態の送信側ユーザの顔を示す隠れ顔画像を撮影する。一例では、撮影部１１は、送信側ユーザが装着しているヘッドマウントディスプレイＤによって一部の領域が隠された状態の送信側ユーザの顔を撮影する。撮影部１１は、隠れ顔画像を動画像形式で撮影する。

【0035】

ステップＳ１２において、送信部１２は、撮影部１１によって取得された隠れ顔画像を受信側ユーザ端末２０Ａに送信する。例えば、送信部１２は、動画像形式の隠れ顔画像をリアルタイムで受信側ユーザ端末２０Ａに送信する。

【0036】

ステップＳ１３において、受信部２１は、隠れ顔画像を送信側ユーザ端末１０Ａから受信することによって、隠れ顔画像を取得する。受信部２１は、隠れ顔画像を記憶部３０に格納してもよい。

【0037】

ステップＳ１４において、生成部２２は、隠れ顔画像の一部の領域を補完し、補完顔画像を生成する。一例では、生成部２２は、記憶部３０に予め記憶されたヘッドマウントディスプレイＤの形状に基づいて、隠れ顔画像のうちヘッドマウントディスプレイＤに対応する領域を特定することにより、一部の領域Ｒ（図３参照）を特定する。

【0038】

補完処理の一例として、生成部２２は、複数の送信側ユーザの顔画像と共に送信側ユーザとは異なる複数のユーザの顔画像を教師データとして用いた機械学習によって、送信側ユーザの顔の一部を示す画像を入力して送信側ユーザの顔の他の部分の推定結果を出力するように構成されたモデルを予め用意しておき、隠れ顔画像のうち一部の領域Ｒを除いた領域をモデルに入力し、モデルからの出力結果に基づいて一部の領域Ｒを補完する。別の例では、生成部２２は、複数の送信側ユーザの顔画像と共に送信側ユーザとは異なる複数のユーザの顔画像を教師データとして用いた機械学習によって、一部の領域Ｒのうち一部を示す第一範囲の画像を入力して、一部の領域Ｒのうち第一範囲とは異なる部分を示す第二範囲の推定結果を出力するように構成されたモデルを予め用意しておき、一部の領域Ｒのうち送信側ユーザの顔の一部を示す画像をモデルに入力し、入力した画像及びモデルからの出力結果に基づいて一部の領域を補完する。

【0039】

ステップＳ１５において、認証部２３は、基準顔画像及び補完顔画像に基づく認証を実行する。認証部２３は、公知の手法を用いて顔認証を実行し、認証の成否を判定する。認証部２３は、動画像形式である隠れ顔画像の一連のフレームのうち、認証が成功したフレーム以降については認証を実行しなくてもよい。

【0040】

ステップＳ１６において、表示制御部２４は、受信側ユーザ端末２０Ａにおける送信側ユーザの顔画像の表示を制御する。例えば、ステップＳ１５の処理で認証が成功した場合に、表示制御部２４は受信側ユーザ端末２０Ａに補完顔画像を表示させる。一方、ステップＳ１５の処理で認証が失敗した場合に、表示制御部２４は受信側ユーザ端末２０Ａに隠れ顔画像を表示させる。表示制御部２４は、受信側ユーザが装着しているヘッドマウントディスプレイＤ上に、送信側ユーザの補完顔画像又は隠れ顔画像を表示させてもよい。

【0041】

以上説明したオンライン対話支援システム１Ａによれば、送信側ユーザの顔の一部の領域Ｒが隠された隠れ顔画像から、該一部の領域Ｒを補完した補完顔画像が生成される。そして、送信側ユーザの本来の（完全な）顔画像である基準顔画像、及び補完顔画像に基づく認証が実行される。認証が成功した場合に、受信側ユーザ端末２０Ａに補完顔画像が表示される。上記オンライン対話支援システム１Ａによれば、受信側ユーザは、補完顔画像が受信側ユーザ端末２０Ａに表示されていることを確認することによって、送信側ユーザが本人であることを確認することが可能となる。よって、送信側ユーザのなりすましを防止することができる。

【0042】

表示制御部２４は、認証が失敗した場合に、受信側ユーザ端末２０Ａに隠れ顔画像を表示させる。この場合、受信側ユーザは、隠れ顔画像が受信側ユーザ端末２０Ａに表示されていることを確認することによって、送信側ユーザがなりすましである可能性を検知できる。

【0043】

一部の領域Ｒは、送信側ユーザが装着しているヘッドマウントディスプレイＤによって隠されている。生成部２２は、隠れ顔画像のうちヘッドマウントディスプレイＤに対応する部分を他の画像に置換することによって、一部の領域Ｒを補完する。このような構成によれば、受信側ユーザ端末２０Ａ上には、送信側ユーザがヘッドマウントディスプレイＤを装着していないように表示される。これにより、送信側ユーザがヘッドマウントディスプレイＤによる表示等を視認しながら、送信側ユーザと受信側ユーザとの間でより自然なコミュニケーションを実現することができる。

【0044】

生成部２２は、予め記憶されたヘッドマウントディスプレイＤの形状に基づいて、隠れ顔画像のうちヘッドマウントディスプレイＤに対応する領域を特定することにより、一部の領域Ｒを特定する。この場合、ヘッドマウントディスプレイＤが精緻に特定されることにより、一部の領域Ｒの補完精度も向上する。

【0045】

生成部２２は、複数の送信側ユーザの顔画像と共に送信側ユーザとは異なる複数のユーザの顔画像を教師データとして用いた機械学習によって、送信側ユーザの顔の一部を示す画像を入力して送信側ユーザの顔の他の部分の推定結果を出力するように構成されたモデルを予め用意しておき、隠れ顔画像のうち一部の領域Ｒを除いた領域をモデルに入力し、モデルからの出力結果に基づいて一部の領域Ｒを補完する。このような構成によれば、送信側ユーザの顔の一部がより自然に補完される。また、ユーザの動きがあった場合でも、ユーザの動きに合わせてユーザの顔の一部が補完されるため、一部の領域Ｒの補完精度が向上する。

【0046】

生成部２２は、複数の送信側ユーザの顔画像と共に送信側ユーザとは異なる複数のユーザの顔画像を教師データとして用いた機械学習によって、一部の領域Ｒのうち一部を示す第一範囲の画像を入力して、一部の領域Ｒのうち第一範囲とは異なる部分を示す第二範囲の推定結果を出力するように構成されたモデルを予め用意しておき、一部の領域Ｒのうち送信側ユーザの顔の一部を示す画像をモデルに入力し、入力した画像及びモデルからの出力結果に基づいて一部の領域を補完する。このような構成によれば、一部の領域Ｒのうち送信側ユーザの顔の一部を示す画像（本実施形態では送信側ユーザの目の画像）及びモデルからの出力結果の組合せにより一部の領域Ｒが補完される。この場合、一部の領域Ｒのうち送信側ユーザの顔の一部が画像により補完されるため、よりユーザの本来の顔に近い補完顔画像が得られる。また、送信側ユーザの視線及び表情等が補完顔画像に反映されるため、送信側ユーザの顔の一部がより自然に補完される。

【0047】

［第２実施形態］
図５は、第２実施形態に係るオンライン対話支援システム１Ｂ（１）の機能構成の一例を示すブロック図である。オンライン対話支援システム１Ｂは、送信側ユーザ端末１０Ａ及び受信側ユーザ端末２０Ａの代わりに送信側ユーザ端末１０Ｂ（１０）及び受信側ユーザ端末２０Ｂ（２０）を備える点で、オンライン対話支援システム１Ａと相違する。オンライン対話支援システム１Ｂでは、送信側ユーザ端末１０Ｂ上で補完顔画像が生成され、基準顔画像及び補完顔画像に基づく認証が実行される。

【0048】

送信側ユーザ端末１０Ｂは、生成部２２及び認証部２３を有し、送信部１２の代わりに送信部１２Ｂを有する点で、送信側ユーザ端末１０Ａと相違する。受信側ユーザ端末２０Ｂは、生成部２２及び認証部２３を有さず、受信部２１の代わりに受信部２１Ｂを有する点で、受信側ユーザ端末２０Ａと相違する。送信部１２Ｂは、認証部２３の認証結果に応じて、隠れ顔画像又は補完顔画像を受信側ユーザ端末２０Ｂに送信する。具体的には、認証部２３による認証が成功した場合に、送信部１２Ｂは補完顔画像を受信側ユーザ端末２０Ｂに送信する。一方、認証部２３による認証が失敗した場合に、送信部１２Ｂは隠れ顔画像を受信側ユーザ端末２０Ｂに送信する。受信部２１Ｂは、送信側ユーザ端末１０Ｂから、隠れ顔画像又は補完顔画像を受信する。

【0049】

オンライン対話支援システム１Ｂでは、撮影部１１が、隠れ顔画像を取得する取得部として機能する。また、認証結果に応じて隠れ顔画像又は補完顔画像を受信側ユーザ端末２０Ｂに送信する送信部１４が、実質的に、認証が成功した場合に受信側ユーザ端末２０Ｂに補完顔画像を表示させ、認証が失敗した場合に受信側ユーザ端末２０Ｂに隠れ顔画像を表示させる表示制御部として機能する。従って、第２実施形態においては、オンライン対話支援システムの主要な機能は、送信側ユーザ端末１０Ｂによって実行される。すなわち、第２実施形態においては、送信側ユーザ端末１０Ｂが単独でオンライン対話支援システムを構成していると見做すことができる。なお、記憶部３０は、送信側ユーザ端末１０Ｂとは別の装置であってもよく、送信側ユーザ端末１０Ｂの一構成要素であってもよい。

【0050】

図６を参照して、オンライン対話支援システム１Ｂの動作について説明する。図６はオンライン対話支援システム１Ｂの動作を処理フローＳ２として示すシーケンス図である。以下では、記憶部３０が送信側ユーザの顔を示す基準顔画像を予め記憶していることを前提とする。

【0051】

ステップＳ２１において、撮影部１１は、送信側ユーザの顔の一部の領域が隠された状態の送信側ユーザの顔を示す隠れ顔画像を撮影する。一例では、撮影部１１は、送信側ユーザが装着しているヘッドマウントディスプレイＤによって一部の領域が隠された状態の送信側ユーザの顔を撮影する。撮影部１１は、隠れ顔画像を動画像形式で撮影する。また、撮影部１１は、隠れ顔画像を記憶部３０に格納してもよい。

【0052】

ステップＳ２２において、生成部２２は、隠れ顔画像の一部の領域を補完し、補完顔画像を生成する。ステップＳ２２の処理は、送信側ユーザ端末１０Ｂ上で行われる点で図４におけるステップＳ１４とは異なる。

【0053】

ステップＳ２３において、認証部２３は、基準顔画像及び補完顔画像に基づく認証を実行する。ステップＳ２３の処理は、送信側ユーザ端末１０Ｂ上で行われる点で図４におけるステップＳ１５とは異なる。

【0054】

ステップＳ２４において、送信部１２Ｂは、隠れ顔画像又は補完顔画像を受信側ユーザ端末２０Ｂに送信する。送信部１２Ｂは、動画像形式の隠れ顔画像又は補完顔画像をリアルタイムで受信側ユーザ端末２０Ｂに送信する。例えば、ステップＳ２３の処理で認証が成功した場合に、送信部１２Ｂは補完顔画像を受信側ユーザ端末２０Ｂに送信する。一方、ステップＳ２３の処理で認証が失敗した場合に、送信部１２Ｂは隠れ顔画像を受信側ユーザ端末２０Ｂに送信する。

【0055】

ステップＳ２５において、受信部２１Ｂは、隠れ顔画像又は補完顔画像を送信側ユーザ端末１０Ｂから受信することによって、隠れ顔画像又は補完顔画像を取得する。

【0056】

ステップＳ２６において、表示制御部２４は、受信側ユーザ端末２０Ｂにおける送信側ユーザの顔画像の表示を制御する。例えば、表示制御部２４は、受信側ユーザ端末２０ＢにステップＳ２５の処理で取得された隠れ顔画像又は補完顔画像を表示させる。表示制御部２４は、受信側ユーザが装着しているヘッドマウントディスプレイＤ上に、送信側ユーザの補完顔画像又は隠れ顔画像を表示させてもよい。

【0057】

以上説明したオンライン対話支援システム１Ｂによれば、オンライン対話支援システム１Ａと同様の作用効果を奏する。すなわち、受信側ユーザは、補完顔画像が受信側ユーザ端末２０Ｂに表示されていることを確認することによって、送信側ユーザが本人であることを確認することが可能となる。よって、送信側ユーザのなりすましを防止することができる。また、オンライン対話支援システム１Ｂによれば、送信側ユーザ端末１０Ｂ側で認証処理が実行されるため、受信側ユーザ端末２０Ｂの処理負荷を抑制することができる。

【0058】

［第３実施形態］
図７は、第３実施形態に係るオンライン対話支援システム１Ｃ（１）の機能構成の一例を示すブロック図である。オンライン対話支援システム１Ｃは、送信側ユーザ端末１０Ａ及び受信側ユーザ端末２０Ａの代わりに送信側ユーザ端末１０Ｃ（１０）及び受信側ユーザ端末２０Ｃ（２０）を備える点、並びに、サーバ４０を更に備える点で、オンライン対話支援システム１Ａと相違する。オンライン対話支援システム１Ｃでは、サーバ４０上で補完顔画像が生成され、基準顔画像及び補完顔画像に基づく認証が実行される。

【0059】

送信側ユーザ端末１０Ｃは、送信部１２の代わりに送信部１２Ｃを有する点で、送信側ユーザ端末１０Ａと相違する。送信部１２Ｃは、隠れ顔画像をサーバ４０に送信する。受信側ユーザ端末２０Ｃは、生成部２２及び認証部２３を有さず、受信部２１の代わりに受信部２１Ｃを有する点で、受信側ユーザ端末２０Ａと相違する。受信部２１Ｃは、サーバ４０から隠れ顔画像又は補完顔画像を受信する。

【0060】

サーバ４０は、画像受信部４１（取得部）、生成部２２、認証部２３及び画像送信部４２を有する。画像受信部４１は、送信側ユーザ端末１０Ｃから基準顔画像及び隠れ顔画像を受信することによって、基準顔画像及び隠れ顔画像を取得する取得部として機能する。画像送信部４２は、認証部２３の認証結果に応じて、隠れ顔画像又は補完顔画像を受信側ユーザ端末２０Ｃに送信する。具体的には、認証部２３による認証が成功した場合に、画像送信部４２は補完顔画像を受信側ユーザ端末２０Ｃに送信する。一方、認証部２３による認証が失敗した場合に、画像送信部４２は隠れ顔画像を受信側ユーザ端末２０Ｃに送信する。すなわち、画像送信部４２は、実質的に、認証が成功した場合に受信側ユーザ端末２０Ｃに補完顔画像を表示させ、認証が失敗した場合に受信側ユーザ端末２０Ｃに隠れ顔画像を表示させる表示制御部として機能する。従って、第３実施形態においては、オンライン対話支援システムの主要な機能は、サーバ４０によって実行される。すなわち、第３実施形態においては、サーバ４０が単独でオンライン対話支援システムを構成していると見做すことができる。なお、記憶部３０は、サーバ４０とは別の装置であってもよく、サーバ４０の一構成要素であってもよい。

【0061】

図８を参照して、オンライン対話支援システム１Ｃの動作について説明する。図８はオンライン対話支援システム１Ｃの動作を処理フローＳ３として示すシーケンス図である。以下では、記憶部３０が送信側ユーザの顔を示す基準顔画像を予め記憶していることを前提とする。

【0062】

ステップＳ３１の処理は、図４のステップＳ１１と同様である。

【0063】

ステップＳ３２において、送信部１２Ｃは、撮影部１１によって取得された隠れ顔画像をサーバ４０に送信する。例えば、送信部１２Ｃは、動画像形式の隠れ顔画像をリアルタイムでサーバ４０に送信する。

【0064】

ステップＳ３３において、画像受信部４１は、隠れ顔画像を送信側ユーザ端末１０Ｃから受信することによって、隠れ顔画像を取得する。画像受信部４１は、隠れ顔画像を記憶部３０に格納してもよい。

【0065】

ステップＳ３４において、生成部２２は、隠れ顔画像の一部の領域を補完し、補完顔画像を生成する。ステップＳ３４の処理は、サーバ４０上で行われる点で図４におけるステップＳ１４とは異なる。

【0066】

ステップＳ３５において、認証部２３は、基準顔画像及び補完顔画像に基づく認証を実行する。ステップＳ３５の処理は、サーバ４０上で行われる点で図４におけるステップＳ１５とは異なる。

【0067】

ステップＳ３６において、画像送信部４２は、隠れ顔画像又は補完顔画像を受信側ユーザ端末２０Ｃに送信する。画像送信部４２は、動画像形式の隠れ顔画像又は補完顔画像をリアルタイムで受信側ユーザ端末２０Ｃに送信する。例えば、ステップＳ３５の処理で認証が成功した場合に、画像送信部４２は補完顔画像を受信側ユーザ端末２０Ｃに送信する。一方、ステップＳ３５の処理で認証が失敗した場合に、画像送信部４２は隠れ顔画像を受信側ユーザ端末２０Ｃに送信する。

【0068】

ステップＳ３７において、受信部２１Ｃは、隠れ顔画像又は補完顔画像をサーバ４０から受信することによって、隠れ顔画像又は補完顔画像を取得する。

【0069】

ステップＳ３８において、表示制御部２４は、受信側ユーザ端末２０Ｃにおける送信側ユーザの顔画像の表示を制御する。例えば、表示制御部２４は、受信側ユーザ端末２０ＣにステップＳ３７の処理で取得された隠れ顔画像又は補完顔画像を表示させる。表示制御部２４は、受信側ユーザが装着しているヘッドマウントディスプレイＤ上に、送信側ユーザの補完顔画像又は隠れ顔画像を表示させてもよい。

【0070】

以上説明したオンライン対話支援システム１Ｃによれば、オンライン対話支援システム１Ａと同様の作用効果を奏する。すなわち、受信側ユーザは、補完顔画像が受信側ユーザ端末２０Ｃに表示されていることを確認することによって、送信側ユーザが本人であることを確認することが可能となる。よって、送信側ユーザのなりすましを防止することができる。また、オンライン対話支援システム１Ｃによれば、受信側ユーザ端末２０Ｃの処理負荷を抑制することができる。さらに、複数人（すなわち複数のユーザの端末間）でオンライン対話を行う場合に、送信側ユーザ端末１０Ｃの機材及び性能等によらず容易に時刻同期が可能となる。

【0071】

（変形例）
上記実施形態では、送信側ユーザの顔の一部の領域がヘッドマウントディスプレイＤによって隠されている例を説明したが、マスク等によって隠されていてもよい。上記実施形態では、隠れ顔画像が動画像形式である例を説明したが、受信側ユーザ端末２０上に、静止画としての送信側ユーザの顔画像を表示する場合には、隠れ顔画像は静止画像であってもよい。隠れ顔画像は、顔認証に用いられる静止画と、顔認証後の動画像形式とで個別に取得されてもよい。隠れ顔画像は、例えばモザイク等によって一部の領域が隠された画像であってもよい。また、上記実施形態では、予め記憶されたヘッドマウントディスプレイＤの形状に基づいて一部の領域Ｒを特定しているが、生成部２２が送信側ユーザ又は受信側ユーザによって一部の領域Ｒを指定する入力操作等を受け付けることにより、一部の領域Ｒを特定してもよい。さらに、上記実施形態では、認証が失敗した場合に、送信側ユーザの隠れ顔画像を表示する例を説明したが、表示制御部２４が認証の失敗を示すエラーメッセージを表示してもよいし、オンライン対話を終了してもよい。

【0072】

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0073】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。

【0074】

例えば、本開示の一実施の形態における送信側ユーザ端末１０、受信側ユーザ端末２０及びサーバ４０は、本開示の情報処理方法を行うコンピュータとして機能してもよい。図９は、本開示の一実施の形態に係る送信側ユーザ端末１０、受信側ユーザ端末２０及びサーバ４０に共通のハードウェア構成の一例を示す図である。送信側ユーザ端末１０、受信側ユーザ端末２０及びサーバ４０の各々は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0075】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。送信側ユーザ端末１０、受信側ユーザ端末２０及びサーバ４０のハードウェア構成は、図９に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0076】

送信側ユーザ端末１０、受信側ユーザ端末２０及びサーバ４０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0077】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

【0078】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、送信側ユーザ端末１０、受信側ユーザ端末２０及びサーバ４０の各機能部（例えば、生成部２２等）は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0079】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0080】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0081】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0082】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0083】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0084】

また、送信側ユーザ端末１０、受信側ユーザ端末２０及びサーバ４０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0085】

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

【0086】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0087】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0088】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0089】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0090】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0091】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0092】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0093】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0094】

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

【0095】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0096】

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0097】

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0098】

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0099】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0100】

１，１Ａ，１Ｂ，１Ｃ…オンライン対話支援システム、１０，１０Ａ，１０Ｂ，１０Ｃ…送信側ユーザ端末、１１…撮影部、１２，１２Ｂ，１２Ｃ…送信部、２０，２０Ａ，２０Ｂ，２０Ｃ…受信側ユーザ端末、２１，２１Ｂ，２１Ｃ…受信部、２２…生成部、２３…認証部、２４…表示制御部、３０…記憶部、４０…サーバ、４１…画像受信部、４２…画像送信部、Ｄ…ヘッドマウントディスプレイ、Ｒ…一部の領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】