特開 2024-131077 プログラム、データ提供装置及びデータ提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024131077

(43)【公開日】2024-09-30

(54)【発明の名称】プログラム、データ提供装置及びデータ提供方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240920BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023041117

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】302064762

【氏名又は名称】株式会社日本総合研究所

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】渡邊 駿太

(72)【発明者】

【氏名】朝原 千賀子

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC12

5L050CC12

(57)【要約】

【課題】対話データを編集した編集対話データを出力するプログラム、データ提供装置及びデータ提供方法を提供すること。
【解決手段】プログラムは、メタバースにおけるサービス窓口でのサービス提供側アバターと第１アバターとの対話データを取得し、前記サービス窓口に前記第１アバターに続いて並ぶ第２アバターに対し、前記対話データを編集した編集対話データを出力する処理をコンピュータに実行させる。
【選択図】図７

【特許請求の範囲】

【請求項1】

メタバースにおけるサービス窓口でのサービス提供側アバターと第１アバターとの対話データを取得し、
前記サービス窓口に前記第１アバターに続いて並ぶ第２アバターに対し、前記対話データを編集した編集対話データを出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記対話データに含まれるプライバシーデータを削除する編集を行い、前記編集対話データを生成する
請求項１に記載のプログラム。

【請求項3】

前記第２アバターから希望する前記対話データの属性を受け付け、
前記サービス提供側アバターと前記第１アバターとの前記対話データより、受け付けた前記属性に対応する前記対話データを抽出し、
抽出した前記対話データに基づく前記編集対話データを生成する
請求項１又は請求項２に記載のプログラム。

【請求項4】

前記編集対話データを前記第２アバターに視認可能な状態で出力する
請求項１又は請求項２に記載のプログラム。

【請求項5】

前記第２アバターの属性に基づいて、前記サービス窓口とは異なるサービス窓口への移動を促す表示を行う
請求項１又は請求項２に記載のプログラム。

【請求項6】

前記第１アバターを利用するユーザより予め受け付けた秘匿設定に基づき、前記編集により秘匿するプライバシーデータの秘匿レベルを変更する
請求項１又は請求項２に記載のプログラム。

【請求項7】

メタバースにおけるサービス窓口でのサービス提供側アバターと第１アバターとの対話データを取得する取得部と、
前記サービス窓口に前記第１アバターに続いて並ぶ第２アバターに対し、前記対話データを編集した編集対話データを出力する出力部と
を備えるデータ提供装置。

【請求項8】

コンピュータが、
メタバースにおけるサービス窓口でのサービス提供側アバターと第１アバターとの対話データを取得し、
前記サービス窓口に前記第１アバターに続いて並ぶ第２アバターに対し、前記対話データを編集した編集対話データを出力する
処理を行うデータ提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、メタバースにおける対話データを提供するプログラム、データ提供装置及びデータ提供方法に関する。

【背景技術】

【0002】

メタバースを始めとする仮想空間において、様々な社会活動が行われるようになっている。ユーザがアバターを利用して活動する仮想空間においては、文字によるチャットに代わり、音声を用いたコミュニケーションも行われている。現実世界における音声による会話では、会話の当事者となるだけではなく、会話には参加していないが、自分の近くで交わされている会話を聞き、情報や知識を得ることもある。このような、会話には明示的には参加しているわけではないが、その情報の一部を得ることができるという状況の実現を目指し、仮想空間において会話に参加する／しないの中間の状態を実現することができるメッセージ交換システムが提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－６７３１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述のメッセージ交換システムは、自分の近くで交わされている会話を聞き、情報や知識を得ることもあるという利点がある反面、次のような不都合がある。交わしている会話の大半は、会話に参加していない第三者に聞かれたとしても問題ないが、プライバシー情報を秘匿したい場合、上述のメッセージ交換システムは対応できない。プライバシー情報を秘匿したいというニーズは、会話よりも対話の方がより高いと考えられる。

【0005】

本発明はこのような状況に鑑みてなされたものである。その目的は、対話データを編集した編集対話データを提供するプログラム、データ提供装置及びデータ提供方法を提供することである。

【課題を解決するための手段】

【0006】

本願の一態様に係るプログラムは、メタバースにおけるサービス窓口でのサービス提供側アバターと第１アバターとの対話データを取得し、前記サービス窓口に前記第１アバターに続いて並ぶ第２アバターに対し、前記対話データを編集した編集対話データを出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

本願の一態様にあっては、対話データを編集した編集対話データを出力することが可能となる。

【図面の簡単な説明】

【0008】

【図1】相談窓口システムの構成例を示す説明図である。

【図2】メタバースサーバのハードウェア構成例を示すブロック図である。

【図3】窓口端末の構成例を示すブロック図である。

【図4】ユーザ端末の構成例を示すブロック図である。

【図5】ユーザＤＢの例を示す説明図である。

【図6】パターンＤＢの例を示す説明図である。

【図7】配信処理の手順例を示すフローチャートである。

【図8】音声翻訳モデルの構成例を示すブロック図である。

【図9】題目ＤＢの例を示す説明図である。

【図10】音声変更処理の手順例を示すフローチャートである。

【図11】待ち行列ＤＢの例を示す説明図である。

【図12】待ち行列更新処理の手順例を示すフローチャートである。

【図13】メタバース空間の例を示す説明図である。

【図14】配信処理の他の手順例を示すフローチャートである。

【発明を実施するための形態】

【0009】

（実施の形態１）
以下実施の形態を、図面を参照して説明する。図１は相談窓口システムの構成例を示す説明図である。相談窓口システム１００はメタバースサーバ１、窓口端末２及びユーザ端末３を含む。メタバースサーバ１、窓口端末２及びユーザ端末３はネットワークＮにより、互いに通信可能に接続されている。図１において、窓口端末２は１台を記載しているが、２台以上であってもよい。ユーザ端末３は２台を記載しているが、１台であってもよいし、３台以上であってもよい。ＢｔｏＣのビジネス形態においては、顧客と企業との接点として相談窓口やコンタクトセンタが設けられる。相談窓口システム１００は、相談窓口をＩＴ技術で実現しようとするものである。以下においては、金融機関での相談窓口を想定して説明するが、それに限らない。また、相談窓口システム１００と同様な構成で、コンタクトセンタやコールセンタ等のシステムを構築してもよい。

【0010】

メタバースサーバ１はインターネット上で、仮想三次元空間を提供するコンピュータである。メタバースサーバ１はサーバコンピュータ、ワークステーション、ＰＣ（Personal Computer）等で構成する。また、メタバースサーバ１を複数のコンピュータからなるマルチコンピュータ、ソフトウェアによって仮想的に構築された仮想マシン又は量子コンピュータで構成しても良い。さらに、メタバースサーバ１の機能をクラウドサービスで実現してもよい。なお、メタバースサーバ１は相談窓口を設ける企業等が管理、運営してもよいが、メタバースをプラットフォームとして提供する企業等が管理、運営し、相談窓口を設ける企業等が、メタバースへ出店する形態としてもよい。

【0011】

窓口端末２は相談窓口を受け持ち、相談を受ける窓口担当者が用いる端末である。窓口端末２はＰＣ（Personal Computer）、ノートパソコン、タブレットコンピュータ等で構成する。ユーザ端末３は相談窓口で相談をするエンドユーザが利用する端末である。ユーザ端末３はノートパソコン、タブレットコンピュータ、スマートフォン等で構成する。以下、エンドユーザを単なるユーザという。

【0012】

図２はメタバースサーバのハードウェア構成例を示すブロック図である。メタバースサーバ１は処理部１１、記憶部１２及び通信部１４を含む。各構成はバスＢにより接続されている。処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）、及び、ＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶された制御プログラム１Ｐ（プログラム、プログラム製品）を読み出して実行することにより、種々の処理を行う。

【0013】

記憶部１２は、例えばフラッシュメモリ又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性のメモリ素子を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種ＤＢ（DataBase：データベース）を記憶する。記憶部１２は、ユーザＤＢ１２１、３ＤモデルＤＢ１２２、画像ＤＢ１２３、動画ＤＢ１２４及びパターンＤＢ１２５を記憶する。また、本実施の形態においては必須ではないが、記憶部１２は題目ＤＢ１２６及び待ち行列ＤＢ１２７を記憶する。本実施の形態において記憶部１２は、処理部１１が実行する制御プログラム１Ｐを記憶する。

【0014】

本実施の形態において制御プログラム１Ｐは、例えばメタバースサーバ１の運用開始前の設定作業において記憶部１２に書き込まれる。また例えば制御プログラム１Ｐは、遠隔のサーバ装置等が配信するものをメタバースサーバ１が通信にて取得してもよい。また例えば制御プログラム１Ｐは、メモリカード又は光ディスク等の記録媒体に記録された態様で提供され、メタバースサーバ１は記録媒体から制御プログラム１Ｐを読み出して記憶部１２に記憶してもよい。

【0015】

通信部１４は、携帯電話通信網、無線ＬＡＮ（Local Area Network）又はインターネット等のネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部１４は、窓口端末２及びユーザ端末３と通信を行い、メタバースにおける相談窓口サービスを実現する。

【0016】

図３は窓口端末の構成例を示すブロック図である。窓口端末２は制御部２１、主記憶部２２、補助記憶部２３、通信部２４、入力部２５、表示部２６及び音声処理部２７を含む。各構成はバスＢで接続されている。

【0017】

制御部２１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を有する。制御部２１は、補助記憶部２３に記憶された制御プログラム２Ｐ（プログラム、プログラム製品）を読み出して実行することにより、種々の機能を提供する。

【0018】

主記憶部２２は、ＳＲＡＭ（Static RAM）、ＤＲＡＭ（Dynamic RAM）、フラッシュメモリ等である。主記憶部２２は主として制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。

【0019】

補助記憶部２３はハードディスク又はＳＳＤ等であり、制御部２１が処理を実行するために必要な各種データを記憶する。補助記憶部２３は窓口端末２と別体で外部接続された外部記憶装置であってもよい。補助記憶部２３に記憶する各種ＤＢ等を、データベースサーバやクラウドストレージに記憶してもよい。

【0020】

通信部２４はネットワークＮを介して、メタバースサーバ１と通信を行う。また、制御部２１が通信部２４を用い、ネットワークＮ等を介して他のコンピュータから制御プログラム２Ｐをダウンロードし、補助記憶部２３に記憶してもよい。

【0021】

入力部２５はキーボードやマウスである。表示部２６は液晶表示パネル又は有機ＥＬ（electro Luminescence）表示パネル等を含む。表示部２６はメタバースサーバ１が出力したメタバース空間等を表示する。入力部２５と表示部２６とを一体化し、タッチパネルディスプレイを構成してもよい。なお、窓口端末２は外部の表示装置に表示を行ってもよい。入力部２５と表示部２６とを、ＶＲ（Virtual Reality）ゴーグル又はＨＭＤ（Head Mounted Display）とコントローラとで構成してもよい。

【0022】

音声処理部２７は音声を収集するマイク（図示しない）が拾った窓口担当者の発言音声を受け付ける。また、音声処理部２７は、ユーザの発話音声等をスピーカ（図示しない）へ出力する。

【0023】

図４はユーザ端末の構成例を示すブロック図である。ユーザ端末３は制御部３１、主記憶部３２、補助記憶部３３、通信部３４、表示パネル３５、操作部３６及び音声処理部３７を含む。各構成はバスＢで接続されている。制御部３１、主記憶部３２、補助記憶部３３、通信部３４及び音声処理部３７は、それぞれ窓口端末２の制御部２１、主記憶部２２、補助記憶部２３、通信部２４及び音声処理部２７と同様であるから、説明を省略する。以下の説明において、ユーザ端末３はユーザの状況により、次のように使い分ける。相談窓口にて相談を行っている状況のユーザを相談ユーザという。相談ユーザが使用しているユーザ端末３を、相談者端末という。相談ユーザとなっているユーザが使用しているアバターは第１アバターの一例である。相談窓口の待ち行列に並んでいる等の状況のユーザを待機ユーザという。待機ユーザが使用しているユーザ端末３を待機者端末という。待機ユーザとなっているユーザが使用しているアバターは第２アバターの一例である。窓口担当者が使用しているアバターは、サービス提供側アバターの一例である。

【0024】

表示パネル３５は、液晶表示パネル又は有機ＥＬ表示パネル等で構成することができる。操作部３６は、例えば、表示パネル３５に組み込まれたタッチパネルで構成することができ、ユーザが表示パネル３５上で行う所定の操作を行うことができる。また、操作部３６は、表示パネル３５に表示したソフトウェアキ－ボード上の操作を行うことができる。なお、操作部３６は、ハードウェアキーボード、マウスなどでもよい。また、表示パネル３５と操作部３６に替えて、ＶＲ（Virtual Reality）ゴーグル又はＨＭＤ（Head Mounted Display）とコントローラとで構成してもよい。

【0025】

音声処理部３７は音声を収集するマイク（図示しない）が拾ったエンドユーザの発言音声を受け付ける。また、音声処理部３７は、窓口担当者の発話音声等をスピーカ（図示しない）へ出力する。

【0026】

続いて、データベースについて説明する。なお、図２には題目ＤＢ１２６及び待ち行列ＤＢ１２７が記載されているが、これらについては後の実施の形態において説明する。図５はユーザＤＢの例を示す説明図である。ユーザＤＢ１２１はユーザの情報を記憶する。ユーザＤＢ１２１はユーザＩＤ列、氏名列、住所列、アバター列、ランク列、秘匿レベル列、投資目的列、資産状況列及び投資経験列を含む。ユーザＩＤ列はユーザを一意に特定可能なユーザＩＤを記憶する。氏名列はユーザの氏名を記憶する。住所列はユーザの住所を記憶する。アバター列はユーザが使用するアバターの情報を記憶する。アバターの情報は、例えばＦＢＸ（Filmbox）形式又はＶＲＭ形式の３Ｄモデルデータである。アバター列はメタ情報を記憶してもよい。例えばメタ情報はアバターの名称（メタバースでのユーザの名前）等である。ランク列はユーザのランクを記憶する。ランクは相談窓口を運営する企業、ここでは金融機関において、顧客であるユーザの重要度を示すものである。例えば５段階として、ランク５が最重要顧客を示す。ランクは取引回数、取引額、取引年数等から定める。秘匿レベル列はユーザが希望するプライバシー情報（プライバシーデータ）の秘匿レベルを記憶する。例えば、秘匿レベルは、「通常」、「クローズ」又は「オープン」である。「通常」は、相談窓口システム１００の運営者の設定に基づき、プライバシー情報を秘匿する。「クローズ」は一切の音声を第三者に秘匿する。「オープン」は一切秘匿せず、全ての音声を第三者に公開する。本明細書におけるプライバシー情報には、個人情報や特定の機微な個人情報も含む。投資目的列はユーザが投資を検討している、又は、投資を行っている場合に、その目的を記憶する。資産状況列は、ユーザの金融資産の状況を記憶する。現金、預貯金、株式、投資信託等の保有額等を記憶する。投資経験列はユーザの投資経験について記憶する。投資経験は例えば株式や投資信託での運用を行っている年数等を記憶する。投資目的から投資経験列が記憶する情報は、金融機関での相談窓口において利用される情報であるから、他業種の相談窓口を構築する場合は、なくともよいし、他の情報を記憶する列を設けてもよい。

【0027】

３ＤモデルＤＢ１２２はメタバースを構築するために必要となる種々の３Ｄモデルデータを記憶する。画像ＤＢ１２３はメタバース空間の３Ｄモデルに貼り付けられるテクスチャや、コンテンツとしての画像データ等を記憶する。動画ＤＢ１２４はメタバースを構成する動画や、コンテンツとしての動画データ等を記憶する。３ＤモデルＤＢ１２２、画像ＤＢ１２３は、動画ＤＢ１２４は、メタバースを構築するために従来使われているものであり、公知であるから、より詳しい説明は省略する。

【0028】

図６はパターンＤＢの例を示す説明図である。パターンＤＢ１２５はプライバシー保護の観点から、対話音声の中からマスクすべき箇所を抽出するためのパターンを記憶する。パターンＤＢ１２５はパターンＩＤ列及びパターン列を含む。パターンＩＤ列はパターンを特定可能なパターンＩＤを記憶する。パターン列はマスクすべきプライバシー情報を検出するための文字列を記憶する。プライバシー情報は、例えば、生年月日、所得等、資産の贈与先、相談者の年齢が推測可能な年金受給年齢の繰上げ、繰下げについての話題等である。パターン列には、プライバシー情報に含まれると推定されるキーワード、「年齢」、「贈与」、「受給年齢」等を記憶しておいてもよい。そして、対話音声にキーワードが含まれていることを検出した場合、キーワードの前後をマスク対象とする。

【0029】

次に、メタバースサーバ１において、記憶部１２に記憶された制御プログラム１Ｐを処理部１１が読み出して実行することにより、処理部１１においてソフトウェア的に実現される機能部について説明する。処理部１１は、受付部１１ａ、更新部１１ｂ、モデリング処理部１１ｃ、音声取得部１１ｄ、解析部１１ｅ、音声出力部１１ｆ、配信部１１ｇ及び行列管理部１１ｈが実現される。

【0030】

受付部１１ａはユーザ端末３から操作情報を受け付ける。操作情報はアバターの動きを制御する情報などである。受付部１１ａは操作情報を更新部１１ｂへ渡す。

【0031】

更新部１１ｂは渡された操作情報に従って、アバターの情報、例えば、位置座標、姿勢情報、視線方向を更新する。更新部１１ｂは更新した情報をモデリング処理部１１ｃへ渡す。

【0032】

モデリング処理部１１ｃは渡されたアバターの情報に従って、ユーザが見ているメタバースの３次元画像を更新する。モデリング処理部１１ｃは更新した３次元画像を配信部１１ｇへ出力する。なお、メタバースサーバ１の処理負荷を軽減するために、３次元画像を更新する際に行うレンダリングやテクスチャマッピング等の処理を、ユーザ端末３に行わせてもよい。この場合であっても、メタバースサーバ１は、ユーザ端末３から操作情報を受け付け、アバターの位置等の更新を行う。

【0033】

音声取得部１１ｄはアバターの位置から所定の範囲内にある相談窓口を特定し、特定した相談窓口での対話音声を取得する。音声取得部１１ｄは取得した対話音声を解析部１１ｅへ渡す。

【0034】

解析部１１ｅは音声取得部１１ｄから取得した対話音声を解析する。解析部１１ｅは音声認識により対話音声を文字列（以下、「対話文字列」という。）に変換する。解析部１１ｅは変換した対話文字列と、パターンＤＢ１２５に記憶されているパターンとを対照し、対話文字列にプライバシー情報が含まれていないかを判定する。解析部１１ｅはプライバシー情報が含まれていると判定した場合、文字列に対応する対話音声の部分をマスクする範囲として、音声出力部１１ｆへ出力する。

【0035】

音声出力部１１ｆは解析部１１ｅからの出力にしたがい、対話音声の一部をマスクした編集済みの対話音声を配信部１１ｇへ出力する。マスクするとは、例えば、該当部分を無音とするか、ビープ音に置き換える。

【0036】

配信部１１ｇは音声出力部１１ｆが出力した３次元画像と、音声出力部１１ｆが出力した音声とをストリームデータとして、待機者端末へ配信する。

【0037】

行列管理部１１ｈは窓口に並んでいるユーザの並び順を管理している。行列管理部１１ｈは、並んでいるユーザの属性に応じて、並び順の変更を行う。本実施の形態において、行列管理部１１ｈは必須の構成でないので、機能の詳細は後の実施の形態にて、説明する。

【0038】

続いて情報処理について説明する。図７は配信処理の手順例を示すフローチャートである。図７に示す配信処理は、待機ユーザが対象となる処理である。メタバースサーバ１の処理部１１は、メタバースでの待機ユーザの位置を更新する（ステップＳ１）。処理部１１は処理対象となる対話音声（対象音声）があるか否かを判定する（ステップＳ２）。処理部１１は、待機ユーザが特定の相談窓口に並んでいる場合、当該相談窓口の対話音声を対象音声であると判定する。対話音声は相談ユーザと窓口担当者とが話している音声である。相談窓口に並んでいるか否かは、例えば次のように判定する。相談窓口毎に待ち行列を作る範囲を定めておき、当該範囲に所定時間以上、立ち止まった待機ユーザは並んでいると判定する。所定時間以上、経過した時点で、ユーザに並ぶ意思があることを確認してもよい。または、相談ユーザがユーザ端末を操作して、明示的に並ぶことを宣言してもよい。この場合、待機ユーザが相談窓口に並ぶ操作をしたとき、待ち行列が長く、相談窓口の対話音声は待機ユーザに聞こえないことが自然であっても、対話音声を、待機ユーザに聞かせてもよい。相談窓口に並んで当該窓口の対話音声を聞いている待機ユーザであっても、操作により、対話音声を消えなくしたり、並んでいる状態を変えずに、他の相談窓口の対話音声を聞こえるようにしたりしてもよい。処理部１１は、待機ユーザが特定の相談窓口には並んでいない場合、対象音声はないと判定する。処理部１１は対象音声がないと判定した場合（ステップＳ２でＮＯ）、処理をステップＳ１へ戻す。処理部１１は対象音声があると判定した場合（ステップＳ２でＹＥＳ）、対象となる対話音声を取得する（ステップＳ３）。処理部１１は取得した対話音声を解析する（ステップＳ４）。処理部１１は音声認識に技術により対話音声をテキストに変換する。処理部１１はテキストとパターンＤＢ１２５とを対照し、プライバシー情報があるか否かを判定する。処理部１１はプライバシー情報があると判定した場合、取得した対話音声においてマスクすべき区間を判定する。処理部１１は、対話音声において、マスクすべき区間の音声を無音又はビープ音等に変換した音声（出力音声）を生成する（ステップＳ５）。処理部１１は３次元画像と出力音声とを合成したストリーミングデータを作成する（ステップＳ６）。処理部１１は作成したストリーミングデータを待機者端末へ送信し（ステップＳ７）、処理をステップＳ１へ戻す。待機者端末はストリーミングデータを受信し、ストリーミングデータに基づき、３次元画像をヘッドマウントディスプレイ等に表示し、出力音声をスピーカ又はイアホンから出力する。配信処理は、待機ユーザに相談の順番が回ってきた場合、又は、メタバースから退出した場合に、割り込み処理等により終了する。なお、相談窓口で相談を受け付ける窓口担当者を人ではなく、ボイスボット（音声版チャットボット）としてもよい。

【0039】

相談窓口で相談をしている相談ユーザについての３次元画像及び音声の配信処理は、公知の技術により実現可能であるので、説明を省略する。窓口担当者についても、相談ユーザと同様である。

【0040】

本実施の形態は、以下の効果を奏する。相談窓口に並んでいる待機ユーザは、相談窓口にて話されている対話音声を聞くことが可能であり、対話の内容に、相談したい内容に対する回答が含まれている場合、当該内容については、相談することが不要となる。窓口担当者においては、同じような相談を受ける回数が減り、業務の効率化が期待できる。また、相談者においては、相談内容を待機ユーザに聞かれてしまうものの、プライバシー情報がマスクされ、待機ユーザに聞かれないので、安心して相談することが可能となる。

【0041】

メタバースに複数の相談窓口が設けられる場合、配信処理の一部を以下のように変更してもよい。一部の相談窓口は個室とし、第三者である待機者には対話音声が聞こえないことにする。この場合、上述の配信処理のステップＳ２において、待機者が並んでいる相談窓口の対話音声も処理対象ではないと判定される。

【0042】

待機ユーザが特定のいずれの相談窓口に並んでいない場合、ステップＳ２において、待機ユーザから所定の範囲内にある相談窓口の対話音声を対象音声であると判定する。但し、対象音声として判定された対話音声が複数となる場合は、いずれかの対話音声を処理対象とする。

【0043】

（実施の形態２）
本実施の形態においては、学習モデルを用いて、対話音声の中でマスクすべき区間の判定を行う。図８は音声翻訳モデルの構成例を示すブロック図である。音声翻訳モデル１３１は解析部１１ｅ及び音声出力部１１ｆに相当する。音声翻訳モデル１３１は音声が入力された場合、その内容を解析し、解析した結果に基づく翻訳音声を出力する。一般的な音声翻訳モデルは英語を日本語に翻訳するなど、入力された言語と異なる言語を出力するが、音声翻訳モデル１３１は日本語の音声を入力した場合、第３者には秘匿すべき部分をマスクした日本語音声を出力する。音声翻訳モデル１３１はニューラルネットを用いた学習モデルである。例えば音声翻訳モデルはTransformer、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）等を用いて構成する。

【0044】

本実施の形態において、音声取得部１１ｄから取得した対話音声を音声翻訳モデル１３１へ入力する。音声翻訳モデル１３１は対話音声の中でプライバシー情報をマスクした、例えばビープ音などに置き換えた編集音声を出力する。

【0045】

音声翻訳モデル１３１は編集音声を配信部１１ｇへ出力する。配信部１１ｇはモデリング処理部１１ｃが出力した３次元画像と、音声翻訳モデル１３１が出力した編集音声とを結合したストリームデータを、待機者端末へ配信する。

【0046】

本実施の形態は、実施の形態１と同様に、相談窓口に並んでいる待機ユーザは、相談窓口にて話されている対話音声を聞くことが可能であり、相談者は、相談内容を待機ユーザに聞かれてしまうものの、プライバシー情報がマスクされ、待機ユーザに聞かれないので、安心して相談することが可能となる。実施の形態１における解析部１１ｅ及び音声出力部１１ｆによる処理の場合、処理に要する時間が必要であるため、出力に遅れが生じるが、音声翻訳モデル１３１を利用した場合は、ほとんど遅れを生じることなく処理が可能である。

【0047】

（実施の形態３）
本実施の形態は、待機ユーザが、聞きたいことを登録すると、似ている内容を話している相談音声が聞こえてくる機能に関する。図９は題目ＤＢの例を示す説明図である。題目ＤＢ１２６は相談窓口で話されている題目を記憶する。題目ＤＢ１２６は窓口番号列、大項目列、中項目列、小項目列、対象列及びタグ列を含む。窓口番号列は相談窓口を特定可能な窓口番号を記憶する。大項目列、中項目列及び小項目列はそれぞれ対話の内容を端的に示す項目を記憶する。対象列は内容がどのようなユーザに適しているかを記憶する。例えば、対象列は、初心者、初級者、中級者、上級者を記憶する。タグ列は対話の内容をより具体的に示す文字列、いわゆるハッシュタグを記憶する。大項目列、中項目列、小項目列、対象列及びタグ列は、窓口担当者が適宜入力した値を記憶する。なお、タグ列の値は、解析部１１ｅが設定してもよい。また、題目ＤＢ１２６は、直近の（例えば直近５分の）対話音声を文字列に変換した対話文字列を記憶してもよい。

【0048】

図１０は音声変更処理の手順例を示すフローチャートである。待機ユーザは聴きたい内容（属性）を検索するための条件を設定する。ユーザ端末３の制御部３１は検索条件を受け付ける（ステップＳ２１）。制御部３１は検索条件をメタバースサーバ１へ送信する（ステップＳ２２）。メタバースサーバ１の処理部１１は検索条件を受信する（ステップＳ２３）。処理部１１は題目ＤＢ１２６を参照し、待機ユーザが検索条件にマッチする内容を話している相談窓口を検索し、ヒットしたか否かを判定する（ステップＳ２４）。処理部１１は検索がヒットしたと判定した場合（ステップＳ２４でＹＥＳ）、ユーザ端末３へ送信する音声をヒットした相談窓口の対話音声へ変更する（ステップＳ２５）。処理部１１は音声変更後のストリームデータの送信を開始し（ステップＳ２６）、処理を終了する。処理部１１は検索がヒットしなかったと判定した場合（ステップＳ２４でＮＯ）、ヒットした相談窓口がなかった旨の通知をユーザ端末３へ送信する（ステップＳ２７）。ユーザ端末３の制御部３１は、通知を受信する（ステップＳ２８）。制御部３１は通知を出力し（ステップＳ２９）、処理を終了する。通知は画像でもよいし、音声でもよい。

【0049】

本実施の形態においては、以下の効果を奏する。複数の相談窓口が設けられている場合において、対話音声の内容の検索が可能である。待機ユーザは動き回らなくとも、自分が聴きたい内容が話されている可能性が高い相談窓口の対話音声を聴くことが可能となる。

【0050】

全ての相談窓口において、待機ユーザが聴きたい内容が話されていない場合は、予め用意した過去の相談音声を、待機ユーザに提供するようにしてもよい。

【0051】

（変形例）
待機ユーザが聴きたい内容を検索するための条件を設定した場合、上述の音声変更処理を繰り返し実行してもよい。一人に相談ユーザが複数の題目について相談する可能性があるため、待機ユーザ聴きたい内容を話している相談窓口は、動的に変化する可能性がある。そこで、図１０において、メタバースサーバ１の処理部１１はステップＳ２６を実行後、処理をステップＳ２４へ戻すようにする。また、ステップＳ２７からステップＳ２９は実行せず、待機ユーザが聴きたい内容を話している相談窓口がない場合、待機ユーザが特定の相談窓口に並んでいたとしても、対話音声を待機ユーザには出力しないようにする。これによって、待機ユーザは自分の聴きたい内容が含まれるであろう対話音声のみを聞くことが可能となる。

【0052】

（実施の形態４）
本実施の形態は、相談窓口に並んでいる待機ユーザの並び順を変更する形態に関する。図１１は待ち行列ＤＢの例を示す説明図である。待ち行列ＤＢ１２７は各相談窓口に集まっているユーザの情報を記憶する。待ち行列ＤＢ１２７は窓口ＩＤ列、人数列、待ち時間列、着席列及び待ち列を含む。窓口ＩＤ列は相談窓口を特定する窓口ＩＤを記憶する。人数列は相談待ちをしている待機ユーザの数を記憶する。待ち時間列は相談できるまでの平均待ち時間を記憶する。着席列は相談窓口に着席し、相談をしている相談ユーザのユーザＩＤを記憶する。待ち列は相談待ちをしている待機ユーザのユーザＩＤを、並び順に従って、記憶する。

【0053】

図１２は待ち行列更新処理の手順例を示すフローチャートである。行列更新処理は相談窓口の待ち行列へ新たなユーザが加わった場合、又は、並んでいるユーザが待ち行列から離脱した場合に実行される。ユーザは新たに待ち行列に加わる場合、相談窓口を指定する。ユーザ端末３の制御部３１は指定を受け付ける（ステップＳ４１）。ユーザは並んでいる行列から離脱する場合、その旨を入力する。制御部３１は離脱する旨を受け付ける（ステップＳ４１）。制御部３１はユーザＩＤ、窓口ＩＤ、及び、行列に加わるか／行列から離脱するかを示すフラグを含む更新情報を、メタバースサーバ１へ送信する（ステップＳ４２）。メタバースサーバ１の処理部１１は、更新情報を受信する（ステップＳ４３）。処理部１１はフラグを参照して、ユーザが行列に加わるのか否かを判定する（ステップＳ４４）。処理部１１は、ユーザが行列に加わると判定した場合（ステップＳ４４でＹＥＳ）、相談窓口に並んでいる待機ユーザのユーザＩＤを待ち行列ＤＢ１２７から取得する（ステップＳ４５）。取得したユーザＩＤそれぞれ、及び、行列に加わるユーザのユーザＩＤに対応付けられたランクをユーザＤＢ１２１から取得する（ステップＳ４６）。ランクに従って、並び順をソートする（ステップＳ４７）。処理部１１はソートしたユーザＩＤを、待ち行列ＤＢ１２７に記憶する。処理部１１はユーザに送信する通知を作成する（ステップＳ４８）通知は既に並んでいて、新たなユーザが加わったことにより、並び順が変わった待機ユーザへ送信する通知を作成してもよい。逆に、ランクの高いユーザが新たに加わったことにより、順番が繰り下がった待機ユーザが気分を害さないように、待ち行列の何番目に並んでいるかを、一切通知しなくともよい。処理部１１は作成した通知をユーザ端末３へ送信する（ステップＳ４９）。ユーザ端末３の制御部３１は通知を受信する（ステップＳ５０）。制御部３１は通知を表示し（ステップＳ５１）、処理を終了する。処理部１１は、ユーザが行列に加わらない、離脱すると判定した場合（ステップＳ４４でＮＯ）、待ち行列を更新する（ステップＳ５２）。処理部１１は、待ち行列ＤＢ１２７の待ち列に記憶しているユーザのユーザＩＤを削除する。処理部１１は通知を作成する（ステップＳ５３）。処理部１１はユーザが抜けることにより、並び順が繰り上がるユーザに対する通知を作成してもよい。処理部１１はステップＳ４９以降を実行する。

【0054】

本実施の形態においては、待ち行列に加わるユーザのランクによって、並び順をソートするので、ランクの高いユーザは待ち時間が短くなるという効果を奏する。

【0055】

待ち行列に加わったユーザに対しては、順番と予想待ち時間を通知してもよい。また、既に並んでいるユーザについても、ユーザが問い合せ操作をした場合に、同様な通知をしてもよい。また、何れの相談窓口にも並んでいないユーザ向けの情報として、各相談窓口の待ち行列の人数と平均待ち時間を表示する掲示板を設けてもよい。

【0056】

並び順の変更は、ユーザの状況に基づいて、変更してもよい。例えば、並んでいる全ユーザに時間的な余裕がどの程度あるのかを申告してもらう。待ち時間が余裕時間に比べて極端に短い、時間に余裕が無いユーザについては、時間的に余裕があるユーザよりも、合理的な範囲で順番を早めてもよい。

【0057】

ランク以外のユーザ属性により、ユーザを他の相談窓口に誘導してもよい。例えば、ユーザに身体障碍があり、メタバースにおいても配慮が必要な場合である。耳が聞こえにくいが目に問題がないユーザに対しては、文字情報を充実させる。有効であるならば、相談員が発する声の周波数を変え、ユーザが聞き取りやすい音声を提供してもよい。また、文字チャットで相談可能な相談窓口へ、ユーザを誘導してもよい。

【0058】

目が見えにくいが聴くことには問題がないユーザに対しては、音声情報を充実させる。弱視等で白黒反転表示（ダークモード表示）や文字拡大表示などすると、ユーザが読める場合、ダークモード表示、文字拡大表示となるように表示出力を変更、または、ユーザ端末３の表示モードを制御してもよい。また、音声によるコミュニケーションに長けた相談員が担当する相談窓口へ、ユーザを誘導してもよい。

【0059】

（表示例）
図１３はメタバース空間の例を示す説明図である。アバター１３０は待ち行列に並んでいない他のユーザを示す。掲示板１３４（モニタ）は相談窓口で話されている内容の話題を示す。話題の一つを選択すると、選択された窓口の対話音声を認識して得た文字列を表示してもよい。掲示板１３３は頻繁に相談される内容について話されている過去の対話音声を呼び出せるものである。ユーザが聞きたい話題を選択すると、対応する対話音声を聞くことができる。図１３には相談窓口Ｗ１、相談窓口Ｗ２が表示されているが、相談窓口は１つでもよいし、３つ以上でもよい。吹き出し１３２はユーザが聞いている、又はユーザに聞こえている音声を示す。吹き出し１３５は、他ユーザが発言していることを示すが、ユーザには聞こえていないことを示す。なお、吹き出し１３２及び１３５は、対話内容を端的に示すキーワード等を表示するようにしてもよい。待ち時間表示１３６は、各相談窓口に設けられ、待ち行列に並んだ場合に、相談できるまでの待ち時間を示す。待ち時間に加えて、現在、相談しているユーザが、どのくらいの時間、話しているかを表示してもよい。アバター１３７は待ち行列を作っている他ユーザを示す。なお、待ち行列の表示については、実際に並んでいるユーザ数よりも、多くのアバターを表示しておくことにより、ランクが高いユーザが割り込んだとしても、他の待機ユーザには気づかないようにしてもよい。掲示板１３４、掲示板１３３に表示する内容を他の表示形態で提示してもよい。漫画の吹き出しのような表示形態や、文字が空間に浮いているような表示形態でもよい。この場合、視認性を確保するために、文字の背景は半透明とするのが望ましい。

【0060】

その他の表示手法としては、活発に話されている相談窓口については、背景を赤色にする又は湯気のマークを表示してもよい。また、楽しげに話されている相談窓口について、背景をオレンジ色にする又はスマイルマークを表示してもよい。これらの判定は、対話音声を認識して得られる文字列に含まれる単語を用いる、又は、対話音声より相談者又は窓口担当者の感情分析の結果を用いる。

【0061】

また、対話の内容の分析結果や、相談者の感情分析の結果、他ユーザには聞かせるべきではないと判定された相談窓口については、非表示に切り替えてもよい。また、相談窓口を非表示にはしないが、他ユーザには相談音声を聞かせないようにしてもよい。

【0062】

プライバシー情報のマスクについて、音声コミュニケーションの場合を説明したが、その他のコミュニケーションについても、同様である。ユーザが聴覚障碍者である場合、相談窓口では文字チャットで相談するようにしても良い旨を述べたが、プライバシー情報を伏せ字にした上で、チャット内容を他のユーザに公開してもよい。さらに、視覚障碍者ユーザ向けに文字チャットの内容を音声合成技術により、会話音声に変換して提供してもよい。対話音声は、音声認識技術によりテキスト化し、プライバシー情報を伏せ字にした上で、テキストを聴覚障碍者ユーザへ提供してもよい。

【0063】

（秘匿レベルを用いた配信処理）
上述の実施の形態においては、プライバシー情報は一律にマスクするとしたが、対話音声を第三者には一切聞かれたくないと考えるユーザや、プライバシー情報を含めて対話音声の全てを第三者に聞かれても構わないと考えるユーザも想定し得る。以下、相談ユーザが予め設定した秘匿レベルを用いた配信処理に付いて説明する。上述したように、秘匿レベルはユーザＤＢ１２１の秘匿レベル列に記憶してある。図１４は配信処理の他の手順例を示すフローチャートである。図１４に示す配信処理は、図７に示した配信処理を変形したものである。以下の説明においては、図７と同様な処理については、説明を省略するか、簡略に説明する。メタバースサーバ１の処理部１１は、待機ユーザの位置を更新する（ステップＳ６１）。処理部１１は対象音声があるか否かを判定する（ステップＳ６２）。処理部１１は対象音声がないと判定した場合（ステップＳ６２でＮＯ）、処理をステップＳ６１へ戻す。処理部１１は対象音声があると判定した場合（ステップＳ６２でＹＥＳ）、対象となる対話音声に係る対話の一方当事者である相談ユーザを特定する（ステップＳ６３）。処理部１１は対象となる相談窓口の窓口ＩＤをキーに待ち行列ＤＢ１２７を検索し、ヒットしたレコードの着席列に記憶されたユーザＩＤを取得する。当該ユーザＩＤが相談ユーザを特定するユーザＩＤである。処理部１１は相談ユーザが設定した秘匿レベルをユーザＤＢ１２１から取得する（ステップＳ６４）。処理部１１は秘匿レベルが通常であるか否かを判定する（ステップＳ６５）。処理部１１は秘匿レベルが通常であると判定した場合（ステップＳ６５でＹＥＳ）、ステップＳ６６以降を実行する。ステップＳ６６からステップＳ７０は、それぞれ図７のステップＳ３からステップＳ７と同様であるから説明を省略する。処理部１１は秘匿レベルが通常でないと判定した場合（ステップＳ６５でＮＯ）、秘匿レベルがオープンであるか否かを判定する（ステップＳ７１）。処理部１１は、秘匿レベルがオープンであると判定した場合（ステップＳ７１でＹＥＳ）、取得した対話音声に何ら手を加えることなく、ステップＳ６９を実行する。処理部１１は、秘匿レベルがオープンでない、クローズと判定した場合（ステップＳ７１でＮＯ）、取得した音声を全てマスクした全マスク音声を生成する（ステップＳ７２）。マスク方法をビープ音への置換とすると耳障りが悪くなるので、無音とするのが望ましい。処理部１１は、音声のないストリーミングデータを作成する。

【0064】

図１４による配信処理により、相談ユーザによって、プライバシー情報の秘匿レベルを変更することが可能となる。なお、秘匿レベルをオープンにしているユーザには、インセンティブを付与してもよい。

【0065】

秘匿レベルは、第１アバター（相談ユーザ）の発言と窓口担当者の発言とで、それぞれ異なる設定を可能としてもよい。例えば、第１アバターの発言はクローズとするが、窓口担当者の発言はオープンとする設定である。それにより、対話内容をすべてクローズにする場合と比較して、第１アバターの秘匿レベルを確保しつつ、窓口担当者の発言をオープンとするので、第２アバター（待機ユーザ）への情報提供が可能となる。

【0066】

各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【0067】

以上の実施の形態１乃至４を含む実施形態に関し、さらに以下の付記を開示する。

【0068】

（付記１）
メタバースにおけるサービス窓口でのサービス提供側アバターと第１アバターとの対話データを取得し、
前記サービス窓口に前記第１アバターに続いて並ぶ第２アバターに対し、前記対話データを編集した編集対話データを出力する
処理をコンピュータに実行させるプログラム。

【0069】

（付記２）
前記対話データに含まれるプライバシーデータを削除する編集を行い、前記編集対話データを生成する
付記１に記載のプログラム。

【0070】

（付記３）
前記第２アバターから希望する前記対話データの属性を受け付け、
前記サービス提供側アバターと前記第１アバターとの前記対話データより、受け付けた前記属性に対応する前記対話データを抽出し、
抽出した前記対話データに基づく前記編集対話データを生成する
付記１又は付記２に記載のプログラム。

【0071】

（付記４）
前記編集対話データを前記第２アバターに視認可能な状態で出力する
付記１又は付記２に記載のプログラム。

【0072】

（付記５）
前記第２アバターそれぞれの属性に基づいて、前記サービス窓口とは異なるサービス窓口への移動を促す表示を行う
付記１又は付記２に記載のプログラム。

【0073】

（付記６）
前記第１アバターを利用するユーザより予め受け付けた秘匿設定に基づき、前記編集により秘匿するプライバシーデータの秘匿レベルを変更する
付記１又は付記２に記載のプログラム。

【0074】

（付記７）
前記第１アバターに続いて並ぶ前記第２アバターが複数の場合、複数の前記第２アバターそれぞれの属性に基づいて、並び順を変更する
付記１又は付記２に記載のプログラム。

【0075】

（付記８）
メタバースにおけるサービス窓口でのサービス提供側アバターと第１アバターとの対話データを取得する取得部と、
前記サービス窓口に前記第１アバターに続いて並ぶ第２アバターに対し、前記対話データを編集した編集対話データを出力する出力部と
を備えるデータ提供装置。

【0076】

（付記８）
コンピュータが、
メタバースにおけるサービス窓口でのサービス提供側アバターと第１アバターとの対話データを取得し、
前記サービス窓口に前記第１アバターに続いて並ぶ第２アバターに対し、前記対話データを編集した編集対話データを出力する
処理を行うデータ提供方法。

【0077】

（付記９）
前記第１アバター若しくは前記サービス提供側アバターの音声レベルにより、又は、前記第２アバターと前記第１アバターとの距離に応じて削除レベル変更する
付記６に記載のプログラム。

【符号の説明】

【0078】

１００ ：相談窓口システム
１ ：メタバースサーバ
１１ ：処理部
１１ａ ：受付部
１１ｂ ：更新部
１１ｃ ：モデリング処理部
１１ｄ ：音声取得部
１１ｅ ：解析部
１１ｆ ：音声出力部
１１ｇ ：配信部
１１ｈ ：行列管理部
１２ ：記憶部
１２１ ：ユーザＤＢ
１２２ ：３ＤモデルＤＢ
１２３ ：画像ＤＢ
１２４ ：動画ＤＢ
１２５ ：パターンＤＢ
１２６ ：題目ＤＢ
１２７ ：待ち行列ＤＢ
１３１ ：音声翻訳モデル
１４ ：通信部
１Ｐ ：制御プログラム
２ ：窓口端末
２１ ：制御部
２２ ：主記憶部
２３ ：補助記憶部
２４ ：通信部
２５ ：入力部
２６ ：表示部
２Ｐ ：制御プログラム
３ ：ユーザ端末
３１ ：制御部
３２ ：主記憶部
３３ ：補助記憶部
３４ ：通信部
３５ ：表示パネル
３６ ：操作部
Ｂ ：バス
Ｎ ：ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】