特開 2024-39568 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024039568

(43)【公開日】2024-03-22

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G06Q 10/10 20230101AFI20240314BHJP

【ＦＩ】

G06Q10/10

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022144220

(22)【出願日】2022-09-10

(71)【出願人】

【識別番号】721005441

【氏名又は名称】高橋 健治

(72)【発明者】

【氏名】高橋 レオナ

(72)【発明者】

【氏名】高橋 健治

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA11

(57)【要約】

【課題】話者認識によりアバターの本人認証を行う情報処理装置及びプログラムを提供する。
【解決手段】メタバース上で表示される各アバターに関連付けられて予め登録されている本人の音声データとメタバース上で表示されるアバターを介してユーザから入力される音声データを比較して、当該アバターの本人認証を行う。
【選択図】図４

【特許請求の範囲】

【請求項1】

メタバース上で表示される各アバターに関連付けられて予め登録されている本人の音声データとメタバース上で表示されるアバターを介してユーザから入力される音声データを比較して、当該アバターの本人認証を行うことを特徴とする情報処理装置。

【請求項2】

メタバース上で表示されるアバター同士のコミュニケーションの際に、共通言語以外の言語が発話された場合に、共通言語に翻訳して当該コミュニケーションを継続することを特徴とする情報処理装置。

【請求項3】

メタバース上で表示されるアバターを操作するユーザ端末と情報通信するコンピュータを、メタバース上で表示される各アバターに関連付けられて予め登録されている本人の音声データとメタバース上で表示されるアバターを介してユーザから入力される音声データを比較するステップと、当該アバターの本人認証を行うステップと、して機能させるプログラム。

【請求項4】

メタバース上で表示されるアバターを操作するユーザ端末と情報通信するコンピュータを、メタバース上で表示されるアバター同士のコミュニケーションの際に、共通言語以外の言語が発話されたか否か判断するステップと、共通言語以外の言語が発話されたと判断された場合に共通言語に翻訳して当該コミュニケーションを継続するステップと、して機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

２０２０年から世界的に感染拡大したコロナによる影響で、学校や職場でもオンラインでの授業や仕事が行われるようになり、最近ではメタバース（仮想空間）上で授業や仕事ができる環境を提供する技術が存在する（例えば、特許文献１参照）。

【0003】

そして、コロナ感染防止の一つの対応策として、世界中の企業で在宅勤務（テレワーク）を奨励するようになり、現実空間とは異なるメタバース（仮想空間）上での多言語コミュニケーションが行われるようになった。

【0004】

更に、メタバース（仮想空間）上でのショッピングや娯楽等が広く提案されるようになってきた。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２-７８９３号公報

【特許文献2】特開２０１７-１６９８３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記先行技術の特許文献１に記載された技術では、現実空間の学校やオフィスにいるような環境でコミュニケーションを取り合うことができるが、メタバース（仮想空間）上でのアバター（分身）と本人が一致しているか確認することができなかった。すなわち、学校やオフィスにいる人のなりすましで他人がメタバース上の学校やオフィスに参加していてもわからないという本人認証の問題があった。今後、メタバース上でのショッピングや娯楽等での本人認証は大きな課題になる。更には、アバターを介しての多言語コミュニケーションが円滑に進まないため、現実世界の学校やオフィスにいる状態でのコミュニケーションと同じレベルのコミュニケーションを確保することは困難な状況にある。また、上記先行技術の特許文献２に記載された技術は、物理的なアバターロボットの周囲にいる対話者をNFC (Near Field Communication)やGPS (Global Positioning System)を使った対話者認識処理を用いて特定する技術を開示するが、対話者の発話から対話者が誰かを特定することはできなかった。

【0007】

本発明は、このような状況に鑑みてなされたものであり、より信頼性、利便性が高いコミュニケーションを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る情報処理装置は、メタバース（仮想空間）におけるアバター（分身）の本人から発話された音声と予め登録された各アバターの本人の音声を比較してアバターの本人認証を行うことを特徴とする。

【0009】

また、本発明に係る情報処理装置は、アバターを介して発話される音声が共通言語（例えば、英語）でない場合には、共通言語に翻訳して当該コミュニケーションを継続することを特徴とする。

【発明の効果】

【0010】

本発明によれば、メタバース上でのアバターの本人認証を可能とし信頼性の高いコミュニケーションを提供することができる。また、本発明によれば、メタバース上でのアバターを介して発話される音声が共通言語でない場合でもコミュニケーションの継続を可能とし利便性の高いコミュニケーションを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る情報処理システムを構成する第１ユーザー端末１０、第２ユーザー端末２０，サーバ３０のハードウエア構成の一例を示す図である。

【図2】本発明の一実施形態に係る情報処理システムを構成する第１ユーザ端末１０のディスプレイ等の表示部１６或いは第２ユーザ端末２０のディスプレイ等の表示部２６に表示されるアバター（分身）４０と第１ユーザ端末１０或いは第２ユーザ端末２０を操作する本人４１の関係を示す図である。

【図3】本発明の一実施形態に係る情報処理システムを構成するサーバ３０に記憶されている登録テーブルを示す図である。

【図4】本発明の一実施形態に係る情報処理システムを構成するサーバ３０で実行される本人認証処理プログラムのフローチャートである。

【図5】本発明の一実施形態に係る情報処理システムを構成する第１ユーザ端末１０のディスプレイ等の表示部１６或いは第２ユーザ端末２０のディスプレイ等の表示部２６に表示されるアバター（分身）４０を介して第１ユーザ端末１０或いは第２ユーザ端末２０を操作する本人４１に予め決められた挨拶の発話を促す場面を示す図である。

【図6】本発明の一実施形態に係る情報処理システムを構成するサーバ３０で実行される多言語コミュニケーションプログラムのフローチャートである。

【発明を実施するための形態】

【0012】

本発明の具体的な実施例について図面に基づいて説明する。

【0013】

まず、図１を参照して、本発明の一実施形態に係る情報処理システムのハードウエア構成について説明する。図１は、本発明の第一の実施の形態に係る情報処理システムを構成する第１ユーザー端末１０、第２ユーザー端末２０，サーバ３０のハードウエア構成の一例を示す図である。なお、ユーザー端末は２台に限定されることはなく、２台以上接続することは可能である。ユーザー端末１０は、CPUやGPUおよび半導体メモリを含むマイクロコンピュータ等で構成される制御部１１、ROM（Read Only Memory）１２、RAM（Random Access Memory）１３，マイク、スピーカー、カメラ、キーボード、マウス等で構成される入出力部１４、Bluetooth（登録商標）、Wi-Fi、LAN（Local Area Network）、インターネット等のネットワークを介してサーバ３０と通信する通信部１５，ディスプレイ等の表示部１６、バス１７を備えている。ROM１２に記憶されている不図示の通信プログラムを制御部１１が実行して、ユーザー端末１０を操作する本人の音声を入出力部１４を介して取得し、通信部１５を介してサーバ３０へ出力する。

【0014】

同様に、ユーザー端末２０は、CPUやGPUおよび半導体メモリを含むマイクロコンピュータ等で構成される制御部２１、ROM（Read Only Memory）２２、RAM（Random Access Memory）２３，マイク、スピーカー、カメラ、キーボード、マウス等で構成される入出力部２４、Bluetooth（登録商標）、Wi-Fi、LAN（Local Area Network）、インターネット等のネットワークを介してサーバ３０と通信する通信部２５，ディスプレイ等の表示部２６、バス２７を備えている。ROM２２に記憶されている不図示の通信プログラムを制御部２１が実行して、ユーザー端末２０を操作する本人の音声を入出力部２４を介して取得し、通信部２５を介してサーバ３０へ出力する。

【0015】

そして、サーバ３０は、マイク、スピーカー、カメラ、キーボード、マウス等で構成される入出力部３１、Bluetooth（登録商標）、Wi-Fi、LAN（Local Area Network）、インターネット等のネットワークを介してユーザー端末１０、ユーザー端末２０と通信する通信部３２，ディスプレイ等の表示部３３、CPUやGPUおよび半導体メモリを含むマイクロコンピュータ等で構成される制御部３４、ROM（Read Only Memory）３５、RAM（Random Access Memory）３６，バス３７を備えている。ROM３５に記憶されている各種プログラム（図４及び図６のフローチャートで示すプログラム）を制御部３４が実行して、ユーザー端末１０，ユーザー端末２０の表示部１６，２６表示されるメタバース（仮想空間）上のアバター（分身）を制御しながら当該アバターに関連付けられる本人の音声を取得して本人認証を実行する。また、ユーザー端末１０、ユーザー端末２０を操作する本人の言語識別処理、音声認識処理を実行して、共通言語に翻訳した音声やテキストを必要に応じて通信部３２を介してユーザー端末１０、ユーザー端末２０へ送信して各入出力部１４或いは２４で音声出力、表示部１６或いは２６でテキスト表示する。

【0016】

次に、図２、図３、図４を参照して、本発明の一実施形態に係るアバターの本人認証処理を説明する。図２は、本発明の一実施形態に係る情報処理システムを構成する第１ユーザ端末１０のディスプレイ等の表示部１６或いは第２ユーザ端末２０のディスプレイ等の表示部２６に表示されるアバター（分身）４０と第１ユーザ端末１０或いは第２ユーザ端末２０を操作する本人４１の関係を示す図である。第１ユーザー端末１０或いは第２ユーザー端末２０を操作するユーザー本人４１とその分身であるアバター４０が第１ユーザー端末１０の表示部１６及び第２ユーザー端末２０の表示部２６のメタバース（仮想空間）上に表示されている。そして、メタバース（仮想空間）に表示されているアバター４０と本人４１の本人認証処理を図３の登録テーブルと図４のフローチャートを参照して説明する。図３は本発明の一実施形態に係る情報処理システムを構成するサーバ３０に記憶されている登録テーブルを示す図であり、図４は本発明の一実施形態に係る情報処理システムを構成するサーバ３０で実行される本人認証処理プログラムのフローチャートである。例えば、本人４１が第１ユーザー端末１０或いは第２ユーザー端末２０を用いてメタバース上に表示されているアバター４０を特定領域（学校であれば指定されたクラス、職場であれば指定された会議室）へ移動させると、位置情報から当該移動を検知したサーバ３０の制御部３４がROM３５に記憶された本人認証処理のプログラム（図４に示すフローチャート）を実行する。なお、本人が操作している第１ユーザ一端末１０或いは第２ユーザー端末２０からアバターの位置情報をサーバ３０へ出力することでサーバ３０で当該移動を検知できる。

【0017】

なお、当該指定されたクラスや指定された会議室への入室を許可するアバターは図３の登録テーブルに予めアバターID、音声データ（予め決められた合言葉である挨拶など）、その特徴量（MFCC:メル周波数ケプストラム係数）、本人ＩＤが登録されている。すなわち、登録テーブルに登録されていない音声データ、特徴量のアバター或いは登録された音声データ、特徴量に一致（近似）しないアバターは本人認証されないので指定されたクラスや会議室に入れないことになり、その結果としてなりすましを防止できる。また、図２に示すメタバース上には一つのアバターだけでなく、ユーザー端末の数に応じた数のアバターが表示される。図３に示す通り、登録テーブルに１０個のアバターIDが登録されていれば、特定領域への入室を許可された１０個のアバターがデイスプレイに表示される。

【0018】

図４のステップS５０では、メタバース上に表示される本人認証要求に応じて予め決められた合言葉（例えば、「おはようございます」等の本人が発話した挨拶）の音声データとそのアバターIDが第１ユーザー端末１０或いは第２ユーザー端末２０のアバター４０を介してサーバ３０へ入力されたかを制御部３４が判断する。具体的には、アバター４０に関連付けられた本人認証情報（アバターIDと音声データの組み合わせ）が入力される。アバター４０のアバター登録情報として図３に示す通り、特定領域への入室を許可されるアバターの数に応じて、アバターID、予め決められた合言葉の音声データ、その特徴量、本人IDの組み合わせをテーブルとしてRAM36或いは不図示の不揮発性メモリに記憶しておく必要がある。

【0019】

つまり、ステップS50では、予め決められた合言葉の音声データ（本人が発話した「おはようございます」等の挨拶）とアバターIDが本人認証情報として通信部３２を介して入力されたか否か制御部３４が判断する。そして、ステップS51では制御部３４がステップS50で入力されたアバターに関連付けられた本人認証情報としての音声データから特徴量を抽出して話者認識処理を行う。当該話者認識処理とは、ユーザーである本人の声から個人を認識する（識別や認証）するコンピュータによる処理を示し、音声データから特徴量を抽出し、モデル化して、個人の声の認識を行う一般的な技術である。ここでは、予めテーブルに登録されている各アバターの特徴量と入力された音声データから抽出される特徴量を比較して一致或いは近似にあればアバターと本人の認証が一致したと判断（話者認識処理）される。なお、第１ユーザー端末１０或いは第２ユーザー端末２０から本人の音声データではなくその特徴量を計算してサーバ３０へ出力するようにしても良い。

【0020】

また、話者認識処理には、話者照合と話者認識に分けられるが、前者はある人物が本人の主張している通りの個人であるかを照合することであり、後者は誰だかわからない声をだれのものか識別することを示し、本願実施例では後者に該当する。また、予め決められた言葉は、日本語では「おはようございます」、英語であれば「Good Morning」と決めておけばよく、アバター40のメタバース上での位置情報から特定領域にアバター４０が近づいたか否かを制御部３４が判断して、近づいたと判断した場合に、図５に示すように「予め決められた挨拶を発話してください。」とメタバース上に表示してアバターの本人４１に発話を促すことができる。なお、予め決められた言葉として挨拶を選んだのは、コミュニケーションの始まりは挨拶から始まるものであり、メタバース上での課題であるコミュニケーションを改善するきっかけになると考えたためである。

【0021】

更に、セキュリティ強化のために、合言葉を複雑化して本人のみが知っている母親の旧姓などの合言葉にしてもよいし、合言葉を定期的に更新するように促しても良い。図５は、本発明の一実施形態に係る情報処理システムを構成する第１ユーザ端末１０のディスプレイ等の表示部１６或いは第２ユーザ端末２０のディスプレイ等の表示部２６に表示されるアバター（分身）４０を介して第１ユーザ端末１０或いは第２ユーザ端末２０を操作する本人４１に予め決められた挨拶の発話を促す場面を示す図である。

【0022】

ステップＳ５２では、ステップＳ５１で抽出した特徴量が予めテーブルに登録された特徴量に一致或いは近似のレコードがあればそのレコードのアバターID、本人IDと認識する。当該抽出された特徴量と一致或いは近似の特徴量を持つレコードのアバターIDが異なれば、本人認証はNGとなり、なりすましと判断されてメタバース上でのアバターの特定領域への入室は許可されない。また、当該抽出した特徴量に近いものがなければ事前にテーブルに登録されていない部外者が入室を試みているので同様に特定領域への入室は許可されない。つまり、アバター４０に関連付けて予めテーブルに登録されている音声パターンの特徴量と一致或いは近似して同じアバターIDであれば、第１ユーザー端末１０或いは第２ユーザ端末２０を介してアバター４０の本人認証情報を入力（合言葉を発話）したユーザーは本人４１であると認証されて本人認証（話者認識認識）が終了する。ここで、メタバース上に表示されているアバター４０の特定領域（学校であれば指定されたクラス、職場であれば指定された会議室）への入室が許可されるので、メタバース上でのセキュリティ強化に繋がる。

【0023】

メタバース上でのアバター４０の特定領域として、学校であれば指定されたクラス、職場であれば指定された会議室を例示したが、今後のメタバースのビジネス展開によっては仮想空間上でのショッピングの際に、レジにアバターが近づくと支払い画面へ移行し、クレジットカードの暗証番号入力や指紋認証による本人認証に代わりにアバターの話者認識による本人認証を導入することができる。

【0024】

今後のメタバースの発展を予測すると、メタバース上でのショッピングに加えてメタバース上での空間所有権の取引も仮想通貨で行われる可能性が高いが、その時代への移行期間として現実空間での商取引、すなわち、クレジットカード等での決済が継続すると考えるので、ユーザーの音声だけで低コストで本人認証ができてセキュリティを維持できる効果は大きいです。現実空間で行われている暗証番号入力ではセキュリティが弱く、空港などで使われているアイリス（虹彩認識）、指紋認証を使うとなると導入コストが高くなりメタバース上で導入障壁になる。スマホやＰＣに予め備えられているマイクやスピーカーを使い、話者認識のソフトと組み合わせるだけで低コストで本人認証が可能になる効果は大きいです。以上の通り、メタバース上でのアバターの本人認証を可能とし信頼性の高いコミュニケーションを提供できる。

【0025】

図６は、本発明の一実施形態に係る情報処理システムを構成するサーバ３０で実行される多言語コミュニケーションプログラムのフローチャートである。図１に示すユーザー端末１０、ユーザー端末２０を介して、それぞれのユーザー本人とアバターの本人認証が終了した後(図4のフローチャートに示すプログラムを実行した後）、メタバース上でのアバターを介して発話される言語が共通言語でない場合でもコミュニケーションの継続を可能とし利便性の高いコミュニケーションを提供する。ステップS60で制御部３４はユーザー端末１０或いはユーザ端末２０を介して本人の音声データが入力されたか否かを判断し、当該音声データが入力された場合にはステップS62で言語識別処理を実行してユーザが何語を話しているかを判断します。なお、音声データの入力がない場合には当該プログラムをステップS61で終了する。

【0026】

そして、ステップS６３で予めメタバース上で設定されている共通言語である英語が使われているか判断し、英語であればステップS６４でアバター同士の会話を継続してコミュニケーションを維持してステップS60へ戻る。ステップS63で共通言語ではないと判断すると、制御部３４はステップS65で音声認識処理を実行して共通言語（英語）ではない他言語を共通言語に翻訳する。なお、言語識別に必要な発話（音声データ）の特徴を精度よく抽出し、かつ、高速演算できるニューラルネットワークを活用して数秒程度の短い発話でも即座に識別できる技術が開発されており、ステップS62における言語識別処理、ステップS65における音声認識処理に応用することができる。なお、メタバース上で設定される共通言語はユーザーがグローバルな環境にいる場合には英語、日本人のみの環境の場合には日本語に予め設定できる。

【0027】

次に、ステップS６６で制御部３４は、メタバース上で多言語コミュニケーションの際に、共通言語以外の言語の出力モードが表示モードに設定されているかを確認する。ステップS66で表示モードの場合にはステップS６５で翻訳した共通言語（英語）を第１ユーザ端末１０の表示部１６，第２ユーザ端末２０の表示部２６にステップS68 で表示する。これにより、アバターを介して共通言語以外の言語が発話されても共通言語に翻訳して表示することでアバター同士のコミュニケーションを継続することができる。また、ステップS66で表示モードではないと判断した場合には、制御部３４は翻訳した共通言語（英語）の音声データをステップS67で第１ユーザー端末１０，第２ユーザ端末２０に送信して各端末のスピーカーで出力する。これにより、アバターの本人が翻訳した英語を認識することでコミュニケーションを継続することができる。

【0028】

以上のように、本発明によれば、話者認識処理を実行することでアバターの本人認証を行い、更に、共通言語以外の言語でアバターを介してユーザー本人が会話をしても翻訳した共通言語を表示或いは発話することで多言語コミュニケーションを円滑に継続することができる。共通言語である英語でコミュニケーションをしている過程で英語で表現できない場面に遭遇しても母国語で発話すれば音声認識で翻訳された共通言語が表示或いは発話されるのでコミュニケーションを継続することができる。今後のメタバースのビジネス展開によっては仮想空間上での商取引の際に、スマホやＰＣに予め備えられているマイクやスピーカーを使い、話者認識処理、言語識別処理、音声認識処理のソフトウエアと組み合わせるだけで低コストで本人認証が可能になり、コミュニケーションの継続性を維持できる。

【産業上の利用可能性】

【0029】

本発明の構成は上記の通り、メタバース上でのアバターの本人認証を可能とし信頼性の高いコミュニケーションに関する技術を提供することができる。また、本発明によれば、メタバース上でのアバターを介して発話される音声が共通言語でない場合でもコミュニケーションの継続を可能とし利便性の高いコミュニケーションに関する技術を提供することができる。

【符号の説明】

【0030】

１０ 第１ユーザ端末
１１ 制御部
１２ ROM
１３ RAM
１４ 入出力部
１５ 通信部
１６ 表示部
１７ バス
２０ 第２ユーザ端末
２１ 制御部
２２ ROM
２３ RAM
２４ 入出力部
２５ 通信部
２６ 表示部
２７ バス
３０ サーバ
３１ 入出力部
３２ 通信部
３３ 表示部
３４ 制御部
３５ ROM
３６ RAM
４０ アバター
４１ 本人

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】