特開 2024-161857 仮想通信端末、仮想通信管理サーバ、仮想通信管理システム、仮想通信プログラムおよび仮想通信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161857

(43)【公開日】2024-11-20

(54)【発明の名称】仮想通信端末、仮想通信管理サーバ、仮想通信管理システム、仮想通信プログラムおよび仮想通信方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20241113BHJP

   G06T 7/20 20170101ALI20241113BHJP

【ＦＩ】

G06Q50/10

G06T7/20 300B

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023076965

(22)【出願日】2023-05-08

(71)【出願人】

【識別番号】517334654

【氏名又は名称】株式会社ＫＯＩＫＯＩ

(74)【代理人】

【識別番号】100187104

【弁理士】

【氏名又は名称】乾 智彦

(72)【発明者】

【氏名】森本 猛

【テーマコード（参考）】

5L049

5L050

5L096

【Ｆターム（参考）】

5L049CC11

5L050CC11

5L096CA02

5L096DA02

5L096FA09

5L096GA06

(57)【要約】

【課題】２以上の利用者間でアバター間通信する際、利用者の映像や音声を解析し、相手とのコミュニケーション解析結果をアバターにＣＨＡＩＮする。
【解決手段】本発明の通信システムは、利用者Ａが利用する携帯情報端末に表示するアバターＢ、利用者Ｂが利用する携帯情報端末に表示するアバターＡ、およびどの利用者間でアバターを利用して通信しているかを管理する、利用者管理サーバなどから構成される。利用者ＡとＢは、お互いの携帯情報端末でアバターが表示された画面を確認しながら、相手の音声と映像に基づくアバターの動きを同期させてアバター間コミュニケーションを行うシステムである。利用者管理サーバは、携帯情報端末又は解析サーバから身体の特徴点を受信し、音声の抑揚などから利用者ＡおよびＢの感情を推測し、所定の条件を満たしたときに、アバターＡおよび／またはＢを更新する。
【選択図】図１

【特許請求の範囲】

【請求項1】

発信者が１以上の受信者と仮想通信対象情報を介して通信する仮想通信端末であって、前記通信に対する所定の条件に基づき前記情報を交換する交換手段と、仮想通信の内容に基づき話し手の前記情報と聞き手の前記情報とを連結する連結手段と、１以上の連結された前記情報に基づき交換前の前記情報を更新する手段を有する、ことを特徴とする仮想通信端末。

【請求項2】

前記交換手段は、予め記憶された前記情報の選択に対応した１又は複数の受信者と前記情報を交換する手段と、前記更新手段は前記通信内容の分析結果に応じて更新する、ことを特徴とする請求項１に記載の仮想通信端末。

【請求項3】

前記連結手段は、聞き手の動作又は声に対する話し手の動作又は声の特徴点の変化から話し手の感情を推定する解析手段を更に備え、前記通信内容の解析結果を各々の前記情報と連結する、ことを特徴とする請求項１又は２に記載の仮想通信端末。

【請求項4】

前記更新手段は、少なくとも２以上の話し手と聞き手がそれぞれ保存する前記情報の差分を吸収するよう更新する、ことを特徴とする請求項１又は２に記載の仮想通信端末。

【請求項5】

前記差分の吸収は、前記情報に含まれるオブジェクトの特徴点が共通となるよう更新する、ことを特徴とする請求項４に記載の仮想通信端末。

【請求項6】

仮想通信対象情報を介して発信者と受信者との仮想通信を管理する仮想通信管理サーバであって、前記仮想通信に関する利用者情報および許可条件を前記情報として予め記憶する手段と、前記発信者からの仮想通信要求に含まれる通信条件と、前記受信者の通信許可条件に応じて前記発信者および／又は受信者の端末に仮想通信の開始を働きかける通信手段と、発信者の前記情報には受信者の前記通信内容を、受信者の前記情報には発信者の前記通信内容を相互に連結しながら仮想通信を継続するデータ処理部を有する、ことを特徴とする仮想管理サーバ。

【請求項7】

２以上の仮想通信端末と、前記端末間で仮想通信対象情報を介して仮想通信を管理する管理サーバからなる仮想通信システムであって、前記仮想通信端末は、前記仮想通信に対する所定の条件に基づき前記情報を交換する交換手段と、発信者の前記情報を受信者の前記情報と連結する連結手段とを有し、前記管理サーバは、発信者の前記情報には受信者の前記通信内容を、受信者の前記情報には発信者の前記通信内容を相互に連結しながら仮想通信を継続するデータ処理部と、前記仮想通信端末および／又は前記管理サーバは、１以上の連結された前記情報に基づき双方の前記情報を更新する手段を有する、ことを特徴とする仮想通信システム。

【請求項8】

２以上の仮想通信対象情報間における仮想通信方法であって、前記通信に対する所定の条件に基づき前記情報を相互に交換し、仮想通信の内容に基づき前記情報を相互に連結し、１以上の連結された前記情報に基づき交換前の前記情報を更新する、ことを特徴とする仮想通信方法。

【請求項9】

前記所定の条件は、利用者が相互に独身証明に関する認証を得ていること、を特徴とする請求項８に記載の仮想通信方法。

【請求項10】

２以上の仮想通信端末間で仮想通信対象情報を介した通信を行う仮想通信プログラムであって、前記端末のプロセッサに対し、前記通信に対する所定の条件に基づき前記情報を交換させ、仮想通信の内容に基づき発信者の前記情報を受信者の前記情報と連結させ、１以上の連結された前記情報に基づき交換前の前記情報を更新させる、よう機能することを特徴とする仮想通信プログラム。

【請求項11】

前記交換は、予め記憶された前記情報の選択に対応して、１又は複数の仮想通信対象と前記情報を交換させ、前記更新は前記通信内容の分析結果に応じて更新するよう、前記プロセッサに動作させることを特徴とする請求項１０に記載の仮想通信プログラム。

【請求項12】

前記連結は、更に受信者の動作又は声に対する発信者の動作又は声の特徴点の変化から発信者の感情を推定させ、前記通信内容の解析結果を受信者の前記情報と連結させる、ことを特徴とする請求項１０又は１１に記載の仮想通信プログラム。

【請求項13】

前記更新は、少なくとも２以上の発信者と受信者がそれぞれ保存する前記情報の差分を吸収するよう更新することを特徴とする請求項１０乃至１１に記載の仮想通信プログラム。

【請求項14】

前記差分の吸収は、前記情報に含まれるオブジェクトの特徴点が共通となるよう更新することを特徴とする請求項１３に記載の仮想通信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、利用者の端末などから入力された利用者に関する情報を、コミュニケーションサービスに反映する仮想通信端末、仮想通信管理サーバ、仮想通信管理システム、仮想通信プログラムおよび仮想通信方法に関する。

【背景技術】

【0002】

特許文献１に記載の技術において、仮想的なキャラクター（アバター等）を表示させるアプリケーションにおいて、演者に関連する複数の特定部分の各々の変化量を取得し、その変化量に基づく各々の第１スコアの合計に基づく第２スコアが閾値を上回るときに、演者により表現された感情として、そのキャラクターに印象的な表情を表現させることが記載されている。このシステムにより、演者が表現しようとする表情を簡易な手法により仮想的なキャラクターに表現させることができる。

【0003】

また、特許文献２に記載の発明において、ユーザ端末で動作するイメージセンサを通じてプロフィール画像として撮像した顔写真から機械学習データを利用して性別などを自動判定し、出力された性別に応じて受信されたイメージをモニタリングシステムに表示することが開示されている。このシステムにより、匿名ビデオチャットサービスを使用するユーザが有し得る相手の性別に対する不信を最小化または解消させることができる。

【0004】

また、非特許文献１に記載のサービスにおいて、アプリケーションにおいて表示される仮想的なキャラクターの表情を演者の表情に基づいて制御する技術を利用したサービスとしては、まず「ＬＩＮＥ（登録商標）アバター」と称されるサービスが知られている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２３－１５０７４号公報

【特許文献2】特開２０２１－７２１１９号公報

【非特許文献】

【0006】

【非特許文献1】“ＬＩＮＥアバターの作り方・遊び方”、２０２２年６月１５日、ＬＩＮＥ Ｃｏｒｐｏｒａｔｉｏｎ、[２０２３年２月１日検索]、インターネットＵＲＬ（ｈｔｔｐｓ：//ｇｕｉｄｅ.ｌｉｎｅ.ｍｅ/ｊａ/ａｃｃｏｕｎｔ－ａｎｄ－ｓｅｔｔｉｎｇｓ/ａｃｃｏｕｎｔ－ａｎｄ－ｐｒｏｆｉｌｅ/ａｖａｔａｒ.ｈｔｍｌ）

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記従来技術においては、ユーザの端末で動作するイメージセンサを通じて撮像した顔などのデータを利用して抽出した特徴部分の変化を検出し、ユーザが利用するキャラクターイメージ（アバター等）に反映してモニタリングシステムに表示することはできるものの、アバター間の関係は全く考慮されておらず、あくまで話者とアバターが対となって利用者の顔などの表情を反映するものに過ぎず、コミュニケーションが終了すれば通常のアバターに戻ることになる。また、特許文献２においては、受信されたイメージを人工ニューラルネットワークモデルに入力し、受信されたイメージ内に含まれた顔に関連した性別を検証し、偽りの性別で活動するユーザを摘発することができるものの、ユーザが利用するキャラクターイメージ（アバター等）に反映するものではない。

【0008】

そこで本発明は、待ちきれない明日を創るために、仮想的なキャラクター（アバター等）間の関係を考慮して、話し手に関する情報を聞き手の仮想通信対象に連結、即ちＣＨＡＩＮすることができる仮想通信端末、仮想通信管理サーバ、仮想通信管理システム、仮想通信プログラムおよび仮想通信方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の請求項１、７、８および１０に係る仮想通信端末、仮想通信システム、仮想通信方法および仮想通信プログラムは、仮想通信に対する所定の条件に基づき仮想通信対象情報を交換する交換手段と、仮想通信の内容に基づき発信者の仮想通信対象情報と受信者の仮想通信対象情報とを連結する連結手段と、１以上の連結された仮想通信対象情報に基づき交換前の仮想通信対象情報を更新する手段を有する、ことを特徴とする。

【0010】

また、本発明の請求項２および１１に係る仮想通信端末および仮想通信方法の連結手段では、予め記憶された仮想通信対象情報の選択に対応した１又は複数の受信者と仮想通信対象情報を交換する手段と、更新手段は仮想通信内容の分析結果に応じて更新する、ことを特徴とする。

【0011】

また、本発明の請求項３および１２に係る仮想通信端末および仮想通信方法の連結手段では、聞き手の動作又は声に対する話し手の動作又は声の特徴点の変化から話し手の感情を推定する解析手段を更に備え、前記通信内容の解析結果を各々の前記情報と連結する、ことを特徴とする。

【0012】

また、本発明の請求項４および１３に係る仮想通信端末および仮想通信方法の更新手段では、少なくとも２以上の話し手と聞き手がそれぞれ保存する仮想通信対象情報の差分を吸収するよう更新する、ことを特徴とする。

【0013】

また、本発明の請求項５および１４に係る仮想通信端末および仮想通信方法の更新手段では、仮想通信対象情報に含まれるオブジェクトの特徴点が共通となるよう更新する、ことを特徴とする。

【0014】

また、本発明の請求項６に係る仮想通信管理サーバは、仮想通信に関する利用者情報および許可条件を仮想通信対象情報として予め記憶する手段と、発信者からの仮想通信要求に含まれる通信条件と、受信者の通信許可条件に応じて発信者および／又は受信者の端末に仮想通信の開始を働きかける通信手段と、話し手の仮想通信対象情報には聞き手の仮想通信内容を、聞き手の仮想通信対象情報には話し手の仮想通信内容を相互に連結しながら仮想通信を継続するデータ処理部を有する、ことを特徴とする。

【0015】

また、本発明の請求項９に係る仮想通信方法の所定の条件として、利用者が相互に独身証明に関する認証を得ている、ことを特徴とする。

【発明の効果】

【0016】

請求項１、７、８および１０に記載の発明によると、所定の条件に基づき仮想通信対象情報を交換、発信者の仮想通信の内容を受信者の仮想通信対象情報と連結し、１以上の連結された仮想通信対象情報に基づき交換前の仮想通信対象情報を更新することで、仮想通信者間の仮想通信の内容を相互に仮想通信対象に対して連結し、仮想通信対象情報を相互の会話内容に沿ってイメチェン、即ち更新することができ、利用者間の関係性を容易に確認することができる。

【0017】

また、請求項２および１１に記載の発明によると、予め記憶された仮想通信対象情報の選択により仮想通信対象として１又は複数の受信者との仮想通信対象情報の交換がされるので、特に三者以上の仮想通信を始める際の受信者の指定を効率的に行うことができる。

【0018】

また、本発明の請求項３および１２に記載の発明によると、聞き手の動作又は声に対する話し手の動作又は声の特徴点の変化から話し手の感情を推定させ、通信内容の解析結果を各々の仮想通信対象情報と連結させることから、より会話が発展するように仮想通信をすることができる。更に、相手との通信内容を喜怒哀楽の反応と共に相手の仮想通信対象と連結させることから、仮想通信終了後も相手の感情を含めて会話を確認することができる。

【0019】

また、本発明の請求項４および１３に記載の発明によると、少なくとも２以上の発信者と受信者がそれぞれ保存する仮想通信端末情報の差分を吸収するよう更新することから、お相手に対する好意や嫌悪などの感情から生じる仮想通信対象の変化が似てくることで、より利用者間のコミュニケーションの関係性を具体的に把握することができる。

【0020】

また、本発明の請求項５および１４に記載の発明によると、仮想通信対象情報に含まれるオブジェクトの特徴点が共通となるよう更新することから、あくまでも個々の仮想通信対象情報の全体の特徴は維持しつつも、更新が必要なパーツだけを効率的かつ低通信量で更新でき、更新処理による負荷を低減することができる。

【0021】

また、本発明の請求項６に記載の発明によると、仮想通信に関する利用者情報および許可条件を予め記憶しておき、発信者からの仮想通信要求に含まれる通信条件と、受信者の通信許可条件に応じて発信者および／又は受信者の端末に仮想通信の開始を働きかけることで、条件が異なる相手とも、都度、仮想通信を行うかどうか相手側の仮想通信対象情報を確認しながら、安心して仮想通信を行うことができる。

【0022】

請求項９に記載の発明によると、仮想通信の利用者が相互に独身証明に関する認証を得ていることを客観的に証明することにより、各種マッチングサービスで真剣な出会いを求めている利用者が安心して婚活などのマッチングを行うことができる。

【図面の簡単な説明】

【0023】

【図1】本開示の一態様におけるアバター間コミュニケーションシステムのネットワーク構成図である。

【図2a】映像解析を行わない一般的な携帯情報端末２００のハードウェア構成図である。

【図2b】映像解析を行う本発明の携帯情報端末２１０のハードウェア構成図である。

【図3】アバター配信サーバ３００のハードウェア構成図である。

【図4】利用者管理サーバ４００のハードウェア構成図である。

【図5】認証サーバ５００のハードウェア構成図である。

【図6a】映像および音声の解析を行う解析サーバ６００のハードウェア構成図である。

【図6b】音声のみ解析を行う解析サーバ６１０のハードウェア構成図である。

【図7a】本開示の一態様における情報サーバ装置側でアバター間通信を解析し処理するフロー図である。

【図7b】本開示の他の態様における携帯通信端末側でアバター間通信を解析するフロー図である。

【0024】

【図8】本開示の（ａ）利用者情報格納部４０２の利用者管理テーブル、（ｂ）アバター情報格納部４０１のアバター記憶テーブル図である。

【図9】本開示の（ａ）認証サーバ５００の包括同意条件記憶部５０２でアバターＩＤの利用者が設定した包括同意条件を記憶するテーブル図、（ｂ）解析データ記憶部６０２および／又は音声・アバター格納部２０２にて利用される音声・アバター記憶テーブル図、（ｃ）解析データ記憶部６０２および／又はデータ記憶部２０２にて利用される感情分析データ記憶テーブル図、（ｄ）解析データ記憶部６０２および／又はデータ記憶部２０２にて利用される会話分析データ記憶テーブル図、の具体例である。

【発明を実施するための形態】

【0025】

添付図面を参照しながら本発明の本質的部分を第一の実施形態を例に具体的に説明する。以降の説明で可能な場合には、同一部分には同一符号を付して、重複する説明を省略する。なお、仮想通信対象は必ずしもアバターに限定されず、仮想空間上で表現され得るオブジェクトや、会議室や建物などの仮想空間上の不動産や、自動車、自転車、飛行機などの動産を含んでも良く、実施例ではアバターと統一して説明するが、これに限られるものではないことは言うまでもない。

【0026】

また、仮想通信対象情報には、仮想通信対象を利用する利用者のプロフィール情報や、仮想通信の許可条件、他の仮想通信対象情報との仮想通信内容として連結された情報を含んでも良く、実施例ではアバターＩＤおよび利用者ＩＤによってテーブル化され、連結可能な情報として説明するが、これに限られるものではないことは言うまでもない。

【0027】

また、ＣＨＡＩＮという用語は、必ずしもコミュニケーションするアバター間の繋がりが連鎖・連携・接続・構築することに限定されず、アバターを利用する利用者間のコミュニケーションを円滑化するあらゆるアバターへの更新又は反映又はデフォルメを含む表現として本用語を定義する。

【実施例0028】

図１は、本開示の一態様におけるアバター間コミュニケーションシステム１００におけるネットワーク構成図である。図１に示されるとおり、このアバター管理システムは、携帯情報端末２００が通信網・ネットワーク１０２を介して情報配信サーバ１０１と通信を行い、利用者端末２００ａと２００ｂとの間でアバター間通信を担うアプリを配信するアバター配信サーバ３００、利用者で指定する所定の条件を証明する認証サーバ５００、アバター利用者の属性などを管理する利用者管理サーバ４００、およびアバター間通信をＡＩ解析する解析サーバ５００を含んで構成されている。

【0029】

なお、情報配信サーバ１０１を構成するアバター配信サーバ３００、利用者管理サーバ４００，解析サーバ、認証サーバ５００（認証サーバのみオプションサービスでより付加価値の高い利用許否を外部サーバとＡＰＩ連携などにより処理する場合には、情報配信サーバには含まれないが、一体として配信業者が構築しても良い）は、各々オンプレミス環境でサーバを構築する例を最も基本的な一態様として説明するがこれに限られるものではない。

【0030】

ＤｅｖＯＰＳによる仮想環境内に一体で理論的に区別し、可能性をオンプレミス環境と同程度かそれ以上の状況で、パブリッククラウドの利点を生かした構築手法でも良いことは言うまでもない。あくまで、リアルタイム性を求められる処理と不定期にアプリ配信を行う処理と運用の負荷の相違を考慮し、各々のサーバの役割毎のシステム環境構築を行うことを主眼として説明しており、運用とのバランスでいかようにも構築できることは言うまでもない。

【0031】

また、携帯情報端末２００はスマートフォンを例示しているが、タブレット端末、ノートパソコン、デスクトップパソコンなどのＦＡＴ端末の他、サーバ上で構成される仮想端末を携帯情報端末として利用しても良い。 携帯情報端末ａの画面上には利用者Ｂが利用するアバターが、携帯情報端末２００ｂの画面上には利用者Ａが利用するアバターが表示されていて、これらのアバターはアバター配信サーバ３００から配信されたアプリケーションを通じて携帯情報端末２００ａおよび２００ｂの画面にそれぞれ相手側が表示される。

【0032】

携帯情報端末ａのインカメラで利用者Ａを、携帯情報端末２００ｂのインカメラで利用者Ｂを撮像しており、一般的なビデオ通話の通信も可能な携帯情報端末である。なお、携帯情報端末２００はカメラなどの撮像手段を具備することを例にしているが必ずしも携帯可能な端末に限られるものではなく、例えば自宅の玄関に設置したカメラや防犯カメラと玄関の表示パネルやデジタルサイネージ端末との組み合わせなど、自宅や公共の場で各々が別の端末として機能していても良い。

【0033】

本発明では、後述するアバター間通信の所定の条件として、利用者の映像を相手方に表示せずに、相手方には予め選択されたアバターを表示して匿名でビデオ通話を可能とする。なお、一つの実施態様として個々の図面を参照しながら説明するが、必ずしも個々のサーバが別に構築する必要はなく、例えば認証サーバ１０１は利用者管理サーバ４００での認証・認可の処理の過程で一体に構築しても良く、アバター配信サーバ３００についても利用者管理サーバ４００や解析サーバ５００と一体に構築しても良いことは言うまでもない。以降は、アバター配信サーバ３００、利用者管理サーバ４００、認証サーバ５００、解析サーバ６００がどの様な構成で携帯情報端末２００とどの様に通信し処理するのかを具体的に説明する。

【0034】

次に、図２ａは本開示の一態様におけるアバター間コミュニケーションを円滑に行う映像解析を行わない携帯情報端末２００の構成図である。画面表示部２０１は、データ処理部３０５のデータ、例えば後述するアプリをダウンロードするサイトのデータや、ダウンロードした後にインストールされたアバターなどを表示する機能を有する。データ記憶部２０２は、ダウンロードされたアプリケーションやアバターを記憶し、自己が利用するアバターの情報を予め記憶している。通信部２０３は、アバター配信サーバ３００からアプリケーションをダウンロードし、アバター間通信を利用する際には利用者管理サーバ４００や認証サーバ５００と通信するなど、外部との通信を行う。

【0035】

入力データ同期部２０４は、音声入力部２０７の入力データと撮像部２０９から入力されたデータを解析サーバ６００により、後述する映像解析処理データとを同期させるための、一連の入力データにタイムスタンプを施す機能を有する。なお、このタイムスタンプは、少なくとも通信の相手方となる情報通信端末２００のアプリ間では同じ時刻を利用しており、（サーバ側では何ら解析等を行わずにアバター通信を行う場合は、最も低遅延でコミュニケーションができ、サーバ側のタイムスタンプとの同期を要しないため。）しかし、映像又は音声データの解析をサーバ側で行い、後述するアバターの動き情報と音声データとを同期させる場合は、各種サーバ間で共通する時刻を利用して、リアルコミュニケーションに近い形でできる限り同期精度を高めた方が良いことは言うまでもない。

【0036】

データ処理部２０５は、情報通信端末内の司令塔の役割を担っており、画面表示部２０１から撮像部２０９までの各構成要素であるモジュール間のデータ通信を、それぞれのデータの目的に応じて処理する機能を有する。キー入力部２０６は、画面に表示された選択項目などを利用者が入力したキー情報をデータ処理部２０５に受け渡す機能を有する。

【0037】

音声入力部２０７は、集音モジュールからなるマイク機能により利用者の音声を入力し、音声入力部２０８は、通話の相手となる利用者の音声や、アプリの所定の動作に応じた音声を出力する機能を有する。撮像部２０９は、ＣＣＤモジュールからなるカメラ機能により撮像した利用者の顔の表情や手や体の動きを映像化してデータ処理部２０５にデータを受け渡す機能を有する。

【0038】

次に、図２ｂは本開示の他の態様におけるアバター間コミュニケーションを円滑に行うために映像解析を行う携帯情報端末２００の構成図である。図２ａと比較して、音声入力部２０７および／又は撮像部２０９で撮像した利用者の音声および／又は映像を解析する音声・映像解析部２１９が新たに端末の構成要素として追加されている。図２ｂの携帯情報端末２１０では、音声・映像解析部２１９にて、利用者が話す会話の内容や音声の強弱やトーンを解析して利用者の感情を検出および／又は利用者の顔の表情や手や体の動きを映像に含まれる画像フレーム間の差分を解析して、顔や手の特徴点をモーションセンサーとして検出、する機能を有する。

【0039】

なお、顔や手の動きを忠実にアバターに反映するためだけでなく、顔の特徴点の変化に基づき、利用者の感情の変化などＡＩ解析技術を用いて検出する機能を有する。この機能は図２ａの携帯情報端末２００には含まれていないが、図２ａの場合は、映像解析部が解析サーバ６００に備わっており、同様に利用者の手や顔の動きをモーションキャプチャーし、感情の変化などを解析サーバ６００側で検出することから、クラウドＡＩにて、感情などを推察し、会話に比例して解析を重ねることで、利用者間のコミュニケーションの関係の深さを学習させることが出来る。追って、この解析結果を積み上げ・累積していくＣＨＡＩＮ構造テーブルなどは図８以降で詳細を説明する。

【0040】

更に、エッジＡＩとして携帯情報端末２００側で全ての音声および映像を解析して、アバターの動き情報や利用者の感情をアバターへ反映することによる効果は、ネットワーク間の通信量をビデオ通話より低減できることは言うまでもないが、利用者間のコミュニケーションをエッジ側で匿名加工した識別子などのデータに基づきやり取りすることで、通信の秘密を侵すことのできない配信事業者側でも、通信経路での会話分析を行うことなく解析結果を蓄積・保存し、利用者にサービス提供できる点である。

【0041】

この点は、筆頭発明者が特許を取得した特許６９６４１６０号の勤務管理システムにおけるオプションサービスにおいても同様であり、通信経路内でのログデータを収集するのではなく、利用者側の端末から本人同意のもとで収集された情報を活用して利用鞘に付加価値を提供すること自体は、今まで通信業界でタブーとされて敬遠されてきたが、会話も自分の意思と相手方の同意を基に分析して学習に利用していき、より良い人間関係を構築できる身近な存在となり得ると考えた。

【0042】

よって、筆頭発明者は電気通信事業者の絶対的な憲法である通信の秘密を考慮して、特定の人との会話の学習機能として、自身の会話内容と相手の受けた感情、又はその逆の、相手の会話内容から受けた自身の感情を純粋に記憶し、アバターに反映していくことのできる、次世代のアバター間コミュニケーションの提供を通して、世界中の人が、例えば日本語と英語、フランス語などの言語の壁を乗り越えて、会話内容と相手が感じた感情を共有・共感することが出来る世界を描くことが可能となる仕組みを構築できる。

【0043】

なお、言語の問題は翻訳ＡＰＩなどの高精度の通訳・翻訳技術を介在させ、音声を相手の言語に変換すれば良いことは言うまでもない。この場合は、音声から感情を解析する時に、並行して言語処理を行い、出力として相手の言語に返還後の音声と感情を重畳すれば良いことは言うまでもない。

【0044】

次に、図３は本開示の一態様におけるアバター間コミュニケーションを円滑に行うためのアプリケーションを配信する配信サーバ３００の構成図である。通信部３０１は、携帯情報端末２００や利用者管理サーバ４００、解析サーバ５００との間で通信する機能を有する。アプリ記憶部３０２は、本願のアバター間コミュニケーションを行うためのアプリケーションファイルを、携帯情報端末２００のＯＳ種別や機種、使用言語に対応するアプリケーションをそれぞれ記憶している。

【0045】

アプリ更新管理部３０３は、Ａｎｄｒｏｉｄ（登録商標） ＯＳやｉＯＳ、Ｗｉｎｄｏｗｓ （登録商標）ＯＳ等の使用言語や機種の毎に異なる図示しないそれぞれの配信サーバに対し、アプリの配信申請やファイル同期などを定期的又は機能追加や新規サービスリリース時に通信部３０１を介してデータ処理部３０５により処理する機能を有する。なお、アバター配信サーバ３００自体が、利用者からのダウンロードや更新を直接受信可能とし、それぞれのアプリケーションのバージョンアップや修正パッチなどをアプリのダウンロード要求の他にもアプリケーションの利用時に必要なダウンロードや更新を行っても良い。

【0046】

アバター記憶部３０４は、利用者がアプリ内で利用するアバターを構成するパーツを記憶し、利用者からの操作に基づいて記憶された顔（髪、輪郭、目、目尻、鼻、頬、口のパーツを含む）や体（手、肘、肩、胸元の体のパーツの他、着ている洋服やズボン、帽子、髪飾り、ピンバッチなどのパーツを含む）の形状パーツや色彩を選択して利用者自身のアバターをアバター作成部３０６できるよう、データを記憶している。なお、予め完成系としていくつか提供者側で作成したアバターをも記憶しておき、利用者がカスタマイズせずに直ぐにアバターを利用できるようにしても良い。また、アバターはコミュニケーションの間、モーションキャプチャーした動作をアバターに反映可能な３Ｄタイプでも良く、２次元の静止画であっても良い。

【0047】

データ処理部３０５はアバター配信サーバの各構成要素に命令を出し、各種データを処理・記憶させると共に、携帯情報端末２００、利用者管理サーバ４００、認証サーバ５００や解析サーバ６００とデータを送受信してアバター間コミュニケーションを中心的な処理を行う。それらの具体的なデータフローについては、図７ａおよび図７ｂにてデータの流れを含めて詳細に説明する。

【0048】

アバター更新処理部３０７は、アバター間コミュニケーションを行う利用者間での映像や音声から、コミュニケーションによって生じた感情や動作を各々解析し、個々の感情や動作を夫々が利用するアバターに更新処理する機能を有する。また、会話や会議の開始から終了までを総合的に解析して、利用者の関係性を踏まえて利用者間のアバターを更新するかどうかの判断を行う。アバター合成部３０８は、アバター更新処理部で利用者間のコミュニケーションが良好な会話と判断された場合に、一例として利用者のそれぞれが利用しているアバターのパーツの特徴部を夫々のパーツを合成し、より良好な会話が続いていく程、お互いのパーツの形状が類似する様な両パーツを似せる様な合成処理を行う。その他、両方のアバターの目尻を笑い顔となるように同じ更新処理を行うことでも構わない。

【0049】

本発明の本質的部分としては、従来技術では開示されていなかった、双方のコミュニケーションの結果を解析して各々利用するアバターに対して、相対的に又は同調的にアバターの画像や映像を解析結果により更新していく点にある。具体的には、後述する解析サーバの説明に譲るが、例えば異性の恋人を求める婚活中の男女が匿名でアバターを表示してお相手と話をした結果、笑顔や笑い声の検知が多かったと解析した次にまたお話したいとお互いが感じていたと解析できた場合に、アバター間通信アプリ内の通話履歴や連絡先一覧に表示される相手方のアバター名とアバターは、これらの解析結果が反映されていることが望ましい。

【0050】

この構成により、利用者間のアバターはＣＨＡＩＮされ、会話終了後に記憶したアバターの更新結果から会話の良好性を容易に確認することができる。また、良好でない結果となった場合でも、どの様な利用者の発言や動作によって、相手に負の感情を与えたのかなど、過去に会話した中から解析結果を表示できるため、以降の会話を行う前に自己の会話を反省することが可能となる。

【0051】

このことは、従来は各々のアバター間通信のみならず、ＳＮＳコミュニケーションアプリ提供会社や携帯電話会社が提供する電話帳アプリなど、連絡先情報の書誌事項（電話番号や氏名、誕生日、その他の個人情報を含む）を記憶して、会話の都度、利用者が選択するアバターや氏名を表示するのみに留まっていた。

【0052】

長年の通信の秘密という高いハードルの壁があり、変わることのなかった都度コミュニケーションの世界から、会話も人間関係と同じく良好化したり悪化したりする原因が、以前に会話した結果から生じうるものであり、利用者にとっての良し悪しを所定の条件として定めた上で、会話を評価して感情等の結果を蓄積していきアバターにその状態を反映させることができる。その結果、アバターの成長度をコミュニケーションの継続により成長させるこができる蓄積型コミュニケーションの世界へと発展していける、非常に斬新なかつ視認性のあるアバター間コミュニケーションを提供し、メールやＳＮＳで一方的に取るコミュニケーションの簡易的なコミュニケーションと比べて、より親密かつ利用者も学習が可能となる。

【0053】

課金管理部３０９は、アバターを利用者自身の動きを反映させ、合成処理や相手側利用者のアバターを携帯情報端末内に保存したい場合など、アプリ内で有料コンテンツやサービスを購入又は申し込むことにより、有料機能が利用できるようになる機能を有する。どのサービスやコンテンツを有料とするのか、無料で利用できるサービスやコンテンツとの差別化を検討するためには、想定利用者のニーズやシステム構築に要する費用の他、例えば一般的なアバター間コンテンツにおける課金有無など、自社サービスの付加価値による差別化が可能な内容をアプリ内課金等の従前にある仕組みを利用したり、自社独自のシステムを構築したり様々な提供形態があり、本願発明をより彩るビジネスモデルを別途検討する必要がある。

【0054】

次に、図４は本開示の一態様におけるアバター間コミュニケーションの利用者を管理する利用者管理サーバ４００の構成図である。アバター情報格納部４０１は、利用者がアプリ内で利用するアバターおよびアバターパーツの各々をオブジェクトとして、アバターの種別と其の組み合わせを識別符号で特定する情報を記憶している。アバター配信サーバ３００からアバター間コミュニケーションアプリをダウンロードした利用者が、初期設定でアバターのパーツを組み合わせて作成したアバターは、全て各パーツのオブジェクト識別符号の組み合わせで再現・記憶される。

【0055】

なお利用者は、本サービスを利用する際にはアバターを少なくとも１つ利用するが、例えば仕事用とプライベート用にそれぞれ異なるアバターを利用しても良く、利用者自身の趣味・興味に関するコミュニティオブジェクトに属する用に各々アバターを作成しても良い。この利用者管理サーバ４００では、利用者情報格納部４０２にて利用者を一意に識別するためのユーザＩＤと、ユーザＩＤに紐ついて少なくとも１つ以上のアバターで識別可能なテーブルを有する。なお、テーブル構成については図８にて詳細を説明する。

【0056】

認証処理部４０３は、携帯情報端末２００を利用する利用者が、予めアバターを初期設定した際の利用者と一致するかどうか、例えば初期設定時の顔画像の特徴点と、携帯情報端末２００から特定のアバターに対してコミュニケーション要求を受けた際に受信した認証対象の顔画像の特徴点を比較し、利用者本人かを認証する機能を有する。また、利用者から特定のアバターに通信要求があると、コミュニケーション可能な利用者かどうかを利用者情報格納部４０２又は認証サーバ５００に対して認証要求し、認可を与える機能を有する。

【0057】

コミュニケーション可能な利用者かどうかの判断は、後述する利用者テーブル構成に含まれる利用者の属性やコミュニケーションの目的、趣味や興味のある内容や、コミュニケーションの公開可否、公開範囲など、アバターのプロフィール情報として予め利用者又は会議やイベントなどの主催者が登録している。これらの情報と通信要求のあったアバターの利用者が条件を充足しているかを判断する機能を有する。なお、処理フローについては、図７ａおよび図７ｂにて詳細を説明する。

【0058】

データ同期部４０４は、利用者の動きを撮像部２０９で撮像した映像から、後述する解析サーバ６００にてモーションとしてアバターへの動き情報へ変換し、利用者の音声と表情と共に携帯情報端末に表示されるアバターに同期させる機能を有する。具体的には、携帯情報端末のデータ処理部２０５が利用者の音声が入力される時間を監視しており、音声入力部２０７で入力された利用者の音声データにタイムスタンプを付し、また撮像部２０９から連続して入力される撮像データの中から、音声開始の時刻から音声終了までの時刻に関する映像データとして、利用者が会話を開始した時刻と、同じタイムスタンプを付す。

【0059】

データ処理部４０５は、利用者管理サーバ内の司令塔の役割を担っており、アバター情報格納部４０１から通信部４０９までの各構成要素であるモジュール間のデータ通信を、それぞれのデータの目的に応じて処理する機能を有する。例えば、感情分析をしないモーションキャプチャーモードでコミュニケーションを行う場合には、これらの音声データやアバターへの動き情報は、それぞれの携帯情報端末２００に送信され、携帯情報端末の入力データ同期部２０４にてタイムスタンプが一致する音声データとアバターの動き情報が後述する解析データ合成部からの動き情報データを基に、入力データ同期部２０４の同期結果をデータ処理部２０５がアバターに反映して、恰もボディランゲージを伴って会話しているかのように画面表示部２０１に表示するよう制御する。

【0060】

なお、解析処理を解析サーバ側で行う一態様で説明したが、携帯情報端末２００にインストールしたアプリに同様の解析機能を持たせ、映像データの大容量のデータを通信し続けることなく、返還後のアバターへの動き情報を通信網・ネットワーク１０１や各種サーバを介して相手側の利用者に送信しても良く、より少ないデータ通信量で短遅延にてそれぞれの利用者のモーションを反映したアバター間通信が可能となることは言うまでもない。

【0061】

また、解析サーバの機能で詳細を後述するが、必ずしも映像データの解析が必要ではなく、特に同期による会話の間を短縮化したい場合には、予め利用者間でアバター間通信の解析対象データを選択し、一般的なアバター間通信（アバターは静止画像又は動きのある画像を表示したまま、音声を送受信する）で音声のみの会話であっても良い。また解析対象も映像データからのモーションキャプチャーのみアバターに反映しても良く、また、映像データからモーションキャプチャーと表情や感情などの解析をＯＮにしてアバターに反映しても良い。更には、音声データについても笑いの大きさや笑う声色から感情を解析して、映像データからの感情などの解析結果と共にアバターに反映しても良い。

【0062】

これらの解析対象データや解析設定情報、どのアバター種別に対して、どの様なコミュニケーションを許容・選択するかは利用者が利用管理サーバで予めアプリの設定画面を介して登録しておけばよいことは言うまでもない。例えば、メタバース空間での婚活においては、容姿を中心としない、その人の人間性や性格を重視した会話が重視されることから、より深い分析を映像および音声データから行い、またユーザから入力されたプロフィール情報なども活用・分析して、相性診断をアバター間通信の会話の発展状況から行っても良い。様々な応用がこのＡＩ解析には考えられるので、本願では幹となる実施形態を一態様として説明している。

【0063】

リアルの会話においても洞察力のある人しか勘が働かないような、同じ笑っていても素敵な笑顔なのと、何かをごまかそうとしている怪しい笑顔、造形じゃなくて表情や笑顔の微妙な違いから、ニコニコしているのとヘラヘラしているのを区別することを、人は何となく理屈抜きで感じ取ることが出来る人と、感じ取ることが難しい人に、経験の量や人生観、今までどう生きていたかなどで、どうしても分かれてしまう。特にコミュニケーション能力に自信のない人やコンプレックスを感じている人、耳の悪い人で何度も会話を聞き返してくる人など、本発明ではその様な方々が、自身を持って自分の人間性や素直な感情を表現できるコミュニケーションの世界を作り上げることができる。

【0064】

よって、アバターを介してのコミュニケーションのため、特に相手の容姿を重視する利用者の視点からは物足りないコミュニケーション手段と感じられる部分もあるかもしれない。しかし、人間関係は容姿やその場の誤魔化しで続くものではなく、発明と同じくその人の本質的部分がどこに内在するのか、いち早くアバターを介して知ることが出来、例え容姿が自分の理想に沿わなかったとしても、自分と相性の良い人とは、人間関係が長く続くのは言うまでもない。

【0065】

例えば会社でいえば異動で会社や職場環境が大きく変わって会えなくなった人や、一回りも年が違う人々ともジェネレーションギャップを感じさせない様な会話の相性の良い人とも、印象の深い会話や今までの会話で楽しかったことをアバターのコミュニケーション結果として蓄積していけば、そして、時間が経過しても後からその履歴を確認することが出来る仕組みが本発明で提供されるのだとしたら、また話をしたいし会いたい、お酒でも飲んで腹を待って話したい、というきっかけとなり得る。そういったコミュニケーションを増やしたい、そういう想いから本発明を創作するに至ったことは言うまでもない。

【0066】

人間だれしも、一緒にいて会話をして自分を理解してくれる人や相性の良い人とは、一緒に話していて楽しいし安心する面があり、またしゃべっているときの表情で安心を感じる人など、人それぞれの感じ方も多様化している。そのため、今後も人間性を重視した、より良いコミュニケーションを提供していきたいことは言うまでもない。そのための発明として本願を出願するに至った。

【0067】

さて、話を利用者管理サーバの構成の詳細説明に戻すが、解析データ合成部４０６は、利用者Aおよび／又はBの解析サーバ６００内の音声解析部６０８又は６１８からの感情解析データおよび／又は映像解析部６０９からの感情解析データを、利用者および感情種別ごとにカウントし、アバター間コミュニケーションの開始から終了までを集計した結果、良好なコミュニケーションだったのか、どちらのどの様な発言で笑いが多かったのかなど、ＡＩ解析結果を集計した上で、一例として会話成績として良好な利用者だった場合は、共にアバターも笑顔となるようにアバターの表情を更新する。

【0068】

同様に、音声解析部４０７では、通信部４０９を介して解析サーバ６００から受信したデータの中から、音声データに基づく利用者の感情解析データを利用者および感情種別ごとにカウントし、アバター間コミュニケーションの開始から終了までを集計した結果、良好なコミュニケーションだったのか、どちらのどの様な発言で笑いが多かったのかなど、ＡＩ解析結果を集計した上で、一例として会話成績として良好な利用者だった場合は、共にアバターも笑顔となるようにアバターの表情を更新する。

【0069】

所定の条件を満たす表情又は感情と一致する動き情報データかを判定し、所定の条件を満たした場合は、映像又は音声からＡＩ解析した表情や感情の解析結果データとデータ同期部４０４で付したタイムスタンプ情報を基に、所定の条件を満たす感情の機微が検出されたときには利用者が利用するアバターにそれぞれを同期させる機能を有する。

【0070】

具体的には、また映像解析部４０８からの表情および／又は感情解析データを、利用者Aおよび／又はＢの携帯情報端末２００ａおよび／又は２００ｂのデータ記憶部２０２に記憶されているアバターＢおよび／又はＡに合成するよう、携帯情報端末２００ａおよび／又は２００ｂのデータ記憶部２０２に記憶されたコミュニケーション相手のアバターに対するＣＨＡＩＮ情報として送信する機能を有する。

【0071】

こうして、会話の都度、モーションキャプチャーとしてアバターに反映するだけではく、例えば、会話全体を通して利用者間の感情がどの様にＡＩ分析されて行った結果、会話を重ねる度に、よりリアルの利用者の肖像画の様なアバターに成長させたり、利用者ＡとＢが似ても似つかないアバターを最初は利用していたとしても、会話を重ねるごとにそれらのアバター間の差分が解消されるよう、アバターの各パーツがお互いに類似する方向に更新されていき、結果、利用者のアバターがカップルの様に似てくる、など、会話の結果がその後のアプリにＣＨＡＩＮ情報として蓄積していく方法は無限に考えられ得る。

【0072】

よって、現代のＳＮＳやチャットなどの文字のみのコミュニケーションによる一方的なコミュニケーション方法により誹謗・中傷が生じてしまう弊害から逃れ、どの様に相手が感じるか分からない中でも良い会話にするよう会話を楽しんで相互にアバターの成長を視認しながら、相手の事を考えた会話を発展させることにつながることにより、利用者間の人間関係がアバターに反映され、良好な関係にお互いが努力していけることは言うまでもない。

【0073】

次に、図５は本開示の一態様におけるアバター間コミュニケーションの利用者を証明する認証サーバ５００の構成図である。認証サーバ５００は、利用者Ａが利用者Ｂとアバター間コミュニケーションを開始する際に、利用者Ａが利用者Ｂに望む会話許可情報、例えば映像および／又は音声の表情や感情の解析を許可するのか、また映像データからモーションキャプチャーをアバターに反映することを許可するのか、また会話の終了時にアプリ内に記憶する利用者Ｂのアバターに解析結果をＣＨＡＩＮさせることを許可するのかなど、予めアバターの初期登録時に利用者によって選択・決定されたアバター間コミュニケーションに関する包括同意条件を包括同意条件記憶部５０２に記憶している。

【0074】

認証判断部５０３は認証サーバの各構成要素に命令を出し、各種データを処理・記憶させると共に、携帯情報端末２００や利用者管理サーバ４００との間でデータを送受信してアバター間コミュニケーションの利用者を認証する中心的な処理を行う。具体的には、利用者Ａが利用者Ｂにアバター間コミュニケーションの通信要求を送信すると、利用者管理サーバを満たす利用者なのかを認証判断部５０２がまずは包括同意条件記憶部５０２に対し、利用者Ｂが利用者Ａの望むコミュニケーション方法を許可しているかどうか、テーブルを参照し確認する。

【0075】

例えば、利用者Ａは利用者Ｂに対し、利用者Bの映像および音声からモーションをアバターに反映することを許可し、更に顔の表情や感情を解析してアバターに反映するアバター間コミュニケーションを要求したとする。そこで、その要求に対し、利用者Ｂが設定したアバター間コミュニケーションの設定情報をテーブルから参照し、全て一致する場合は包括的に同意をしていると判断し、利用者ＡおよびＢ間のアバター間通信を開始する。

【0076】

一方で、その要求に対し、利用者Ｂが設定したアバター間コミュニケーションの設定情報の少なくとも１つが一致しない場合（例えば映像から感情を解析する機能はＯＦＦ設定となっているなど）は、包括的に同意をしているとはいえないと判断し、都度同意要求部５０４は携帯情報端末２００ｂの利用者Ｂに対し、感情分析機能ＯＮのアバター間通信要求がある旨を通信部５０１によりデータ送信する。なお、都度同意要求は、この例に限られるものではなく、過去に記録した当事者間のアバター間通信内容を会話当事者以外のＣＨＡＩＮ範囲のアバターから共有を受けるときに、会話当事者のそれぞれに対して都度同意を取る方法を採用して、より通信の秘密に対して十分な配慮を行った上で、会話の内容を共有するようにしても良いことは言うまでもない。なお、会話の内容種別や楽しいなどの感情種別、会話のコンボ回数など、直接の会話内容ではない情報であれば、通信の秘密には該当しない情報として取り扱うことのできる様に匿名加工化した上で、ＣＨＡＩＮ範囲に共有を行うようにしても良い。

【0077】

その都度同意要求を受けた携帯情報端末２００ｂの利用者Ｂは、画面上で映像から感情を解析する機能をＯＮにて利用者Ａとアバター間通信して良い旨を画面選択により行うと、その結果は認証サーバ５００の都度同意確認部５０５に送信され、認証判断部５０３は利用者Ａからのアバター間コミュニケーションを許可することで、利用者ＡおよびＢ間のアバター間通信が開始される。

【0078】

その他、利用者のプロフィール情報の少なくとも１つをアバター間コミュニケーションの許可条件として設定しても良く、アバター間通信条件に変えてまたは組合せて、例えば年齢、性別、職業、会話目的、趣味、独身証明書の有無などの少なくとも１つの条件を設定しても良いことは言うまでもない。なお、独身証明書とは、市町村役場又は区役所にて、婚姻届を提出していない、又は離婚届を提出した後に再度婚姻届を出していない場合に発行される証明書であり、利用者が役所へ行った書類をデータ化して証跡としてサーバに送信して独身であることを証明する条件データを登録しても良いことは言うまでもない。

【0079】

次に、図６ａおよび図６ｂは本開示の一態様におけるアバター間コミュニケーションを円滑に行うための音声および／または映像を解析する解析サーバ６００の構成図である。図６ａは解析サーバ６００の映像解析部６０９側で映像を解析するのに対し、図６ｂは携帯情報端末２１０の音声・映像解析部２１９にて利用者が話す会話の内容や音声の強弱やトーンを解析して利用者の感情を検出および／又はモーションキャプチャーや顔の表情や感情を映像から解析して利用者の動きや感情を検出、解析サーバ６００のアバターへの動き反映部６０４にて解析結果をアバターに反映する点で異なるが、各構成要素のほとんどは共通しており、同一付番にて説明を行う。

【0080】

音声・アバター格納部６０１は、通信部６０３を介して携帯情報端末２００から受信した、利用者が選択したアバターとアバター間コミュニケーションで発生した音声データを格納する機能を有する。解析データ記憶部６０２は、音声解析部６０８および／又は映像解析部６０９で解析した利用者の音声および／又は映像データに基づく利用者の顔の表情や感情の解析結果を記憶する機能を有する。

【0081】

通信部６０３は、携帯情報端末２００から利用者の音声データや映像データ、又は映像データをモーションキャプチャーした動き情報データを受信し、解析サーバ６００で解析した結果をアバター配信サーバ３００に送信して、コミュニケーションの最中にアバターの動きを反映させ、アバター間通信を終了する際には、利用者管理サーバ４００に対して会話中に生じた利用者毎の感情データや動きデータの解析結果を集計して、利用者管理サーバ４００へそれらの解析集計結果を送信するなど、外部との通信を行う機能を有する。

【0082】

アバターへの動き変換部６０４は、モーションキャプチャーを解析サーバ６００側で処理する場合に、映像解析部６０９で解析した映像データからアバターへの動き情報に変換処理する機能を有する。データ処理部６０５は解析サーバの各構成要素に命令を出し、各種データを処理・記憶させると共に、携帯情報端末２００、アバター配信サーバ３００や利用者管理サーバ４００とデータを送受信してアバター間コミュニケーションを中心的な処理を行う。

【0083】

アバター情報入力部６０６は、アバター通信を開始する際にそれぞれの携帯情報端末２００ａおよび２００ｂから最新のアバター情報と、利用者管理サーバ４００を介して受信したアバターへの動き変換部６０４から入力された動き情報が入力され、アバター情報に重畳し、音声・アバター格納部６０１へ格納すると共に、動きを反映済のアバター情報を携帯情報端末２００ｂおよび２００ａにそれぞれ送信する。

【0084】

音声解析部６０８は、携帯情報端末２００ａおよび２００ｂから受信した音声データをタイムスタンプ順に解析し、また映像解析部６０９は、携帯情報端末２００ａおよび２００ｂから受信した映像データをタイムスタンプ順に解析する機能を有する。本実施形態ではそれぞれの解析を別の構成要素で解析しているがこれに限られることはなく、音声と映像を一体で解析しても良く、また、外部のサーバとＡＰＩにてサービス連携を行っても良いことは言うまでもない。

【0085】

例えば、ＮＴＴレゾナント社が提供する「ＡＩ ｓｕｉｔｅ（登録商標）」ＡＰＩを利用し、音声と映像のうち感情が表れていると推定できる動作が多い時間帯や音声が会話全体の中で大きい部分や、音程が通常の会話よりも高いなど、解析したいターゲットとなる時間帯をタイムスタンプと入力信号から推察して、その部分を中心に精度良くＡＰＩ連携などにより高精度に解析を行っても良いことは言うまでもない。

【0086】

要は、本発明の本質的部分であるところは、音声や映像のそれぞれを解析する技術は様々なＡＩが登場しつつある現状であるが、会話というキャッチボールの中で夫々が発したり表現したりする音声や映像に移る表情や感情を点として捉えてアバターに端に表示するだけではなく、線として捉え国際通話を行っているときの様な間（いわゆる解析してアバターに反映するまでの時間）を用いて、利用者間の会話で生じた感情分析が可能になるということである。例えば、利用者Ａの会話内容や映像を利用者Ｂが見聞きして感じた感情を音声や表情、ボディランゲージなどの体現として関連付けし、「自分の発言等に対する相手の感情」を記録し蓄積することで、アバター情報にＣＨＡＩＮできるということである。

【0087】

この間は一見して会話を億劫にさせてしまうかもしれないが、実はこの間を利用してより相手を知ったり感じたりする手助けをする役割を持たせることが出来る。例えば、相手が喋っているときに自分の考えを忘れてしまいそうになり、引っ込み思案の人はそのまま相手の会話を聴講し過ぎて自分の意見や感情を伝えそびれてしまうことがある。また、せっかちな人は、つい会話に被せて自分の話をし始めてしまったり、相手の話を最後まで聞かずに自分の要件を中心に話を一方的にしたりしてしまう。

【0088】

こういった会話のバランスが悪いコミュニケーションでも、解析後のデータを同期して初めてアバターが動作し話始め、一方の会話が終わってから相手のアバターが話しかける様に同期・調整されるので、オンラインでの一方的な音声の重複や、ネットワークによる音声の聞き取り不足なども解消され、掛け合い型のコミュニケーションに整えるので、対等な会話が実現でき、コミュニケーションの不得手な方でも、アバターが調整する役割も持つことは言うまでもない。

【0089】

次に、図７ａおよび図７ｂは本開示の一態様におけるアバター間コミュニケーションの開始から終了までの処理フロー図である。図１の利用者Ａが利用者Ｂとアバター間コミュニケーションを行う前に、利用者Ａと利用者Ｂはそれぞれのタイミングで本発明のアプリケーションをアバター配信サーバ３００に対して取得要求してダウンロードする（Ｓ７０１、Ｓ７０２）。この時、先行してアバターを設定した利用者や、会議室やイベント会場などの仮想通信対象であるサーバ側に存在するアバター（パーツを含む）と共にデータ記憶部２０２に記憶する。その後、インストールを促す画面が表示され、画面の指示に従いアプリケーションをインストールする。

【0090】

それぞれインストールが完了したら、利用者Ａ、Ｂそれぞれの氏名、年齢、既婚／未婚、職業、趣味、アバター名などのプロフィール情報を登録すると共に、自身がアバター間通信で利用するアバターを設定する（Ｓ７０３、Ｓ７０４）。この初期設定が完了した利用者のプロフィールとアバター情報は、利用者管理サーバ４００の利用者情報記憶部４０２にも記憶することにより、既存のアバターとのアバター間コミュニケーションが可能となる。

【0091】

アバター設定の一態様としてアバター配信サーバと通信し、アバターを構成する要素として、アバター記憶部３０４に記憶されているオブジェクトから、利用者の操作に基づいて顔（髪、輪郭、目、目尻、鼻、頬、口のパーツを含む）や体（手、肘、肩、胸元の体のパーツの他、着ている洋服やズボン、帽子、髪飾り、ピンバッチなどのパーツを含む）の形状パーツや色彩を選択してアバター作成部３０６を介して利用者自身のアバターを作成し、その選択結果をデータ記憶部２０２に保存する。

【0092】

なお、アバター配信サーバ側でアバターを作成する例を説明したがこれに限らず、インストールしたアプリケーション内にアバター作成部３０６と同様の機能を備え、アプリケーション操作内で利用者のアバターを作成しても良いことは言うまでもない。また、予め完成系としていくつか提供者側で作成したアバターをも記憶しておき、利用者がカスタマイズせずに直ぐにアバターを利用できるようにしても良い。また、一旦完成したアバターを設定した後も、各パーツを選択し直してカスタマイズできることは言うまでもない。

【0093】

これらの情報を記憶する際には、携帯情報端末内のメモリ容量や、各種サーバとのアバター情報の連結等の処理に際してアバター全体の画像として記憶し送受信しても良いが、アバターパーツの各々をオブジェクトとして、アバターの種別と其の組み合わせを識別符号で特定する情報を記憶しても良いことは言うまでもない。予め提供者側で用意されたアバターを含め、全て各パーツのオブジェクト識別符号の組み合わせで再現・記憶することにより、アバター間コミュニケーションで処理するデータ量を低減し、なるべく解析処理以外の時間で遅延を小さくできる様に通信を行うことが可能となる。

【0094】

さて、利用者Ａは、初期設定を完了後の時点では利用者Ｂは初期設定が完了していないため、携帯情報端末２００ａ内のアバターには利用者Ｂのアバターが存在しないケースがある。その場合でも、既知の方法ではあるが、ハッシュタグ（＠ｘｘｘｘｘｘ）やアカウント名で利用者Ｂを検索できるようにする、利用者ＩＤを利用者管理サーバ４００の利用者情報格納部４０２へアクセスして、利用者Ｂを特定することが出来る。その他、本人認証設定は、携帯情報端末２００に予め備わっている本人認証機能（例えば指紋認証、光彩認証、顔認証、パスワード認証、多要素認証など）を予め設定しても良く、この場合は、認証サーバへの認証を行う必要なく、携帯情報端末２００を他者に利用されることを防ぐことが出来る。

【0095】

その他、プロフィール情報を設定する際に、例えば１８才以上の成人であることを証明する本人の身分証明書（生年月日の記入があるもの）を用いてｅＫＷＣ認証や、行政庁に対して独身証明書の電子認証を有する外部認証サーバと連携させても良い。電子連携できないときは、各種証明書のＰＤＦデータやイメージデータを利用者に提出させ、利用者情報格納部に本登録する前にサーバ管理者などがそのデータを利用者情報格納部とは別のセキュアな個人情報データとして管理し、年齢や独身かどうかの情報を登録しても良い。

【0096】

この様に本人認証の項目を追加し、外部認証サーバと連携することにより、特に独身の誠実な出会いを求める婚活者は、予めアバター間通信を許可する条件として、相手のプロフィール情報に成人および／又は独身であるという条件を設定しておけば、その条件に合致した利用者としかアバター間通信できない様なアプリ環境になり、既婚者が独身であると装ってアバター通信を行うことを防ぐことが出来る。

【0097】

なお、利用者は少なくとも１つのアバターを初期設定時に設定する必要があるがこれに限られることはなく、例えば、職場用（本業）、職場用（兼業）、社会人以降の友達用、大学の友達用、高校の友達用、家族用、親戚用、プライベート用、サークル用、趣味同好会用など、利用者自身が参加するコミュニティ別にアバターを区別して利用でき、それぞれのアバターを使い分けることが出来ることは言うまでもない。

【0098】

一方で、アバター間通信の映像又は音声を解析して自身のアバターに反映し相手側の携帯情報端末２００に記憶・更新していくアバター間通信は、その感情の反映する基となった相手の会話やアバター映像の情報と紐付けて記憶すること可能となるため、利用者間のプライバシーに関する問題にならないように配慮する必要がある。そこで、例えば婚活用として登録したアバターは、本人の秘匿と独身証明を重視した利用設定を行うと共に、会話による感情の高まりなどを相互にアバターに反映して相性などを会話や感情の動きなどと共にアバターと連携して保存しておきたい場合には、相手にも許可を出しておくことが望ましい。

【0099】

そして、利用者Ａが利用者Ｂのアカウントを指定してアバター間通信を行う際、まずは携帯情報端末２００ａで上述した本人認証処理を行った上で、利用者Ａによるアバター通信要求であることを認証後、利用者Ａのアバター情報を利用者Ｂに向けて送信する（Ｓ７０６）。この際、アバター映像そのものを送信しても良いが、アバター識別子（サーバ側に記憶した時点で同一のアバターがない場合は、ユニークなＩＤとともに記憶されている）を送信しデータ量を低減可能であることは言うまでもない。

【0100】

利用者Ｂが利用者Ａの望むアバター利用条件に合致し通信可能かどうかを、利用者管理サーバ４００の利用者情報格納部４０２に問合せ（Ｓ７０７）、利用者Ａの要求する許否設定情報が全て一致すれば、利用者Ｂのアバター情報を交換し（Ｓ７０９）、無事、アバター間通信は成功し、利用者Ａは利用者Ｂが利用するアバターＢを携帯情報端末２００ｂにて受信し、データ記憶部２０２に記憶することなく（常時映像としてストリーミングする）画面表示部２０１に表示し、映像・音声を同時に利用者ＡおよびＢの間で送受信するアバター間通信が開始される（Ｓ７１０、Ｓ７１１）。

【0101】

一方で、利用者Ａの要求する許否設定情報のうち少なくとも１つ以上が一致しなければ、携帯情報端末２００ｂの画面表示部２０１を介して利用者Ｂに利用者Ａとのアバター間通信で一致しなかった利用条件を表示し、「利用者Ａからの利用条件を許可しますか？」などと表示して利用者Ｂが通信許可をするかどうか、判断を委ねる（Ｓ７０８）。利用者Ｂは画面上の表示内容に従って、利用者Ａから要求された条件を許可してアバター間通信を始める場合は「yes」を、許可しない場合は「no」を選択し、noの場合は通信が失敗した旨を利用者Ａの携帯情報端末２００ａに表示する（Ｓ７０８）。yesの場合はＳ７０９～Ｓ７１１と同様の処理となり、アバター間通信が開始される。なお、利用者Ａは通信が失敗した旨が表示された際に、アバターＢＢＢが異なる利用条件であることを認識し、その異なる条件を承諾して再要求することが出来るようにしても構わない。その場合は、点線の流れに沿ってＳ７０８にて再度アバターＢＢＢの利用条件が一致するか判断し、上述の説明と同様の処理を行うことになる。

【0102】

ここまでのデータ処理部２０５、３０５および４０５の処理は図２ａと図２ｂ、図７ａと図７ｂで全く同じ処理を行い、アバター間通信を開始した後にデータを送受信する対象が異なる。図２ａでは携帯情報端末２００ａ側で映像を解析してモーションキャプチャーしたり、顔の表情や感情を検知したりせず、全て図６ａの音声解析部６０８や映像解析部６０９で処理を行う、いわゆるクラウドＡＩによるコミュニケーションであるため、図７ａでは音声・映像共にクラウドＡＩで解析を行う。一方で、図２ｂでは携帯情報端末２００ｂのエッジＡＩ側で映像の解析を解析してモーションキャプチャーしたり、顔の表情や感情を検知したりした結果を、図６ｂのアバターへの動き変換部６１４やアバター情報入力部６１６でアバターに反映する、いわゆるエッジＡＩで解析を行う。

【0103】

さて、図７ａのＳ７１２以降におけるクラウドＡＩによるデータ解析処理では、携帯情報端末２００ａおよび２００ｂのエッジ側では映像や音声のデータ収集のみを行い、携帯情報端末２００ａおよび２００ｂから解析サーバ６００側に送られてきたデータをクラウド上に搭載されたＡＩで学習、推論処理を行う。一方、図７ｂのＳ７１２以降におけるエッジＡＩよるデータ解析処理では、携帯情報端末２００ａおよび２００ｂのエッジ側で映像や音声のデータ収集から利用者の動き情報をモーションキャプチャーし、顔の表情や感情を推論し、解析サーバ６００側に送られてきた推論データをクラウド上で学習処理を行う。よって、処理フローが異なるため、順を追って詳細に説明をする。

【0104】

図７ａではアバター間通信開始後、それぞれの利用者の音声を携帯情報端末２００ａおよび２００ｂの音声入力部２０７、映像を撮像部２０９から入力・収集された音声および映像データを解析サーバ６００に送信し（Ｓ７１２、Ｓ７１４）、基本的には会話を始めた利用者Ａ側の音声は遅滞なくアバター間通信にて相手に送信可能な状態である（Ｓ７１３、Ｓ７１５）。具体的には、アバター間通信開始後から終了を選択するまでは、１セッションとして通信チャンネルが接続され、リアルタイムにデータ通信が可能な状態である。

【0105】

ここで、アバター間通信を行う利用者ごとの利用条件により、情報配信サーバ側での解析処理がそれぞれ介入することから、利用条件として利用者自身の動きをＡおよびＢのアバターにそれぞれ反映するかどうか、利用者自身の顔の表情や感情をＡおよびＢのアバターにそれぞれ反映するかどうか、を利用者管理サーバ４００の利用者情報格納部４０２に問合せて判断する（Ｓ７１７、Ｓ７２２）。利用者Ａの動作を反映する場合には、解析サーバ６００側での映像解析結果をアバターＡへの動き変換部６０４に変換した動き情報データが携帯情報端末２００ｂに送信され（Ｓ７１８）、アバターの動き情報が携帯情報端末２００ｂに格納済のアバターＡに差分・追加情報として反映され（Ｓ７１９）、利用者Ｂにはあたかも利用者Ａの音声と共にボディランゲージとしてアバターがリアルタイムに動作しているように、携帯情報端末２００ｂの画面表示部２０１に表示される。

【0106】

同様に、利用者Ｂの動作を反映する場合には、解析サーバ６００側での映像解析結果をアバターＢへの動き変換部６０４に変換した動き情報データが携帯情報端末２００ａに送信され（Ｓ７２０）、アバターの動き情報が携帯情報端末２００ａに格納済のアバターＢに差分・追加情報として反映され（Ｓ７２１）、利用者Ａにはあたかも利用者Ｂの音声と共にボディランゲージとしてアバターがリアルタイムに動作しているように、携帯情報端末２００ａの画面表示部２０１に表示される。

【0107】

次に、利用者Ａの顔の表情や感情を反映する場合には、解析サーバ６００側での音声および映像解析に基づく感情推論結果をアバターＡの顔の表情や動作に反映するべく携帯情報端末２００ｂに送信し、解析対象となる利用者Ｂの会話やアバターの動き情報と連結され、携帯情報端末２００ｂと解析サーバ６００の解析データ記憶部６０２に解析データを保存する（Ｓ７２３、Ｓ７２５）。

【0108】

同様に、利用者Ｂの顔の表情や感情を反映する場合には、解析サーバ６００側での音声および映像解析に基づく感情推論結果をアバターＢの顔の表情や動作に反映するべく携帯情報端末２００ａに送信し、解析対象となる利用者Ａの会話やアバターの動き情報と連結され、携帯情報端末２００ａと解析サーバ６００の解析データ記憶部６０２に解析データを保存する（Ｓ７２３、Ｓ７２４）。

【0109】

一方、利用者Ａおよび／又は利用者Ｂの表情や感情をアバターに反映しない場合は、利用条件に基づき、携帯情報端末２００ｂおよび／又は携帯情報端末２００ａに表示されたアバターＡおよび／又はアバターＢに利用者の動作が忠実に反映されてアバター映像が表示されるか、動作の反映無の場合のアバターＡの静止画像が画面に表示され音声が流れるアバター間コミュニケーションの何れかとなる。そして、携帯情報端末２００ａもしくは２００ｂの何れか又は双方でアバター間通信の終了を検知する（Ｓ７２６、Ｓ７２７）まで、携帯情報端末２００ａおよび２００ｂから音声および映像データが解析サーバ６００に送信され（Ｓ７１２、Ｓ７１４）、Ｓ７１３からＳ７２７までの処理が繰り返される。

【0110】

なお、Ｓ７１７とＳ７２２の動作および感情を反映するか否かの判定は、初回の解析処理で利用条件を確認した後は、アバター間通信のセッション中は共通して反映処理をしても良く、その後の携帯情報端末２００ａおよび／又は２００ｂのキー入力部２０６から適宜、動作や感情の反映有無の設定を受信し、都度判断するようにしても良いことは言うまでもない。

【0111】

こうして、変換した動き情報データと解析データがアバターのそれぞれに差分・追加情報として反映され（Ｓ７１９、Ｓ７２１、Ｓ７２４、Ｓ７２５）、感情を反映しないモーションキャプチャー映像に音声が重畳したアバター間通信に比べ、より利用者Ａと利用者Ｂが相互に交わした会話によって感じたことが自然と解析され、利用者間のコミュニケーションがより良い内容となるようなアバターの表示（単に利用者を模したアバターの動きや表情を変えるだけでなく、そのアバターとは別のオブジェクトを重畳させてより感情がこもったアバター映像に更新したり、感情を込める処理として予め登録された、あらゆるアバターを利用した追加処理が含まれる）が可能となり、携帯情報端末の画面表示部２０１に表示される。

【0112】

特に、利用者間のコミュニケーションの中で、ハイライト的な会話とその相手方の感情や動作等のアバターへの動き情報の反映結果は、利用者管理サーバにて留守録システム的に記憶され、自身が発した会話の内容とその会話によって相手が感じた感情とをアバターを介して連結し保存しているので、アバター間通信の終了処理後に行う、会話全体の中での感情などの分析が容易に実行できることは言うまでもない。更に、相互に感情が動いたかどうか、解析結果をフィードバックできるので、解析サーバの過剰検出を誤検出として但し、また検出漏れが発生した会話に対しては、手動で感情登録ができる仕組みも導入することが出来る。

【0113】

具体的には、クラウドＡＩを採用する場合は解析サーバ６００側で、エッジＡＩを採用する場合には携帯情報端末２００側で感情推定を行うが、解析サーバの結果がすべて正しいとは限らない。むしろ利用開始当初は、検出漏れや誤検知があってもおかしくなく、相手側からの特に感情に関するフィードバックを得ることが出来ればより学習が深まり、相手アバターに対する反映・保存（Ｓ７２８、Ｓ７２９、Ｓ７３０）がなされることにより、即ち利用者間でアバター間通信を行えば行うほど、学習データが増えてより品質の高い感情推定が可能となっていくことは言うまでもない。

【0114】

このことにより、例えば本発明のアバターを介して過去の良い思い出となるアバター間通信を振り返ったり、また、未来に向けては次の会話に活かして意中の人の心をつかむ努力をしたりできることが、本発明にかかる相手の会話と自身のアバターをＣＨＡＩＮすることによって、実現できることとなる。もっと早く発明をなして、デジタル遺産として、またデジタル遺産を活用して新たな会話を想像する生成系ＡＩを活用して、単に思い出として薄れていく人間の記憶という脆弱な記憶環境でなく、将来に渡って、ほぼ劣化することのないデジタル遺産として後世に残し、子孫にどういった先祖だったのかなど、希薄化した日本社会の家系や親族関係の絆をより強めることにも貢献できる。

【0115】

よって本発明は、今まで通信の秘密という高い壁が隔てていた、一方的な録音メッセージの記録や、サービス品質向上のための会話の録音という程度での利用で長年留まっていたこのデジタル化・ＡＩ時代に最も進化させ、より良いコミュニケーションを提供すること、本発明を具現化することを通じてあなたと世界を変えていく、筆頭発明者がそう決心するに至った本質的部分である。利用者の一人ひとりが自身の発言や動作に関するデータと、設定に応じてその時の感情を解析した結果と合わせて、交換した相手のアバターと紐付けて携帯情報端末および／又は利用者管理サーバに記録することができる。ＣＨＡＩＮ範囲が「相手のみ」の場合は、会話の直接当事者であり、双方同意の上での録音・録画となることから、後日いつでも双方が必要な時に確認できる。ＣＨＡＩＮ範囲が「相手のみ」以外の場合は、例えばプライバシーを配慮して、会話の内容とその時の感情、会話の連続回数（例えば寿司の話題で楽しい感情をお互いに感じながら数コンボ会話が続いたなど）など、「会話の当事者に属する事項」であって、「当事者の同意が擬制できる内容」として、要旨のみを包括でＣＨＡＩＮ範囲に閲覧・共有させても良いし、ＣＨＡＩＮ範囲の会話当事者から見た第三者から「録音を聞かせてほしい」と求められたら、当事者の同意の意思に反しない限り、都度確認要求を発話者のアバターに問合せするようにしても良い。なお、何らかの事件で録音を警察や裁判所等の提出命令を出す権限を有する機関からの「正当業務行為」として当事者の同意なく録音・録画データを閲覧・共有を受けることが出来ることは言うまでもない。また、利用者管理サーバから前述の録音・録画データ等を入手すると、当事者間の通信を媒介するネットワークからの入手と法的に判断される可能性があり、その場合は、携帯情報端末から同一の録音・録画データ等を入手可能なのであれば、通信の秘密に関する実質的同一論に基づき、その当事者自身の携帯情報端末に都度同意を要求し、記憶している当事者の携帯情報端末自体から受け取るようにしても良い。

【0116】

データ活用やデータ解析は、今まで気づかなかった会話を心の底から楽しんだり学んだりすることからの制約（例えば記憶や留守電の中でしか残らなかったこと）から解き放たれ、新しいＡＩ時代の革命的な会話を楽しみ・より良い環境を提供できることのできる、未来の新しいコミュニケーションを加速させるために本発明の普及を目指すべき革新となる基本発明であり、応用分野が広がる根拠である。なお、利用者の組合せ毎に様々なビジネスシーンを想定し、どの様に本発明が活かされるのか、変形例・応用例を、利用者テーブルのなお書きにて後述したい。

【0117】

さて、エッジＡＩを採用する図７ｂについて、利用者はＣから利用者Ｄにアバター間通信を開始する図７ａと相違する点を中心に説明する。Ｓ７１１までは図７ａと同様で、アバター間通信を開始した当初は音声のみ同時送受信が可能な状態となっている。映像データは、図７ａで解析サーバ６００内のアバターへの動き変換部６０４にて行っていた処理を、携帯情報端末２００ｃおよび２００ｄのデータ処理部２０５で解析処理を行う。よって、音声や映像の解析処理Ｓ７１６、Ｓ７１７、Ｓ７２２、Ｓ７２３、Ｓ７２８は解析サーバ側で行うのではなく、エッジ側の携帯情報端末２００で処理することから、携帯情報端末２００ｃでの処理にはシーケンス番号にダッシュを、携帯情報端末２００ｄでの処理にはダブルダッシュを付けているが、基本的には同様の処理を行うものと考えて差し支えない。

【0118】

蓄積された解析対象の音声および／又は映像データとその解析結果データの連結されたデータは、例えば、利用者Ｃと利用者Ｄの会話全体の中で、アバター間通信による利用者Cの感情が利用者Dと会話した話題の種別（例えば、好きな食べ物である寿司や焼き肉など）に対して、感情の種別である喜・怒・哀・楽ごとにそれぞれどの程度感情の振れ幅や回数が検出されたのかを集計・分析する。具体的には、所定の条件を満たした話題毎の感情種別について、利用者Ｃ自身の話題種別とアバターを識別するアバター識別子、感情種別と感情の起伏が生じた回数と感情変位量を含む仮名化情報を分析、双方が同じ寿司の話題で喜びを感じている回数や感情変化量が高いと判断すると、自身の趣味・思考とは別に、双方の共通する話題・趣味・思考として、利用者情報格納部４０２に蓄積・保存していく。

【0119】

そして、会話や会議の開始から終了までを総合的に解析して、利用者の関係性を踏まえて利用者間のアバターを更新するかどうかの判断を行う（Ｓ７３１）。利用者Ｃおよび利用者Ｄの会話からお互いの人間関係が良好と判断した場合は、アバター配信サーバ３００のアバター合成部３０８に対し、一例として利用者のそれぞれが利用しているアバターのパーツの特徴部を夫々のパーツを合成し、より良好な会話が続いていく程、お互いのパーツの形状が類似する様な両パーツを似せる様な合成処理を行う。

【0120】

その他、両方のアバターの目尻を笑い顔となるように同じ更新処理を行うことでも構わない。こうして、携帯情報端末２００ｃと２００ｄの電話帳に相当するアバター間通信履歴やアバターリストに、お互い相手のアバター情報を保存していた情報を、この分析結果を反映していき、会話の蓄積がアバターの変化を通じて視認することが可能となる。

【0121】

なお、アバター間通信はあくまで個人情報を匿名化した上でコミュニケーションを行うサービスであり、公の認証情報、例えば独身証明書やマイナンバーカードによる年齢認証処理を行うことを利用条件とする、本気で婚活等を行うケースを除き、基本的にはアバター識別子にＣＨＡＩＮされた情報からは、利用者本人が特定できないようにシステム設計されているが、独身証明書による認証を行う利用者に対しては、本情報は利用者管理サーバ４００に記憶された利用者情報格納部４０２の情報とのアバター識別子による突合処理を行うことにより個人情報が特定可能な情報という意味で仮名化情報としたが、これに限られるものではないことは言うまでもない。

【0122】

次に、図８（ａ）および（ｂ）は、解析処理を解析サーバ６００側で行う一態様と携帯情報端末２００側で行う他の態様に共通して利用される、利用者管理サーバ４００の利用者情報格納部４０２でアバター間通信の利用者を管理するテーブル図、および、利用者管理サーバ４００のアバター情報格納部４０１でアバター間通信を行うアバターを記憶するテーブル図の具体例である。例えばＲ００１は、利用者Ｄがアバター設定を行う際に携帯情報端末２００のキー入力部２０６から入力されたプロフィール情報が項目ごとに格納されている。この入力においては、ユーザが登録したいように入力できるが、例えば証明サーバで独身証明書を取得して独身者のみとアバター間通信を望む利用者と会話を行う場合には、本名を入力し、行政庁が発行する証明書サーバと連携し突合を行うか、サーバ管理者側で証明書の本人確認および／又は年齢認証を行うことになるため、氏名や年齢は本名で入力することになる。

【0123】

なおアバター名は架空で良く、本名は認証の際又は利用者本人が開示を許可する相手にのみ表示したり、送信したりすることができる。また、利用者Ｆの様に、氏名などを他の利用者に非開示とする項目を設定することが出来ることは言うまでもない。その場合でもデータを投入済であれば、利用条件の中に本人認証済か、年齢は１８才以上か、独身かなどに基づいて認証処理は可能であることは言うまでもない。本発明のアバター間通信では、基本的にアバター名とアバター、プロフィール情報（一部を非開示としてマスク可能）の組合せを基に、匿名化配信手段を提供するものであり、利用者本人の氏名が公表されることはなく、また各種証明時には内部処理にて本人認証や年齢認証、独身証明が可能となる。

【0124】

図８（ａ）のレコードＲ００１の通り、アバター名をイチローとしアバターＩＤ：ＡＡＡとして利用者登録を完了している。このアバターＩＤは、図８（ｂ）のアバター記憶テーブルの通り、アプリをダウンロードやアバター設定を行う、配信サーバ３００のアバター記憶部３０４に記憶されている。アバターＡＡＡの場合、アバターを構成する顔や体の各オブジェクトを夫々選択して一体のアバターとして形成・登録され、予め定めた定型の動きをアバターに反映させる動作ファイルが、各オブジェクトのパーツ識別子と共に格納されている。

【0125】

このアバターは利用者ＩＤに１対１で対応されていても、多対１で利用者管理テーブルに対応付けられていても良いことは言うまでもない。また、同じ利用者が、利用目的（例えば仕事用、プライベート用、彼女／彼氏用、コミュニティ用など）に応じて、別々のアバターを作成してアバターIDと利用者IDを多対多で紐付けても良いことは言うまでもない。また、アバター記憶テーブルの項目にオブジェクト識別子が記憶されていない場合、「-」が登録されている。

【0126】

これは、アバター一体で予め作成されたオブジェクトを初期登録時に選択した場合に、アバターＩＤ（例えばCCCやFFFなど）、アバター種別および動作ファイルの組合せでテーブルに記憶されているからである。その後、後述する、利用者によるアバター更新が発生した場合は、更新対象のオブジェクトは、予め定められたオブジェクト識別子とは異なる識別子が付与され、更新対象のレコードが既知のテーブルに存在する場合はそのアバターIDに変更され、既知のテーブルに存在しない場合は、新たなレコードとしてアバター記憶テーブルに追加される。

【0127】

次に、図９（ａ）乃至（ｄ）は、本開示の解析処理を解析サーバ６００側および／又は携帯情報端末２００側で行う態様に利用される、（ａ）認証サーバ５００の包括同意条件記憶部５０２でアバターＩＤの利用者が設定した包括同意条件を記憶するテーブル図、（ｂ）解析データ記憶部６０２および／又は音声・アバター格納部２０２にて利用される音声・アバター記憶テーブル図、（ｃ）解析データ記憶部６０２および／又はデータ記憶部２０２にて利用される感情分析データ記憶テーブル図、（ｄ）解析データ記憶部６０２および／又はデータ記憶部２０２にて利用される会話分析データ記憶テーブル図の具体例である。 ここまでのテーブルの説明により、図７ａのアバター設定（プロフィール登録）のシーケンス番号Ｓ７０３、Ｓ７０４の送信に対するプロフィール情報Ａ、Ｂを保存のシーケンス番号Ｓ７０５でアバターデータ等が生まれ、今後のアバター間通信により育っていくことになる。その後、利用者Ａが利用者Ｂに対して通信要求を行い、通信可能か判断するシーケンス番号Ｓ７０７は、図９ａの包括同意条件テーブルに格納されている利用者ＢのアバターＩＤ：ＢＢＢに対する各種条件と利用者Ａの望む利用条件が一致するかを判断する。

【0128】

この例では、通信要求を行ったアバターＡＡＡの利用条件が、モーション：あり、音声解析：あり、映像解析：あり、ＣＨＡＩＮあり、ＣＨＡＩＮ範囲：相手のみ、アバター反映：ありで、アバターＢＢＢの利用条件と異なる項目は、モーション：なし、ＣＨＡＩＮ範囲：家族間である。ＣＨＡＩＮ範囲の相違はこの後後述するが、ＣＨＡＩＮ範囲が狭い利用者が広い利用者にアバター間通信要求を行う場合には、条件は満たしていると判断して良い。アバターＡＡＡは相手のみＣＨＡＩＮする、即ち二人だけの秘密として連結・約束する、ということを意味し、アバターＢＢＢが家族間でＣＨＡＩＮできる設定だったとしても、アバターＢＢＢの家族に、利用者Ａとアバター間通信した映像データは共有されない。

【0129】

シーケンス番号Ｓ７０７の判定結果は、モーション反映が「あり」と「なし」で異なるため、利用者Ｂに対して通信許可、即ち利用者Ａとのアバター間通信を許可するためにモーション反映して良いか、と携帯情報端末２００ｂの画面表示部２０１に表示し、利用者Ｂにキー入力部２０６を操作してｙｅｓ又はｎｏのボタンを押してもらい、ｎｏの場合は通信が失敗し通信要求は終了する。

【0130】

ｙｅｓの場合は、シーケンス番号Ｓ７０９のアバター情報を交換する。なお、プロフィール登録して初めてアバター間通信を行う場合はもちろん、既に会話したことのある利用者であっても、アバター間通信を当人以外の利用者とアバター間通信してアバターが更新されている可能性があり、アバター間通信の都度、相互にアバター情報を交換しておくことが望ましい。なお、その場合でも、アバターＩＤを介してやり取りするだけで、情報管理サーバ１０２と携帯情報端末２００で各々記憶されているアバター情報からアバターを特定し利用できるようにしても良いことは言うまでもない。

【0131】

さて、ＣＨＡＩＮ範囲は、あくまで複数のアバターで活動する利用者間でアバター間通信を可能とする設定であり、例え匿名化したアバターによる映像データであったとしても、プライバシーを配慮して自身のＣＨＡＩＮ範囲と同一か又はより広い範囲を設定している利用者でなければ、広い範囲では映像データの共有話されないので、通信の秘密として包括同意狩野派範囲やアバターＩＤを特定した映像データの共有が可能となることは言うまでもない。

【0132】

なお、本開示において、別システムで仮想通信端末２００等の管理をしているデータ（例えば他社が提供するスマホアプリの操作ログ、他社携帯会社のサーバで管理される通話履歴や位置情報などのログ情報）とも連結し、仮想通信対象情報として管理しても良い。本来は、電気通信事業者に課せられる通信の秘密や法律により、ログ収集することが困難である。このことは、本発明の仮想通信管理サーバにも当てはめることができ、通常は、利用者間の会話の内容を、本人の同意なくたとえ家族であっても第三者に開示することは、通信事業者として秘匿管理を徹底すべき対象であるため、不可侵領域となる。

【0133】

そこで、本開示では、例えば仮想通信プログラムに対して、ユーザによるアプリケーションインストール時（この際に、利用者ＩＤや端末ＩＤを一意に区別して一元管理ができるように、仕組まれています）の仮想通信対象情報の取得に関し、インストールすることにより同意したものとみなす、シュリンクラップ契約がなされることを前提とする。

【0134】

復習になるが、ＣＨＡＩＮの定義は項番０００８で説明した、必ずしもコミュニケーションするアバター間の繋がりが連鎖・連携・接続・構築することに限定されず、アバターを利用する利用者間のコミュニケーションを円滑化するあらゆるアバターへの更新又は反映又はデフォルメを含む表現である。具体的には、アバターＡＡＡとアバターＢＢＢのアバター間通信の場合は、通話内容の音声データおよび解析データがそれぞれ解析され、利用者それぞれのモーションをアバターの動きに変換し、感情もそれぞれのアバターに反映してタイムフラグを基に同期・結合データを映像データとして記憶する。

【0135】

この映像データは、利用者が声および／又はボディランゲージとして伝えた１会話毎・利用者毎に、識別子である映像データＩＤを付与して、その音声・映像の発信・記録時間、発信元であるアバターＩＤ、音声データや動きデータ、感情ＩＤ、会話ＩＤと、ＣＨＡＩＮ先アバターＩＤなどが図９ｂの音声・アバター記憶テーブルにレコードＥ００１として記憶されていくことになる。

【0136】

さて感情ＩＤは、解析サーバ６００の音声解析部６０８および映像解析部６０９や携帯情報端末２００の音声・映像解析部２１９に備わっている音声AI機能（外部ＡＰＩ連携による実現でも構わない）により、映像や会話に含まれる人の音声から喜び・怒り・悲しみ・平常などの感情を分析し、１利用者の１会話毎に感情ＩＤとして図９ｃの感情分析データ記憶テーブルに記憶されていく。

【0137】

この感情分析データ記憶テーブルには、感情の種別として様々な理論があるが、例えば、日本の音声感情解析ＡＩ「Ｅｍｐａｔｈ（登録商標）」を例に取ると、感情を推定するアルゴリズムに基づき、喜び・感謝、好意・興味、感謝・信頼、驚き、悲しみ、恐れ、怒り、嫌悪、平常・平安などの感情を推定でき、それぞれのレベルを程度として推定し記憶する。同じ祝辞を伝えるのも、プライベートなのか仕事などの公共のシーンなのか、検出された感情が「喜び」と「好意」、「驚き」の複数の感情が同時に推定されたのかどうかで、利用者Ａの本気度、想いの強さをアバターＡＡＡに表現・変換させていく。

【0138】

それにより、どうしても相手の心情を感じ取ることに不得手な人でも、具体的に映像ＩＤのデータとして記録され、またリアルタイムではアバターがその様な変化・連結がされていることを目視確認できるので、相手側でも感じ取りやすいことは言うまでもない。また、各感情の種別としては、大項目をより細分化した内容でも良いし、相手がどの会話の内容でその感情を抱いたかを推定できる場合はその内容を記憶しても良い。

【0139】

ここで、それぞれの感情の検出・推定の重要な要素となる、音声を文章化したときの言葉を例示しておくと（この手の専門家ではないため、一部適切な列挙又は分類でない可能性もあることを予めご了承頂きたい）、（１）喜びには、有頂天、嬉しい、喜んで、気持ちいい、大喜び、嬉々、ありがたい、満たされた、感謝、幸福、おかげさま、など、（２）好意・興味には、楽しい、愉快、面白い、爆笑、笑える、いとおしい、好き、熱中、没頭、夢中、興味、好奇心、魅了など、（３）感謝・信頼には、関心、心動かされる、畏敬の念、感嘆、感心、感動、感激、頼りになる、信頼、任せた、信じる、など、（４）驚きには、元気、励まし、ワクワク、達成、やる気、いきいき、どきどき、など、が挙げられる。

【0140】

（５）悲しみには、孤立、寂しい、孤独、疎外、憂鬱、くじけた、惨め、落ち込む、ショックを受ける、ふさぎ込む、心が重い、打ちひしがれる、痛み、傷つく、切ない、情けないなど、（６）恐れには、怖い、おびえた、不安、心配、焦り、パニック、困惑、困った、動揺、混乱、など、（７）怒りには、屈辱、腹が立つ、イライラ、むかつく、激怒、虫の居所が悪い、など、（８）嫌悪には、恨み、憎悪、敵意、反感、罪悪感、自責の念、冷たい、不愉快、不機嫌、軽蔑、不信感、など、（９）平常・平安には、優しい、あたたかい、安心、リラックス、ほっとする、のんびりした、穏やかな、恍惚、落ち着いた、などが挙げられる。

【0141】

次に会話ＩＤは、利用者間の音声を解析した際の会話分析結果が図９ｄの会話分析データ記憶テーブルに記憶され、映像ＩＤと連結されている。会話ＩＤ：４００００１はアバターＡＡＡがアバターＢＢＢに対して発した内容で、会話種別、内容種別の他に、会話の内容の要素を会話分析した後の項目として、「いつ、だれが、だれに、なにを、なぜ、どうした」という分析結果が格納されている。

【0142】

よって、ＣＨＡＩＮを会話ＩＤ４００００１と４００００２を基に具体的に説明すると、利用者Ａと利用者Ｂの場合、アバターＡＡＡを介して利用者Ａが発生した「〇〇大学入学おめでとう」の声や体等の動き情報は、各種解析結果と共にアバターに反映され、アバターに変化をもたらす。それぞれの映像データとアバター間通信の聞き手となるアバターＢＢＢのアバターＩＤとを連結することが最初のＣＨＡＩＮである。

【0143】

このアバターＩＤと映像ＩＤ等の識別子を基に、その利用者間のアバター間通信ではいつでも、過去に記録した映像データＩＤに基づき会話を再生し更にアバター間通信していない状態で、各利用者が携帯情報端末２００で過去のアバター間通信を記録した映像データを確認することが出来る。

【0144】

このＣＨＡＩＮは、利用者が予め設定したＣＨＡＩＮ範囲に含まれる複数のアバターＩＤ間で映像データＩＤとの連鎖を参照可能とするアクセス権の広がりをＣＨＡＩＮ範囲と定義する。なお、ＣＨＡＩＮ範囲が「相手のみ」の設定の場合でも、複数の会話から生成された複数の映像ＩＤが螺旋の様に接続する様もＣＨＡＩＮしていることとなり、例えば太鼓の達人（登録商標）アプリゲームのＥＸＣＥＬＬＥＮＴコンボの様に、連続して相手の喜びの感情を相互に引き出せる会話を続けているアバター間通信の利用者間は、会話全体での会話分析結果も良好な関係であることが証明されるＣＨＡＩＮデータとなる。

【0145】

もちろん、例えば４人家族間で同様のＣＨＡＩＮを行う際には、統計学的に４Ｐ２＋４Ｐ３+４Ｐ４＝４×３＋４＋１＝１７通りの相互利用者間のアバターＩＤと映像ＩＤとの連結の組合せがあり、４Ｃ２＝４×３／２！＝６通りのアバター間連結に集約され、アバターＩＤ対ＣＨＡＩＮ先アバターＩＤが１以上の多対１の関係になっても良い。それらの映像情報の参照は家族間で共有できることは言うまでもない。家族間以外にも、同一所属の会社の仲間や友達間、自分の趣味などのコミュニティ間であっても良いし、ＣＨＡＩＮの範囲を制限しないでオープンにＣＨＡＩＮしても良い。これらの利用者間の会話が図９ｄの会話分析データ記憶テーブルに記憶され、個々の映像ＩＤからの呼び出しや、会話種別、内容種別などからの統計データ解析処理に利用しても良いことは言うまでもない。

【0146】

さて、アバターＡＡＡの感情ＩＤ、解析対象となる音声データや映像データに基づきモーションキャプチャーしてアバターの動きに変換された動きデータ、記録時間と会話４００００１が記憶・連携された後、その映像を確認した利用者ＢがアバターＢＢＢを介して同様に会話４００００２が記憶され、「利用者Ａの会話に対する利用者Ｂの顔の表情や感情が反映された映像データ」がＣＨＡＩＮ先アバターＡＡＡと連結される。

【0147】

この様にして、利用者Ａは、自身が利用者Ｂと会話したアバター間通信の映像データに対する、利用者Ｂの会話の内容や顔の表情や感情を匿名化したアバターＢＢＢとの接続を、後日の会話の分析や今後の利用者との会話内容に生かすことが可能となるし、何といっても亡き父との想い出の会話などのデジタル遺産として、自分の宝物として励まされたいときなどにデータを再生して活用することができる。

【0148】

その他、普段のイントネーションとの音程の違いなど、予めアプリ利用時にサンプルとして利用者の音声を取得しておき、音量やイントネーションが普段と異なる場合には、より感情のレベルを増やして感情推定しても良い。アプリ利用時の利用許諾で、利用者間の通信の秘密に対する包括同意事項を予めガイド音声を登録しておき、重要な内容の文章をイントネーション解析が可能な量だけポイントを絞り、1文ずつオウム返しに利用者に発音させるようにしても良い。こうすれば、利用規約に同意することの音声の証跡も記録され、その後のアバター間通信の際の基準点として利用でき、より利用者の話し方や声のトーンに応じて正確に感情解析や会話分析が可能となることは言うまでもない。

【実施例0149】

ここまで、本発明の構成を階層的に図面化して、エッジＡＩ、サーバＡＩの双方に大別して実施例を詳細に説明してきた。そこで、あとがきとしては、本発明のアバター間通信のＣＨＡＩＮによる作用効果について、より具体的な内容で掘り下げて説明すると共に、他の変形例についても応用可能であることを説明していく。

【0150】

本発明は、待ちきれない明日を創るために、仮想通信対象情報として利用者が選択したキャラクター（アバター等）と仮想通信の通信内容に応じて聞き手のアバターと話し手の会話内容を連結させて、アバターとの会話を介して利用者間で相互に人間性を確認することができる仮想通信端末、仮想通信管理サーバ、仮想通信方法、仮想通信プログラムである。

【0151】

本発明の請求項１、７、８および１０に係る仮想通信端末、仮想通信システム、仮想通信方法および仮想通信プログラムは、仮想通信に対する所定の条件に基づき仮想通信対象情報を交換する交換手段と、仮想通信の内容に基づき発信者の仮想通信対象情報と受信者の仮想通信対象情報とを連結する連結手段と、１以上の連結された仮想通信対象情報に基づき交換前の仮想通信対象情報を更新する手段を有する、ことを特徴とする。

【0152】

この構成により、仮想通信者間の仮想通信の内容を相互に仮想通信対象に対して連結し、仮想通信対象情報を相互の会話内容に沿ってイメチェン、即ち更新することができる。例えば、良く相手を笑わせたり楽しませたりすることのできる相性の良い相手とは、会話の内容と相手のアバターが大笑いしている画像などと連結したり、また、例えば通信履歴や電話帳に相当する一覧に表示させたりして、再び会話したくなる様に視認させたり、実際にどの会話で相手が笑ったのか、どのレベルの幸福感を感じたのかなど、自身が相手に対して幸せを与えた会話の内容などを後日に確認したりして、利用者間の関係性を容易に確認することができる。

【0153】

よって、本発明は単純に仮想通信、即ち匿名性を担保した通信に限定されるものでは本来なく、ただ見知らぬ人との会話で緊張などをして、本来の自身のことを語れないことにならないよう、最初は、相手の容姿やプロフィール情報などの人間性としての本質的部分ではない表面的・社会的なステータスなどの殻を被った状態ではなく、素の自分を純粋に声や動作にして相手との会話を楽しむことができるように支援する発明である。

【0154】

例え、職場内コミュニティにおける仮想通信のＣＨＡＩＮにおいて、例えば上司がある部下との仮想通信内で叱る言動があり、部下は落ち込んでしまうかもしれない。今までは、職場の誰も相談できず、自身のコミュニケーションを含む業務遂行能力と、上司から求められる期待や割り振られる仕事の量を抱えきれず、精神的に病んでしまうこと、も世の中では往々にして存在する。

【0155】

それは、注意していても同僚が気付かないことも多く、閾値を超える前に相談があれば、と思い公開する日々も筆者は思い出されるが、その上司と部下のコミュニケーションを本人などから見聞きしない限りは、何も感じることが叶わず、助けようにもきっかけすらつかめない。そういった日々の個々の人間関係においても、未来のＤＸ化されたワンチームメンバーには、会話の要旨（会話の種類や要旨、感じた感情の種別やレベルなど）がＣＨＡＩＮされ、過去のやり取りなどを本人の包括同意に基づき確認できるようにする。

【0156】

例え上司の会話でも、他の部下も確認できるようにする。そうすれば、もっと会話がオープンになり、各々の人間関係の落とし穴に落ちずに、メンバーで助け合いながら、何かトリガーとなる課題に対して向き合えるようになり、よりチームの結成力が強くなる。この様な、労働管理でどうしてもマニュアル化や一元的な対応とはなりにくい課題に対しても、ＣＨＡＩＮの力で解決できる。

【0157】

その観点では、現状の閉塞感で進歩感が全く感じられない、移動通信分野の電話、留守電、チャットなどの簡易・オーソドックスな会話をＤＸ化して、様々な最新研究の末に開発された各種ＡＩ機能を取り込んで、利用者の会話を通じて人間関係を繋ぐための発明としては、何ら通常の携帯電話サービスの各種クラウドサービスに応用できることはもちろんのこと、その他に応用分野として最先に上げたＶＲマッチングサービスに適用できることは言うまでもない。

【0158】

また、各企業が提供するサービスに対するコールセンタ事業分野など、特定の製品・サービスに対して、クライアントが主に質問形式に会話を求めてくる分野においても、複数のコールセンタ要員が１つの共有アバターを利用して、ある利用者への仮想通信での応対を一元的に管理できるシステムにも応用でき、感情分析を中心としたコールセンタにおけるクレーマー対策としても、会話分析辞書の特化を施し、共有アバターの活用を行う最適な事業分野となり得ることは間違いない。

【0159】

次に、本発明の請求項２および１１に係る仮想通信端末および仮想通信方法の連結手段では、予め記憶された仮想通信対象情報の選択に対応した１又は複数の受信者と仮想通信対象情報を交換する手段と、更新手段は仮想通信内容の分析結果に応じて更新する、ことを特徴とする。

【0160】

この構成により、例えば、同じ趣味のコミュニティルームを模した仮想通信対象情報や、職場環境でいうと仮想空間上に設けた会議室を模した仮想通信対象情報に対して、仮想通信端末から通信要求を行った際に、既にコミュニティルームに参加している利用者と自動的にアバター交換が可能となること（これは、上述した利用者毎の仮想通信許可条件にもよるが、ＣＨＡＩＮ範囲の設定でプライバシーの保護とより繋がりを広く求める場合との使い分けも可能である）から、特に三者以上の仮想通信を始める際の受信者の指定を効率的に行うことができる。

【0161】

次に、本発明の請求項３および１２に係る仮想通信端末および仮想通信方法の連結手段では、聞き手の動作又は声に対する話し手の動作又は声の特徴点の変化から話し手の感情を推定する解析手段を更に備え、前記通信内容の解析結果を各々の前記情報と連結する、ことを特徴とする。

【0162】

この構成により、例えば、ある瞬間の顔の表情などを含む映像や音声データからのみで感情を推定するのではなく、その話し手の動作や感情を引き出すに至った直前の会話が必ず存在し、直前の会話も同様にアバターと会話のデータが連結されていて、その感情に至った経緯や理由を容易に確認することができ、より会話が発展するように仮想通信をすることができる。更に、相手との通信内容を喜怒哀楽の反応と共に相手の仮想通信対象と連結させることから、仮想通信終了後も相手の感情を含めて会話を確認することができる。

【0163】

このデータを蓄積し、統計データとして分析することも応用分野としては考えられる。例えば、今はやりの会話がどういった内容なのか、仮想通信利用者の総連結数からの割合を、仮想通信対象情報に含まれる、会話ＩＤで管理される話題や内容別に統計して、どの時間にどの地域でどういった話題が盛り上がっているのか、マクロ的な目線でデータ活用し、ターゲッティング広告をしたい企業とのデータマッチングサービスも応用例として考えられる。

【0164】

その他にも、利用者自身がデータ活用、即ちデータの有料による閲覧サービスを提供することも考えられる。例えば、ベンチャー企業の社長や有名人、業界で何らかの影響力のある人などと会食や会合を行う前に、商談を持ち込む営業担当者が予め相手の事を知るための情報として、開示者がＣＨＡＩＮ範囲を適切に設定した上で、公開が許可された範囲での、その人が過去に行った会話や、どの様な会話、例えば寿司の話で色々な人と盛り上がっているなど、社長が自身の提案に興味を持って頂くために、好意的な会話を織り交ぜる必要があるときもあり、事前に商談相手との会話におけるツボを押さえたい、というときに、絶大な参考情報を統計データ（統計対象の利用者が会話した相手の個人情報は当然にマスクされている）として、その社長自ら、提供することも考えられ得る。

【0165】

人は皆、自分を理解してくれる人や、会話のツボを押さえて会話を引き出す人、今の自分の気持ちに合った会話ができる人など、単純な営業トーク、押し売りトークではない会話をして欲しいものである。本発明を応用することで、営業担当者は、営業トークに磨きをかけ、商談を聞いて頂く人によりカスタマイズした会話を通じて、人間関係が構築され、良い商談に結び付く可能性が高くなる。

【0166】

次に、本発明の請求項４および１３に係る仮想通信端末および仮想通信方法の更新手段では、少なくとも２以上の話し手と聞き手がそれぞれ保存する仮想通信対象情報の差分を吸収するよう更新する、ことを特徴とする。

【0167】

この構成により、例えば、お相手に対する好意や嫌悪などの感情から生じる仮想通信対象の変化が似てくることで、より利用者間のコミュニケーションの関係性を具体的に把握することができる。

【0168】

次に、本発明の請求項５および１４に係る仮想通信端末および仮想通信方法の更新手段では、仮想通信対象情報に含まれるオブジェクトの特徴点が共通となるよう更新する、ことを特徴とする。

【0169】

この構成により、例えば、仮想通信対象情報に含まれるオブジェクトの特徴点が共通となるよう更新することから、あくまでも個々の仮想通信対象情報の全体の特徴は維持しつつも、更新が必要なパーツだけを効率的かつ低通信量で更新でき、更新処理による負荷を低減することができる。

【0170】

究極論としての応用例を挙げると、エッジＡＩの高機能化と仮想通信端末の処理効率化が叶えば、今までのコミュニケーションの発想としてのコーリング、セッション確立・維持（リソース占有）、通信の秘密（秘匿化）の不可侵領域と思われたリアルタイムの会話においてもＤＸ化を図り、コール不要、識別子等のパラメータのみによる仮想通信、セッション維持不要、通信パケットのブロックチェーン化や、包括同意および都度同意の取得処理の働き掛けによる、通信の秘密管理の不要化など、更なる低リソースによる高付加価値のあるコミュニケーションが可能となり得る。

【0171】

また、本発明の請求項６に係る仮想通信管理サーバは、仮想通信に関する利用者情報および許可条件を仮想通信対象情報として予め記憶する手段と、発信者からの仮想通信要求に含まれる通信条件と、受信者の通信許可条件に応じて発信者および／又は受信者の端末に仮想通信の開始を働きかける通信手段と、話し手の仮想通信対象情報には聞き手の仮想通信内容を、聞き手の仮想通信対象情報には話し手の仮想通信内容を相互に連結しながら仮想通信を継続するデータ処理部を有する、ことを特徴とする。

【0172】

この構成により、例えば、仮想通信に関する利用者情報および許可条件が異なる相手とも、都度、仮想通信を行うかどうか相手側の仮想通信対象情報を確認しながら、安心して仮想通信を行うことができる。

【0173】

また、本発明の請求項９に係る仮想通信方法の所定の条件として、利用者が相互に独身証明に関する認証を得ている、ことを特徴とする。

【0174】

この構成により、例えば、仮想通信の利用者が相互に独身証明に関する認証を得ていることを客観的に証明することにより、各種マッチングサービスで真剣な出会いを求めている利用者が安心して婚活などのマッチングを行うことができる。