特許 7571111 通信端末、情報処理装置、通信方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】通信端末、情報処理装置、通信方法及びプログラム

(51)【国際特許分類】

   G10L 21/028 20130101AFI20241015BHJP

   G10L 21/0272 20130101ALI20241015BHJP

【ＦＩ】

G10L21/028 C

G10L21/0272 100Z

【請求項の数】 10

(21)【出願番号】P 2022209807

(22)【出願日】2022-12-27

(65)【公開番号】P2024093431

(43)【公開日】2024-07-09

【審査請求日】2024-07-30

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】藁谷 浩亮

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２００６－２０１４９６（ＪＰ，Ａ）

【文献】特許第７１３７０３３（ＪＰ，Ｂ１）

【文献】米国特許第１０２４３６１３（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１０８４４９５０２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １７／００，２１／０２０８－２１／０３０８

Ｈ０４Ｍ １／００

(57)【特許請求の範囲】

【請求項1】

ユーザが使用する通信端末であって、
前記ユーザの音声の特徴を含む特徴データを記憶する記憶部と、
前記通信端末の周囲の音声を集音して音声データに変換する集音部と、
前記音声データに含まれている、前記ユーザを含む複数の話者による複数の音声データを分離して複数の内部分離音声データを生成する音声分離部と、
前記複数の内部分離音声データそれぞれと前記特徴データとの類似度である複数の内部類似度を特定し、当該複数の内部類似度のうち所定の条件を満たす前記内部類似度に対応する前記内部分離音声データを選択分離音声データとして選択する選択部と、
前記ユーザの通話相手が使用する通話先端末に前記選択分離音声データを送信する通信部と、
を有する通信端末。

【請求項2】

前記選択部は、前記複数の内部類似度のうち最大の類似度であるという前記所定の条件を満たす前記内部類似度に対応する前記内部分離音声データを選択分離音声データとして選択する、
請求項１に記載の通信端末。

【請求項3】

前記集音部が集音した音声と同じ音声を集音する他の通信端末から、当該他の通信端末が生成した複数の外部分離音声データと、前記複数の外部分離音声データそれぞれと当該他の通信端末を使用する他ユーザの特徴データとの類似度である複数の外部類似度と、を関連付けて取得する情報取得部をさらに有し、
前記選択部は、前記複数の内部分離音声データそれぞれについて、前記内部分離音声データと、当該内部分離音声データに対応する前記内部類似度と、前記情報取得部が取得した前記複数の外部分離音声データのうち当該内部分離音声データに最も類似する前記外部分離音声データと、当該外部分離音声データに対応する前記外部類似度と、を関連付け、関連付けた前記内部類似度と前記外部類似度とを比較した結果に基づいて、前記選択分離音声データを決定する、
請求項１に記載の通信端末。

【請求項4】

前記選択部は、前記内部類似度が前記外部類似度よりも大きいという前記所定の条件を満たす前記内部分離音声データを前記選択分離音声データとして選択する、
請求項３に記載の通信端末。

【請求項5】

前記選択部は、前記内部類似度が前記外部類似度以下である場合、前記所定の条件を満たさない前記内部類似度に対応する前記内部分離音声データと異なる前記内部分離音声データを前記選択分離音声データとして選択する、
請求項４に記載の通信端末。

【請求項6】

前記ユーザの顔画像データを取得する画像データ取得部をさらに有し、
前記選択部は、前記複数の内部分離音声データのうち、前記顔画像データが示す前記ユーザの顔の変化タイミングに同期している前記内部分離音声データを選択分離音声データとして選択する、
請求項１に記載の通信端末。

【請求項7】

通信端末を使用するユーザの音声の特徴を含む特徴データを記憶する記憶部と、
前記通信端末により集音された前記通信端末の周囲の音声に基づく音声データに含まれている、前記ユーザを含む複数の話者による複数の音声データを分離して複数の分離音声データを生成する音声分離部と、
前記複数の分離音声データそれぞれと前記特徴データとの類似度を特定し、当該複数の類似度のうち所定の条件を満たす前記類似度に対応する前記分離音声データを選択分離音声データとして選択する選択部と、
前記ユーザの通話相手が使用する通話先端末に前記選択分離音声データを送信する通信部と、
を有する情報処理装置。

【請求項8】

前記記憶部は、複数の前記通信端末を使用する複数のユーザの音声の特徴を含む複数の特徴データを記憶し、
前記選択部は、前記複数の通信端末それぞれに関連付けて前記選択分離音声データを決定し、
前記通信部は、前記複数の通信端末に対応する複数の前記通話先端末に前記選択分離音声データを送信する、
請求項７に記載の情報処理装置。

【請求項9】

コンピュータが実行する、
通信先端末を使用する通話相手と通話するユーザの周囲の音声に基づく音声データに含まれている、前記ユーザを含む複数の話者による複数の音声データを分離して複数の内部分離音声データを生成するステップと、
前記複数の内部分離音声データそれぞれと記憶部に記憶された前記ユーザの音声の特徴を含む特徴データとの類似度である複数の内部類似度を生成するステップと、
当該複数の内部類似度のうち所定の条件を満たす前記内部類似度に対応する前記内部分離音声データを選択分離音声データとして選択するステップと、
前記ユーザの通話相手が使用する通話先端末に前記選択分離音声データを送信するステップと、
を有する通信方法。

【請求項10】

コンピュータに、
通信先端末を使用する通話相手と通話するユーザの周囲の音声に基づく音声データに含まれている、前記ユーザを含む複数の話者による複数の音声データを分離して複数の内部分離音声データを生成するステップと、
前記複数の内部分離音声データそれぞれと記憶部に記憶された前記ユーザの音声の特徴を含む特徴データとの類似度である複数の内部類似度を生成するステップと、
当該複数の内部類似度のうち所定の条件を満たす前記内部類似度に対応する前記内部分離音声データを選択分離音声データとして選択するステップと、
前記ユーザの通話相手が使用する通話先端末に前記選択分離音声データを送信するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信端末、情報処理装置、通信方法及びプログラムに関する。

【背景技術】

【0002】

従来、通話先端末との間で音声通信が可能な端末において、近傍の他の端末を使って音声通信をしている話者の音声が通話先端末において聞こえにくくする技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第７１３７０３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術においては、自端末を使用している話者の音声のレベルと、自端末を使用していない話者の音声のレベルとの差に基づいて、自端末を使用している話者の音声を分離し、分離した音声を通話先端末に送信する。このような方法で通話先端末に送信する音声を選択する場合、自端末の近くにいる複数の話者の位置と自端末の位置との関係の変化により、複数の話者の音声が混同した音声に含まれる複数の話者の音量のバランスが変化すると、他の話者の音声を選択して通話先端末に送信してしまうことがあるという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、自端末を使用している話者の音声を通話先の端末に送信できる確率を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の通信端末は、ユーザが使用する通信端末であって、前記ユーザの音声の特徴を含む特徴データを記憶する記憶部と、前記通信端末の周囲の音声を集音して音声データに変換する集音部と、前記音声データに含まれている、前記ユーザを含む複数の話者による複数の音声データを分離して複数の内部分離音声データを生成する音声分離部と、前記複数の内部分離音声データそれぞれと前記特徴データとの類似度である複数の内部類似度を特定し、当該複数の内部類似度のうち所定の条件を満たす前記内部類似度に対応する前記内部分離音声データを選択分離音声データとして選択する選択部と、前記ユーザの通話相手が使用する通話先端末に前記選択分離音声データを送信する通信部と、を有する。

【0007】

前記選択部は、前記複数の内部類似度のうち最大の類似度であるという前記所定の条件を満たす前記内部類似度に対応する前記内部分離音声データを選択分離音声データとして選択してもよい。

【0008】

前記通信端末は、前記集音部が集音した音声と同じ音声を集音する他の通信端末から、当該他の通信端末が生成した複数の外部分離音声データと、前記複数の外部分離音声データそれぞれと当該他の通信端末を使用する他ユーザの特徴データとの類似度である複数の外部類似度と、を関連付けて取得する情報取得部をさらに有し、前記選択部は、前記複数の内部分離音声データそれぞれについて、前記内部分離音声データと、当該内部分離音声データに対応する前記内部類似度と、前記情報取得部が取得した前記複数の外部分離音声データのうち当該内部分離音声データに最も類似する前記外部分離音声データと、当該外部分離音声データに対応する前記外部類似度と、を関連付け、関連付けた前記内部類似度と前記外部類似度とを比較した結果に基づいて、前記選択分離音声データを決定してもよい。

【0009】

前記選択部は、前記内部類似度が前記外部類似度よりも大きいという前記所定の条件を満たす前記内部分離音声データを前記選択分離音声データとして選択してもよい。

【0010】

前記選択部は、前記内部類似度が前記外部類似度以下である場合、前記所定の条件を満たさない前記内部類似度に対応する前記内部分離音声データと異なる前記内部分離音声データを前記選択分離音声データとして選択してもよい。

【0011】

前記ユーザの顔画像データを取得する画像データ取得部をさらに有し、前記選択部は、前記複数の内部分離音声データのうち、前記顔画像データが示す前記ユーザの顔の変化タイミングに同期している前記内部分離音声データを選択分離音声データとして選択してもよい。

【0012】

本発明の第２の態様の情報処理装置は、通信端末を使用するユーザの音声の特徴を含む特徴データを記憶する記憶部と、前記通信端末により集音された前記通信端末の周囲の音声に基づく音声データに含まれている、前記ユーザを含む複数の話者による複数の音声データを分離して複数の分離音声データを生成する音声分離部と、前記複数の分離音声データそれぞれと前記特徴データとの類似度を特定し、当該複数の類似度のうち所定の条件を満たす前記類似度に対応する前記分離音声データを選択分離音声データとして選択する選択部と、前記ユーザの通話相手が使用する通話先端末に前記選択分離音声データを送信する通信部と、を有する。

【0013】

前記記憶部は、複数の前記通信端末を使用する複数のユーザの音声の特徴を含む複数の特徴データを記憶し、前記選択部は、前記複数の通信端末それぞれに関連付けて前記選択分離音声データを決定し、前記通信部は、前記複数の通信端末に対応する複数の前記通話先端末に前記選択分離音声データを送信してもよい。

【0014】

本発明の第３の態様の通信方法は、コンピュータが実行する、通信先端末を使用する通話相手と通話するユーザの周囲の音声に基づく音声データに含まれている、前記ユーザを含む複数の話者による複数の音声データを分離して複数の内部分離音声データを生成するステップと、前記複数の内部分離音声データそれぞれと記憶部に記憶された前記ユーザの音声の特徴を含む特徴データとの類似度である複数の内部類似度を生成するステップと、当該複数の内部類似度のうち所定の条件を満たす前記内部類似度に対応する前記内部分離音声データを選択分離音声データとして選択するステップと、前記ユーザの通話相手が使用する通話先端末に前記選択分離音声データを送信するステップと、を有する。

【0015】

本発明の第４の態様のプログラムは、コンピュータに、通信先端末を使用する通話相手と通話するユーザの周囲の音声に基づく音声データに含まれている、前記ユーザを含む複数の話者による複数の音声データを分離して複数の内部分離音声データを生成するステップと、前記複数の内部分離音声データそれぞれと記憶部に記憶された前記ユーザの音声の特徴を含む特徴データとの類似度である複数の内部類似度を生成するステップと、当該複数の内部類似度のうち所定の条件を満たす前記内部類似度に対応する前記内部分離音声データを選択分離音声データとして選択するステップと、前記ユーザの通話相手が使用する通話先端末に前記選択分離音声データを送信するステップと、を実行させるためのプログラムである。

【発明の効果】

【0016】

本発明によれば、自端末を使用している話者の音声を通話先の端末に送信できる確率が向上するという効果を奏する。

【図面の簡単な説明】

【0017】

【図1】通信システムＳの概要を説明するための図である。

【図2】通信端末１の構成を示す図である。

【図3】選択部１６３が外部分離音声データを用いて選択分離音声データを決定する動作の詳細を説明するための図である。

【図4】それぞれの通信端末１が送信する複数の内部分離音声データと複数の内部類似度とを示す図である。

【図5】複数の通信端末１それぞれの選択部１６３が内部類似度情報及び外部類似度情報を用いて選択分離音声データを決定する方法を説明するための図である。

【図6】複数の通信端末１における処理の流れを示すシーケンス図である。

【図7】通信端末１における処理の流れを示すフローチャートである。

【図8】第１変形例に係る通信端末１Ａの構成を示す図である。

【図9】第２実施形態の概要を説明するための図である。

【図10】情報処理装置３の構成を示す図である。

【発明を実施するための形態】

【0018】

＜第１実施形態＞
［通信システムＳの概要］
図１は、通信システムＳの概要を説明するための図である。通信システムＳは、ユーザが操作する通信端末１により、ネットワークＮを介して他のユーザとの間で音声通信するためのシステムである。ネットワークＮは、例えば、電話通信網、インターネット、ローカルエリアネットワーク等である。

【0019】

図１は、ユーザＵ１が通信端末１を用いて、通話先端末２を使用する通話先のユーザＵ１０と通話している状態を示している。ユーザＵ１の近くには、ユーザＵ１０以外のユーザと通話しているユーザＵ２がいて、ユーザＵ１が発する音声とともに、ユーザＵ２が発する音声も通信端末１に入る。このように、ユーザＵ１の音声とユーザＵ２の音声が通信端末１に入ってしまうと、通話先端末２からユーザＵ１の音声とユーザＵ２の音声が出力されるので、ユーザＵ１０がユーザＵ１の音声を聞きづらいという問題が生じる。図１に示す例においては、通信端末１が「こんにちは」と話した際に、ユーザＵ２が「はじめまして」と話した場合に、通話先端末２には、「こんにちは」の音声に「はじめまして」という音声が重なって聞こえることになる。

【0020】

この問題を解決するために、ユーザＵ１の音声とユーザＵ２の音声とを分離する技術が知られている。一例として、特許第７１３７０３３号公報に記載された技術においては、ユーザＵ１が使用する通信端末１とユーザＵ２が使用する通信端末１とが無線通信をすることにより、それぞれに入力された音声に基づく信号を他方に送信する。通信端末１においては、集音した混合音声に含まれるユーザＵ１の音声とユーザＵ２の音声との音量の比と、無線通信により受信した混合音声に含まれるユーザＵ１の音声とユーザＵ２の音声との音量の比とが異なることに基づいて、集音した混合音声と無線通信により受信した混合音声とを独立成分分析することにより、ユーザＵ１の音声（図１における分離音声Ｚ１）とユーザＵ２の音声（図１における分離音声Ｚ２）とを分離する。

【0021】

音声の分離手法は任意であり、通信端末１が複数のマイクロホンを有しており、複数のマイクロホンが集音した音声と複数のマイクロホンの間の距離とに基づいて、複数の音声を分離してもよい。通信端末１は、分離音声Ｚ１及び分離音声Ｚ２のうち、ユーザＵ１の音声であると判定した音声を通話先端末２に送信する。これにより、通話先端末２を使用するユーザＵ１０にはユーザＵ１の音声が聞こえてユーザＵ２の音声が聞こえないという状態になる。

【0022】

このようにして複数の音声を分離した場合、周辺環境の状態によってユーザＵ２が発した音声の音量が変動したり、反射の影響で遅延したりすることにより、ユーザＵ１の通話相手が使用する通話先端末２にユーザＵ１の音声を送信できない場合が生じ得る。そこで、本実施形態に係る通信端末１は、事前に取得したユーザＵ１の音声の特徴を含む特徴データ、又はユーザＵ１が話している間の顔の特徴を含む特徴データを用いて、分離音声Ｚ１及び分離音声Ｚ２のうち、ユーザＵ１の音声を正しく選択できる確率を高めることを特徴としている。

【0023】

［通信端末１の構成］
以下、通信端末１の構成及び動作を詳細に説明する。本明細書においては、通信端末１が無線通信により他の通信端末１から受信した音声を用いて複数の音声を分離する場合を例にして説明する。以下の説明では、ユーザＵ１が通信端末１－１を使用し、ユーザＵ２が通信端末１－２を使用するものとする。

【0024】

図２は、通信端末１の構成を示す図である。通信端末１は、集音部１１と、第１通信部１２と、第２通信部１３と、音声出力部１４と、記憶部１５と、制御部１６と、を有する。制御部１６は、音声分離部１６１と、情報取得部１６２と、選択部１６３とを有する。ここでは、通信端末１が、ユーザＵ１が使用する通信端末１－１である場合を例にして通信端末１の構成を説明する。

【0025】

集音部１１は、通信端末１の周囲の音声を集音して音声データに変換する。集音部１１は、例えばマイクロホンを有する。集音部１１は、音声データを音声分離部１６１に入力する。

【0026】

第１通信部１２は、無線通信チャネル（例えばBluetooth（登録商標）又はWi-Fi（登録商標））を用いて、ユーザＵ２が使用する通信端末１－２と無線通信する。第１通信部１２は、通信端末１－２で集音された混合音声データ、及び通信端末１－２で集音された音声に基いて通信端末１－２が生成した複数の外部分離音声データを受信する。また、第１通信部１２は、複数の外部分離音声データに関連付けて、当該複数の外部分離音声データと、通信端末１－２を使用する他ユーザであるユーザＵ２の特徴データとの類似度である複数の外部類似度を受信する。第１通信部１２は、受信した混合音声データを音声分離部１６１に入力する。第１通信部１２は、受信した複数の外部分離音声データと、複数の外部類似度とを情報取得部１６２に入力する。

【0027】

複数の外部分離音声データは、通信端末１－２が集音した音声に含まれている複数の音声を通信端末１－２が分離することにより生成した音声データである。複数の外部類似度は、例えば複数の外部分離音声データをケプストラム分析することにより得られる情報と、ユーザＵ２の特徴データをケプストラム分析することにより得られる情報との間の相関値又はカルバック・ライブラ情報量により表される。

【0028】

第２通信部１３は、通話先のユーザＵ１０が使用する通話先端末２とネットワークＮを介して通信し、音声信号を送受信するための通信インターフェースを有する。第２通信部１３は、ユーザＵ１の通話相手であるユーザＵ１０が使用する通話先端末である通話先端末２に、選択部１６３から入力された選択分離音声データを送信する。また、第２通信部１３は、通話先端末２から受信した音声データを音声出力部１４に入力する。選択分離音声データの詳細については後述する。

【0029】

音声出力部１４は、第２通信部１３を介して通話先端末２から受信した音声データを音声に変換して出力する。音声出力部１４は、例えば、スピーカ、イヤフォン、ヘッドフォン等である。

【0030】

記憶部１５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部１５は、制御部１６が実行するプログラムを記憶する。また、記憶部１５は、複数の音声を分離するために使用する各種のデータを記憶する。記憶部１５は、例えば、予め登録されたユーザＵ１の音声の特徴を含む特徴データを記憶する。

【0031】

制御部１６は、例えばＣＰＵ（Central Processing Unit）を有する。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、音声分離部１６１、情報取得部１６２及び選択部１６３として機能する。

【0032】

音声分離部１６１は、集音部１１から入力された音声データに含まれている、ユーザＵ１を含む複数の話者による複数の音声データを分離して複数の内部分離音声データを生成する。上記のとおり、音声分離部１６１が集音部１１から入力された音声データに含まれている複数の音声データを分離する方法は任意である。音声分離部１６１は、生成した複数の内部分離音声データを選択部１６３に入力する。音声分離部１６１は、例えば、複数の内部分離音声データのそれぞれを識別するための情報に関連付けて、複数の内部分離音声データを選択部１６３に入力する。音声分離部１６１は、複数の内部分離音声データを、それぞれ異なるタイミングで選択部１６３に入力してもよい。

【0033】

情報取得部１６２は、第１通信部１２を介して、集音部１１が集音した音声と同じ音声を集音する他の通信端末１（例えば通信端末１－２）から、当該他の通信端末１が生成した複数の外部分離音声データと、複数の外部分離音声データそれぞれと当該他の通信端末１を使用する他ユーザＵ２の特徴データとの類似度である複数の外部類似度と、を関連付けて取得する。情報取得部１６２は、取得した複数の外部分離音声データと複数の外部類似度とを関連付けて選択部１６３に入力する。情報取得部１６２は、取得した複数の外部分離音声データと複数の外部類似度とを関連付けて記憶部１５に記憶させてもよい。

【0034】

選択部１６３は、音声分離部１６１から入力された複数の内部分離音声データそれぞれと、記憶部１５に記憶されたユーザＵ１の特徴データとの類似度である複数の内部類似度を特定する。複数の内部類似度は、上述した複数の外部類似度と同様に、例えば複数の内部分離音声データをケプストラム分析することにより得られる情報と、ユーザＵ１の特徴データをケプストラム分析することにより得られる情報との間の相関値又はカルバック・ライブラ情報量により表される。

【0035】

選択部１６３は、特定した複数の内部類似度のうち所定の条件を満たす内部類似度に対応する内部分離音声データを選択分離音声データとして選択する。所定の条件は、例えば、複数の内部類似度のうち最も大きな値である。この場合、選択部１６３は、複数の内部類似度のうち最大の類似度であるという所定の条件を満たす内部類似度に対応する内部分離音声データを選択分離音声データとして選択する。所定の条件は、類似度が閾値以上であるという条件をさらに含んでもよい。

【0036】

選択部１６３は、選択分離音声データを第２通信部１３に入力することにより、ネットワークＮを介して選択分離音声データを通話先端末２に送信する。選択部１６３が、このようにユーザＵ１の特徴データに最も類似する内部分離音声データを通話先端末２に送信することで、通話先端末２を使用するユーザＵ１０にはユーザＵ１の音声以外の音声が聞こえないので、ユーザＵ１０がユーザＵ１と通話をしやすくなる。

【0037】

ところで、ユーザＵ１の音声の特徴とユーザＵ２の音声の特徴とが似ている場合、ユーザＵ１が使用する通信端末１－１の選択部１６３が、誤ってユーザＵ２の音声に基づく分離音声データを選択してしまうことが生じ得る。そこで、選択部１６３は、情報取得部１６２を介して取得した複数の外部分離音声データをさらに用いて選択分離音声データを決定してもよい。

【0038】

具体的には、選択部１６３は、複数の内部分離音声データそれぞれについて、内部分離音声データと、当該内部分離音声データに対応する内部類似度と、情報取得部１６２が取得した複数の外部分離音声データのうち当該内部分離音声データに最も類似する外部分離音声データと、当該外部分離音声データに対応する外部類似度と、を関連付ける。そして、選択部１６３は、関連付けた内部類似度と外部類似度とを比較した結果に基づいて、通話先端末２に送信する選択分離音声データを選択する。以下、選択部１６３が外部分離音声データを用いて選択分離音声データを決定する動作の詳細を説明する。

【0039】

図３から図５は、選択部１６３が外部分離音声データを用いて選択分離音声データを決定する動作の詳細を説明するための図である。ここでは、ユーザＵ１の近傍にユーザＵ２及びユーザＵ３がいる場合の選択部１６３の動作を説明する。通信端末１－１を使用するユーザＵ１は「こんにちは」という音声を発し、通信端末１－２を使用するユーザＵ２は、ユーザＵ１が音声を発したタイミングで「はじめまして」という音声を発し、通信端末１－３を使用するユーザＵ３も、ユーザＵ１が音声を発したタイミングで「お元気ですか」という音声を発している。

【0040】

通信端末１－１、通信端末１－２、通信端末１－３のそれぞれの選択部１６３は、無線通信により、音声分離部１６１から入力された複数の内部分離音声データに対応する複数の内部類似度を示す情報（以下、「内部類似度情報」という）を共有する。具体的には、例えば通信端末１－１は、無線通信が可能な通信端末１－２及び通信端末１－３に対して内部類似度情報を送信する。通信端末１－２及び通信端末１－３も同様に、他の通信端末１に対して内部類似度情報を送信する。それぞれの通信端末１は、他の通信端末１から受信した内部類似度情報を外部類似度情報として管理する。

【0041】

図４は、それぞれの通信端末１が送信する複数の内部分離音声データと複数の内部類似度とを示す図である。図４（ａ）は、通信端末１－１が送信する内部類似度情報であり、図４（ｂ）は、通信端末１－２が送信する内部類似度情報であり、図４（ｃ）は、通信端末１－３が送信する内部類似度情報である。内部類似度情報には、複数の内部分離音声データのうち選択された内部分離音声データを示す情報（図４においては〇）が含まれている。

【0042】

選択部１６３は、このようにして他の通信端末１から受信した内部類似度情報である外部類似度情報を用いて選択分離音声データを決定する。具体的には、選択部１６３は、内部類似度が外部類似度よりも大きいという所定の条件を満たす内部分離音声データを選択分離音声データとして選択する。選択部１６３は、自端末の内部類似度が外部類似度以下である場合、上記の所定の条件を満たさない内部類似度に対応する内部分離音声データと異なる内部分離音声データを選択分離音声データとして選択する。

【0043】

図５は、複数の通信端末１それぞれの選択部１６３が内部類似度情報及び外部類似度情報を用いて選択分離音声データを決定する方法を説明するための図である。図５（ａ）は、各通信端末１において算出された内部類似度と各通信端末１において仮に選択された内部分離音声データを示す情報（仮選択結果）が示されている。テーブルＡは通信端末１－１に対応し、テーブルＢは通信端末１－２に対応し、テーブルＣは通信端末１－３に対応している。

【0044】

テーブルＡにおいては、ユーザＵ１の特徴データと「こんにちは」との類似度が最も大きく０．８であり、通信端末１－１が「こんにちは」を仮に選択していることが確認できる。テーブルＢにおいては、ユーザＵ２の特徴データと「はじめまして」との類似度が最も大きく０．６であり、通信端末１－２が「はじめまして」を仮に選択していることが確認できる。テーブルＣにおいては、ユーザＵ３の特徴データと「はじめまして」との類似度が最も大きく０．５であり、通信端末１－３も「はじめまして」を仮に選択していることが確認できる。

【0045】

このような場合、通信端末１－１の選択部１６３は、自身が仮に選択した内部分離音声データを他の通信端末１が選択していないので、仮に選択した内部分離音声データを選択分離音声データに決定する。一方、通信端末１－２及び通信端末１－３の選択部１６３は、自身が仮に選択した内部分離音声データを他の通信端末１が仮に選択しているため、選択した内部分離音声データに対応する内部類似度と外部類似度とを比較する。図５（ａ）に示す例においては、テーブルＢの類似度０．６とテーブルＣの類似度０．５とを比較する。その結果、テーブルＢの内部類似度の方がテーブルＣの外部類似度よりも大きいので、通信端末１－２の選択部１６３は、仮に選択した内部分離音声データを選択分離音声データに決定する。

【0046】

通信端末１－３の選択部１６３は、内部類似度が他の通信端末１－２の外部類似度の方よりも小さいことから、仮に選択した内部分離音声データを選択分離音声データに決定せず、次に内部類似度が大きい内部分離音声データを選択分離音声データに決定する。図５（ａ）に示す例の場合、通信端末１－３の選択部１６３は、内部類似度が２番目に大きい「お元気ですか」を選択分離音声データに決定する。

【0047】

図５（ｂ）は、このようにして各通信端末１の選択部１６３が選択分離音声データを決定した結果を示している。選択部１６３がこのように動作することで、通信端末１を使用するユーザＵの音声の特徴が他のユーザＵの音声の特徴と似ている場合であっても、正しいユーザＵの音声が選択される確率が高まる。

【0048】

［複数の通信端末１における処理の流れ］
図６は、複数の通信端末１における処理の流れを示すシーケンス図である。図６に示すシーケンス図は、通信端末１－１、通信端末１－２及び通信端末１－３が集音を開始した時点から開始している。図６においては、通信端末１－１がネットワークＮを介して通話先端末２－１と通信し、通信端末１－２がネットワークＮを介して通話先端末２－２と通信している状態が想定されている。

【0049】

まず、通信端末１－１、通信端末１－２及び通信端末１－３は、ユーザＵ１、ユーザＵ２及びユーザＵ３の音声が含まれる混合音声を他の通信端末１から取得する（Ｓ１）。続いて、各通信端末１の音声分離部１６１が、取得した混合音声に基づいて音声分離処理を実行する（Ｓ２）。続いて、各通信端末１の選択部１６３は、記憶部１５に記憶された特徴データと複数の内部分離音声データとの類似度を算出し（Ｓ３）、１つの内部分離音声を仮選択する（Ｓ４）。

【0050】

続いて、通信端末１－１、通信端末１－２及び通信端末１－３は、複数の分離音声データと類似度とを示す類似度情報を共有する（Ｓ５）。すなわち、各通信端末１の情報取得部１６２は、他の通信端末１が送信し複数の内部分離音声データと内部類似度とを示す内部類似度情報を、複数の外部分離音声データと外部類似度を示す外部類似度情報として取得する。

【0051】

各通信端末１の選択部１６３は、情報取得部１６２が他の通信端末１から取得した複数の外部分離音声データと、自端末の音声分離部１６１から入力された複数の内部分離音声データとの相関値を算出することにより、それぞれの内部分離音声データを最も相関値が高い外部分離音声データに紐づける（Ｓ６）。そして、選択部１６３は、それぞれの内部分離音声データに対応する外部類似度を特定し、図５に示したようなテーブルを作成する。

【0052】

各通信端末１の選択部１６３は、図５を参照しながら説明したように、自身が仮に選択した内部分離音声データに対応する内部類似度が、当該内部分離音声データに対応する外部類似度よりも大きいか否かを判定することにより、仮に選択した内部分離音声データの正誤を判定する（Ｓ７）。選択部１６３は、内部類似度が外部類似度よりも大きく、仮に選択した内部分離音声データが正しいと判定した場合、仮に選択した内部分離音声データを選択分離音声データとして選択する。選択部１６３は、誤っていると判定した場合、他の内部分離音声データを選択分離音声データ（すなわち送信する音声データ）として選択する（Ｓ８）。

【0053】

通信端末１－１の選択部１６３は、選択分離音声データを通話先端末２－１に送信し（Ｓ９）、通信端末１－２の選択部１６３は、選択分離音声データを通話先端末２－２に送信する（Ｓ１０）。このような手順により、複数の通信端末１それぞれが、複数の通信端末１を使用するユーザＵの音声を通話中の相手が使用する通話先端末２に送信することができる。

【0054】

［通信端末１における処理の流れ］
図７は、通信端末１における処理の流れを示すフローチャートである。図７に示すフローチャートは、通信端末１を使用するユーザＵ１が、ユーザＵ１０との通話を開始する操作をした時点から開始している。

【0055】

音声分離部１６１は集音部１１を介して音声データを取得するとともに、第１通信部１２を介して他の通信端末１が集音することにより生成された混合音声データを取得する（Ｓ１１）。音声分離部１６１は、取得した音声データに基づいて、複数の内部分離音声データを生成する（Ｓ１２）。

【0056】

続いて、選択部１６３は、複数の内部分離音声データを記憶部１５に記憶された特徴データと比較することにより、複数の内部分離音声データそれぞれと特徴データとの類似度を算出する（Ｓ１３）。選択部１６３は、類似度が最も大きい内部分離音声データを仮に選択する（Ｓ１４）。選択部１６３は、第１通信部１２を介して、内部分離音声データと内部類似度とを示す内部類似度情報を他の通信端末１に送信する（Ｓ１５）。

【0057】

また、選択部１６３は、第１通信部１２及び情報取得部１６２を介して、他の通信端末１から外部分離音声データと外部類似度とを示す外部類似度情報を取得する（Ｓ１６）。選択部１６３は、複数の内部分離音声データと複数の外部分離音声データとの組み合わせごとに相関値を算出することにより、内部分離音声データと外部分離音声データとを紐づけて、図５に示したようなテーブルを作成する（Ｓ１７）。

【0058】

選択部１６３は、Ｓ１３において算出した複数の類似度のうち最大の類似度（すなわち、仮に選択した内部分離音声データに対応する類似度）が、他の通信端末１から取得した、当該内部分離音声データに対応する外部分離音声データに関連付けられた外部類似度よりも大きいか否かを判定する（Ｓ１８）。選択部１６３は、Ｓ１８において、最大の内部類似度が外部類似度よりも大きいと判定した場合（Ｓ１８においてＹＥＳ）、最大の内部類似度に対応する内部分離音声データを選択分離音声データとして選択する（Ｓ１９）。

【0059】

選択部１６３は、Ｓ１８において、最大の内部類似度が外部類似度よりも小さいと判定した場合（Ｓ１８においてＮＯ）、次に大きな内部類似度に対応する内部分離音声データを選択分離音声データとして選択する（Ｓ２０）。選択部１６３は、第２通信部１３を介して、選択分離音声データを通話先端末２に送信する（Ｓ２１）。通信端末１は、Ｓ１１からＳ２１までの処理を所定の時間間隔で繰り返す。所定の時間間隔は、例えば１秒である。

【0060】

なお、Ｓ１８において最大の内部類似度と外部類似度とが等しいと選択部１６３が判定した場合、選択部１６３は、例えば、最大の内部類似度と２番目の内部類似度との差が、他の通信端末１の最大の外部類似度と２番目の外部類似度との差よりも大きいことを条件として、Ｓ１９の処理を実行する。

【0061】

Ｓ１８において最大の内部類似度と外部類似度とが等しいと選択部１６３が判定した場合、選択部１６３は、仮に選択した内部音声データを通話先端末２に送信してもよい。Ｓ１８において最大の内部類似度と外部類似度とが等しいと選択部１６３が判定した場合、選択部１６３は、選択分離音声データを決定せず、例えば処理の時間間隔である１秒間は音声データを通話先端末２に送信しないようにしてもよい。

【0062】

［変形例］
図８は、第１変形例に係る通信端末１Ａの構成を示す図である。図８に示す通信端末１Ａは、画像データ取得部１７をさらに有するという点で図２に示した通信端末１と異なり、他の点で同じである。画像データ取得部１７は、通信端末１を使用するユーザＵの顔画像データを取得する。画像データ取得部１７は、例えば撮像素子を有する。

【0063】

選択部１６３は、複数の内部分離音声データのうち、顔画像データが示すユーザＵの顔の変化タイミングに同期している内部分離音声データを選択分離音声データとして選択する。選択部１６３は、例えば、複数の内部分離音声データを周波数領域のデータに変換し、顔画像データが、ユーザＵの口が開閉する動き又は口の形の変化に同期して周波数が変化している内部分離音声データを選択する。選択部１６３は、顔画像データのフレーム間差分に基づいてユーザＵの口の動き（又は唇の動き）の特徴を含む特徴データを用いてもよい。選択部１６３がこのように動作することで、適切な内部分離音声データを選択できる確率がさらに高まる。

【0064】

［通信端末１による効果］
以上説明したように、本実施形態に係る通信端末１は、集音した音声を話者ごとに分離して生成された複数の内部分離音声データそれぞれと、通信端末１のユーザＵの音声の特徴を含む特徴データとの類似度である複数の内部類似度を特定し、当該複数の内部類似度のうち所定の条件を満たす内部類似度に対応する内部分離音声データを通話先の通話先端末２に送信する。通信端末１がこのように構成されていることで、通信端末１のユーザＵの音声に対応する内部分離音声データが選択される確率が高くなり、自端末を使用している話者の音声を通話先の端末に送信できる確率が向上する。

【0065】

＜第２実施形態＞
第１実施形態においては、通信端末１が、入力された混合音声に含まれる複数の音声を分離し、通信端末１を使用するユーザＵの音声を選択した。これに対して、第２実施形態においては、情報処理装置３が通信端末１から混合音声のデータを取得し、情報処理装置３が混合音声に含まれる複数の音声を分離して選択分離音声データを生成し、選択分離音声データを通話先端末２に送信するという点で第１実施形態と異なる。情報処理装置３は、例えばネットワークＮを介して通信端末１及び通話先端末２と通信可能なコンピュータである。

【0066】

図９は、第２実施形態の概要を説明するための図である。通信端末１－１、通信端末１－２及び通信端末１－３は、それぞれが集音して生成した音声データを情報処理装置３に送信する。情報処理装置３は、複数の通信端末１それぞれのユーザＵの特徴データを記憶しており、複数の通信端末１それぞれから受信した音声データに基づく複数の内部分離音声データのうち、特徴データに最も類似する内部分離音声データを選択する。情報処理装置３は、選択した内部分離音声データを、複数の通信端末１それぞれと通信している通話先端末２に送信する。情報処理装置３は、例えば通信端末１－１と通信している通話先端末２－１に対して、ユーザＵ１が発した「こんにちは」に対応する内部分離音声データを送信する。

【0067】

図１０は、情報処理装置３の構成を示す図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３と、を有する。制御部３３は、音声分離部３３１と選択部３３２とを有する。

【0068】

通信部３１は、ネットワークＮを介して通信端末１及び通話先端末２と通信するための通信インターフェースを有する。通信部３１は、通信端末１から送信された音声データを受信し、受信した音声データを音声分離部３３１に入力する。通信部３１は、選択部３３２が生成した選択分離音声データを通話先端末２に送信する。すなわち、通信部３１は、ユーザＵの通話相手が使用する通話先端末である通話先端末２に選択分離音声データを送信する。通信部３１は、複数の通信端末１に対応する複数の通話先端末２に選択分離音声データを送信してもよい。

【0069】

記憶部３２は、ＲＯＭ、ＲＡＭ及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部３２は、制御部３３が実行するプログラムを記憶する。また、記憶部３２は、複数の通信端末１を使用する複数のユーザの音声の特徴を含む複数の特徴データを記憶する。記憶部３２は、例えば、通信端末１又は通信端末１を使用するユーザＵを識別するための識別情報に関連付けて、ユーザＵの特徴データを記憶する。記憶部３２は、複数の通信端末１それぞれに関連付けて、通話先の通話先端末２の識別情報を記憶してもよい。

【0070】

制御部３３は、記憶部３２に記憶されたプログラムを実行することにより、音声分離部３３１及び選択部３３２として機能する。音声分離部３３１は、第１実施形態で説明した通信端末１における音声分離部１６１と同等の機能を有する。すなわち、音声分離部３３１は、通信端末１により集音された通信端末１の周囲の音声に基づく音声データに含まれている、ユーザＵを含む複数の話者による複数の音声データを分離して複数の分離音声データを生成する。ただし、音声分離部３３１は、複数の通信端末１から受信した複数の音声データそれぞれに対して、複数の分離音声データを生成する。音声分離部３３１は、通信端末１又はユーザＵの識別情報に関連付けて複数の分離音声データを選択部３３２に通知する。

【0071】

選択部３３２は、第１実施形態で説明した通信端末１における選択部１６３と同等の機能を有する。すなわち、選択部３３２は、複数の分離音声データそれぞれと特徴データとの類似度を特定し、当該複数の類似度のうち所定の条件を満たす類似度に対応する分離音声データを選択分離音声データとして選択する。選択部３３２は、例えば、音声分離部３３１から通知された複数の通信端末１に対応する複数の分離音声データに基づいて、それぞれの通信端末１に対応する複数の分離音声データのうち、通信端末１のユーザＵの特徴データとの類似度が最も大きい分離音声データを選択分離音声データとして選択する。選択部３３２は、複数の通信端末１それぞれに関連付けて選択分離音声データを決定する。

【0072】

選択部３３２は、複数の通信端末１に対応する選択分離音声データが同一の分離音声データになった場合、図５を参照して説明した手順により、複数の通信端末１それぞれに対応する分離音声データが異なるように選択分離音声データを決定する。選択部３３２は、複数の通信端末１それぞれに対応する選択分離音声データを、複数の通信端末１それぞれのユーザＵが通話する他のユーザＵが使用する通話先端末２に対して送信する。

【0073】

このように情報処理装置３が複数の通信端末１から受信した音声データから、通信端末１を使用するユーザＵの特徴データに類似する分離音声データを生成することで、通信端末１の処理を軽くしつつ、通信端末１を使用している話者の音声を通話先の端末に送信できる確率を高めることが可能になる。

【0074】

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0075】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0076】

１ 通信端末
２ 通話先端末
３ 情報処理装置
１１ 集音部
１２ 第１通信部
１３ 第２通信部
１４ 音声出力部
１５ 記憶部
１６ 制御部
１７ 画像データ取得部
３１ 通信部
３２ 記憶部
３３ 制御部
１５１ 記憶部
１６１ 音声分離部
１６２ 情報取得部
１６３ 選択部
３３１ 音声分離部
３３２ 選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】