特開 2025-19875 プログラム、情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025019875

(43)【公開日】2025-02-07

(54)【発明の名称】プログラム、情報処理装置及び情報処理方法

(51)【国際特許分類】

   H04M 3/42 20060101AFI20250131BHJP

   G08B 25/04 20060101ALI20250131BHJP

   H04M 1/66 20060101ALI20250131BHJP

   H04M 1/64 20060101ALI20250131BHJP

   G10L 25/51 20130101ALI20250131BHJP

   G06Q 50/10 20120101ALI20250131BHJP

【ＦＩ】

H04M3/42 Z

G08B25/04 E

H04M1/66

H04M1/64 C

G10L25/51

G06Q50/10

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023123750

(22)【出願日】2023-07-28

(71)【出願人】

【識別番号】523288271

【氏名又は名称】もみじテック株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】平岡 弦己

【テーマコード（参考）】

5C087

5K127

5K201

5L049

5L050

【Ｆターム（参考）】

5C087AA10

5C087AA12

5C087DD05

5C087DD35

5C087EE08

5C087GG08

5C087GG09

5C087GG17

5C087GG19

5C087GG66

5C087GG84

5K127AA26

5K127BB04

5K127GD03

5K127HA05

5K127JA02

5K127KA04

5K201AA07

5K201BC19

5K201BC29

5K201BD04

5K201DC04

5K201DC05

5K201EC06

5L049CC11

5L050CC11

(57)【要約】

【課題】生成された合成音声を用いて知人になりすます、ディープフェイクによる犯罪の被害を未然に防止できるプログラム、情報処理装置及び情報処理方法を提供する。
【解決手段】送話者３００の通話音声を取得し、通話音声を入力した場合に、該通話音声が合成音声か否かの分類情報を出力するよう学習された分類モデル１０６１に、取得した通話音声を入力して分類情報を出力し、出力された分類情報を受話者に出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

送話者の通話音声を取得し、
通話音声を入力した場合に、該通話音声が合成音声か否かの分類情報を出力するよう学習された学習モデルに、取得した通話音声を入力して分類情報を出力し、
出力された分類情報を受話者に出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記送話者の通話音声が合成音声であると判定した場合、前記受話者に警告を出力する請求項１に記載のプログラム。

【請求項3】

前記送話者の通話音声が合成音声である確率を示す確信度を前記受話者に出力する請求項１に記載のプログラム。

【請求項4】

前記送話者の通話音声を録音する請求項１に記載のプログラム。

【請求項5】

前記送話者の通話音声が合成音声であると判定した場合、予め定められた通知先に通知する請求項１に記載のプログラム。

【請求項6】

前記送話者の通話音声が合成音声である確率を示す確信度、前記送話者の通話音声の録音指示を受け付ける録音受付部、及び、前記通知の実行指示を受け付ける通知受付部を表示部に表示する請求項５に記載のプログラム。

【請求項7】

前記送話者の通話音声が合成音声であると判定した場合、合成音声の通話音声に係るデータ及び言語生成モデルを用いて応答データを生成し、
生成した応答データに基づく応答を前記送話者に出力する
請求項１から６の何れか一項に記載のプログラム。

【請求項8】

制御部を備え、
前記制御部が、
送話者の通話音声を取得し、
通話音声を入力した場合に、該通話音声が合成音声か否かの分類情報を出力するよう学習された学習モデルに、取得した通話音声を入力して出力された分類情報を、受話者に出力する情報処理装置。

【請求項9】

送話者の通話音声を取得し、
通話音声を入力した場合に、該通話音声が合成音声か否かの分類情報を出力するよう学習された学習モデルに、取得した通話音声を入力して分類情報を出力し、
出力された分類情報を受話者に出力する処理をコンピュータに実行させる情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

近年、オレオレ詐欺、振り込め詐欺等、知人になりすまして受話者を騙す犯罪が多発している。これに対して、特許文献１では、通話パターン分析部を備え、通話時の通話パターンが特定のパターンに該当するか否かの分析結果に応じて危険度を判断する悪質通話対策システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０２７４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述した悪質通話対策システムでは、通話内容が予め定められた通話パターンに該当しない場合は、斯かる詐欺による被害を防止できず、かつ、最近、ＡＩ（Artificial Intelligence）によって生成された合成音声を用いる所謂ディープフェイクによる犯罪にも対応できない。

【0005】

本開示は斯かる事情に鑑みてなされたものであり、生成された合成音声を用いて知人になりすます、ディープフェイクによる犯罪の被害を未然に防止できるプログラム、情報処理装置及び情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係るプログラムは、送話者の通話音声を取得し、通話音声を入力した場合に、該通話音声が合成音声か否かの分類情報を出力するよう学習された学習モデルに、取得した通話音声を入力して分類情報を出力し、出力された分類情報を受話者に出力する処理をコンピュータに実行させる。

【0007】

本開示に係る情報処理装置は、制御部を備え、前記制御部が、送話者の通話音声を取得し、通話音声を入力した場合に、該通話音声が合成音声か否かの分類情報を出力するよう学習された学習モデルに、取得した通話音声を入力して出力された分類情報を、受話者に出力する。

【0008】

本開示に係る情報処理方法は、送話者の通話音声を取得し、通話音声を入力した場合に、該通話音声が合成音声か否かの分類情報を出力するよう学習された学習モデルに、取得した通話音声を入力して分類情報を出力し、出力された分類情報を受話者に出力する処理をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、生成された合成音声を用いて知人になりすます、ディープフェイクによる犯罪の被害を未然に防止できる。

【図面の簡単な説明】

【0010】

【図1】本開示に係る実施形態を概念的に示す説明図である。

【図2】本実施形態に係る端末装置の構成例を示す機能ブロック図である。

【図3】本実施形態において表示部に表示される警告画面の一例を示す例示図である。

【図4】分類モデルに関する説明図である。

【図5】訓練データＤＢの分類訓練データのレコードレイアウトの一例を示す説明図である。

【図6】分類モデルの生成処理の手順を示すフローチャートである。

【図7】着信があった場合における実施形態１の端末装置の対応例を説明するフローチャートである。

【図8】本開示に係る実施形態を概念的に示す説明図である。

【図9】本実施形態に係る端末装置の構成例を示す機能ブロック図である。

【図10】訓練データＤＢの応答訓練データのレコードレイアウトの一例を示す説明図である。

【図11】学習モデル管理ＤＢのレコードレイアウトの一例を示す説明図である。

【図12】応答モデルの生成処理の手順を示すフローチャートである。

【図13】着信があった場合における実施形態２の端末装置の対応例を説明するフローチャートである。

【図14】表示部に表示される警告画面の変形例を示す例示図である。

【発明を実施するための形態】

【0011】

以下、本発明をその実施の形態を示す図面に基づいて説明する。

【0012】

（実施形態１）
図１は、本開示に係る実施形態を概念的に示す説明図である。
本実施形態において、符号１は端末装置（情報処理装置）を示し、符号１００はサーバ装置を示す。端末装置１は、携帯電話通信網、無線ＬＡＮ（Local Area Network）及びインターネット等を含むネットワークＮを介して、サーバ装置１００に接続されている。
本実施形態において、端末装置１は、例えば携帯電話であり、着信があった場合、送話者の通話音声が合成音声であるか否かの分類結果をサーバ装置１００から受信し、悪意ある送話者３００からの電話に適宜対応する。

【0013】

図２は、本実施形態に係る端末装置１の構成例を示す機能ブロック図である。
端末装置１は、制御部１１、記憶部１２、スピーカ１３、マイク１４、録音部１５、表示部１６、受付部１７、第１通信部１８、第２通信部１９、及び、読取部２０を含む。各構成部はバスを介して接続されている。

【0014】

制御部１１はＣＰＵ、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラムＰ２を読み出して実行することにより、端末装置１に係る種々の情報処理、制御処理等を行う。

【0015】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラムＰ２又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。更に、上述の如く、送話者の通話音声が合成音声である場合に通知を行うための通知先１２１が記憶されている。通知先１２１は、例えば、親戚、家族又は警察等の連絡先であり、受付部１７を介して予めユーザから受け付けられる。

【0016】

スピーカ１３は送話者からの通話音声を出力し、マイク１４はユーザ（受話者）の音声を送話者に出力する。また、録音部１５は、制御部１１の指示に応じて、第１通信部１８が受信する送話者の通話音声を録音し、記憶部１２に記憶させる。

【0017】

表示部１６は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。例えば、表示部１６には、後述する警告画面が表示される。
また、受付部１７は、タッチパネルであり、表示部１６に設けられている。ユーザのタッチ操作により、制御部１１は、受付部１７を介して、ユーザから指示を受け付ける。

【0018】

図３は、本実施形態において表示部１６に表示される警告画面の一例を示す例示図である。警告画面には、「合成音声です。要注意」との警告メッセージ１６１が表示され、例えば、該警告メッセージ１６１は点滅する。他、前記警告画面には、サーバ装置１００から送られた、送話者の通話音声が合成音声である確率を示す確信度１６２が表示され、送話者の通話音声を録音する指示を受け付ける「開始」ボタン１６３（録音受付部）が表示され、送話者の通話音声が合成音声である場合に通知先１２１に通知する指示を受け付ける「実行」ボタン１６４（通知受付部）が表示される。例えば、「開始」ボタン１６３及び「実行」ボタン１６４は所謂トグルボタンである。

【0019】

第１通信部１８は、携帯電話通信網を介して、着信を受け付け、発呼を行う。即ち、第１通信部１８は、送話者からの通話音声を受信し、受話者からの通話音声を送話者に送信する、オーディオ出力が行われる。

【0020】

第２通信部１９は、例えば、無線ＬＡＮ及びインターネットを介して、サーバ装置１００とのデータ通信を行う。例えば、第２通信部１９は、サーバ装置１００に、送話者からの通話音声を送信し、後述の如く、送話者の通話音声が合成音声か否かの分別結果をサーバ装置１００から受信する。

【0021】

読取部２０は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体２００ａを読み取る。制御部１１が読取部２０を介して、制御プログラムＰ２を可搬型記憶媒体２００ａより読み取り、記憶部１２に記憶してもよい。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラムＰ２をダウンロードし、記憶部１２に記憶してもよい。更に、半導体メモリ２００ｂから、制御部１１が制御プログラムＰ２を読み込んでもよい。

【0022】

サーバ装置１００は、制御部１０１、記憶部１０２、通信部１０３、読取部１０４及び大容量記憶部１０５を含む。各構成部はバスを介して接続されている（図１参照）。

【0023】

制御部１０１はＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含み、記憶部１０２に記憶された制御プログラムＰ１を読み出して実行することにより、サーバ装置１００に係る種々の情報処理、制御処理等を行う。なお、制御プログラムＰ１は、単一のコンピュータ上で、又は１つのサイトにて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、本実施形態では制御部１０１を単一のプロセッサであるものとして説明するが、マルチプロセッサであってもよい。

【0024】

記憶部１０２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部１０１が処理を実行するために必要な制御プログラムＰ１又はデータ等を記憶している。また、記憶部１０２は、制御部１０１が演算処理を実行するために必要なデータ等を一時的に記憶する。

【0025】

通信部１０３は、例えば、無線ＬＡＮ及びインターネットを介して、端末装置１とのデータ通信を行う。例えば、通信部１０３は、端末装置１に、送話者からの通話音声が合成音声か否かの分別結果を送信する。

【0026】

読取部１０４は、ＣＤ－ＲＯＭ又はＤＶＤ－ＲＯＭを含む可搬型記憶媒体２００ａを読み取る。制御部１０１が読取部１０４を介して、制御プログラムＰ１を可搬型記憶媒体２００ａより読み取り、大容量記憶部１０５に記憶してもよい。また、ネットワーク等を介して他のコンピュータから制御部１０１が制御プログラムＰ１をダウンロードし、大容量記憶部１０５に記憶してもよい。更に、半導体メモリ２００ｂから、制御部１０１が制御プログラムＰ１を読み込んでもよい。

【0027】

大容量記憶部１０５は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１０５は、学習モデルＤＢ（database）１０６及び訓練データＤＢ１０７を含む。

【0028】

学習モデルＤＢ１０６には、分類モデル１０６１（学習モデル）が格納されている。分類モデル１０６１は機械学習により生成された学習済みの学習モデルである。分類モデル１０６１は、端末装置１から送られた送話者の通話音声が合成音声であるか否かの分類を行う。即ち、分類モデル１０６１は、送話者の通話音声が合成音声であるか、人間の肉声であるかを分類する分類器である。

【0029】

図４は、分類モデル１０６１に関する説明図である。
分類モデル１０６１は、複数のニューロン（ノードともいう）が結合されたニューラルネットワークにより構成されている。分類モデル１０６１は、送話者の通話音声が入力される入力層、特徴量を抽出する畳み込み層又はプーリング層を含む隠れ層、送話者の通話音声が合成音声である確率を示す確信度（スコア）を出力する出力層を有し、送話者の通話音声が入力された場合、確信度（スコア）を出力するよう学習されている。斯かる確信度のスコアは０～１の間の数値である。

【0030】

分類モデル１０６１を構成するニューラルネットワークの種類は任意であり、入力するデータの形式や出力すべきデータの形式に応じて適宜選択される。例えば、分類モデル１０６１は、時系列の情報を扱うＲＮＮ（Recurrent Neural Network）、Ｔｒａｎｓｆｏｒｍｅｒ又はＧＰＴ（Generative Pre-Training）－２等の学習モデルが採用される。

【0031】

訓練データＤＢ１０７は、分類モデル１０６１を構築（作成）するための訓練データを記憶している。具体的には、訓練データＤＢ１０７は、分類モデル１０６１用の訓練データである分類訓練データ１０７１を記憶している。

【0032】

図５は、訓練データＤＢ１０７の分類訓練データ１０７１のレコードレイアウトの一例を示す説明図である。分類訓練データ１０７１は、訓練ＩＤ列、入力データ列及び出力データ列を含む。

【0033】

訓練ＩＤ列は、各訓練データを識別するために、一意に特定される訓練データのＩＤを記憶している。入力データ列は、合成音声及び人間の肉声を含む通話音声の入力データを記憶している。出力データ列は、分類結果、即ち教師データを記憶している。出力データ列は、入力された入力データに対して、人間の肉声であるラベル（例えば「０」）と、ＡＩ（Artificial Intelligence）による合成音声であるラベル（例えば「１」）とを記憶している。

【0034】

図６は、分類モデル１０６１の生成処理の手順を示すフローチャートである。図６に基づき、機械学習を行って分類モデル１０６１を生成する処理について説明する。

【0035】

サーバ装置１００の制御部１０１は、訓練データＤＢ１０７の分類訓練データ１０７１から（図５参照）、入力データと、該入力データに対応する出力データとを複数取得する（ステップＳ１０１）。

【0036】

制御部１０１は、取得した入力データ、及び、該入力データに対応する前記出力データを用いて、送話者の通話音声が合成音声である確信度（スコア）を出力とする分類モデル１０６１を生成する（ステップＳ１０２）。

【0037】

制御部１０１は、前記入力データを分類モデル１０６１に順次入力し、前記確信度（スコア）を順次出力させる。制御部１０１は、出力された確信度（スコア）を、分類訓練データ１０７１に含まれる教師データである出力データと比較し、両者が近似するように中間層の各種パラメータを最適化して、分類モデル１０６１を生成する。

【0038】

制御部１０１は、生成した分類モデル１０６１を大容量記憶部１０５の学習モデルＤＢ１０６に記憶し（ステップＳ１０３）、一連の処理を終了する。

【0039】

図７は、着信があった場合における実施形態１の端末装置１の対応例を説明するフローチャートである。

【0040】

端末装置１が着信を受け付け（ステップＳ２０１）、端末装置１のユーザ（受話者）が応答の為の操作を行った場合、制御部１１は、第１通信部１８を介して受信される送話者の通話音声（音声データ）をキャプチャし、第２通信部１９を介してサーバ装置１００に送信する（ステップＳ２０２）。

【0041】

端末装置１からの送話者の通話音声の音声データは、サーバ装置１００の通信部１０３によって受信される。この際、サーバ装置１００の制御部１０１は、通信部１０３を介して受信した送話者の通話音声を分類モデル１０６１の入力層に入力し、分類モデル１０６１の出力層から出力される確信度（スコア）を通信部１０３を介して端末装置１に送信する。サーバ装置１００からの確信度（スコア）は端末装置１の第２通信部１９によって受信される（ステップＳ２０３）。

【0042】

端末装置１の制御部１１は、サーバ装置１００からの確信度（スコア）に基づいて、送話者の通話音声が合成音声か否かの判定を行う（ステップＳ２０４）。サーバ装置１００からの確信度（スコア）が閾値未満である場合、制御部１１は合成音声でないと、即ち人間の肉声であると判定し（ステップＳ２０４：ＮＯ）、処理を終了する。

【0043】

一方、サーバ装置１００からの確信度（スコア）が閾値以上である場合、制御部１１は、合成音声であると判定し（ステップＳ２０４：ＹＥＳ）、表示部１６に上述した警告画面を表示する（図３参照）。即ち、表示部１６には、「合成音声です。要注意」との警告メッセージ１６１が点滅表示され、サーバ装置１００からの確信度（スコア）１６２が表示される（ステップＳ２０５）。

【0044】

次いで、ユーザが送話者の通話音声を録音するために警告画面の「開始」ボタン１６３をタッチ操作することに応じて、制御部１１は録音部１５に通話音声の録音を指示する。これに応じて、録音部１５は送話者の通話音声の録音を開始する（ステップＳ２０６）。

【0045】

また、送話者の通話音声が合成音声であることを通知先１２１に通知すべく、ユーザが警告画面の「実行」ボタン１６４をタッチ操作することに応じて、制御部１１は、記憶部１２の通知先１２１への通知を第１通信部１８に指示する。これに応じて、第１通信部１８は通知先１２１への発呼を行う（ステップＳ２０７）。例えば、第１通信部１８は、親戚、家族又は警察等の通知先１２１に連絡し、記憶部１２に予め記憶されている、送話者の通話音声が合成音声である旨の音声を送信する。

【0046】

以降、制御部１１は通話が終了したか否かを判定する（ステップＳ２０８）。通話が終了していないと判定した場合（ステップＳ２０８：ＮＯ）、制御部１１は、通話が終了するまで斯かる判定を繰り返して行う。

【0047】

例えば、前記警告画面が表示され、ユーザが電話を切った場合、制御部１１は、通話が終了したと判定し（ステップＳ２０８：ＹＥＳ）、録音部１５に送話者の通話音声の録音の中止を指示し、斯かる指示に応じて録音部１５は送話者の通話音声の録音を中止する（ステップＳ２０９）。録音部１５によって録音された送話者の通話音声は、日付に対応付けられて例えば記憶部１２に記憶され、処理は終了する。

【0048】

本実施形態においては、上述の如く、着信があった場合、端末装置１は、送話者の通話音声を取得してサーバ装置１００に送信し、サーバ装置１００からの確信度１６２に基づき、送話者の通話音声が合成音声である場合、ユーザ（受話者）に警告を行う。
従って、ユーザは警戒心を高める、又は電話を切る等防止策を取ることができ、ＡＩによって生成された合成音声を用いて知人になりすます、ディープフェイクによる騙し被害を未然に防止できる。

【0049】

また、本実施形態においては、上述の如く、前記警告画面に、警告メッセージ１６１に加えて確信度（スコア）１６２が表示されるので、受話者が自ら、斯かる確信度１６２に基づいて、送話者の通話音声が合成音声であるか否かを分類できる。

【0050】

また、本実施形態においては、上述の如く、送話者の通話音声が合成音声である場合、送話者の通話音声を録音できるので、前記ディープフェイクによる被害が発生した場合に備え、証拠を確保できる。

【0051】

更に、本実施形態においては、上述の如く、送話者の通話音声が合成音声である場合、通知先１２１に通知できるので、前記ディープフェイクに対する対応の際、周りに助けを求めることができる。

【0052】

以上においては、送話者の通話音声が合成音声である場合、表示部１６に前記警告画面（警告メッセージ１６１）を表示して警告を行う場合を例に挙げて説明したが、これに限定されるものではない。
例えば、スピーカ１３を介して警告を行うように構成しても良い。例えば、送話者の通話音声が合成音声である場合、スピーカ１３が所定の警告音を出力してもよく、所定の警告フレーズを読み上げるように構成しても良い。
また、端末装置１が振動部を備え、斯かる振動部を用いて警告を行うように構成しても良い。例えば、送話者の通話音声が合成音声である場合、前記振動部が所定のパターンで振動するように構成しても良い。

【0053】

また、以上においては、サーバ装置１００が学習モデルＤＢ１０６（分類モデル１０６１）を備える場合を例に挙げて説明したが、これに限定されるものではない。端末装置１が学習モデルＤＢ１０６（分類モデル１０６１）を備えるように構成しても良い。

【0054】

（実施形態２）
図８は、本開示に係る実施形態を概念的に示す説明図である。
実施形態２では、実施形態１と同様、端末装置１が、ネットワークＮを介して、サーバ装置１００に接続されている。

【0055】

図９は、本実施形態に係る端末装置１の構成例を示す機能ブロック図である。
端末装置１は、携帯電話であり、制御部１１、記憶部１２、スピーカ１３、マイク１４、録音部１５、表示部１６、受付部１７、第１通信部１８、第２通信部１９、及び、読取部２０を含む。これら構成部については実施形態１で既に説明しており、詳しい説明を省略する。

【0056】

実施形態２に係る端末装置１は、更に、ＴＴＳ（Text to Speech）部２１を備えている。ＴＴＳ部２１は、後述の如く、サーバ装置１００から送られる応答テキストをオーディオ出力に変換する所謂音声合成器である。

【0057】

サーバ装置１００は、制御部１０１、記憶部１０２、通信部１０３、読取部１０４及び大容量記憶部１０５を含む（図８参照）。制御部１０１、記憶部１０２、通信部１０３及び読取部１０４は実施形態１と同様であり、詳しい説明を省略する。

【0058】

大容量記憶部１０５は、例えばＨＤＤ、ＳＳＤ等の記録媒体を備える。大容量記憶部１０５は、学習モデルＤＢ１０６、訓練データＤＢ１０７及び学習モデル管理ＤＢ１０８を含む。

【0059】

学習モデルＤＢ１０６には、分類モデル１０６１及び応答モデル１０６２（言語生成モデル）が格納されている。分類モデル１０６１は、機械学習により生成された学習済みの学習モデルであり、実施形態１と同様、端末装置１から送られた送話者の通話音声が合成音声であるか否かの分類を行う。

【0060】

また、応答モデル１０６２は機械学習により生成された学習済みの言語生成モデルである。端末装置１から送られた送話者の通話音声が合成音声であると制御部１０１が判定した場合、応答モデル１０６２は、送話者による騙しを防ぐための応答テキストを生成する。

【0061】

応答モデル１０６２は、複数のニューロン（ノードともいう）が結合されたニューラルネットワークにより構成されている。応答モデル１０６２は、送話者の通話内容を表すテキスト（以下、通話内容テキストと称する）が入力される入力層、特徴量を抽出する畳み込み層又はプーリング層を含む隠れ層、送話者の通話内容に対応する応答テキスト（応答データ）を出力する出力層を有し、送話者の通話内容テキストが入力された場合、入力された通話内容テキストに応じた応答テキストを出力するよう学習されている。
応答モデル１０６２を構成するニューラルネットワークの種類は任意であり、例えば、ＧＰＴ－２等の学習モデルが採用される。

【0062】

訓練データＤＢ１０７は、分類モデル１０６１及び応答モデル１０６２を構築（作成）するための訓練データを記憶している。具体的には、訓練データＤＢ１０７は、分類モデル１０６１用の訓練データである分類訓練データ１０７１と、応答モデル１０６２用の訓練データである応答訓練データ１０７２とを記憶している。分類訓練データ１０７１については既に説明しており、以下では、応答訓練データ１０７２についてのみ説明する。

【0063】

図１０は、訓練データＤＢ１０７の応答訓練データ１０７２のレコードレイアウトの一例を示す説明図である。応答訓練データ１０７２は、訓練ＩＤ列、入力データ列及び出力データ列を含む。

【0064】

訓練ＩＤ列は、各訓練データを識別するために、一意に特定される訓練データのＩＤを記憶している。入力データ列は、種々の通話内容テキストを入力データとして記憶している。出力データ列は、入力された通話内容テキストに対応できる適切な応答テキストを記憶している。

【0065】

学習モデル管理ＤＢ１０８は、学習済みの分類モデル１０６１及び応答モデル１０６２に関する情報を記憶している。具体的に、学習モデル管理ＤＢ１０８は、分類モデル１０６１及び応答モデル１０６２のファイル、分類モデル１０６１及び応答モデル１０６２を生成した日時情報等を記憶している。

【0066】

図１１は、学習モデル管理ＤＢ１０８のレコードレイアウトの一例を示す説明図である。
学習モデル管理ＤＢ１０８は、モデルＩＤ列、学習モデル列、種類列及び生成日時列を含む。モデルＩＤ列は、学習済みの分類モデル１０６１及び応答モデル１０６２を識別するために、一意に特定される学習モデルのＩＤを記憶している。学習モデル列は、学習済みの分類モデル１０６１及び応答モデル１０６２のファイルを記憶している。また、種類列は、学習モデルの種類を記憶している。種類は、例えば分類モデル１０６１及び応答モデル１０６２夫々が出力する出力データにより分類される。また、生成日時列は、学習済みの分類モデル１０６１及び応答モデル１０６２を生成した夫々の日時情報を記憶している。

【0067】

図１２は、応答モデル１０６２の生成処理の手順を示すフローチャートである。図１１に基づき、機械学習を行って応答モデル１０６２を生成する処理について説明する。

【0068】

サーバ装置１００の制御部１０１は、訓練データＤＢ１０７の応答訓練データ１０７２から（図１０参照）、入力データと、該入力データに対応する出力データとを複数取得する（ステップＳ３０１）。

【0069】

制御部１０１は、取得した入力データ、及び、該入力データに対応する前記出力データを用いて、入力された通話内容テキストに応じた応答テキストを出力する応答モデル１０６２を生成する（ステップＳ３０２）。

【0070】

制御部１０１は、前記入力データを応答モデル１０６２に順次入力し、前記応答テキストを順次出力させる。制御部１０１は、出力された応答テキストを、応答訓練データ１０７２に含まれる教師データである出力データと比較し、両者が近似するように中間層の各種パラメータを最適化して、応答モデル１０６２を生成する。

【0071】

制御部１０１は、生成した分類モデル１０６１を大容量記憶部１０５の学習モデルＤＢ１０６に記憶し（ステップＳ３０３）、一連の処理を終了する。具体的には、制御部１０１は、生成した応答モデル１０６２に対してモデルＩＤを割り振り、割り振ったモデルＩＤに対応付けて、応答モデル１０６２のファイル及び生成日時を一つのレコードとして学習モデル管理ＤＢ１０８に記憶する。

【0072】

実施形態２に係るサーバ装置１００は、更に、ＳＴＴ（Speech to Text）部１０９を備えている。ＳＴＴ部１０９は、端末装置１から送られた送話者の通話音声（音声データ）を、前記通話内容テキストに変換する。ＳＴＴ部１０９によって変換された送話者の通話内容テキストは、応答モデル１０６２に入力される。

【0073】

図１３は、着信があった場合における実施形態２の端末装置１の対応例を説明するフローチャートである。

【0074】

端末装置１が着信を受け付け（ステップＳ４０１）、端末装置１のユーザ（受話者）が応答の為の操作を行った場合、制御部１１は、第１通信部１８を介して受信される送話者の通話音声（音声データ）をキャプチャし、第２通信部１９を介してサーバ装置１００に送信する（ステップＳ４０２）。

【0075】

端末装置１からの送話者の通話音声の音声データは、サーバ装置１００の通信部１０３によって受信され、記憶部１０２に一時記憶される。サーバ装置１００の制御部１０１は、記憶部１０２に記憶された送話者の通話音声を読み出して分類モデル１０６１の入力層に入力し、分類モデル１０６１の出力層から出力される確信度（スコア）を記憶部１０２に一時記憶する。

【0076】

この際、制御部１０１は、分類モデル１０６１の出力層から出力される確信度（スコア）に基づいて、送話者の通話音声が合成音声か否かの判定を行う。斯かる確信度（スコア）が閾値以上である場合、制御部１０１は、送話者の通話音声が合成音声であると判定し、記憶部１０２に記憶された送話者の通話音声を読み出してＳＴＴ部１０９に入力して前記通話内容テキストを取得する。次いで制御部１０１は取得した通話内容テキストを応答モデル１０６２に入力し、応答モデル１０６２から出力される応答テキストを取得する。制御部１０１は、取得した応答テキストを、確信度（スコア）と共に、通信部１０３を介して端末装置１に送信する。サーバ装置１００からの応答テキスト及び確信度（スコア）は端末装置１の第２通信部１９によって受信される（ステップＳ４０３）。端末装置１の制御部１１は、受信した確信度（スコア）及び応答テキストを記憶部１２に一時記憶する。

【0077】

続いて、制御部１１は、表示部１６に上述した警告画面を表示する（図３参照）。即ち、表示部１６には、警告メッセージ１６１が点滅表示され、確信度（スコア）１６２が表示される（ステップＳ４０４）。

【0078】

次いで、ユーザが送話者の通話音声を録音するために警告画面の「開始」ボタン１６３をタッチ操作することに応じて、制御部１１は録音部１５に通話音声の録音を指示する。これに応じて、録音部１５は送話者の通話音声の録音を開始する（ステップＳ４０５）。

【0079】

また、送話者の通話音声が合成音声であることを通知先１２１に通知すべく、ユーザが警告画面の「実行」ボタン１６４をタッチ操作することに応じて、制御部１１は、記憶部１２の通知先１２１への通知を第１通信部１８に指示する。これに応じて、第１通信部１８は通知先１２１への発呼を行う（ステップＳ４０６）。

【0080】

続いて、制御部１１は、記憶部１２に記憶されている、サーバ装置１００から受信した応答テキストを読み出してＴＴＳ部２１に送る。ＴＴＳ部２１は、斯かる応答テキストを音声データに変換し、第１通信部１８を介してオーディオ出力する（ステップＳ４０７）。即ち、応答テキストを読み上げた音声（以下、応答音声）が第１通信部１８を介して送話者に出力される。

【0081】

例えば、「警察に通報する」、「通話内容は録音したので、警察に提出する」等の音声が送話者に出力される。

【0082】

以降、制御部１１は通話が終了したか否かを判定する（ステップＳ４０８）。通話が終了していないと判定した場合（ステップＳ４０８：ＮＯ）、制御部１１は、通話が終了するまで斯かる判定を繰り返して行う。

【0083】

また、制御部１１によって、通話が終了したと判定された場合（ステップＳ４０８：ＹＥＳ）、録音部１５は送話者の通話音声の録音を中止する（ステップＳ４０９）。録音部１５によって録音された送話者の通話音声は例えば記憶部１２に記憶される。

【0084】

本実施形態においても、送話者の通話音声が合成音声であると判定された場合、ユーザ（受話者）に警告を行う。従って、ユーザは警戒心を高める、又は電話を切る等防止策を取ることができ、ＡＩによって生成された合成音声を用いて知人になりすます、ディープフェイクによる騙し被害を未然に防止できる。

【0085】

また、本実施形態においては、上述の如く、送話者の通話音声が合成音声である場合、サーバ装置１００から取得した応答テキストに基づいて応答音声を送話者に出力する。よって、合成音声を用いて知人になりすまして受話者を騙そうとする悪意ある送話者３００を断念させ、前記ディープフェイクによる被害の発生を未然に防止できる。

【0086】

以上においては、送話者の通話音声が合成音声である場合、端末装置１にて、自動的にサーバ装置１００から受信した応答テキストがＴＴＳ部２１によって音声データに変換されて送話者に出力される場合を例に挙げて説明したが、これに限定されるものではない。例えば、サーバ装置１００から受信した応答テキストを、ＴＴＳ部２１で生成された合成音声で送話者に出力するか、又は、受話者が自分の肉声で送話者に発話するか選択できるように構成しても良い。以下、詳しく説明する。

【0087】

図１４は、表示部１６に表示される警告画面の変形例を示す例示図である。変形例の警告画面には、上述の如く、警告メッセージ１６１が点滅表示され、確信度１６２、「開始」ボタン１６３、及び、「実行」ボタン１６４が表示される。

【0088】

更に、変形例の警告画面には、「応答表示」ボタン１６５及び「自動応答」ボタン１６６が表示される。「応答表示」ボタン１６５は、サーバ装置１００から受信した応答テキストを表示部１６に表示する指示を受け付けるボタンであり、「自動応答」ボタン１６６はサーバ装置１００から受信した応答テキストをＴＴＳ部２１を用いて音声データに変換して送話者に出力させる指示を受け付けるボタンである。即ち、受話者が「応答表示」ボタン１６５をタッチ操作した場合、サーバ装置１００から受信した応答テキストが表示部１６に表示されるので、例えば受話者はマイク１４に向かって、斯かる応答テキストを読み上げれば良い。また、受話者が「自動応答」ボタン１６６をタッチ操作した場合、サーバ装置１００から受信した応答テキストはＴＴＳ部２１によって音声データに変換されて送話者に出力される。

【0089】

また、以上においては、サーバ装置１００が学習モデルＤＢ１０６（分類モデル１０６１及び応答モデル１０６２）を備える場合を例に挙げて説明したが、これに限定されるものではない。端末装置１が学習モデルＤＢ１０６（分類モデル１０６１及び応答モデル１０６２）を備えるように構成しても良い。

【0090】

なお、訓練データを用いて応答モデル１０６２を学習させる例を示したがこれに限るものではない。
応答モデル１０６２を学習させることなく、応答モデル１０６２に通話内容テキストと共に予め記憶部１０２に記憶したプロンプトを入力することにより、応答テキストを取得するようにしても良い。例えば、「あなたは詐欺電話対応の専門家ＧＰＴです。下記に示す通話内容テキストを参考に、詐欺電話を撃退する文章を作成してください」とするプロンプトを記憶しておく。制御部１１はプロンプト及び通話内容テキスト（既に対話が続いている場合、通話内容の履歴のテキスト）を応答モデル１０６２に入力し、応答テキストを取得する。

【0091】

実施の形態１と同様の部分については、同一の符号を付して詳細な説明を省略する。

【0092】

実施の形態１～２で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせることにより、新しい技術的特徴を想到することができる。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0093】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0094】

１ 端末装置
１１ 制御部
１００ サーバ装置
１０１ 制御部
１６３ 開始ボタン
１６４ 実行ボタン
１０６１ 分類モデル（学習モデル）
１０６２ 応答モデル（言語生成モデル）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】