▶ アクセンチュア グローバル ソリューションズ リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-01
(45)【発行日】2023-08-09
(54)【発明の名称】マルチメディア会話からの意図発見のためのシステムおよび方法
(51)【国際特許分類】
G06F 16/35 20190101AFI20230802BHJP
G06F 40/279 20200101ALI20230802BHJP
G06F 40/30 20200101ALI20230802BHJP
【ＦＩ】
G06F16/35
G06F40/279
G06F40/30
【請求項の数】
7
(21)【出願番号】P 2022166598
(22)【出願日】2022-10-18
(62)【分割の表示】P 2020169168の分割
【原出願日】2020-10-06
(65)【公開番号】P2022191422
(43)【公開日】2022-12-27
【審査請求日】2022-10-20
(31)【優先権主張番号】62/931,862
(32)【優先日】2019-11-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/742,508
(32)【優先日】2020-01-14
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】516172237
【氏名又は名称】アクセンチュア グローバル ソリューションズ リミテッド
(74)【代理人】
【識別番号】100102406
【弁理士】
【氏名又は名称】黒田 健二
(74)【代理人】
【識別番号】100100240
【弁理士】
【氏名又は名称】松本 孝
(72)【発明者】
【氏名】ペンタ，アントニオ
(72)【発明者】
【氏名】モハメド，オサマ モハメド マハムド
(72)【発明者】
【氏名】パル，アナンディータ
(72)【発明者】
【氏名】アレン，ヒラリー
(72)【発明者】
【氏名】オズコク，ハカン
(72)【発明者】
【氏名】オーケネディー，スティーブン
(72)【発明者】
【氏名】サート，オヌル カン
(72)【発明者】
【氏名】ミウ，アンドレア－ロクサーナ
【審査官】木村 大吾
(56)【参考文献】
【文献】特開２０１５－０５６０２０（ＪＰ，Ａ）
【文献】特開２０１８－１５１７８６（ＪＰ，Ａ）
【文献】特開２０００－０６７０６８（ＪＰ，Ａ）
【文献】特開２００２－１３２７６６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１２７５９１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｆ ４０／００－４０／５８
(57)【特許請求の範囲】
【請求項1】
意図発見の方法であって、メモリと通信をするプロセッサによって、マルチメディア会話を受信するステップと、
前記プロセッサによって、パラメータリポジトリからパラメータ設定候補の第１セットを選択するステップと、
前記プロセッサによって、前記パラメータ設定候補の第１セットの中の各パラメータ設定候補について、関連性基準が満たされるかどうかを判断するステップであって、
前記プロセッサによって、前記パラメータ設定候補に基づき前記マルチメディア会話をテキスト情報に変換するステップ、
前記プロセッサによって、自然言語処理メカニズムにより、前記パラメータ設定候補に基づき前記テキスト情報を文書コーパスへと正規化するステップ、
前記プロセッサによって、前記文書コーパス内の単語について単語埋め込みのセットを生成するステップ、
前記プロセッサによって、前記パラメータ設定候補に基づき前記文書コーパスからトピックのセットを抽出するステップ、
前記プロセッサによって、前記単語埋め込みのセットに基づき前記トピックのセットの中の各トピックについて個別のトピック特徴を獲得するステップ、
前記プロセッサによって、前記トピック特徴、およびトピックの関連性を予測するように訓練された機械学習モデルを含むトピック関連性定量化器に基づき、前記トピックのセットの中の各トピックについて個別の関連性メトリクスを判断するステップ、ならびに
前記プロセッサによって、前記パラメータ設定候補が関連性基準を満たすかどうかを、前記関連性メトリクスを前記関連性基準と比較することにより判断するステップ
により、前記パラメータ設定候補の第１セットの中の各パラメータ設定候補について、前記関連性基準が満たされるかどうかを判断するステップと、
前記パラメータ設定候補の第１セットの中の少なくとも１つのパラメータ設定候補により前記関連性基準が満たされることに応答して、前記プロセッサによって、前記パラメータ設定候補の第１セットの中の前記少なくとも１つのパラメータ設定候補から、前記関連性基準を最も良く満たすパラメータ設定候補を、最適パラメータ設定として選択するステップと、
前記プロセッサによって、前記最適パラメータ設定に基づき、前記文書コーパスから抽出されたトピックのセットから関連トピックを判断するステップと、
前記プロセッサによって、前記判断された関連トピックに関係する意図情報を判断するステップと、
を含む方法。
【請求項2】
前記パラメータリポジトリから前記パラメータ設定候補の第１セットを前記選択するステップは、前記プロセッサによって、設定関連性定量化器に基づきパラメータリポジトリから前記パラメータ設定候補の第１セットを選択するステップ
を含み、前記設定関連性定量化器は、前記意図発見に対するトピックの関連性に対する、パラメータ設定候補の影響を予測するように訓練された機械学習モデルを含む、請求項１に記載の方法。
【請求項3】
前記最適パラメータ設定を前記獲得するステップは、前記パラメータ設定候補の第１セットの中のいずれのパラメータ設定候補によっても前記関連性基準が満たされないことに応答して、
前記プロセッサによって、前記設定関連性定量化器に基づき前記パラメータリポジトリからパラメータ設定候補の第２セットを選択するステップと、
前記プロセッサによって、前記パラメータ設定候補の第２セットの中の各パラメータ設定候補について、前記関連性基準が満たされるかどうかを判断するステップと
をさらに含む、請求項２に記載の方法。
【請求項4】
前記プロセッサによって、複数の訓練用パラメータ設定を獲得するステップと、以下のステップ：
前記プロセッサによって、前記訓練用パラメータ設定に基づき前記マルチメディア会話を訓練用テキスト情報に変換するステップ、
前記プロセッサによって、前記自然言語処理メカニズムにより、前記訓練用パラメータ設定に基づき前記訓練用テキスト情報を訓練用文書コーパスへと正規化するステップ、
前記プロセッサによって、前記訓練用文書コーパス内の単語について単語埋め込みの訓練用セットを生成するステップ、および
前記プロセッサによって、前記訓練用パラメータ設定に基づき前記訓練用文書コーパスからトピックの訓練用セットを抽出するステップ
により、前記プロセッサによって、前記訓練用パラメータ設定のそれぞれに個々に基づき前記マルチメディア会話を処理するステップと、
前記プロセッサによって、前記単語埋め込みの訓練用セットに基づき前記トピックの訓練用セットの中の各トピックについて個別の訓練用トピック特徴を獲得するステップと、
前記プロセッサによって、ユーザインターフェースを介してトピックの個別の訓練用セットを表示するステップと、
前記プロセッサによって、前記トピックのそれぞれについて個別のスコア入力を受信するステップであって、前記スコア入力は、前記意図発見に対する前記トピックの関連性を示す、前記個別のスコア入力を前記受信するステップと、
前記トピック関連性定量化器を獲得するために、前記プロセッサによって、前記スコア入力および前記訓練用トピック特徴に基づき機械学習モデルを訓練するステップと
をさらに含む、請求項２に記載の方法。
【請求項5】
前記プロセッサによって、前記訓練用パラメータ設定のそれぞれから個別の訓練用設定特徴を抽出するステップであって、前記訓練用設定特徴は、前記訓練用パラメータ設定の中のパラメータの値を示す、前記個別の訓練用設定特徴を前記抽出するステップと、前記設定関連性定量化器を獲得するために、前記プロセッサによって、前記スコア入力および前記訓練用設定特徴に基づき機械学習モデルを訓練するステップと
をさらに含む、請求項４に記載の方法。
【請求項6】
プロセッサを含む意図発見のシステムであって、前記プロセッサは、マルチメディア会話を受信することと、
パラメータリポジトリからパラメータ設定候補の第１セットを選択することと、
前記パラメータ設定候補の第１セットの中の各パラメータ設定候補について、
前記パラメータ設定候補に基づき前記マルチメディア会話をテキスト情報に変換すること、
前記パラメータ設定候補に基づき前記テキスト情報を文書コーパスへと正規化すること、
前記文書コーパス内の単語について単語埋め込みのセットを生成すること、
前記パラメータ設定候補に基づき前記文書コーパスからトピックのセットを抽出すること、
前記単語埋め込みのセットに基づき前記トピックのセットの中の各トピックについて個別のトピック特徴を獲得すること、
前記トピック特徴、およびトピックの関連性を予測するように訓練された機械学習モデルを含むトピック関連性定量化器に基づき、前記トピックのセットの中の各トピックについて個別の関連性メトリクスを判断すること、ならびに
前記パラメータ設定候補が関連性基準を満たすことが満たされるかどうかを、前記関連性メトリクスを前記関連性基準と比較することにより判断することと、
前記パラメータ設定候補の第１セットの中の少なくとも１つのパラメータ設定候補により前記関連性基準が満たされることに応答して、前記パラメータ設定候補の第１セットの中の前記少なくとも１つのパラメータ設定候補から、前記関連性基準を最も良く満たすパラメータ設定候補を、最適パラメータ設定として選択することと、
前記最適パラメータ設定に基づき、前記文書コーパスから抽出されたトピックのセットから関連トピックを判断することと、
前記判断された関連トピックに関係する意図情報を判断することと、
をするように構成される、システム。
【請求項7】
コンピュータ実行可能命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、マルチメディア会話を受信することと、
パラメータリポジトリからパラメータ設定候補の第１セットを選択することと、
前記パラメータ設定候補の第１セットの中の各パラメータ設定候補について、
前記パラメータ設定候補に基づき前記マルチメディア会話をテキスト情報に変換すること、
前記パラメータ設定候補に基づき前記テキスト情報を文書コーパスへと正規化すること、
前記文書コーパス内の単語について単語埋め込みのセットを生成すること、
前記パラメータ設定候補に基づき前記文書コーパスからトピックのセットを抽出すること、
前記単語埋め込みのセットに基づき前記トピックのセットの中の各トピックについて個別のトピック特徴を獲得すること、
前記トピック特徴、およびトピックの関連性を予測するように訓練された機械学習モデルを含むトピック関連性定量化器に基づき、前記トピックのセットの中の各トピックについて個別の関連性メトリクスを判断すること、ならびに
前記パラメータ設定候補が関連性基準を満たすかどうかを、前記関連性メトリクスを前記関連性基準と比較することにより判断することと、
前記パラメータ設定候補の第１セットの中の少なくとも１つのパラメータ設定候補により前記関連性基準が満たされることに応答して、前記パラメータ設定候補の第１セットの中の前記少なくとも１つのパラメータ設定候補から、前記関連性基準を最も良く満たすパラメータ設定候補を、最適パラメータ設定として選択することと、
前記最適パラメータ設定に基づき、前記文書コーパスから抽出されたトピックのセットから関連トピックを判断することと、
前記判断された関連トピックに関係する意図情報を判断することと、
のためにプロセッサにより実行可能である、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、マルチメディア会話および自然言語処理のための機械学習手順に関し、特に、オーディオ、ウェブチャット、およびビデオなどのマルチメディア会話からの発見意図に関する。
【背景技術】
【0002】
意図発見システムは、自然言語処理を実行するために教師あり機械学習を利用してもよい。教師あり機械学習の訓練手順は、主題専門家（ＳＭＥ：ｓｕｂｊｅｃｔ ｍａｔｔｅｒ ｅｘｐｅｒｔｓ）が個々のオーディオデータを手動で特定してそれらに意図でラベル付けすることに依存し、それらは次に、機械学習モデルの重み、バイアス、およびその他メトリクスを調整するために使用される。許容し得るモデル性能を達成するために、訓練には主題専門家による相当な努力が必要となることが多い。疲労、ユーザの誤り、およびその他人間的な限界が、モデル性能を抑制し、訓練を長引かせ、または訓練を実行不能にし得る。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示は、マルチメディア会話から意図を発見するシステムおよび方法に関する。
【0004】
一実施形態において、意図発見の方法が開示される。本方法は、マルチメディア会話を受信するステップを含んでもよい。本方法は、トピック関連性定量化器に基づき最適パラメータ設定を獲得することを含んでもよい。トピック関連性定量化器は、抽出されるトピックの関連性を確保するための最適設定を予測するように訓練された機械学習モデルを含む。本方法は、最適パラメータ設定に基づきマルチメディア会話をテキスト情報に変換するステップと、自然言語処理メカニズムにより、最適パラメータ設定に基づきテキスト情報を文書コーパスへと正規化するステップと、最適パラメータ設定に基づき文書コーパスからトピックを抽出するステップとにより、最適パラメータ設定に基づきマルチメディア会話を処理するステップを含んでもよい。抽出されたトピックは、トピック単語のグループに関係する。本方法は、トピックのそれぞれについて個別のコンテキストメトリクスを判断するステップを含んでもよい。本方法は、個別のコンテキストメトリクスに基づき、意図発見に関する関連トピックを抽出されたトピックから選択するステップを含んでもよい。本方法は、文書コーパスから関連トピックに関係する文書を獲得するステップを含んでもよい。本方法は、ユーザインターフェースを介した、関連トピックに関係する文書の表示情報を含んでもよい。本方法は、関連トピックに関係する文書に関するフィードバックデータを受信するステップを含んでもよい。本方法は、関連トピックに関係する意図情報をフィードバックデータに基づき判断するステップを含んでもよい。
【0005】
別の実施形態において、意図発見のシステムが開示される。システムは、マルチメディア会話を受信してもよい。システムは、トピック関連性定量化器に基づき最適パラメータ設定を獲得してもよい。トピック関連性定量化器は、トピックの関連性を予測するように訓練された機械学習モデルを含んでもよい。システムは、最適パラメータ設定に基づきマルチメディア会話をテキスト情報に変換してもよい。システムは、最適パラメータ設定に基づきテキスト情報を文書コーパスへと正規化してもよい。システムは、最適パラメータ設定に基づき文書コーパスからトピックを抽出してもよい。トピックは、トピック単語のグループに関係してもよい。システムは、トピックのそれぞれについて個別のコンテキストメトリクスを判断してもよい。システムは、個別のコンテキストメトリクスに基づき、意図発見に関する関連トピックを抽出されたトピックから選択してもよい。システムは、文書コーパスから関連トピックに関係する文書を獲得してもよい。システムは、関連トピックに関係する文書の情報をユーザインターフェースを介して表示してもよい。システムは、関連トピックに関係する文書に関するフィードバックデータを受信してもよい。システムは、関連トピックに関係する意図情報をフィードバックデータに基づき判断してもよい。
【0006】
別の実施形態において、非一時的コンピュータ可読記憶媒体は、コンピュータ実行可能命令を含む。コンピュータ実行可能命令は、プロセッサにより実装されると、プロセッサに上記の方法を実行させる。
【0007】
上記の実施形態ならびにそれらの実装の他の側面および選択肢が、図面、記載、添付の特許請求の範囲においてより詳しく説明される。
【0008】
実施形態は、以下の図面および記載を参照するとよりよく理解されるであろう。図面の中のコンポーネントは必ずしも一定の縮尺となっていない。さらに図面では、同じ参照符号が、別々の図面にわたって対応する部分を指示する。
【図面の簡単な説明】
【0009】
【図1】意図発見のシステムの第１の例を示す。
【図2】オーディオ通話処理の例を示す。
【図3】トピック評価および選択の例を示す。
【図4】ルール定式化および意図精緻化の例を示す。
【図5】最適パラメータ設定検索の例を示す。
【図6】トピック関連性定量化器モデルおよびパラメータ設定関連性定量化器モデルの訓練の例を示す。
【図7】システムのフロー図を示す。
【図8】意図発見のシステムの第２の例を示す。
【発明を実施するための形態】
【0010】
様々な例において、システムおよび方法は、マルチメディア会話のコレクションから意図を発見し得る。これは様々な段階で行われる。第１の段階において、トピックがマルチメディア会話のテキストまたはトランスクリプションから抽出される。次に、抽出されたトピックから関連トピックが選択され、発見意図のために使用される。任意選択で、関連トピックの選択は、精緻化された意図を発見するために使用されるルールを作成するために使用される。トピック抽出のためのシステムの最適パラメータが、訓練段階の間に見つけられる。システムの様々な段階の典型的な実装が、図２～図６および関係した説明の中に記載される。
【0011】
本願明細書に記載される意図発見のシステムおよび方法は、様々な技術的進歩をもたらし得る。例として、本願明細書に記載される意図発見システムは、オーディオ通話から意図を発見して顧客のニーズの分析をサポートするためのフレームワークを提供し得る。意図発見システムは、教師ありルールベースの意図精緻化により補足された、近接性およびバランスの高いトピックの教師なしの検出に基づき、ラベル付けされていないオーディオまたはテキストコンテンツから意図を発見し得る。
【0012】
本願明細書に記載されるシステムおよび方法により達成される技術的進歩の別の例は、より有用な形での専門家の監督を推進することにより、意図が発見されるということである。後に詳述するメトリクスに基づき、最も有益なトピックが選択される。次に、ＳＭＥまたはビジネスアナリストは、選択されたトピックにより提供される情報を使用して、意図を発見し、またはより粒度の細かい意図、つまり精緻化された意図を発見するためにルールを用いて文書を探索し得る。
【0013】
本願明細書に記載のシステムおよび方法は、現存する市場の解決策に比べて改善をもたらす。現存する市場の解決策と比べた、さらなる利点、効率、および改善が、後述するシステムおよび方法において明らかにされる。
【0014】
図１は、システム１００の第１の例を示す。システム１００は、マルチメディア会話から意図を発見してもよい。マルチメディア会話は、オーディオ、ボイスチャット、ウェブチャット、ウェブトランスクリプション、ビデオ、およびその他任意の形態の適切なマルチメディア情報を含んでもよい。本願明細書において、オーディオ通話１０２のコレクションは、様々な実施形態について記載するためにマルチメディア会話の典型的な例として使用される。オーディオ通話１０２は、顧客と企業担当者との間の顧客電話サービスの会話の録音など、話者の意図を表すコンテンツを含んでもよい。オーディオ通話１０２は、オーディオファイル、データベースの中のバルクデータ、および同様のものなどの様々な様式で電子的に記憶できる。システム１００は、会話プロセッサ１１０、トピック評価器１３０、トピック選択器１４０、意図定義器１４５、ルール定式化器１５０、意図精緻化器１６０、意図統計コンポーネント１７０、およびパラメータ検索器１８０を含んでもよい。
【0015】
システム１００の会話プロセッサ１１０は、パラメータ設定ファイルに基づきオーディオ通話１０２からトピックを抽出するために、オーディオ通話１０２を処理してもよい。会話プロセッサ１１０の機能性は、図２を参照して詳細に記載される。
【0016】
図２に示されているように、会話プロセッサ１１０は、音声テキスト化エンジン２１２、自然言語処理（ＮＬＰ：ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ）正規化コンポーネント２１４、およびトピック抽出器２１６を含んでもよい。パラメータ設定２０４は、会話プロセッサ１１０により使用されるすべての処理パラメータ、およびパラメータの値を含んでもよい。パラメータ設定２０４は、デフォルトセッティングを含む構造型または半構造型のパラメータ設定ファイルを使用して設定されてもよい。さらに、または代わりに、パラメータ設定２０４は、データサイエンティストにより定義されてもよい。さらに、または代わりに、パラメータ設定２０４は、後に詳しく記載されるパラメータ検索器１８０により提供されてもよい。
【0017】
音声テキスト化エンジン２１２は、パラメータ設定２０４において設定された音声テキスト化エンジン２１２のパラメータに基づき、オーディオ通話１０２に対して音声認識を実行して、音声情報をテキスト情報へと変換してもよい。音声テキスト化エンジン２１２のパラメータは、例として、オーディオ通話の長さに基づくサンプルレートおよびオーディオフィルタ、ならびに同様のものを含んでもよい。テキスト情報は、例として、コーパスデータベース２０２に記憶されてもよい。
【0018】
ＮＬＰ正規化コンポーネント２１４は、オーディオ通話１０２に対応する正規化された会話文書のコーパスを生成するために、パラメータ設定２０４において設定されたＮＬＰ正規化コンポーネント２１４のパラメータに基づき、テキスト情報に正規化ＮＬＰ手順を適用してもよい。正規化ＮＬＰ手順は、ストップワードおよびノイズワードを除去すること、品詞（ＰｏＳ：Ｐａｒｔ－Ｏｆ－Ｓｐｅｅｃｈ）タグを付与すること、エンティティを認識すること、および同様のことを含んでもよい。
【0019】
一部の実装において、ＮＬＰ正規化コンポーネント２１４はさらに、会話文書の中の各単語について、単語埋め込みとも呼ばれる多次元特徴を抽出してもよい。単語埋め込みは、分布的意味空間の中で単語の意味を表現し得る。単語埋め込みおよびその他アノテーションは、コーパス２０２またはその他データベースに辞書フォーマットで記憶されてもよい。正規化ＮＬＰ手順および単語埋め込み抽出のためのパラメータは、例として、正規表現およびＰｏＳタグに基づくフィルタの選択、単語を考慮に入れるための最小カウント値、埋め込みのためのウィンドウサイズ、埋め込みのタイプおよびサイズ、ならびに同様のものを含んでもよい。
【0020】
トピック抽出器２１６は、パラメータ設定２０４において設定されたトピック抽出器２１６のパラメータに基づき、正規化された会話文書を処理してトピック２０６を抽出してもよい。パラメータは、例として、抽出されるトピックの数、トピック抽出のための反復の数、トピック抽出のためのパスの数、および同様のものを含んでもよい。トピック２０６は、正規化された会話文書の中の単語のグループを含んでもよい。トピック２０６は、トピックストアに記憶されてもよく、トピックストアは、各トピックの単語および正規化された各会話文書に関係するトピックについての情報を含んでもよい。
【0021】
トピック評価器１３０およびトピック選択器１４０は、共同で機能して、トピック抽出器２１６により抽出されたトピックから、意図発見に関する関連トピックを選択する。具体的には、トピック評価器１３０が、抽出されたトピック２０６のそれぞれについてコンテキストメトリクスを測定してもよい。コンテキストメトリクスは、近接性スコアおよびバランススコアを含んでもよい。近接性スコアは、正規化された会話文書内のトピックのトピック単語群が、どの程度空間的に近いかを示してもよい。すなわち、会話文書において所与のトピックの中の単語群がどの程度関連しているかである。バランススコアは、トピックのトピック単語が、正規化された会話文書のコンテキストの中で意図の固有性を理解するに足りる情報をどの程度表現するかを示してもよい。トピック選択器１４０は、抽出されたトピックの近接性スコアおよびバランススコアに基づき、トピック抽出器２１６により抽出されたトピックから関連トピックを選択してもよい。トピック評価器１３０およびトピック選択器１４０の典型的な機能性の詳細が、下記のとおり図３を参照して記載される。
【0022】
図３に示されているように、トピック評価器１３０は、トピック近接性評価器３２０およびトピックバランス評価器３３０を含んでもよい。抽出されたトピック２０６は、トピックストア３０１に記憶されてもよい。トピック近接性評価器３２０は、トピックストア３０１からトピック２０６を読み出し、ＮＬＰ正規化コンポーネント２１４により抽出された単語埋め込みと、固有単語辞書３０２の中の単語固有性スコアとに基づき、トピックのそれぞれについて近接性スコアを測定してもよい。トピック近接性評価器３２０は、トピックの近接性スコアをトピックストア３０１に記憶してもよい。
【0023】
２つの単語ｗｉとｗｊとの間の近接性スコアの例は、以下のように計算され得る。
【0024】
【数1】
【0025】
式中、
Ｃｏｈ（ｗｉ，ｗｊ）は、ｗｉおよびｗｊの埋め込みの間のコサイン類似度であり、
ＲＩＤＦ（ｗ）は、単語ｗの残差逆文書頻度（ＲＩＤＦ：Ｒｅｓｉｄｕａｌ Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）であり、
Ｃ２ Ｎは、二項係数である。
トピックＴの近接性スコアは、例えば組み合わせとして平均関数を使用する、Ｔに関わるＴｏｐ－Ｋ単語の間の算出された上記のスコアの組み合わせである。
Ｃｏｈ（ｗｉ，ｗｊ）は、ｗｉおよびｗｊの埋め込みの間のコサイン類似度であり、
ＲＩＤＦ（ｗ）は、単語ｗの残差逆文書頻度（ＲＩＤＦ：Ｒｅｓｉｄｕａｌ Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）であり、
Ｃ２ Ｎは、二項係数である。
トピックＴの近接性スコアは、例えば組み合わせとして平均関数を使用する、Ｔに関わるＴｏｐ－Ｋ単語の間の算出された上記のスコアの組み合わせである。
【0026】
固有単語辞書３０２は、単語固有性評価器３６０により提供され得る。或る実装において、単語固有性評価器３６０は、コーパスデータベース２０２から正規化された会話文書を読み出し、正規化された会話文書の中の各単語について、そのドメイン固有性に関する固有性スコアを計算し得る。固有性スコアは、トピック内でビジネスドメインに対し関連性を持つ単語が何であるかを理解するために使用され得る。最後に、単語固有性評価器３６０は、スコアを固有単語辞書３０２に記憶する。トピックＴの単語固有性スコアの一例は、Ｔに属するＴｏｐ－Ｋ単語の一意性に基づき計算され、一意性の測定の例は、自然言語処理で使用されるＲＩＤＦである。
【0027】
トピックバランス評価器３３０は、トピックストア３０１からトピック２０６を読み出して、固有単語辞書３０２および頻出関連単語辞書３０４に基づき、トピックのそれぞれについてバランススコアを計算し得る。バランススコアは、所与のトピックの中のトピック単語の、ドメイン固有単語および頻出関連単語に関するバランスがどうであるかを測定する。トピックバランス評価器３３０は、トピックのバランススコアをトピックストア３０１に記憶し得る。
【0028】
トピックＴのバランススコアの例は、以下のように記載される。
Ｂａｌａｎｃｅ（Ｔ）＝Ｓ＿ＴＦ＿ＲＩＤＦ＋ｂｏｏｓｔ＿ＩＤＦ＋ｂｏｏｓｔ＿Ｉｍｐａｃｔ
式中、
Ｓ＿ＴＦ＿ＲＩＤＦは、Ｔｏｐ－Ｋ単語のＴＦ－ＲＩＤＦスコアの合計であり、ＴＦ－ＲＩＤＦは、語出現頻度（ＴＦ：Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ）およびＲＩＤＦスコアの間の乗算であり、
ｂｏｏｓｔ＿ＩＤＦは、Ｔｏｐ－Ｋ単語の間で平均された逆文書頻度（ＩＤＦ：Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）の割合であり、
ｂｏｏｓｔ＿Ｉｍｐａｃｔは、例として後に詳述する一般アソシエーションリフト（ＰＡＬ：Ｐｒｅｖａｌｅｎｔ Ａｓｓｏｃｉａｔｉｏｎ Ｌｉｆｔ）スコアなどの影響スコアの割合であり、これは、トピックＴのＴｏｐ Ｋ単語の会話データにおける影響力がどの程度強いかを考慮に入れる。
Ｂａｌａｎｃｅ（Ｔ）＝Ｓ＿ＴＦ＿ＲＩＤＦ＋ｂｏｏｓｔ＿ＩＤＦ＋ｂｏｏｓｔ＿Ｉｍｐａｃｔ
式中、
Ｓ＿ＴＦ＿ＲＩＤＦは、Ｔｏｐ－Ｋ単語のＴＦ－ＲＩＤＦスコアの合計であり、ＴＦ－ＲＩＤＦは、語出現頻度（ＴＦ：Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ）およびＲＩＤＦスコアの間の乗算であり、
ｂｏｏｓｔ＿ＩＤＦは、Ｔｏｐ－Ｋ単語の間で平均された逆文書頻度（ＩＤＦ：Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）の割合であり、
ｂｏｏｓｔ＿Ｉｍｐａｃｔは、例として後に詳述する一般アソシエーションリフト（ＰＡＬ：Ｐｒｅｖａｌｅｎｔ Ａｓｓｏｃｉａｔｉｏｎ Ｌｉｆｔ）スコアなどの影響スコアの割合であり、これは、トピックＴのＴｏｐ Ｋ単語の会話データにおける影響力がどの程度強いかを考慮に入れる。
【0029】
頻出関連単語辞書３０４は、コンテキスト抽出器３７０および単語影響評価器３８０の共同により提供されてもよい。或る実装において、コンテキスト抽出器３７０は、会話の中の各文について単語のスライディングウィンドウを抽出してもよい。抽出されたウィンドウは、各単語のコンテキストを算出するために使用され、コンテキストは、抽出されたウィンドウを考慮して選択された単語に近い単語のセットにより作られる。正規化された会話文書からのコンテキストは、所定のパラメータセッティングとともに使用されて、影響スコアが算出される。
【0030】
単語影響評価器３８０は、コンテキスト抽出器３７０により抽出された各単語のコンテキストを利用して、正規化された会話文書において単語が有する影響を測定してもよい。高い影響スコアは、その単語が会話の流れを方向付けることを意味する。単語影響評価器３８０は、抽出されたコンテキストの中の最も近い２つの単語間のアソシエーションを測定することにより影響スコアを計算してもよい。より高い影響を有する単語は、会話内の他の単語とより強いアソシエーションを有する頻出単語である。最後に、単語影響評価器３８０は、頻出関連単語辞書３０４に単語の影響スコアを記憶してもよい。
【0031】
影響スコアの例は、以下のＰＡＬに基づくものである。
【0032】
【数2】
【0033】
式中、
Ｓ（ｗ）は、単語ｗの支持度であり、ｃｏｕｎｔ（ｗ）／Ｎと等しく、Ｎはコンテキストから抽出されたアソシエーションの数であり、
Ｓ（ｗｌ→ｗｒ）は、アソシエーション（ｗｌ→ｗｒ）の支持度であり、これはｃｏｕｎｔ（ｗｌ→ｗｒ）／Ｎと等しく、Ｎはコンテキストから抽出されたアソシエーションの数であり、ｃｏｕｎｔ（ｗｌ→ｗｒ）は、ｗｌの後にｗｒが続く回数を意味する。
例として、影響スコアは、ＰＡＬスコアを使用して、その中にある最高のＰＡＬ値を有する左側の単語を選択することにより算出できるであろう。
Ｓ（ｗ）は、単語ｗの支持度であり、ｃｏｕｎｔ（ｗ）／Ｎと等しく、Ｎはコンテキストから抽出されたアソシエーションの数であり、
Ｓ（ｗｌ→ｗｒ）は、アソシエーション（ｗｌ→ｗｒ）の支持度であり、これはｃｏｕｎｔ（ｗｌ→ｗｒ）／Ｎと等しく、Ｎはコンテキストから抽出されたアソシエーションの数であり、ｃｏｕｎｔ（ｗｌ→ｗｒ）は、ｗｌの後にｗｒが続く回数を意味する。
例として、影響スコアは、ＰＡＬスコアを使用して、その中にある最高のＰＡＬ値を有する左側の単語を選択することにより算出できるであろう。
【0034】
図３を引き続き参照する。トピック選択器１４０は、トピック可視化コンポーネント３４０を含んでもよい。トピック可視化コンポーネント３４０は、例としてグラフィカルユーザインターフェースを介して、データサイエンティストなどのユーザのためのインタラクティブ検索を実装してもよい。例として、ユーザはまず、テキストクエリを入力してもよい。テキストクエリは、トピックの中の単語をユーザが選択することによって、単語の品詞タグ、固有性スコア、および影響スコアを使用して、自動的に算出できる。あるいは、テキストクエリはユーザにより直接定義されてもよい。テキストクエリを受信するのに応答して、トピック可視化コンポーネント３４０は、テキストクエリを利用して、テキストクエリの中の単語を含むテキストセグメントを求めて正規化された会話文書を検索してもよい。次に、トピック可視化コンポーネント３４０は、トピックに関わるテキストセグメントを、グラフィカルユーザインターフェースを介して表示してもよい。トピックに関わるテキストセグメントの表示は、当該トピックが関連トピックであるかどうかについての判断をユーザが下す支援をしてもよい。トピック可視化コンポーネント３４０は、グラフィカルユーザインターフェースを介してユーザの判断を受信してもよい。
【0035】
ここで、トピック可視化コンポーネント３４０は、データサイエンティストがトピック内の単語を使用してテキストのセグメントを読み出すためのインタラクティブ検索を提供する。テキストセグメントを読むことは、トピックのコンテキストメトリクスとともに、データサイエンティストが関連トピックをより適切に選択する支援をする。
【0036】
あるいは、またはさらに、トピック選択器１４０は、最良トピック選択器３５０を含んでもよい。例として、最良トピック選択器３５０は、抽出されたトピックをトピックストア３０１から読み出して、トピックの近接性スコアおよびバランススコアを含む抽出されたすべてのトピックの情報を、グラフィカルユーザインターフェースを介して表示してもよい。近接性スコアおよびバランススコアはどちらも、ユーザによるトピックの理解を促進する。このようにして、ユーザは、近接性スコアおよびバランススコアに基づきトピックをランキングしてもよい。最良トピック選択器３５０は、所定の閾値を上回るランキングのトピックを関連トピックとして選択してもよい。あるいはユーザは、トピックに関する表示された情報に基づきトピックの一部を関連トピックとして直接選択してもよい。最良トピック選択器３５０は、ユーザグラフィカルインターフェースを介してかかる選択を受信してもよい。
【0037】
図３を参照して上述したように、本願明細書に記載されたシステムおよび方法により達成される技術的進歩の別の例は、トピックの近接性スコアおよびバランススコアに基づく、意図発見の情報を提供する関連トピックの選択である。
【0038】
図１に戻る。意図定義器１４５は、関連トピックとの意図情報のアソシエーションを判断してもよい。例として、意図定義器１４５は、関連トピックをＳＭＥなどのユーザにグラフィカルユーザインターフェースを介して表示する。ユーザは、関連トピックのそれぞれについて意図名を入力してもよい。したがって、意図定義器１４５は、関連トピックに、対応する意図名を用いてラベル付けしてもよい。
【0039】
任意選択で、例として「手荷物問い合わせ」などの意図名が付いた関連トピックが、例としてすべての正規化された会話文書のうちの１０％など多量の正規化された会話文書に関係していれば、意図定義器１４５は、関連トピックおよび関連トピックに関係する会話文書を、グラフィカルユーザインターフェースを介してユーザに表示してもよい。関連トピックおよび関係する会話文書を確認することにより、ユーザは、関連トピックの、精緻化された意図とも呼ばれる下位意図を発見するために意図精緻化が必要であると判断してもよい。結果として、意図定義器１４５は、意図定式化器１５０および意図精緻化器１６０により実行される意図精緻化プロセスをトリガしてもよい。
【0040】
ルール定式化器１５０および意図精緻化器１６０は、共同で機能して、関連トピックの意図を精緻化する。具体的には、ルール定式化器１５０は、関連トピックに対応するクエリルールのセットを獲得してもよい。クエリルールは、ａｎｄ、ｏｒ、ｎｏｔのような論理演算子と組み合わされた、関連トピックの中のトピック単語のセットとして定義されてもよい。意図精緻化器１６０は、それぞれのクエリルールをクエリテキストとして利用して、正規化された会話文書または元の会話の書き起こしのコーパスからクエリルールに対応する個別の会話文書を読み出し、ビジネスアナリストまたはビジネスにおけるＳＭＥなどのユーザの助力を得て、読み出された個別の会話文書に含まれる精緻化された意図を特定してもよい。さらに、意図統計コンポーネント１７０は、クエリルールに基づき特定された意図に関する様々な統計的演算を実行してもよい。ルール定式化器１５０、意図精緻化器１６０、および意図統計コンポーネント１７０の典型的な機能性の詳細は、下記のとおり図４を参照して記載される。
【0041】
実施形態において、ルール定式化器１５０は、ルール発見コンポーネント４１０として実装されてもよい。具体的には、ルール発見コンポーネント４１０は、トピックのそれぞれを記述するクエリルールのセットを、それらのＰｏＳタグならびに影響および近接性などのスコアに基づき見つけてもよい。クエリルールは、ドメイン情報を含み得るオントロジストア４０８から抽出された類義語などの意味的関連単語を使用して拡大できる。抽出されるルールの例として、選択された単語に加えて、オントロジストア４０８から抽出された関連語の論理結合が考えられる。
【0042】
別の実施形態において、ルール定式化器１５０は、ルール定義コンポーネント４２０として実装されてもよい。具体的には、ルール定義コンポーネント４２０は、例としてビジネスアナリストまたはＳＭＥなどのユーザとやり取りしてもよい。ユーザは、関連トピックに含まれる情報に基づき、関連トピックのそれぞれについてクエリルールを手動で定義してもよい。次に、ルール定義コンポーネント４２０は、例としてユーザグラフィカルインターフェースを介して、ユーザにより定義されたクエリルールを受信してもよい。
【0043】
意図精緻化器１６０は、図４に示されているように、ルール実行コンポーネント４４０および意図ラベラ４５０を含んでもよい。ルール実行コンポーネント４４０は、ルール定式化器１５０から獲得されたそれぞれのクエリルールを利用して、会話文書のインデックス付きコーパス４０６からクエリルールに対応する会話文書４０２を読み出してもよい。例として、ルール実行コンポーネント４４０は、クエリルールの中のトピック単語をキーワードまたはフレーズとして利用して、インデックス付きコーパス４０６から会話文書４０２を読み出してもよい。一部の実装において、ルール実行コンポーネント４４０はさらに、クエリルールの中のクエリ単語がどの程度、読み出された会話文書４０３に対して関連性を持つかに基づき、読み出された会話文書４０２をランキングしてもよい。
【0044】
インデックス付きコーパス４０６は、インデクサ４３０により提供されてもよい。具体的には、インデクサ４３０は、文書の中の単語により、コーパス２０２の中の正規化された会話文書および元の会話の書き起こしのそれぞれにインデックス付けして、会話文書のインデックス付きコーパス４０６を生成してもよい。
【0045】
意図ラベラ４５０は、ＳＭＥまたはビジネスアナリストなどのユーザの助力を得て、対応する精緻化された意図の名前を用いてクエリルールにラベル付けしてもよい。例として、意図ラベラ４５０は、意図名「手荷物問い合わせ」によりラベル付けされた関連トピックを記述する３つのクエリルールを、ユーザグラフィカルインターフェースを介してユーザに表示する。ユーザは、例として手荷物制限、手荷物紛失、および手荷物破損など、３つのクエリルールについて異なる精緻化された意図を指定する。結果として、意図ラベラ４５０は、３つのクエリルールに、それぞれ「手荷物制限」、「手荷物紛失」、および「手荷物破損」によりラベル付けする。
【0046】
意図精緻化を通して、漠然とした意図が、より粒度の細かい意図へと分割されてもよい。例として、「手荷物問い合わせ」の意図は、「手荷物制限」、「手荷物紛失」、および「手荷物破損」の精緻化された３つの意図へと分割される。さらに、クエリルールの実行は、漠然とした「手荷物問い合わせ」の意図に関係する会話文書がどのように精緻化された意図にマッピングされるかを理解するのに役立つ。これにより意図階層が形成される。
【0047】
会話文書は２つ以上の意図を表し得るので、任意の個々の会話文書４０２が、２つ以上のルールクエリの実行により読み出され得る可能性がある。したがって、意図文書割り当て器４６０は、会話文書４０２を複数の意図に割り当てて、複数の意図についての意図割り当て情報とともに意図ストア４０４に会話文書４０２を記憶してもよい。一部の実装において、ルール実行コンポーネント４４０が各クエリルールの実行に関してランキングスコアを提供する場合、各意図に関する会話文書４０２のランキングスコアも意図ストア４０４に記憶される。こうすることで、オーディオコレクションの中のいくつの会話が各意図に関係するか、およびどの意図が会話の整合する主要な意図とみなされるべきかなど、有用な統計を算出するのがより容易になるであろう。
【0048】
意図発話分類器４７０は、ＳＭＥなどのユーザが、読み出された会話文書４０２を意図に関して検査し、会話文書４０２の中でかかる意図を明確に表すテキストセグメントのセットを強調するための、インタラクティブな手段を実装してもよい。したがって、意図発話分類器４７０は、テキスト分類器が、読み出された会話文書４０２の中の、意図に関わる発話を含むテキストセグメントすべてを分類できるように、読み出された会話文書４０２および強調されたテキストセグメントのテキスト特徴を使用して、テキスト分類器を訓練してもよい。
【0049】
図４を参照して上述したように、本願明細書に記載されたシステムおよび方法により達成される技術的進歩の別の例は、情報に基づく教師を用いた意図の収集である。
【0050】
図１に戻る。パラメータ検索器１８０は、会話プロセッサ１１０が最適パラメータ設定を使用して意図発見においてより有用なトピックを抽出できるように、会話プロセッサ１１０に最適パラメータ設定を提供してもよい。例として、単語「彼、彼女、それ」を含むトピックと比較すれば、単語「口座、残高」を含むトピックは、意図の発見により強い関連性を持つ。意図発見の観点から、単語「彼、彼女、それ」を含むトピックは、ノイズとなると考えられ、会話プロセッサ１１０により抽出されることを期待されない。訓練段階の間の、パラメータ検索器１８０による最適パラメータ設定の検索は、図５を参照して詳細に記載される。
【0051】
図５に示されているように、パラメータ検索器１８０は、最適パラメータ選択器５１０、会話プロセッサ５２０、トピック関連性定量化コンポーネント５３０、関連性定量化結果追跡器５４０、設定特徴抽出器５５０、およびトピック特徴抽出器５６０を含んでもよい。
【0052】
設定特徴抽出器５５０は、パラメータ空間５０６において定義されるパラメータの値を表現する特徴のセットを抽出してもよい。
【0053】
最適パラメータ選択器５１０は、設定特徴抽出器５５０および設定関連性定量化器５０２により抽出されたパラメータ特徴を使用して、パラメータ空間５０６を探索してパラメータ設定候補５０３のセットを抽出してもよい。設定関連性定量化器５０２は、候補パラメータ設定を使用して抽出されたトピックの関連性に対する、かかるパラメータ設定の影響を予測するように訓練された機械学習モデルを含む。設定関連性定量化器５０２は、以前に探索されたパラメータ設定に基づき訓練される。設定関連性定量化器５０２を訓練するメカニズムは、後に詳しく記載される。
【0054】
設定関連性定量化器５０２を用いることで、考えられるパラメータ設定すべてを探索したり考えられるパラメータ設定の単なる無作為選択を行ったりせずに、最適パラメータ選択器５１０は、最も可能性が高い関連トピックを抽出するために使用可能と考えられるパラメータ設定がどれであるか、予測できるとよい。
【0055】
会話プロセッサ５２０は、図２の会話プロセッサ１１０と類似した形で機能する。具体的には、会話プロセッサ５２０は、個別のパラメータ設定候補５０３に基づきオーディオコレクション１０２をテキスト情報に変換し、個別のパラメータ設定候補５０３に基づきテキスト情報を文書コーパスへと正規化し、文書コーパスの中の単語の単語埋め込みのセットを生成し、個別のパラメータ設定候補５０３に基づき文書コーパスからトピックのセットを抽出してもよい。
【0056】
トピック特徴抽出器５６０は、それぞれの会話プロセッサ５２０により抽出される各トピックの多次元特徴を抽出してもよい。特に、トピック特徴抽出器５６０は、例として、トピックに属する各単語に関係する単語埋め込みを集約することにより、トピックのかかる多次元特徴を抽出する。
【0057】
図５に示されているように、それぞれの会話プロセッサ５２０により抽出されたトピック、抽出されたトピックの多次元特徴、およびパラメータ設定候補５０３を含むトピック／設定特徴オブジェクト５０５を入力として用いて、トピック関連性定量化コンポーネント５３０は、トピック関連性定量化器５０４を利用して、抽出されたトピックの関連性を測定してもよく、関連性は、例として０から５の間の整数区間での関連性スコアとして表現されてもよく、０は関連性がないことを意味し、５は非常に関連性が高いことを意味する。トピック関連性定量化器５０４は、パラメータ設定に基づき意図発見に対するトピックの関連性を予測するように訓練された機械学習モデルを含む。トピック関連性定量化器５０４は、オーディオコレクション１０２から以前抽出されたトピックに基づき訓練される。トピック関連性定量化器５０４を訓練するメカニズムは、後に詳しく記載される。
【0058】
パラメータ設定候補５０３のそれぞれについて、関連性定量化結果追跡器５４０は、関連性基準が満たされるかどうかを判断するために、パラメータ設定候補に基づき抽出されたトピックの関連性スコアと、所定の関連性基準とを比較してもよい。例として、関連性スコアの９０％が目標関連性閾値に達した場合、関連性定量化結果追跡器５４０は、パラメータ設定候補により関連性基準が満たされたと判断してもよい。結果として、関連性基準を満たすパラメータ設定のパラメータの中から、最高の関連スコアを持つパラメータ設定候補を、システム１００において意図を発見するための最適パラメータ設定５０８として選択できる。
【0059】
他方、関連性定量化結果追跡器５４０は、パラメータ設定候補５０３のいずれによっても関連性基準が満たされないと判断する場合、パラメータ設定候補５０３の別のセットを選択するように最適パラメータ選択器５１０をトリガする。これにより、関連性基準が満たされるまでパラメータ設定候補を求めてパラメータ空間５０６を自動的に探索するために、閉ループが形成される。
【0060】
さらに、関連性定量化結果追跡器５４０は、トピック関連性定量化器５０４が引き続き優れた精度でトピックを分類できるかどうかをチェックしてもよい。抽出されたトピックの関連性定量化結果が基準精度から逸脱し始めた場合、つまり、トピック関連性定量化器５０４が新たなトピックに対して十分良好に汎用化できない場合、関連性定量化結果追跡器５４０は閉ループを停止する。その結果、トピック関連性定量化器５０４および設定関連性定量化器５０２は、精度を改善するためにさらなる訓練を必要とし得る。
【0061】
図５を参照して上述したように、本願明細書に記載されたシステムおよび方法により達成される技術的進歩の別の例は、トピック抽出のための最適パラメータ設定を、それらの影響をトピック関連性定量化器およびパラメータ設定関連性定量化器を使用して予測することにより見つけることである。
【0062】
以下、トピック関連性定量化器５０４および設定関連性定量化器５０２を訓練するメカニズムが、図６を参照して記載される。
【0063】
図６に示されているように、アノテーション実行器６１０は、複数の会話処理ユニット、すなわち会話処理ユニット１からＮ、およびユーザアノテータ６１５を含むメタコンポーネントである。複数の会話処理ユニットは、並列で実行して、個別のパラメータ設定ファイル、すなわちパラメータ設定ファイル１からＮを用いてオーディオコレクション１０２を処理することができる。これらのパラメータ設定ファイルは、アノテーションの実行の開始時にデータサイエンティストなどのユーザによって選択されてもよい。あるいは、またはさらに、これらのパラメータ設定ファイルは、所定の選択ルールに従ってあらかじめ選択されてもよい。
【0064】
会話処理ユニット１～Ｎは、図２の会話処理ユニット１１０と類似した形で機能する。会話処理ユニット１を例にとると、会話処理ユニット１は、パラメータ設定ファイル１に基づきオーディオコレクション１０２を訓練用テキスト情報に変換し、パラメータ設定ファイル１に基づき訓練用テキスト情報を訓練用文書コーパスに正規化し、訓練用文書コーパス内の単語の単語埋め込みの訓練用セットを生成し、次に、パラメータ設定ファイル１に基づき訓練用文書コーパスからトピックの訓練用セットを抽出してもよい。
【0065】
会話処理ユニット１からＮにより抽出されるすべてのトピックが、ユーザアノテータ６１５に入力されてもよい。ユーザアノテータ６１５は、例として、これらのトピックをＳＭＥなどのユーザに対してグラフィカルユーザインターフェースを介して表示してもよい。こうすることで、ユーザは、意図発見に対する各トピックの関連性をアノテーションしてもよい。例として、ユーザは、意図発見に対するトピックの関連性を表現する数値スコアを各トピックに割り当ててもよい。
【0066】
なお、アノテーション実行器６１０は、必要に応じて、異なるパラメータ設定ファイルを用いて動作し続けてもよい。こうすることで、アノテーション実行器６１０は、パラメータ設定定量化器５０２およびトピック関連性定量化器５０４のその後の訓練のために、ユーザによりアノテーションされたトピックをより多く出力してもよい。
【0067】
図５のトピック特徴抽出器５６０と類似の形で機能して、トピック特徴抽出器６２０は、単語埋め込みの訓練用セットを使用して、アノテーション実行器６１０の会話処理ユニットにより抽出された各トピックの多次元特徴を抽出してもよい。さらに、図５の設定特徴抽出器５５０と類似の形で機能して、設定特徴抽出器６３０は、パラメータ設定ファイル１からＮを定義したパラメータの値を表現する特徴のセットを抽出してもよい。
【0068】
ユーザアノテータ６１５によりスコアを用いてアノテーションされたトピック、トピック特徴抽出器５６０により抽出されたトピックの特徴、および設定特徴抽出器５５０により抽出されたパラメータ設定ファイルの特徴を用いて、パラメータ設定およびトピック関連性定量化器訓練器６４０は、アノテーションされたトピックの関連性および対応するパラメータ設定ファイルを学習することにより、２つの機械学習モデルのトピック関連性定量化器５０４および設定関連性定量化器５０２を訓練してもよい。例として、人工ニューラルネットワーク、決定木、サポートベクタマシン、および同様のものを含む、様々な適用可能な機械学習モデルが、トピック関連性定量化器５０４および設定関連性定量化器５０２を訓練するために採用され得る。
【0069】
具体的には、アノテーションされたトピックのスコアおよびトピックの特徴を入力として用いて、トピック関連性定量化器５０４は、トピックのセットに関連性があるかどうかを学習するように訓練されてもよい。アノテーションされたトピックのスコア、トピックストア３０１に記憶されたトピックのコンテキストメトリクス、および対応するパラメータ設定ファイルのパラメータ特徴を入力として用いて、設定関連性定量化器５０２が、オーディオコレクション１０２から関連トピックを抽出したためにパラメータ設定ファイルを使用可能かどうか学習するように訓練されてもよい。
【0070】
パラメータ設定およびトピック関連性定量化器訓練器６４０は、ループを含んでもよく、そこでは、モデルトピック関連性定量化器５０４およびモデル設定関連性定量化器５０２が、その分類精度が所定の閾値に達した場合にリリースされてもよい。そうならない場合、アノテーション実行器６１０は、より多くのトピックをユーザによるアノテーションのために抽出し、続いてトピック関連性定量化器５０４および設定関連性定量化器５０２の訓練に使用できるように、種々のパラメータ設定ファイルを用いてより多くの会話処理ユニットをインスタンス化する。
【0071】
ここで、従来の意図発見手法において行われるように意図を用いて個々のトピックにラベル付けすることをユーザに要求するのではなく、本開示は単に、トピックが意図発見に対し関連性を持つかどうかを、例として上述のように関連スコアを用いて各トピックにアノテーションすることなどにより決定するようユーザに求める。関連スコアの例は、０から５の間の整数であってもよく、０は関連性がないことを意味し、５は非常に関連性が高いことを意味する。図５を参照して検討したように、最適パラメータ設定５０８の検索においてモデルトピック関連性定量化器５０４および設定関連性定量化器５０２を利用することにより、最適パラメータ選択プロセスに人間の洞察が組み込まれ得る。
【0072】
図１から図６に示されたシステム１００の様々コンポーネントについて上述した。なお、システム１００は、示されたのに比べて追加の、異なる、またはより少数のコンポーネントを用いて実装されてもよい。各コンポーネントは、追加の、異なる、またはより少数のコンポーネントを含んでもよい。
【0073】
図７は、システム１００のフロー図を示す。各ステップは、図７に示されているのと比べて追加の、異なる、またはより少数の動作を含んでもよい。各ステップは、図７に示されているのとは異なる順序で実行されてもよい。
【0074】
図７に示される実施形態において、システム１００は、マルチメディア会話を受信してもよい（７１０）。マルチメディア会話は、例として、顧客と企業担当者との間の顧客電話サービスの会話の録音など、話者の意図を表すコンテンツを含むオーディオ通話であってもよい。マルチメディア会話は、アプリケーションプログラミングインターフェース、メッセージブローカ、表現状態転送（ＲＥＳＴ：Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）、および／またはその他何らかの適切な通信技術を介してシステム１００に伝達されてもよい。
【0075】
システム１００は、トピック関連性定量化器に基づき、最適パラメータ設定を獲得してもよい（７２０）。最適パラメータ設定は、マルチメディア会話から関連トピックを抽出するために使用できる様々なパラメータを含んでもよい。トピック関連性定量化器は、トピックの関連性を予測するように訓練された機械学習モデルを含む。例として、システム１００は、図５を参照して上述された最適パラメータ設定検索プロセスを実行する。このプロセスの間、トピック関連性定量化器は、候補パラメータ設定を通じて抽出されたトピックの関連性を測定する。トピックの関連性が関連性基準に適合する場合、システム１００は、候補パラメータ設定を最適パラメータ設定としてセットする。その他の場合、システム１００は、関連性基準に適合するまで次の候補パラメータ設定を検索する。
【0076】
システム１００は、ステップ７３２から７３６を実行することにより、最適パラメータ設定に基づきオーディオ通話などのマルチメディア会話を処理してもよい（７３０）。例として、システム１００は、音声テキスト化エンジンを利用して、最適パラメータ設定に基づきオーディオ通話をテキストに変換する（７３２）。次にシステム１００は、自然言語処理エンジンを使用して、最適パラメータ設定に基づきテキストを文書コーパスへと正規化する（７３４）。システム１００は、例として、ストップワードおよびノイズワードを除去すること、品詞タグを割り当てること、エンティティを認識すること、および同様のことを含む、標準的な正規化ＮＬＰ手順を適用することによりテキストを処理してもよい。その後、システム１００は、最適パラメータ設定に基づき文書コーパスからトピックを抽出する（７３６）。トピックは、各トピックの単語および各文書に関係するトピックについての情報を含むトピックデータ構造として表現されてもよい。
【0077】
次にシステム１００は、ステップ７３６にて抽出されたトピックのそれぞれについて、個別のコンテキストメトリクスを判断してもよい。例として、コンテキストメトリクスは、トピックの近接性スコアおよびバランススコアを含む。近接性スコアは、文書コーパス内のトピックのトピック単語群が、どの程度空間的に近いかを示す。バランススコアは、トピックのトピック単語が、文書コーパスのコンテキストの中で意図の固有性を理解するのに十分な情報をどの程度表現するかを示す。
【0078】
システム１００は、コンテキストメトリクスに基づき、抽出されたトピックから意図発見に関する関連トピックを選択してもよい（７５０）。例として、システム１００は、最高の近接性スコアおよびバランススコアを持つトピックを関連トピックとして選択してもよい。別の例として、システム１００は、データサイエンティストなどのユーザに対してトピックをその近接性スコアおよびバランススコアとともに表示し、ユーザの助力を得てどのトピックが関連トピックであるかを判断してもよい。
【0079】
システム１００は、ステップ７３４にて正規化された文書コーパスから関連トピックに関係する文書を獲得してもよい（７６０）。例として、システム１００は、関連トピックに関係するトピック単語を含む文書を求めて文書コーパスを検索してもよい。
【0080】
システム１００は、ユーザグラフィカルユーザインターフェースを介して関連トピックに関係する文書に関する情報を表示してもよい（７７０）。例として、システム１００は、各文書のテキスト全体を表示する。別の例として、システム１００は、各文書の複数のテキストセグメントを表示する。複数のテキストセグメントは、関連トピックのトピック単語を含む。
【0081】
システム１００は、関連トピックに関係する会話文書に関するフィードバックデータを受信してもよい（７８０）。例として、表示されたテキストまたはテキストセグメントの検査により、ユーザは、当該文書が関連トピックに対応する意図を明確に表すかどうかを判断する。そのような意図が現れれば、ユーザは、フィードバックデータとして意図の名前を入力する。任意選択で、関連トピックが、例としてすべての会話文書のうちの１０％など多量の会話文書に関係する場合、関連トピックに対応する意図が漠然としており、関連トピックの下位意図を発見する意図精緻化が必須であることを示す。図４を参照して上述したように、関連トピックと、関連トピックに関係する表示された会話文書とを確認することにより、ユーザは、例として関連トピックの下位トピックとしてクエリルールのセットを定義してクエリルールに対して種々の下位意図を指定してもよい。よって、フィードバックデータは、下位意図の名前を含んでもよい。
【0082】
システム１００は、関連トピックに関係する意図情報をフィードバックデータに基づき判断してもよい（７９０）。例として、システム１００は、意図名を用いて関連トピックにラベル付けする。あるいは、またはさらに、システム１００が関連トピックに対して意図精緻化を実行する場合、システム１００は、関連トピックに対応するクエリルールのそれぞれに、個別の下位意図名を用いてラベル付けする。さらにシステム１００は、文書の中の、意図または下位意図を表す、関係のある発話を見つけてもよい。さらなる例として、システム１００は、いくつのオーディオ通話がこの意図を対象としているかなどの様々な有用な統計を算出できる。
【0083】
図８は、システム１００の別の例を示す。システム１００は、通信インターフェース８１２、入力インターフェース８２８、および／またはシステム回路構成８１４を含んでもよい。システム回路構成８１４は、プロセッサ８１６または複数のプロセッサを含んでもよい。あるいは、またはさらに、システム回路構成８１４はメモリ８２０を含んでもよい。
【0084】
プロセッサ８１６は、メモリ８２０と通信していてもよい。一部の例において、プロセッサ８１６は、通信インターフェース８１２、入力インターフェース８２８、および／またはユーザインターフェース８１８などのさらなる構成要素とも通信していてもよい。プロセッサ８１６の例には、汎用プロセッサ、中央処理ユニット、論理ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：中央処理ユニット）／アレイ、マイクロコントローラ、サーバ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、および／またはデジタル回路、アナログ回路、もしくはそれらの何らかの組み合わせが含まれ得る。
【0085】
プロセッサ８１６は、論理を実行するよう動作可能な１つ以上のデバイスであってもよい。論理は、メモリ８２０または他のメモリに記憶され、プロセッサ８１６により実行されるとプロセッサ８１６に、会話プロセッサ１１０、トピック評価器１３０、トピック選択器１４０、ルール定式化器１５０、意図精緻化器１６０、意図統計コンポーネント１７０、パラメータ検索１８０、および／またはシステム１００の動作を実行させる、コンピュータ実行可能命令またはコンピュータコードを含んでもよい。さらに、プロセッサ８１６には、オーディオ通話処理のための速度テキスト化エンジン２１２、ＮＬＰ正規化コンポーネント２１４、および／またはトピック抽出器２１６の動作、トピック選択のためのトピック近接性評価器３２０、トピックバランス評価器３３０、トピック可視化コンポーネント３４０、最良トピック選択器３５０、単語固有性評価器３６０、コンテキスト抽出器３７０、および／または単語影響評価器３８０の動作、ルール定式化および意図精緻化のためのルール発見コンポーネント４１０、ルール定義コンポーネント４２０、ルール実行コンポーネント４４０、インデクサ４３０、意図ラベラ４５０、意図文書割り当て器４６０、および／または意図発話分類器４７０の動作、最適パラメータ設定検索のための設定特徴抽出器５５０、最適パラメータ選択器５１０、会話プロセッサ５２０、トピック関連性定量化コンポーネント５３０、関連性定量化結果追跡器５４０、および／またはトピック特徴抽出器５６０の動作、パラメータ設定関連性定量化器およびトピック関連性定量化器の訓練のためのアノテーション実行器６１０、ユーザアノテータ６１５、トピック特徴抽出器６２０、設定特徴抽出器６３０、および／またはパラメータ設定およびトピック関連性定量化器訓練器６４０の動作を実行させてもよい。コンピュータコードは、プロセッサ８１６を用いて実行可能な命令を含んでもよい。
【0086】
メモリ８２０は、データの記憶および読み出し、またはその任意の組み合わせをするための任意のデバイスであってもよい。メモリ８２０は、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、またはフラッシュメモリなど、不揮発性および／または揮発性メモリを含んでもよい。あるいは、またはさらに、メモリ８２０は、光学、磁気（ハードドライブ）、ソリッドステートドライブ、またはその他任意の形態のデータ記憶デバイスを含んでもよい。メモリ８２０は、会話プロセッサ１１０、トピック評価器１３０、トピック選択器１４０、ルール定式化器１５０、意図精緻化器１６０、意図統計コンポーネント１７０、パラメータ検索１８０、および／またはシステム１００のうちの少なくとも１つを含んでもよい。あるいは、またはさらに、メモリは、本願明細書に記載されたシステム１００の他の任意のコンポーネントまたは下位コンポーネントを含んでもよい。
【0087】
ユーザインターフェース８１８は、グラフィカル情報を表示する任意のインターフェースを含んでもよい。システム回路構成８１４および／または通信インターフェース（単数または複数）８１２は、ユーザインターフェースにグラフィカル情報を表示させる信号またはコマンドをユーザインターフェース８１８に伝達してもよい。あるいは、またはさらに、ユーザインターフェース８１８は、システム１００に対し遠隔にあってもよく、システム回路構成８１４および／または通信インターフェース（単数または複数）は、ＨＴＭＬなどの命令をユーザインターフェースに伝達して、ユーザインターフェースに情報コンテンツを表示、コンパイル、および／またはレンダリングさせてもよい。一部の例において、ユーザインターフェース８１８により表示されるコンテンツは、インタラクティブであっても、またはユーザ入力に応答してもよい。例として、ユーザインターフェース８１８は、信号、メッセージ、および／または情報を通信インターフェース８１２またはシステム回路構成８１４に伝達し返してもよい。
【0088】
システム１００は、多数の異なる形で実装され得る。一部の例において、システム１００は、１つ以上の論理コンポーネントを用いて実装されてもよい。例として、システム１００の論理コンポーネントは、ハードウェアであっても、またはハードウェアとソフトウェアとの組み合わせであってもよい。論理コンポーネントは、会話プロセッサ１１０、トピック評価器１３０、トピック選択器１４０、意図定義器１４５、ルール定式化器１５０、意図精緻化器１６０、意図統計コンポーネント１７０、パラメータ検索１８０、またはシステム１００の任意のコンポーネントもしくは下位コンポーネントを含んでもよい。一部の例では、各論理コンポーネントは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル論理回路、アナログ回路、別々の回路もしくはゲートもしくはその他任意のタイプのハードウェアの組み合わせ、またはそれらの組み合わせを含んでもよい。あるいは、またはさらに、各コンポーネントは、例えば論理コンポーネントの特徴のうち１つ以上を実装するためにプロセッサ８１６または他のプロセッサを用いて実行可能な命令を含むメモリ８２０の部分などのメモリハードウェアを含んでもよい。論理コンポーネントのいずれか１つが、プロセッサ８１６を用いて実行可能な命令を含むメモリの部分を含む場合、コンポーネントは、プロセッサ８１６を含んでもよく、または含まなくてもよい。一部の例では、各論理コンポーネントは、メモリ８２０または他の物理メモリのうち、プロセッサ８１６または他のプロセッサ（単数または複数）を用いて実行可能な命令を含む部分に過ぎず、他のハードウェアをコンポーネントが一切含まなくても対応するコンポーネントの特徴が実装されるものであってもよい。各コンポーネントは、含まれるハードウェアがソフトウェアを含む場合であっても少なくともいくらかのハードウェアを含むので、各コンポーネントは区別なくハードウェアコンポーネントと呼ばれ得る。
【0089】
一部の特徴は、コンピュータ可読記憶媒体に記憶されるように示されている（例として、コンピュータ実行可能命令として実装される論理として、またはメモリの中のデータ構造として）。システムならびにその論理およびデータ構造の全部または一部が、１つ以上のタイプのコンピュータ可読記憶媒体に記憶され、分散され、またはそこから読み取られてもよい。コンピュータ可読記憶媒体の例には、ハードディスク、フロッピーディスク、ＣＤ－ＲＯＭ、フラッシュドライブ、キャッシュ、揮発性メモリ、不揮発性メモリ、ＲＡＭ、フラッシュメモリ、またはその他任意のタイプの１つもしくは複数のコンピュータ可読記憶媒体が含まれ得る。コンピュータ可読記憶媒体は、ＣＤ－ＲＯＭ、揮発性メモリ、不揮発性メモリ、ＲＯＭ、ＲＡＭ、またはその他任意の適切な記憶デバイスなど、任意のタイプの非一時的コンピュータ可読媒体を含んでもよい。
【0090】
システムの処理能力は、複数のプロセッサおよびメモリ間など複数のエンティティ間に分散されてもよく、任意選択で複数の分散型処理システムが含まれる。パラメータ、データベース、および他のデータ構造は、別々に記憶および管理されてもよく、単一のメモリまたはデータベースに組み込まれてもよく、多数の異なる形で論理的および物理的に編成されてもよく、連結リスト、ハッシュテーブル、または暗黙的記憶メカニズムなどの様々なタイプのデータ構造を用いて実装されてもよい。プログラムまたは回路構成などの論理は、組み合わされても、または複数のプログラム間に分割されても、いくつかのメモリおよびプロセッサに分散されてもよく、共有ライブラリ（例としてダイナミックリンクライブラリ（ＤＬＬ：ｄｙｎａｍｉｃ ｌｉｎｋ ｌｉｂｒａｒｙ）などのライブラリに実装されてもよい。
【0091】
記載された特定の実装にかかわらず、すべての説明は限定ではなく、本質的に例示である。例として、各実装の選択された側面、特徴、またはコンポーネントがメモリ（単数または複数）に記憶されるものとして表されているが、１つまたは複数のシステムの全部または一部が、例としてハードディスク、フラッシュメモリドライブ、フロッピーディスク、およびＣＤ－ＲＯＭなどの二次記憶デバイスなど、他のコンピュータ可読記憶媒体に記憶され、分散され、またはそこから読み取られてもよい。さらに、様々な論理ユニット、回路構成、および画面表示機能性は、かかる機能性の一例でしかなく、同様の機能性を含む他の任意の構成が可能である。
【0092】
上述したプロセス、方法、および／または手法を実装するための個別の論理、ソフトウェア、または命令は、コンピュータ可読記憶媒体上で提供されてもよい。図面に示されまたは本願明細書に記載された機能、動作、またはタスクは、コンピュータ可読媒体内またはコンピュータ可読媒体上に記憶された論理または命令の１つ以上のセットに応答して実行されてもよい。機能、動作、またはタスクは、特定のタイプの命令セット、記憶媒体、プロセッサ、または処理戦略とは独立しており、単体または組み合わせで動作するソフトウェア、ハードウェア、集積回路、ファームウェア、マイクロコード、および同様のものにより実行され得る。同じく、処理戦略は、マルチプロセッシング、マルチタスキング、並列処理、および同様のものを含んでもよい。一例では、命令はローカルまたは遠隔のシステムによる読み取りのために取り外し可能な媒体デバイス上に記憶される。他の例では、論理または命令は、コンピュータネットワークを介した、または電話線での転送のために遠隔位置において記憶される。さらに別の例では、論理または命令は、所定のコンピュータおよび／または中央処理ユニット（「ＣＰＵ」）内に記憶される。
【0093】
さらに、特定のコンポーネントが上述されているが、本願明細書に記載された方法、システム、および製品は、追加の、より少数の、または異なるコンポーネントを含んでもよい。例としてプロセッサは、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、個別論理、または他のタイプの回路もしくは論理の組み合わせとして実装されてもよい。同じく、メモリはＤＲＡＭ、ＳＲＡＭ、フラッシュ、またはその他任意のタイプのメモリとされ得る。フラグ、データ、データベース、テーブル、エンティティ、およびその他データ構造は、別個に記憶および管理されてもよく、単一のメモリもしくはデータベースに組み入れられてもよく、分散されてもよく、または多数の異なる形で論理的および物理的に編成されてもよい。コンポーネントは、独立して動作してもよく、または同じプログラムもしくは異なるプログラムを実行する同じ装置の一部であってもよい。コンポーネントは、別々の取り外し可能な回路基板などの別々のハードウェア上に存在してもよく、またはメモリからの命令を実装するために同じメモリおよびプロセッサなど共通のハードウェアを共有してもよい。プログラムは、単一のプログラムの一部であっても、別々のプログラムであっても、またはいくつかのメモリおよびプロセッサにわたって分散していてもよい。
【0094】
第２のアクションは、第２のアクションが第１のアクションから直接的に生じるかまたは間接的に生じるかに関わらず、第１のアクション「に応答して」と言われることがある。第２のアクションは、第１のアクションよりも大幅に遅い時間に発生してもよく、それでも第１のアクションに応答してのものとされ得る。同じく、第２のアクションは、第１のアクションと第２のアクションとの間に介在するアクションが起こるとしても、さらに介在するアクションのうちの１つ以上が直接的に第２のアクションを実行させるとしても、第１のアクションに応答してのものと言われることがある。例として、第１のアクションがフラグをセットし、フラグがセットされるたびに後で第３のアクションが第２のアクションを開始する場合、第２のアクションは第１のアクションに応答してのものとされ得る。
【0095】
用途を明確化し、且つこれにより公に知らせると、語句「＜Ａ＞、＜Ｂ＞、…および＜Ｎ＞のうちの少なくとも１つ」または「＜Ａ＞、＜Ｂ＞、…＜Ｎ＞、またはそれらの組み合わせのうちの少なくとも１つ」、または「＜Ａ＞、＜Ｂ＞、…、および／または＜Ｎ＞」は、出願人によって最も広い意味に定義され、この定義は、反対の明示的な主張が出願人によりなされない限り、上文または下文で示唆される他のいずれの定義にも優先し、Ａ、Ｂ、…、およびＮを含むグループから選択された１つ以上の構成要素を意味する。言い換えれば、この語句は、構成要素Ａ、Ｂ、…、またはＮのうちの１つ以上の任意の組み合わせを意味し、これには任意の１つの構成要素のみ、または他の構成要素１つ以上と組み合わせた１つの構成要素が含まれ、他の構成要素には、列挙されていない追加の構成要素が組み合わせでさらに含まれることもある。
【0096】
様々な実施形態が記載されたが、当業者には当然のことながら、はるかに多くの実施形態および実装が可能である。したがって、本願明細書に記載された実施形態は例であり、唯一の可能な実施形態および実装ではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】