ホーム > 特許ランキング > 株式会社ＮＴＴドコモ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023117569
(43)【公開日】2023-08-24
(54)【発明の名称】評価装置
(51)【国際特許分類】
G10L 15/01 20130101AFI20230817BHJP
G10L 15/22 20060101ALI20230817BHJP
G10L 15/32 20130101ALI20230817BHJP
G06V 30/12 20220101ALI20230817BHJP
【ＦＩ】
G10L15/01 200
G10L15/22 470Z
G10L15/32 220Z
G06K9/03 Z
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022020202
(22)【出願日】2022-02-14
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社ＮＴＴドコモ
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100121980
【弁理士】
【氏名又は名称】沖山 隆
(74)【代理人】
【識別番号】100128107
【弁理士】
【氏名又は名称】深石 賢治
(72)【発明者】
【氏名】山下 仁
(72)【発明者】
【氏名】松永 宏
(72)【発明者】
【氏名】西 豊太
【テーマコード（参考）】
5B064
【Ｆターム（参考）】
5B064AA01
5B064AB02
5B064AB03
5B064BA01
5B064BA05
5B064DA10
5B064DA27
5B064EA08
5B064EA26
(57)【要約】
【課題】エリアに基づいて認識結果を評価すること。
【解決手段】評価装置１は、エリアごとの算出モデルであって、単語に関する単語情報を入力すると当該エリアでの当該単語の重要度である単語重要度を出力する算出モデルを格納する格納部１０と、エリアを示すエリア情報と、音声認識又は文字認識の認識結果とを取得する取得部１１と、エリア情報が示すエリアの算出モデルに認識結果の各単語の単語情報を入力することで出力される単語重要度に基づいて、当該認識結果を評価する評価部１２と、を備える。認識結果は、音声認識又は文字認識の適合度を含み、評価部１２は、認識結果に含まれる適合度にさらに基づいて評価してもよい。評価部１２は、認識結果の各単語について出力される単語重要度に基づいて当該認識結果の重要度である全体重要度を算出し、当該全体重要度に基づいて当該認識結果を評価してもよい。
【選択図】図５
【解決手段】評価装置１は、エリアごとの算出モデルであって、単語に関する単語情報を入力すると当該エリアでの当該単語の重要度である単語重要度を出力する算出モデルを格納する格納部１０と、エリアを示すエリア情報と、音声認識又は文字認識の認識結果とを取得する取得部１１と、エリア情報が示すエリアの算出モデルに認識結果の各単語の単語情報を入力することで出力される単語重要度に基づいて、当該認識結果を評価する評価部１２と、を備える。認識結果は、音声認識又は文字認識の適合度を含み、評価部１２は、認識結果に含まれる適合度にさらに基づいて評価してもよい。評価部１２は、認識結果の各単語について出力される単語重要度に基づいて当該認識結果の重要度である全体重要度を算出し、当該全体重要度に基づいて当該認識結果を評価してもよい。
【選択図】図５
【特許請求の範囲】
【請求項1】
エリアごとの算出モデルであって、単語に関する単語情報を入力すると当該エリアでの当該単語の重要度である単語重要度を出力する算出モデルを格納する格納部と、
エリアを示すエリア情報と、音声認識又は文字認識の認識結果とを取得する取得部と、
前記エリア情報が示すエリアの前記算出モデルに前記認識結果の各単語の前記単語情報を入力することで出力される前記単語重要度に基づいて、当該認識結果を評価する評価部と、
を備える評価装置。
エリアを示すエリア情報と、音声認識又は文字認識の認識結果とを取得する取得部と、
前記エリア情報が示すエリアの前記算出モデルに前記認識結果の各単語の前記単語情報を入力することで出力される前記単語重要度に基づいて、当該認識結果を評価する評価部と、
を備える評価装置。
【請求項2】
前記認識結果は、音声認識又は文字認識の適合度を含み、
前記評価部は、前記認識結果に含まれる前記適合度にさらに基づいて評価する、
請求項１に記載の評価装置。
前記評価部は、前記認識結果に含まれる前記適合度にさらに基づいて評価する、
請求項１に記載の評価装置。
【請求項3】
前記評価部は、前記認識結果の各単語について出力される前記単語重要度に基づいて当該認識結果の重要度である全体重要度を算出し、当該全体重要度に基づいて当該認識結果を評価する、
請求項１又は２に記載の評価装置。
請求項１又は２に記載の評価装置。
【請求項4】
前記取得部は、互いに異なる音声認識又は文字認識を行う複数の認識装置から同一の音声又は文字に対する前記認識結果を取得し、
前記評価部は、前記認識装置それぞれから取得した前記認識結果を評価する、
請求項１～３の何れか一項に記載の評価装置。
前記評価部は、前記認識装置それぞれから取得した前記認識結果を評価する、
請求項１～３の何れか一項に記載の評価装置。
【請求項5】
単語に関する前記単語情報は、当該単語、当該単語の文脈上の周辺の一つ以上の単語である周辺単語群、又は、当該単語と前記周辺単語群との組み合わせ、を示す情報である、
請求項１～４の何れか一項に記載の評価装置。
請求項１～４の何れか一項に記載の評価装置。
【請求項6】
前記取得部は、エリアを示すエリア情報と、当該エリアで発した音声の音声認識又は当該エリアで起こされた文字の文字認識の認識結果とを取得する、
請求項１～５の何れか一項に記載の評価装置。
請求項１～５の何れか一項に記載の評価装置。
【請求項7】
前記評価部による前記認識結果の評価に基づいて当該認識結果を訂正する訂正部をさらに備える、
請求項１～６の何れか一項に記載の評価装置。
請求項１～６の何れか一項に記載の評価装置。
【請求項8】
エリアで発した音声の音声認識又はエリアで起こされた文字の文字認識の認識結果に基づいて、エリアごとの前記算出モデルを生成する生成部をさらに備え、
前記格納部は、前記生成部によって生成された前記算出モデルを格納する、
請求項１～７の何れか一項に記載の評価装置。
前記格納部は、前記生成部によって生成された前記算出モデルを格納する、
請求項１～７の何れか一項に記載の評価装置。
【請求項9】
前記生成部は、エリアでの前記認識結果の単語の出現頻度、又は、対象としているエリアである対象エリアの総数と当該対象エリアのうち前記認識結果の単語が出現するエリアの数との関係、の少なくとも一方に基づいて前記算出モデルを生成する、
請求項８に記載の評価装置。
請求項８に記載の評価装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の一側面は、音声認識又は文字認識の認識結果を評価する評価装置に関する。
【背景技術】
【0002】
下記特許文献１では、音声認識結果を評価する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－４５６８９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記方法では、例えば、音声が発せられたエリアに基づいて認識結果を評価することはできない。そこで、エリアに基づいて認識結果を評価することが望まれている。
【課題を解決するための手段】
【0005】
本開示の一側面に係る評価装置は、エリアごとの算出モデルであって、単語に関する単語情報を入力すると当該エリアでの当該単語の重要度である単語重要度を出力する算出モデルを格納する格納部と、エリアを示すエリア情報と、音声認識又は文字認識の認識結果とを取得する取得部と、エリア情報が示すエリアの算出モデルに認識結果の各単語の単語情報を入力することで出力される単語重要度に基づいて、当該認識結果を評価する評価部と、を備える。
【0006】
このような側面においては、取得されたエリア情報が示すエリアの算出モデルに基づいて、音声認識又は文字認識の認識結果が評価される。すなわち、エリアに基づいて認識結果を評価することができる。
【発明の効果】
【0007】
本開示の一側面によれば、エリアに基づいて認識結果を評価することができる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る評価装置を含む評価システムのシステム構成の一例を示す図である。
【図2】評価システムが実行する評価処理の一例を示すシーケンス図である。
【図3】通信履歴情報のテーブル例を示す図である。
【図4】セクタ情報のテーブル例を示す図である。
【図5】実施形態に係る評価装置の機能構成の一例を示す図である。
【図6】単語重要度情報のテーブル例を示す図である。
【図7】認識結果のテーブル例を示す図である。
【図8】認識結果重要度情報のテーブル例を示す図である。
【図9】判定基準ごとの評価方法のテーブル例を示す図である。
【図10】評価方法Ｅ１のランキング前のランク情報のテーブル例を示す図である。
【図11】評価方法Ｅ１のランキング後のランク情報のテーブル例を示す図である。
【図12】評価方法Ｅ２のランキング前のランク情報のテーブル例を示す図である。
【図13】評価方法Ｅ２のランキング後のランク情報のテーブル例を示す図である。
【図14】評価方法Ｅ３のランキング前（その１）のランク情報のテーブル例を示す図である。
【図15】評価方法Ｅ３のランキング前（その２）のランク情報のテーブル例を示す図である。
【図16】評価方法Ｅ３のランキング後のランク情報のテーブル例を示す図である。
【図17】評価方法Ｅ４のランキング前（その１）のランク情報のテーブル例を示す図である。
【図18】評価方法Ｅ４のランキング前（その２）のランク情報のテーブル例を示す図である。
【図19】評価方法Ｅ４のランキング後のランク情報のテーブル例を示す図である。
【図20】単語認識件数情報のテーブル例を示す図である。
【図21】実施形態に係る評価装置が実行する評価処理の一例を示すフローチャートである。
【図22】共起行列（その１）のテーブル例を示す図である。
【図23】共起行列（その２）のテーブル例を示す図である。
【図24】共起行列（その３）のテーブル例を示す図である。
【図25】認識結果の整形処理の一例を示す図である。
【図26】共起行列（その４）のテーブル例を示す図である。
【図27】共起行列（その５）のテーブル例を示す図である。
【図28】隣接単語から対象単語を推論するイメージ図である。
【図30】ＣＢＯＷを利用したモデル例を示す図である。
【図31】実施形態に係る評価装置が実行する生成処理の一例を示すフローチャートである。
【図32】認識件数情報の別のテーブル例を示す図である。
【図33】認識件数情報の別のテーブル例を示す図である。
【図34】実施形態に係る評価装置で用いられるコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、以下の説明における本開示での実施形態は、本発明の具体例であり、特に本発明を限定する旨の記載がない限り、これらの実施形態に限定されないものとする。
【0010】
図１は、実施形態に係る評価装置１（評価装置）を含む評価システム５のシステム構成の一例を示す図である。図１に示す通り、評価システム５は、評価装置１、一つ以上又は複数の移動端末２（総称して「移動端末２」と適宜記す）、中継装置３、及び、一つ以上又は複数の認識装置４（総称して「認識装置４」と適宜記す）を含んで構成される。評価装置１及び中継装置３、並びに、中継装置３及び認識装置４は、インターネットなどのネットワークによって互いに通信接続され、互いに情報を送受信可能である。移動端末２及び中継装置３は、移動体通信網などのネットワークによって互いに通信接続され、互いに情報を送受信可能である。
【0011】
評価装置１は、音声認識又は文字認識の認識結果を評価するコンピュータ装置である。音声認識は、人の声などの音声信号をコンピュータに認識させ、コンピュータで扱えるテキスト（文字列、文章、単語の集合）に変換させる技術である。文字認識は、紙などに印刷された文字又は手書きで入力された文字などをコンピューターに認識させ、コンピュータで扱えるテキストに変換させる技術である。認識結果は、音声認識を実行した結果生成される情報、又は、文字認識を実行した結果生成される情報であり、例えば上述のテキストを含む。認識結果は、音声認識又は文字認識の適合度（後述）を含んでもよい。評価装置１の詳細については後述する。
【0012】
移動端末２は、移動体通信を行う移動体通信端末又はノートパソコンなどのコンピュータ装置である。実施形態では、移動端末２としてスマートフォンを想定するが、これに限るものではない。移動端末２は、移動端末２のユーザ（評価システム５のユーザ）によって携帯される。移動端末２は、ＧＰＳ（Global Positioning System）を備え、ＧＰＳを利用して当該移動端末２の現在の位置情報（緯度、経度など）を取得してもよい。移動端末２は、位置情報を適宜取得し、取得した位置情報を中継装置３に適宜送信してよい。移動端末２は、一般的なスマートフォンが備えるその他のセンサや機能を備えてもよい。
【0013】
移動端末２は、任意のエリアにおいて通信を行う。エリアは、所定の範囲を占める区域、領域、地域、地方、地帯、区画、又は、移動体通信網にて形成されるセル若しくはセクタなどである。実施形態において、エリアでは、エリア固有の表現（音声又は文字など）が用いられることを想定する。エリア固有の表現は、例えば、方言、特殊な地名など、そのエリアでよく用いられる表現である。図１において、移動端末２ａはエリアＡ１において通信を行い、移動端末２ｂはエリアＡ２において通信を行っている。複数の移動端末２が同じエリアで同時に通信を行ってもよいし、一つの移動端末２が（範囲が重複する）複数のエリアで同時に通信を行ってもよい。
【0014】
中継装置３は、評価システム５に含まれる構成要素（ノード）間の通信を中継するコンピュータ装置である。中継装置３は、通信を中継時に、通信内容に任意の情報を付加した上で中継を行ってもよい。中継装置３は、音声認識代理要求装置と記してもよい。
【0015】
認識装置４（認識装置）は、音声認識又は文字認識を行うコンピュータ装置である。認識装置４は、既存技術である音声認識又は文字認識を行う汎用の認識エンジンを備える。認識エンジンは、音声認識又は文字認識の認識対象（音声信号、文字など）を入力すると、認識対象の認識結果を出力する。認識結果は、認識対象に対応するテキストを含む。認識結果は、音声認識又は文字認識を行った際の認識の適合度（認識率）をさらに含んでもよい。適合度は、認識がどの程度適合しているかを示す度合である。適合度は、音声認識又は文字認識の既存技術によって算出される。例えば、認識エンジンがＲＮＮ（Recurrent Neural Network）などのニューラルネットワークで実装されている場合、認識時にニューラルネットワークが出力する尤度などに基づいて適合度が算出される。認識装置４は、認識対象が入力されると、入力された認識対象を認識エンジンに入力し、その応答として認識エンジンから出力された認識結果を出力する。認識装置４は、音声認識基盤と記してもよい。
【0016】
認識装置４は、実施形態において複数存在することを想定する。複数の認識装置４は、互いに異なる音声認識又は文字認識を行う。より具体的には、複数の認識装置４は、互いに異なる認識エンジン（同種の認識エンジンであってもパラメータ調整などが異なる認識エンジン）を備える。それゆえ、同一の音声又は文字に対する認識結果は、複数の認識装置４それぞれで異なる可能性がある。
【0017】
図２を参照しながら、評価システム５が実行する評価処理の例を説明する。図２は、評価システム５が実行する評価処理の一例を示すシーケンス図である。なお、以降の実施形態においては音声認識を主に想定するが、これに限るものではなく、文字認識であってもよい。実施形態において、例えば用語「音声」を「文字」に適宜読み替えてもよい。
【0018】
まず、移動端末２が、ユーザが音声を発した際に、移動端末２が備えるマイクなどにより音声信号を取得する（ステップＳ１）。次に、移動端末２が、Ｓ１で取得した音声信号に対応する音声情報を中継装置３に送信し（ステップＳ２）、中継装置３が受信する。次に、中継装置３が、Ｓ２で送信された音声情報の送信元の移動端末２が在圏するエリアのエリア情報を取得する（ステップＳ３）。
【0019】
エリア情報の取得方法の具体例について説明する。ＥＣＧＩ（E-UTRAN Cell Global ID）を用いる場合を説明する。一般的に、キャリアによるが、セクタ毎にＥＣＧＩと無線の吹いている先のエリア情報（後述の住所コード、ＴＡＣ、緯度経度）が管理されている。Ｓ２にて移動端末２から中継装置３に対して音声情報が送信された際に、移動体通信網はどのエリア（無線エリア、セクタ）からの発信なのかを識別することができる。当該識別はＬＴＥ（Long Term Evolution）網であればＥＣＧＩによって行われる。エリア情報の取得は、中継装置３が、Ｓ２の際の通信履歴に関する通信履歴情報に含まれるＥＣＧＩとセクタに関するセクタ情報に含まれるＥＣＧＩとを突合し、該当する住所コード、ＴＡＣ（Tracking Area Code）又は緯度経度を取得することで行われる。つまり、エリア情報は、住所コード、ＴＡＣ又は緯度経度であってもよい。エリア情報は、特定の地方、特定の地方を構成する全国地方公共団体コード、同コードのリスト、特定の地方を構成するセクタ（無線網の電波によるエリアのうち最小のもの）のＩＤ、又は、同ＩＤのリストを示す情報であってもよい。
【0020】
ＥＣＧＩは、Ｅ－ＵＴＲＡＮ（ＬＴＥの３ＧＰＰでの呼称）で定義されたＣＧＩ（Cell Global ID）である。ＥＣＧＩは、セクタ（セル）毎に振られたＩＤである。ＥＣＧＩは、ＭＣＣ（Mobile Country Code；国番号）とＭＮＣ（Mobile Network Code；ネットワーク番号）とＥＣＩ（E-UTRAN Cell Identifier）とからなる。同一キャリア、同一国内においては、ＭＣＣ及びＭＮＣを省略したＥＣＩが用いられることも多い。
【0021】
住所コードは、国土地理協会が定義している住所のコードである。住所コードにより、無線の吹いている地域はこの自治体に所属する、ということがわかる。住所コードは、保全などに用いるため管理されている。
【0022】
ＴＡＣは、Ｅ－ＵＴＲＡＮにおいて待ち受け時の位置管理に用いられるエリアを識別するＩＤである。待ち受け時のため通信時よりも大雑把な位置しかわからないが、それで十分な場合も多い。同一ＴＡＣを持つ複数のセクタが存在する。
【0023】
緯度経度は、無線の吹いている先の地域における緯度経度である。緯度経度が示す箇所に行けば当該セクタの無線を受信できる。緯度経度は、保全などに用いるため管理されている。
【0024】
図３は、通信履歴情報のテーブル例を示す図である。図３に示す通り、通信履歴情報では、ユーザを識別するユーザＩＤと、（Ｓ２の）通信が行われた日時である通信日時と、当該通信の発信時のＥＣＩ（ＥＣＧＩ）である発信時ＥＣＩとが対応付いている。
【0025】
【0026】
図２に戻り、Ｓ３に続き、中継装置３が、Ｓ２で送信された音声情報を複数の認識装置４それぞれに送信し（ステップＳ４）、複数の認識装置４それぞれが受信する。次に、複数の認識装置４それぞれが、Ｓ４で送信された音声情報（に対応する音声信号）に基づいて音声認識を行う（ステップＳ５）。次に、複数の認識装置４それぞれが、Ｓ５により出力された認識結果を中継装置３に送信し（ステップＳ６）、中継装置３が受信する。次に、中継装置３が、Ｓ３で取得したエリア情報とＳ６で送信された認識結果（複数の認識装置４それぞれが出力した認識結果を含む）とを評価装置１に送信し（ステップＳ７）、評価装置１が受信する。
【0027】
次に、評価装置１が、Ｓ７で送信されたエリア情報と認識結果とに基づいて、認識結果を評価及び訂正する（ステップＳ８）。Ｓ８の詳細については後述する。次に、評価装置１が、Ｓ８で訂正した認識結果を中継装置３に送信し（ステップＳ９）、中継装置３が受信する。次に、中継装置３が、Ｓ９で送信された認識結果を移動端末２に送信し（ステップＳ１０）、移動端末２が受信する。次に、移動端末２が、Ｓ１０で送信された認識結果をユーザに表示する（ステップＳ１１）。
【0028】
図２の上述の説明について補足する。移動端末２が一つの場合を説明したが、複数の移動端末２それぞれがそれぞれのタイミングでＳ１、Ｓ２及びＳ１１を行ってもよい。Ｓ３を実行するタイミングは、上記に限られず、Ｓ２の後かつＳ７の前であればいつでもよい。Ｓ８において認識結果の訂正は行わず認識結果の評価のみを行ってもよい。その場合は、Ｓ９及びＳ１０において認識結果の替わりに評価結果が送信され、Ｓ１１において認識結果の替わりに評価結果が表示されてもよい。
【0029】
図５は、実施形態に係る評価装置１の機能構成の一例を示す図である。図５に示す通り、評価装置１は、格納部１０、取得部１１（取得部）、評価部１２（評価部）、訂正部１３（訂正部）、及び、生成部１４（生成部）を含んで構成される。
【0030】
評価装置１の各機能ブロックは、評価装置１内にて機能することを想定しているが、これに限るものではない。例えば、評価装置１の機能ブロックの一部は、評価装置１とは異なるコンピュータ装置であって、評価装置１とネットワーク接続されたコンピュータ装置内において、評価装置１と情報を適宜送受信しつつ機能してもよい。また、評価装置１の一部の機能ブロックは無くてもよいし、複数の機能ブロックを一つの機能ブロックに統合してもよいし、一つの機能ブロックを複数の機能ブロックに分解してもよい。
【0031】
以下、図２に示す評価装置１の各機能について説明する。
【0032】
格納部１０は、評価装置１における算出などで利用される任意の情報及び評価装置１における算出の結果などを格納してもよい。格納部１０によって格納された情報は、評価装置１の各機能によって適宜参照されてもよい。
【0033】
格納部１０は、エリアごとの算出モデルであって、単語に関する単語情報を入力すると当該エリアでの当該単語の重要度である単語重要度を出力する算出モデルを格納する。単語に関する単語情報は、当該単語、当該単語の文脈上の周辺の一つ以上の単語である周辺単語群、又は、当該単語と周辺単語群との組み合わせ、を示す情報であってもよい。格納部１０は、後述の生成部１４によって生成された算出モデルを格納してもよい。
【0034】
単語情報の具体例を挙げる。例えば文章例「昨日の天気は晴れ、しかし、今日の天気は大雨。」があったとする。本実施形態では、助詞（付属語）を除外し（以降では文章例において除外する語を適宜括弧で括って示す）、名詞又は動詞といった自立語のみで判定を行う。文章例における単語「天気（は）」の周辺単語群の一例は「昨日（の）」である。この場合、文章例の文脈上の単語「天気（は）」の直前の単語を周辺単語群としている。文章例における単語「天気（は）」の周辺単語群の別の一例は「晴れ（、）」である。この場合、文章例の文脈上の単語「天気（は）」の直後の単語を周辺単語群としている。文章例における単語「天気（は）」の周辺単語群の別の一例は「昨日（の）」及び「晴れ（、）」である。この場合、文章例の文脈上の単語「天気（は）」の直前の単語及び直後の単語の二つの単語を周辺単語群としている。以上より、単語「天気（は）」に関する単語情報は、「天気（は）」自体を示す情報であってもよいし、周辺単語群「昨日（の）」を示す情報であってもよいし、周辺単語群「晴れ（、）」を示す情報であってもよいし、「天気（は）」自体と周辺単語群「昨日（の）」及び「晴れ（、）」との組み合わせを示す情報であってもよい。
【0035】
単語重要度は、例えば、「０」を最小とし無限大を最大とする実数で示してもよいし、「０．０」から「１．０」までに正規化された実数値で示してもよい。単語重要度は、例えば、エリアでよく用いられる単語には大きい重要度が設定される。
【0036】
単語重要度は、エリアでの認識結果の単語の出現頻度、又は、（評価システム５が管理）対象としているエリアである対象エリアの総数と当該対象エリアのうち認識結果の単語が出現するエリアの数との関係、の少なくとも一方に基づいて算出されてもよい。例えば、単語重要度ＴＦＩＡＦｗｉ，ｄｊは、以下の式により算出されてもよい。
ＴＦＩＡＦｗｉ，ｄｊ＝ＴＦｗｉ，ｄｊ＊ＩＤＦｗｉ
ここで、ＴＦｗｉ，ｄｊは、エリアｄｊで音声認識された単語ｗｉの出現頻度である。ＩＡＦｗｉは、以下の式で示される。
ＩＡＦｗｉ＝ｌｏｇ（（１＋対象エリアの総数）／（単語ｗｉが登場するエリア数）
なお、ＴＦＩＡＦは「Term Frequency, Inverse Area Frequency」の略である。Ｔｅｒｍに対応するのは、上記の例のように単語（ｗｏｒｄ）でもよいし、前後の文脈を考慮してＮ個の連続した周辺単語群（Ｎ－Ｇｒａｍ）でもよい。
ＴＦＩＡＦｗｉ，ｄｊ＝ＴＦｗｉ，ｄｊ＊ＩＤＦｗｉ
ここで、ＴＦｗｉ，ｄｊは、エリアｄｊで音声認識された単語ｗｉの出現頻度である。ＩＡＦｗｉは、以下の式で示される。
ＩＡＦｗｉ＝ｌｏｇ（（１＋対象エリアの総数）／（単語ｗｉが登場するエリア数）
なお、ＴＦＩＡＦは「Term Frequency, Inverse Area Frequency」の略である。Ｔｅｒｍに対応するのは、上記の例のように単語（ｗｏｒｄ）でもよいし、前後の文脈を考慮してＮ個の連続した周辺単語群（Ｎ－Ｇｒａｍ）でもよい。
【0037】
ＴＦＩＡＦは、あるエリアで音声認識された単語の出現頻度に比例する。これは、出現頻度がそのエリアでの重要度を反映しているからである。ＴＦＩＡＦでは、対象エリアの総数（全エリア数）を、単語ｗｉが登場したエリア数で割ったｌｏｇに比例する。これは、「そのエリアでだけ」出現する単語はそのエリアの重要度を反映しているからである。
【0038】
算出モデルは、例えば、単語情報とエリアごとの単語重要度とが対応付いた単語重要度情報であってもよい。図６は、単語重要度情報のテーブル例を示す図である。図６に示す通り、単語重要度情報では、（過去の認識結果の）単語及び周辺単語群の組み合わせである単語－文脈セットと、エリアごとの単語重要度とが対応付いている。例えば、図６に示す単語重要度情報に単語－文脈セットとエリアとを入力すると、入力した単語－文脈セットとエリアとに対応付いた単語重要度が出力される。算出モデルのその他の例については後述する。
【0039】
取得部１１は、エリアを示すエリア情報と、音声認識又は文字認識の認識結果とを取得する。（取得部１１が取得する）認識結果は、音声認識又は文字認識の適合度を含んでもよい。取得部１１は、互いに異なる音声認識又は文字認識を行う複数の認識装置４から同一の音声又は文字に対する認識結果を取得してもよい。取得部１１は、エリアを示すエリア情報と、当該エリアで発した音声の音声認識又は当該エリアで起こされた文字の文字認識の認識結果とを取得してもよい。
【0040】
取得部１１は、エリア情報と認識結果とを、図２のＳ７の通り中継装置３から取得してもよいし、他の装置から取得してもよいし、格納部１０から取得してもよい。取得部１１は、取得したエリア情報と認識結果とを、評価部１２、訂正部１３及び生成部１４に出力してもよいし、格納部１０によって格納させてもよい。
【0041】
図７は、認識結果のテーブル例を示す図である。図７に示す通り、認識結果では、（認識対象に対応する）テキスト（を構成する単語（ベクトル）の集合）である認識結果テキストと、（当該テキストを認識した際の）適合度とが対応付いている。図７に示すテーブル例において、各レコード（行）が、一つの認識装置４での認識結果に対応する。すなわち、同一の音声又は文字に対して複数の認識装置４で音声認識又は文字認識を行った場合、取得部１１が取得する認識結果には、認識装置４の数だけのレコードが含まれる。
【0042】
評価部１２は、（取得部１１によって取得された）エリア情報が示すエリアの（格納部１０によって格納された）算出モデルに（取得部１１によって取得された）認識結果の各単語の単語情報を入力することで出力される単語重要度に基づいて、当該認識結果を評価する。評価部１２は、認識装置４それぞれから取得した認識結果を評価してもよい。
【0043】
具体例を挙げて説明する。まず、評価部１２は、格納部１０によって格納された算出モデルである、図６に示す単語重要度情報を取得する。次に、評価部１２は、取得した単語重要度情報に、取得部１１から出力された（又は格納部１０によって格納された）複数の認識結果それぞれについて、当該認識結果の各単語の単語情報（単語－文脈セット）と、取得部１１から出力された（又は格納部１０によって格納された）エリア情報が示すエリアとを入力する。これにより、算出モデルは、複数の認識結果それぞれについて（図７に示すテーブル例のレコードごとに）、当該認識結果の各単語の単語重要度を出力する。評価部１２は、複数の認識結果それぞれについて、当該認識結果の各単語に対して出力された単語重要度に基づいて、当該認識結果を評価する。例えば、評価部１２は、一の認識結果について、当該認識結果の各単語に対して出力された単語重要度のうち最高の単語重要度を当該認識結果の評価値としてもよいし、当該認識結果の各単語に対して出力された単語重要度を合算した値を当該認識結果の評価値としてもよい。
【0044】
評価部１２は、認識結果の各単語について出力される単語重要度に基づいて当該認識結果の重要度である全体重要度を算出し、当該全体重要度に基づいて当該認識結果を評価してもよい。全体重要度は、認識結果の各単語について出力される単語重要度の平均値であってもよいし、１対Ｎの加重平均であってもよい。評価部１２は、全体重要度の値を評価値としてもよい。評価部１２は、認識結果ごとの全体重要度に関する認識結果重要度情報を生成し、訂正部１３に出力してもよいし、格納部１０によって格納させてもよい。
【0045】
【0046】
評価部１２は、認識結果に含まれる適合度にさらに基づいて評価してもよい。例えば、評価部１２は、認識結果ごとに、当該認識結果の全体重要度と当該認識結果の適合度との平均値を、当該認識結果の評価値としてもよい。また例えば、評価部１２は、認識結果ごとに、当該認識結果の全体重要度Ｉと当該認識結果の適合度Ｓとをそれぞれ重み「（１－ｒ）」及び「ｒ」で重み付けして加算した値「（１－ｒ）Ｉ＋ｒＳ」を、当該認識結果の評価値としてもよい。また例えば、評価部１２は、認識結果ごとに、当該認識結果の全体重要度と当該認識結果の適合度との二重平均平方根の値「√（Ｓ２＋Ｉ２）」を、当該認識結果の評価値としてもよい。この場合、算出結果の単位が保存される。
【0047】
以下では、図９～図１９を参照しながら、評価部１２による評価方法の具体例について説明する。図９は、判定基準ごとの評価方法Ｅ１～Ｅ４のテーブル例を示す図である。４つの判定基準があり、具体的には、全体重要度のみで判断する場合の基準Ｘと、適合度と全体重要度を複合して判断する場合の基準Ｙと、バタつき防止無しの基準Ｌと、バタつき防止ありの基準Ｍと、がある。図９に示す通り、評価方法Ｅ１は、基準Ｘと基準Ｌとを満たし、評価方法Ｅ２は、基準Ｘと基準Ｍとを満たし、評価方法Ｅ３は、基準Ｙと基準Ｌとを満たし、評価方法Ｅ４は、基準Ｙと基準Ｍとを満たす。
【0048】
評価方法Ｅ１について、図１０及び図１１を参照しながら説明する。評価方法Ｅ１は、全体重要度（のみ）に基づいて認識結果をランキングする方法である。図１０は、評価方法Ｅ１のランキング前のランク情報のテーブル例を示す図である。図１０に示す通り、ランク情報では、評価の順位であるランクと、認識結果テキストの名称であるテキスト名と、当該認識結果テキストの全体重要度とが対応付いている。図１０に示すランク情報は、評価部１２が各認識結果について全体重要度を算出した直後のものであり、算出順にランクが付けられており、暫定的なランクである。図１１は、評価方法Ｅ１のランキング後のランク情報のテーブル例を示す図である。評価方法Ｅ１は、全体重要度が大きい順でソートする。図１１に示すランク情報は、図１０に示すランク情報を評価方法Ｅ１によってソート（リランキング）したものである。
【0049】
評価方法Ｅ２について、図１２及び図１３を参照しながら説明する。評価方法Ｅ２は、全体重要度（のみ）に基づいて認識結果をバタつき防止ありでランキングする方法である。図１２は、評価方法Ｅ２のランキング前のランク情報のテーブル例を示す図であり、図１０と同様である。図１３は、評価方法Ｅ２のランキング後のランク情報のテーブル例を示す図である。評価方法Ｅ２は、基本的には全体重要度が大きい順でソートするが、ランクＮとＮ＋１について、全体重要度を比較し、閾値「０．１」を超える場合にランクを入れ替える。図１３に示すランク情報は、図１２に示すランク情報を評価方法Ｅ２によってソート（リランキング）したものである。図１３に示す通り、全体重要度「０．５」の認識結果と、全体重要度「０．６」の認識結果との差は閾値「０．１」を超えないので、それらのランクは入れ替えられなかった。
【0050】
評価方法Ｅ３について、図１４～図１６を参照しながら説明する。評価方法Ｅ３は、適合度と全体重要度とに基づいて認識結果をランキングする方法である。図１４は、評価方法Ｅ３のランキング前（その１）のランク情報のテーブル例を示す図である。図１４に示す通り、ランク情報では、ランクと、テキスト名と、認識結果の適合度と、全体重要度とが対応付いている。図１４に示すランク情報は、評価部１２が各認識結果について全体重要度を算出した直後のものであり、算出順にランクが付けられており、暫定的なランクである。図１５は、評価方法Ｅ３のランキング前（その２）のランク情報のテーブル例を示す図である。図１５に示すランク情報では、図１４に示すランク情報について、適合度と全体重要度との平均の値である平均値（全体重要度を考慮した適合度とも言える）を算出してさらに対応付けている。図１６は、評価方法Ｅ３のランキング後のランク情報のテーブル例を示す図である。評価方法Ｅ３は、平均値が大きい順でソートする。図１６に示すランク情報は、図１５に示すランク情報を評価方法Ｅ３によってソート（リランキング）したものである（適合度及び全体重要度の列は省略）。
【0051】
評価方法Ｅ４について、図１７及び図１９を参照しながら説明する。評価方法Ｅ４は、適合度と全体重要度とに基づいて認識結果をバタつき防止ありでランキングする方法である。図１７は、評価方法Ｅ４のランキング前（その１）のランク情報のテーブル例を示す図であり、図１４と同様である。図１８は、評価方法Ｅ４のランキング前（その２）のランク情報のテーブル例を示す図であり、図１５と同様である。図１９は、評価方法Ｅ４のランキング後のランク情報のテーブル例を示す図である。評価方法Ｅ４は、基本的には平均値が大きい順でソートするが、ランクＮとＮ＋１について、平均値を比較し、閾値「０．１」を超える場合にランクを入れ替える。図１９に示すランク情報は、図１８に示すランク情報を評価方法Ｅ４によってソート（リランキング）したものである。図１９に示す通り、平均値「０．６５」の認識結果と、平均値「０．７」の認識結果との差は閾値「０．１」を超えないので、それらのランクは入れ替えられなかった。
【0052】
以上の通り、評価方法Ｅ２及びＥ４ではバタつき防止を行う。すなわち全体重要度又は平均値の差分が一定の閾値を超えた場合のみ順位を入れ替える。一方、評価方法Ｅ１及びＥ３ではバタつき防止は行わない。すなわち、差分の大小にかかわらず順位を入れ替える。
【0053】
評価部１２は、評価した結果（評価値、認識結果重要度情報、リランキングしたランク情報などを含む）を、訂正部１３に出力してもよいし、他の装置にネットワークを介して送信してもよいし、格納部１０によって格納させてもよい。
【0054】
訂正部１３は、評価部１２による認識結果の評価に基づいて当該認識結果を訂正する。より具体的には、訂正部１３は、評価部１２から出力された（又は格納部１０によって格納された）認識結果の評価の結果に基づいて、当該認識結果を訂正する。例えば、複数の認識装置４から同一の音声又は文字に対する認識結果を複数取得してそれぞれ評価した場合、訂正部１３は、そのうちの最も評価が高い認識結果を最終的に採用（広い意味での訂正）してもよいし、その他の認識結果を当該最も評価が高い認識結果に訂正してもよい。その際に、上述の通り全体重要度又は平均値の差分が一定の閾値を超えた場合（所定の基準を満たす場合）にのみ訂正などしてよい。また例えば、訂正部１３は、認識結果の評価値が予め設定された閾値よりも低い（所定の基準を満たす）場合に、認識結果のテキストについて、一つ以上の単語を任意の方法で訂正してもよい。
【0055】
訂正部１３は、図２のＳ９の通り、訂正した認識結果を中継装置３に送信してもよいし、その他の装置に出力してもよいし、格納部１０によって格納させてもよい。
【0056】
生成部１４は、エリアで発した音声の音声認識又はエリアで起こされた文字の文字認識の認識結果に基づいて、エリアごとの算出モデルを生成する。例えば、生成部１４は、単語情報とエリアごとの（当該単語情報が示す）単語の認識件数とが対応付いた単語認識件数情報に基づいて、エリアごとの算出モデルを生成してもよい。
【0057】
図２０は、単語認識件数情報のテーブル例を示す図である。図２０に示す通り、単語認識件数情報では、単語－文脈セットと、エリアごとの当該単語の認識件数とが対応付いている。ここで、単語－文脈セットは、認識結果に表れた各単語に対して、その周囲の単語として定義されてもよい。周辺の単語数Ｎは可変であり、両脇（２個）でもよいし、文全体でもよい。例えば上述の文章例において、Ｎ＝１の場合、単語－文脈セットは「昨日（の）」、「天気（は）」、「晴れ（、）」、「しかし（、）」、「今日（の）」、「天気（は）」、「大雨」及び「。」である。Ｎ＝２の場合、単語－文脈セットは「昨日（の） 天気（は）」、「天気（は） 晴れ（、）」、「晴れ（、） しかし（、）」、「しかし（、） 今日（の）」、「今日（の） 天気（は）」、「天気（は） 大雨」及び「大雨 。」である。Ｎ＝３の場合、「#head 昨日（の） 天気（は）」、「昨日（の） 天気（は） 晴れ（、）」、「天気（は） 晴れ（、） しかし（、）」、「晴れ（、） しかし（、） 今日（の）」、「しかし（、） 今日（の） 天気（は）」、「今日（の） 天気（は） 大雨」、「天気（は） 大雨 。」及び「大雨 。 #tail」である。なお、例外として、文頭、文末で、必要な単語が確保できない時には特殊記号（#head、#tail）でパディングする。認識件数は一定期間（例：１日）でリセットされ、認識結果に表れるごとにカウントアップされてもよい。又は、一定期間の数値を保存しておき、移動平均をとるなどして認識件数のトレンドとして扱ってもよい。例えば、生成部１４は、単語の認識件数が多いほど、当該エリアでの当該単語の単語重要度が大きくなるように算出モデルを生成してもよい。
【0058】
生成部１４は、エリアでの認識結果の単語の出現頻度、又は、対象としているエリアである対象エリアの総数と当該対象エリアのうち認識結果の単語が出現するエリアの数との関係、の少なくとも一方に基づいて算出モデルを生成してもよい。より具体的には、生成部１４は、上述の単語重要度ＴＦＩＡＦに基づいて算出モデルを生成してもよい。
【0059】
【0060】
まず、取得部１１、エリア情報と認識結果とを取得する（ステップＳ２０）。次に、評価部１２が、Ｓ２０で取得したエリア情報が示すエリアの（格納部１０によって格納された）算出モデルに、Ｓ２０で取得した認識結果の各単語の単語情報を入力することで出力される単語重要度を算出する（ステップＳ２１）。次に、評価部１２が、認識結果の各単語についてＳ２１で出力される単語重要度に基づいて当該認識結果の重要度である全体重要度を算出する（ステップＳ２２）。次に、評価部１２が、Ｓ２２で算出された全体重要度に基づいて認識結果をリランキングする（ステップＳ２３）。次に、訂正部１３が、Ｓ２３のリランキングに基づいて認識結果を訂正する（ステップＳ２４）。次に、訂正部１３が、Ｓ２４で訂正した認識結果を他の装置などに送信する（ステップＳ２５）。
【0061】
以降では生成部１４による算出モデルの生成（学習）方法の具体例について説明する。生成方法には大きく分けて２つの方法がある。カウントベースと推論ベースである。
【0062】
まず、単語の意味を表現する方法について整理する。当該方法の一つとして、単語の分散表現による方法がある。単語の分散表現による方法は、単語の意味をベクトルで表現し、そのベクトルを操作することで単語の意味を定義する手法である。技術的特長としては、人手がいらないので低コスト、改版容易、細かなニュアンス表現可能といったことが挙げられる。さらに学習方法で細分化すると、カウントベースと推論ベースに分けられる。カウントベースは、大量のテキストデータを単語の意味に沿ってカウントし、共起行列にまとめ、結果を定義として用いる方法である。カウント方法は人手で与える。ＳＶＤ（特異値分解）や経験に基づいた式である。一方、推論ベースは、大量のテキストデータから単語の意味を推論し、結果得られたモデルを定義として用いる方法である。推論方法は汎用の学習方式（ニューラルネットワーク他）を利用可能である。技術的特長としては、ミニバッチ法による重みの都度修正が効くため計算量を削減可能なこと、及び、汎用学習方法のため既存ＡＰＩを利用した簡易実装が可能なことが挙げられる。
【0063】
カウントベースによる単語重要度の学習方法について説明する。初回は、単語辞書（ボキャブラリ）の選出を行う。すなわち、地域ごとに単語のＴＦＩＡＦ値を算出し、各地域のＴＦＩＡＦのＴｏｐＮ（可変）を抜き出してボキャブラリを作成し、以降、当該ボキャブラリにしたがって学習する。学習は以下のＳｔｅｐにより行う。
Ｓｔｅｐ１：地域ごとに一定期間の単語の出現数をカウント（後述の図３１のＳ３０で取得された一定期間のエリア毎の音声認識結果の単語の認識件数に対応）。
方式１：１発信位置、１エリア、１共起行列。
方式２：エリアを重複して定義し、１発信が複数エリアに所属することを許可。１回の単語の出現を複数エリアのカウントに加算。
Ｓｔｅｐ２：出現数から単語・地域ごとのＴＦＩＡＦを算出。
Ｓｔｅｐ３：ＴＦＩＡＦを用いて地域ごとの地理的重要度（単語重要度）を反映した共起行列を作成、蓄積。
学習結果の更新として２つの方式があり、方式１は一定期間ごとに作成しなおす、方式２は新たに学習した共起行列と、従来の共起行列から１対Ｎ（可変）の加重平均をとる、方式である。なお、一般的な共起行列へのカウント方法は、出現数のカウントにあたり、１回出現するごとに１をカウントする（図２２参照）。地理的重要度を考慮した共起行列へのカウント方法は、出現数のカウントにあたり、１回出現するごとにＴＦＩＡＦを重みとした値をカウントする（図２３参照）。
Ｓｔｅｐ１：地域ごとに一定期間の単語の出現数をカウント（後述の図３１のＳ３０で取得された一定期間のエリア毎の音声認識結果の単語の認識件数に対応）。
方式１：１発信位置、１エリア、１共起行列。
方式２：エリアを重複して定義し、１発信が複数エリアに所属することを許可。１回の単語の出現を複数エリアのカウントに加算。
Ｓｔｅｐ２：出現数から単語・地域ごとのＴＦＩＡＦを算出。
Ｓｔｅｐ３：ＴＦＩＡＦを用いて地域ごとの地理的重要度（単語重要度）を反映した共起行列を作成、蓄積。
学習結果の更新として２つの方式があり、方式１は一定期間ごとに作成しなおす、方式２は新たに学習した共起行列と、従来の共起行列から１対Ｎ（可変）の加重平均をとる、方式である。なお、一般的な共起行列へのカウント方法は、出現数のカウントにあたり、１回出現するごとに１をカウントする（図２２参照）。地理的重要度を考慮した共起行列へのカウント方法は、出現数のカウントにあたり、１回出現するごとにＴＦＩＡＦを重みとした値をカウントする（図２３参照）。
【0064】
単語毎の地理的重要度算出手順について説明する。単語毎に地理的重要度を算出する手順であり、カウントベース（Ｎ≧２）及び推論ベース共用である。以下のステップにより実行される。
Ｓｔｅｐ１：単語の出現回数をカウントし、共起行列を作る（３－ｇｒａｍの場合の図２４参照。列がｃｏｎｔｅｘｔｓ、行がｔａｒｇｅｔを示す）。入力は図２５参照。共起行列には、ボキャブラリ数ｘボキャブラリ数の行列を用いる。例外として、カウント（１－ｇｒａｍ）の場合には、ボキャブラリ数ｘボキャブラリ数の対角行列を用意し、対角成分にカウントを追加し、Ｓｔｅｐ２／３は共起行列と同様に扱う。
Ｓｔｅｐ２：ＴＦＩＡＦでカウント結果に重みを反映する（TFIAF_vが｛0.1,0.1,0.1,0.1,0.1,0.4,0.1｝の場合の図２６参照）。
Ｓｔｅｐ３：ｔａｒｇｅｔ毎の総和を取る（単語毎の重要度である図２７参照）。
Ｓｔｅｐ１：単語の出現回数をカウントし、共起行列を作る（３－ｇｒａｍの場合の図２４参照。列がｃｏｎｔｅｘｔｓ、行がｔａｒｇｅｔを示す）。入力は図２５参照。共起行列には、ボキャブラリ数ｘボキャブラリ数の行列を用いる。例外として、カウント（１－ｇｒａｍ）の場合には、ボキャブラリ数ｘボキャブラリ数の対角行列を用意し、対角成分にカウントを追加し、Ｓｔｅｐ２／３は共起行列と同様に扱う。
Ｓｔｅｐ２：ＴＦＩＡＦでカウント結果に重みを反映する（TFIAF_vが｛0.1,0.1,0.1,0.1,0.1,0.4,0.1｝の場合の図２６参照）。
Ｓｔｅｐ３：ｔａｒｇｅｔ毎の総和を取る（単語毎の重要度である図２７参照）。
【0065】
図２５について補足する。上述の音声認識結果整形処理例の補足でもある。音声認識結果整形処理例は、単語毎の単語重要度を算出するため、入力された文章のリストを分割し、配列におさめる。カウント法の場合は、ＴＦＩＡＦを評価する際の単語数（Ｎ－ｇｒａｍのＮ）に応じて文章を分割する。上述の図２０の説明を参照。なお、Ｎ＝３の場合は、ｔａｒｇｅｔ及びｃｏｎｔｅｘｔｓに順にすべく、「昨日（の） #head 天気（は）」、「天気（は） 昨日（の） 晴れ（、）」、「晴れ（、） 天気（は） しかし（、）」、「しかし（、） 晴れ（、） 今日（の）」、「今日（の） しかし（、） 天気（は）」、「天気（は） 今日（の） 大雨」、「天気（は） 大雨 。」及び「。 大雨 #tail」となる。一方、推論法の場合は、ＣＢＯＷを評価する際のｔａｒｇｅｔ，ｃｏｎｔｅｘｔｓに文章を分割する。
【0066】
カウントベースにおける単語重要度の算出方法について説明する。まず、発信位置より利用する単語重要度反映済み共起行列を選定する。上述の方式１及び方式２がある。なお、方式２について、複数の共起行列の加重平均をとって、合成共起行列を作成する。次に、単語ごとの単語重要度を算出する。対象単語に対して、隣接単語の単語重要度を算出する。次に、文章単位の単語重要度を算出する。具体的には、隣接言語のセット（文章）に対して下記方式で単語重要度を算出する。すなわち、平均を用いる方式１と、１対Ｎ（可変）の加重平均を用いる方式２である。例えば、図２２において、対象単語「昨日（の）」に対する隣接単語「天気（は）」の単語重要度は１／１＝１となる。また、対象単語「天気（は）」に対する隣接単語「大雨」の単語重要度は１／４＝０．２５となる。
【0067】
推論ベース手法の概要について説明する。まず、隣接単語から対象単語を推論する（図２８参照）。図２８は、隣接単語「昨日（の）」及び「晴れ（、）」）から対象単語「？」を推論する場面を示す。次に、上記推論をニューラルネットワークのモデルに当てはめる（図２９参照）。次に、モデルの例として、既存技術word2vecで提案されているＣＢＯＷ（continuous bag-of-words）を用いる（図３０参照）。図３０は、モデルの例（Win, Wout）であり、ＣＢＯＷを利用しており、入力は２単語の場合である。
【0068】
推論ベースにおける単語重要度の学習方法について説明する。まず、発信位置より利用する単語重要度反映済みモデルを選定する。以下の２つの方式が挙げられる。
方式１：１発信位置、１エリア、１モデル。
方式２：エリアを重複して定義し、１発信が複数エリアに所属することを許可する。複数のモデルに対してそれぞれ逆伝播学習する。
次に単語重要度反映済みモデルを更新する。当該地域で一定期間に検索された文章のセットをコーパスとして、地域ごとのモデルを更新する。以下の２つの方式が挙げられる。
方式１：一般のミニバッチ法による学習。地域ごとにコーパスが異なることから、モデルには単語重要度が反映されている。
方式２：単語重要度を考慮したミニバッチ法による学習。訓練データから少数の事例を抜き出す際に、文章単位の単語重要度を元に重みをつける。単語重要度の高い文章が学習に利用される確率が増すため、モデルに対する単語重要度の影響が大きくなる。文章単位の単語重要度算出にはＴＦＩＡＦを用いる。カウントベースと推論ベースの折衷案である。
方式１：１発信位置、１エリア、１モデル。
方式２：エリアを重複して定義し、１発信が複数エリアに所属することを許可する。複数のモデルに対してそれぞれ逆伝播学習する。
次に単語重要度反映済みモデルを更新する。当該地域で一定期間に検索された文章のセットをコーパスとして、地域ごとのモデルを更新する。以下の２つの方式が挙げられる。
方式１：一般のミニバッチ法による学習。地域ごとにコーパスが異なることから、モデルには単語重要度が反映されている。
方式２：単語重要度を考慮したミニバッチ法による学習。訓練データから少数の事例を抜き出す際に、文章単位の単語重要度を元に重みをつける。単語重要度の高い文章が学習に利用される確率が増すため、モデルに対する単語重要度の影響が大きくなる。文章単位の単語重要度算出にはＴＦＩＡＦを用いる。カウントベースと推論ベースの折衷案である。
【0069】
単語単位の単語重要度算出では、対象単語に対して、単語重要度を反映したモデル（ＣＢＯＷ）によって単語ごとの出現確率を算出する。これを単語単位の単語重要度とみなす。対象単語の前後に対して、WindowSize分の単語が存在しない場合には空白文字でパディングする。文章単位の地理的重要度算出では、隣接単語のセット（文章）に対して単語単位の単語重要度の平均で単語重要度を算出する。
【0070】
機械学習の学習方法について説明する。機械学習の学習方法では、学習タイミングの違いで大まかに以下の３種がある。すなわち、オンライン法と、バッチ法と、ミニバッチ法である。オンライン法は、学習データが入手できるたびに都度モデルの重みを更新する。特長としては、バッチ法（あるいはカウント法）と比べ、新しいデータにいつでも追従できる。モデル更新の際の１回当たりの計算量が少ない。バッチ法は、学習対象となるデータをすべてまとめて一括でモデルの重みを更新する。特長としては、モデル更新の回数が少なくて済む。ミニバッチ法は、オンライン法とバッチ法の折衷案である。妥協可能な範囲でデータを蓄積し、ある程度たまったら、たまったデータ（バッチ法よりは小さいので、ミニバッチ）を用いてモデルの重みを更新する。特長としては、ほどほどに新しいデータに追従しつつ、モデル更新の１回当たりの計算量、およびモデル更新回数をバランスできる。
【0071】
カウント法であれば、ＴＦＩＡＦを評価する際の単語数（Ｎ－ｇｒａｍのＮ）に応じて文章を分割し、それぞれの出現回数を記録する。推論法であれば、ＣＢＯＷで学習する際の単語数（ハイパーパラメータのwindowsize）に応じて文章を分割し、それぞれの出現回数を記録する。
【0072】
推論ベースの学習手法にはミニバッチ法を利用しする。例えば、以下の手順を取る。
Ｓｔｅｐ１：ミニバッチ。訓練データから少数の部分事例をランダムに選択する。
Ｓｔｅｐ２：勾配算出。誤差逆伝播により、各重みに関する損失関数の勾配を求める。
Ｓｔｅｐ３：パラメータ更新。勾配を使い、重みの更新アルゴリズムに従って、重みを更新する。
Ｓｔｅｐ４：リピート。ミニバッチの残りの要素に対してＳｔｅｐ１～３を繰り返す。
Ｓｔｅｐ１：ミニバッチ。訓練データから少数の部分事例をランダムに選択する。
Ｓｔｅｐ２：勾配算出。誤差逆伝播により、各重みに関する損失関数の勾配を求める。
Ｓｔｅｐ３：パラメータ更新。勾配を使い、重みの更新アルゴリズムに従って、重みを更新する。
Ｓｔｅｐ４：リピート。ミニバッチの残りの要素に対してＳｔｅｐ１～３を繰り返す。
【0073】
【0074】
まず、生成部１４が、定期的なバッチ処理で、単語認識件数情報から、一定期間のエリア毎の認識結果の単語の認識件数を取得する。なお、単語認識件数情報の当該認識件数は、図２のＳ７の際に中継装置３から送信されたエリア情報と認識結果とに基づいて算出されて一定期間分蓄積される（ステップＳ３０）。次に、生成部１４が、Ｓ３０で取得された一定期間のエリア毎の認識結果の単語の認識件数に基づいて、エリア毎の単語重要度を算出し（ステップＳ３１）、算出結果を算出モデル（単語重要度情報）として格納部１０によって格納させる。
【0075】
Ｓ３０について補足する。Ｓ３０では、前述のミニバッチの作成に必要な情報を蓄積している。ミニバッチであるため、算出（学習）に用いる認識結果の一部を蓄積すれば十分である（例えば過去１日分）。また、認識結果の文章を丸ごと蓄積してもよいが、蓄積データ量やプライバシー問題の解消のため、ＣＢＯＷの学習に必要な最低限のデータ形式（単語－文脈のセットと出現回数）に限定してもよい。ＣＢＯＷの学習に用いる認識結果は、後の推定対象となる単語（ｔａｒｇｅｔ）と、ｔａｒｇｅｔの両脇の文脈（ｃｏｎｔｅｘｔ）のセットである。例えば両隣１単語分の３－Ｇｒａｍ（Ｃｏｎｔｅｘｔ１，Ｔａｒｇｅｔ，Ｃｏｎｔｅｘｔ２）である。「両隣１単語分」という条件はＣＢＯＷのハイパーパラメータ（学習対象外のパラメータ）である。そのため、Ｓ３０で蓄積すべきデータは、推定対象となる単語（ｔａｒｇｅｔ）と、ｔａｒｇｅｔの両脇の単語（ｃｏｎｔｅｘｔ）のセットが、単位時間当たり何回音声認識されたのか、という情報でもよい。なお、オンライン法を採用する場合は、音声認識結果を１回取得するごとに学習してもよい。バッチ法を採用する場合は、音声認識結果を（非現実的ではあるが）無限に蓄積しつつ、どこかのタイミングで学習し、以後学習は一切しなくてもよい。
【0076】
Ｓ３１について補足する。Ｓ３０で蓄積するデータは推定対象となる単語（ｔａｒｇｅｔ）と、ｔａｒｇｅｔの両脇の単語（ｃｏｎｔｅｘｔ）のセットが、単位時間当たり何回音声認識されたのかが蓄積されている前提である。ミニバッチ法に従い、一定期間たったらランダムに単語－文脈のセットを選択し、勾配を算出し、パラメータを更新する。その際、単語－文脈セットの出現回数に比例して、あるいはＴＦＩＡＦに比例して単語－文脈セットを選択することで、認識結果の文章全てを蓄積した場合相当の学習が可能になる。前述の通り、一般には学習に用いるのは文章一式（コーパス）であるが、単語－文脈のセットの出現回数を用いて文章一式を模擬してもよい。
【0077】
具体例として、図３２を参照されたい。図３２において、Ａエリアにおける学習の場合は以下のステップとなる。
Ｓｔｅｐ１：ミニバッチ。訓練データから少数の部分事例をランダムに選択する。「３／１０００」の確率で「昨日 #head 天気」を選択する。
Ｓｔｅｐ２：勾配算出。誤差逆伝播により、各重みに関する損失関数の勾配を求める。ｃｏｎｔｅｘｔを与える際に「昨日」が出てくることをから損失関数の勾配を求める。
Ｓｔｅｐ３：パラメータ更新。勾配を使い、重みの更新アルゴリズムに従って、重みを更新する。ｃｏｎｔｅｘｔを与える際に「昨日」が出てくることによる損失関数の勾配で、重みを更新する。
Ｓｔｅｐ４：リピート。ミニバッチの残りの要素に対して、ハイパーパラメータで定められた回数Ｓｔｅｐ１－３を繰り返す。
Ｓｔｅｐ１：ミニバッチ。訓練データから少数の部分事例をランダムに選択する。「３／１０００」の確率で「昨日 #head 天気」を選択する。
Ｓｔｅｐ２：勾配算出。誤差逆伝播により、各重みに関する損失関数の勾配を求める。ｃｏｎｔｅｘｔを与える際に「昨日」が出てくることをから損失関数の勾配を求める。
Ｓｔｅｐ３：パラメータ更新。勾配を使い、重みの更新アルゴリズムに従って、重みを更新する。ｃｏｎｔｅｘｔを与える際に「昨日」が出てくることによる損失関数の勾配で、重みを更新する。
Ｓｔｅｐ４：リピート。ミニバッチの残りの要素に対して、ハイパーパラメータで定められた回数Ｓｔｅｐ１－３を繰り返す。
【0078】
ＴＦＩＡＦを用いた場合の具体例として、図３３を参照されたい。図３３において、「０．０１２／９００００」を正規化した確率で「昨日 #head 天気」を選択する。「１．４８／９００００」を正規化した確率で『天気 昨日 晴れ』を選択する。
【0079】
カウントベースと推論ベースの違いは、単語認識件数情報の内容から単語重要度情報の内容を学習する際の手法の違いである。以下の流れに違いはない。
Ｓｔｅｐ１：学習に先立って、図２のＳ７で取得した認識結果を一定期間分蓄積する。
Ｓｔｅｐ２：（バッチ処理として別タイミングで学習する）。
Ｓｔｅｐ３：図２のＳ８でエリア情報と認識結果から単語認識件数情報（算出モデル）を参照して単語重要度を取得する。
Ｓｔｅｐ１：学習に先立って、図２のＳ７で取得した認識結果を一定期間分蓄積する。
Ｓｔｅｐ２：（バッチ処理として別タイミングで学習する）。
Ｓｔｅｐ３：図２のＳ８でエリア情報と認識結果から単語認識件数情報（算出モデル）を参照して単語重要度を取得する。
【0080】
カウントベースでは、ＴＦＩＡＦを利用して予め生成済みのモデル（地理的重要度反映済み共起行列）の中から、エリア情報に基づいてモデルを選定する。認識結果テキストを構成する各単語について、選定したモデルにおける当該単語の「総和」列の値（当該単語を対象単語とした場合の全ての隣接単語の値の総和）を単語重要度とする。推論ベースでは、ＴＦＩＡＦを利用して予め生成済みのモデル（地理的重要度反映済みＣＢＯＷ）の中から、エリア情報に基づいてモデルを選定する。認識結果テキストを構成する各単語について、当該単語の隣接単語を、選定したモデルに入力して出力される当該単語の出現確率を地理的重要度とする。
【0081】
カウントベースでは、認識結果テキストを構成する各単語の単語重要度の、平均（方式１）又は１対Ｎの加重平均（方式２）を、認識結果テキストの単語重要度とする。推論ベースでは、認識結果テキストを構成する各単語の単語重要度の平均を、認識結果テキストの単語重要度とする。
【0082】
続いて、実施形態に係る評価装置１の作用効果について説明する。
【0083】
評価装置１は、エリアごとの算出モデルであって、単語に関する単語情報を入力すると当該エリアでの当該単語の重要度である単語重要度を出力する算出モデルを格納する格納部１０と、エリアを示すエリア情報と、音声認識又は文字認識の認識結果とを取得する取得部１１と、エリア情報が示すエリアの算出モデルに認識結果の各単語の単語情報を入力することで出力される単語重要度に基づいて、当該認識結果を評価する評価部１２と、を備える。この構成により、取得されたエリア情報が示すエリアの算出モデルに基づいて、音声認識又は文字認識の認識結果が評価される。すなわち、エリアに基づいて認識結果を評価することができる。
【0084】
また、評価装置１によれば、認識結果は、音声認識又は文字認識の適合度を含み、評価部１２は、認識結果に含まれる適合度にさらに基づいて評価してもよい。この構成により、適合度にさらに基づいたより正確な評価を行うことができる。
【0085】
また、評価装置１によれば、評価部１２は、認識結果の各単語について出力される単語重要度に基づいて当該認識結果の重要度である全体重要度を算出し、当該全体重要度に基づいて当該認識結果を評価してもよい。この構成により、認識結果を構成する単語ではなく認識結果自体の重要度である全体重要度に基づいた、より容易な評価を行うことができる。
【0086】
また、評価装置１によれば、取得部１１は、互いに異なる音声認識又は文字認識を行う複数の認識装置４から同一の音声又は文字に対する認識結果を取得し、評価部１２は、認識装置４それぞれから取得した認識結果を評価してもよい。この構成により、例えば、複数の認識装置４から取得した認識結果のうち、最も評価の高い認識結果を抽出することができる。
【0087】
また、評価装置１によれば、単語に関する単語情報は、当該単語、当該単語の文脈上の周辺の一つ以上の単語である周辺単語群、又は、当該単語と周辺単語群との組み合わせ、を示す情報であってもよい。この構成により、算出モデルのバリエーションが増える。また、例えば文脈を考慮した単語重要度を出力することができるため、より正確な評価を行うことができる。
【0088】
また、評価装置１によれば、取得部１１は、エリアを示すエリア情報と、当該エリアで発した音声の音声認識又は当該エリアで起こされた文字の文字認識の認識結果とを取得してもよい。この構成により、エリアで発した音声の音声認識又は当該エリアで起こされた文字の文字認識の認識結果をより確実に取得することができる。
【0089】
また、評価装置１によれば、評価部１２による認識結果の評価に基づいて当該認識結果を訂正する訂正部１３をさらに備えてもよい。この構成により、認識結果を評価に基づいて訂正することができる。
【0090】
また、評価装置１によれば、エリアで発した音声の音声認識又はエリアで起こされた文字の文字認識の認識結果に基づいて、エリアごとの算出モデルを生成する生成部１４をさらに備え、格納部１０は、生成部１４によって生成された算出モデルを格納してもよい。この構成により、任意のタイミングで算出モデルを生成することができる。例えば定期的に算出モデルを生成することで、より実状に合わせた評価を行うことができる。
【0091】
また、評価装置１によれば、生成部１４は、エリアでの認識結果の単語の出現頻度、又は、対象としているエリアである対象エリアの総数と当該対象エリアのうち認識結果の単語が出現するエリアの数との関係、の少なくとも一方に基づいて算出モデルを生成してもよい。この構成により、エリアの特性をより活かした算出モデルを生成することができる。
【0092】
評価装置１によれば、複数エンジンに事前にリクエストを送り、回答をリランキングする。その際に単語重要性又は全体重要度を考慮する。評価装置１は、ＴＦＩＡＦに基づいて単語重要度を定め、その適合度を優先する。評価装置１は、単語重要度又は全体重要度を考慮した音声認識システムである。
【0093】
従来の課題として、「その地域でよく用いられる」といった単語重要度又は全体重要度を考慮できていないこと（例えば方言など）、地図という既存の情報の利用を前提としていること、及び、「その地域で最近用いられるようになった言葉」といった単語重要度又は全体重要度がある単語を学習することができないことが挙げられる。
【0094】
評価装置１では、単語重要度又は全体重要度を考慮した音声認識のリランキングにより、音声認識精度の改善を可能にする。また、評価装置１では単語と地域の関連度を考慮した学習装置でもある生成部１４により、更なる音声認識効率の改善を可能にする。評価装置１では、単語と地域の関連度の学習装置、単語の単語重要度又は全体重要度を用いた音声認識装置、それらの方法、およびプログラムを提供することを目的とする。言い換えると、音声認識に誤りが含まれる前提で、認識結果を訂正する。認識結果のテキストについて、自然言語処理を用いて文脈にそぐわない単語を、文脈に沿そった単語、又は、その地域的に適切な単語に読み替える（訂正する）。固有名詞等のある程度固まった単語群も修正が可能である。
【0095】
評価装置１は、音声認識の誤りを自然言語処理によって訂正をする音声認識装置である。評価装置１は単語重要度又は全体重要度に基づく自然言語処理による音声認識の誤り訂正を行う。評価装置１は、音声認識時の適合度を加えた単語ベクトルによって出現確率を再計算し、より上位の単語があれば誤り訂正する。評価装置１は、単語重要度又は全体重要度付き単語ベクトルによって出現確率を再計算し、より上位の単語があれば誤り訂正する。単語重要度又は全体重要度から、元の単語に加え出現確率がより上位だった場合を正しいとみなす。評価装置１は、単語重要度又は全体重要度付き単語ベクトルによって出現確率を再計算し、一定の閾値を越えて上位の単語があれば誤り訂正する。単語重要度又は全体重要度から、元の単語に加え出現確率が一定の幅以上で上位だった場合を正しいとみなし、ほぼ同じであればそのままとする。評価装置１は、単語重要度又は全体重要度および音声認識時の適合度を加えた単語ベクトルによって出現確率を再計算し、より上位の単語があれば誤り訂正する。音声認識結果である誤り候補を程度絞り込み、上位の単語について最終的な順位を地理的重要度で決定する。
【0096】
評価装置１は、単語重要度又は全体重要度を学習する。評価装置１は、手動で地域と紐づけされた情報（例えば地図）を流用する。評価装置１は、ＴＦＩＡＦによって算出した単語重要度又は全体重要度を加えた単語ベクトルを用いて単語の出現確率モデルを学習する。これは音声認識結果だけで１から学習するシンプルなケースである。評価装置１は、音声認識結果に加え、学習用言語セットからＴＦＩＡＦを算出した単語重要度又は全体重要度を加えた単語ベクトルを用いて単語の出現確率モデルを学習する。これは事前の教師データ（学習用言語セット）でＴＦＩＡＦを算出してある程度モデルを学習し、その後は時事問題に対応するように音声認識結果を反映しつつＴＦＩＡＦを算出してモデルを修正していく。
【0097】
評価装置１は、単語重要度又は全体重要度の算出に用いるエリア定義を決定する。評価装置１は、セクタが所属する自治体番号を手動で事前にＤＢに登録し、当該番号ごとにエリア定義とする。評価装置１は、移動端末２の所属情報としてセクタではなくセクタを集約したＴＡＣをエリア定義とする。評価装置１は、定期的に、ある単語の単語重要度又は全体重要度が閾値以上のセクタをまとめてエリア定義とする。
【0098】
評価装置１は、音声認識結果計算部と、地理的重要度計算部と、地理的重要度を考慮したリランキング部とを備えてもよい。地理的重要度計算部は、音声認識リクエストエリア情報取得部と、音声認識結果蓄積部と、地理的重要度蓄積部とを備えてもよい。
【0099】
音声認識結果計算処理は、機能としては、音声信号に対して音声認識を実施し、適合する音声認識結果、および適合度のリストを出力する。例えば、ＲＮＮを用いた音声認識システム等が該当する。音声認識結果計算処理の入力は音声信号であり、出力は音声認識結果テキストおよび適合度のリストである。
【0100】
地理的重要度計算処理は、機能としては、音声認識結果テキストと音声認識リクエストエリア情報、過去の音声認識結果から、単語の地理的重要度を算出し、蓄積する。また、音声認識結果テキストに含まれる各単語について、地理的重要度を取得し、音声認識結果テキストと地理的重要度のリストを作成する。地理的重要度計算処理の入力は音声認識結果テキストおよび適合度のリストであり、出力は音声認識結果テキストおよび適合度のリスト、並びに、音声認識結果テキストおよび地理的重要度のリストである。
【0101】
地理的重要度を考慮したリランキング処理は、機能としては、音声認識結果テキストに対して、適合度と地理的重要度から地理的重要度を考慮した適合度を算出し、地理的重要度を考慮した適合度に従って音声認識結果テキストをリランキングする。また、リランキング結果に従い、音声認識結果を訂正する。リランキング処理の入力は音声認識結果テキストおよび適合度のリスト、並びに、音声認識結果テキストおよび地理的重要度のリストであり、出力はリランキング結果テキストおよび地理的重要度を考慮した適合度のリストである。
【0102】
地理的重要度計算部は、音声認識結果整形処理を行い、単語ごとの地理的重要度計算を行い、音声認識結果の地理的重要度計算を行ってもよい。
【0103】
地理的重要度を考慮したリランキング処理について説明する。まず、地理的重要度を考慮した適合度算出を行う。適合度算出は、機能としては、音声認識結果の適合度を、地理的重要度を組み合わせ地理的重要度を考慮した適合度を算出する。適合度算出の入力は音声認識結果テキストおよび適合度のリスト、並びに、音声認識結果テキストおよび地理的重要度のリストであり、出力は音声認識結果テキストおよび地理的重要度を考慮した適合度のリストである。次に、地理的重要度を考慮したリランキング処理を行う。リランキング処理は、機能としては、音声認識結果に対し、地理的重要度を考慮した適合度でリランキングし、出力する。リランキング処理の入力は音声認識結果テキストおよび地理的重要度を考慮した適合度のリスト（ランキング変更前）であり、出力は音声認識結果テキストおよび地理的重要度を考慮した適合度のリスト（ランキング変更後）である。最後に、音声認識結果の訂正処理を行う。訂正処理の入力は音声認識結果テキストおよび地理的重要度を考慮した適合度のリストである。
【0104】
音声認識結果計算部と地理的重要度計算部及び地理的重要度を考慮したリランキング部は別システムでもよい。別システムとすることにより、認識装置４は既存の装置を用い、評価装置１を追加することが可能になり、以下のメリットが生じる。すなわち、既存システムを有用することで構築・維持コストの低減が可能になるメリットが生じる。また、音声認識システムは社外基盤を流用しつつ、プライバシセンシティブな地理的重要度を自社システムで処理することが可能になる。
【0105】
学習用言語セットとして、評価システム５による音声認識結果（文章）の集合を想定する。これにより、通常の運用時、時系列による音声認識結果の変遷を反映することができる。また、学習用言語セットとして、ＳＮＳなどの投稿文章（地域ごと）の集合を想定する。これにより、音声認識結果のそろっていない運用開始時の初期学習用に用いることが可能となる。また、学習用言語セットとして、特定の地域に対して特定の単語の羅列の集合を想定する。これにより、運用後、特定の表現の出現確率を強制的に上昇させる場合に用いることが可能となる。
【0106】
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0107】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
【0108】
例えば、本開示の一実施の形態における評価装置１などは、本開示の評価方法の処理を行うコンピュータとして機能してもよい。図３４は、本開示の一実施の形態に係る評価装置１のハードウェア構成の一例を示す図である。上述の評価装置１は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
【0109】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。評価装置１のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0110】
評価装置１における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0111】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の取得部１１、評価部１２、訂正部１３及び生成部１４などは、プロセッサ１００１によって実現されてもよい。
【0112】
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、取得部１１、評価部１２、訂正部１３及び生成部１４は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【0113】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【0114】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ROM）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
【0115】
通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の取得部１１、評価部１２、訂正部１３及び生成部１４などは、通信装置１００４によって実現されてもよい。
【0116】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
【0117】
また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0118】
また、評価装置１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
【0119】
情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。
【0120】
本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。
【0121】
本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0122】
入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0123】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【0124】
本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【0125】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【0126】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0127】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0128】
本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0129】
なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【0130】
本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0131】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0132】
上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。
【0133】
本開示で使用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up、search、inquiry）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【0134】
「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0135】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0136】
本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【0137】
上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。
【0138】
本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【0139】
本開示において、例えば、英語でのa、an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0140】
本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【符号の説明】
【0141】
１…評価装置、２…移動端末、３…中継装置、４…認識装置、５…評価システム、１０…格納部、１１…取得部、１２…評価部、１３…訂正部、１４…生成部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】