IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッドの特許一覧 ▶ シャンハイ シャオドゥ テクノロジー カンパニー リミテッドの特許一覧

特許7150770対話方法、装置、コンピュータ可読記憶媒体、及びプログラム
<>
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図1
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図2
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図3
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図4
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図5
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図6
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図7
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図8
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図9
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図10
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図11
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図12
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図13
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図14
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図15
  • 特許-対話方法、装置、コンピュータ可読記憶媒体、及びプログラム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-30
(45)【発行日】2022-10-11
(54)【発明の名称】対話方法、装置、コンピュータ可読記憶媒体、及びプログラム
(51)【国際特許分類】
   G06F 40/30 20200101AFI20221003BHJP
   G10L 13/00 20060101ALI20221003BHJP
   G10L 15/22 20060101ALI20221003BHJP
   G06F 3/16 20060101ALI20221003BHJP
   G10L 15/10 20060101ALI20221003BHJP
【FI】
G06F40/30
G10L13/00 100M
G10L15/22 300U
G06F3/16 650
G10L15/10 500T
【請求項の数】 15
(21)【出願番号】P 2020018248
(22)【出願日】2020-02-05
(65)【公開番号】P2021018797
(43)【公開日】2021-02-15
【審査請求日】2020-02-06
(31)【優先権主張番号】201910666945.X
(32)【優先日】2019-07-23
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】512015127
【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(73)【特許権者】
【識別番号】521235408
【氏名又は名称】シャンハイ シャオドゥ テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】スー,ユンフェイ
(72)【発明者】
【氏名】チェン,グオグオ
【審査官】長 由紀子
(56)【参考文献】
【文献】特開2015-133047(JP,A)
【文献】国際公開第2016/067418(WO,A1)
【文献】特開2010-048980(JP,A)
【文献】特開2008-234443(JP,A)
【文献】特表2008-512789(JP,A)
【文献】特開2004-334193(JP,A)
【文献】中国特許出願公開第108804536(CN,A)
【文献】中国特許出願公開第110222162(CN,A)
【文献】中国特許出願公開第105845137(CN,A)
【文献】中国特許出願公開第105589848(CN,A)
【文献】米国特許出願公開第2010/0299136(US,A1)
【文献】米国特許出願公開第2016/0202957(US,A1)
【文献】米国特許出願公開第2018/0143802(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 40/00-58
G10L 13/00-10
G10L 15/00-34
G06F 3/16
(57)【特許請求の範囲】
【請求項1】
コンピュータによって実行される対話方法であって、
自動音声認識ASRモデル中の音響モデルにより、認識すべき音声を第1テキストに変換することと、
前記第1テキストを前記自動音声認識ASRモデル中の言語モデルに入力して、複数の候補テキスト及び前記複数の候補テキストのそれぞれに対応する第1信頼度を取得することと、
第1信頼度が最高である候補テキストを第2テキストとすることと、
前記第1テキストを語義解析モデルに入力して、複数の候補意図情報及び前記複数の候補意図情報のそれぞれに対応する第2信頼度を取得することと、
第2信頼度が最高である候補意図情報を前記第1テキストの意図情報とすることと、
前記第1テキストに含まれている、前記第1テキストの意図情報に対応するワードスロット情報を取得することと、
前記第1テキストの意図情報及びワードスロット情報を有限状態機械に入力して、前記第1テキストに対応する交互情報を取得することと、
を含む、
ことを特徴とする対話方法。
【請求項2】
前記語義解析モデルは、自然言語理解NLUモデルである
ことを特徴とする請求項1に記載の対話方法。
【請求項3】
前記第1テキストの意図情報とワードスロット情報を有限状態機械に入力して、前記第1テキストに対応する交互情報を取得することは、
前記第1テキストの意図情報及びワードスロット情報を前記有限状態機械の初期ノードに入力することと、
前記有限状態機械において前記第1テキストの意図情報に合致する対話経路を選別することと、
前記第1テキストのワードスロット情報に基づいて、前記第1テキストの意図情報に合致する対話経路から遷移先である次の1つの中間ノードを検索することと、
中間ノードにより交互情報をリターンさせることと、
を含む、
ことを特徴とする請求項1に記載の対話方法。
【請求項4】
前記第1テキストの意図情報とワードスロット情報を有限状態機械に入力して、前記第1テキストに対応する交互情報を取得することは、
前記交互情報に対して応答情報を受信した場合、語義解析モデルにより前記応答情報のワードスロット情報を取得することと、
前記応答情報のワードスロット情報を有限状態機械の前記中間ノードの次の1つのノードに入力することと、をさらに含む、
ことを特徴とする請求項1に記載の対話方法。
【請求項5】
前記有限状態機械の構築は、
語義解析モデルにより前記トレーニングサンプルの意図情報を取得することと、
前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を確定することと、
意図情報に対応する各ワードスロット情報に基づいて、意図情報に含まれる対話経路を構築することと、を含む、
ことを特徴とする請求項1に記載の対話方法。
【請求項6】
前記意図情報に対応する各ワードスロット情報に基づいて、意図情報に含まれる対話経路を構築することは、
語義解析モデルにより、前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を抽出することと、
前記各ワードスロット情報に基づいて、有限状態機械に含まれる初期ノード、中間ノード及び最終ノードを確定することと、
前記各ワードスロット情報に基づいて、各ノード間の遷移関係を確定することと、
各ノード及びその間の遷移関係に基づいて、前記トレーニングサンプルの意図情報に含まれる対話経路を構築することと、を含む、
ことを特徴とする請求項5に記載の対話方法。
【請求項7】
自動音声認識ASRモデル中の音響モデルにより、認識すべき音声を第1テキストに変換する音声変換モジュールと、
前記第1テキストを前記自動音声認識ASRモデル中の言語モデルに入力して、複数の候補テキスト及び前記複数の候補テキストのそれぞれに対応する第1信頼度を取得する候補テキスト・信頼度取得モジュールと、
第1信頼度が最高である候補テキストを第2テキストとする第2テキスト取得モジュールと、
前記第1テキストを語義解析モデルに入力して、複数の候補意図情報及び前記複数の候補意図情報のそれぞれに対応する第2信頼度を取得する候補意図情報・信頼度取得サーブモジュールと、
第2信頼度が最高である候補意図情報を前記第1テキストの意図情報とする第1テキスト意図情報取得サーブモジュールと、
前記第1テキストに含まれている、前記第1テキストの意図情報に対応するワードスロット情報を取得する第1ワードスロット情報取得サーブモジュールと、
前記第1テキストの意図情報とワードスロット情報を有限状態機械に入力して、前記第1テキストに対応する交互情報を取得する交互情報取得モジュールと、
を備える、
ことを特徴とする対話装置。
【請求項8】
語義解析モデルは、自然言語理解NLUモデルである
ことを特徴とする請求項7に記載の対話装置。
【請求項9】
前記交互情報取得モジュールは、
前記第1テキストの意図情報及びワードスロット情報を前記有限状態機械の初期ノードに入力する意図情報・ワードスロット情報入力サーブモジュールと、
前記有限状態機械において前記第1テキストの意図情報に合致する対話経路を選別する対話経路選別サーブモジュールと、
前記第1テキストのワードスロット情報に基づいて、前記第1テキストの意図情報に合致する対話経路から遷移先である次の1つの中間ノードを検索する遷移ノード検索サーブモジュールと、
中間ノードにより交互情報をリターンさせる交互情報リターンサーブモジュールと、
を備える、
ことを特徴とする請求項7に記載の対話装置。
【請求項10】
前記交互情報取得モジュールは、
前記交互情報に対して応答情報を受信した場合、語義解析モデルにより前記応答情報のワードスロット情報を取得する第2ワードスロット情報取得サーブモジュールと、
前記応答情報のワードスロット情報を有限状態機械の前記中間ノードの次の1つのノードに入力する第2ワードスロット情報入力サーブモジュールと、をさらに備える、
ことを特徴とする請求項7に記載の対話装置。
【請求項11】
前記有限状態機械は、
語義解析モデルにより前記トレーニングサンプルの意図情報を取得するトレーニングサンプル意図情報取得モジュールと、
前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を確定するワードスロット情報確定モジュールと、
意図情報に対応する各ワードスロット情報に基づいて、意図情報に含まれる対話経路を構築する対話経路構築モジュールと、を備えるように構成される、
ことを特徴とする請求項7に記載の対話装置。
【請求項12】
前記対話経路構築モジュールは、
語義解析モデルにより、前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を抽出する情報抽出サーブモジュールと、
各ワードスロット情報に基づいて、有限状態機械が含む初期ノード、中間ノード及び最終ノードを確定するノード確定サーブモジュールと、
各ワードスロット情報に基づいて、各ノード間の遷移関係を確定する遷移関係確定サーブモジュールと、
各ノード及びその間の遷移関係に基づいて、前記トレーニングサンプルの意図情報に含まれる対話経路を構築する構築実行サーブモジュールと、を備える、
ことを特徴とする請求項11に記載の対話装置。
【請求項13】
1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶する記憶装置と、を備え、
前記1つ又は複数のプロセッサは、前記1つ又は複数のプログラムを実行する場合、請求項1~6のいずれか一項に記載の対話方法を実行させる、
ことを特徴とする対話装置。
【請求項14】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、
当該コンピュータプログラムがプロセッサに実行される場合、請求項1~6のいずれか一項に記載の対話方法を実行させる、
ことを特徴とするコンピュータ可読記憶媒体。
【請求項15】
コンピュータにおいて、プロセッサにより実行される場合、請求項1~6のいずれか一項に記載の対話方法を実現することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能技術分野に関し、より詳しくは、対話方法、装置、コンピュ
ータ可読記憶媒体、及びプログラムに関する。
【背景技術】
【0002】
近年、人工知能技術の急速な発展に伴って、知能音声技術に関する製品は既に人々によく使われている。人々は機械との対話に徐々に慣れはじめ、且つ機械の理解及び応答能力に対する期待がより高まっている。
【0003】
主流になった音声に基づく対話システムアーキテクチャには、自動音声認識(ASR、Automatic Speech Recognition)モデルと自然言語理解(NLU、Natural Language Under Standing)モデルが採用されている。作業フローには、まずASRモデルを通じてユーザの音声を文字に転換し、その後NLUモデルにより語義解析を行い、最後にユーザの意図を取得することが含まれている。
【0004】
従来法としては、作業フローが二段階に分かれており、ASRモデルによる認識に誤差が現れると、NLUモデルを採用するときに誤差が拡大されてしまうという主な問題がある。また、モデルが比較的に大きい場合、NLUの計算量が多く、全体的にコストが高くなり、認識の遅延がある。
【発明の概要】
【0005】
本発明は、従来技術における1つ又は複数の技術課題を解決するために、対話方法、装置及びコンピュータ可読記憶媒体を提供している。
【0006】
本発明の第1態様は、対話の交互方法を提供している。当該対話の交互方法は、
認識すべき音声を第1テキストに変換することと、
前記第1テキストを語義解析モデルに入力し、第1テキストの意図情報とワードスロット情報を取得することと、
前記第1テキストの意図情報とワードスロット情報を有限状態機械に入力し、前記第1テキストに対応する交互情報を取得することと、を含む。
【0007】
前記第1テキストを自動音声認識ASRモデルである言語モデルに入力し、複数の候補テキスト及びそれぞれに対応する第1信頼度を取得することと、
第1信頼度が最高である候補テキストを第2テキストとすることと、をさらに含む。
【0008】
1つの実施形態において、前記第1テキストを語義解析モデルに入力し、第1テキストの意図情報とワードスロット情報を取得することは、
前記第1テキストを自然言語理解NLUモデルである語義解析モデルに入力し、複数の候補意図情報及びそれぞれに対応する第2信頼度を取得することと、
第2信頼度が最高である候補意図情報を前記第1テキストの意図情報とすることと、
前記第1テキストに含まれている、前記第1テキストの意図情報に対応するワードスロット情報を取得することと、を含む。
【0009】
1つの実施形態において、前記第1テキストの意図情報とワードスロット情報を有限状態機械に入力し、前記第1テキストに対応する交互情報を取得することは、
前記第1テキストの意図情報とワードスロット情報を前記有限状態機械の初期ノードに入力することと、
前記有限状態機械において前記第1テキストの意図情報に合致する対話経路を選別することと、
前記第1テキストのワードスロット情報に基づいて、前記第1テキストの意図情報に合致する対話経路において、遷移先である次の1つの中間ノードを検索することと、
中間ノードにより交互情報をリターンすることと、を含む。
【0010】
1つの実施形態において、前記第1テキストの意図情報とワードスロット情報を有限状態機械に入力し、前記第1テキストに対応する交互情報を取得することは、
前記交互情報である応答情報を受信した場合、語義解析モデルにより前記応答情報のワードスロット情報を取得することと、
前記応答情報のワードスロット情報を有限状態機械の前記中間ノードの次の1つのノードに入力することと、をさらに含む。
【0011】
1つの実施形態において、前記有限状態機械の構築は、
語義解析モデルにより前記トレーニングサンプルの意図情報を取得することと、
前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を確定することと、
意図情報に対応する各ワードスロット情報に基づいて、意図情報に含まれる対話経路を構築することと、を含む。
【0012】
1つの実施形態において、前記意図情報に対応する各ワードスロット情報に基づいて、意図情報に含まれる対話経路を構築することは、
語義解析モデルにより、前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を抽出することと、
前記各ワードスロット情報に基づいて、有限状態機械に含まれる初期ノード、中間ノード及び最終ノードを確定することと、
前記各ワードスロット情報に基づいて、各ノード間の遷移関係を確定することと、
各ノード及びその間の遷移関係に基づいて、前記トレーニングサンプルの意図情報に含まれる対話経路を構築することと、を含む。
【0013】
本発明の第2態様は、対話の交互装置を提供している。当該対話の交互装置は、
認識すべき音声を第1テキストに変換する音声変換モジュールと、
前記第1テキストを語義解析モデルに入力し、第1テキストの意図情報とワードスロット情報を取得する意図情報・ワードスロット情報取得モジュールと、
前記第1テキストの意図情報とワードスロット情報を有限状態機械に入力し、前記第1テキストに対応する交互情報を取得する交互情報取得モジュールと、を備える。
【0014】
1つの実施形態において、当該装置は、
前記第1テキストを自動音声認識ASRモデルである言語モデルに入力し、複数の候補テキスト及びそれぞれに対応する第1信頼度を取得する候補テキスト・信頼度取得モジュールと、
第1信頼度が最高である候補テキストを第2テキストとする第2テキスト取得モジュールと、をさらに備える。
【0015】
1つの実施形態において、前記意図情報・ワードスロット情報取得モジュールは、
前記第1テキストを自然言語理解NLUモデルである語義解析モデルに入力し、複数の候補意図情報及びそれぞれに対応する第2信頼度を取得する候補意図情報・信頼度取得サーブモジュールと、
第2信頼度が最高である候補意図情報を前記第1テキストの意図情報とする第1テキスト意図情報取得サーブモジュールと、
前記第1テキストに含まれている、前記第1テキストの意図情報に対応するワードスロット情報を取得する第1ワードスロット情報取得サーブモジュールと、を備える。
【0016】
1つの実施形態において、前記交互情報取得モジュールは、
前記第1テキストの意図情報とワードスロット情報を前記有限状態機械の初期ノードに入力する意図情報・ワードスロット情報入力サーブモジュールと、
前記有限状態機械において前記第1テキストの意図情報に合致する対話経路を選別する対話経路選別サーブモジュールと、
前記第1テキストのワードスロット情報に基づいて、前記第1テキストの意図情報に合致する対話経路において、遷移先である次の1つの中間ノードを検索する遷移ノード検索サーブモジュールと、
中間ノードにより交互情報をリターンする交互情報リターンサーブモジュールと、を備える。
【0017】
1つの実施形態において、前記交互情報取得モジュールは、
前記交互情報である応答情報を受信した場合、語義解析モデルにより前記応答情報のワードスロット情報を取得する第2ワードスロット情報取得サーブモジュールと、
前記応答情報のワードスロット情報を有限状態機械の前記中間ノードの次の1つのノードに入力する第2ワードスロット情報入力サーブモジュールと、をさらに備える。
【0018】
1つの実施形態において、前記有限状態機械は、
語義解析モデルにより前記トレーニングサンプルの意図情報を取得するトレーニングサンプル意図情報取得モジュールと、
前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を確定するワードスロット情報確定モジュールと、
意図情報に対応する各ワードスロット情報に基づいて、意図情報に含まれる対話経路を構築する対話経路構築モジュールと、を備えるように構成される。
【0019】
1つの実施形態において、前記対話経路構築モジュールは、
語義解析モデルにより、前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を抽出する情報抽出サーブモジュールと、
各ワードスロット情報に基づいて、有限状態機械が含む初期ノード、中間ノード及び最終ノードを確定するノード確定サーブモジュールと、
各ワードスロット情報に基づいて、各ノード間の遷移関係を確定する遷移関係確定サーブモジュールと、
各ノード及びその間の遷移関係に基づいて、前記トレーニングサンプルの意図情報に含まれる対話経路を構築する構築実行サーブモジュールと、を備える。
【0020】
本発明の第3態様は、対話の交互装置を提供し、前記装置の機能は、ハードウェアにより実現されることができ、且つハードウェアを通じて対応するソフトウェアを実行することにより実現されることもできる。前記ハードウェア又はソフトウェアは1つ又は複数の上記機能に対応するモジュールを備える。
【0021】
1つの可能な形態において、前記装置には、プロセッサとメモリを備え、前記メモリは前記装置が前記対話の交互を実行するように支持するプログラムを記憶するためであり、前記プロセッサは前記メモリに記憶されているプログラムを実行するように構成されている。前記装置はさらに通信インタフェースを備え、その他のデバイス又は通信ネットワークを通信するために用いられる。
【0022】
本発明の第4態様は対話の交互装置に用いられるコンピュータソフト命令を記憶するためのコンピュータ可読記憶媒体を提供している。当該記憶媒体には前記対話を実行するための交互方法に関わるプログラムが含まれている。
【0023】
上記技術案における少なくとも1つの技術案は、以下の利点または有益な効果を有する。即ち、語義解析モデルにより、第1テキストから第1テキストの意図情報とワードスロット情報を直接取得することができる。従来技術の語義解析モデルを言語モデルの後に接続する必要があるステップを減少させることにより、時間を短縮し、ユーザにより迅速に応答することができる。同時に、前記技術案は、計算の複雑性を減らし、システム全体のコストを低下させる。
【0024】
また、上記技術案における少なくとも1つの技術案は、以下の利点または有益な効果を有する。即ち、自動音声認識ASRモデルと自然言語理解NLUモデルが統合されている。統合という構想を用いて認識音声を処理することにより、信頼度が最高である候補テキストと候補意図情報を同時に出力することができる。
【0025】
上記の略述は、単に説明のために過ぎず、いかなる限定をも目的としない。上記に記載されている例示的な様態、実施形態、及び特徴以外に、図面及び下記の詳細説明を参照することによって、本発明のさらなる様態、実施形態及び特徴の理解を促す。
【図面の簡単な説明】
【0026】
図面において、特に規定されていない場合、複数の図面における同一の図面符号は、同一或いは類似する部材或いは要素を示す。これらの図面は、必ずしも比例に準じて描かれているわけではない。これらの図面は、本発明により開示される幾つかの実施形態を描いており、それを本発明の範囲を制限するものと見なしては行けないことを理解すべきである。
図1】本発明の実施形態に係る対話方法を示すフローチャートである。
図2】本発明の実施形態に係る対話方法を示すフローチャートである。
図3】本発明の実施形態に係る対話方法を示すフローチャートである。
図4】本発明の実施形態に係る対話方法を示すフローチャートである
図5】本発明の実施形態に係る有限状態機械を示す模式図である。
図6】本発明の実施形態に係る対話方法を示すフローチャートである。
図7】本発明の実施形態に係る対話方法を示すフローチャートである。
図8】本発明の実施形態に係る対話方法を示すフローチャートである。
図9】本発明の実施形態に係る対話装置を示す構成ブロック図である。
図10】本発明の実施形態に係る対話装置を示す構成ブロック図である。
図11】本発明の実施形態に係る対話装置を示す構成ブロック図である。
図12】本発明の実施形態に係る対話装置を示す構成ブロック図である。
図13】本発明の実施形態に係る対話装置を示す構成ブロック図である。
図14】本発明の実施形態に係る対話装置を示す構成ブロック図である。
図15】本発明の実施形態に係る対話装置を示す構成ブロック図である。
図16】本発明の実施形態に係る対話装置を示す構成ブロック図である。
【発明を実施するための形態】
【0027】
下記において、幾つかの例示的実施形態を簡単に説明する。当業者が把握出来るよう、本発明の主旨又は範囲を逸脱しない限り、様々な方法により説明された実施形態に変更可能である。従って、図面及び説明は制限を加えるためのものでなく、本質的には例示的なものである。
【0028】
図1は、本発明の実施形態に係る対話方法を示すフローチャートである。図1に示すように、当該方法には、下記のステップS101、S102、S103が含まれている。
【0029】
対話端末は、認識すべき音声を受信した後、音響モデルにより認識すべき音声を第1テキストに変換する。対話端末には、知能スピーカ、知能ロボット、知能携帯電話などのヒューマンマシーン交互機能を有する装置が含まれる。
【0030】
S102において、前記第1テキストを語義解析モデルに入力し、第1テキストの意図情報及びワードスロット情報を取得する。
【0031】
語義解析モデルは、第1テキストに含まれている文の意図情報を抽出することに用いられる。意図情報は1つの文が達成しようとする目的の情報であってもよい。第1テキストには、意図情報に対応する1つ又は複数のワードスロット情報が含まれている。例えば、第1テキストは「明日の天気は如何ですか」、「天気を調べて」、「北京の天気を調べて」、「北京の明日の天気を調べて」のうちの1つであってもよい。上記第1テキストの意図情報はいずれも「天気の検索」に対応している。さらに、「天気の検索」が対応するワードスロット情報は「時間」と「場所」を含んでもよい。例えば、第1テキストが「明日の天気は如何ですか」である場合、第1テキストに含まれるワードスロット情報としては、「時間」が明日であり、「場所」が空きである。第1テキストが「天気を調べて」である場合、第1テキストに含まれるワードスロット情報としては、「時間」と「場所」のいずれも空きである。第1テキストが「北京の天気を調べて」である場合、第1テキストに含まれるワードスロット情報としては、「時間」が空きであり、「場所」が北京である。第1テキストが「北京の明日の天気を調べて」である場合、第1テキストに含まれるワードスロット情報としては、「時間」が明日であり、「場所」が北京である。
【0032】
第1テキストのワードスロット情報である「時間」と「場所」を確定した後、対応する天気を調べることができる。
【0033】
S103において、前記第1テキストの意図情報及びワードスロット情報を有限状態機械に入力し、前記第1テキストに対応する交互情報を取得する。
【0034】
有限状態機械は、現在の対話状態に基づいて交互情報を生成するものである。交互情報は、第1テキストに対応して取得した検索結果情報であってもよく、第1テキストに対して提出した問い合わせ情報であってもよい、
【0035】
例えば、第1テキストが「北京の明日の天気を調べる」である場合、第1テキストに含まれているワードスロット情報は完備しているため、有限状態機械により得られる第1テキストに対応する交互情報は、直接得られる北京の明日の天気状況の検索結果である。検索結果としては、クラウードサーバーを通じて取得することができる。例えば、対話端末は、第1テキストの意図を確定した後、クラウードサーバーと通信して北京の明日の天気情報を取得し、それを交互情報としてユーザに出力することができる。出力には音声出力及び/又は文字出力が含まれる。
【0036】
例えば、第1テキストが「明日の天気は如何ですか」である場合、第1テキストに含まれているワードスロット情報である「場所」が空きであるため、有限状態機械は「場所」を問い合わせる交互情報を生成することができる。例えば、交互情報としては、「何処の天気ですか」であり、それを交互情報としてユーザに出力することができる。
【0037】
図2に示すように、1つの実施形態において、当該方法には、さらに、下記のステップS201、S202が含まれる。
S201において、前記第1テキストを自動音声認識ASRモデルである言語モデルに入力し、複数の候補テキスト及びそれぞれに対応する第1信頼度を取得する。
S202において、第1信頼度が最高である候補テキストを前記第2テキストとする。
【0038】
言語モデルは1つの文が現れる確率を計算するモデルとして用いられる。例えば、第1テキストが「今日の天気は如何ですか」である場合、言語モデルによる計算は、この文を単語に分割して、「今日」、「天気」、「如何ですか」という3つの単語を得ることを含んでもよい。
【0039】
得られる第1候補テキストは、「今日/今日:0.1 天気/天気:0.2 如何/如何:0.6」であってもよい。得られる第2候補テキストは、「今日/今日:0.1 天気/天気:0.08 如何/如何:0.4」であってもよい。第1信頼度は、検索経路の累積コスト値で表示することができ、例えば、検索経路の累積コスト値が検索経路の全ての重みの負の対数の和である場合、第1候補テキストの検索経路の累積コスト値は、-lg(0.1)-lg(0.2)-lg(0.6)≒0.91と表示することができ、第2候補テキストの検索経路の累積コスト値は、-lg(0.1)-lg(0.08)-lg(0.4)≒2.49と表示することができる。
【0040】
比較を通して、第1候補テキストは、検索経路の累積コスト値が相対的に小さく、信頼度が高いため、第2テキストとして選択されることができる。さらに、第2テキストは、対話端末の表示装置に表示されることができる。ユーザは、第2テキストを見ることにより、対話端末の認識結果を検証することができる。
【0041】
言語モデルは自動音声認識ASRモデルであってもよい。当該ASRモデルは、音響モデルを含むことにより、受信した音声に対して認識を行い、複数の候補テキスト及びそれぞれに対応する第1信頼度を取得することができる。
【0042】
図3に示すように、1つの実施形態において、ステップS102には、下記のステップS1021、S1022、S1023が含まれる。
S1021において、前記第1テキストを自然言語理解NLUモデルである語義解析モデルに入力し、複数の候補意図情報及びそれぞれに対応する第2信頼度を取得する。
S1022において、第2信頼度が最高である候補意図情報を前記第1テキストの意図情報とする。
S1023において、前記第1テキストに含まれている、前記第1テキストの意図情報に対応するワードスロット情報を取得する。
【0043】
語義解析モデルは、第1テキストからキー情報を抽出する。さらに、キー情報に基づく意図情報及び当該意図情報の信頼度は、既にトレーニングされたディープニューラルネットワーク(DNN、Deep Neural Network)或いは正規表示式(Regular Expression)等のモデルにより得られることができる。
【0044】
例えば、第1テキストが「今日の天気は如何ですか」である場合、抽出されたキー情報は、「今日」、「天気」、「如何ですか」等のキー情報を含むことができる。前記キー情報を既にトレーニングされたモデルに入力することにより、候補意図情報である「天気を検索する」の信頼度が0.6であり、候補意図情報である「時間を検索する」の信頼度が0.2であることを得ることができる。
【0045】
信頼度を比較することにより、候補意図情報である「天気を検索する」を第1テキストの意図情報とすることができる。さらに、「天気を検索する」に対応する、例えば「時間」、「場所」などであるワードスロット情報を得ることができる。
【0046】
意図情報とワードスロット情報の対応関係は、人工的に表記する、或いはモデルをトレーニングする際に関連付けることができる。これにより、異なる意図情報に対応するワードスロット情報は、確定されることができる。
【0047】
1つの実施形態において、自動音声認識ASRモデル及び自然言語理解NLUモデルは、統合されることができる。認識すべき音声に対する処理には、自動音声認識ASRモデル中の音響モデルにより、認識すべき音声を第1テキストに変換した後、第1テキストを自動音声認識ASRモデル中の音響モデル及び自然言語理解NLUモデルにそれぞれ入力し、信頼度が最高である第2テキスト及び第1テキストの意図情報を取得することが含まれてもよい。
【0048】
取得された信頼度が最高である第2テキスト及び第1テキストの意図情報には、前記第1テキストを言語モデルに入力し、複数の候補テキスト及びそれぞれに対応する第1信頼度を取得すること、前記第1テキストを語義解析モデルに入力し、複数の候補意図情報及びそれぞれに対応する第2信頼度を取得すること、各第1信頼度を逐一第2信頼度と乗算することにより、乗算した最大値に対応する第1信頼度及び第2信頼度を確定し、確定した第1信頼度に対応する候補テキスト及び確定した第2信頼度に対応する候補意図情報を出力することが含まれてもよい。
【0049】
前記技術案によれば、自然言語理解NLUモデルは、自動音声認識ASRモデルの出力に基づいて後続の認識を行う必要がなく、自動音声認識ASRモデルと自然言語理解NLUモデルを統合するものである。統合という構想を用いて認識すべき音声に対して処理を行いことにより、信頼度が最高である候補テキストと候補意図情報を同時に出力することができる。
【0050】
図4図5に示すように、1つの実施形態において、ステップS103には下記のステップS1031、S1032、S1033、S1034が含まれている。
S1031において、前記第1テキストの意図情報とワードスロット情報を前記有限状態機械の初期ノードに入力する。
S1032において、前記有限状態機械において前記第1テキストの意図情報に合致する対話経路を選別する。
S1033において、前記第1テキストのワードスロット情報に基づいて、前記第1テキストの意図情報に合致する対話経路の中で遷移先である次の1つの中間ノードを検索する。
S1034において、中間ノードにより交互情報をリターンする。
【0051】
例えば、第1テキストは、「明日の天気は如何ですか」、「天気を調べて」、「北京の天気を調べて」、「北京の明日の天気を調べて」のうちの1つであってもよい。語義解析モデルを通じて、第1テキストの意図情報は「天気を検索する」であることが得られる。
【0052】
図5に合わせて示すように、有限状態機械における実線は意図が「天気を検索する」である対話経路に対応することができる。有限状態機械における破線は意図が「時間を検索する」である対話経路に対応することができる。前記第1テキストの意図情報とワードスロット情報は、前記有限状態機械の初期ノード(図5におけるノード0)に入力される。第1テキストの意図に対する認識に基づいて、意図が「天気を検索する」である対話経路を選別することができる。即ち、対話経路は、ノード0~ノード1、ノード0~ノード2、ノード0~ノード3、ノード0~ノード4に限定される。例えば、語義解析モデルを通じて第1テキストの意図情報が「時間を検索する」である場合、対話経路は、ノード0~ノード9、ノード0~ノード10に限定される。
【0053】
有限状態機械は、第1テキストのワードスロット情報の欠如状態に基づいて、対話経路のノードにおいて遷移する。例えば、「明日の天気が如何ですか」に対応するワードスロット情報は、「時間」であり、欠けているワードスロット情報は「場所」である。ノード2において、ユーザに「場所」を取得する交互情報を出力する。従って、前記第1テキストの意図情報に合致する対話経路の中でノード2を検索し、初期ノード0から中間ノード2に遷移する。中間ノード2において、ユーザに「何処の天気ですか」という交互情報をリターンする。ユーザにリターンする交互情報は、音声、文字、画像等の各種の形であってもよい、
【0054】
図5図6に合わせて示すように、1つの実施形態において、ステップS103には、下記のステップS1035、S1036がさらに含まれている。
S1035において、前記交互情報である応答情報を受信した場合、語義解析モデルにより前記応答情報のワードスロット情報を取得する。
S1036において、前記応答情報のワードスロット情報を有限状態機械の前記中間ノードの次の1つのノードに入力する。
【0055】
対話端末は、交互情報を毎回リターンした後、対話を追跡して記録することができる。ユーザが交互情報に対して応答した場合、対話端末は応答した音声を受信した後、語義解析モデルにより前記応答情報のワードスロット情報を取得する。ワードスロット情報を利用して有限状態機械内で遷移する。例えば、中間ノード2においてユーザに「何処の天気ですか」という交互情報をリターンした後、ユーザの応答情報が「北京」である場合、語義解析モデルは「北京」に対応するワードスロット情報が「場所」であることを取得する。対話記録に合わせて見ると、「天気を検索する」という意図のうえで、二つのワードスロット情報が既に取得されたと確定できるため、ノード4に遷移する。ノード4は、ワードスロット情報が完備している場合に対応するため、最終的に天気検索情報を出力するように、完了ノード8に遷移することができる。
【0056】
図7に示すように、1つの実施形態において、前記有限状態機械の構築については、下記のステップS301、S302、S303が含まれる。
S301において、語義解析モデルにより前記トレーニングサンプルの意図情報を取得する。
S302において、前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を確定する。
S303において、意図情報に対応する各ワードスロット情報に基づいて、意図情報に含まれる対話経路を構築する。
【0057】
前記トレーニングサンプルの意図情報を確定する際、同様な意図を表す異なるサンプルを用いてトレーニングすることができる。例えば、「明日の天気は如何ですか」、「明日の気温は何度ですか」、「北京は暑いですか」等は、いずれも同様の「天気を検索する」という意図を表すことができる。
【0058】
意図情報に対応する各ワードスロット情報は、人工的に設定することも、モデルトレーニングを通じて設定することもできる。意図情報に含まれる対話経路を構築する目的は、受信した音声に基づいて交互情報を生成し、交互情報を利用してユーザが現在意図している全てのワードスロット情報を補完するように導き、有限状態機械が最終的に検索結果を提供できるようにするためである。
【0059】
図8に示すように、1つの実施形態において、ステップS303には下記のステップS3031、S3032、S3033、S3034が含まれる。
S3031において、語義解析モデルにより、前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を抽出する。
S3032において、前記各ワードスロット情報に基づいて、有限状態機械に含まれる初期ノード、中間ノード及び最終ノードを確定する。
S3033において、前記各ワードスロット情報に基づいて、各ノード間の遷移関係を確定する。
S3034において、各ノード及びその間の遷移関係に基づいて、前記トレーニングサンプルの意図情報に含まれる対話経路を構築する。
【0060】
例えば、意図が「天気を検索する」である場合、対応するワードスロット情報は、「時間」、「場所」であってもよい。下記の4つの状態で表すことができる。即ち、
初期ノード0~中間ノード4は、ワードスロット情報に「時間」と「場所」があることを示し、
初期ノード0~中間ノード2は、ワードスロット情報に「時間」があるが、「場所」がないことを示し、中間ノード2~中間ノード7は、交互情報を生成し、「場所」を問い合わせることを示し、中間ノード7~中間ノード4は、ワードスロット情報に「時間」と「場所」があることを示し、
初期ノード0~中間ノード3は、ワードスロット情報に「時間」がなく、「場所」があることを示し、中間ノード3~中間ノード6は、交互情報を生成し、「時間」を問い合わせることを示し、中間ノード6~中間ノード4は、ワードスロット情報に「時間」と「場所」があることを示し、
初期ノード0~中間ノード1は、ワードスロット情報に「時間」と「場所」がないことを示し、中間ノード1~中間ノード5は、交互情報を生成し、「時間」を問い合わせることを示し、中間ノード5~中間ノード2は、ワードスロット情報に「時間」があるが、「場所」がないことを示し、中間ノード2~中間ノード7は、交互情報を生成し、「場所」を問い合わせることを示し、中間ノード7~中間ノード4は、ワードスロット情報に「時間」と「場所」があることを示す。
【0061】
完了ノード8は、天気検索結果の最終ノードとすることができる。
【0062】
図9は、本発明の実施形態に係る対話装置を示す構成ブロック図である。図9に示すように、当該装置は、
認識すべき音声を第1テキストに変換するための音声変換モジュール901と、
前記第1テキストを語義解析モデルに入力し、第1テキストの意図情報とワードスロット情報を取得するための意図情報・ワードスロット情報取得モジュール902と、
前記第1テキストの意図情報とワードスロット情報を有限状態機械に入力し、前記第1テキストに対応する交互情報を取得するための交互情報取得モジュール903と、を備える。
【0063】
図10に示すように、当該装置は、
前記第1テキストを自動音声認識ASRモデルである言語モデルに入力し、複数の候補テキスト及びそれぞれに対応する第1信頼度を取得するための候補テキスト・信頼度取得モジュール1001と、
第1信頼度が最高である候補テキストを第2テキストとするための第2テキスト取得モジュール1002と、をさらに備える。
【0064】
図11に示すように、1つの実施形態において、前記意図情報・ワードスロット情報取得モジュール902は、
前記第1テキストを自然言語理解NLUモデルである語義解析モデルに入力し、複数の候補意図情報及びそれぞれに対応する第2信頼度を取得するための候補意図情報・信頼度取得サーブモジュール9021と、
第2信頼度が最高である候補意図情報を前記第1テキストの意図情報とするための第1テキスト意図情報サーブモジュール9022と、
前記第1テキストに含まれている、前記第1テキストの意図情報に対応するワードスロット情報を取得するための第1ワードスロット情報取得サーブモジュール9023と、を備える。
【0065】
図12に示すように、1つの実施形態において、前記交互情報取得モジュール903は、
前記第1テキストの意図情報とワードスロット情報を前記有限状態機械の初期ノードに入力するための意図情報・ワードスロット情報入力サーブモジュール9031と、
前記有限状態機械において前記第1テキストの意図情報に合致する対話経路を選別するための対話経路選別サーブモジュール9032と、
前記第1テキストのワードスロット情報に基づいて、前記第1テキストの意図情報に合致する対話経路において、遷移先である次の1つの中間ノードを検索するための遷移ノード検索サーブモジュール9033と、
中間ノードにより交互情報をリターンするための交互情報リターンサーブモジュール9034と、を備える。
【0066】
図13に示すように、1つの実施形態において、前記交互情報取得モジュール903は、
前記交互情報である応答情報を受信した場合、語義解析モデルにより前記応答情報のワードスロット情報を取得するための第2ワードスロット情報取得サーブモジュール9035と、
前記応答情報のワードスロット情報を有限状態機械の前記中間ノードの次の1つのノードに入力するための第2ワードスロット情報入力サーブモジュール9036と、をさらに備える。
【0067】
図14に示すように、1つの実施形態において、前記有限状態機械は、
語義解析モデルにより前記トレーニングサンプルの意図情報を取得するためのトレーニングサンプル意図情報取得モジュール1401と、
前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を確定するためのワードスロット情報確定モジュール1402と、
意図情報に対応する各ワードスロット情報に基づいて、意図情報に含まれる対話経路を構築するための対話経路構築モジュール1403と、を備えるように構成される。
【0068】
図15に示すように、1つの実施形態において、前記対話経路構築モジュール1403は、
語義解析モデルにより、前記トレーニングサンプルの意図情報に対応する各ワードスロット情報を抽出するための情報抽出サーブモジュール14031と、
各ワードスロット情報に基づいて、有限状態機械が含む初期ノード、中間ノード及び最終ノードを確定するためのノード確定サーブモジュール14032と、
各ワードスロット情報に基づいて、各ノード間の遷移関係を確定するための遷移関係確定サーブモジュール14033と、
各ノード及びその間の遷移関係に基づいて、前記トレーニングサンプルの意図情報に含まれる対話経路を構築するための構築実行サーブモジュール14034と、を備える。
【0069】
図16は、本発明の実施形態に係る対話の交互装置を示す構成ブロック図である。図16に示すように、当該装置は、メモリ1610とプロセッサ1620を備え、メモリ1610にはプロセッサ1620にて実行可能なコンピュータプログラムが記憶されている。前記プロセッサ1620が前記コンピュータプログラムを実行する場合、前記実施形態における対話の交互方法を実現することができる。前記メモリ1610及びプロセッサ1620の数は1つ又は複数であってもよい。
【0070】
当該装置は、外部設備との通信を行い、データの交互転送を行うための通信インタフェース1630をさらに備える。
【0071】
メモリ1610は、高速度RAMメモリを含むことができ、少なくとも1つの磁気メモリのような不揮発性メモリ(non-volatile memory)を含んでもよい。
メモリ1610、プロセッサ1620、および通信インターフェース1630が独立して実現される場合、メモリ1610、プロセッサ1620、および通信インターフェース1630は、バスによって相互接続して相互通信を行うことができる。前記バスは、インダストリスタンダードアーキテクチャ(ISA、Industry Standard Architecture)バス、外部デバイス相互接続(PCI、Peripheral ComponentInterconnect)バス、又は拡張インダストリスタンダードアーキテクチャ(EISA、Extended Industry Standard Component)バス等であってもよい。前記バスは、アドレスバス、データバス、制御バス等として分けられることが可能である。表示の便宜上、図16に1本の太線のみで表示するが、バスが1つ又は1種類のみであることを意味しない。
【0072】
任意選択で、具体的な実現において、メモリ1610、プロセッサ1620及び通信インターフェース1630が1つのチップに集成した場合、メモリ1610、プロセッサ1620、及び通信インターフェース1630は、内部インターフェースによって相互通信を行うことができる。
【0073】
本発明実施形態は、コンピュータプログラムを記憶するためのコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサに実行される場合、前記実施形態のいずれか1つに記載の方法を実現することができる。
【0074】
本明細書において、「1つの実施形態」、「幾つかの実施形態」、「例」、「具体例」或いは「一部の例」などの用語とは、当該実施形態或いは例で説明された具体的特徴、構成、材料或いは特性を結合して、本発明の少なくとも1つの実施形態或いは実施形態に含まれることを意味する。また、説明された具体的特徴、構成、材料或いは特性は、いずれか1つ或いは複数の実施形態または例において適切に結合することが可能である。また、矛盾しない限り、当業者は、本明細書の異なる実施形態または例、および、異なる実施形態または例における特徴を結合したり、組み合わせたりすることができる。
【0075】
また、用語「第1」、「第2」とは比較的な重要性を示している又は暗示しているわけではなく、単に説明のためのものであり、示される技術的特徴の数を暗示するわけでもない。そのため、「第1」、「第2」で限定される特徴は、少なくとも1つの当該特徴を明示又は暗示的に含むことが可能である。本出願の記載の中において、「複数」の意味とは、明確的に限定される以外に、2つ又は2つ以上を意味する。
【0076】
フローチャート又はその他の方式で説明された、いかなるプロセス又は方法に対する説明は、特定な論理的機能又はプロセスのステップを実現するためのコマンドのコードを実行可能な1つ又はそれ以上のモジュール、断片若しくはセグメントとして理解することが可能であり、さらに、本発明の好ましい実施形態の範囲はその他の実現を含み、示された、又は、記載の順番に従うことなく、係る機能に基づいてほぼ同時にまたは逆の順序に従って機能を実行することを含み、これは当業者が理解すべきことである。
【0077】
フローチャートに示された、又はその他の方式で説明された論理及び/又はステップは、例えば、論理機能を実現させるための実行可能なコマンドのシーケンスリストとして見なされることが可能であり、コマンド実行システム、装置、又はデバイス(プロセッサのシステム、又はコマンド実行システム、装置、デバイスからコマンドを取得して実行することが可能なその他のシステムを含むコンピュータによるシステム)が使用できるように提供し、又はこれらのコマンドを組み合わせて使用するコマンド実行システム、装置、又はデバイスに使用されるために、いかなるコンピュータ読取可能媒体にも具体的に実現されることが可能である。本明細書において、「コンピュータ読取可能媒体」は、コマンド実行システム、装置、デバイス、又はこれらのコマンドを組み合わせて実行するシステム、装置又はデバイスが使用できるように提供するため、プログラムを格納、記憶、通信、伝搬又は伝送する装置であってもよい。コンピュータ読み取り可能媒体のより具体的例(非網羅的なリスト)として、1つ又は複数の布配線を含む電気接続部(電子装置)、ポータブルコンピュータディスク(磁気装置)、ランダム・アクセス・メモリ(RAM)、リード・オンリー・メモリ(ROM)、消去書き込み可能リード・オンリー・メモリ(EPROM又はフラッシュメモリ)、光ファイバー装置、及びポータブル読み取り専用メモリ(CDROM)を少なくとも含む。また、コンピュータ読み取り可能媒体は、そのうえで前記プログラムを印字できる紙又はその他の適切な媒体であってもよく、例えば紙又はその他の媒体に対して光学的スキャンを行い、そして編集、解釈又は必要に応じてその他の適切の方式で処理して電子的方式で前記プログラムを得、その後コンピュータメモリに記憶することができるためである。
【0078】
本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって実現されることができる。前記実施形態において、複数のステップ又は方法は、メモリに記憶された、適当なコマンド実行システムによって実行されるソフトウェア又はファームウェアによって実施されることができる。例えば、ハードウェアによって実現するとした場合、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な混合論理ゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)などといった本技術分野において公知である技術のうちのいずれか1つ又はそれらの組み合わせによって実現される。
【0079】
当業者は、上記の実施形態における方法に含まれるステップの全部又は一部を実現するのは、プログラムによって対応するハードウェアを指示することによって可能であることを理解することができる。前記プログラムは、コンピュータ読取可能な媒体に記憶されてもよく、当該プログラムが実行されるとき、方法の実施形態に係るステップのうちの1つ又はそれらの組み合わせを含むことができる。
【0080】
また、本発明の各実施形態における各機能ユニットは、1つの処理モジュールに統合されてよく、別個の物理的な個体であってもよく、2つ又は2つ以上のユニットが1つのモジュールに統合されてもよい。上記の統合モジュールは、ハードウェアで実現されてもよく、ソフトウェア機能モジュールで実現されてもよい。上記の統合モジュールが、ソフトウェア機能モジュールで実現され、しかも独立した製品として販売又は使用される場合、コンピュータ読取可能な記憶媒体に記憶されてもよい。前記記憶媒体は読取専用メモリ、磁気ディスク又は光ディスク等であってもよい。
【0081】
上記の記載は、単なる本発明の具体的な実施形態に過ぎず、本発明の保護範囲はそれに限定されることなく、当業者が本発明に開示されている範囲内において、容易に想到し得る変形又は置換は、全て本発明の範囲内に含まれるべきである。そのため、本発明の範囲は、記載されている特許請求の範囲に準じるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16