IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立GEニュークリア・エナジー株式会社の特許一覧

特開2023-103803キーワード辞書作成方法、作業支援方法、キーワード辞書作成システム、及び、作業支援システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023103803
(43)【公開日】2023-07-27
(54)【発明の名称】キーワード辞書作成方法、作業支援方法、キーワード辞書作成システム、及び、作業支援システム
(51)【国際特許分類】
   G06F 40/242 20200101AFI20230720BHJP
   G06F 40/216 20200101ALI20230720BHJP
   G10L 15/06 20130101ALI20230720BHJP
   G10L 15/10 20060101ALI20230720BHJP
   G10L 15/22 20060101ALI20230720BHJP
【FI】
G06F40/242
G06F40/216
G10L15/06 300Y
G10L15/06 300J
G10L15/10 200W
G10L15/22 460Z
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022004540
(22)【出願日】2022-01-14
(71)【出願人】
【識別番号】507250427
【氏名又は名称】日立GEニュークリア・エナジー株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】高橋 昌史
(72)【発明者】
【氏名】小窪 浩明
(72)【発明者】
【氏名】山本 正明
(72)【発明者】
【氏名】中西 貴洋
【テーマコード(参考)】
5B091
【Fターム(参考)】
5B091AA15
5B091CA02
5B091CC16
(57)【要約】
【課題】質の高いキーワード辞書を作成する。
【解決手段】業務で行う発話から検出するキーワードを登録したキーワード辞書の作成をキーワード辞書作成システムが行うキーワード辞書作成方法では、業務で発話される第1の発話、及び、第1の発話に続いて発話される第2の発話を音声認識する音声認識ステップと、音声認識ステップによる第1の発話の第1の音声認識結果及び第2の発話の第2の音声認識結果のそれぞれから単語を抽出する単語抽出ステップと、単語抽出ステップによって第1の音声認識結果から抽出された第1の単語と、第2の音声認識結果から抽出された第2の単語と、が業務の特性に応じた所定条件を充足するか否かを判定し、所定条件を充足する場合に、第1の単語又は第2の単語をキーワードとしてキーワード辞書に登録する登録ステップとを有する。
【選択図】図20
【特許請求の範囲】
【請求項1】
業務で行う発話から検出するキーワードを登録したキーワード辞書の作成をキーワード辞書作成システムが行うキーワード辞書作成方法であって、
前記業務で発話される第1の発話、及び、前記第1の発話に続いて発話される第2の発話を音声認識する音声認識ステップと、
前記音声認識ステップによる前記第1の発話の第1の音声認識結果及び前記第2の発話の第2の音声認識結果のそれぞれから単語を抽出する単語抽出ステップと、
前記単語抽出ステップによって前記第1の音声認識結果から抽出された第1の単語と、前記第2の音声認識結果から抽出された第2の単語と、が前記業務の特性に応じた所定条件を充足するか否かを判定し、前記所定条件を充足する場合に、前記第1の単語又は前記第2の単語を前記キーワードとして前記キーワード辞書に登録する登録ステップと
を有することを特徴とするキーワード辞書作成方法。
【請求項2】
請求項1に記載のキーワード辞書作成方法であって、
前記単語抽出ステップによって抽出された前記所定条件を充足する前記第1の単語及び前記第2の単語に関する統計情報を収集する統計情報収集ステップを有し、
前記登録ステップでは、前記統計情報に基づく重要度が、閾値以上の前記第1の単語又は前記第2の単語を前記キーワードとして前記キーワード辞書に登録し、閾値未満の前記第1の単語又は前記第2の単語は前記キーワード辞書に登録しない
ことを特徴とするキーワード辞書作成方法。
【請求項3】
請求項2に記載のキーワード辞書作成方法であって、
前記統計情報は、前記キーワード辞書に登録済みのキーワードと関連する関連単語が発話される回数の統計であり、
前記登録ステップでは、前記回数が閾値以上である場合に前記関連単語を前記キーワード辞書に登録する
ことを特徴とするキーワード辞書作成方法。
【請求項4】
請求項2に記載のキーワード辞書作成方法であって、
前記所定条件は、前記第1の単語と前記第2の単語とが重複すること、又は、前記第1の単語と前記第2の単語とが共起性を有することであり、
前記統計情報は、前記所定条件が充足された単語の出現回数である
ことを特徴とするキーワード辞書作成方法。
【請求項5】
請求項2に記載のキーワード辞書作成方法であって、
前記登録ステップにおいて、
前記統計情報が前記第1の単語又は前記第2の単語の登録要件に該当する場合には、前記第1の単語又は前記第2の単語を前記キーワードとして前記キーワード辞書に登録し、
前記統計情報が前記第1の単語又は前記第2の単語の不登録要件に該当する場合には、前記第1の単語又は前記第2の単語を前記キーワード辞書から削除する
ことを特徴とするキーワード辞書作成方法。
【請求項6】
請求項1に記載のキーワード辞書作成方法であって、
前記第1の発話は第1の人物によってなされた発話であり、前記第2の発話は前記第1の人物とは異なる第2の人物によってなされた発話である
ことを特徴とするキーワード辞書作成方法。
【請求項7】
請求項1に記載のキーワード辞書作成方法であって、
前記第1の発話及び前記第2の発話は、同一人物によってなされた発話である
ことを特徴とするキーワード辞書作成方法。
【請求項8】
請求項7に記載のキーワード辞書作成方法であって、
前記所定条件は、前記第2の単語が特定の単語に該当することであり、
前記登録ステップにおいて、前記所定条件に該当する場合に前記第1の単語を前記キーワードとして前記キーワード辞書に登録する
ことを特徴とするキーワード辞書作成方法。
【請求項9】
請求項1に記載のキーワード辞書作成方法であって、
前記登録ステップによって前記キーワードが前記キーワード辞書に登録された前記キーワードを作業順序の時系列でリスト化した前記業務の作業リストを生成する
ことを特徴とするキーワード辞書作成方法。
【請求項10】
請求項1~9の何れか1項に記載の方法と、
前記単語抽出ステップによって前記第1の音声認識結果から抽出された前記第1の単語と、前記第2の音声認識結果から抽出された前記第2の単語と、が前記業務の特性に応じた前記所定条件を充足するか否かを判定し、前記所定条件を充足する場合に、前記第1の単語又は前記第2の単語が前記キーワード辞書に登録されているかを確認し、登録されている場合に前記第1の単語又は前記第2の単語を前記キーワードとして検出する検出ステップと
前記検出ステップによって検出された前記キーワードをユーザに対して出力する出力ステップと
を有することを特徴とする作業支援方法。
【請求項11】
業務で行う発話から検出するキーワードを登録したキーワード辞書の作成を行うキーワード辞書作成システムであって、
前記業務で発話される第1の発話、及び、前記第1の発話に続いて発話される第2の発話を音声認識する音声認識部と、
前記音声認識部による前記第1の発話の第1の音声認識結果及び前記第2の発話の第2の音声認識結果のそれぞれから単語を抽出する単語抽出部と、
前記単語抽出部によって前記第1の音声認識結果から抽出された第1の単語と、前記第2の音声認識結果から抽出された第2の単語と、が前記業務の特性に応じた所定条件を充足するか否かを判定し、前記所定条件を充足する場合に、前記第1の単語又は前記第2の単語を前記キーワードとして前記キーワード辞書に登録する登録部と
を有することを特徴とするキーワード辞書作成システム。
【請求項12】
請求項11に記載のキーワード辞書作成システムと、
前記単語抽出部によって前記第1の音声認識結果から抽出された前記第1の単語と、前記第2の音声認識結果から抽出された前記第2の単語と、が前記業務の特性に応じた前記所定条件を充足するか否かを判定し、前記所定条件を充足する場合に、前記第1の単語又は前記第2の単語が前記キーワード辞書に登録されているかを確認し、登録されている場合に前記第1の単語又は前記第2の単語を前記キーワードとして検出する検出部と
前記検出部によって検出された前記キーワードをユーザに対して出力する出力部と
を有することを特徴とする作業支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、キーワード辞書作成方法、作業支援方法、キーワード辞書作成システム、及び、作業支援システムに関する。
【背景技術】
【0002】
人工知能やIoT(Internet of Things)技術の目覚ましい進展により、デジタル技術の導入があまり進んでいない保守点検現場でも、メディア認識技術などを活用して作業支援を行う機運が高まってきている。例えば、保守点検現場においてマイクを装着した作業員の発話を音声認識し、認識結果に対してテキスト処理を行うことにより点検内容を推定して自動記録すると作業効率を大きく向上させることができる。また、推定した点検内容を自動チェックし、その手順が誤っている場合には警告を出して作業員や監督者に知らせることにより、作業員のヒューマンエラーを抑止することができる。こういったシステムでは、発話音声の中からキーワードとなる単語を抽出することによって、点検内容を推定する方法が一般的である。
【0003】
例えば特許文献1では、予め作成しておいたキーワード辞書に含まれる単語を発話者の音声の中から抽出し、そのキーワードと録音音声を関連付けたファイルを自動作成することにより、作業報告書の作成支援を行う作業支援システムの一例が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-2391号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の作業支援システムでは、点検内容の推定に用いるキーワード辞書をあらかじめ人手で作成しておく必要があり、システム構築に手間と時間がかかるといった問題があった。また、キーワードの作成には該当作業に関する深い知識と経験が必要であるが、熟練者が不足していたり、該当作業がまだ誰も実施したことがないような新しい種類の作業であったりする場合などでは、質の高いキーワード辞書が作成できないといった問題があった。
【0006】
本発明は、上記に鑑みてなされたものであり、質の高いキーワード辞書を作成することを一つの目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決するため、本発明の一態様では、業務で行う発話から検出するキーワードを登録したキーワード辞書の作成をキーワード辞書作成システムが行うキーワード辞書作成方法であって、前記業務で発話される第1の発話、及び、前記第1の発話に続いて発話される第2の発話を音声認識する音声認識ステップと、前記音声認識ステップによる前記第1の発話の第1の音声認識結果及び前記第2の発話の第2の音声認識結果のそれぞれから単語を抽出する単語抽出ステップと、前記単語抽出ステップによって前記第1の音声認識結果から抽出された第1の単語と、前記第2の音声認識結果から抽出された第2の単語と、が前記業務の特性に応じた所定条件を充足するか否かを判定し、前記所定条件を充足する場合に、前記第1の単語又は前記第2の単語を前記キーワードとして前記キーワード辞書に登録する登録ステップとを有することを特徴とする。
【発明の効果】
【0008】
本発明の一態様によれば、例えば、質の高いキーワード辞書を作成することができる。
【図面の簡単な説明】
【0009】
図1】二人体制による保守点検作業を説明するための図。
図2】実施形態1に係る作業支援システムの構成例を示す図。
図3】実施形態1に係る作業支援システムの構成の別例を示す図。
図4】実施形態1に係る作業支援システムの構成の別例を示す図。
図5】実施形態1に係る作業支援システムのキーワード検出器の構成例を示す図。
図6】実施形態1に係る作業支援システムのキーワード検出器の構成の別例を示す図。
図7】実施形態1に係る結果可視化部にて生成する可視化情報の一例を示す図。
図8】実施形態1に係る音声合成部にて生成する音声の一例を示す図。
図9】実施形態1に係るキーワード検出器によるキーワード検出の処理の一例を示すフローチャート。
図10】実施形態2に係るキーワード辞書作成システムの構成例を示す図。
図11】実施形態2に係るキーワード辞書作成システムの構成の別例を示す図。
図12】実施形態2に係るキーワード辞書作成システムの構成の別例を示す図。
図13】実施形態2に係るキーワード辞書作成システムのキーワード生成器の構成例を示す図。
図14】実施形態2に係る結果可視化部にて生成する可視化情報の一例を示す図。
図15】実施形態2に係る結果可視化部にて生成する可視化情報の一例を示す図。
図16】実施形態2に係る音声合成部にて生成する音声の一例を示す図。
図17】実施形態2に係るキーワード生成器によるキーワード辞書自動作成方法の具体例を説明するための図。
図18】実施形態2に係るキーワード生成器によるキーワード辞書自動作成方法の具体例を説明するための図。
図19】実施形態2に係るキーワード生成器によるキーワード辞書自動作成方法の具体例を説明するための図。
図20】実施形態2に係るキーワード生成器によるキーワード生成の処理の一例を示すフローチャート。
図21】実施形態3に係るキーワード生成器の構成例を示す図。
図22】実施形態3に係る統計情報収集部にて収集される統計情報の一例を示す図。
図23】実施形態3に係るキーワード生成器によるキーワード辞書の作成例を示す図。
図24】実施形態3に係る統計情報収集部にて収集される統計情報の別例を示す図。
図25】実施形態3に係るキーワード生成器によるキーワード辞書の作成の別例を示す図。
図26】実施形態3に係るキーワード生成器によるキーワード生成の処理の一例を示すフローチャート。
図27】一人体制による保守点検作業を説明するための図。
図28】実施形態4に係る作業支援システムの構成例を示す図。
図29】実施形態4に係る作業支援システムのキーワード検出器の構成例を示す図。
図30】実施形態5に係るキーワード辞書作成システムの構成例を示す図。
図31】実施形態5に係るキーワード辞書作成システムのキーワード生成器の構成例を示す図。
図32】実施形態5に係るキーワード生成器によるキーワード辞書自動作成方法の具体例を説明するための図。
図33】実施形態5に係るキーワード生成器によるキーワード辞書自動作成方法の具体例を説明するための図。
図34】実施形態5に係るキーワード生成器によるキーワード辞書自動作成方法の具体例を説明するための図。
図35】実施形態5に係るキーワード生成器によるキーワード生成の処理の一例を示すフローチャート。
図36】コンピュータの構成例を示すハードウェア図。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は、図面を含めて例示に過ぎず、本願開示の技術を限定するものではない。また、実施形態の中で説明されている諸要素及びその組合せの全てが、発明の解決手段に必須であるとは限らない。また、発明の構成に必須だが周知である構成については、図示及び説明を省略する場合がある。また、各図に示す各要素の数は一例であって、図示に限られるものではない。
【0011】
以下の説明における、ある実施形態の一部又は全部と、他の実施形態の一部又は全部とを、本願の趣旨の範囲内かつ整合する範囲内で組合せてもよく、この組合せもまた本願開示の実施形態に含まれるものである。
【0012】
以下の説明において、後出の実施形態では、既出の実施形態との差異を中心に説明し、重複説明を省略する場合がある。また、符号が異なる同一名称の構成及び処理は、一部に差異があったとしても、同様の機能又は処理を含む。
【0013】
以下の説明において、プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読取り可能な(例えば非一時的な)記録媒体にあってもよい。また、以下の説明において、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。
【0014】
また、以下の説明において、CPU(Central Processing Unit)は、1又は複数である。CPUに代表されるマイクロプロセッサに限らず、GPU(Graphics Processing Unit)のような他種のプロセッサでもよい。また、CPUは、シングルコアでもよいしマルチコアでもよい。また、CPUは、処理の一部又は全部を行うハードウェア回路(例えばFPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit))といった広義のプロセッサでも代替できる。以下の説明において「xxx部」と呼ばれる構成は、CPUとメモリとの協働によるプログラム実行によって実現される機能部である。
【0015】
また、以下の説明において、「xxx情報」のように説明される情報はどのような構造のデータでもよい。また、以下の説明において、各情報の項目や構成は一例であり、一つの情報が、二つ以上の情報に分割されてもよいし、二つ以上の情報の全部又は一部が一つの情報にまとめられてもよい。
【0016】
[実施形態1]
(二人体制による保守点検作業)
実施形態1の説明に先立ち、複数人で行われる保守点検作業について説明する。図1は、二人体制による保守点検作業を説明するための図である。図1に示すように、保守点検作業の現場では、例えば作業指示を与える指示者101と、指示者101によって与えられた指示に従って作業を行う作業者102とのように、複数の作業員が、作業の役割を分担するのが一般的である。
【0017】
先ず指示者101は、「1.チェックリスト103を用いて次の作業を確認」する。次に指示者101は、「2.作業者102に指示」を与える。すると作業者102は、指示に従い、保守対象104の機器を操作すると共に、「3.指示内容を復唱」する。例えば図1では、「装置番号は53AC1です」といった指示者101の指示(装置番号の確認)に対して、作業者102は「53AC1、了解です」のように、装置番号である「53AC1」を復唱している。このように、指示者101の発話のうち重要部分を作業者102が復唱することにより、指示の聞き間違えによるヒューマンエラーを抑止することができる。そして、指示者101は、作業者102の復唱を聞いて指示内容が正しく伝わったことを確認し、「4.作業が完了したことを示すチェックマークをチェックリストにつける」。
【0018】
しかし、保守点検現場では、例えば騒音下で作業を行う場合には、指示者101と作業者102のお互いの声が相手に届きづらく、スムーズに作業を行うことができないという問題がある。また、指示者101が作業者102に遠隔で指示を与える場合には、無線機器を用いると雑音の影響を受けやすく、相手の声が聞き取りづらくなる。そこで、こういった状況下でも作業を効率的に行うために、相手の声を音声認識し、作業内容を推定した結果を提示する作業支援システムが有用となる。
【0019】
(実施形態1に係る作業支援システム1Sの構成)
図2は、実施形態1に係る作業支援システム1Sの構成例を示す図である。図2では、作業支援システム1Sが、作業者102の発話音声を認識して作業内容を推定し、その結果を指示者101に提示する例について示している。作業支援システム1Sは、パソコンやタブレット、スマートフォンなどのプロセッサを有する3つのデバイス210(デバイス3)、211(デバイス1)、212(デバイス2)がネットワーク203を介して接続された構成を持つ。
【0020】
先ずデバイス211(デバイス1)は、マイク201にて収録された作業者102の発話音声を、送信機202によってネットワーク303経由でデバイス212(デバイス2)に送る。デバイス212(デバイス2)は、ストレージ(不図示)に蓄積されているキーワード辞書206を参照し、送受信機204で受信した作業者の音声から、キーワード検出器205にて作業内容を推定するためのキーワードを抽出する。そしてデバイス212(デバイス2)は、抽出されたキーワードを、送受信機204及びネットワーク203を介して、デバイス210(デバイス3)へ送信する。デバイス210(デバイス3)は、受信機207で受信したキーワードに関する情報を、スピーカー208及び表示端末209により指示者101に提示される。
【0021】
なお、スピーカー208は、例えばイヤホンなど、音声を再生できるものならどのようなものでもよく、表示端末209は、タブレットやディスプレイ等の表示装置、ヘッドマウントディスプレイやARグラス等のウェアラブルデバイスといった、情報を可視化できるものであればどのようなものでも構わない。以下、スピーカー及び表示端末と記載する際には同様とする。
【0022】
あるいは、作業支援システム1Sは、図3又は図4に示すような構成であってもよい。図3及び図4は、実施形態1に係る作業支援システム1Sの構成の別例を示す図である。
【0023】
図3の場合、作業支援システム1Sは、プロセッサを有する2つのデバイス309(デバイス1)、310(デバイス2)がネットワーク303を介して接続された構成を持つ。先ずデバイス309(デバイス1)は、マイク301にて収録された作業者102の発話音声は、送信機302によってネットワーク303経由でデバイス310(デバイス2)に送信される。デバイス310(デバイス2)は、ストレージ(不図示)に蓄積されているキーワード辞書306を参照し、受信機304で受信した作業者102の音声から、キーワード検出器305にて作業内容を推定するためのキーワードを抽出する。そしてデバイス310(デバイス2)は、抽出されたキーワードに関する情報を、スピーカー307及び表示端末308により指示者101に提示する。
【0024】
図4の場合、作業支援システム1Sは、プロセッサを有する1つのデバイス406によって実現される。先ずデバイス406は、ストレージ(不図示)に蓄積されているキーワード辞書403を参照し、マイク401にて収録された作業者102の発話音声から、キーワード検出器402にて作業内容を推定するためのキーワードを抽出する。そして作業支援システム1Sは、抽出されたキーワードに関する情報を、スピーカー404及び表示端末405により指示者101に提示する。
【0025】
(実施形態1に係るキーワード検出器の構成)
図5は、実施形態1に係る作業支援システム1Sのキーワード検出器205、305、402の構成例を示す図である。キーワード検出器205、305、402は、音声認識部501、形態素解析部502、キーワード候補単語抽出部503、キーワード抽出部504、結果可視化部506、及び音声合成部507を有する。
【0026】
先ず音声認識部501は、マイクを介して取得された作業者102の発話音声を音声認識してテキスト文に変換する。形態素解析部502は、音声認識部501によって変換されたテキスト文を品詞分解し、単語単位に分解する。
【0027】
キーワード候補単語抽出部503は、形態素解析部502による単語分解によって取得された単語列から、キーワードになり得る単語を抽出する。例えばキーワード候補単語抽出部503は、特定の品詞(名詞、動詞、形容詞)の単語のみを抽出し、それ以外(助詞、接続詞、感嘆詞など)は除外する。そしてキーワード抽出部504は、キーワード候補単語抽出部503によってキーワード候補として抽出された単語の中に、キーワード辞書505に含まれる単語が存在するかどうかを調べ、存在すればその単語を結果可視化部506と音声合成部507に送信する。
【0028】
図5の例では、音声認識部501は、マイク入力の認識結果から「53AC1了解です」のテキスト文を出力する。形態素解析部502は、形態素解析によって「53AC1了解です」を品詞分解し、「/53AC1/了解/です」を得る。キーワード候補単語抽出部503は、キーワード候補として、単語「53AC1」及び単語「了解」を抽出する。キーワード辞書505は、「53AC1、5番、カバー、断線、なし」を格納している。よってキーワード抽出部504は、単語「53AC1」がキーワード辞書505の単語と一致するとして認識し抽出する。結果可視化部506及び音声合成部507は、キーワード抽出部504によって抽出されたキーワード「53AC1」をそれぞれ可視化情報と音声情報に変換し、表示端末とスピーカーを用いて指示者101に提示する。
【0029】
なお、音声認識部501によって認識され変換されたテキスト文から品詞を抽出する処理は、形態素解析に限らず、その他の品詞抽出方法を用いてもよい。
【0030】
また、図2図5において、指示者101の発話音声を認識して、作業者102に結果提示したい場合は、各図における指示者101と作業者102を入れ替えればよい。
【0031】
また、図6に示すように、指示者101と作業者102の両方の発話音声を認識してキーワード抽出を行ってもよい。図6は、実施形態1に係る作業支援システムのキーワード検出器の構成の別例を示す図である。この場合、マイクを指示者101側にも用意し、音声認識部3601、形態素解析部3602、およびキーワード候補単語抽出部3603を作業者102側とは別にあと1組用意する。キーワード抽出部3604では、キーワード辞書3505に登録されており、かつキーワード候補単語出力部503及び3603からの2つの出力結果に共通する単語「53AC1」が出力される。
【0032】
(実施形態1に係る可視化情報)
図7は、実施形態1に係る結果可視化部506にて生成する可視化情報の一例を示す図である。可視化情報は、例えば各作業の手順をキーワード列で表し、一連の作業をキーワード列の列挙で表したチェックリストとして表示端末に表示され、完了した作業にはチェックマーク(図7の「X」印)が自動的に付与される。例えば、「装置番号」と「53AC1」のキーワード601が両方(もしくは片方)発話されれば1番のチェックマークが付く、というような具合である。結果可視化部506は、可視化情報を出力する出力部の一例である。
【0033】
(実施形態1に係る音声)
図8は、実施形態1に係る音声合成部507にて生成する音声の一例を示す図である。完了した作業を作業番号と共に読み上げる音声701と、次の作業のキーワードを番号のキーワードと共に読み上げる音声702と、がスピーカーから出力される。音声合成部507は、音声を出力する出力部の一例である。
【0034】
図9は、実施形態1に係るキーワード検出器205(305、402)によるキーワード検出の処理の一例を示すフローチャートである。先ずステップS801では、音声認識部501は、作業者102の発話音声を音声認識してテキスト文を生成する。次にステップS802では、形態素解析部502は、音声認識部501によって生成されたテキスト文に対して形態素解析を行い、単語単位に分解する。
【0035】
次にステップS803では、キーワード候補単語抽出部503は、形態素解析部502によって分解された単語の中にキーワード候補となる単語が存在するかを調べる。次にステップS804では、キーワード抽出部504は、キーワード辞書505を参照し、キーワードが存在する場合(ステップS804YES)にはステップS805へ処理を移し、存在しない場合(ステップS804NO)にはステップS806へ処理を移す。
【0036】
ステップS805では、結果可視化部506及び/又は音声合成部507は、指示者101に提示する情報を作成する。ステップS806では、結果可視化部506及び/又は音声合成部507は、スピーカー及び/又は表示端末から、作成した情報を提示する。ステップS807では、キーワード検出器205(305、402)は、全ての作業が完了したかを判定し、全ての作業が完了した場合(ステップS807YES)にキーワード検出処理を終了し、全ての作業が完了していない場合(ステップS807NO)にステップS801へ処理を戻し、ステップS801~S806の処理を全ての作業が完了するまで繰り返す。
【0037】
[実施形態2]
キーワード辞書206(306、403、505)は、予め用意しておく必要がある。しかし、キーワード辞書を人手で作成すると手間と時間がかかってしまう。さらに、質の高いキーワード辞書を人手で作成するには、作業に関する深い知識と経験が必要となり、知識を有する者によってキーワード辞書が作成されることが望まれる。
【0038】
そこで、実施形態2では、指示者101及び作業者102が実際に作業を行う際の発話からキーワードを自動抽出することにより、高品質なキーワード辞書を自動的に作成する手段を提供する。以下、実施形態2によるキーワード辞書作成システム2Sについて説明する。
【0039】
(実施形態1に係る実施形態2に係るキーワード辞書作成システム2Sの構成)
図10は、実施形態2に係るキーワード辞書作成システム2Sの構成例を示す図である。キーワード辞書作成システム2Sは、パソコンやタブレット、スマートフォンなどのプロセッサを有する3つのデバイス913、914、915がネットワーク909を介して接続された構成を持つ。
【0040】
先ずデバイス913(デバイス1)及びデバイス914(デバイス2)は、マイク901及び905にてそれぞれ作業者102と指示者101の発話音声を収録し、送受信機904及び908によってネットワーク909を介してデバイス915(デバイス3)に送信する。デバイス915(デバイス3)は、キーワード生成器911にて指示者101と作業者102の音声の中からキーワードを抽出してキーワード辞書912に登録すると共に、抽出されたキーワードを、送受信機910及びネットワーク909を介して、デバイス913(デバイス1)及びデバイス914(デバイス2)に送られ、表示端末902及び906、スピーカー903及び907のそれぞれから、作業者102と指示者101に対して、キーワードがキーワード辞書912へ追加されたことを通知する。
【0041】
あるいは、キーワード辞書作成システム2Sは、図11又は図12に示すような構成であってもよい。図11及び図12は、実施形態2に係るキーワード辞書作成システム2Sの構成の別例を示す図である。
【0042】
図11の場合、キーワード辞書作成システム2Sは、プロセッサを有する2つのデバイス1012(デバイス1)及び1013(デバイス2)がネットワーク1008を介して接続された構成を持つ。先ずデバイス1012(デバイス1)は、マイク1001にて作業者102の発話音声を収録し、送受信機1004によってネットワーク1008を介してデバイス1013(デバイス2)に送信する。デバイス1013(デバイス2)は、マイク1005にて指示者101の発話音声を収録する。
【0043】
そしてデバイス1013(デバイス2)は、キーワード生成器1010にて指示者101及び作業者102の音声の中からキーワードを抽出してキーワード辞書1011に登録すると共に、抽出されたキーワードを、送受信機1009及びネットワーク1008を介して、デバイス1012(デバイス1)に送信する。デバイス1012(デバイス1)及び1013(デバイス2)は、表示端末1002及び1006、スピーカー1003及び1007のそれぞれにより、作業者102と指示者101に対して、キーワードがキーワード辞書1011に追加されたことを通知する。
【0044】
図12の場合、キーワード辞書作成システム2Sは、プロセッサを有する1つのデバイス1109によって実現される。デバイス1109(デバイス1)は、マイク1101及び1104にてそれぞれ作業者102と指示者101の発話音声を収録し、キーワード生成器1107にて作業者102と指示者101の音声の中からキーワードを抽出してキーワード辞書1108に登録すると共に、表示端末1102及び1105、スピーカー1103及び1106により、作業者102と指示者101に対して、キーワードがキーワード辞書1108に追加されたことを通知する。
【0045】
(実施形態2に係るキーワード生成器911、1010、1107の構成)
図13は、実施形態2に係るキーワード辞書作成システム2Sのキーワード生成器911、1010、1107の構成例を示す図である。キーワード生成器911、1010、1107は、音声認識部1201及び1204、形態素解析部1202及び1205、キーワード候補単語抽出部1203及び1206、重複単語抽出部1207、結果可視化部1209、及び音声合成部1210を有する。音声認識部1201及び1204、形態素解析部1202及び1205、キーワード候補単語抽出部1203及び1206、結果可視化部1209、及び音声合成部1210は、実施形態1の音声認識部501、形態素解析部502、キーワード候補単語抽出部503、結果可視化部506、及び音声合成部507のそれぞれと同様の機能を有する。
【0046】
先ず音声認識部1201は、マイクにて収録された作業者102の発話音声を音声認識してテキスト文に変換する。音声認識部1204は、マイクにて収録された指示者101の発話音声を音声認識してテキスト文に変換する。
【0047】
形態素解析部1202は、音声認識部1201によって変換されたテキスト文を、品詞分解を行って単語単位に分解する。形態素解析部1205は、音声認識部1204によって変換されたテキスト文を、品詞分解を行って単語単位に分解する。キーワード候補単語抽出部1203は、形態素解析部1202によって取得された単語列から、キーワードになり得るキーワード候補単語を抽出する。キーワード候補単語抽出部1206は、形態素解析部1205によって取得された単語列から、キーワードになり得るキーワード候補単語を抽出する。
【0048】
重複単語抽出部1207は、キーワード候補単語抽出部1203及び1206によって、指示者101と作業者102の各発話音声から抽出されたキーワード候補単語のうち、重複している単語(すなわち、復唱された単語)を抽出する。重複単語抽出部1207は、抽出した重複単語を、キーワード辞書1208に追加すると共に、結果可視化部1209及び音声合成部1210に送信する。結果可視化部1209と音声合成部1210は、重複単語抽出部1207から受信した重複単語をそれぞれ可視化情報と音声情報に変換し、表示端末とスピーカーを用いて作業者102と指示者101に提示する。重複単語抽出部1207は、キーワード辞書1208にキーワードを登録し、キーワード辞書1208からキーワードを削除する登録部の一例である。
【0049】
図13の例では、指示者101の発話内容「装置番号は53AC1です」と、作業者102の発話内容「53AC1了解です」のうち、単語「53AC1」が重複している(復唱されている)ので、単語「53AC1」が重複単語として抽出され、キーワード辞書1208に登録されることを示す。
【0050】
(実施形態2に係る可視化情報)
図14及び図15は、実施形態2に係る結果可視化部1209にて生成する可視化情報の一例を示す図である。図14に示すように、可視化情報は、キーワード辞書1208に登録済みの登録済みキーワード列1301と、新規に検出された新規検出キーワード列1302として、表示端末に表示される。
【0051】
図14に示す登録ボタン1303が押下されると、キーワード生成器911(1010、1107)は、新規検出キーワード列1302に含まれる単語をキーワード辞書1208に登録すると共に、図15に示すように新規検出キーワード列1302を登録済みキーワード列1301の欄に移動する。また図14に示す削除ボタン1304が押下されると、キーワード生成器911(1010、1107)は、新規検出キーワード列1302を図14に示す画面表示から消去する。
【0052】
(実施形態2に係る音声)
図16は、実施形態2に係る音声合成部1210にて生成する音声の一例を示す図である。図16に示すように、新規に検出された新規検出キーワード列を読み上げる音声1501と、新規検出キーワード列をキーワード辞書1208に登録するかどうかを確認する音声1502と、がスピーカーから出力される。キーワード生成器911(1010、1107)は、作業者102もしくは指示者101が音声1502に対して「はい」と答えたことを音声認識した場合に、新規検出キーワード列をキーワード辞書1208に登録し、「いいえ」と答えたことを音声認識した又は「はい」と答えたことが音声認識されない場合に新規検出キーワード列をキーワード辞書1208に登録せず、例えば図14に示す画面表示から消去する。
【0053】
(実施形態2に係るキーワード辞書自動作成方法の具体例)
図17図19は、実施形態2に係るキーワード生成器911(1010、1107)によるキーワード辞書自動作成方法の具体例を説明するための図である。
【0054】
図17は、作業者102と指示者101の発話音声を音声認識した結果を表している。また、図18は、音声認識の際にメモリに蓄積される発話文を表している。図17及び図18では、分かり易さのため、認識された発話文に句読点を付与して記載している。図17及び図18では、作業者102と指示者101の発話文を蓄積するためのメモリがそれぞれ1つずつ(計2つ)用意されており、それらの内容は適宜上書き更新される。
【0055】
さらに、図19は、作業者102と指示者101の発話文から抽出されたキーワード列を表している。これらのキーワード列は、抽出された順に発話文単位で時系列に記録していくことにより、作業の順番を記憶することができ、図7に示すチェックリストとして利用し易くなる。
【0056】
図17に示すように、先ずステップS1601では、キーワード生成器911(1010、1107)は、指示者101の「ケーブル断線の検査を始めます。」の発話を認識する。次にステップS1602では、キーワード生成器911(1010、1107)は、ステップS1601に対する作業者102の「はい。」の応答を認識する。そしてキーワード生成器911(1010、1107)は、発話権が指示者101から作業者102に移ったと判断し、ステップS1701(図18)に示すように、ステップS1601で認識した指示者101の発話文を指示者用のメモリに書き込む。
【0057】
次にステップS1603では、キーワード生成器911(1010、1107)は、指示者101の発話を認識すると、発話権が作業者102から指示者101に移ったと判断し、ステップS1702(図18)に示すように、ステップS1602の発話文を作業者用のメモリに書き込む。そしてキーワード生成器911(1010、1107)は、ステップS1701で指示者用メモリに書き込まれた発話文と、ステップS1702で作業者用メモリに書き込まれた発話文とを比較し、重複する単語(復唱されたキーワード)があれば、図19のキーワード辞書に追加する。このように、発話権が移るたびにメモリ内データを上書き更新する処理と、メモリ内の発話文の比較処理を、点検作業が終了する(発話が行われなくなる)まで繰り返す。
【0058】
ここで、キーワード生成器911(1010、1107)は、例えば作業者102による装置番号「53AC1」の復唱を認識する(図17のステップS1604)と、指示者用メモリに書き込まれた発話文(図18のステップS1703)と、作業者用メモリに書き込まれた発話文(図18のステップS1704)が同一の単語「53AC1」を有しているため、この単語をキーワードとして辞書に追加する(図19のステップS1801)。
【0059】
また、指示者101の発話が連続する例(図17のステップS1605とS1606、ステップS1609とS1610)には、間に発話権の遷移がなかったものとして、指示者用のメモリにはこれらの発話文が連結されて記録される(図18のステップS1705)。
【0060】
また、複数の単語が同時に復唱された場合(図17のステップS1607)には(この例では、「5番」と「外す」の単語が同時に復唱されている)、これらの単語を1つのキーワード列として辞書登録する(図19のステップS1802)。なお、指示者101の発話に対して作業者102が復唱するだけとは限らず、その逆もあり得る。すなわち、作業者102の発話(ステップS1608)に対して、指示者が復唱する(ステップS1609)場合もある。この場合も、復唱された単語をキーワード辞書に登録する(ステップS1803)。
【0061】
(実施形態2に係るキーワード生成処理)
図20は、実施形態2に係るキーワード生成器911(1010、1107)によるキーワード生成の処理の一例を示すフローチャートである。
【0062】
先ずステップS1901では、音声認識部1201、1204は、作業者102あるいは指示者101の発話音声を音声認識する。次にステップS1902では、音声認識部1201、1204は、ステップS1902の認識結果をメモリに書き込む。音声認識部1201、1204は、ステップS1901とS1902を、発話権が相手に移る(ステップS1903YES)まで繰り返す。音声認識部1201、1204は、発話権が相手に移る(ステップS1903YES)とステップS1904に処理を移し、発話権が相手に移っていない場合(ステップS1903NO)にはステップS1901に処理を戻す。
【0063】
ステップS1904では、形態素解析部1202、1205が、作業者用と指示者用の各メモリ内の発話文に対して形態素解析を行うと共に、キーワード候補単語抽出部1203、1206が、キーワード候補を抽出する。次にステップS1905では、形態素解析部1202、1205は、ステップS1904で抽出されたキーワード候補のうち作業者102と指示者101で重複する単語が存在するかを確認し、存在した場合(ステップS1905YES)には該当単語をキーワードとしてキーワード辞書1208に登録する(ステップS1906)し、存在しない場合(ステップS1905NO)にはステップS1907に処理を移す。音声認識部1201、1204、形態素解析部1202、1205、及び重複単語抽出部1207は、ステップS1901~S1906の処理を作業が完了する(ステップS1907YES)まで繰り返す。
【0064】
図10図12のキーワード辞書作成システム2Sにて作成されたキーワード辞書1208は、図2図4の実施形態1の作業支援システム1Sで利用することができる。また保守点検作業の業務を支援する作業支援システム1S以外にも、例えば作業履歴の要約システムやコールセンタにおける発話履歴の記録システム、会議の議事録作成システム、音声認識で用いる認識単語辞書の自動作成システムなどの各種業務の支援システムで利用することができる。
【0065】
また、キーワード辞書作成システム2Sでは、発話音声をマイク入力することを想定しているが、例えばテキスト文をキーボード入力するなど、入力の形式は問わない。さらに、キーワード辞書作成システム2Sは、3人以上で作業を行う場合にも拡張できる。すなわち、作業をする人の全員がマイクを用い、所定時間内に2人以上が同一単語を発話した場合、該当単語を復唱したとみなして辞書に登録すれば良い。
【0066】
なお、キーワード生成器911(1010、1107)は、キーワード辞書1208に登録されたキーワードを作業順序の時系列でリスト化した業務の作業リストを生成してもよい。作業支援システム1Sは、音声認識により指示者101及び作業者102の発話内容を認識し、この作業リストをチェックリストとして用いて、完了した作業に完了済を示す印を付与して、作業の進捗管理を行ってもよい。
【0067】
[実施形態3]
実施形態2では、1組のペア(作業者と指示者)が実際に作業を行い、復唱された重要単語をリアルタイムでキーワード辞書に登録する例を示した。しかしこの場合、重要単語でもうっかり復唱をし忘れてしまうとキーワードとして辞書に登録されないこと、重要でない単語や省略可能な単語でもたまたま2人が発話すると誤って辞書に登録されてしまうこと、などの問題が生じる。そこで、本実施形態では、復唱された単語情報を複数ペアから収集し、それらの統計情報に基づいてキーワードを決定する。これにより、復唱された単語列に重要度を付け、重要なものだけを抽出して質の高いキーワード辞書を作成することができる。
【0068】
(実施形態3に係るキーワード生成器200の構成)
図21は、実施形態3に係るキーワード生成器200の構成例を示す図である。本実施形態では、図13のキーワード生成器911、1010、1107に代えて図21のキーワード生成器200を用いる。キーワード生成器200は、キーワード生成器911、1010、1107と比較して、統計情報収集部2008、統計情報2009、及びキーワード決定部2010を追加した構成になっている。
【0069】
音声認識部2001及び2004、形態素解析部2002及び2005、キーワード候補単語抽出部2003及び2006は、実施形態2の音声認識部1201及び1204、形態素解析部1202及び1205、キーワード候補単語抽出部1203及び1206、重複単語抽出部1207のそれぞれと同様の機能を有する。
【0070】
また、統計情報2009に基づいてキーワードを決定する場合、リアルタイムでキーワード辞書2011を作成しなくても良い。そのため、キーワード生成器200では、新規に追加したキーワードを作業者102と指示者101に提示するための表示端末及び結果可視化部とスピーカー及び音声合成部は省略される。
【0071】
図21の例では、指示者101によって発話され、作業者102によって復唱された単語を、統計情報収集部2008にて集計した統計情報2009をストレージに保存する。この集計処理を、指示者101と作業者102の複数ペアについて行い、その統計情報2009に基づいて、キーワード決定部2010がキーワードとなる単語を決定し、キーワード辞書2011に追加する。キーワード決定部2010は、キーワード辞書2011にキーワードを登録し、キーワード辞書2011からキーワードを削除する登録部の一例である。
【0072】
(実施形態3に係る統計情報)
図22は、実施形態3に係る統計情報収集部2008にて収集される統計情報2009の一例を示す図である。図23は、実施形態3に係るキーワード生成器2000によるキーワード辞書の作成例を示す図である。
【0073】
この例では、統計情報2009は、抽出された(すなわち、復唱された)単語列(例えば「53AC1」(行2101)を各行に、ペア番号(例えば「ペア1」(列2104))を各列に設定した表形式で与えられる。統計情報2009は、各ペアに対して、該当する単語列が抽出されたか(表の「○」印)、それとも抽出されなかったか(表の「-」印)を表している。また、最後の列には、各行に該当する単語列を検出したペア数(「合計」(列2105))、すなわち、各行の「○」印の個数が集計して記載してある。
【0074】
このとき、「合計値」(列2105)が大きな単語列はより多くのペアで復唱されており重要度が高いと言えるため、キーワード決定部2010は、合計値(列2105)が閾値以上の単語列をキーワード辞書2011に追加する。この例では、例えば閾値を5に設定したとすると、図23のようなキーワード辞書2011が作成される。
【0075】
図23の例では、単語列“「5番」、「外す」”(行2102)と、単語列“「5番」、「カバー」、「外す」”(行2103)は共に「合計値」(列2105)が閾値以上となるが(それぞれ9、5)、これらの単語列の中に同一の単語列“「5番」、「外す」”が含まれている。このように重複する単語列を除外し、一方のみを登録してもよい。例えば、図22では、これら単語列のうち、「合計値」(列2105))がより大きい方の単語列“「5番」、「外す」”(行2102)がキーワード辞書に登録されている(図23の行2201)。
【0076】
図24は、実施形態3に係る統計情報収集部2008にて収集される統計情報2009の別例を示す図である。図25は、実施形態3に係るキーワード生成器2000によるキーワード辞書の作成の別例を示す図である。
【0077】
この例では、抽出された(すなわち、復唱された)単語(例えば、「53AC1」)を各行2301、及び各列2302に設定した表形式で与えられ、該当する2つの単語が同時に抽出される(すなわち、同じ単語列に含まれる)ペアの数を集計してある。但し、表の対角線上では、該当する1つの単語が1抽出されるペアの数を集計する。
【0078】
例えば、単語列「53AC1」、「5番」が抽出(すなわち、復唱された)ペア数は1(合計値欄2303)であり、単語列「5番」、「外す」が抽出されたペア数は8(合計値欄2304)である。このとき、合計値が大きな単語同士は共起性が高く、お互いに関連しあっている可能性が高い。そのため、キーワード決定部2010は、閾値以上の合計値を持つ単語の組合せを同じ単語列としてキーワード登録する。この例では、例えば閾値を5に設定したとすると、図24の統計情報2009から図25に示すようなキーワード辞書2011が作成される。合計値は、2つの単語の共起性を測る重み指標の一例である。「合計値」が大きな単語の組は、より多くのペアで復唱されており重要度が高いと言える。
【0079】
なお、図24において、各行2301に既にキーワード辞書2011に登録されているキーワードを設定し、各列2302に抽出された(すなわち、復唱された)単語を設定し、該当する2つの単語が同時に抽出される(すなわち、同じ単語列に含まれる)ペアの数を集計してもよい。こうすることで、既にキーワード辞書2011に登録済みのキーワードと関連性が高いキーワードを新たにキーワード辞書2011に登録することができる。
【0080】
(実施形態3に係るキーワード生成処理)
図26は、実施形態3に係るキーワード生成器2000によるキーワード生成の処理の一例を示すフローチャートである。
【0081】
先ずステップS2501では、キーワード生成器2000は、指示者101と作業者102のペアの交代を認識する。次にステップS2502では、音声認識部2501、2504は、作業者102あるいは指示者101の発話音声を音声認識する。次にステップS2503では、音声認識部2501、2504は、ステップS2502の認識結果をメモリに書き込む。次にステップS2504では、音声認識部2501、2504は、発話権が一方から他方に移ったかを判定する。音声認識部2501、2504は、発話権が一方から他方に移った場合(ステップS2504YES)にステップS2505に処理を移し、発話権が移っていない場合(ステップS2504NO)にステップS2502に処理を戻す。
【0082】
ステップS2505では、形態素解析部2502、2505が作業者用と指示者用の各メモリ内の発話文に対して形態素解析を行い、キーワード候補単語抽出部1203、1206が形態素解析で抽出した単語からキーワード候補を抽出する。
【0083】
次にステップS2506では、重複単語抽出部1207は、指示者101と作業者102の発話のキーワード候補のうちで重複する単語が存在するかを判定し、存在した場合(ステップS2506YES)にステップS2507に処理を移し、存在しない場合(ステップS2506NO)にステップS2508に処理を移す。
【0084】
ステップS2507では、統計情報収集部2008は、ステップS2508の重複単語を用いて統計情報2009を更新する。ステップS2508では、統計情報収集部2008は、十分な統計情報2009が収集されたかを判定する。統計情報収集部2008は、十分な統計情報2009が収集された場合(ステップS2509YES)にステップS2510に処理を移し、十分な統計情報2009が収集されていない場合(ステップS2509NO)にステップS2501に処理を戻し、ステップS2502~S2509の処理を、指示者101と作業者102のペアを交代しながら繰り返す。そして、キーワード決定部2010は、充分量の統計情報が集まれば(ステップS2510YES)、集計した統計情報2009に基づいてキーワードとなる単語列を決定し、決定したキーワードをキーワード辞書2011に登録する(ステップS2510)。
【0085】
実施形態3では、単語の共起性を測る重みである出現回数の合計値が閾値以上の単語をキーワードとしてキーワード辞書2011に登録するが、これに限られない。例えば出現回数の合計値が閾値以上であることに限らず、出現回数の全体の総計に対する出現回数の合計値の占率が閾値以上である単語をキーワードとしてキーワード辞書2011に登録するようにしてもよい。
【0086】
実施形態2の作業支援システムの作業支援と平行して、実施形態3のように、この作業で発話される指示者101及び作業者102の発話内の単語の出現回数の統計を取る。そして、出現回数の合計値が閾値以上の単語を登録要件に該当するとしてキーワード辞書に登録し、出現回数の合計値が閾値未満の単語を不登録要件に該当するとしてキーワード辞書2011から削除していくことで、キーワード辞書に登録されているキーワードが増減する。すなわち、指示者101と作業者102の発話が蓄積されていくにつれて、キーワード辞書にキーワードが追加されたり、キーワード辞書からキーワードが削除されたりする。このようにすることで、キーワード辞書によるストレージリソースの圧迫を防ぎつつ、発話の最新の現状を反映した適切なキーワードをキーワード辞書に登録しておくことができる。
【0087】
[実施形態4]
(一人体制による保守点検作業)
これまでの実施形態では、複数人数で作業を行う例について記載してきた。実施形態4では、1人で作業する例について述べる。実施形態4の説明先立ち、一人体制による保守点検作業を説明する。図27は、一人体制による保守点検作業を説明するための図である。
【0088】
先ず作業者2601は、チェックリスト2602を用いて次の作業を確認し、保守対象2603の機器を操作すると共に、作業内容を声に出して確認する。このとき、保守対象2603を指差しながら発声して確認する指差呼称確認を行うのが一般的である。この際、作業の前後で、同じ単語を発話することが多い。例えば図27では、「型番は53AC1」と発話して作業内容(型番の確認)の確認を行った後に、「53AC1、よし」のように、作業が完了したことを発声して確認している。このように作業者2601は、ヒューマンエラーを抑止するために、重要単語「53AC1」を一人で復唱している。
【0089】
一人で作業を行う際には、複数人での作業で生じていた、相手の声が聞き取りづらいといった問題は発生しない。しかしこの場合も、作業漏れなどのヒューマンエラーを抑止するために、作業者2601自身の声を音声認識し、作業内容を推定した結果を提示する機能(例えば、チェックリストを自動生成し、完了した作業に自動で完了マークを付ける機能)を有する作業支援システムを提供することが有用である。
【0090】
(実施形態4に係る作業支援システム4Sの構成)
図28は、実施形態4に係る作業支援システム4Sの構成例を示す図である。一人体制による保守点検作業のための作業支援システム4Sは、実施形態1の二人体制による保守点検作業のための作業支援システム1S(図5参照)に対応する。図28に示すように、プロセッサを有する1つのデバイス2706を用いて作業支援システム4Sが実現される。
【0091】
先ず作業支援システム4Sは、マイク2701にて収録された作業者2601の発話音声は、ストレージに蓄えられているキーワード辞書2705を参照し、キーワード検出器2704にて作業内容を推定するためのキーワードを抽出する。そして、抽出されたキーワードに関する情報は、スピーカー2702及び表示端末2703により作業者2601に提示される。
【0092】
(実施形態4に係るキーワード検出器2704の構成)
図29は、実施形態4に係る作業支援システム4Sのキーワード検出器2704の構成例を示す図である。キーワード検出器2704は、音声認識部2801、形態素解析部2802、キーワード候補単語抽出部2803、キーワード抽出部2804、結果可視化部2806、及び音声合成部2807を有する。音声認識部2801、形態素解析部2802、キーワード候補単語抽出部2803、キーワード抽出部2804、結果可視化部2806、及び音声合成部2807は、実施形態1の音声認識部501、形態素解析部502、キーワード候補単語抽出部503、キーワード抽出部504、結果可視化部506、及び音声合成部507と同様の機能を有する(図5参照)。また結果可視化部2806と音声合成部2807が生成する可視化情報と音声情報は、実施形態1と同様である(図7及び図8参照)。
【0093】
[実施形態5]
図30は、実施形態5に係るキーワード辞書作成システム5Sの構成例を示す図である。一人体制による保守点検作業のためのキーワード辞書作成システム5Sは、実施形態2の二人体制による保守点検作業のためのキーワード辞書作成システム2S(図12参照)に対応する。
【0094】
キーワード辞書作成システム5Sは、図12に示すキーワード辞書作成システム2Sと同様に、プロセッサを有する1つのデバイス2906を用いて実現される。先ずデバイス2908は、マイク2901にて作業者2601の発話音声を収録し、キーワード生成器2904にてその音声の中から重要単語を抽出してキーワード辞書2905に登録する。その際、デバイス2908は、表示端末2902及びスピーカー2903により作業者2601にキーワードがキーワード辞書2905に追加されたことを作業者2601に通知する。
【0095】
(実施形態5に係るキーワード生成器2904の構成)
図31は、実施形態5に係るキーワード辞書作成システム5Sのキーワード生成器2904の構成例を示す図である。キーワード生成器2904は、音声認識部3001、形態素解析部3002、キーワード候補単語抽出部3003、重複単語抽出部3004、結果可視化部3006、及び音声合成部3007を有する。音声認識部3001、形態素解析部3002、キーワード候補単語抽出部3003、重複単語抽出部3004、結果可視化部3006、及び音声合成部3007は、実施形態2の音声認識部1201、形態素解析部1202、キーワード候補単語抽出部1203、重複単語抽出部1207、結果可視化部1209、及び音声合成部1210と同様の機能を有する(図13参照)。また結果可視化部3006と音声合成部3007が生成する可視化情報と音声情報は、実施形態2と同様である(図14及び図16参照)。
【0096】
(実施形態5に係るキーワード辞書自動作成方法の具体例)
図32図34は、実施形態5に係るキーワード生成器2904によるキーワード辞書自動作成方法の具体例を説明するための図である。
【0097】
図32は、作業者2601の発話音声を音声認識した結果を表している。また、図33は、音声認識の際にメモリに蓄積される発話文を表している。図32及び図33では、分かり易さのため、認識された発話文に句読点を付与して記載している。図32及び図33では、作業者2601の発話文を蓄積するためのメモリの内容は適宜上書き更新される。
【0098】
さらに、図34は、作業者2601の発話文から抽出されたキーワード列を表している。これらのキーワード列は、抽出された順に発話文単位で時系列に記録していくことにより、作業の順番を記憶することができ、図7に示すチェックリストとして利用し易くなる。
【0099】
図32に示すように、先ずステップS3101では、キーワード生成器2904は、作業者2601の「ケーブル断線の検査を開始。」の発話を認識する。次にステップS3102では、キーワード生成器2904は、作業者2601の次の「型番は53AC1。」の発話を認識する。このとき、ステップS3101の発話とステップS3102の発話の間に45秒の時間間隔があったとする。本実施形態では、この時間間隔が閾値未満であった場合、前後の発話が結合して1つの発話とされてメモリに格納される。ここで、閾値を30秒とした場合、キーワード生成器2904は、ステップS3102の発話文と連結せず、ステップS3201(図33)に示すように、ステップS3101の発話文を単独でメモリに格納する。
【0100】
そしてキーワード生成器2904は、ステップS3201でメモリに格納された発話文に重複している単語(すなわち、復唱している単語)があるかを確認する。重複単語があれば、キーワード生成器2904は、重複単語をキーワード辞書3005に登録する。この場合、重複している単語はない(メモリに格納された発話文に複数回登場する単語が存在しない)ため、キーワード辞書3005には何も登録されない。
【0101】
次にステップS3103では、キーワード生成器2904は、作業者2601の次の発話を認識する。このとき、ステップS3102の発話とステップS3103の発話の間に20秒の時間間隔があったとする。キーワード生成器2904は、この発話の時間間隔が閾値未満であるので、ステップS3202(図33)に示すように、ステップS3102の発話文とステップS3103の発話文とを連結してメモリに格納する。
【0102】
そしてキーワード生成器2904は、メモリに格納された発話文を調べ、ステップS3202でメモリに格納された発話文に重複している単語(すなわち、復唱している単語)があるかを確認する。重複単語があれば、キーワード生成器2904は、重複単語をキーワード辞書3005に登録する。この場合、重複している単語「53AC1」が存在するため、ステップS3301(図34)に示すように、キーワード辞書3005に「53AC1」が登録される。
【0103】
同様の処理を、残りのステップS3104、S3105の発話に対して行うと、これらの発話文が連結されてメモリに上書き更新され、ステップS3302(図34)に示すように、重複している単語列「5番」、「カバー」がキーワード辞書3005に登録される。このように、発話を認識するたびに認識した発話を前の発話と連結するか否かを判定し、判定結果に応じてメモリ内データを上書き更新する処理、メモリ内の発話文の比較処理、及びキーワード辞書3005の登録処理を、点検作業が終了する(発話が行われなくなる)まで繰り返す。
【0104】
なお、ステップS3103、S3105の「よし」は、キーワードを自己復唱する際に発声される業務に特有の特定の単語である。よって、「よし」が発声された同一発話内の直前で発生された単語「53AC1」、及びその直前の発話内で発声された単語「53AC1」がキーワードであると見なすことができる。この場合は、発話の時間間隔を考慮して発話文を区切る必要がない場合がある。
【0105】
(実施形態5に係るキーワード生成処理)
図34は、実施形態5に係るキーワード生成器2904によるキーワード生成の処理の一例を示すフローチャートである。
【0106】
先ずステップS3401では、音声認識部3001は、作業者2601の発話音声を音声認識する。次にステップS3402では、音声認識部3001は、ステップS3401の認識結果を変換したテキスト文をメモリに書き込む。次にステップS3403では、音声認識部3001は、ステップS3402でメモリにテキスト文を書き込んだ発話から閾値以上の時間間隔が経過したか否かを判定する。音声認識部3001は、閾値以上の時間間隔が経過した場合(ステップS3403YES)にステップS3404に処理を移し、経過していない場合(ステップS3403NO)にステップS3401に処理を戻す。
【0107】
ステップS3404では、形態素解析部3002がメモリ内の発話文に対して形態素解析を行い、キーワード候補単語抽出部3003が形態素解析結果からキーワード候補を抽出する。次にステップS3405では、重複単語抽出部3004は、キーワード候補と重複する単語が別のキーワード候補に存在するか否かを判定する。重複単語抽出部3004は、重複する単語が存在する場合(ステップS3405YES)にステップS3406に処理を移し、存在しない場合(ステップS3405NO)にステップS3407に処理を移す。
【0108】
ステップS3406では、重複単語抽出部3004は、ステップS3405で存在すると判定した該当単語をキーワードとしてキーワード辞書3005に登録する。ステップS3407では、重複単語抽出部3004は、一連の作業が終了したか否かを判定する。重複単語抽出部3004は、一連の作業が終了した場合(ステップS3407YES)にキーワード生成処理を終了し、一連の作業が終了していない場合(ステップS3407NO)にステップS3401に処理を戻す。重複単語抽出部3004は、ステップS3401~S3406の処理を一連の作業が完了する(ステップS3407YES)まで繰り返す。
【0109】
本実施形態では、作業者1人の作業から重要単語を抽出し、キーワード辞書を生成しているが、実施形態3と同じ要領で、複数の作業員が交代しながら取得された作業データから統計情報(例えば図22図24)を作成し、抽出された単語列の出現回数等の重みに基づいてキーワード辞書を作成しても良い。この場合、作業者毎の単語の出現統計を取るために、図22の各列のペア番号(例えば、ペア1、ペア2、…)は、作業者番号(例えば、作業者1、作業者2、…)に置き換えられる。
【0110】
以上の実施形態では、業務を行う人物の発話から抽出した単語から、業務の特性(一人作業であれば自身が発声したキーワードに対して直ちに「よし」「OK」等と発声する、二人以上での作業であればある作業者が発声したキーワードを他の作業者が反復する等)に応じて自動的にキーワードを抽出してキーワード辞書に登録する。よって人手でキーワード辞書を作成する必要がなくなり、作業支援システムを短時間で構築できるようになる。また、実際の作業内容を反映したキーワード登録が可能であるため、質の高いキーワード辞書を作成できるという効果を奏する。
【0111】
また以上の実施形態では、業務を行う人物の発話から抽出した単語の統計情報を取り、統計情報に基づく重要度が閾値以上の単語をキーワードとしてキーワード辞書に登録する。よってキーワードに優先順位を付け、優先順位が高い重要なキーワードをキーワード辞書に登録することができる。
【0112】
また以上の実施形態によれば、キーワード辞書に登録済みのキーワードと関連する重要度が高い関連単語をキーワードとしてキーワード辞書に登録することができる。
【0113】
また以上の実施形態によれば、反復される単語、共起性が高い2つ単語、又は、直後に「よし」「OK」等の特定の単語が発声される単語をキーワードとしてキーワード辞書に登録することができる。
【0114】
また以上の実施形態によれば、統計情報に基づきキーワード辞書への登録要件に該当する場合には、該当の単語をキーワードとしてキーワード辞書に登録し、不登録要件に該当する場合には、該当の単語をキーワードとしてキーワード辞書から削除する。よって時々刻々と変化する重要キーワードを最新状況に合せて適切に選択してキーワード辞書に登録しておくことができる。
【0115】
また以上の実施形態によれば、一人作業の業務であっても二人以上の複数人による業務であっても、業務中の発話からキーワードを抽出してキーワード辞書に登録することができる。
【0116】
また以上の実施形態では、前記キーワード辞書に登録されたキーワードを作業順序の時系列でリスト化した業務の作業リストを生成するので、作業者は、作業リストに基づいて業務手順の確認を行うことができる。
【0117】
また以上の実施形態で述べた各実施形態のキーワード辞書作成システムと、作業支援システムとを同時に動かし、実際の業務中の発話からキーワードを抽出してキーワード辞書を更新していくことで、キーワード辞書を業務の進行に合せてより最新化、正確化することができる。
【0118】
(コンピュータ1のハードウェア)
図36は、コンピュータ1の構成例を示すハードウェア図である。例えば、キーワード検出器205,305,402,2704,2904を含む作業支援システム1S,4S、又はキーワード生成器911,1010,1107,2000を含むキーワード辞書作成システム2S,5S、あるいはこれらを適宜統合した各装置が、コンピュータ1によって実現される。
【0119】
コンピュータ1は、バス等の内部通信線19を介して相互に接続されたCPUをはじめとするプロセッサ11、主記憶装置12、補助記憶装置13、ネットワークインタフェース14、入力装置15、及び出力装置16を備えるコンピュータである。
【0120】
プロセッサ11は、コンピュータ1全体の動作制御を司る。また主記憶装置12は、例えば揮発性の半導体メモリから構成され、プロセッサ11のワークメモリとして利用される。補助記憶装置13は、ハードディスク装置、SSD(Solid State Drive)、又はフラッシュメモリ等の大容量の不揮発性の記憶装置から構成され、各種プログラムやデータを長期間保持するために利用される。
【0121】
補助記憶装置13に格納された実行可能プログラム13Pがコンピュータ1の起動時や必要時に主記憶装置12にロードされ、主記憶装置12にロードされた実行可能プログラム13Pをプロセッサ11が実行することにより、各種処理を実行する前述の各装置が実現される。
【0122】
なお、実行可能プログラム13Pは、非一時的記録媒体に記録され、媒体読み取り装置によって非一時的記録媒体から読み出されて、主記憶装置12にロードされてもよい。または、実行可能プログラム13Pは、ネットワークを介して外部のコンピュータから取得されて、主記憶装置12にロードされてもよい。
【0123】
ネットワークインタフェース14は、コンピュータ1をシステム内の各ネットワークに接続する、あるいは他のコンピュータと通信するためのインタフェース装置である。ネットワークインタフェース14は、例えば、有線LAN(Local Area Network)や無線LAN等のNIC(Network Interface Card)から構成される。
【0124】
入力装置15は、キーボードや、マウス等のポインティングデバイス等から構成され、ユーザがコンピュータ1に各種指示や情報を入力するために利用される。出力装置16は、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等の表示装置や、スピーカー等の音声出力装置から構成され、必要時に必要な情報をユーザに提示するために利用される。
【0125】
本発明は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また、実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散、統合、又は入れ替えることが可能である。
【符号の説明】
【0126】
1:コンピュータ、1S,4S:作業支援システム、2S,5S:キーワード辞書作成システム、205,305,402,2704,2904:キーワード検出器、911,1010,1107,2000:キーワード生成器。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36