(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024078016
(43)【公開日】2024-06-10
(54)【発明の名称】作業支援システム、作業支援装置、および、作業支援方法
(51)【国際特許分類】
G10L 15/06 20130101AFI20240603BHJP
G06Q 10/20 20230101ALI20240603BHJP
【FI】
G10L15/06 300C
G06Q10/20
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022190307
(22)【出願日】2022-11-29
(71)【出願人】
【識別番号】507250427
【氏名又は名称】日立GEニュークリア・エナジー株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】高橋 昌史
(72)【発明者】
【氏名】住吉 貴志
(72)【発明者】
【氏名】小窪 浩明
(72)【発明者】
【氏名】松井 唯
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC15
(57)【要約】
【課題】作業内容を示す重要単語を、適切に設定すること。
【解決手段】作業支援システム30は、要領書データ36から抽出した文構造から要領書データ36に含まれる重要単語を評価する評価モデル17に対して、過去要領書11に含まれる単語を、過去要領書11に含まれる重要単語として出力するように評価モデル17を学習する過去処理部10と、今回の要領書データ36から抽出した文構造を評価モデル17に入力することで、評価モデル17から出力される重要単語を、今回の要領書データ36に基づく点検作業で発話されたか否かを確認するキーワードとして重要単語辞書34に登録する今回処理部20とを有する。
【選択図】
図8
【特許請求の範囲】
【請求項1】
要領書から抽出した文構造から要領書に含まれる重要単語を評価する評価モデルに対して、過去の要領書に含まれる単語を、前記過去の要領書に含まれる重要単語として出力するように前記評価モデルを学習する重要単語抽出装置と、
今回の要領書から抽出した文構造を前記評価モデルに入力することで、前記評価モデルから出力される重要単語を、前記今回の要領書に基づく作業で用いるキーワードとして重要単語辞書に登録する作業支援装置とを有することを特徴とする
作業支援システム。
【請求項2】
前記評価モデルは、時系列の入力データを受け付けるモデルであり、
前記重要単語抽出装置および前記作業支援装置は、要領書から抽出した単語の並び関係を文構造として抽出し、その抽出した単語の並び関係を時系列の入力データとして前記評価モデルに入力することを特徴とする
請求項1に記載の作業支援システム。
【請求項3】
前記作業支援装置は、前記今回の要領書に基づく作業よりも前に実行される、前記今回の要領書に基づく演習時に複数の人物によって共通で発話された前記今回の要領書に含まれる単語を、前記評価モデルの入力データに追加することを特徴とする
請求項2に記載の作業支援システム。
【請求項4】
前記評価モデルは、単語間の係り受け関係を示す特徴量の入力データを受け付けるモデルであり、
前記重要単語抽出装置および前記作業支援装置は、要領書から抽出した作業の動作を示す作業用語に対する単語間の係り受け関係を示す特徴量を文構造として抽出し、その抽出した特徴量を入力データとして前記評価モデルに入力することを特徴とする
請求項1に記載の作業支援システム。
【請求項5】
前記作業支援装置は、前記重要単語辞書に登録した重要単語のうちの動詞を、次回の前記作業用語として登録することを特徴とする
請求項4に記載の作業支援システム。
【請求項6】
前記評価モデルは、単語間の係り受け関係を示す特徴量に加え、複数の人物によって共通で発話された単語についての統計情報を示す特徴量の入力データを受け付けるモデルであり、
前記作業支援装置は、前記今回の要領書に基づく作業よりも前に実行される、前記今回の要領書に基づく演習時に前記複数の人物によって共通で発話された単語についての統計情報を、前記評価モデルの入力データに追加することを特徴とする
請求項4に記載の作業支援システム。
【請求項7】
前記重要単語抽出装置は、過去の要領書に含まれる単語のうち、複数の人物によって共通で発話された過去の要領書に含まれる単語を、前記過去の要領書に含まれる重要単語として出力することを特徴とする
請求項1に記載の作業支援システム。
【請求項8】
前記複数の人物とは、1人の作業指示者が、1人以上の作業者に作業を指示するチームであり、
前記複数の人物によって共通で発話された単語とは、前記作業指示者が先に発話し、前記作業者がその発話に反応して復唱した単語であることを特徴とする
請求項7に記載の作業支援システム。
【請求項9】
前記作業支援装置は、前記今回の要領書に基づく作業で、前記重要単語辞書に登録された重要単語が発話されたか否かを確認し、発話されなかった重要単語を警告することを特徴とするを特徴とする
請求項1に記載の作業支援システム。
【請求項10】
要領書から抽出した文構造から要領書に含まれる重要単語を評価する評価モデルに対して、今回の要領書から抽出した文構造を前記評価モデルに入力することで、前記評価モデルから出力される重要単語を、前記今回の要領書に基づく作業で用いるキーワードとして重要単語辞書に登録する今回処理部を有することを特徴とする
作業支援装置。
【請求項11】
作業支援システムは、重要単語抽出装置と、作業支援装置とを有しており、
前記重要単語抽出装置は、要領書から抽出した文構造から要領書に含まれる重要単語を評価する評価モデルに対して、過去の要領書に含まれる単語を、前記過去の要領書に含まれる重要単語として出力するように前記評価モデルを学習し、
前記作業支援装置は、今回の要領書から抽出した文構造を前記評価モデルに入力することで、前記評価モデルから出力される重要単語を、前記今回の要領書に基づく作業で用いるキーワードとして重要単語辞書に登録することを特徴とする
作業支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援システム、作業支援装置、および、作業支援方法に関する。
【背景技術】
【0002】
音声認識システムは、文字データの入力手段として普及している。作業現場での作業員は、作業器具などで手がふさがっていることから、文字データの入力作業には音声入力を使用すると便利である。
例えば、特許文献1には、携帯端末に対して作業員によって入力された音声に基づく情報によって、物件の作業対象項目ごとの保守点検結果を集約する報告書作成システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業現場での点検などの作業では、1名の指示者と1名以上の作業者との作業チームで行われることもある。作業チームの指示者と作業者とは、お互いにトランシーバなどの通信装置を介して音声会話を行う。以下、作業の一例である点検作業について、その概要手順の一例を示す。
(手順1)各点検項目の作業手順が記載された「要領書」を指示者が持つ。要領書は電子化されたデータを画面から参照する形式でもよい。
(手順2)指示者が作業者に要領書の点検項目を読み上げることで、点検指示を作業者に伝達する。
(手順3)作業者が伝達された点検項目を復唱することにより、点検指示が伝わっていることを指示者に返答する。そして、作業者は、点検指示に応じて点検作業を実行する。
(手順4)指示者は作業者が正しく点検をしたか否かを、復唱の内容から確認する。そして、復唱されなかった点検項目は作業ミスの恐れがあるので、再度、指示者から作業者に確認する。
【0005】
ここで、(手順4)における指示者の負担を軽減するために、音声認識システムを導入して指示者および作業者の発言から、復唱の内容が正しいか否かを機械的にチェックすることを検討する。なお、要領書の文章の内容を一字一句そのまま朗読していたのでは、意思伝達に時間がかかってしまい、指示者も作業者も負担が大きい。そのため、作業者は、要領書の文章から抜粋した各点検項目の内容を誤解しないようにするための重要な単語(以下、重要単語)を中心に伝達し、その他の重要ではない要領書の単語は省略する傾向にある。
よって、点検作業に導入する音声認識システムでは、重要単語が指示者と作業者とで正しく発話されていたか否かが、機械的にチェックするポイントとなる。
【0006】
音声認識システムの進化により、発話の音声データを文字データに変換する文字変換精度は向上し続けている。一方で、指示者から作業者への点検項目の作業内容が正しく伝達されているか否かという観点では、点検項目を特徴づける重要単語をどのように設定するかが、伝達チェック精度に大きく影響する。なお、伝達チェック精度とは、作業内容が正しく伝達されていることを確認するときの精度、つまり、重要単語により伝達をチェックするシステムの精度である。
【0007】
例えば、「定期点検、盤番号X1内の端子台番号Y1内のケーブル端子Z1からケーブルを引き抜く」という点検項目が要領書に記載されているとする。
指示者は「定期点検を開始。盤番号X1のケーブル端子Z1からケーブルを引き抜いて」と発話したとする。
作業者は「ケーブル端子Z1からケーブルを引き抜きます」と復唱したとする。
この場合、指示者と作業者とで、「ケーブル端子Z1からケーブルを引き抜く」という作業内容の認識は一致する。しかし、作業者は指示者が発話した「盤番号X1」を復唱しておらず、勘違いして「盤番号X2」の作業を行う恐れがある。さらに、作業者は「端子台番号Y1」を発話しておらず、作業者が勘違いして「端子台番号Y2」の作業を行う恐れがある。
一方、指示者の「定期点検を開始」という発言を作業者は復唱しなかったが、この不一致は作業内容の伝達には全く影響しない。
【0008】
このように、単純に、指示者の発話内容と作業者の発話内容とを照合して一致または不一致を検出するだけでは、要領書に記載されている点検項目が正しく指示者から作業者に伝達されているか否かを判断できない場合もある。なお、上記の例の場合、「盤番号X1」、「端子台番号Y1」、「ケーブル端子Z1」、「ケーブルを引き抜く」という4つの重要単語を設定することが望ましい。これにより、その4つの重要単語が指示者および作業者の発話内容でカバーされていれば、作業内容が正しく伝達されたとみなすことができる。また、「定期点検」という単語は、重要単語から除外してもよいなど、重要単語は多ければ多いほど良いわけでもない。
【0009】
しかし、従来の技術では、重要単語をどのように設定したら作業内容が正しく伝達されていることを確認できるか、という観点で重要単語の設定を支援する仕組みは提供されていない。例えば、特許文献1には、作業点検場所を示す予め定められたキーワードや、点検対象機器を示す予め定められたキーワードや、点検概要を示す予め定められたキーワードをもとに、点検者の発話内容を要約する旨が記載されている。しかし、「予め定められたキーワード」をどのように設定するかについては、記載されていない。
以上、点検を例示したが、上記の問題は作業一般において発生しうる。
【0010】
そこで、本発明では、作業内容を示す重要単語を、適切に設定することを主な課題とする。
【課題を解決するための手段】
【0011】
前記課題を解決するために、本発明の作業支援システムは、以下の特徴を有する。
本発明は、要領書から抽出した文構造から要領書に含まれる重要単語を評価する評価モデルに対して、過去の要領書に含まれる単語を、前記過去の要領書に含まれる重要単語として出力するように前記評価モデルを学習する重要単語抽出装置と、
今回の要領書から抽出した文構造を前記評価モデルに入力することで、前記評価モデルから出力される重要単語を、前記今回の要領書に基づく作業で用いるキーワードとして重要単語辞書に登録する作業支援装置とを有することを特徴とする。
その他の手段は、後記する。
【発明の効果】
【0012】
本発明によれば、作業内容を示す重要単語を、適切に設定することができる。
【図面の簡単な説明】
【0013】
【
図1】本実施形態に関する点検作業の概要図である。
【
図2】本実施形態に関する点検支援装置の構成図である。
【
図3】本実施形態に関する点検支援装置のハードウェア構成図である。
【
図4】本実施形態に関する辞書生成部の処理の概要を示すフローチャートである。
【
図5】本実施形態に関する収集されたデータから抽出される復唱確認結果を示すテーブルである。
【
図6】本実施形態に関する要領書データから抽出される2種類の文構造を示す説明図である。
【
図7】本実施形態に関する
図6の係り受け解析結果を示すテーブルである。
【
図8】本実施形態に関する辞書生成部の第1例の詳細を示す構成図である。
【
図9】本実施形態に関する
図8の評価モデルの詳細を示す説明図である。
【
図10】本実施形態に関する辞書生成部の第2例の詳細を示す構成図である。
【
図11】本実施形態に関する
図10の評価モデルの詳細を示す説明図である。
【
図12】本実施形態に関する辞書生成部の第3例の詳細を示す構成図である。
【
図13】本実施形態に関する辞書生成部の第4例の詳細を示す構成図である。
【発明を実施するための形態】
【0014】
本実施形態について、図面を参照しながら説明する。
【0015】
図1は、点検作業の概要図である。
以下、本明細書では、作業の一例として設備の点検作業を例示するが、災害現場などチームで作業する任意の作業現場にも本発明は適用可能である。このチームは、1人の点検指示者1が、1人以上の点検作業者2に点検作業を指示するもので、点検指示者1が先に発話した重要単語を、点検作業者2がその発話に反応して復唱することにより、以下の手順で点検作業が行われる。
(手順1)点検指示者1の把持するタブレット端末(
図2の点検端末3)から、各点検項目の作業手順が記載された「要領書」を点検指示者1に確認させる。
(手順2)点検指示者1が点検作業者2に要領書の点検項目を読み上げることで、点検指示を点検作業者2に伝達する。
(手順3)点検作業者2が伝達された点検項目を復唱することにより、点検指示が伝わっていることを点検指示者1に返答する。そして、点検作業者2は、点検指示に応じて点検作業を実行する。
(手順4)
図2の作業支援システム30は、(手順2)および(手順3)の発話内容102を音声認識し、その結果から得られる復唱確認結果を、音声または画面表示で点検指示者1にフィードバックする。
【0016】
要領書データ101は、点検項目の作業手順が記載されたデータである。
図1の要領書データ101は、文章として点検項目を説明しているが、チェックリストやチェック表などの他のデータ形式でもよい。
発話内容102は、要領書データ101に沿った点検指示者1と点検作業者2との間の(手順2)および(手順3)の発言を示す。例えば、点検指示者1の「ケーブルのリフトをお願いします」に対して、点検作業者2の「リフトですね」と復唱されている。これにより、点検作業の動作「リフトする」が点検指示者1から点検作業者2に伝達されていることがわかる。
【0017】
確認画面103は、(手順4)で作業支援システム30が発話内容102から認識した復唱確認結果の表示画面であり、点検指示者1の把持するタブレット端末(
図2の点検端末3)などに表示される。確認画面103は、要領書欄103Aと、注意喚起欄103Bとを有する。
要領書欄103Aには、復唱確認結果が反映される。例えば、要領書欄103Aは、要領書データ101上に記載される重要単語(リフト、1-2345Aなど)を下線で表示し、その重要単語のうちの発話内容102で復唱された重要単語を囲むなど強調表示したものである。なお、重要単語の復唱は、要領書データ101に記載される重要単語の出現順に行われ、点検作業者2が複数の場合は最低1人が復唱すればよい。
注意喚起欄103Bには、要領書欄103Aで下線が引かれているが、復唱されなかった重要単語(ここでは「B67」)について注意喚起するメッセージを表示したものである。
この確認画面103により、点検指示者1は、復唱されなかった点検項目(齟齬のある点検項目)を確認し、再度、点検指示者1から点検作業者2に確認することで、ヒューマンエラーを予防できる。
【0018】
図2は、作業システム100の構成図である。作業システム100は、作業支援システム30と点検端末3とがネットワーク接続される。
作業支援システム30は、点検結果通知部31と、音声認識部32と、辞書生成部33と、要領書通知部35とを有する。作業支援システム30は、重要単語辞書34と、要領書データ36とを記憶部に格納する。
要領書データ36は、
図1の要領書データ101などの各点検項目の作業手順が記載されたデータである。
重要単語辞書34は、要領書データ36から抽出された重要単語である。重要単語とは、作業内容の伝達チェック精度に影響する重要な単語であり、
図1の確認画面103で示したように、復唱されなかった重要単語により作業内容が伝達されなかったとみなされる。
辞書生成部33は、要領書データ36から重要単語辞書34を生成する(詳細は
図8など)。後記するように、辞書生成部33は、過去の点検作業で復唱された発話内容を学習することにより、重要単語辞書34を管理者が手動で抽出する手間を削減しつつ、高精度に重要単語を抽出できる。
【0019】
要領書通知部35は、
図1の要領書データ101などを点検端末3に通知する(手順1)。
音声認識部32は、点検指示者1および点検作業者2からそれぞれトランシーバなどで取得した発話音声(
図1の発話内容102など)を音声認識によりテキスト化し、その結果から復唱確認結果を得る(手順4)。そして、音声認識部32は、重要単語辞書34に登録された重要単語と、復唱確認結果として復唱された単語とを照合し、その一致不一致をもとに点検結果を求め、その点検結果を点検結果通知部31に伝達する。
点検結果通知部31は、音声認識部32から伝達された点検結果を
図1の確認画面103などで点検端末3に通知するとともに、
図1の注意喚起欄103Bの内容を点検指示者1の把持するトランシーバに音声出力する。
【0020】
図3は、作業支援システム30のハードウェア構成図である。
作業支援システム30の各装置(後記する重要単語抽出装置、作業支援装置など)は、CPU901と、RAM902と、ROM903と、HDD904と、通信I/F905と、入出力I/F906と、メディアI/F907とを有するコンピュータ900として構成される。
通信I/F905は、外部の通信装置915と接続される。入出力I/F906は、入出力装置916と接続される。メディアI/F907は、記録媒体917からデータを読み書きする。さらに、CPU901は、RAM902に読み込んだプログラム(アプリケーションや、その略のアプリとも呼ばれる)を実行することにより、各処理部を改善制御する。そして、このプログラムは、通信回線を介して配布したり、CD-ROM等の記録媒体917に記録して配布したりすることも可能である。
なお、辞書生成部33は、作業支援システム30の外部に別の装置として構成してもよい。
【0021】
以下、辞書生成部33の詳細として、以下の4つの例を説明する。
(第1例)要領書データ36から抽出した単語の並び関係の文構造(詳細は
図6)と、過去の点検時の発話内容とをもとに、要領書データ36に出現する単語の評価モデル17を作成する方式(
図8、
図9)。
(第2例)要領書データ36から抽出した単語の並び関係の文構造と、過去の点検時および今回の演習(リハーサル)時の発話内容とをもとに、要領書データ36に出現する単語の評価モデル17を作成する方式(
図10、
図11)。
(第3例)要領書データ36から抽出した単語間の係り受け関係の文構造(詳細は
図6)と、過去の点検時の発話内容とをもとに、要領書データ36に出現する単語の評価モデル17を作成する方式(
図12)。
(第4例)要領書データ36から抽出した単語間の係り受け関係の文構造と、過去の点検時および今回の演習時の発話内容とをもとに、要領書データ36に出現する単語の評価モデル17を作成する方式(
図13)。
【0022】
図4は、辞書生成部33の処理の概要を示すフローチャートである。
辞書生成部33は、過去の要領書データに基づく過去の点検作業から、発話内容などのデータを収集する(S11)。辞書生成部33は、S11で収集したデータから、過去の評価モデルを作成する(S12)。このS11およびS12の処理は、(第1例)~(第4例)で実行される。
辞書生成部33は、今回の要領書データ36に基づく今回の点検演習作業から、発話内容などのデータを収集する(S13)。このS13の処理は、(第1例)および(第3例)では省略される。
辞書生成部33は、S12の過去の評価モデルに、今回の要領書データ36を入力することで、今回の重要単語辞書34を生成する(S14)。なお、S13が実行される(第2例)および(第4例)では、さらに、S13で収集された発話内容から抽出される復唱確認結果も、併せて、S12の過去の評価モデルに入力される。
辞書生成部33は、
図2で説明したように、S14の重要単語辞書34を音声認識部32に提供することで、今回の点検を支援する(S15)。S15の支援を受け、作業支援システム30は、
図2で説明したように、今回の要領書データ36に基づく作業で、重要単語辞書34に登録された重要単語が発話されたか否かを確認し、発話されなかった重要単語を警告する(
図1の注意喚起欄103B)。
【0023】
図5は、S11およびS13で収集されたデータから抽出される復唱確認結果を示すテーブルである。
復唱確認結果は、要領書データ36に出現する単語ごとに、点検作業者2によって復唱された「復唱回数」と、点検指示者1が発話してから点検作業者2が復唱するまでの発話数を示す「復唱間隔」とが対応付けされる。例えば、
図1の点検指示者1の「ケーブルのリフトをお願いします」に対して、その直後の吹き出しとして点検作業者2の「リフトですね」と復唱されているので、復唱間隔=1(呼びかけの直後に応答する)である。また、点検作業者2が「リフト」と発話する箇所は、合計2か所あるので、復唱回数=2である。
【0024】
図6は、要領書データ36から抽出される2種類の文構造を示す説明図である。
図1でも示した要領書データ101は、点検項目の作業手順を文章として説明している。以下で説明する2種類の文構造で、文章を単語ごとに区切って分解する形態素解析が前処理としてともに実行される。
単語の並び関係111は、形態素解析後の単語列を要領書データ101の登場順に接続した(図面の矢印)データである。単語の並び関係111は、例えば、機械学習ベースのモデルを適用することで、要領書データ101から抽出される。
【0025】
係り受け解析結果112は、形態素解析後の単語列に対して、文を構成する主語、述語、目的語、修飾語などの品詞間の係り受け構造が出力されるデータである。まず、事前に用意された点検単語辞書に登録されている点検用語「リフト」が、文の動詞として抽出される。次に、その動詞「リフト」に対する目的語(=ケーブル、端子)や、指示語「1-2345A、B67、CD890A12、端子T1」などの動詞「リフト」と係り受け構造を有する関連深い単語も、抽出される。
【0026】
図7は、
図6の係り受け解析結果112を示すテーブルである。
このテーブルは、形態素解析後の単語ごとに、その単語が点検用語に該当するか否かを示す情報と、点検用語の動詞に対して各種の係り受け構造(主語、目的語、修飾語、文節など)に該当するか否かを示す情報とを対応付けている。テーブル内の「有」は該当することを示す。
【0027】
図8は、辞書生成部33の第1例の詳細を示す構成図である。
辞書生成部33は、過去の点検作業のデータを処理(
図4のS11,S12)する過去処理部(重要単語抽出装置)10Aと、今回の点検作業のデータを処理(
図4のS13~S15)する今回処理部(作業支援装置)20Aとを有する。
過去処理部10Aは、過去音声認識部12と、単語並び解析部13Aと、学習部15とを有し、過去要領書11と、並び単語14Aと、過去復唱単語16と、評価モデル17とを記憶部に格納する。
過去要領書11は、
図2の要領書データ36として、過去の点検作業に使用されたサンプルとなるデータであり、1つでも複数(n回の過去の点検作業)でもよい。なお、過去の点検作業と、今回の点検作業とでは、作業現場や、その作業現場で行われる点検項目や、その点検項目を点検するチームのメンバは、同じでもよいし異なってもよい。
【0028】
過去音声認識部12は、
図2の音声認識部32として、点検指示者1および点検作業者2から取得した過去要領書11に基づく過去の発話音声から、復唱確認結果を得る。過去音声認識部12は、点検指示者1および点検作業者2の双方で発話(復唱)された単語を、過去復唱単語16として記憶する。なお、過去復唱単語16は、一部の品詞(名詞、動詞、形容詞など)に限り記憶してもよい。また、過去復唱単語16には、
図5に示すように、単語ごとの統計情報(復唱回数、復唱間隔など)も付加してもよい。さらに、過去復唱単語16は、音声認識で抽出する代わりに、手動で入力してもよい。
単語並び解析部13Aは、
図6の単語の並び関係111で説明したように、過去要領書11に出現する単語の並び関係を文構造として抽出し、その抽出結果を並び単語14Aとして記憶する。
【0029】
学習部15は、並び単語14Aおよび過去復唱単語16から、評価モデル17を機械学習する。そして、学習部15は、過去のデータから学習した評価モデル17を、今回処理部20Aの評価モデル25として記憶することで、評価モデル25を今回のデータの推論処理に使用させる。
評価モデル17は、要領書データ36の文構造と、要領書データ36の文を構成する各単語の重要度との関係を学習したモデルである。重要度とは、重要単語として選ばれやすくする度合いであり、例えば値0~1の範囲を取り得る。値0=確実に重要単語ではないことを示し、値1=確実に重要単語であることを示す。
なお、要領書データ36の文を構成する各単語の並び関係は、単語ごとの重要度に影響することが多い。例えば同じ「ケーブル」という単語でも、その直後に「リフトする」などの点検を意味する動詞が存在する場合は重要度が大きくなる。一方、「ケーブル」という単語の直後に「販売する」などの点検とは関係ない動詞が存在する場合は、「ケーブル」の重要度は小さくなる。
【0030】
ここで、学習部15は、過去復唱単語16も評価モデル17の入力データとすることで、以下に例示するように、復唱確認結果が単語ごとの重要度に反映させる。
・過去復唱単語16に含まれる単語(
図5のテーブルにおける復唱回数≧1の単語)の重要度を、過去復唱単語16に含まれない単語の重要度よりも上げる。
・
図5のテーブルにおける復唱回数が多い単語ほど、単語の重要度を大きく上げる。
・
図5のテーブルにおける復唱間隔が短い単語ほど、単語の重要度を大きく上げる。
【0031】
今回処理部20Aは、単語並び解析部22Aと、識別部24とを有し、今回の要領書データ36と、並び単語23Aと、評価モデル25と、過去復唱単語16と、今回の重要単語辞書34とを記憶部に格納する。単語並び解析部22Aは、単語並び解析部13Aと同様に、今回の要領書データ36に出現する単語の並び関係を文構造として抽出し、その抽出結果を並び単語23Aとして記憶する。
識別部24は、機械学習の学習部15に対応する機械学習の推論部として機能する。つまり、識別部24は、評価モデル25に対して並び単語23Aを入力することで、その並び単語23Aの単語別の重要度を評価モデル25から出力させる。そして、識別部24は、単語別の重要度から、例えば、「重要度>0.80なら重要単語とする」などの判定式を用いて、並び単語23Aから重要単語を抽出し、その抽出結果を今回の重要単語辞書34とする。
【0032】
図9は、
図8の評価モデル17の詳細を示す説明図である。
並び単語201は、
図8の並び単語14Aに対応する評価モデル17への入力データである。ベクトル変換202は、並び単語201を単語ベクトル203に変換する処理部であり、評価モデル17の入力層に該当する。
単語ベクトル203は、並び単語201の各単語について、1つの単語を複数のベクトル成分値で表現したデータである。並び単語201の先頭の単語「下記」は、先頭の単語ベクトル203「x1」に変換され、並び単語201の2番目の単語「ケーブル」は、2番目の単語ベクトル203「x2」に変換される。なお、7番目の単語「(2-921A)」に対応する7番目の単語ベクトル203「x7」は、どのベクトル成分値も「1」であるため未知語であり、未知語は専門用語である可能性が高く重要語になりやすい。
【0033】
中間層204は、各単語の単語ベクトル203を並び単語201の並び順に入力することで、各単語の推定結果205を出力する処理部であり、評価モデル17の中間層に該当する。なお、
図9では、評価モデル17として、RNN(Recurrent Neural Network)、LSTM(Long short-term memory)などの時系列DNN(Deep Neural Network)モデルを用いている。そのため、評価関数h1、h2、…、h4、…、h7は、1つずつ後段の評価関数と接続されている。中間層204の先頭の評価関数h1は、並び単語201の先頭の単語「下記」を入力し、中間層204の2番目の評価関数h1は、並び単語201の2番目の単語「ケーブル」を入力する。
【0034】
推定結果205は、中間層204の評価結果として、並び単語201の各単語について、推定結果ベクトル(y1,y2,…,y7)と、尤度(値0~値1の範囲)との組み合わせを示し、評価モデル17の入力層に該当する。
推定結果ベクトルは、上下2つの値を格納するベクトルであり、上の値が「重要単語である」と分類されたことを「値1」で示し、下の値が「重要単語でない」と分類されたことを「値1」で示す。
尤度は、重要単語になりやすさを示す値であり、数値が大きいほど重要単語になりやすい。
【0035】
重要単語206は、評価モデル17の出力データに該当する単語のリストである。識別部24は、例えば、推定結果205から、推定結果ベクトルで「重要単語」と分類され、かつ尤度が所定値(0.80)以上の単語を重要単語206に重要度=尤度として追加する。一方、尤度の値にかかわらず、推定結果ベクトルで「重要単語」と分類された単語については、識別部24は、重要度=0として重要単語206から除外する。
学習部15は、
図8の並び単語14Aを
図9の並び単語201として評価モデル17に入力し、その評価モデル17から重要単語206として過去復唱単語16が出力されるように、評価モデル17を学習する。換言すると、過去復唱単語16は、評価モデル17が出力する重要単語206の正解を示す教材データとして、学習部15の機械学習に活用される。
【0036】
以上、
図8、
図9を参照して説明した辞書生成部33の第1例は、以下の特徴を有する。
評価モデル17は、時系列の入力データを受け付けるモデルである。
過去処理部10Aおよび今回処理部20Aは、要領書データ36から抽出した単語の並び関係を文構造として抽出し、その抽出した単語の並び関係を時系列の入力データとして評価モデル17に入力する。
【0037】
図10は、辞書生成部33の第2例の詳細を示す構成図である。
辞書生成部33は、過去の点検作業のデータを処理する過去処理部10Bと、今回の点検作業のデータを処理する今回処理部20Bとを有する。
過去処理部10Bは
図8の過去処理部10Aと同じである。
図10の第2例での今回処理部20Bは、
図8の今回処理部20Aに対して、演習音声認識部26Bおよび演習復唱単語27Bが追加される。
【0038】
演習音声認識部26Bは、今回の点検作業の演習を対象として、過去音声認識部12と同様に、点検指示者1および点検作業者2から取得した今回の要領書データ36に基づく発話音声から演習復唱単語27Bを得る。演習復唱単語27Bは、過去復唱単語16と同じように復唱された単語を示すが、復唱された時点が過去から現在(今回)に置き換わる。なお、演習復唱単語27Bは、音声認識で抽出する代わりに、手動で入力してもよい。
識別部24は、並び単語23Aに加えて演習復唱単語27Bも評価モデル25に入力することで、並び単語23Aから重要単語を抽出し、その抽出結果を今回の重要単語辞書34とする。これにより、演習復唱単語27Bを重要単語の判定に考慮させることで、重要単語の検出精度を向上させる。
【0039】
以上、
図10を参照して説明した辞書生成部33の第2例は、以下の特徴を有する。
今回処理部20Bは、今回の要領書データ36に基づく点検作業よりも前に実行される、今回の要領書データ36に基づく演習時に複数の人物によって共通で発話された今回の要領書データ36に含まれる単語を、評価モデル17の入力データに追加する。
【0040】
図11は、
図10の評価モデル17の詳細を示す説明図である。
図11の評価モデル17は、
図9の評価モデル17と基本的に同じであるが、
図11の単語ベクトル203Bには、単語ごとに演習復唱単語フラグ203B1が末尾に追加されている。演習復唱単語フラグ203B1は、単語ごとに
図10の演習復唱単語27Bに含まれているか(値=1)否か(値=0)を示す。この演習復唱単語フラグ203B1の拡張により、中間層204は、演習復唱単語27Bも考慮して、各単語の推定結果205を出力できる。
【0041】
図12は、辞書生成部33の第3例の詳細を示す構成図である。
辞書生成部33は、過去の点検作業のデータを処理する過去処理部10Cと、今回の点検作業のデータを処理する今回処理部20Cとを有する。
図12の第3例は、
図8の第1例に対して、要領書データ36から文構造を抽出する方式を、単語並び解析部13Aの方式から、係り受け解析部13Cの方式に置き換えたものである。そのため、
図12の過去処理部10Cは、
図8の過去処理部10Aに対して、単語並び解析部13Aおよび並び単語14Aが削除され、代わりに、係り受け解析部13C、係り受け単語14C、および、点検単語辞書18Cが追加される。
点検単語辞書18C、点検単語辞書21Cは、「リフトする」などの点検時に発話される可能性が高い動詞が、点検用語として事前に登録された辞書である。
【0042】
係り受け解析部13Cは、
図6の係り受け解析結果112で示したように、過去要領書11の文から点検単語辞書18Cの点検用語に着目し、その点検用語に対して係り受け関係を有する他の単語を、係り受け単語14Cとして抽出する。係り受け単語14Cは、
図7に示したように、点検用語に加え、その点検用語に対して係り受け関係を有する他の単語ごとに、どのような係り受け関係(主語、目的語、…)にあるかを示す情報(以下、単語の「特徴量」)も付加されている。
図12の評価モデル17は、
図8の評価モデル17と同様に、要領書データ36の文構造と、要領書データ36の文を構成する各単語の重要度との関係を学習したモデルである。
図8の評価モデル17では、要領書データ36の文構造として、単語並び解析部13Aが抽出した並び単語14Aを入力していた。一方、
図12の評価モデル17では、要領書データ36の文構造として、係り受け解析部13Cが抽出した係り受け単語14Cおよびその特徴量を入力するように置き換わる。
【0043】
なお、第3例および第4例の評価モデル17は、以下のいずれかを用いて実現される。
・第1例および第2例で用いた、
図9で示したLSTMなどの時系列DNNモデル。
・ニューラルネットワークやサポートベクターマシン、回帰分析などによりモデル化する。
・
図7のテーブルの情報(その単語は点検用語かどうか、その単語は点検用語の主語にあたるか、など)を単語ごとの特徴量として入力して、その特徴量から単語ごとの重要度を計算する評価関数。
この評価関数は、例えば、単語ごとに、その単語から抽出される特徴量どうしの全結合である。そして、学習部15は、係り受け単語14Cを評価モデル17の評価関数に入力し、その評価関数から重要単語206として過去復唱単語16が出力されるように、評価関数の内容を学習(更新)する。
【0044】
なお、まだ学習部15が学習していない評価モデル17の初期状態は、例えば、以下のいずれかの方法により作成される。
(方法1)点検単語辞書18Cの点検用語のみが重要単語として出力される評価モデル17を作成する。
(方法2)点検単語辞書18Cの点検用語に加え、サンプルとなる要領書に記載されている点検用語の係り受け関係(主語、目的語、…)となる単語も、重要単語として出力される評価モデル17を作成する。
(方法3)点検単語辞書18Cの点検用語に加え、演習で抽出した発話内容における点検用語の係り受け関係となる単語も、重要単語として出力される評価モデル17を作成する。
【0045】
図12の今回処理部20Cは、
図8の今回処理部20Aに対して、単語並び解析部22Aおよび並び単語23Aが削除され、代わりに、点検単語辞書21C、係り受け解析部22C、および、係り受け単語23Cが追加される。
係り受け解析部22Cは、係り受け解析部13Cと同様に、今回の要領書データ36の文から点検単語辞書21Cの点検用語に着目し、その点検用語に対して係り受け関係を有する他の単語を、係り受け単語23Cとして抽出する。そして、識別部24は、係り受け単語23Cを評価モデル25(時系列DNNモデルまたは評価関数)に入力し、その評価モデル25から出力される重要単語を今回の重要単語辞書34に登録する。
【0046】
以上、
図11、
図12を参照して説明した辞書生成部33の第3例は、以下の特徴を有する。
評価モデル17は、単語間の係り受け関係を示す特徴量の入力データを受け付けるモデルである。
過去処理部10Cおよび今回処理部20Cは、要領書データ36から抽出した点検の動作を示す点検用語に対する単語間の係り受け関係を示す特徴量を文構造として抽出し、その抽出した特徴量を入力データとして評価モデル17に入力する。
今回処理部20Cは、重要単語辞書34に登録した重要単語のうちの動詞を、次回の点検用語として登録してもよい。
【0047】
図13は、辞書生成部33の第4例の詳細を示す構成図である。
辞書生成部33は、過去の点検作業のデータを処理する過去処理部10Dと、今回の点検作業のデータを処理する今回処理部20Dとを有する。
過去処理部10Dは
図12の過去処理部10Cと同じである。
図13の第4例での今回処理部20Dは、
図12の今回処理部20Cに対して、演習音声認識部26Dおよび演習復唱単語27Dが追加される。演習音声認識部26Dおよび演習復唱単語27Dは、
図10の演習音声認識部26Bおよび演習復唱単語27Bと同じである。
【0048】
演習音声認識部26Dは、今回の点検作業の演習を対象として、過去音声認識部12と同様に、点検指示者1および点検作業者2から取得した今回の要領書データ36に基づく発話音声から演習復唱単語27Dを得る。
評価モデル25は、例えば、
図12の評価モデル17で示した単語ごとの特徴量(その単語は点検用語かどうかなど)に加えて、演習復唱単語27Dの統計情報(
図5の復唱回数、復唱間隔など)も評価関数の入力データとするモデルである。
識別部24は、並び単語23Aに加えて演習復唱単語27Dも評価モデル25に入力することで、並び単語23Aから重要単語を抽出し、その抽出結果を今回の重要単語辞書34とする。これにより、演習復唱単語27Dを重要単語の判定に考慮させることで、重要単語の検出精度を向上させる。
さらに、識別部24は、重要単語の抽出結果のうちの動詞を、次回に使用する点検用語として点検単語辞書21Cにも追加してもよい。これにより、次回の重要単語の抽出数を増加させることができる。
【0049】
以上、
図13を参照して説明した辞書生成部33の第4例は、以下の特徴を有する。
評価モデル17は、単語間の係り受け関係を示す特徴量に加え、複数の人物によって共通で発話された単語についての統計情報を示す特徴量の入力データを受け付けるモデルである。
今回処理部20Dは、今回の要領書データ36に基づく点検作業よりも前に実行される、今回の要領書データ36に基づく演習時に複数の人物によって共通で発話された単語についての統計情報を、評価モデル17の入力データに追加する。
【0050】
以上説明した本実施形態の辞書生成部33は、過去処理部10A~10Dと、今回処理部20A~20Dとを有する。
過去処理部10A~10Dは、要領書データ36から抽出した文構造から要領書データ36に含まれる重要単語を評価する評価モデル17に対して、複数の人物によって共通で発話された過去要領書11に含まれる単語を、過去要領書11に含まれる重要単語として出力するように評価モデル17を学習する。
今回処理部20A~20Dは、今回の要領書データ36から抽出した文構造を評価モデル17に入力することで、評価モデル17から出力される重要単語を、今回の要領書データ36に基づく点検作業で発話されたか否かを確認するキーワードとして重要単語辞書34に登録する(第1例~第4例で共通する特徴)。
これにより、過去復唱単語16として過去の点検作業に実績のある重要単語が、今回の重要単語辞書34にも抽出されることで、作業内容を示す重要単語を、適切に設定することができる。さらに、過去要領書11から抽出した文構造の単語をもとに重要単語を抽出することで、点検作業に用いられない単語についてはノイズとして適切に重要単語辞書34から除外できる。
【0051】
さらに、辞書生成部33の(第1例)および(第2例)では、単語の並び関係を文構造として抽出する。これにより、少ない計算量で文構造を抽出できる。一方、辞書生成部33の(第3例)および(第4例)では、単語間の係り受け関係を文構造として抽出する。これにより、文章の意味まで踏み込んだ高精度の文構造を抽出できる。
また、辞書生成部33の(第2例)および(第4例)では、過去の点検時だけでなく今回の演習(リハーサル)時の発話内容も評価モデル17に反映される。これにより、今回の要領書データ36として、演習時と点検本番時とで同じ要領書を用いるので、点検本番前に高精度な重要単語辞書34を用意できる。
【0052】
さらに、本発明は上述した各実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した各実施形態は本発明を分かりやすく説明するために作業支援システム30の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
【0053】
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などの広義のプロセッサデバイスを用いてもよい。
また、上述した実施形態にかかる作業支援システム30の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実行される処理が、1つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
【符号の説明】
【0054】
1 点検指示者
2 点検作業者
3 点検端末
10A,10B,10C,10D 過去処理部(重要単語抽出装置)
11 過去要領書(過去の要領書)
12 過去音声認識部
13A 単語並び解析部
14A 並び単語
13C 係り受け解析部
14C 係り受け単語
15 学習部
16 過去復唱単語
17 評価モデル
18C 点検単語辞書
20A,20B,20C,20D 今回処理部(作業支援装置)
21C 点検単語辞書
22A 単語並び解析部
23A 並び単語
22C 係り受け解析部
23C 係り受け単語
24 識別部
25 評価モデル
26B,26D 演習音声認識部
27B,27D 演習復唱単語
30 作業支援システム
31 点検結果通知部
32 音声認識部
33 辞書生成部
34 重要単語辞書
35 要領書通知部
36 要領書データ(今回の要領書)
100 作業システム
【手続補正書】
【提出日】2024-02-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
要領書から抽出した文構造から要領書に含まれる重要単語を評価する評価モデルに対して、過去の要領書に基づく過去の作業で用いられた単語を、前記過去の要領書に含まれる重要単語として出力するように前記評価モデルを学習する重要単語抽出装置と、
今回の要領書から抽出した文構造を前記評価モデルに入力することで、前記評価モデルから出力される重要単語を、前記今回の要領書に基づく作業で用いるキーワードとして重要単語辞書に登録する作業支援装置とを有することを特徴とする
作業支援システム。
【請求項2】
前記評価モデルは、時系列の入力データを受け付けるモデルであり、
前記重要単語抽出装置および前記作業支援装置は、要領書から抽出した単語の並び関係を文構造として抽出し、その抽出した単語の並び関係を時系列の入力データとして前記評価モデルに入力することを特徴とする
請求項1に記載の作業支援システム。
【請求項3】
前記作業支援装置は、前記今回の要領書に基づく作業よりも前に実行される、前記今回の要領書に基づく演習時に複数の人物によって共通で発話された前記今回の要領書に含まれる単語を、前記評価モデルの入力データに追加することを特徴とする
請求項2に記載の作業支援システム。
【請求項4】
前記評価モデルは、単語間の係り受け関係を示す特徴量の入力データを受け付けるモデルであり、
前記重要単語抽出装置および前記作業支援装置は、要領書から抽出した作業の動作を示す作業用語に対する単語間の係り受け関係を示す特徴量を文構造として抽出し、その抽出した特徴量を入力データとして前記評価モデルに入力することを特徴とする
請求項1に記載の作業支援システム。
【請求項5】
前記作業支援装置は、前記重要単語辞書に登録した重要単語のうちの動詞を、次回の前記作業用語として登録することを特徴とする
請求項4に記載の作業支援システム。
【請求項6】
前記評価モデルは、単語間の係り受け関係を示す特徴量に加え、複数の人物によって共通で発話された単語についての統計情報を示す特徴量の入力データを受け付けるモデルであり、
前記作業支援装置は、前記今回の要領書に基づく作業よりも前に実行される、前記今回の要領書に基づく演習時に前記複数の人物によって共通で発話された単語についての統計情報を、前記評価モデルの入力データに追加することを特徴とする
請求項4に記載の作業支援システム。
【請求項7】
前記重要単語抽出装置は、過去の要領書に基づく過去の作業で用いられた単語のうち、複数の人物によって共通で発話された過去の要領書に含まれる単語を、前記過去の要領書に含まれる重要単語として出力することを特徴とする
請求項1に記載の作業支援システム。
【請求項8】
前記複数の人物とは、1人の作業指示者が、1人以上の作業者に作業を指示するチームであり、
前記複数の人物によって共通で発話された単語とは、前記作業指示者が先に発話し、前記作業者がその発話に反応して復唱した単語であることを特徴とする
請求項7に記載の作業支援システム。
【請求項9】
前記作業支援装置は、前記今回の要領書に基づく作業で、前記重要単語辞書に登録された重要単語が発話されたか否かを確認し、発話されなかった重要単語を警告することを特徴とするを特徴とする
請求項1に記載の作業支援システム。
【請求項10】
過去の要領書に基づく過去の作業で用いられた単語を、前記過去の要領書に含まれる重要単語として出力するように学習されており、要領書から抽出した文構造から要領書に含まれる重要単語を評価する評価モデルに対して、今回の要領書から抽出した文構造を前記評価モデルに入力することで、前記評価モデルから出力される重要単語を、前記今回の要領書に基づく作業で用いるキーワードとして重要単語辞書に登録する今回処理部を有することを特徴とする
作業支援装置。
【請求項11】
作業支援システムは、重要単語抽出装置と、作業支援装置とを有しており、
前記重要単語抽出装置は、要領書から抽出した文構造から要領書に含まれる重要単語を評価する評価モデルに対して、過去の要領書に基づく過去の作業で用いられた単語を、前記過去の要領書に含まれる重要単語として出力するように前記評価モデルを学習し、
前記作業支援装置は、今回の要領書から抽出した文構造を前記評価モデルに入力することで、前記評価モデルから出力される重要単語を、前記今回の要領書に基づく作業で用いるキーワードとして重要単語辞書に登録することを特徴とする
作業支援方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正の内容】
【0011】
前記課題を解決するために、本発明の作業支援システムは、以下の特徴を有する。
本発明は、要領書から抽出した文構造から要領書に含まれる重要単語を評価する評価モデルに対して、過去の要領書に基づく過去の作業で用いられた単語を、前記過去の要領書に含まれる重要単語として出力するように前記評価モデルを学習する重要単語抽出装置と、
今回の要領書から抽出した文構造を前記評価モデルに入力することで、前記評価モデルから出力される重要単語を、前記今回の要領書に基づく作業で用いるキーワードとして重要単語辞書に登録する作業支援装置とを有することを特徴とする。
その他の手段は、後記する。