(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】作業車音声操作システム、作業車の音声操作方法及びプログラム
(51)【国際特許分類】
B66C 13/40 20060101AFI20240903BHJP
B66C 15/00 20060101ALI20240903BHJP
B66F 11/04 20060101ALI20240903BHJP
【ＦＩ】
B66C13/40 D
B66C15/00 A
B66F11/04
【請求項の数】
6
(21)【出願番号】P 2020140251
(22)【出願日】2020-08-21
(65)【公開番号】P2022035731
(43)【公開日】2022-03-04
【審査請求日】2023-06-01
(73)【特許権者】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100131152
【弁理士】
【氏名又は名称】八島 耕司
(74)【代理人】
【識別番号】100145229
【弁理士】
【氏名又は名称】秋山 雅則
(74)【代理人】
【識別番号】100201352
【弁理士】
【氏名又は名称】豊田 朝子
(72)【発明者】
【氏名】白川 友理
(72)【発明者】
【氏名】三木 俊彦
(72)【発明者】
【氏名】河合 清孝
【審査官】山田 拓実
(56)【参考文献】
【文献】特開２００２－０４９４０３（ＪＰ，Ａ）
【文献】実開平０６－０１４１９９（ＪＰ，Ｕ）
【文献】特開２００３－０９５５９８（ＪＰ，Ａ）
【文献】特開２０１７－０８８３８５（ＪＰ，Ａ）
【文献】特開２０１７－１６０００７（ＪＰ，Ａ）
【文献】実開平０１－１１８９９９（ＪＰ，Ｕ）
【文献】特開２００４－２９４８７２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６６Ｃ １３／００－１５／０６
Ｂ６６Ｆ ９／００－１１／０４
(57)【特許請求の範囲】
【請求項1】
作業車を操作するためにオペレータが発声する音声指示を音声認識する音声認識装置から音声認識結果を取得する音声認識結果取得部と、前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定部と、
前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成部と、
前記応答生成部が生成した前記応答を提示する提示部と、
を備える作業車音声操作システム。
【請求項2】
作業車を操作するためにオペレータが発声する音声指示を音声認識する音声認識装置から音声認識結果を取得する音声認識結果取得部と、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定部と、
前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成部と、
前記応答生成部が生成した前記応答を提示する提示部と、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成部が生成する毎にその音声指示の操作内容を記憶することにより、操作の履歴を記憶する記憶部と、
を備え、
前記応答生成部は、前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定部によって選定された前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶部に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する、
作業車音声操作システム。
【請求項3】
作業車を操作するためにオペレータが発声する音声指示を第一コンピュータ又は、第二コンピュータが音声認識する音声認識ステップと、前記第二コンピュータが、前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記第二コンピュータが、前記音声認識ステップで音声認識した音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
を備える作業車の音声操作方法。
【請求項4】
作業車を操作するためにオペレータが発声する音声指示を電気信号に変換して音声データとして出力するマイクロフォンと、前記音声データを音声認識する音声認識装置とを用いて、前記作業車を音声操作するプログラムであって、コンピュータに、
前記音声認識装置から音声認識結果を取得する音声認識結果取得ステップと、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
を実行させるためのプログラム。
【請求項5】
作業車を操作するためにオペレータが発声する音声指示を第一コンピュータ又は、第二コンピュータが音声認識する音声認識ステップと、
前記第二コンピュータが、前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記第二コンピュータが、前記音声認識ステップで音声認識した音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識ステップで音声認識した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成ステップで生成する毎に、前記第二コンピュータが、その音声指示の操作内容を記憶装置に記憶させることにより、操作の履歴を記憶する記憶ステップと、
を備え、
前記応答生成ステップでは、前記音声認識ステップで音声認識した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定ステップで選定した前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶装置に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する、
作業車の音声操作方法。
【請求項6】
作業車を操作するためにオペレータが発声する音声指示を電気信号に変換して音声データとして出力するマイクロフォンと、前記音声データを音声認識する音声認識装置と、記憶装置とを用いて、前記作業車を音声操作するプログラムであって、
コンピュータに、
前記音声認識装置から音声認識結果を取得する音声認識結果取得ステップと、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成ステップで生成する毎に、その音声指示の操作内容を前記記憶装置に記憶させることにより、操作の履歴を記憶させる記憶ステップと、
を実行させ、
前記応答生成ステップでは、前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定ステップで選定した前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶装置に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は作業車音声操作システム、作業車の音声操作方法及びプログラムに関する。
【背景技術】
【0002】
作業車には、音声操作によって作業車の各部装置を操作できるものがある。
【0003】
例えば、特許文献１には、オペレータが発声する音声指示を音声認識する音声操作装置によって、ブーム、巻き上げ装置等のクレーン各部装置を音声操作することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１６０００７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、作業車では、作業車の姿勢又は状態に応じて操作に規制がかかることがある。例えば、アウトリガのジャッキが設置されていない状態では、ブーム操作に規制がかかり、ブーム操作ができない。
【0006】
しかし、特許文献１に記載の音声操作装置は、音声指示を音声認識及び音声分析をして操作情報を抽出し、抽出した操作情報に基づいて操作を行うだけである。このため、オペレータが作業車の姿勢、状態によって操作に規制がかかっていることに気付かないで、その規制された操作を音声指示してしまった場合、特許文献１に記載の音声操作装置は、その音声指示から抽出した操作情報で操作を行ってしまうおそれがある。
【0007】
このような音声操作装置による操作は、安全を確保するため、作業車のコントローラによって阻止されてしまうが、その場合、オペレータの音声指示それ自体が無駄となってしまう。また、オペレータからすれば、実行される音声操作と実行されない音声操作が混在していることになり、音声操作が難しくなってしまう。
【0008】
本発明は上記の課題を解決するためになされたもので、作業車の操作に規制がかかっている場合でも、容易に音声操作できる作業車音声操作システム、作業車の音声操作方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の目的を達成するため、本発明の第一の観点に係る作業車音声操作システムは、
作業車を操作するためにオペレータが発声する音声指示を音声認識する音声認識装置から音声認識結果を取得する音声認識結果取得部と、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定部と、
前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成部と、
前記応答生成部が生成した前記応答を提示する提示部と、
を備える。
作業車を操作するためにオペレータが発声する音声指示を音声認識する音声認識装置から音声認識結果を取得する音声認識結果取得部と、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定部と、
前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成部と、
前記応答生成部が生成した前記応答を提示する提示部と、
を備える。
【0010】
また、本発明の第二の観点に係る作業車音声操作システムは、
作業車を操作するためにオペレータが発声する音声指示を音声認識する音声認識装置から音声認識結果を取得する音声認識結果取得部と、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定部と、
前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成部と、
前記応答生成部が生成した前記応答を提示する提示部と、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成部が生成する毎にその音声指示の操作内容を記憶することにより、操作の履歴を記憶する記憶部と、
を備え、
前記応答生成部は、前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定部によって選定された前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶部に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する。
作業車を操作するためにオペレータが発声する音声指示を音声認識する音声認識装置から音声認識結果を取得する音声認識結果取得部と、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定部と、
前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成部と、
前記応答生成部が生成した前記応答を提示する提示部と、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成部が生成する毎にその音声指示の操作内容を記憶することにより、操作の履歴を記憶する記憶部と、
を備え、
前記応答生成部は、前記音声認識結果取得部によって取得された前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定部によって選定された前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶部に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する。
【0011】
さらに、本発明の第三の観点に係る作業車の音声操作方法は、
作業車を操作するためにオペレータが発声する音声指示を第一コンピュータ又は、第二コンピュータが音声認識する音声認識ステップと、
前記第二コンピュータが、前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記第二コンピュータが、前記音声認識ステップで音声認識した音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
を備える。
作業車を操作するためにオペレータが発声する音声指示を第一コンピュータ又は、第二コンピュータが音声認識する音声認識ステップと、
前記第二コンピュータが、前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記第二コンピュータが、前記音声認識ステップで音声認識した音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
を備える。
【0012】
また、本発明の第四の観点に係る作業車を操作するためのプログラムは、
作業車を操作するためにオペレータが発声する音声指示を電気信号に変換して音声データとして出力するマイクロフォンと、前記音声データを音声認識する音声認識装置とを用いて、前記作業車を音声操作するプログラムであって、
コンピュータに、
前記音声認識装置から音声認識結果を取得する音声認識結果取得ステップと、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
を実行させるためのものである。
作業車を操作するためにオペレータが発声する音声指示を電気信号に変換して音声データとして出力するマイクロフォンと、前記音声データを音声認識する音声認識装置とを用いて、前記作業車を音声操作するプログラムであって、
コンピュータに、
前記音声認識装置から音声認識結果を取得する音声認識結果取得ステップと、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれているか否かを判定し、該指示が含まれていないと判定した場合に、前記音声認識結果に含まれる該指示以外の語彙に対する応答が格納された応答データベースを参照して応答を生成し、該指示が含まれていると判定した場合に、さらに該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示であるか否かを判定して、該指示が前記規制操作の指示であると判定した場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、該指示が前記規制操作の指示でないと判定した場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
を実行させるためのものである。
【0013】
また、本発明の第五の観点に係る作業車の音声操作方法は、
作業車を操作するためにオペレータが発声する音声指示を第一コンピュータ又は、第二コンピュータが音声認識する音声認識ステップと、
前記第二コンピュータが、前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記第二コンピュータが、前記音声認識ステップで音声認識した音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識ステップで音声認識した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成ステップで生成する毎に、前記第二コンピュータが、その音声指示の操作内容を記憶装置に記憶させることにより、操作の履歴を記憶する記憶ステップと、
を備え、
前記応答生成ステップでは、前記音声認識ステップで音声認識した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定ステップで選定した前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶装置に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する。
さらに、本発明の第六の観点に係る作業車を操作するためのプログラムは、
作業車を操作するためにオペレータが発声する音声指示を電気信号に変換して音声データとして出力するマイクロフォンと、前記音声データを音声認識する音声認識装置と、記憶装置とを用いて、前記作業車を音声操作するプログラムであって、
コンピュータに、
前記音声認識装置から音声認識結果を取得する音声認識結果取得ステップと、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成ステップで生成する毎に、その音声指示の操作内容を前記記憶装置に記憶させることにより、操作の履歴を記憶させる記憶ステップと、
を実行させ、
前記応答生成ステップでは、前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定ステップで選定した前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶装置に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する。
作業車を操作するためにオペレータが発声する音声指示を第一コンピュータ又は、第二コンピュータが音声認識する音声認識ステップと、
前記第二コンピュータが、前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記第二コンピュータが、前記音声認識ステップで音声認識した音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識ステップで音声認識した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成ステップで生成する毎に、前記第二コンピュータが、その音声指示の操作内容を記憶装置に記憶させることにより、操作の履歴を記憶する記憶ステップと、
を備え、
前記応答生成ステップでは、前記音声認識ステップで音声認識した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定ステップで選定した前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶装置に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する。
さらに、本発明の第六の観点に係る作業車を操作するためのプログラムは、
作業車を操作するためにオペレータが発声する音声指示を電気信号に変換して音声データとして出力するマイクロフォンと、前記音声データを音声認識する音声認識装置と、記憶装置とを用いて、前記作業車を音声操作するプログラムであって、
コンピュータに、
前記音声認識装置から音声認識結果を取得する音声認識結果取得ステップと、
前記作業車が備える姿勢検出器又は状態検出器が検出した前記作業車の姿勢又は状態に基づいて前記姿勢又は前記状態のもとで実行できる実行可能操作を選定する実行可能操作選定ステップと、
前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記姿勢又は前記状態のもとで規制される規制操作の指示である場合に、該指示に代えて前記実行可能操作を勧める応答を生成すると共に、前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示でない場合に、該指示の操作を実行する旨の応答を生成する応答生成ステップと、
前記オペレータが音声で指示した操作を実行する旨の応答を前記応答生成ステップで生成する毎に、その音声指示の操作内容を前記記憶装置に記憶させることにより、操作の履歴を記憶させる記憶ステップと、
を実行させ、
前記応答生成ステップでは、前記音声認識結果取得ステップで取得した前記音声認識結果に前記作業車を操作するための指示が含まれ、かつ該指示が前記規制操作の指示であり、前記実行可能操作選定ステップで選定した前記実行可能操作が複数ある場合に、それら複数の前記実行可能操作のうち、前記記憶装置に記憶された前記履歴のデータで最近の操作又は最も頻度が高い操作に該当する前記実行可能操作を勧める応答を生成する。
【発明の効果】
【0014】
本発明の構成によれば、音声認識結果に作業車を操作するための指示が含まれ、かつその指示が規制操作の指示である場合に、応答生成部が、その指示に代えて実行可能操作を勧める応答を生成し、提示部が生成された応答を提示する。このため、オペレータが誤って規制操作を音声で指示しても、その操作に代わる実行可能操作が提示されるので、円滑に音声操作をすることができる。その結果、音声操作が容易である。
【図面の簡単な説明】
【0015】
【図1】本発明の実施の形態１に係る作業車音声操作システムのシステム構成図である。
【図2】作業車音声操作システムの操作対象である高所作業車の側面図である。
【図3】作業車音声操作システムが備える携帯端末の制御部のブロック図である。
【図4】制御部が備える実行可能操作選定部が取得する規制操作情報のデータ構成図の一例である。
【図5】記憶部に格納された作業車操作データベースのデータ構成図の一例である。
【図6】記憶部に格納されたコマンド辞書のデータ構成図の一例である。
【図7】作業車音声操作システムが実施する作業車音声操作処理のフローチャートである。
【図8】本発明の実施の形態２に係る作業車音声操作システムが備える携帯端末の制御部のブロック図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態に係る作業車音声操作システム、作業車の音声操作方法及びプログラムについて図面を参照して詳細に説明する。なお、図中、同一又は同等の部分には同一の符号を付す。
【0017】
【0018】
【0019】
図１に示すように、作業車音声操作システム１Ａは、高所作業車５を操作するための音声指示が入力される携帯端末２Ａと、入力された音声を音声認識するサーバー３と、音声認識の認識結果に基づいて高所作業車５を制御するコントローラ４Ａと、によって構成されている。
【0020】
携帯端末２Ａは、オペレータが携帯することが可能な小型かつ軽量な情報端末装置である。例えば、携帯端末２Ａは、スマートフォン、タブレット型コンピュータである。携帯端末２Ａは、マイクロフォン２１、制御部２２、スピーカ２３、記憶部２４及び、通信部２５を備える。
【0021】
マイクロフォン２１は、音声を電気信号に変換して音声データとして出力する。マイクロフォン２１は、携帯端末２Ａを携帯するオペレータが、高所作業車５を操作するために音声指示を発声すると、その音声指示を音声データとして出力する。マイクロフォン２１は、その音声データを制御部２２に送信する。
【0022】
制御部２２は、演算処理を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むメモリとを含むマイクロコンピュータを備える。ＣＰＵは、ＲＯＭ又は記憶部２４に記憶されたプログラムをＲＡＭに読み出して実行することにより、携帯端末２Ａの各部を制御する。例えば、制御部２２は、ＣＰＵが作業車音声操作プログラムを実行することにより、作業車音声操作処理を行う。
【0023】
詳細には、制御部２２は、通信部２５を制御して、マイクロフォン２１に入力されたオペレータの音声指示の音声データをサーバー３に送信する。また、サーバー３から送信される音声認識結果を受信する。制御部２２は、その音声認識結果に基づいて、オペレータの音声指示に対する応答を生成する。そして、生成した応答データをスピーカ２３に出力する。また、制御部２２は、サーバー３の音声認識結果に基づいて、高所作業車５を操作するための操作信号を生成し、生成した操作信号を通信部２５に送信する。
【0024】
スピーカ２３は、応答データの電気信号を音声に変換して出力する。スピーカ２３は、制御部２２から上記応答データを受信した場合に、その応答データを音声に変換して出力する。これにより、スピーカ２３は、生成された応答をオペレータに提示する。
【0025】
一方、記憶部２４は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｉｃａｌ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）又はフラッシュメモリ等の記憶装置を有し、上述した作業車音声操作プログラムを記憶する。
【0026】
通信部２５は、図示しない無線通信回路とアンテナを備え、インターネット、構内ネットワーク又は、車内ネットワーク等のネットワーク１００に接続して、サーバー３及びコントローラ４Ａと無線でデータ通信を行う。例えば、通信部２５は、制御部２２から受信した音声指示の音声データをサーバー３に送信する。また、制御部２２から受信した操作信号をコントローラ４Ａに送信する。
【0027】
サーバー３は、制御部３１、記憶部３２及び通信部３３を備える。制御部３１は、図示しないＣＰＵ、ＲＯＭ及び、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラム及びデータを読み出し、かつＲＡＭをワークエリアとして用いることにより、サーバー３を統括的に制御する。また、記憶部３２は、図示しないＥＥＰＲＯＭ又はフラッシュメモリ等を有し、各種処理を行うための各種プログラム、そのデータ及び、生成、取得される各種データを記憶する。通信部３３は、ネットワーク１００に接続して、携帯端末２Ａ及びコントローラ４Ａと通信する。
【0028】
サーバー３は、制御部３１が記憶部３２に格納された音声認識プログラムを実行することにより、音声認識処理を行う。詳細には、サーバー３は、携帯端末２Ａの通信部２５からオペレータの音声指示の音声データを受信して、その音声データを音声認識する。そして、サーバー３は、音声認識結果を携帯端末２Ａの通信部２５へ送信する。
【0029】
一方、コントローラ４Ａは、高所作業車５に設けられ、高所作業車５の各部装置を制御する。
【0030】
詳細には、コントローラ４Ａは、図示しないが、演算処理を行うＣＰＵと、ＲＯＭ及びＲＡＭを含むメモリとを含むコンピュータを備える。コントローラ４Ａは、図１に示す記憶装置６１又は、図示しないＲＯＭに記憶された作動プログラムを、ＣＰＵがＲＡＭに読み出して実行する。これにより、コントローラ４Ａは、図２に示すアウトリガ５２Ａ－５２Ｄ、旋回台５３、ブーム５４及び、バケット５５等の各部装置を駆動する。
【0031】
より詳細には、図１に示すように、高所作業車５は、上記の各部装置を操作するための操作装置５６と、上記の各部装置を駆動するための駆動部５７とを備えるところ、コントローラ４Ａは、ＣＰＵが上記作動プログラムを実行することにより、操作装置５６が備える、図示しないレバー、スイッチ等から出力される操作情報を取得して、その操作情報に基づいて駆動部５７を作動させる。これにより、コントローラ４Ａは、操作装置５６のレバーの操作、スイッチのオンオフ等に応じて高所作業車５の上記の各部装置を駆動する。
【0032】
また、コントローラ４Ａは、検出器５８Ａ－５８Ｅが検出した検出結果に基づいて高所作業車５の姿勢又は状態を求める。そして、コントローラ４Ａは、安全を確保するため、求めた姿勢又は状態から規制すべき操作（以下、規制操作という）を求める。
【0033】
詳細には、高所作業車５は、図１及び図２に示すように、アウトリガ５２Ａ－５２Ｄが有するビームとジャッキの伸縮を検出する検出器５８Ａ、旋回台５３の旋回角を検出する検出器５８Ｂ、車両５１に対するブーム５４の起伏角を検出する検出器５８Ｃ、ブーム５４の伸縮によって変化するブーム５４の長さを検出する検出器５８Ｄ、ブーム５４に対するバケット５５のスイング角を検出する検出器５８Ｅを備える。
【0034】
コントローラ４Ａは、例えば、検出器５８Ａの検出結果に基づいて、アウトリガ５２Ａ－５２Ｄのジャッキの設置状態を求める。コントローラ４Ａは、求めた設置状態が、ジャッキ未設置状態（すなわち、フロートが接地していない状態）である場合、転倒を防ぐため、ブーム５４の旋回、起伏、伸縮の操作（以下、ブーム操作という）を規制操作とする。
【0035】
また、コントローラ４Ａは、検出器５８Ｂ－５８Ｅの検出結果に基づいて、ブーム５４の姿勢を求める。コントローラ４Ａは、求めたブーム５４の姿勢が、ブーム５４を旋回させるとバケット５５が車両５１に干渉してしまう姿勢である場合、そのような干渉を防ぐため、ブーム操作を規制操作とする。
【0036】
また、コントローラ４Ａは、求めたブーム５４の姿勢が、作業姿勢、すなわち、未格納の姿勢である場合、転倒を防ぐため、アウトリガ５２Ａ－５２Ｄのビームの張り出し、格納、ジャッキの伸縮（以下、アウトリガ操作という）を規制操作とする。
【0037】
さらに、コントローラ４Ａは、操作装置５６の出力から図示しないストップスイッチのオン、オフの状態を求める。例えば、コントローラ４Ａは、求めたストップスイッチのオン、オフの状態がオン状態である場合、非常時等の停止させるべき状態に切り替えられていると扱い、ブーム操作とアウトリガ操作の両方を規制操作とする。
【0038】
コントローラ４Ａは、このような規制操作とされた操作がある場合、操作装置５６のレバーに連動する駆動部５７の作動を制限する。これにより、コントローラ４Ａは、高所作業車５が規制操作で操作されることを防ぐ。その結果、安全を確保する。
【0039】
一方、コントローラ４Ａは、図１に示すように、上述した携帯端末２Ａとデータ通信を行うため、高所作業車５に設けられた通信装置６２と接続されている。これにより、コントローラ４Ａは、通信装置６２を介して、ネットワーク１００に接続される。そして、携帯端末２Ａとデータ通信を行う。
【0040】
例えば、コントローラ４Ａは、高所作業車５を操作するため、携帯端末２Ａの制御部２２が生成した操作信号を受信する。コントローラ４Ａは、操作信号を受信した場合、その操作信号に基づいて、駆動部５７を作動させる。これにより、アウトリガ５２Ａ－５２Ｄ、旋回台５３、ブーム５４及び、バケット５５等の高所作業車５の各部装置を駆動する。その結果、携帯端末２Ａの操作信号によって、高所作業車５が操作される。
【0041】
なお、コントローラ４Ａは、過負荷防止装置としても機能する。すなわち、コントローラ４Ａは、検出器５８Ａ－５８Ｅの出力に基づいて旋回台５３の支点回りのモーメントを求め、求めたモーメントが限界モーメントを超えている場合に、駆動部５７を停止して、過負荷を防止する。
【0042】
このように、作業車音声操作システム１Ａでは、オペレータの音声指示が携帯端末２Ａのマイクロフォン２１に入力されると、サーバー３がその音声指示の音声データを音声認識し、携帯端末２Ａの制御部２２が音声認識結果に基づいて音声指示に対する応答を生成する。また、音声認識結果に基づいて操作信号を生成する。そして、コントローラ４Ａがその操作信号に基づいて高所作業車５の各部装置を作動させる。
【0043】
しかし、上述したように、コントローラ４Ａは、安全を確保するため、高所作業車５の姿勢又は状態に応じた規制操作によって高所作業車５が操作されることを防いでいる。このため、オペレータが規制操作に気付かないで規制操作を実行させる音声指示を行ってしまうと、その音声指示をした操作が実行されず、オペレータが混乱してしまうことがある。また、オペレータが規制操作に気付かないと、実行される音声操作と実行されない音声操作が混在していることになってしまい、音声操作が難しくなってしまう。
【0044】
このような問題を解決するため、携帯端末２Ａの制御部２２は、オペレータが音声指示した操作が規制操作である場合に、その音声指示した操作の代わりとなる操作がある旨のメッセージを音声で知らせる作業車音声操作処理を行う。制御部２２は、この作業車音声操作処理を行うために、ソフトウエアとして構成される処理ブロックを有する。続いて、図３－図６を参照して、制御部２２の処理ブロックについて説明する。また、あわせて、サーバー３の制御部３１の処理ブロックについても説明する。
【0045】
図３は、作業車音声操作システム１Ａが備える携帯端末２Ａの制御部２２と記憶部２４のブロック図である。図４は、制御部２２が備える実行可能操作選定部２２２が取得する規制操作情報７１のデータ構成図の一例である。図５は、記憶部２４に格納された作業車操作データベース２４１のデータ構成図の一例である。図６は、記憶部２４に格納されたコマンド辞書２４２のデータ構成図の一例である。なお、図３では、作業車音声操作処理の理解を容易にするため、サーバー３の制御部３１と記憶部３２の処理ブロックも示している。
【0046】
図３に示すように、携帯端末２Ａの制御部２２は、音声認識結果取得部２２１、実行可能操作選定部２２２及び、応答生成部２２３を備える。
【0047】
音声認識結果取得部２２１は、音声データをサーバー３に送信し、そのサーバー３から音声データの音声認識結果を取得する。
【0048】
詳細には、音声認識結果取得部２２１は、音声認識させる音声データを得るため、携帯端末２Ａに設けられたマイクロフォン２１から、オペレータが発した声の音声データを取得する。具体的には、音声認識結果取得部２２１は、オペレータが発声すると、音声データの取得を開始し、オペレータの発声が途切れるまで音声データを取得する。これにより、音声認識結果取得部２２１は、一続きの音声データを取得する。音声認識結果取得部２２１は、一続きの音声データを取得する毎に、取得した音声データを、図１に示す通信部２５、３３を介してサーバー３の制御部３１に送信する。
【0049】
一方、サーバー３の制御部３１は、図３に示すように、音声認識を行う音声認識部３１１を備える。その音声認識部３１１は、音声認識結果取得部２２１からの音声データを受信すると、記憶部３２に格納された音声認識辞書３２１を参照して、音声データの音声を音響的又は言語的に尤もらしい語彙をもとに語彙の抽出を行い、音声認識する。音声認識部３１１は、図１に示す通信部３３、２５を介して、認識結果を図３に示す携帯端末２Ａの音声認識結果取得部２２１に送信する。
【0050】
音声認識結果取得部２２１は、音声認識部３１１から音声認識結果を受信すると、その音声認識結果を応答生成部２２３に送信する。
【0051】
これに対して、実行可能操作選定部２２２は、オペレータの音声指示の操作が規制操作である場合の、その音声指示の操作の代わりとなる操作を選定する。実行可能操作選定部２２２は、そのような操作を選定するため、オペレータの音声を音声認識した段階で、高所作業車５が実行することができる実行可能操作を特定する。
【0052】
詳細には、実行可能操作選定部２２２は、音声認識結果取得部２２１がマイクロフォン２１から音声データを取得する毎に、規制操作が何であるかを特定するため、コントローラ４Ａから図４に示す規制操作情報７１を取得する。また、記憶部２４には、図３に示すように、作業車操作データベース２４１が格納されているところ、実行可能操作選定部２２２は、規制操作の代わりとなる操作を選定するデータを得るため、その記憶部２４から作業車操作データベース２４１を読み出す。
【0053】
上記の規制操作情報７１では、図４に示すように、高所作業車５の姿勢又は状態と、それら姿勢又は状態のときの、規制操作の規制される対象（規制対象という）及び規制される操作項目が対応付けられている。また、作業車操作データベース２４１では、図５に示すように、高所作業車５の姿勢又は状態とその姿勢又は状態で実行することができる操作（以下、実行可能操作という）の規制対象、操作項目が対応付けられている。
【0054】
図３に示す実行可能操作選定部２２２は、読み出した作業車操作データベース２４１を用いて、上記のコントローラ４Ａから取得した規制操作情報７１の姿勢又は状態に対応する実行可能操作を選定する。これにより、実行可能操作選定部２２２は、マイクロフォン２１から音声データを取得した段階での規制操作に対する実行可能操作を選定する。そして、実行可能操作選定部２２２は、高所作業車５の姿勢又は状態のデータと規制操作のデータと共に、選定した実行可能操作のデータを応答生成部２２３に送信する。
【0055】
応答生成部２２３は、音声認識結果が高所作業車５を操作するための指示（以下、コマンドという）であるか否か、また、音声認識結果が規制操作の指示であるか否かに応じてオペレータに対する応答を生成する。
【0056】
詳細には、応答生成部２２３は、まず、音声認識結果取得部２２１から音声認識結果を受信する。また、応答生成部２２３は、応答を生成するときのデータを得るため、実行可能操作選定部２２２から高所作業車５の姿勢又は状態のデータ、規制操作のデータ及び、実行可能操作のデータを受信する。さらに、記憶部２４には、図６に示す高所作業車５を操作するための指示（以下、コマンドという）のコマンド対象物、コマンド内容と、そのコマンドに対する応答、そのコマンドに対する高所作業車５の操作信号とが対応付けられたコマンド辞書２４２が格納されているところ、図３に示す応答生成部２２３は、そのコマンド辞書２４２を読み出す。
【0057】
応答生成部２２３は、受信した音声認識結果がコマンドに関するか否かを判定するため、音声認識結果に、コマンド辞書２４２のコマンド対象物とコマンド内容のワード又はそれらに類似したワードが含まれているか否かを判定する。
【0058】
応答生成部２２３は、受信した音声認識結果に、コマンド辞書２４２のコマンド対象物とコマンド内容のワード又はそれらに類似したワードが含まれていないと判定した場合、音声認識結果がコマンドに関するものでないと扱う。そして、記憶部２４に格納された応答データベース２４３を読み出す。図示しないが、応答データベース２４３では、音声認識結果がコマンドに関するものでないときの、その音声認識結果に含まれる語彙と応答とが対応付けられている。応答生成部２２３は、読み出した応答データベース２４３を参照して応答を生成する。応答生成部２２３は、生成した応答のデータをスピーカに出力し、スピーカ２３が応答データの電気信号を音声に変換することにより、オペレータにその応答を伝える。
【0059】
一方、応答生成部２２３は、コマンド対象物とコマンド内容のワード又はそれらに類似したワードが含まれていると判定した場合、音声認識結果がコマンドに関するものであると扱う。そして、その場合、応答生成部２２３は、音声認識結果が規制操作に関するか否かを判定するため、音声認識結果に、実行可能操作選定部２２２から受信した規制操作のデータの規制対象と規制項目のワード又は、それらに類似したワードが含まれているか否かを判定する。
【0060】
応答生成部２２３は、受信した音声認識結果に規制対象と規制項目のワード又は、それらに類似したワードが含まれていると判定した場合、音声認識結果が規制操作に関するものであるとする。そして、応答生成部２２３は、実行可能操作選定部２２２から受信した姿勢又は状態のデータと実行可能操作のデータを用いて、音声指示の操作の代わりとなる操作として実行可能操作を提案する応答文を作成する。
【0061】
詳細には、応答生成部２２３は、高所作業車５が、実行可能操作選定部２２２から受信した姿勢又は状態のデータにあること、そのため、音声指示ができないこと、その代わりに、実行可能操作選定部２２２から受信した実行可能操作のデータの操作ができること、という内容の応答文を作成する。
【0062】
応答生成部２２３は、生成した応答文の応答データをスピーカ２３に出力する。応答生成部２２３は、スピーカ２３が応答データの電気信号を音声に変換することにより、オペレータに、音声で指示した操作の代わりとなる実行可能操作があることを提示する。
【0063】
一方、応答生成部２２３は、受信した音声認識結果に規制対象と規制項目のワード又は、それらに類似したワードが含まれていないと判定した場合、音声認識結果が規制操作に関するものでないとする。応答生成部２２３は、上述した、音声認識結果にコマンド辞書２４２のコマンド対象物とコマンド内容のワード又は、それらに類似したワードが含まれているという判定の、そのコマンド対象物とコマンド内容に対応付けられた、図６に示すコマンド辞書２４２のコマンドに対する応答を用いて応答を生成する。そして、生成した応答をスピーカ２３に出力する。
【0064】
その生成された応答では、そのコマンド対象物をコマンド内容どおりに実行する旨の内容が示されている。応答生成部２２３は、スピーカ２３がこの応答文の電気信号を音声に変換することにより、オペレータに音声認識したコマンドどおりに操作を実行することを知らせる。また、応答生成部２２３は、上述した、コマンド対象物とコマンド内容のワードに対応付けられたコマンド辞書２４２の操作信号を、図１に示す通信部２５に出力する。これにより、通信装置６２を介して操作信号をコントローラ４Ａに送信する。その結果、応答生成部２２３は、音声認識したコマンドどおりに高所作業車５を作動させる。
【0065】
図３に戻って、記憶部２４には、送信時刻と送信した操作信号が対応付けられた操作履歴データベース２４４が格納されている。応答生成部２２３は、操作信号をコントローラ４Ａに出力する毎に、計時した時刻と共に、操作信号を操作履歴データベース２４４に送信して記憶させる。換言すると、計時した時刻と共に、操作内容を操作履歴データベース２４４に送信して記憶させる。
【0066】
上述した実行可能操作は、規制操作情報７１の姿勢又は状態によっては、それらに対応する実行可能操作が複数個存在することがある。そして、上述したように、応答生成部２２３は、受信した音声認識結果に規制対象と規制項目のワード又は、それらに類似したワードが含まれていると判定した場合に、音声指示の操作の代わりに実行可能操作を提案する応答文を作成する。このため、この場合、提案する実行可能操作が複数個存在することになってしまい、どの操作が望ましいのか、オペレータが迷ってしまうおそれがある。
【0067】
そこで、応答生成部２２３は、操作をより容易にするため、実行可能操作が複数個存在する場合、上記の操作履歴データベース２４４を用いて、より望ましい実行可能操作を１つ提案する。
【0068】
詳細には、応答生成部２２３は、操作履歴データベース２４４を読み出して、それら複数個の実行可能操作のうち、直近に操作された実行可能操作を、望ましい実行可能操作とする。なお、応答生成部２２３は、それら複数個の実行可能操作のうち、最も頻度が高い実行可能操作を望ましい実行可能操作としてもとよい。これにより、応答生成部２２３は、音声指示の代わりとなる、より望ましい実行可能操作を１つ提案する応答を生成する。その結果、音声操作を容易にする。
【0069】
次に、図７を参照して、作業車音声操作システム１Ａが実施する作業車音声操作処理について説明する。以下の説明では、携帯端末２Ａを起動したときに、携帯端末２Ａの表示装置に、記憶部２４に記憶された作業車音声操作プログラムを起動するためのアイコンが表示されているものとする。また、作業車音声操作プログラムが起動された後、表示装置に作業車音声操作プログラムを終了させる終了ボタンが常時表示されるものとする。さらに、サーバー３では、予め音声認識プログラムが起動され、音声認識処理が行われているものとする。そして、高所作業車５のキャビンには、図示しない遠隔操作選択ボタンが設けられているものとする。
【0070】
図７は、作業車音声操作システム１Ａが実施する作業車音声操作処理のフローチャートである。
【0071】
まず、高所作業車５のオペレータは、上記の図示しない遠隔操作選択ボタンをオン状態に切り換える。オペレータは、さらに、携帯端末２Ａを起動する。続いて、表示装置に表示された作業車音声操作プログラムのアイコンをタップする。これにより、制御部２２のマイクロコンピュータによって作業車音声操作プログラムが実行される。その結果、作業車音声操作処理のフローが開始される。
【0072】
作業車音声操作処理のフローが開始されると、図７に示すように、制御部２２は、まず、マイクロフォン２１に音声入力があったか否かを判定する（ステップＳ１）。この判定では、マイクロフォン２１に一定の音量よりも大きい音が入力された場合に、音声の入力があったものとする。
【0073】
次に、制御部２２は、音声入力があったと判定した場合（ステップＳ１のＹｅｓ）、オペレータが発した声が入力されたものとして、その音声のデータを取得する（ステップＳ２）。この音声データの取得では、上記の一定の音量よりも大きい音が一定時間、途切れるまで行い、一続きの発声の音声データを取得する。一方、制御部２２は、音声入力がないと判定した場合（ステップＳ１のＮｏ）、ステップＳ１に戻り、ステップＳ１を繰り返す。
【0074】
制御部２２は、音声の取得に続いて、取得した音声データをサーバー３に送信する（ステップＳ３）。この送信は、携帯端末２Ａの通信部２５によってネットワーク１００に接続することより行う。
【0075】
サーバー３では、図１に示す制御部３１が音声認識プログラムを実行することにより、音声認識処理を行っている。制御部３１は、通信部３３を介して音声データを受信し、受信した音声データを音声認識する。そして、制御部３１は、音声認識結果を、通信部３３を介して携帯端末２Ａの制御部２２に送信する。
【0076】
図７に戻って、制御部２２は、音声データをサーバー３に送信した後、サーバー３から送信された音声認識結果を受信する（ステップＳ４）。
【0077】
続いて、制御部２２は、実行可能操作を選定する（ステップＳ５）。詳細には、制御部２２は、図３に示すコントローラ４Ａから規制操作情報７１を取得し、さらに記憶部２４から作業車操作データベース２４１を読み出す。上述したように、規制操作情報７１では、高所作業車５の現在の姿勢又は現在の状態に、その姿勢又はその状態のときの規制操作が対応付けられており、作業車操作データベース２４１では、高所作業車５の各姿勢又は各状態に、それら各姿勢又は各状態のときの実行可能操作が対応付けられている。制御部２２は、規制操作情報７１と作業車操作データベース２４１を用いて、取得した規制操作情報７１の規制操作がかかっているときの、実行可能操作を選定する。
【0078】
具体的な例で説明すると、例えば、図４に示す規制操作情報７１の例では、高所作業車５の現在の姿勢又は現在の状態が「ジャッキ未設置」の状態にあり、その状態に、規制対象「ブーム」、規制項目「起こし、倒し、伸長、縮小、右旋回、左旋回」という各規制操作が対応付けられている。一方、図５に示す作業車操作データベース２４１の例では、高所作業車５が「ジャッキ未設置」という姿勢又は状態に、操作対象「アウトリガ」、操作項目「張り出し」という実行可能操作と、操作対象「ジャッキ」、操作項目「伸長」という実行可能操作が対応付けられている。この場合、制御部２２は、規制操作情報７１の規制対象「ブーム」、規制項目「起こし、倒し、伸長、縮小、右旋回、左旋回」という規制操作のときの、実行可能操作として、操作対象「アウトリガ」、操作項目「張り出し」という操作と、操作対象「ジャッキ」、操作項目「伸長」という操作を選定する。
【0079】
図７に戻って、制御部２２は、ステップＳ５に続いて、音声認識結果にコマンド辞書２４２のコマンドが含まれているか否かを判定する（ステップＳ６）。詳細には、記憶部２４にコマンド辞書２４２が格納されているところ、制御部２２は、コマンド辞書２４２を読み出し、音声認識結果に、コマンド辞書２４２のコマンド内容のワード又は類似するワードが含まれているか否かを判定する。
【0080】
制御部２２は、音声認識結果にコマンド辞書２４２のコマンドが含まれていると判定した場合（ステップＳ６のＹｅｓ）、続いて、音声認識結果に規制操作のワードが含まれているか否かを判定する（ステップＳ７）。詳細には、制御部２２は、ステップＳ５の実行可能操作の選定で、規制操作情報７１から規制操作のデータを得ているところ、その規制操作の規制対象と規制項目のワード又は類似するワードが含まれているか否かを判定する。
【0081】
例えば、図４の規制操作情報７１の例の場合、制御部２２は、規制対象「ブーム」と規制項目「起こし、倒し、伸長、縮小、右旋回、左旋回」のそれぞれのワード又はそれらに類似するワードが音声認識結果に含まれているか否かを判定する。
【0082】
制御部２２は、図７に示すように、音声認識結果に規制操作のワードが含まれていると判定した場合（ステップＳ７のＹｅｓ）、オペレータの音声指示が規制操作の指示であると扱い、その音声指示の操作に代えて、ステップＳ５で選定した実行可能操作を提案する応答を生成する（ステップＳ８）。
【0083】
この応答の生成では、実行可能操作が複数個存在する場合、制御部２２は、記憶部２４から操作履歴データベース２４４を読み出し、操作履歴データベース２４４を用いて、それら複数個の実行可能操作のうち、直近に操作された実行可能操作を提案する実行可能操作とする。そして、制御部２２は、その実行可能操作を提案する応答を生成する。なお、提案する実行可能操作は、複数個の実行可能操作のうち、操作履歴データベース２４４で最も頻度が高い実行可能操作であってもよい。
【0084】
例えば、制御部２２は、音声認識結果に、図４に示された規制操作情報７１の例の規制対象「ブーム」のワードと規制項目「伸長」に類似する「伸ばして」のワードが含まれていると判定した場合、図５に示す作業車操作データベース２４１の操作対象「アウトリガ」、操作項目「張り出し」という操作と、操作対象「ジャッキ」、操作項目「伸長」という操作を応答で提案する実行可能操作として選定する。そして、制御部２２は、選定されたそれらの操作のうち、操作履歴データベース２４４を参照して直近と判定された操作を、音声指示の操作に代わる、望ましい実行可能操作として提案し、かつ、その他の実行可能操作をその次に望ましい実行可能操作として提案する応答を生成する。
【0085】
制御部２２は、ステップＳ８で実行可能操作を提案する応答を生成すると、図示しないが、生成した応答のデータをスピーカ２３に出力する。これにより、オペレータに、音声指示した操作に代えて実行可能操作を行うことを提示する。
【0086】
一方、制御部２２は、図７に示すように、音声認識結果に規制操作のワードが含まれていないと判定した場合（ステップＳ７のＮｏ）、ステップＳ６の判定のコマンドに対応する、コマンド辞書２４２の応答文を用いて応答を生成する（ステップＳ９）。
【0087】
詳細には、制御部２２は、ステップＳ６で音声認識結果にコマンド辞書２４２のコマンドが含まれているか否かを判定するところ、その判定でコマンド辞書２４２から音声認識結果に含まれると判定されたコマンドに対応付けられた応答を読み出す。そして、読み出した応答を用いて応答を生成する。読み出した応答は、そのコマンドを実行する旨の応答であることから、制御部２２が生成する応答は、オペレータが音声指示した操作を実行する旨の応答となる。制御部２２は、この応答のデータをスピーカ２３に出力する。これにより、オペレータに、音声指示した操作を実行することを知らせる。
【0088】
例えば、制御部２２は、音声認識結果が「ジャッキを伸ばして」という結果であり、図４に示された規制操作情報７１の例の規制対象「ブーム」と規制項目「伸長」のワード又は類似するワードが含まれていないと判定した場合、図６に示すコマンド辞書２４２のコマンド対象物「ジャッキ」、コマンド内容「伸長」に対応する応答「はい、ジャッキを伸長します」を用いて応答を生成し、生成した応答をスピーカ２３に出力する。
【0089】
また、制御部２２は、図示しないが、コマンド辞書２４２から音声認識結果に含まれると判定されたコマンドに対応付けられた操作信号を読み出し、その操作信号を通信部２５に出力する。これにより、操作信号を通信装置６２を介してコントローラ４Ａに送信する。その結果、オペレータが音声指示した操作どおりに高所作業車５が作動する。
【0090】
図７に戻って、制御部２２は、ステップＳ８とＳ９で応答を生成すると、次のオペレータによる音声入力に備えるため、ステップＳ１に戻る。
【0091】
一方、制御部２２は、ステップＳ６で、音声認識結果にコマンド辞書２４２のコマンドが含まれていないと判定した場合（ステップＳ６のＮｏ）、コマンド以外の音声入力に対する応答が格納された応答データベース２４３を参照して応答を生成する（ステップＳ１０）。そして、生成した応答のデータをスピーカ２３に出力して、オペレータに応答する。
【0092】
制御部２２は、ステップＳ１０で応答を生成すると、ステップＳ８、Ｓ９と同様に、次のオペレータによる音声入力に備えるため、ステップＳ１に戻る。
【0093】
上述したように、作業車音声操作プログラムが起動された後、携帯端末２Ａの表示装置に作業車音声操作プログラムを終了させる終了ボタンが常時表示されている。オペレータは、作業車音声操作処理を終了したい場合、終了ボタンを押す。これにより、作業車音声操作処理のフローが強制的に終了される。
【0094】
なお、上記で説明した携帯端末２Ａとサーバー３の構成のうち、スピーカ２３は、本明細書、特許請求の範囲でいうところの提示部の一例である。また、サーバー３の制御部３１が備えるＣＰＵを含むコンピュータは、本明細書、特許請求の範囲でいうところの第一コンピュータの一例である。また、携帯端末２Ａの制御部２２が備えるマイクロコンピュータは、第二コンピュータの一例である。検出器５８Ａ－５８Ｅは、本明細書、特許請求の範囲でいうところの姿勢検出器又は状態検出器の一例である。さらに、サーバー３が音声認識をするステップ、ステップＳ４、ステップＳ５及び、ステップＳ６－Ｓ１０は、特許請求の範囲でいうところの音声認識ステップ、音声認識結果取得ステップ、実行可能操作選定ステップ及び、応答生成ステップの一例である。
【0095】
以上のように、実施の形態１に係る作業車音声操作システム１Ａでは、音声認識結果に作業車を操作するためのコマンドが含まれ、かつ音声認識結果に規制操作のワードが含まれる場合に、応答生成部２２３が、オペレータの音声指示による操作に代えて実行可能操作を勧める応答を生成する。そして、スピーカ２３が生成された応答のデータを音声に変換してオペレータにその応答を提示する。作業車音声操作システム１Ａでは、オペレータが誤って規制操作を音声で指示した場合でも、その音声指示の操作に代わる実行可能操作がオペレータに提示されるので、円滑な音声操作をすることができる。また、音声操作が容易である。
【0096】
作業車音声操作システム１Ａでは、オペレータが誤って規制操作を音声で指示した場合に、規制操作を実行しないで、その操作に代わる実行可能操作をオペレータに提示するので、安全性を確保することができる。
【0097】
また、作業車音声操作システム１Ａでは、オペレータの音声指示を音声認識する音声認識部がサーバー３に設けられている。演算量の多い音声認識処理をサーバー３に実行させることにより、携帯端末２Ａの演算量を小さくすることができる。また、演算を速くすることができる。
【0098】
（実施の形態２）
実施の形態１では、携帯端末２Ａの制御部２２が実行可能操作選定部２２２を備える。しかし、本発明はこれに限定されない。本発明では、高所作業車５のコントローラ４Ａが実行可能操作選定部２２２を備えていてもよい。
実施の形態１では、携帯端末２Ａの制御部２２が実行可能操作選定部２２２を備える。しかし、本発明はこれに限定されない。本発明では、高所作業車５のコントローラ４Ａが実行可能操作選定部２２２を備えていてもよい。
【0099】
実施の形態２に係る作業車音声操作システム１Ｂでは、上述したように、コントローラ４Ｂが、実行可能操作選定部４１を備える。以下、図８を参照して、作業車音声操作システム１Ｂについて説明する。実施の形態２では、実施の形態１と異なる構成について説明する。
【0100】
図８は、実施の形態２に係る作業車音声操作システム１Ｂが備える携帯端末２Ｂの制御部２２及びコントローラ４Ｂのブロック図である。
【0101】
図８に示すように、作業車音声操作システム１Ｂでは、携帯端末２Ｂが音声認識結果取得部２２１、音声認識結果分析部２２４及び、応答生成部２２３を備える。また、コントローラ４Ｂが実行可能操作選定部４１を備える。
【0102】
音声認識結果取得部２２１は、実施の形態１と同様に、マイクロフォン２１から得たオペレータの音声データをサーバー３の音声認識部３１１に送信し、その後、音声認識部３１１から音声認識結果を取得する。そして、音声認識結果取得部２２１は、音声認識結果を音声認識結果分析部２２４と応答生成部２２３に送信する。
【0103】
音声認識結果分析部２２４は、記憶部２４からコマンド辞書２４２を読み出し、音声認識結果取得部２２１から受信した音声認識結果に、コマンド辞書２４２のコマンド対象物とコマンド内容のワード又はそれらに類似したワードが含まれているか否かを判定する。音声認識結果分析部２２４は、それらワード又はそれらに類似したワードが含まれていると判定した場合、コントローラ４Ｂの実行可能操作選定部４１に、そのコマンド対象物とそのコマンド内容を送信する。一方、音声認識結果分析部２２４は、それらワード又はそれらに類似したワードが含まれていないと判定した場合、応答生成部２２３に、音声認識結果がコマンドに関するものでない旨の分析結果を送信する。
【0104】
コントローラ４Ｂは、実施の形態１で説明したように、検出器５８Ａ－５８Ｅが検出した検出結果から高所作業車５の姿勢又は状態を求め、求めた姿勢又は状態から、安全を確保するため、規制操作を求める。このとき、実施の形態１では説明していないが、コントローラ４Ｂは、操作が規制操作であるか否かを識別するため、規制操作に該当する操作のデータのフラグをオンにする。例えば、ジャッキ未設置状態のとき、ブーム操作のデータのフラグをオンにする。
【0105】
実行可能操作選定部４１は、音声認識結果分析部２２４からのコマンド対象物とコマンド内容のデータを受信すると、コマンド対象物とコマンド内容で特定される操作が規制操作であるか否かを、上記フラグがオンであるか否かにより求める。そして、実行可能操作選定部４１は、規制操作であるか否かの判定結果を携帯端末２Ｂの応答生成部２２３に送信する。
【0106】
また、実行可能操作選定部４１は、上記フラグがオンでない、すなわち、上記フラグがオフである操作を抽出する。これにより、実行可能操作選定部４１は、音声認識結果分析部２２４からデータを受信した段階での、実行可能操作を選定する。実行可能操作選定部４１は、選定した実行可能操作のデータを携帯端末２Ｂの応答生成部２２３に送信する。
【0107】
応答生成部２２３は、音声認識結果分析部２２４から音声認識結果がコマンドに関するものでない旨の分析結果を受信した場合、記憶部２４から応答データベース２４３を読み出す。その応答データベース２４３では、実施の形態１で説明したように、音声認識結果がコマンドに関するものでないときの、その音声認識結果に含まれる語彙と応答が対応付けられて保存されている。応答生成部２２３は、その応答データベース２４３を参照して応答を生成し、生成した応答のデータをスピーカ２３に出力することにより、オペレータにその応答を伝える。
【0108】
一方、応答生成部２２３は、音声認識結果がコマンドに関するものであると音声認識結果分析部２２４が判定した結果、実行可能操作選定部４１がそのコマンドが規制操作であるか否かを判定した場合に、実行可能操作選定部４１から規制操作であるか否かの判定結果を受信する。
【0109】
応答生成部２２３は、規制操作であるという判定結果を受信した場合、実行可能操作選定部４１から受信した実行可能操作のデータを用いて、音声指示の操作の代わりに実行可能操作を提案する応答を作成する。そして、生成した応答のデータをスピーカ２３に出力することにより、オペレータに音声で指示した操作の代わりに実行可能操作があることを伝える。
【0110】
また、応答生成部２２３は、規制操作でないという判定結果を受信した場合、記憶部２４からコマンド辞書２４２を読み出す。コマンド辞書２４２では、実施の形態１で説明したように、コマンドに対する応答が、コマンド対象、コマンド内容に対応付けられている。そのコマンドに対する応答は、コマンドどおりに操作を実行する旨の応答である。応答生成部２２３は、そのコマンドに対する応答を用いて、応答を生成する。そして、応答生成部２２３は、生成した応答のデータをスピーカ２３に出力することにより、オペレータに音声指示のとおりに操作を実行することを知らせる。
【0111】
以上のように、実施の形態２に係る作業車音声操作システム１Ｂでも、実施の形態１と同様に、音声認識結果に作業車を操作するためのコマンドが含まれ、かつ音声認識結果に規制操作のワードが含まれる場合に、応答生成部２２３が、オペレータの音声指示による操作に代えて実行可能操作を勧める応答を生成する。そして、オペレータにその応答を提示する。その結果、作業車音声操作システム１Ｂでは、オペレータが誤って規制操作を音声で指示した場合でも、その音声指示が実行されずにオペレータが混乱することがない。また、音声指示の操作に代わる実行可能操作がオペレータに提示されるので、音声操作が円滑かつ容易である。
【0112】
以上、本発明の実施の形態を説明したが、本発明は上記の実施の形態に限定されるものではない。例えば、実施の形態１及び２では、スピーカ２３が生成した応答データを音声に変換して、オペレータに応答を提示している。しかし、本発明はこれに限定されない。本発明では、提示部が応答生成部２２３によって生成された応答を提示すればよい。携帯端末２Ａ、２Ｂは、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の、図示しない表示装置を備えるところ、スピーカ２３のほか、表示装置が応答を提示してもよい。この場合、応答生成部２２３が生成した応答は、表示装置に文字情報として表示されるとよい。
【0113】
また、実施の形態１及び２では、規制操作の例として、ジャッキが未設置であるときのブーム操作、ブーム５４の姿勢が作業姿勢のときのアウトリガ操作、ストップスイッチがオン状態のときのブーム操作とアウトリガ操作を挙げているが、本発明はこれに限定されない。本発明では、規制操作は、高所作業車５のある姿勢又はある状態のもとで規制される操作であれば良い。例えば、規制操作は、ブーム５４が作業範囲を超えかけているときのブーム操作であってもよい。
【0114】
実施の形態１及び２では、サーバー３が音声認識部３１１を備えている。しかし、本発明はこれに限定されない。本発明では、携帯端末２Ａ、２Ｂの制御部２２が音声認識部３１１を備えてもよい。換言すると、サーバー３の制御部３１が備えるコンピュータが音声認識処理を実施するのではなく、携帯端末２Ａ、２Ｂの制御部２２が備えるマイクロコンピュータが音声認識処理を実施してもよい。
【0115】
なお、サーバー３が音声認識部３１１を備えているが、サーバー３は、音声認識処理を行う専用の装置、すなわち、音声認識装置であってもよい。
【0116】
また、実施の形態１では、携帯端末２Ａの制御部２２が音声認識結果取得部２２１、実行可能操作選定部２２２及び応答生成部２２３を備えている。実施の形態２では、携帯端末２Ｂの制御部２２が音声認識結果取得部２２１、音声認識結果分析部２２４及び応答生成部２２３を備えている。しかし、本発明はこれに限定されない。本発明では、携帯端末２Ａ、２Ｂ、サーバー３、高所作業車５等で構成されるシステムが、音声認識結果取得部２２１、実行可能操作選定部４１、２２２及び応答生成部２２３を備えていていればよい。例えば、サーバー３が音声認識結果取得部２２１、実行可能操作選定部４１、２２２及び応答生成部２２３を備えてもよい。この場合、携帯端末２Ａ、２Ｂの制御部２２は、マイクロフォン２１からの入力データをサーバー３に送信し、サーバー３から送信される応答データを受信して、スピーカ２３を駆動するとよい。
【0117】
また、携帯端末２Ａ、２Ｂが音声認識結果取得部２２１、実行可能操作選定部４１、２２２及び応答生成部２２３に加えて、音声認識部３１１を備えてもよい。そのほか、サーバー３とは別のサーバーが、音声認識結果取得部２２１、実行可能操作選定部４１、２２２及び応答生成部２２３を備え、そのサーバーとサーバー３及び携帯端末２Ａ、２Ｂが通信をすることにより、音声認識から応答生成までの一連の処理を実施してもよい。
【0118】
さらに、実施の形態１及び２では、携帯端末２Ａ、２Ｂの記憶部２４に作業車操作データベース２４１、コマンド辞書２４２、応答データベース２４３及び、操作履歴データベース２４４が格納されているが、作業車操作データベース２４１、コマンド辞書２４２、応答データベース２４３及び、操作履歴データベース２４４は、例えば、サーバー３又は、サーバー３とは別のサーバーの記憶部に格納されていてもよい。換言すると、作業車操作データベース２４１、コマンド辞書２４２、応答データベース２４３及び、操作履歴データベース２４４は、ネットワーク１００を介して接続された記憶部に格納されていてもよい。
【符号の説明】
【0119】
１Ａ、１Ｂ…作業車音声操作システム、２Ａ、２Ｂ…携帯端末、３…サーバー、４Ａ、４Ｂ…コントローラ、５…高所作業車、２１…マイクロフォン、２２…制御部、２３…スピーカ、２４…記憶部、２５…通信部、３１…制御部、３２…記憶部、３３…通信部、４１…実行可能操作選定部、５１…車両、５２Ａ－５２Ｄ…アウトリガ、５３…旋回台、５４…ブーム、５５…バケット、５６…操作装置、５７…駆動部、５８Ａ－５８Ｅ…検出器、６１…記憶装置、６２…通信装置、７１…規制操作情報、１００…ネットワーク、２２１…音声認識結果取得部、２２２…実行可能操作選定部、２２３…応答生成部、２２４…音声認識結果分析部、２４１…作業車操作データベース、２４２…コマンド辞書、２４３…応答データベース、２４４…操作履歴データベース、３１１…音声認識部、３２１…音声認識辞書
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】