特開 2023-29982 操作入力方法、操作入力システムおよび操作端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023029982

(43)【公開日】2023-03-07

(54)【発明の名称】操作入力方法、操作入力システムおよび操作端末

(51)【国際特許分類】

   G06F 3/16 20060101AFI20230228BHJP

   G10L 15/22 20060101ALI20230228BHJP

【ＦＩ】

G06F3/16 650

G06F3/16 620

G10L15/22 460Z

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022195657

(22)【出願日】2022-12-07

(62)【分割の表示】P 2018199677の分割

【原出願日】2018-10-24

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】藤井 亮太

(57)【要約】

【課題】ユーザが手を用いた操作を行うことが難しい状況等でも、ユーザ操作の入力時の利便性を向上する。
【解決手段】操作入力方法は、操作端末に第１の画面が表示された状態でユーザの発する音声を収音し、収音された音声を認識し、認識結果が第１の画面に示される確認項目に対する入力内容と合致するか否かを判断し、認識結果が第１の画面に示される確認項目に対する入力内容と合致する場合、第１の画面から第２の画面への表示の切り替えを操作端末に指示し、操作端末に第ｍ番目の画面（２≦ｍ≦Ｎを満たす整数、Ｎ：４以上の整数）が表示された状態でユーザの発する認識結果が第ｍ番目の画面に示される確認項目に対する入力内容と合致するか否かを判断し、認識結果が第ｍ番目の画面に示される確認項目に対する入力内容と合致する場合、第ｍ番目の画面から第（ｍ＋１）番目の画面への表示の切り替えを操作端末に指示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

操作端末に第１の画面が表示された状態でユーザの発する音声を収音するステップと、
収音された前記音声を認識するステップと、
前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致するか否かを判断するステップと、
前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致する場合、前記第１の画面から第２の画面への表示の切り替えを前記操作端末に指示するステップと、
前記操作端末に第ｍ番目の画面（２≦ｍ≦Ｎを満たす整数、Ｎ：４以上の整数）が表示された状態で前記ユーザの発する音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致するか否かを判断するステップと、
前記音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致する場合、前記第ｍ番目の画面から第（ｍ＋１）番目の画面への表示の切り替えを前記操作端末に指示するステップと、を有する、
操作入力方法。

【請求項2】

前記第１の画面に示される確認項目に対応する前記音声の認識結果を表示する、
請求項１に記載の操作入力方法。

【請求項3】

前記第ｍの画面に示される確認項目に対応する前記音声の認識結果を表示する、
請求項１または２に記載の操作入力方法。

【請求項4】

音声入力装置および表示装置を有する操作端末と、音声処理装置とが通信可能に接続された操作入力システムであって、
前記操作端末は、前記表示装置に第１の画面を表示した状態で前記音声入力装置によりユーザの発する音声を収音し、
前記操作端末または前記音声処理装置は、収音された前記音声を認識し、
前記音声処理装置は、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致するか否かを判断し、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致する場合、前記第１の画面から第２の画面への表示の切り替えを前記操作端末に指示し、
前記音声処理装置は、前記操作端末に第ｍ番目の画面（２≦ｍ≦Ｎを満たす整数、Ｎ：４以上の整数）が表示された状態で前記ユーザの発する音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致するか否かを判断し、前記音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致する場合、前記第ｍ番目の画面から第（ｍ＋１）番目の画面への表示の切り替えを前記操作端末に指示する、
操作入力システム。

【請求項5】

表示装置に第１の画面を表示した状態でユーザの発する音声を収音する音声入力装置と、
収音された前記音声を認識する認識部と、
前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致するか否かを判断する制御部と、を備え、
前記制御部は、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致する場合、前記第１の画面から第２の画面への表示の切り替えを前記表示装置に指示し、
前記制御部は、前記表示装置に第ｍ番目の画面（２≦ｍ≦Ｎを満たす整数、Ｎ：４以上の整数）が表示された状態で前記ユーザの発する音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致するか否かを判断し、前記音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致する場合、前記第ｍ番目の画面から第（ｍ＋１）番目の画面への表示の切り替えを前記表示装置に指示する、
操作端末。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音声を用いて操作する操作入力方法、操作入力システムおよび操作端末に関する。

【背景技術】

【0002】

特許文献１には、住所に対応する入力音声に対して音声認識処理を行うことで、住所を構成する複数の単語のそれぞれに対応する第１候補を決定し、決定された複数の単語のそれぞれに対応する複数の第１候補を利用者に提示する音声認識装置が開示されている。音声認識装置は、認識結果を提示した後に利用者からの認識結果修正指示を受け付けると、誤認識があった単語に対応する入力音声に対して再度の音声認識処理を行うことで、この単語に対応する第１候補を除く第２候補を決定する。これにより、住所を音声入力する際の発話回数を減らせることができ、利用者の操作の簡略化が可能となる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１０２３２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の構成では、例えば誤認識された単語があった場合に利用者からの認識結果修正指示はバックスイッチを押下する等の処理が求められるため、利用者の手を用いた操作が必要となる。このため、例えば利用者が手を使えない状況にある場合等においては、認識結果の修正を行うことができず、円滑な処理を進行できない点で利用者の利便性が低下するという課題があった。

【0005】

本開示は、上述した従来の状況に鑑みて案出され、ユーザが手を用いた操作を行うことが難しい状況等でも、ユーザ操作の入力時の利便性を向上する操作入力方法、操作入力システムおよび操作端末を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、操作端末に第１の画面が表示された状態でユーザの発する音声を収音するステップと、収音された前記音声を認識するステップと、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致するか否かを判断するステップと、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致する場合、前記第１の画面から第２の画面への表示の切り替えを前記操作端末に指示するステップと、前記操作端末に第ｍ番目の画面（２≦ｍ≦Ｎを満たす整数、Ｎ：４以上の整数）が表示された状態で前記ユーザの発する音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致するか否かを判断するステップと、前記音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致する場合、前記第ｍ番目の画面から第（ｍ＋１）番目の画面への表示の切り替えを前記操作端末に指示するステップと、を有する、操作入力方法を提供する。

【0007】

また、本開示は、音声入力装置および表示装置を有する操作端末と、音声処理装置とが通信可能に接続された操作入力システムであって、前記操作端末は、前記表示装置に第１の画面を表示した状態で前記音声入力装置によりユーザの発する音声を収音し、前記操作端末または前記音声処理装置は、収音された前記音声を認識し、前記音声処理装置は、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致するか否かを判断し、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致する場合、前記第１の画面から第２の画面への表示の切り替えを前記操作端末に指示し、前記音声処理装置は、前記操作端末に第ｍ番目の画面（２≦ｍ≦Ｎを満たす整数、Ｎ：４以上の整数）が表示された状態で前記ユーザの発する音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致するか否かを判断し、前記音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致する場合、前記第ｍ番目の画面から第（ｍ＋１）番目の画面への表示の切り替えを前記操作端末に指示する、操作入力システムを提供する。

【0008】

また、本開示は、表示装置に第１の画面を表示した状態でユーザの発する音声を収音する音声入力装置と、収音された前記音声を認識する認識部と、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致するか否かを判断する制御部と、を備え、前記制御部は、前記音声の認識結果が前記第１の画面に示される確認項目に対する入力内容と合致する場合、前記第１の画面から第２の画面への表示の切り替えを前記表示装置に指示し、前記制御部は、前記表示装置に第ｍ番目の画面（２≦ｍ≦Ｎを満たす整数、Ｎ：４以上の整数）が表示された状態で前記ユーザの発する音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致するか否かを判断し、前記音声の認識結果が前記第ｍ番目の画面に示される確認項目に対する入力内容と合致する場合、前記第ｍ番目の画面から第（ｍ＋１）番目の画面への表示の切り替えを前記表示装置に指示する、操作端末を提供する。

【発明の効果】

【0009】

本開示によれば、ユーザが手を用いた操作を行うことが難しい状況等でも、ユーザ操作の入力時の利便性を向上できる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る操作入力システムの構成の概略を示す図

【図2】操作端末および音声処理装置のハードウェア構成を示すブロック図

【図3】キーワードデータベースの登録内容を示すテーブル

【図4】表示装置の音声入力画面の遷移を示す図

【図5】実施の形態１に係る音声認識の動作手順例を示すシーケンス図

【図6】図５に続く音声認識の動作手順例を示すシーケンス図

【図7】表示装置に表示された点検結果画面の一例を示す図

【図8】実施の形態１の変形例１に係る音声認識の動作手順例を示すフローチャート

【図9】図８に続く音声認識の動作手順例を示すフローチャート

【図10】実施の形態２に係る表示装置の音声入力画面の遷移を示す図

【図11】操作入力システムにおける音声認識手順を示すシーケンス図

【図12】図１１に続く操作入力システムにおける音声認識手順を示すシーケンス図

【図13】実施の形態２の変形例１に係る音声認識手順を示すフローチャート

【図14】図１３に続く音声認識手順を示すフローチャート

【発明を実施するための形態】

【0011】

以下、適宜図面を参照しながら、本開示に係る操作入力方法、操作入力システムおよび操作端末の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0012】

（実施の形態１）
図１は、実施の形態１に係る操作入力システム５の構成の概略を示す図である。操作入力システム５は、操作端末１０を携帯する利用者（ユーザ）が発する音声を認識し、この音声認識結果に対応する情報を表示する。操作入力システム５は、アクセスポイント４０を介してネットワークＮＷに接続される操作端末１０と、ネットワークＮＷに接続された音声処理装置５０とを含む構成である。

【0013】

アクセスポイント４０は、操作端末１０を無線でネットワークＮＷに接続する機器である。ネットワークＮＷは、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、あるいはインターネット等の広域ネットワークである。

【0014】

操作端末１０は、複数の利用者によって共用される端末であり、音声入力および表示可能なタブレット端末で構成される。タブレット端末には、入力された音声データをそのまま音声処理装置５０に送信するためのアプリケーション、入力された音声を認識してテキストデータに変換するためのアプリケーション、このテキストデータを音声処理装置５０に送信するためのアプリケーションがそれぞれインストールされている。なお、操作端末１０は、タブレット端末の他に、同様な情報処理能力および通信機能を有する電子機器であるスマートフォン、ノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）あるいはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等のコンピュータ端末でもよい。

【0015】

音声処理装置５０は、汎用のコンピュータで構成される。音声処理装置５０は、操作端末１０から送信された音声データを基に、音声を認識してテキストデータに変換し、また、このテキストデータに対応する表示情報を取得してあるいは画面データを生成して操作端末１０に送信する。なお、音声処理装置５０は、テキストデータに変換することなく、音声データに対応する表示情報を取得してあるいは画面データを生成して操作端末１０に送信してもよい。

【0016】

図２は、操作端末１０および音声処理装置５０のハードウェア構成を示すブロック図である。操作端末１０は、プロセッサ１１と、メモリ１２と、通信回路１３と、音声入力装置１４と、表示装置１５とを含む構成である。

【0017】

プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）あるいはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、操作端末１０の各部の動作を制御する。プロセッサ１１は、操作端末１０の制御部として機能し、操作端末１０の各部の動作を全体的に統括するための制御処理、操作端末１０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。プロセッサ１１は、メモリ１２内のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたプログラムの実行に従って動作する。

【0018】

また、プロセッサ１１は、機能的な構成として音声認識部２５を有する。音声認識部２５は、メモリ１２内のＲＯＭに記憶されたプログラムの実行に従って構成されるソフトウェア的な構成要素であり、音声入力装置１４で入力された音声を認識し、テキストデータに変換する。プロセッサ１１は、画面データを基に、表示装置１５に各種情報を表示する。また、プロセッサ１１は、音声入力を促進するための音声の候補を表示装置１５に表示する。プロセッサ１１は、表示装置１５に表示するための画面データを生成する。

【0019】

メモリ１２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含み、操作端末１０の動作の実行に必要なプログラムやデータ、動作中に生成された情報またはデータ等を一時的に保存する。ＲＡＭは、例えばプロセッサ１１の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサ１１を制御するためのプログラムおよびデータを予め記憶する。また、メモリ１２には、社員ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｎｕｍｂｅｒ）、および各社員ＩＤに対応する複数の点検項目が登録されたキーワードテーブル１２ｚが記憶されている（図３参照）。

【0020】

通信回路１３は、ネットワークＮＷを介して音声処理装置５０との間で通信可能な通信回路、あるいはその通信回路が実装されたＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）により構成される。

【0021】

音声入力装置１４は、音声を収音するマイクにより構成される。マイクとしては、指向性を有するマイク、無指向性のマイクのいずれでもよい。

【0022】

表示装置１５は、プロセッサ１１の指示に従い、音声処理装置５０から送信された画面データを表示する。なお、操作端末１０が画面データを生成する場合、表示装置１５は、プロセッサ１１が生成した画面データを表示する。なお、表示装置１５は、タッチ入力操作可能なタッチパネルで構成されてもよい。

【0023】

音声処理装置５０は、プロセッサ５１と、メモリ５２と、通信回路５３と、ストレージ５４とを含む構成である。

【0024】

メモリ５２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含み、音声処理装置５０の動作の実行に必要なプログラムやデータ、動作中に生成された情報またはデータ等を一時的に保存する。ＲＡＭは、例えばプロセッサ５１の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサ５１を制御するためのプログラムおよびデータを予め記憶する。

【0025】

通信回路５３は、ネットワークＮＷを介して操作端末１０との間で通信可能な通信回路、あるいはその通信回路が実装されたＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）により構成される。

【0026】

ストレージ５４は、大容量の記憶媒体であり、例えば音声データ、音声認識結果、およびキーワードデータベース（ＤＢ）５４１等を記憶する。

【0027】

キーワードＤＢ５４１には、全社員ＩＤ、および各社員ＩＤに対応する複数の点検項目が登録されている。

【0028】

プロセッサ５１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）あるいはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、音声処理装置５０の各部の動作を制御する。プロセッサ５１は、音声処理装置５０の制御部として機能し、音声処理装置５０の各部の動作を全体的に統括するための制御処理、音声処理装置５０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。プロセッサ５１は、メモリ５２内のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたプログラムの実行に従って動作する。

【0029】

プロセッサ５１は、機能的な構成として制御部６１と、音声認識部６２と、キーワードマッチング部６３とを有する。これらの各部は、プロセッサ５１が内蔵メモリあるいはメモリ５２に記憶された制御プログラムを実行することで実現される機能である。

【0030】

音声認識部６２は、メモリ５２内のＲＯＭに記憶されたプログラムの実行に従って構成されるソフトウェア的な構成要素であり、操作端末１０から送信された音声データの音声を認識してテキストデータに変換する。なお、操作端末１０から、音声データの代わりに、既に音声認識された結果であるテキストデータが送信される場合、音声認識部６２による音声認識処理は省略される。

【0031】

キーワードマッチング部６３は、メモリ５２内のＲＯＭに記憶されたプログラムの実行に従って構成されるソフトウェア的な構成要素であり、音声認識結果であるテキストとキーワードＤＢ５４１に登録されているキーワードとを照合する。例えば、音声認識されたテキストが番号またはその羅列（数列）である場合、キーワードマッチング部６３は、この番号とキーワードＤＢ５４１に登録されている社員ＩＤとを照合し、一致している場合、利用者がこの社員ＩＤを持つ社員であることを認証する。社員ＩＤの認証が成功した場合、キーワードマッチング部６３は、この社員ＩＤに対応する１つまたは複数の点検項目をピックアップ（抽出）する。キーワードマッチング部６３は、この利用者が次に発する音声を点検項目の順番（チェック番号）に該当させる。例えば、社員ＩＤが「１２３４５６」である場合、その社員ＩＤの社員が実行するべき点検項目として、エンジンの確認と、ブレーキディスクの確認と、アクセルペダルの確認と、バッテリチェックの確認等とが予め定義されておりピックアップされる。キーワードマッチング部６３は、この点検項目の順番を、利用者が発する音声の発話順と判断する。

【0032】

制御部６１は、メモリ５２内のＲＯＭに記憶されたプログラムの実行に従って構成されるソフトウェア的な構成要素であり、音声認識結果およびチェック番号の点検項目を含む画面データを生成し、操作端末１０に送信する。また、制御部６１は、音声認識結果およびチェック番号の点検項目をストレージ５４に記憶する。

【0033】

図３は、キーワードデータベース（ＤＢ）５４１の登録内容を示すテーブルである。キーワードデータベース（ＤＢ）５４１には、例えば、社員ＩＤが「１２３４５６」に対応する点検項目として、チェック１：エンジンの確認と、チェック２：ブレーキディスクの確認と、チェック３：アクセルペダルの確認と、チェック４：バッテリの確認等とが予め定義されて登録されている。

【0034】

また、社員ＩＤが「７８９１２３」に対応する点検項目として、チェック１：エンジンオイルの確認と、チェック２：クーラントの確認と、チェック３：ブレーキオイルの確認と、チェック４：燃料量の確認等とが予め定義されて登録されている。

【0035】

図４は、表示装置１５の音声入力画面の遷移を示す図である。操作端末１０は、起動後、表示装置１５に社員ＩＤの入力画面ＧＡ１を表示する。社員ＩＤの入力画面ＧＡ１には、「社員ＩＤの入力」のメッセージｍｓ１と、その下方に入力ボックスｂｘ１とが表示される。操作端末１０は、音声入力装置１４において利用者が発する音声を収音し、その音声に含まれる数字を社員ＩＤとして受け付ける。図４の例では、利用者が「１２３４５６」という音声を発したことで、その音声の認識結果である「１２３４５６」が入力ボックスｂｘ１に入力されている。

【0036】

操作端末１０は、社員ＩＤの音声の認識結果を受け付けると、その社員ＩＤに対応する社員が予め登録された社員であるか否かを認証等し、その認証が成功した場合にその社員ＩＤに対応する点検項目の入力画面ＧＡ２を表示する。入力画面ＧＡ２の上方には、直前の入力画面ＧＡ１の表示時に収音された利用者の音声の認識によって入力された社員ＩＤが表示される。入力画面ＧＡ２には、点検項目ごとに、チェック番号１，２，３，Ｎ（図４の例では、Ｎ＝４）、点検内容ｃｔ１，ｃｔ２，ｃｔ３，ｃｔ４、および入力ボックスｂｙ１，ｂｙ２，ｂｙ３，ｂｙ４のそれぞれが順に対応付けられて表示される。なお、Ｎは４以上の正の整数である。

【0037】

チェック番号１～Ｎは、例えば利用者が点検を終える度に発する発話の順番に対応する。一例として、チェック１の点検内容は、エンジンの確認である。入力ボックスｂｙ１には、利用者が車両（図示略）内に搭載されたエンジンの点検確認結果として発話された音声「ＯＫ」の認識結果（テキストデータ）が入力される。

【0038】

同様に、チェック２の点検内容は、ブレーキディスクの確認である。入力ボックスｂｙ２には、利用者が車両内に搭載されたブレーキディスクの点検確認結果として発話された音声「ＯＫ」の認識結果（テキストデータ）が入力される。

【0039】

チェック３の点検内容は、アクセルペダルの確認である。入力ボックスｂｙ３には、利用者が車両内に搭載されたアクセルペダルの点検確認結果として発話された音声「ＯＫ」の認識結果（テキストデータ）が入力される。

【0040】

チェック４の点検内容は、バッテリの確認である。入力ボックスｂｙ４には、例えば車両内に搭載されたバッテリの確認結果として利用者によってバッテリ電圧が低いと判断された場合に利用者により発話された音声「ＮＧ」の認識結果（テキストデータ）が入力される。

【0041】

次に、実施の形態１に係る操作入力システム５の動作手順について説明する。

【0042】

以下の説明を分かり易くするため、一例として、点検対象物（例えば車両）を点検する作業者の手が塞がれている状態で、作業者が車両の点検結果を記録する例をユースケースとして説明する。手が塞がれている状態として、例えば点検終了後、作業者が使用していた工具を片付けていたり、手を洗ったりしている等の状況が想定される。また、素手によるタッチ操作で入力可能なタッチパネルを有する操作端末に対し、作業者が手袋をはめている状況が想定される。

【0043】

図５および図６は、音声認識の動作手順例を示すシーケンス図である。

【0044】

図５において、利用者による電源オン操作によって操作端末１０が起動すると、操作端末１０のプロセッサ１１は、音声認識の動作を開始する。プロセッサ１１は、社員ＩＤの入力画面ＧＡ１を表示装置１５に表示する（Ｔ１）。社員ＩＤの入力画面ＧＡ１が表示された状態で、利用者が音声（例えば、番号「１２３４５６」）を発する。プロセッサ１１は、音声入力装置１４で利用者の発話を収音する（Ｔ２）。プロセッサ１１は、通信回路１３、アクセスポイント４０およびネットワークＮＷを介して、この音声データを音声処理装置５０に送信する（Ｔ３）。

【0045】

音声処理装置５０のプロセッサ５１の制御部６１は、通信回路５３を介して操作端末１０から送信された音声データを受信し、メモリ５２にこの音声データを記憶する。プロセッサ５１の音声認識部６２は、メモリ５２に記憶された音声データに対し音声認識を行う（Ｔ４）。

【0046】

プロセッサ５１のキーワードマッチング部６３は、音声認識されたテキストデータが該当する項目（社員ＩＤの入力項目）に対する入力であるかを判断する（Ｔ５）。この判断では、キーワードマッチング部６３は、ストレージ５４に記憶されたキーワードＤＢ５４１を参照し、音声認識されたテキストデータに対応する社員ＩＤの有無を判定し、利用者の社員ＩＤを認証する。さらに、キーワードマッチング部６３は、社員ＩＤの認証結果がＯＫである場合、キーワードＤＢ５４１に登録されている、社員ＩＤに対応する複数の点検項目をピックアップする。

【0047】

制御部６１は、社員ＩＤの認証ＯＫ、および社員ＩＤに対応する複数の点検項目を基に、点検項目の入力画面ＧＡ２の画面データを生成する（Ｔ６）。制御部６１は、通信回路５３およびネットワークＮＷを介して、点検項目の入力画面ＧＡ２の画面データを操作端末１０に送信する（Ｔ７）。

【0048】

なお、社員ＩＤの認証結果がＮＧである場合、音声処理装置５０の制御部６１は、操作端末１０から再度の音声データの受信を待つ。このとき、制御部６１は、利用者の社員ＩＤが認証できない旨を操作端末１０に返信してもよいし、何も返信しなくてもよい。また、キーワードＤＢ５４１に、社員ＩＤに対応する点検項目が登録されていない場合、制御部６１は、利用者の社員ＩＤに対応する点検項目が登録されていない旨を操作端末１０に返信してもよいし、何も返信しなくてもよい。

【0049】

操作端末１０のプロセッサ１１は、通信回路１３、アクセスポイント４０およびネットワークＮＷを介して、音声処理装置５０から点検項目の入力画面ＧＡ２の画面データを受信し、点検項目の入力画面ＧＡ２を表示装置１５に表示する（Ｔ８）。なお、プロセッサ１１は、音声入力装置１４で利用者の発話を収音してからしばらく経過しても、音声処理装置５０から点検項目の入力画面ＧＡ２の画面データを受信しなかった場合、手順Ｔ２に戻って同様の処理を繰り返してもよい。これにより、利用者は、再度、社員ＩＤを発話でき、突発的な騒音等によりうまく収音できなかった場合に対処できる。

【0050】

表示装置１５に点検項目の入力画面ＧＡ２が表示された状態で、プロセッサ１１は、手順Ｔ２と同様、音声入力装置１４で利用者の発話を収音する（Ｔ９）。このとき、利用者は、チェック１（ここでは、エンジンの確認）の点検項目に対し、例えば「ＯＫ」、「ＮＧ」等を発音する。プロセッサ１１は、通信回路１３、アクセスポイント４０およびネットワークＮＷを介して、この音声データを音声処理装置５０に送信する（Ｔ１０）。音声処理装置５０の制御部６１は、通信回路５３を介して操作端末１０から送信された音声データを受信し、メモリ５２にこの音声データを記憶する。音声認識部６２は、メモリ５２に記憶された音声データに対し音声認識を行う（Ｔ１１）。

【0051】

制御部６１は、音声認識されたテキストデータが前の入力項目（社員ＩＤの入力項目）に対する入力であるか否かを判断する（Ｔ１２）。音声認識されたテキストデータが社員ＩＤの入力項目に対する入力である場合、つまり６桁の数字である場合、制御部６１は、通信回路５３およびネットワークＮＷを介して、この社員ＩＤのテキストデータを操作端末１０に送信する（Ｔ１３）。操作端末１０のプロセッサ１１は、通信回路１３、アクセスポイント４０およびネットワークＮＷを介して、音声処理装置５０から社員ＩＤのテキストデータを受信すると、この受信が社員ＩＤの訂正であると判断し、訂正された社員ＩＤのテキストデータを反映するように、点検項目の入力画面ＧＡ２を更新する（Ｔ１４）。

【0052】

一方、手順Ｔ１２で音声認識されたテキストデータが社員ＩＤの入力項目に対する入力でない場合、制御部６１は、音声認識されたテキストデータが該当する項目（チェック１の点検項目）に対する入力（例えば「ＯＫ」）であるか否かを判別する（Ｔ１５）。音声認識されたテキストがチェック１の点検項目に対する入力でない場合、制御部６１は、手順Ｔ１１に戻り、再度、音声データを受信するまで待つ。

【0053】

一方、手順Ｔ１５で音声認識されたテキストデータがチェック１の点検項目に対する入力である場合、制御部６１は、通信回路５３およびネットワークＮＷを介して、チェック１の点検項目に対するテキストデータを操作端末１０に送信する（Ｔ１６）。操作端末１０のプロセッサ１１は、通信回路１３、アクセスポイント４０およびネットワークＮＷを介して、音声処理装置５０からチェック１の点検項目に対するテキストデータを受信し、このテキストデータを反映するように、点検項目の入力画面ＧＡ２を更新する（Ｔ１７）。更新された点検項目の入力画面ＧＡ２では、チェック１のエンジンの確認に対する入力ボックスｂｙ１に「ＯＫ」の文字が表示される（図４参照）。手順Ｔ９～手順Ｔ１７までの同様の処理は、点検項目の数に相当するＮ回分繰り返される。つまり、点検項目の番号（チェック番号）を第ｋ番目の点検項目で表すと、手順Ｔ９～手順Ｔ１７までの同様の処理は、ｋ＝１～Ｎで行われる。

【0054】

その後、表示装置１５にチェック（Ｎ－１）の点検項目が入力済みである、つまりチェックＮの入力画面ＧＡ２が表示された状態で、プロセッサ１１は、手順Ｔ９と同様、音声入力装置１４で利用者の発話を収音する（Ｔ１８）。プロセッサ１１は、通信回路１３、アクセスポイント４０およびネットワークＮＷを介して、この音声データを音声処理装置５０に送信する（Ｔ１９）。音声処理装置５０の制御部６１は、通信回路５３を介して操作端末１０から送信された音声データを受信し、メモリ５２にこの音声データを記憶する。音声認識部６２は、メモリ５２に記憶された音声データに対し音声認識を行う（Ｔ２０）。

【0055】

制御部６１は、音声認識されたテキストデータが前の点検項目（チェック（Ｎ－１）の点検項目）に対する入力であるか否かを判別する（Ｔ２１）。例えば、利用者がキーワードとして「前の項目 ＮＧ」と発話した場合、前の入力項目に対する入力であると判断される。

【0056】

音声認識されたテキストデータがチェック（Ｎ－１）の点検項目に対する入力である場合、制御部６１は、通信回路５３およびネットワークＮＷを介して、訂正されたチェック（Ｎ－１）のテキストデータを操作端末１０に送信する（Ｔ２２）。操作端末１０のプロセッサ１１は、通信回路１３、アクセスポイント４０およびネットワークＮＷを介して、音声処理装置５０から訂正されたチェック（Ｎ－１）のテキストデータを受信すると、このテキストデータを反映するように、点検項目の入力画面ＧＡ２を更新する（Ｔ２３）。

【0057】

一方、手順Ｔ２１で音声認識されたテキストデータがチェック（Ｎ－１）の点検項目に対する入力でない場合、制御部６１は、音声認識されたテキストデータが該当する項目（ここでは、チェックＮの点検項目）に対する入力（例えば「ＯＫ」）であるかを判断する（Ｔ２４）。音声認識されたテキストデータがチェックＮの点検項目に対する入力でない場合、制御部６１は、手順１９で音声データを受信するまで待つ。

【0058】

一方、手順Ｔ２１で音声認識されたテキストがチェックＮの点検項目に対する入力である場合、制御部６１は、点検結果画面ＧＡ３（図７参照）を生成する（Ｔ２５）。制御部６１は、通信回路５３およびネットワークＮＷを介して、点検結果画面ＧＡ３の画面データを操作端末１０に送信する（Ｔ２６）。操作端末１０のプロセッサ１１は、通信回路１３、アクセスポイント４０およびネットワークＮＷを介して、音声処理装置５０から点検結果画面ＧＡ３の画面データを受信し、表示装置１５に点検結果画面ＧＡ３を表示する（Ｔ２７）。

【0059】

図７は、表示装置１５に表示された点検結果画面ＧＡ３の一例を示す図である。点検結果画面ＧＡ３には、社員ＩＤ、点検日時、およびチェック１～Ｎの点検結果が一覧で表示される。図７では、社員ＩＤ：１２３４５６、点検日時：２０１８年○月○日，チェック１：エンジンの確認 ＯＫ，チェック２：ブレーキディスクの確認 ＯＫ，チェック３：アクセルぺダルの確認 ＯＫ，チェック４：バッテリの確認 ＮＧ等が表示される。

【0060】

このように、実施の形態１の操作入力システムでは、社員ＩＤの入力から点検項目の確認、点検結果画面の表示に至るまでの操作を、利用者の手を必要とすることなく簡単な発話だけで完結できる。特に、チェック番号を発音することなく、チェックの順番を発話順に合わせることができ、発話回数が少なくて済む。これにより、発話による操作が簡単になる。また、発話順によらず、入力する単語の形式（例えば４桁の数字）が他の単語の形式（例えば２文字のアルファベット）と異なる場合、入力対象を特定する項目名を省略できるようにしてもよい。

【0061】

なお、前の点検項目の確認を訂正する場合、利用者が「前の項目 ＮＧ 」と発話する場合を例示したが、これに限らず、「チェック番号○〇 ＮＧ」と発話してもよい。チェック番号を入力することで、２つ以上前のチェック番号の入力を訂正することも可能となる。また、入力操作に使用される、利用者が発する簡単な単語としては、番号、ＯＫ、ＮＧに限らず、肯定を表すＹＥＳ，否定を表すＮＯ，ランクを表すＡ，Ｂ，Ｃ等であってもよい。これにより、入力ミスが少なくなる。

【0062】

以上により、実施の形態１の操作入力方法は、操作端末１０に社員ＩＤの入力画面ＧＡ１（第１の画面）が表示された状態で利用者（ユーザ）の発する音声を収音するステップと、収音された前記音声を認識するステップと、音声の認識結果が社員ＩＤの入力画面ＧＡ１に示される点検項目（確認項目）に対する入力内容と合致するか否かを判断するステップと、音声の認識結果が社員ＩＤの入力画面ＧＡ１に示される社員ＩＤの入力項目に対する入力内容と合致する場合、社員ＩＤの入力画面ＧＡ１から点検項目の入力画面ＧＡ２（第２の画面）への表示の切り替えと、社員ＩＤの入力画面ＧＡ１に示される社員ＩＤの入力項目に対応する音声の認識結果の点検項目の入力画面ＧＡ２への表示とを操作端末１０に指示するステップと、を有する。

【0063】

これにより、操作入力方法、操作入力システム５、あるいは操作端末１０によれば、ユーザが手を用いた操作を行うことが難しい状況（作業者の手が塞がれている状態）等でも、作業者が車両の点検結果を記録するために操作端末１０に対して音声を発するという簡易な作業で点検を効率的に行えるので、ユーザ操作の入力時の利便性を向上できる。

【0064】

また、操作入力方法は、操作端末１０にＮ（Ｎ：４以上の整数）個の点検項目の入力画面ＧＡ２が表示された状態でユーザの発する音声の認識結果が点検項目の入力画面ＧＡ２に示される第ｋ（ｋ：１≦ｋ≦（Ｎ－１）を満たす整数）番目の点検項目に対する入力内容と合致するか否かを判断するステップと、音声の認識結果が点検項目の入力画面ＧＡ２に示される第ｋ番目の点検項目に対する入力内容と合致する場合、第ｋ番目の点検項目に対応する音声の認識結果の点検項目の入力画面ＧＡ２への表示を操作端末１０に指示するステップと、を有する。これにより、点検項目の連続的な入力が可能となり、操作性が向上する。

【0065】

また、音声を認識するステップは、音声の認識結果が点検項目の入力画面ＧＡ２に示される第ｋ番目の点検項目に対する入力内容と合致しない場合、利用者が発話した「前の項目ＮＧ」、「チェック３ ＮＯ」等のキーワード（所定のキーワード）と第ｋ番目の点検項目に対して利用者が再度発する音声との認識処理を受け付けるステップを含む。これにより、一旦、入力が完了した後でも、前の点検項目の入力内容を簡単に訂正できる。

【0066】

また、音声の認識結果が点検項目の入力画面ＧＡ２に示される第Ｎ番目の点検項目に対する入力内容と合致する場合、Ｎ個の点検項目とそれぞれの点検項目に対するユーザの発する音声の認識結果とを対応付けた点検結果画面ＧＡ３（認識結果）の表示を操作端末１０に指示するステップ、を更に有する。これにより、ユーザは、全ての点検項目の入力内容を一覧で視覚的に確認できる。したがって、ユーザは、誤入力を見つけ易くなり、入力ミスの低減を図ることができる。

【0067】

また、点検項目の入力画面ＧＡ２に示されるチェック１（第１番目）からチェックＮ（第Ｎ番目）までの点検項目に対する入力内容は、社員ＩＤの入力画面ＧＡ１に示される社員ＩＤの入力項目に対する入力内容と対応付けられる。これにより、社員ＩＤごとに点検項目を管理できる。また、ユーザは、点検項目の入力画面ＧＡ２に示された点検項目の入力内容と自身が想定している点検項目の内容とを比較し、その正誤を容易に確認できる。

【0068】

また、利用者が発話した「前の項目 ＮＧ」、「チェック３ ＮＯ」等のキーワード（所定のキーワード）は、１つ前の点検項目（第ｋ－１番目の確認項目）に対する入力内容の訂正（修正）を表すテキストデータ（情報）である。これにより、１つ前の点検項目を簡単に訂正できる。

【0069】

（実施の形態１の変形例１）
実施の形態１では、音声処理装置５０が操作端末１０から音声データを受信して音声認識を行う場合を示したが、実施の形態１の変形例１では、操作端末１０が音声認識を行う例を説明する。

【0070】

図８および図９は、実施の形態１の変形例１に係る音声認識の動作手順例を示すフローチャートである。

【0071】

図８において、利用者による電源オンの操作等によって操作端末１０が起動すると、操作端末１０のプロセッサ１１は、音声認識の動作を開始する。プロセッサ１１は、社員ＩＤの入力画面ＧＡ１を表示装置１５に表示する（Ｓ１）。社員ＩＤの入力画面ＧＡ１が表示された状態で、利用者が音声（例えば、番号「１２３４５６」）を発する。プロセッサ１１は、音声入力装置１４で利用者の発話を収音する（Ｓ２）。

【0072】

プロセッサ１１は、収音された音声の音声データをメモリ１２に記憶する。プロセッサ１１の音声認識部２５は、メモリ１２に記憶された音声データに対し音声認識を行い、音声を認識できたか否かを判別する（Ｓ３）。音声を認識できなかった場合、プロセッサ１１は、ステップＳ２に戻り、再度、収音動作を行う。これにより、利用者は、再度、社員ＩＤの発話でき、突発的な騒音等によりうまく収音できなかった場合に対処できる。

【0073】

ステップＳ３で音声を認識できた場合、プロセッサ１１は、音声認識されたテキストデータが該当する項目（社員ＩＤの入力項目）に対する入力であるか否かを判別する（Ｓ４）。社員ＩＤの入力項目に対する入力である場合、プロセッサ１１は、メモリ１２に記憶されたキーワードテーブル１２ｚを参照し、音声認識されたテキストに対応する社員ＩＤの有無を判定し、利用者の社員ＩＤを認証する。さらに、プロセッサ１１は、社員ＩＤの認証結果がＯＫである場合、キーワードテーブル１２ｚに登録されている、社員ＩＤに対応する複数の点検項目をピックアップする。

【0074】

ステップＳ４で社員ＩＤの入力項目に対する入力でない場合、プロセッサ１１は、ステップＳ２に戻り、再度、収音動作を行う。社員ＩＤの入力項目に対する入力でない場合として、例えば、社員ＩＤの認証結果がＮＧであることや、キーワードテーブル１２ｚに利用者の社員ＩＤに対応する点検項目が登録されていないことが挙げられる。なお、これらの場合、プロセッサ１１は、社員ＩＤの認証結果がＮＧである旨を表示装置１５に表示してもよい。また、プロセッサ１１は、利用者の社員ＩＤに対応する点検項目が登録されていない旨を表示装置１５に表示してもよい。

【0075】

プロセッサ１１は、社員ＩＤの認証ＯＫ、および社員ＩＤに対応する複数の点検項目を基に、点検項目の入力画面ＧＡ２を生成する（Ｓ５）。プロセッサ１１は、点検項目の入力画面ＧＡ２を表示装置１５に表示する（Ｓ６）。

【0076】

表示装置１５に点検項目の入力画面ＧＡ２が表示された状態で、プロセッサ１１は、ステップＳ２と同様、音声入力装置１４で利用者の発話を収音する（Ｓ７）。このとき、利用者は、チェック１のエンジンの確認の点検項目に対し、例えば「ＯＫ」、「ＮＧ」等を発音する。

【0077】

プロセッサ１１は、収音された音声の音声データをメモリ１２に記憶する。プロセッサ１１の音声認識部２５は、メモリ１２に記憶された音声データに対し音声認識を行い、音声を認識できたか否かを判別する（Ｓ８）。音声を認識できなかった場合、プロセッサ１１は、ステップＳ７に戻り、再度、収音動作を行う。

【0078】

ステップＳ８で音声を認識できた場合、プロセッサ１１は、音声認識されたテキストデータが該当する項目（チェック１の点検項目）に対する入力であるか否かを判別する（Ｓ９）。音声認識されたテキストデータがチェック１の点検項目に対する入力でない場合、プロセッサ１１は、音声認識されたテキストデータが前の入力項目（社員ＩＤの入力項目）に対する入力であるか否かを判別する（Ｓ１０）。社員ＩＤの入力項目に対する入力でない場合、プロセッサ１１は、ステップＳ８の処理に戻る。なお、社員ＩＤの入力項目に対する入力でない場合、プロセッサ１１は、何も表示しなくてよいし、再入力を促すように表示装置１５に表示してもよい。

【0079】

ステップＳ１０で音声認識されたテキストデータが社員ＩＤの入力項目に対する入力である場合、つまり６桁の数字である場合、プロセッサ１１は、この入力が社員ＩＤの訂正であると判断し、訂正された社員ＩＤを反映するように、点検項目の入力画面ＧＡ２を更新する（Ｓ１１）。この後、プロセッサ１１は、ステップＳ７の処理に戻る。

【0080】

ステップＳ９で音声認識されたテキストデータがチェック１の点検項目に対する入力である場合、プロセッサ１１は、チェック１の点検項目に対するテキストデータを反映するように（チェック１の入力の音声認識結果を含むように）、点検項目の入力画面ＧＡ２を更新する（Ｓ１２）。更新された点検項目の入力画面ＧＡ２では、チェック１のエンジンの確認に対する入力ボックスｂｙ１に「ＯＫ」の文字が表示される（図４参照）。

【0081】

ステップＳ７～Ｓ１２までの同様の処理は、点検項目の数に相当するＮ回分繰り返される。つまり、点検項目の番号（チェック番号）を第ｋ番目の点検項目で表すと、ステップＳ７～Ｓ１２までの同様の処理は、ｋ＝１～Ｎで行われる。

【0082】

プロセッサ１１は、表示装置１５にチェック（Ｎ－１）の項目が入力済みである点検項目の入力画面ＧＡ２を表示する（Ｓ１３）。プロセッサ１１は、この表示状態で、ステップＳ７と同様、音声入力装置１４で利用者の発話を収音する（Ｓ１４）。プロセッサ１１は、収音された音声の音声データをメモリ１２に記憶する。プロセッサ１１の音声認識部２５は、メモリ１２に記憶された音声データに対し音声認識を行い、音声認識できたか否かを判別する（Ｓ１５）。音声認識できなかった場合、プロセッサ１１は、ステップＳ１４に戻り、再度、利用者の発話を取得する。

【0083】

プロセッサ１１は、音声認識されたテキストデータが該当する項目（チェックＮの点検項目）に対する入力（例えば「ＯＫ」）であるかを判別する（Ｓ１６）。音声認識されたテキストデータがチェックＮの点検項目に対する入力でない場合、例えば、利用者が「前の項目 ＮＧ」と発話した場合、プロセッサ１１は、音声認識されたテキストデータが前の点検項目（チェック（Ｎ－１）の点検項目）に対する入力であるか否かを判別する（Ｓ１７）。

【0084】

音声認識されたテキストデータがチェックＮ－１の入力項目に対する入力である場合、プロセッサ１１は、訂正されたチェック（Ｎ－１）のテキストデータを反映するように、点検項目の入力画面ＧＡ２を更新する（Ｓ１８）。この後、プロセッサ１１は、ステップＳ１４の処理に戻る。なお、ステップＳ１７で音声認識されたテキストデータがチェックＮ－１の点検項目に対する入力でない場合、プロセッサ１１は、ステップＳ１４の処理に戻る。このとき、プロセッサ１１は、何も表示しなくてよいし、再入力を促すように、表示装置１５に表示してもよい。

【0085】

ステップＳ１６で音声認識されたテキストデータがチェックＮの点検項目に対する入力である場合、プロセッサ１１は、点検結果画面ＧＡ３（図７参照）を生成する（Ｓ１９）。プロセッサ１１は、表示装置１５に点検結果画面ＧＡ３を表示する（Ｓ２０）。この後、プロセッサ１１は音声認識の動作を終了する。

【0086】

以上により、実施の形態１の変形例１に係る操作端末１０は、利用者が発話すると、自機で音声認識を行い、音声認識結果を表示する。したがって、ネットワーク環境が無い場所で操作端末を使用できる。ネットワーク環境を使用しない、また、音声処理装置を必要としないことで、低コスト化を図ることができる。

【0087】

（実施の形態２）
実施の形態１では、点検項目の入力操作は一画面内で順番に行われたが、実施の形態２では、点検項目ごとに画面が遷移して入力操作が行われる場合を示す。実施の形態２の操作入力システム５の構成は実施の形態１に係る操作入力システム５の構成とほぼ同一の構成を有する。従って、実施の形態１と同一の構成要素については同一の符号を用いることで、その説明を簡略化あるいは省略し、異なる内容について説明する。

【0088】

図１０は、実施の形態２に係る表示装置１５の音声入力画面の遷移を示す図である。操作端末１０は、起動後、実施の形態１と同様、表示装置１５に社員ＩＤの入力画面ＧＡ１を表示する。社員ＩＤの入力画面ＧＡ１には、「社員ＩＤの入力」のメッセージｍｓ１、およびその下方に入力ボックスｂｘ１が表示される。操作端末１０は、音声入力装置１４で利用者が発する音声を収音し、音声に含まれる数字を社員ＩＤとして受け付ける。図１０の例では、利用者が「１２３４５６」という音声を発したことで、その音声の認識結果である「１２３４５６」が入力ボックスｂｘ１に入力されている。

【0089】

操作端末１０は、社員ＩＤの音声の認識結果を受け付けると、その社員ＩＤに対応する社員が予め登録された社員であるか否かを認証等し、その認証が成功した場合に、音声処理装置５０から画面データを受信し、チェック１の点検項目の入力画面ＧＡ１２を表示する。入力画面ＧＡ１２の上側には、直前の入力画面ＧＡ１の表示時に収音された利用者の音声の認識によって入力された社員ＩＤが表示される。入力画面ＧＡ１２の下側には、チェック１、点検内容ｃｔ１、点検結果ｅｆ１がそれぞれ表示される。チェック１の点検内容は、エンジンの確認である。点検結果は、「ＯＫ」または「ＯＫ」である。

【0090】

操作端末１０は、チェック１の点検結果が確認されると、音声処理装置５０から画面データを受信し、チェック２の点検項目の入力画面ＧＡ１３を表示する。入力画面ＧＡ１３の上側には、前の入力画面ＧＡ１２で入力されたチェック１の結果が表示される。入力画面ＧＡ１３の下側には、チェック２、点検内容ｃｔ２、および点検結果が表示される。チェック２の点検内容は、ブレーキディスクの確認である。点検結果は、「ＯＫ」または「ＯＫ」である。以後、チェックＮの入力画面まで同様に画面遷移が行われる。

【0091】

次に、実施の形態２に係る操作入力システム５の動作手順について説明する。

【0092】

実施の形態２においても、実施の形態１と同様に、点検対象物（例えば車両）を点検する作業者の手が塞がれている状態で、作業者が車両の点検結果を記録する例をユースケースとして説明する。図１１および図１２は、操作入力システム５における音声認識手順を示すシーケンス図である。実施の形態１と同様の手順については、同一の手順番号を付すことでその説明を省略する。

【0093】

図１１において、手順Ｔ５で音声認識されたテキストデータが社員ＩＤの入力項目に対する入力である場合、制御部６１は、チェック１の点検項目の画面ＧＡ１２を生成する（Ｔ６Ａ）。制御部６１は、チェック１の画面データを操作端末１０に送信する（Ｔ７Ａ）。操作端末１０のプロセッサ１１は、受信した画面データを基に、チェック１の点検項目の入力画面ＧＡ１２を表示する（Ｔ８Ａ）。

【0094】

手順Ｔ１２で音声認識されたテキストデータが社員ＩＤの入力項目に対する入力である場合、つまり６桁の数字である場合、音声処理装置５０の制御部６１は、訂正された社員ＩＤを含むチェック１の点検項目の入力画面ＧＡ１２を生成する（Ｔ１２Ａ）。制御部６１は、通信回路５３およびネットワークＮＷを介して、訂正されたチェック１の点検項目の入力画面ＧＡ１２の画面データを操作端末１０に送信する（Ｔ１３Ａ）。操作端末１０のプロセッサ１１は、受信した画面データを基に、チェック１の点検項目の入力画面ＧＡ１２を更新する（Ｔ１４Ａ）。

【0095】

また、手順Ｔ１５で音声認識されたテキストデータがチェック１の点検項目に対する入力である場合、音声処理装置５０の制御部６１は、チェック１の確認結果を含むチェック２の点検項目の入力画面ＧＡ１３を生成する（Ｔ１５Ａ）。制御部６１は、通信回路５３およびネットワークＮＷを介して、チェック２の点検項目の入力画面ＧＡ１３の画面データを操作端末１０に送信する（Ｔ１６Ａ）。操作端末１０のプロセッサ１１は、受信した画面データを基に、チェック２の点検項目の入力画面ＧＡ１３を更新する（Ｔ１７Ａ）。

【0096】

手順Ｔ９～手順Ｔ１７Ａまでの同様の処理は、点検項目の入力画面の数回分繰り返される。つまり、点検項目の入力画面を第ｍ番目の画面（ｍ＝２～Ｎ）で表すと、手順Ｔ９～手順Ｔ１７Ａまでの同様の処理は、ｍ＝２～Ｎで行われる。

【0097】

その後、手順Ｔ２１で音声認識されたテキストデータがチェック（Ｎ－１）の点検項目に対する入力である場合、音声処理装置５０の制御部６１は、訂正されたチェック（Ｎ－１）の入力を含むチェックＮの点検項目の入力画面を生成する（Ｔ２１Ａ）。制御部６１は、通信回路５３およびネットワークＮＷを介して、訂正されたチェック（Ｎ－１）の入力を含むチェックＮの点検項目の入力画面の画面データを操作端末１０に送信する（Ｔ２２）。操作端末１０のプロセッサ１１は、受信した画面データを基に、手順Ｔ２４でチェックＮの点検項目の入力画面を更新する（Ｔ２３）。

【0098】

また、手順Ｔ２１で音声認識されたテキストデータがチェックＮの点検項目に対する入力である場合、音声処理装置５０の制御部６１は、手順Ｔ２５でチェックＮの確認結果を含む点検結果画面ＧＡ３（図７参照）の画面データを生成する。以後の動作は、実施の形態１と同様であるため、説明を省略する。

【0099】

このように、実施の形態２の操作入力システム５では、利用者の手を必要とすることなく入力操作を完結できる。点検項目が変わる度に、表示装置に表示される点検項目の入力画面が変化するので、利用者が視覚的に分かり易い入力操作を行うことができる。また、利用者は、点検項目が多い場合でも、次に点検する内容を即座に把握できる。

【0100】

以上により、実施の形態２の操作入力方法は、操作端末１０に例えばチェック１の点検項目の入力画面ＧＡ１２（第ｍ番目の画面（２≦ｍ≦Ｎを満たす整数、Ｎ：４以上の整数））が表示された状態でユーザの発する音声の認識結果が入力画面ＧＡ１２に示されるチェック１の点検項目に対する入力内容と合致するか否かを判断するステップと、音声の認識結果が入力画面ＧＡ１２に示されるチェック１の点検項目に対する入力内容と合致する場合、入力画面ＧＡ１２（第ｍ番目の画面）からチェック２の点検項目の入力画面ＧＡ１３（第（ｍ＋１）番目の画面）への表示の切り替えと、入力画面ＧＡ１２に示されるチェック１の点検項目に対応する音声の認識結果のチェック２の点検項目の入力画面ＧＡ１３への表示とを操作端末１０に指示するステップと、を有する。

【0101】

これにより、点検項目の連続的な入力が可能となり、操作性が向上する。また、画面が切り替わることで、ユーザが次の点検項目の入力操作に移行したことに気付き易くなる。

【0102】

また、音声を認識するステップは、音声の認識結果が入力画面ＧＡ１２に示されるチェック１の点検項目（第ｍ番目の画面に示される確認項目）に対する入力内容と合致しない場合、利用者が発話した「前の項目 ＮＧ」、「チェック３ ＮＯ」等のキーワード（所定のキーワード）とチェック１の点検項目に対してユーザが再度発する音声との認識処理を受け付けるステップを含む。これにより、一旦、入力が完了した後でも、前の項目の入力内容を簡単に訂正できる。

【0103】

また、音声の認識結果が点検結果画面ＧＡ３（第Ｎ番目の画面）に示される点検項目に対する入力内容と合致する場合、入力画面ＧＡ１２（第２番目の画面）から第Ｎ番目の画面までのそれぞれの点検項目とそれぞれの点検項目に対するユーザの発する音声の認識結果とを対応付けた点検結果画面ＧＡ３（認識結果）の表示を操作端末１０に指示するステップ、を更に有する。これにより、ユーザは、全ての点検項目の入力内容を一覧で視覚的に確認できる。誤入力を見つけ易くなり、入力ミスの低減を図ることができる。

【0104】

また、入力画面ＧＡ１２である第２番目の入力画面から第Ｎ番目の入力画面までに示される点検項目に対する入力内容は、社員ＩＤの入力画面ＧＡ１に示される点検項目に対する入力内容と対応付けられる。これにより、社員ＩＤごとに点検項目を管理できる。また、ユーザは、各点検項目の入力画面ＧＡ１２，ＧＡ１３に示された点検項目の入力内容と自身が想定している点検項目の内容とを比較し、その正誤を容易に確認できる。

【0105】

また、利用者が発話した「前の項目 ＮＧ」、「チェック３ ＮＯ」等のキーワード（所定のキーワード）は、１つ前の画面（第ｍ－１番目の画面）に示される点検項目に対する入力内容の訂正（修正）を表すテキストデータ（情報）である。これにより、１つ前の点検項目を簡単に訂正できる。

【0106】

（実施の形態２の変形例１）
実施の形態２では、音声処理装置５０が操作端末１０から音声データを受信して音声認識を行う場合を示したが、実施の形態２の変形例１では、操作端末１０が音声認識を行う例を説明する。実施の形態２の変形例１に係る操作端末１０は、実施の形態１と同一の構成を有する。実施の形態１と同一の構成要素については同一の符号を用いることで、その説明を省略する。

【0107】

図１３および図１４は、実施の形態２の変形例１に係る音声認識の動作手順例を示すフローチャートである。実施の形態１の変形例１と同一のステップ処理については同一のステップ番号を付す。

【0108】

図１３において、利用者による電源オンの操作等によって操作端末１０が起動すると、操作端末１０のプロセッサ１１は、音声認識の動作を開始する。プロセッサ１１は、社員ＩＤの入力画面ＧＡ１を表示装置１５に表示する（Ｓ１）。社員ＩＤの入力画面ＧＡ１が表示された状態で、利用者が音声（例えば、番号「１２３４５６」）を発する。プロセッサ１１は、音声入力装置１４で利用者の発話を収音する（Ｓ２）。

【0109】

プロセッサ１１は、収音された音声の音声データをメモリ１２に記憶する。プロセッサ１１の音声認識部２５は、メモリ１２に記憶された音声データに対し音声認識を行い、音声を認識できたか否かを判別する（Ｓ３）。音声を認識できなかった場合、プロセッサ１１は、ステップＳ２に戻り、再度、収音動作を行う。これにより、利用者は、再度、社員ＩＤの発話でき、突発的な騒音等によりうまく収音できなかった場合に対処できる。

【0110】

ステップＳ３で音声を認識できた場合、プロセッサ１１は、音声認識されたテキストデータが該当する項目（社員ＩＤの入力項目）に対する入力であるか否かを判別する（Ｓ４）。社員ＩＤの入力項目に対する入力である場合、プロセッサ１１は、メモリ１２に記憶されたキーワードテーブル１２ｚを参照し、音声認識されたテキストに対応する社員ＩＤの有無を判定し、利用者の社員ＩＤを認証する。さらに、プロセッサ１１は、社員ＩＤの認証結果がＯＫである場合、キーワードテーブル１２ｚに登録されている、社員ＩＤに対応する複数の点検項目をピックアップする。

【0111】

ステップＳ４で社員ＩＤの入力項目に対する入力でない場合、プロセッサ１１は、ステップＳ２に戻り、再度、収音動作を行う。社員ＩＤの入力項目に対する入力でない場合として、例えば、社員ＩＤの認証結果がＮＧであることや、キーワードテーブル１２ｚに利用者の社員ＩＤに対応する点検項目が登録されていないことが挙げられる。なお、これらの場合、プロセッサ１１は、社員ＩＤの認証結果がＮＧである旨を表示装置１５に表示してもよい。また、プロセッサ１１は、利用者の社員ＩＤに対応する点検項目が登録されていない旨を表示装置１５に表示してもよい。

【0112】

プロセッサ１１は、社員ＩＤの認証ＯＫ、および社員ＩＤに対応する複数の点検項目を基に、チェック１の点検項目の入力画面ＧＡ１２を生成する（Ｓ５Ａ）。プロセッサ１１は、チェック１の点検項目の入力画面ＧＡ１２を表示装置１５に表示する（Ｓ６Ａ）。チェック１の点検項目の入力画面ＧＡ１２には、社員ＩＤの入力画面ＧＡ１で入力された社員ＩＤが表示される。

【0113】

表示装置１５に点検項目の入力画面ＧＡ２が表示された状態で、プロセッサ１１は、ステップＳ２と同様、音声入力装置１４で利用者の発話を収音する（Ｓ７）。このとき、利用者は、チェック１のエンジンの確認の点検項目に対し、例えば「ＯＫ」、「ＮＧ」等を発音する。

【0114】

プロセッサ１１は、収音された音声の音声データをメモリ１２に記憶する。プロセッサ１１の音声認識部２５は、メモリ１２に記憶された音声データに対し音声認識を行い、音声を認識できたか否かを判別する（Ｓ８）。音声を認識できなかった場合、プロセッサ１１は、ステップＳ７に戻り、再度、収音動作を行う。

【0115】

ステップＳ８で音声を認識できた場合、プロセッサ１１は、音声認識されたテキストデータが該当する項目（チェック１の入力項目）に対する入力であるか否かを判別する（Ｓ９）。音声認識されたテキストデータがチェック１の入力項目に対する入力でない場合、プロセッサ１１は、音声認識されたテキストデータが前の入力項目（社員ＩＤの入力項目）に対する入力であるか否かを判別する（Ｓ１０）。社員ＩＤの入力項目に対する入力でない場合、プロセッサ１１は、ステップＳ７の処理に戻る。なお、社員ＩＤの入力項目に対する入力でない場合、プロセッサ１１は、何も表示しなくてよいし、再入力を促すように、表示装置１５に表示してもよい。

【0116】

ステップＳ１０で音声認識されたテキストデータが社員ＩＤの入力項目に対する入力である場合、つまり６桁の数字である場合、プロセッサ１１は、この入力が社員ＩＤの訂正であると判断し、訂正された社員ＩＤを反映するように、チェック１の点検項目の入力画面ＧＡ１２を更新する（Ｓ１１Ａ）。この後、プロセッサ１１は、ステップＳ７の処理に戻る。

【0117】

ステップＳ９で音声認識されたテキストデータがチェック１の点検項目に対する入力である場合、プロセッサ１１は、チェック２の点検項目の入力画面ＧＡ１３を生成する（Ｓ９Ａ）。プロセッサ１１は、チェック２の点検項目の入力画面ＧＡ１３を表示装置１５に表示する（Ｓ１２Ａ）。チェック２の点検項目の入力画面ＧＡ１３には、チェック１の点検項目の入力画面ＧＡ１２で入力された確認結果（例えば「ＯＫ」）が表示される（図１０参照）。

【0118】

ステップＳ７～Ｓ１２Ａまでの同様の処理は、点検項目の数に相当するＮ回分繰り返される。つまり、点検項目の入力画面を第ｍ番目の画面（ｍ＝２～Ｎ）で表すと、ステップＳ７～Ｓ１２Ａまでの同様の処理は、ｍ＝２～Ｎで行われる。

【0119】

その後、プロセッサ１１は、表示装置１５にチェックＮの点検項目の入力画面ＧＡ２を表示する（Ｓ１３Ａ）。チェックＮの点検項目の入力画面ＧＡＮには、チェックＮ－１の点検項目の入力画面で入力された確認結果（例えば「ＯＫ」）が表示される。

【0120】

プロセッサ１１は、この表示状態で、ステップＳ７と同様、音声入力装置１４で利用者の発話を収音する（Ｓ１４）。プロセッサ１１は、収音された音声の音声データをメモリ１２に記憶する。プロセッサ１１の音声認識部２５は、メモリ１２に記憶された音声データに対し音声認識を行い、音声認識できたか否かを判別する（Ｓ１５）。音声認識できなかった場合、プロセッサ１１は、ステップＳ１４に戻り、再度、利用者の発話を取得する。

【0121】

プロセッサ１１は、音声認識されたテキストデータが該当する項目（チェックＮの入力項目）に対する入力（例えば「ＯＫ」）であるかを判別する（Ｓ１６）。音声認識されたテキストデータがチェックＮの入力項目に対する入力でない場合、例えば、利用者が「前の項目 ＮＧ」と発話した場合、プロセッサ１１は、音声認識されたテキストデータが前の入力項目（チェックＮ－１の入力項目）に対する入力であるか否かを判別する（Ｓ１７）。

【0122】

音声認識されたテキストデータがチェックＮ－１の入力項目に対する入力である場合、プロセッサ１１は、訂正されたチェックＮ－１のテキストデータを反映するように、チェックＮの点検項目の入力画面を更新する（Ｓ１８Ａ）。この後、プロセッサ１１は、ステップＳ１４の処理に戻る。なお、ステップＳ１７で音声認識されたテキストデータがチェックＮ－１の入力項目に対する入力でない場合、プロセッサ１１は、ステップＳ１４の処理に戻る。このとき、プロセッサ１１は、何も表示しなくてよいし、再入力を促すように、表示装置１５に表示してもよい。

【0123】

ステップＳ１６で音声認識されたテキストデータがチェックＮの点検項目に対する入力である場合、プロセッサ１１は、点検結果画面ＧＡ３（図７参照）を生成する（Ｓ１９）。プロセッサ１１は、表示装置１５に点検結果画面ＧＡ３を表示する（Ｓ２０）。この後、プロセッサ１１は音声認識の動作を終了する。

【0124】

このように、実施の形態２の変形例１における操作端末１０は、利用者が発話すると、自機で音声認識を行い、音声認識結果を表示する。ネットワーク環境が無い場所で操作端末を使用できる。ネットワーク環境を使用しないこと、また、音声処理装置を必要としないことで、低コスト化を図ることができる。また、点検項目が変わる度に、表示装置に表示される点検項目の入力画面が変化するので、利用者が視覚的に分かり易い入力操作を行うことができる。また、利用者は、点検項目が多い場合でも、次に点検する内容を即座に把握できる。

【0125】

（実施の形態１，２の変形例２）
実施の形態１、２では、音声処理装置５０は、操作端末１０から送信された音声データを基に音声認識を行い、この音声認識の結果を基に画面データを生成し、操作端末１０に送信した。操作端末１０は、音声処理装置５０から送信された画面データを受信し、表示装置１５に各種の画面を表示した。

【0126】

実施の形態１，２の変形例２では、操作端末１０は、音声データを音声処理装置５０に送信し、音声処理装置５０から音声認識されたテキストデータを受信する。操作端末１０は、受信したテキストデータを基に、自機で各種画面（社員ＩＤの入力画面ＧＡ１、各点検項目の入力画面ＧＡ２、および点検結果画面ＧＡ３）の画面データを生成し、表示装置１５に表示する。

【0127】

これにより、操作端末が音声認識を行う処理を省くことができ、かつ、音声処理装置が画面データを生成する処理を省くことができる。また、データ量の多い画面データをネットワークを介して通信しなくて済み、通信量が減ることでネットワーク通信のトラフィックを低減できる。

【0128】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【0129】

例えば、前述した実施の形態２では、１つの点検項目と１つの画面とが１対１に対応していた。つまり、１つの画面には、１つの点検項目の内容および入力が表示された。２以上の点検項目と１つの画面とを対応付け、１つの画面に２以上の点検項目の内容および入力が表示されてもよい。これにより、音声処理装置および操作端末が画面を生成する処理を軽減できる。

【0130】

また、前述した各実施の形態では、車両を点検する際、作業者による点検項目の表示を例示したが、車両の点検に限らず、工場で作業者が物を生産する工程の表示や、電柱等の高所で作業者が作業する工程の表示についても、本開示は同様に適用可能である。また、利用者が発話することで動作する、スマートスピーカやこれに連動する機器が表示機能を有する場合、ユーザが操作順に発話した音声認識結果を表示する際にも、本開示は同様に適用可能である。

【産業上の利用可能性】

【0131】

本開示は、ユーザが手を用いた操作を行うことが難しい状況等でも、ユーザ操作の入力時の利便性を向上する操作入力方法、操作入力システムおよび操作端末として有用である。

【符号の説明】

【0132】

５ 操作入力システム
１０ 操作端末
１１ プロセッサ
１２、５２ メモリ
１３、５３ 通信回路
１４ 音声入力装置
１５ 表示装置
２５ 音声認識部
５０ 音声処理装置
５１ プロセッサ
５４ ストレージ
６１ 制御部
６２ 音声認識部
６３ キーワードマッチング部
５４１ キーワードデータベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】