特許 6671524 報告書作成するための方法、システム、及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6671524

(24)【登録日】2020年3月5日

(45)【発行日】2020年3月25日

(54)【発明の名称】報告書作成するための方法、システム、及び装置

(51)【国際特許分類】

   G06F 3/16 20060101AFI20200316BHJP

   G10L 15/00 20130101ALI20200316BHJP

   G10L 15/10 20060101ALI20200316BHJP

   G06F 3/01 20060101ALI20200316BHJP

【ＦＩ】

   G06F3/16 630

   G10L15/00 200B

   G10L15/00 200G

   G10L15/10 200W

   G06F3/01 510

【請求項の数】21

【全頁数】27

(21)【出願番号】特願2019-31018(P2019-31018)

(22)【出願日】2019年2月22日

【審査請求日】2019年9月3日

【新規性喪失の例外の表示】特許法第３０条第２項適用 １．発表の事実１ 発表日（掲載日）：平成３１年１月２３日 発表者：菱洋エレクトロ株式会社 掲載アドレス： （１）ｈｔｔｐｓ：／／ｗｗｗ．ｒｙｏｙｏ．ｃｏ．ｊｐ／ｉｎｆｏ／ｐｒｏｄｕｃｔｓ／６４１６／ （２）ｈｔｔｐｓ：／／ｗｗｗ．ｒｙｏｙｏ．ｃｏ．ｊｐ／ｗｒｙｙｐ／ｗｐ−ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０１９／０１／ｄｉｒｅｃｔ＿ｏｎｓｅｉ＿ＲＹＯＹＯ＿２０１９０１２３．ｐｄｆ ２．発表の事実２ 発表日：平成３１年１月２３日 発表者：菱洋エレクトロ株式会社 集会名：ｄｉｒｅｃｔ Ｕｓｅｒ Ｃｏｎｆｅｒｅｎｃｅ ２０１９（開催場所：東京都千代田区富士見２−１０−２ 飯田橋グラン・ブルーム） ３．発表の事実３ 発表日：平成３１年１月３０日 発表者：菱洋エレクトロ株式会社 発表場所：東京都港区港南２−１５−２ ４．発表の事実４ 発表日：平成３１年２月５日 発表者：菱洋エレクトロ株式会社 発表場所：東京都新宿区大久保三丁目８番２号

【早期審査対象出願】

(73)【特許権者】

【識別番号】391021684

【氏名又は名称】菱洋エレクトロ株式会社

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際特許業務法人

(72)【発明者】

【氏名】眞木 伸吾

(72)【発明者】

【氏名】佐野 修

(72)【発明者】

【氏名】三輪 功

(72)【発明者】

【氏名】佐々木 潔

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２０１４−１９１２３７（ＪＰ，Ａ）

【文献】 特開２００４−１０１３７２（ＪＰ，Ａ）

【文献】 特開２０００−３３３１４４（ＪＰ，Ａ）

【文献】 国際公開第２０１８／１８５８３０（ＷＯ，Ａ１）

【文献】 特開２０１２−１０３８４０（ＪＰ，Ａ）

【文献】 特開２０１２−２０８７４０（ＪＰ，Ａ）

【文献】 特開２０１１−１２５０９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ３／０１

Ｇ０６Ｆ３／０４８−３／０４８９

Ｇ０６Ｆ３／１６

Ｇ１０Ｌ１５／００−１７／２６

Ｇ０６Ｑ１０／００−１０／１０

Ｇ０６Ｑ３０／００−３０／０８

Ｇ０６Ｑ５０／００−５０／２０

Ｇ０６Ｑ５０／２６−９９／００

Ｇ１６Ｚ９９／００

(57)【特許請求の範囲】

【請求項1】

システムを利用して報告書を作成する方法であって、
前記システムは、作業員とオペレータとのコミュニケーションを仲介するシステムであり、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記方法は、
前記作業員の第一音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを、前記音声処理モジュールが生成し、且つ、前記報告書作成モードを起動するコマンドを前記通信モジュールが前記ボットに送信する工程と、
前記作業員の第二音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを、前記音声処理モジュールが生成し、前記カメラに送信する工程と、
前記カメラが撮影を実行し、撮影データを生成する工程と、
前記撮影データを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記撮影データを利用して、電子報告書を作成する工程と、
を含む、該方法であって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記方法が、
前記センサから取得されたセンサデータを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記センサデータを利用して、電子報告書を作成する工程と
を更に含む、該方法。

【請求項2】

請求項１の方法であって、
前記システムが、オペレータが使用するための情報処理端末を更に備え、
前記方法が、
前記情報処理端末が、報告書作成リクエストを、前記音声通信装置に送信する工程と、
前記情報処理端末が、前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する工程と、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
前記ボットが、前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する工程と、
前記ボットが、前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する工程と、
を更に含む、該方法。

【請求項3】

システムを利用して報告書を作成する方法であって、
前記システムは、作業員とオペレータとのコミュニケーションを仲介するシステムであり、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記方法は、
前記作業員の第一音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを、前記音声処理モジュールが生成し、且つ、前記報告書作成モードを起動するコマンドを前記通信モジュールが前記ボットに送信する工程と、
前記作業員の第二音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを、前記音声処理モジュールが生成し、前記カメラに送信する工程と、
前記カメラが撮影を実行し、撮影データを生成する工程と、
前記撮影データを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記撮影データを利用して、電子報告書を作成する工程と、
を含む、該方法であって、
前記システムが、オペレータが使用するための情報処理端末を更に備え、
前記方法が、
前記情報処理端末が、報告書作成リクエストを、前記音声通信装置に送信する工程と、
前記情報処理端末が、前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する工程と、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
前記ボットが、前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する工程と、
前記ボットが、前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する工程と、
を更に含む、該方法。

【請求項4】

請求項１〜３いずれか１項に記載の方法であって、
前記第二音声コマンドの音声認識を行う工程が、前記音声処理モジュールによってスタンドアロンで実行され、
前記カメラの操作を実行するコマンドが、前記カメラの起動操作からシャッター操作までの一連の操作を少なくとも含む、該方法。

【請求項5】

請求項２又は３の方法であって、
前記方法が、
前記音声通信装置が、複数の報告書作成リクエストを受信する工程と、
前記音声通信装置が、複数の報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
を更に含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該方法。

【請求項6】

請求項５の方法であって、
前記方法が、
前記作業員の第三音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する工程と、
を更に含む、該方法。

【請求項7】

請求項２〜３、５〜６のいずれか１項に記載の方法であって、
前記システムは、第一音声通信装置と第二音声通信装置とを備え、前記方法が、
前記報告書作成リクエスト受信後、第一音声通信装置が、報告書作成委託リクエストを送信する工程と、
第二音声通信装置が、報告書作成受託コマンドを送信する工程と、
前記第一音声通信装置が、前記報告書作成リクエストを、前記第二音声通信装置に送信する工程と、
前記報告書作成リクエストの授受を、前記情報処理端末に通知する工程と、
前記第二音声通信装置が、前記ボットに、報告書作成に必要な情報を送信する工程と、
を更に含む、該方法。

【請求項8】

作業員とオペレータとのコミュニケーションを仲介するシステムであって、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと、
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備え、
前記ボットが、前記撮影データを利用して、電子報告書を作成する機能を備える、
該システムであって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記通信モジュールが、前記センサから取得されたセンサデータを、前記ボットに送信する機能を備え、
前記ボットが、前記センサデータを利用して、電子報告書を作成する機能を備える、
該システム。

【請求項9】

請求項８のシステムであって、
前記システムは、オペレータが使用するための情報処理端末を更に備え、
前記情報処理端末が、
報告書作成リクエストを、前記音声通信装置に送信する機能と、
前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する機能と、
を備え、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備え、
前記ボットが、
前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する機能と、
前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する機能と、
を備える、該システム。

【請求項10】

作業員とオペレータとのコミュニケーションを仲介するシステムであって、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと、
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備え、
前記ボットが、前記撮影データを利用して、電子報告書を作成する機能を備える、
該システムであって、
前記システムは、オペレータが使用するための情報処理端末を更に備え、
前記情報処理端末が、
報告書作成リクエストを、前記音声通信装置に送信する機能と、
前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する機能と、
を備え、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備え、
前記ボットが、
前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する機能と、
前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する機能と、
を備える、該システム。

【請求項11】

請求項８〜１０のいずれか１項に記載のシステムであって、
前記音声処理モジュールは、前記第二音声コマンドの音声認識をスタンドアロンで実行する機能を備え、
前記カメラは、前記カメラの操作を実行するコマンドに応答して、起動からシャッター操作までの一連の操作を少なくとも実行する、
該システム。

【請求項12】

請求項９又は１０のシステムであって、
前記音声通信装置が、
複数の報告書作成リクエストを受信する機能と、
複数の報告書作成リクエストを、メモリに記録する機能と、
を含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該システム。

【請求項13】

請求項１２のシステムであって、
前記音声処理モジュールが、
前記作業員の第三音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する機能と、
を更に含む、該システム。

【請求項14】

請求項９〜１０、１２〜１３のいずれか１項に記載のシステムであって、
前記システムは、第一音声通信装置と第二音声通信装置とを備え、
前記第一音声通信装置は、
前記報告書作成リクエスト受信後、報告書作成委託リクエストを送信する機能と、
前記報告書作成リクエストを、前記第二音声通信装置に送信する機能と、
を備え、
前記第二音声通信装置は、
報告書作成受託コマンドを送信する機能と、
前記ボットに、報告書作成に必要な情報を送信する機能と、
を備え、
前記報告書作成リクエストの授受が前記情報処理端末に通知される、
該システム。

【請求項15】

作業員とオペレータとのコミュニケーションを行うために作業員が使用するための音声通信装置であって、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記通信モジュールは、ボット及び／又はオペレータが使用するための情報処理端末と通信する機能を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備える、
該音声通信装置であって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記通信モジュールが、前記センサから取得されたセンサデータを、前記ボットに送信する機能を備える、
該音声通信装置。

【請求項16】

請求項１５の音声通信装置であって、
前記音声通信装置が、前記情報処理端末が生成した報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備える、
該音声通信装置。

【請求項17】

作業員とオペレータとのコミュニケーションを行うために作業員が使用するための音声通信装置であって、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記通信モジュールは、ボット及び／又はオペレータが使用するための情報処理端末と通信する機能を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備える、
該音声通信装置であって、
前記音声通信装置が、前記情報処理端末が生成した報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備える、
該音声通信装置。

【請求項18】

請求項１５〜１７いずれか１項に記載の音声通信装置であって、
前記音声処理モジュールは、前記第二音声コマンドの音声認識をスタンドアロンで実行する機能を備え、
前記カメラは、前記カメラの操作を実行するコマンドに応答して、起動からシャッター操作までの一連の操作を少なくとも実行する、
該音声通信装置。

【請求項19】

請求項１６又は１７の音声通信装置であって、
前記音声通信装置が、
複数の報告書作成リクエストを受信する機能と、
複数の報告書作成リクエストを、メモリに記録する機能と、
を含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該音声通信装置。

【請求項20】

請求項１９の音声通信装置であって、
前記音声処理モジュールが、
前記作業員の第三音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する機能と、
を更に含む、該音声通信装置。

【請求項21】

請求項１６〜１７、１９〜２０のいずれか１項に記載の音声通信装置であって、
前記音声通信装置は、
前記報告書作成リクエスト受信後、報告書作成委託リクエストを送信する機能と、
報告書作成受託コマンドを送信する機能と、
前記報告書作成リクエストを、別の音声通信装置に送信する機能と、
前記ボットに、報告書作成に必要な情報を送信する機能と、
前記報告書作成リクエストの授受を、前記情報処理端末に通知する機能と
を備える、該音声通信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、報告書作成するための方法、システム、及び装置に関する。より具体的には音声認識を利用して報告書作成するための方法、システム、及び装置に関する。

【背景技術】

【0002】

工事現場、建築現場、倉庫のピッキング作業現場等では、オペレータ（例：指揮者、現場監督等）と、作業員とが連絡を取り合いながら作業を進める。しかし、物理的な空間の広さゆえ、両者が対面して連絡を取り合うことは現実的ではない。そこで、通常は、特定の通信機器を使用して両者は連絡を取り合っている。

【0003】

また、作業員は、しばしば、現場での作業内容を記録した作業報告書の作成を要求される。通常であれば、スマートフォン、タブレット、パソコンなどの種々の情報処理装置を使用して、文章をテキスト入力して作業報告書を作成する。この作業報告書の作成において、報告内容をテキスト入力ではなく、音声で入力する試みがなされている。特許文献１では、保守員が携帯端末を通じて音声で選択した報告書の種類と当該報告書の作成に必要な各項目に関する音声情報を認識する音声認識装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許６１３９７１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

現場の作業員は忙しいため、作業報告書の作成によって、他の仕事に支障がでることは回避したいという要求がある。パソコンなどを利用して作業報告書を作成する場合、いったん現場から引き揚げる必要があり、他の作業を一切行うことができない。また、スマートフォン、又はタブレット端末を使用する場合にも、作業を一時中断する必要がある。特許文献１では、音声認識によって、ある程度の改善は見込めるが、それでも、携帯端末を手で持つ必要があり、作業員にとっては、片手又は両手が一時的に塞がれてしまう。

【0006】

以上の理由から、本発明では、作業員にとって、手を塞がれることなく作業報告書を作成できる手段を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明者が鋭意検討した結果、作業報告書には現場の写真を掲載する場合があり、この時にはカメラを用いて撮影を行う。カメラで撮影するためには、スマートフォン又はタブレット端末をかざしてシャッター操作を行う必要があった。そこで、カメラをウェアラブル端末に組み込み、且つ音声コマンドでカメラの操作を行えるように実装することで、よりスムーズに作業を行うことができるようになった。

【0008】

本発明は、上記知見に基づいて完成され、一側面において、以下の発明を包含する。

【0009】

（発明１）
システムを利用して報告書を作成する方法であって、
前記システムは、作業員とオペレータとのコミュニケーションを仲介するシステムであり、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記方法は、
前記作業員の第一音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを、前記音声処理モジュールが生成し、且つ、前記報告書作成モードを起動するコマンドを前記通信モジュールが前記ボットに送信する工程と、
前記作業員の第二音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを、前記音声処理モジュールが生成し、前記カメラに送信する工程と、
前記カメラが撮影を実行し、撮影データを生成する工程と、
前記撮影データを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記撮影データを利用して、電子報告書を作成する工程と、
を含む、該方法。

【0010】

（発明２）
発明１の方法であって、
前記第二音声コマンドの音声認識を行う工程が、前記音声処理モジュールによってスタンドアロンで実行され、
前記カメラの操作を実行するコマンドが、前記カメラの起動操作からシャッター操作までの一連の操作を少なくとも含む、該方法。

【0011】

（発明３）
発明１又は２の方法であって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記方法が、
前記センサから取得されたセンサデータを、前記通信モジュールが、前記ボットに送信する工程と、
前記ボットが、前記センサデータを利用して、電子報告書を作成する工程と
を更に含む、該方法。

【0012】

（発明４）
発明１〜３のいずれか１つに記載の方法であって、
前記システムが、オペレータが使用するための情報処理端末を更に備え、
前記方法が、
前記情報処理端末が、報告書作成リクエストを、前記音声通信装置に送信する工程と、
前記情報処理端末が、前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する工程と、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
前記ボットが、前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する工程と、
前記ボットが、前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する工程と、
を更に含む、該方法。

【0013】

（発明５）
発明４の方法であって、
前記方法が、
前記音声通信装置が、複数の報告書作成リクエストを受信する工程と、
前記音声通信装置が、複数の報告書作成リクエストを、前記音声通信装置内のメモリに記録する工程と、
を更に含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該方法。

【0014】

（発明６）
発明５の方法であって、
前記方法が、
前記作業員の第三音声コマンドに対して、前記音声処理モジュールが音声認識を行う工程と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する工程と、
を更に含む、該方法。

【0015】

（発明７）
発明４〜６のいずれか１つに記載の方法であって、
前記システムは、第一音声通信装置と第二音声通信装置とを備え、前記方法が、
前記報告書作成リクエスト受信後、第一音声通信装置が、報告書作成委託リクエストを送信する工程と、
第二音声通信装置が、報告書作成受託コマンドを送信する工程と、
前記第一音声通信装置が、前記報告書作成リクエストを、前記第二音声通信装置に送信する工程と、
前記報告書作成リクエストの授受を、前記情報処理端末に通知する工程と、
前記第二音声通信装置が、前記ボットに、報告書作成に必要な情報を送信する工程と、
を更に含む、該方法。

【0016】

（発明８）
作業員とオペレータとのコミュニケーションを仲介するシステムであって、
前記システムは、
作業員が使用するための音声通信装置と、
ボットと、
を備え、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備え、
前記ボットが、前記撮影データを利用して、電子報告書を作成する機能を備える、
該システム。

【0017】

（発明９）
発明８のシステムであって、
前記音声処理モジュールは、前記第二音声コマンドの音声認識をスタンドアロンで実行する機能を備え、
前記カメラは、前記カメラの操作を実行するコマンドに応答して、起動からシャッター操作までの一連の操作を少なくとも実行する、
該システム。

【0018】

（発明１０）
発明８又は９のシステムであって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記通信モジュールが、前記センサから取得されたセンサデータを、前記ボットに送信する機能を備え、
前記ボットが、前記センサデータを利用して、電子報告書を作成する機能を備える、
該システム。

【0019】

（発明１１）
発明８〜１０のいずれか１つに記載のシステムであって、
前記システムは、オペレータが使用するための情報処理端末を更に備え、
前記情報処理端末が、
報告書作成リクエストを、前記音声通信装置に送信する機能と、
前記報告書作成リクエストに対応する、報告書作成準備リクエストを、前記ボットに送信する機能と、
を備え、
前記音声通信装置が、前記報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備え、
前記ボットが、
前記報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する機能と、
前記音声通信装置から生成されたデータと、前記所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する機能と、
を備える、該システム。

【0020】

（発明１２）
発明１１のシステムであって、
前記音声通信装置が、
複数の報告書作成リクエストを受信する機能と、
複数の報告書作成リクエストを、メモリに記録する機能と、
を含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該システム。

【0021】

（発明１３）
発明１２のシステムであって、
前記音声処理モジュールが、
前記作業員の第三音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する機能と、
を更に含む、該システム。

【0022】

（発明１４）
発明１１〜１３のいずれか１つに記載のシステムであって、
前記システムは、第一音声通信装置と第二音声通信装置とを備え、
前記第一音声通信装置は、
前記報告書作成リクエスト受信後、報告書作成委託リクエストを送信する機能と、
前記報告書作成リクエストを、前記第二音声通信装置に送信する機能と、
を備え、
前記第二音声通信装置は、
報告書作成受託コマンドを送信する機能と、
前記ボットに、報告書作成に必要な情報を送信する機能と、
を備え、
前記報告書作成リクエストの授受が前記情報処理端末に通知される、
該システム。

【0023】

（発明１５）
作業員とオペレータとのコミュニケーションを行うために作業員が使用するための音声通信装置であって、
前記音声通信装置は、
カメラを備えるウェアラブル端末と、
音声処理モジュールと、
通信モジュールと、
マイクロフォンと、
音声出力モジュールと、
を備え、
前記通信モジュールは、ボット及び／又はオペレータが使用するための情報処理端末と通信する機能を備え、
前記音声処理モジュールは、
前記作業員の第一音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、報告書作成モードを起動するコマンドを生成する機能と、
前記作業員の第二音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記カメラの操作を実行するコマンドを生成し、前記カメラに送信する機能と、
を備え、
前記カメラは、撮影を実行し、撮影データを生成する機能を備え、
前記通信モジュールは、
前記報告書作成モードを起動するコマンドを前記ボットに送信する機能と、
前記撮影データを前記ボットに送信する機能と、
を備える、
該音声通信装置。

【0024】

（発明１６）
発明１５の音声通信装置であって、
前記音声処理モジュールは、前記第二音声コマンドの音声認識をスタンドアロンで実行する機能を備え、
前記カメラは、前記カメラの操作を実行するコマンドに応答して、起動からシャッター操作までの一連の操作を少なくとも実行する、
該音声通信装置。

【0025】

（発明１７）
発明１５又は１６の音声通信装置であって、
前記音声通信装置が、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサのうち少なくとも１以上のセンサを備え、
前記通信モジュールが、前記センサから取得されたセンサデータを、前記ボットに送信する機能を備える、
該音声通信装置。

【0026】

（発明１８）
発明１５〜１７のいずれか１つに記載の音声通信装置であって、
前記音声通信装置が、前記情報処理端末が生成した報告書作成リクエストを、前記音声通信装置内のメモリに記録する機能を備える、
該音声通信装置。

【0027】

（発明１９）
発明１８の音声通信装置であって、
前記音声通信装置が、
複数の報告書作成リクエストを受信する機能と、
複数の報告書作成リクエストを、メモリに記録する機能と、
を含み、
前記第一音声コマンドが、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、
該音声通信装置。

【0028】

（発明２０）
発明１９の音声通信装置であって、
前記音声処理モジュールが、
前記作業員の第三音声コマンドに対して、音声認識を行う機能と、
当該認識結果に基づいて、前記メモリ内に登録されている複数の報告書作成リクエストを再生する機能と、
を更に含む、該音声通信装置。

【0029】

（発明２１）
発明１８〜２０のいずれか１つに記載の音声通信装置であって、
前記音声通信装置は、
前記報告書作成リクエスト受信後、報告書作成委託リクエストを送信する機能と、
報告書作成受託コマンドを送信する機能と、
前記報告書作成リクエストを、別の音声通信装置に送信する機能と、
前記ボットに、報告書作成に必要な情報を送信する機能と、
前記報告書作成リクエストの授受を、前記情報処理端末に通知する機能と
を備える、該音声通信装置。

【発明の効果】

【0030】

一側面において、上記発明は、ウェアラブル端末上のカメラを用いて撮影データを生成し、且つ作業員の第二音声コマンドの認識結果に基づいてカメラの操作を実行する。これにより、作業者は手を塞がれることなく画像データ入りの作業報告書を作成することができる。

【図面の簡単な説明】

【0031】

【図1】一実施形態におけるシステムの概要を示す。ボットが、音声通信装置内に組み込まれている。

【図2】一実施形態におけるシステムの概要を示す。ボットが、スタンドアロンのハードウェアとして存在している。

【図3】一実施形態におけるシステムの概要を示す。ボットが、クラウドサービスの１つとして存在している。

【図4】一実施形態における音声通信装置の概要を示す。音声通信装置は、ウェアラブル端末と携帯端末とを備える。音声出力モジュールがウェアラブル端末側に存在する。

【図5】一実施形態における音声通信装置の概要を示す。音声通信装置は、ウェアラブル端末と携帯端末とを備える。音声出力モジュールが携帯端末側に存在する。

【図6】一実施形態における音声通信装置の概要を示す。ウェアラブル端末内にすべての構成要素が組み込まれている。

【図7】一実施形態における報告書作成の方法のフローを示す。

【図8】一実施形態において、音声処理モジュールが備える辞書の例を示す。辞書は、キーワードと、キーワードに対応するコマンド、及びコマンドの送信先を備えてもよい。

【図9】一実施形態における音声通信装置の概要を示す。音声通信装置は、ウェアラブル端末と携帯端末とを備える。音声通信装置はメモリを備える。

【図10】一実施形態において、情報処理端末が、報告書作成リクエストを、特定の音声通信装置に割り当てる方法を示す。

【図11】一実施形態におけるシステムの概要を示す。作業員Ａの音声通信装置内のメモリに記憶された作業コードＡが、作業員Ｂの音声通信装置内のメモリに移動する。

【発明を実施するための形態】

【0032】

以下、本発明を実施するための具体的な実施形態について説明する。以下の説明は、本発明の理解を促進するためのものである。即ち、本発明の範囲を限定することを意図するものではない。

【0033】

１．システムの概要
図１〜図３に、一実施形態におけるシステムの概要を示す。いずれのシステムも、作業員とオペレータとのコミュニケーションを仲介する機能を有する。なお、本明細書において、作業員とは、広義に解釈するものとする。例えば、建設現場、及び工事現場の作業員等に限定されず、フロントで接客業務を行う従業員等も含まれる。また、図１〜図３に示すシステムにおいては、作業員は１名しか記載されていないが、複数の作業員が存在し、各作業員に専用の音声通信装置が割り当てられてもよい。同様に、オペレータについても、図１〜図３に示すシステムにおいては、１名しか記載されていないが、複数のオペレータが存在してもよい。例えば、現場監督と副監督がオペレータとして存在する場合などが挙げられる。典型的には１名であることが多い。

【0034】

図１〜図３に例示される一実施形態において、システムは、オペレータが使用するための情報処理端末と、作業員が使用するための音声通信装置と、ボットとを備えることができる。更には、システムは、チャット支援装置を更に備えてもよい。

【0035】

１−１．チャット支援装置
チャット支援装置は、作業員とオペレータとの通信を仲介する役割を果たす。典型的には、サーバー等のハードウェア装置であってもよい。また、チャット支援装置は、１台のサーバーで構成されてもよいが、必ずしも１台のみで構成されているとは限らない。例えば、チャット支援装置が備える機能ごとに応じて複数のサーバーに分散させた構成を採用してもよい。あるいは、別の例として、負荷を分散させる目的で同一の機能を有する複数のサーバーに分散させた構成を採用してもよい。

【0036】

また、チャット支援装置は、システム構成上では、様々な構成要素のハブとなる役割を果たすことができる。例えば、作業員が使用する複数の音声通信装置と、オペレータが使用する１又は複数のテキスト通信装置とのハブとなることができる。更には、処理の一部を既存のクラウドサービスに委託する場合には、そのインターフェースとなることができる。

【0037】

チャット支援装置は、仮想のトークルームを設けることができ、当該トークルームを通して作業員とオペレータとが会話を行うことができる。

【0038】

１−２．ボット
「ボット」とは、一定のタスクや処理を自動化するためのソフトウェア、ハードウェア又はこれらの組み合わせのことである。本発明の一実施形態におけるシステムでは、ボットは、電子報告書の作成の自動化に関与する。例えば、音声通信装置から生成された情報を利用して電子報告書の作成する機能を有する。また、音声通信装置に、所定のメッセージを送信して、報告書の作成を促すことができる。所定のメッセージの例としては、「作業報告者の名前を入力してください」「作業内容を入力してください」「作業場所を入力してください」などのメッセージが挙げられる。

【0039】

なお、ボットの存在場所については、特に限定されず、例えば、図１に示すように音声通信装置の一部として組み込まれてもよい。或いは、図２に示すように、音声通信装置、チャット支援装置、情報処理端末とは独立した、スタンドアロンのハードウェア内に組み込まれてもよい。或いは、図３に示すように、クラウドサービスの一つとして、存在してもよい。

【0040】

ボットは、種々のテンプレートを備えることができる。そして、ボットは、当該テンプレートの各項目に、音声通信装置から送信されてきた情報を入力することによって電子報告書を作成することができる。

【0041】

１−３．情報処理端末
情報処理端末は、オペレータが利用する装置である。通常は、指示を出すオペレータ側が１人に対して、複数の作業員が存在する業務形態が多い。情報処理端末は、１台存在する。しかし、場合によっては複数台の情報処理端末が存在してもよい。

【0042】

情報処理端末としては、限定されないが、パソコン、タブレット端末、スマートフォンなどが挙げられる。通常は、テキスト入力することで、音声通信装置に指示内容等を送信することができる。その際に、テキストを音声に変換することができる。

【0043】

また、音声通信装置とのコミュニケーションの際には、上述したチャット支援装置等を介して行うことができる。そして、情報処理端末は、そのための専用のソフトウェア及び／又はハードウェア構成を備えてもよい。或いは、専用のソフトウェア及び／又はハードウェア構成に加えて又はこれらに代えて、情報処理端末は、ブラウザ等を介して、チャット支援装置及び／又は音声通信装置とコミュニケーションを行うことができる。

【0044】

２．音声通信装置の構成
また、上記システムは、音声通信装置を更に備える。音声通信装置は、作業員が使用するための物である。音声通信装置は、少なくともウェアラブル端末を備える。また、音声通信装置は、カメラと、音声処理モジュールと、通信モジュールと、マイクロフォンと、音声出力モジュールとを備える。

【0045】

図４〜６に、一実施形態における音声通信装置を示す。

【0046】

図４では、ウェアラブル端末内に、カメラと、マイクロフォンと、音声出力モジュール（例えばイヤホン）とが組み込まれている。そして、それ以外の構成である音声処理モジュール、通信モジュール及びボットについては、別途携帯端末内に組み込まれている。

【0047】

図５では、ウェアラブル端末内に、カメラと、マイクロフォンとが組み込まれている。そして、それ以外の構成である音声処理モジュールと、音声出力モジュール（例えばスピーカー）、通信モジュール及びボットについては、別途携帯端末内に組み込まれている。

【0048】

図６では、すべての構成要素が、ウェアラブル端末内に組み込まれている。

【0049】

上記図４〜６に示す実施形態に限定されず、種々の構成要素は、適宜任意の場所に組み込まれてもよい。

【0050】

ウェアラブル端末は、着用出来る端末を意味し、例えば、腕時計型、眼鏡型、指輪型、靴型、懐中型、ペンダント型、ヘッドセット型などが挙げられる。

【0051】

携帯端末は、持ち運び可能な端末を意味し、ウェアラブル端末も包含する概念である。従って、上述したウェアラブル端末の例に加えて、スマートフォン、タブレット端末、シングルボードコンピューターなども包含する。

【0052】

従って、図４〜図６に示した携帯端末は、第二のウェアラブル端末であってもよい（例えば、ウェアラブル端末としてのヘッドセットと携帯端末（第二のウェアラブル端末）としてのスマートウォッチの組み合わせ）。

【0053】

なお、ウェアラブル端末と携帯端末とは、公知の手段で接続することができる。両者は有線で接続されてもよいし、無線（例えばＢｌｕｅｔｏｏｔｈ（登録商標））で接続されてもよい。

【0054】

２−１．カメラ
カメラは、電子報告書の中に掲載する画像データ（動画、及び静止画のうち少なくともいずれか）を取得するための物である。カメラはウェアラブル端末に組み込まれる。これによって、作業員は、手を塞がれることなく撮影を行うことができる。もしも、スマートフォンなどの端末で撮影して報告書を作成しようとすると、作業員は手でスマートフォンを持って撮影対象に向ける必要があるため、手が塞がれることとなる。

【0055】

しかし、例えば、ヘッドセットのようなウェアラブル端末にカメラが組み込まれる場合、作業員は、頭部を撮影対象に向けるだけで良いので、手は他の作業を行うことができる。また、腕時計型のウェアラブル端末にカメラが組み込まれる場合であっても、作業員は、腕を一定の位置に固定して撮影対象に向ける必要はあるものの、手自体は塞がれているわけではないので、他の作業（例えばスマートフォン操作など）を行うことができる。

【0056】

２−２．マイクロフォン
マイクロフォンは、作業員の発話内容を取得するための物である。マイクロフォンは、ウェアラブル端末に組み込まれてもよい。典型的には、ヘッドセット型のウェアラブル端末に組み込まれてもよい。発話した内容は、音声処理モジュールに送信される。発話した内容の中には、音声コマンド、及び電子報告書の記載内容等が含まれる。

【0057】

２−３．音声処理モジュール
音声処理モジュールは、マイクロフォンから取得された音声を処理する機能を有する。例えば、マイクロフォンから取得された音声に対して、音声認識処理を行う機能を有する。更には、音声処理モジュールは、認識結果に基づいて、コマンドを生成する機能を有する。コマンドの中には、報告書作成モードを起動するコマンド、カメラの操作を実行するコマンド等が含まれる。カメラの操作を実行するコマンドには、カメラの起動、撮影対象へのフォーカスの調整、シャッター等に関連するコマンドが含まれる。更に好ましくは、カメラの操作を実行するコマンドには、カメラの起動からシャッターまでの一連の操作を含めた１つのコマンドが含まれる（つまり、１つの音声コマンドで、カメラの起動からシャッターまでの一連の操作が実行される）。更に好ましくは、カメラの操作を実行するコマンドには、カメラの起動からシャッターまでの一連の操作に加えて、画像データ（静止画及び／又は動画）を送信する操作を含めた１つのコマンドが含まれる。

【0058】

また、音声処理モジュールは、音声をテキストに変換する機能を備えてもよい。例えば、音声処理モジュールが、音声コマンドを受け付けるモードではなく、テキスト入力するモードの場合には、発話内容をテキストに変換することができる。一方で、音声コマンドを受け付けるモードの場合には、音声処理モジュールは、所定の辞書を備え、作業員の発話内容と、当該辞書とを対比させて、該当するキーワードが辞書内に存在するかどうかを判定する。そして、存在する場合には、対応する音声コマンドを生成する。

【0059】

音声コマンドを受け付けるモードのときに、音声処理モジュールは、音声コマンドの生成処理をスタンドアロンで実行することができる。従って、非常に速いレスポンスを実現することができる。これらの処理の一部を、ネットワーク経由でアウトソーシングしてしまうと、レスポンスが遅くなる（少なくとも数秒以上のタイムラグが生じる）。従って、こうした点で有利となる。特に、カメラを使って撮影を行う場合には、こうしたタイムラグは重要である。カメラでシャッター操作を音声で命じた後、例えば１０秒後にシャッターを切るのでは、非常に使いにくいし、場合によってはシャッターチャンスを逃す可能性がある。

【0060】

一方で、テキスト入力するモードの場合、音声をテキストに変換する処理は、スタンドアロンで行うことは必須ではなく、例えば、音声処理モジュールが窓口となって、ネットワーク経由でアウトソーシングしてもよい。例えば、ＳｐｅｅｃｈｔｏＴｅｘｔ（Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ）などのクラウドサービスを利用してもよい。この理由として、報告書に記載する内容については、多少レスポンスが遅くても致命的にはならないからである。

【0061】

２−４．通信モジュール
通信モジュールは、音声通信装置の内部の様々な構成要素、及び音声通信装置の外部の様々な構成要素とのデータの送受信を行う機能を有する。例えば、通信モジュールは、音声処理モジュールが生成した音声コマンドを送信する機能を有する。送信先としては、ボット、チャット支援装置等が挙げられる。また、送信する内容としては、マイクが取得した作業員の発話内容のデータ、音声処理モジュールが生成した音声コマンド、カメラが取得した撮影データ等が挙げられる。これらのマイクが取得した作業員の発話内容のデータ、音声処理モジュールが生成した音声コマンド、カメラが取得した撮影データ等については、ボットに送信されてもよい。

【0062】

また、通信モジュールは、チャット支援装置との通信を行う機能を有してもよい。例えば、オペレータと作業員とがチャットを行うときに、チャットルームに投稿する内容を、チャット支援装置に送信してもよい。

【0063】

２−５．音声出力モジュール
音声出力モジュールは、音声を発するためのモジュールであり、例えば、スピーカー、及びイヤホンなどが挙げられる（骨伝導の原理を利用した物を含む）。ヘッドセット型のウェアラブル端末側に音声出力モジュールが組み込まれている場合には、イヤホンなどが挙げられる。また、腕時計型のウェアラブル端末側に音声出力モジュールが組み込まれている場合には、スピーカーが挙げられる。更には、携帯端末側に音声出力モジュールが組み込まれている場合には、スピーカーが挙げられる。音声出力モジュールは、ボット、及び／又はチャット支援装置からの通信内容を再生する機能を有する。

【0064】

２−６．その他のモジュール
音声通信装置は、上記以外に更に別のモジュールを備えてもよい。また、当該別のモジュールは、ウェアラブル端末に内に組み込まれてもよい。別のモジュールの例として、センサが挙げられる。センサの例として、気圧センサ、温度センサ、湿度センサ、輝度センサ、ガスセンサ、振動センサ、及び生体センサ（例えば、体温センサ、脈拍センサ、心臓の拍動のセンサ、血圧センサ、指紋センサ、呼気センサ等）等が挙げられる。更に、これ以外のセンサとして、位置情報のセンサ（ＧＰＳ）も利用してもよい。センサが取得した情報は、通信モジュールを経由して、ボットに送信することができる。ボットは、これらの情報を利用して電子報告書を作成することができる。

【0065】

３．報告書作成方法
以下では、上述した一実施形態におけるシステム及び／又は音声通信装置を使用して、報告書を作成する方法を、説明する。

【0066】

前記方法は、少なくとも以下の工程を含む。
・作業員の第一音声コマンドに対して、音声処理モジュールが音声認識を行う工程。
・当該認識結果に基づいて、報告書作成モードを起動するコマンドを、音声処理モジュールが生成し、且つ、報告書作成モードを起動するコマンドを通信モジュールがボットに送信する工程。
・作業員の第二音声コマンドに対して、音声処理モジュールが音声認識を行う工程。
・当該認識結果に基づいて、カメラの操作を実行するコマンドを、音声処理モジュールが生成し、カメラに送信する工程。
・カメラが撮影を実行し、撮影データを生成する工程。
・撮影データを、通信モジュールが、ボットに送信する工程。
・ボットが、撮影データを利用して、電子報告書を作成する工程。

【0067】

まず、作業員は、報告書を作成するモードを起動する。起動するためには、手で操作する必要はなく、所定の音声コマンドを発話するだけでよい。図７では、「報告書作成モード起動」という発話内容を例示しているが、他の発話内容であってもよい。

【0068】

作業員の発話内容はマイクロフォンによって取得され、音声処理モジュールに送信される。音声処理モジュールは、音声認識処理を実行する。具体的には、受信した音声信号のなかから、音声コマンドに該当するものを抽出し、当該コマンドに対応した処理命令を出力する機能を有する。こうした機能を実現するためのモジュールとしては特に限定されない。例えば、Ｊｕｌｉｕｓを使用することができる。Ｊｕｌｉｕｓは、音声認識システムの開発・研究のためのオープンソースの高性能な汎用大語彙連続音声認識エンジンである。Ｊｕｌｉｕｓを使用するためには、あらかじめ、語彙を辞書登録しておく。このときに、所定の音声コマンドに該当する語彙を辞書登録しておくことで、音声コマンドに対応した命令を出力させることができる。

【0069】

辞書の例を図８に示す。音声処理モジュールは、辞書を備え、辞書に登録したキーワードと、発話内容とを対比させる。そして、一致するものが辞書に存在するかどうかを判定する。なお、一致するかどうかの判断については、完全一致であってもよいし、部分一致であってもよい。例えば、部分一致の場合には、「報告書作成モード起動して」と、作業員が発話したとしても、「報告書作成モード起動」の部分一致が生じているため、一致するものが辞書に存在すると判定することができる。

【0070】

一致するものが存在する場合には、対応する音声コマンドを生成する。生成する際には、辞書中にある、対応する音声コマンドを参照してもよい（例「ＢＯＯＴ ＲＥＰＯＲＴ＿ＭＯＤＥ」）。また、音声コマンドを送信する先についても辞書に登録された送信先を参照してもよい。この場合には、送信先はボットとなる。

【0071】

生成したコマンドは、ボットに送信される。ボットは、所定のコマンドを受信した後、報告書作成に必要な情報をヒアリングするメッセージを送信するようにプログラムされている。従って、上記音声コマンドを受信した後は、音声通信装置に向かって、メッセージを送信し、音声通信装置は、音声出力モジュールを通してメッセージを再生することができる。

【0072】

これを受けて、音声処理モジュールは、コマンドを受け付けるモードから、テキスト入力モードに切り替える。そして、作業者は、報告書作成に必要な記載内容を発話することができる。発話内容は、音声処理モジュールによって認識処理が行われ、テキストに変換されて、ボットに送信される。ボットは受信したテキストを利用して、報告書を作成することができる。テキスト入力すべき内容を発話し終えた後、作業者は、「以上」、「テキスト入力終了」などの所定のキーワードを発話する。音声処理モジュールは、これらのキーワードを、テキスト入力すべき内容を発話し終えたことを示すキーワードとして認識し、モードを、コマンドを受け付けるモードに戻すためのコマンドを生成する。そして、当該コマンドをボットに送信する。

【0073】

また、作業者は、カメラを利用した撮影操作を、音声操作で行うことができる。例えば、「写真撮影」と発話すると、マイクロフォンが当該発話内容を音声処理モジュールに送信する。音声処理モジュールは、上述した仕組みで、音声コマンドに該当するか否かの判定を行う。そして、音声コマンドに該当すると判定し、対応するコマンドを生成する（「ＢＯＯＴ ＣＡＭＥＲＡ＿ＭＯＤＥ」）。そして、コマンドをカメラに送信する。

【0074】

カメラは、当該コマンドを受信し、起動される。そして、写真撮影が行われる。そして、撮影データを、通信モジュール経由でボットに送信することができる。

【0075】

ボットは、受信した撮影データを利用して、報告書を作成することができる。

【0076】

以上の処理により作成された報告書は、任意の記憶媒体に記憶することができる。

【0077】

好ましい実施形態においては、作業員の発話内容に対する音声認識を行う工程が音声処理モジュールによってスタンドアロンで実行されてもよい。そして、当該好ましい実施形態においては、カメラの操作を実行するコマンドが、前記カメラの起動操作からシャッター操作までの一連の操作を少なくとも含んでもよい。

【0078】

好ましい実施形態においては、前記方法は、音声通信装置が、ボットにセンサの情報を送信する工程、及び、ボットが、センサの情報を利用して、電子報告書を作成する工程を含んでもよい。センサは、上述した各種センサが含まれる。

【0079】

４．オペレータからの指示方法
別の一実施形態におけるシステムでは、オペレータからの指示に応じて報告書を作成することができる。

【0080】

業務上、報告書を作成する場合、２つのケースに大別される。１つはルーチンワークとしての報告書作成である。例えば、日報の作成などがこれに該当する。この場合、直接オペレータ等からの指示がなくとも、作業員が、作業終了時に報告書の作成を行う。

【0081】

２つめは、臨時に行われる報告書作成である。例えば、オペレータは中央制御室などで、各種モニターを参照し、ある特定のセンサが警報を発したとする。この場合、オペレータは、現場の作業員に状況を確認するよう指示を出し、そして、現状を報告書にまとめるように指示を出すことがある。

【0082】

４−１．音声通信装置の構成
図９に、一実施形態における音声通信装置の構成を示す。上述した音声通信装置との主要な違いは、メモリを備える点である。当該メモリは、オペレータからの指示内容に対応した報告書作成リクエストを記憶することができる。

【0083】

４−２．報告書作成リクエストのフロー
以下では、一実施形態におけるオペレータからの指示に応じて報告書を作成する方法の例を図１０に示す。前記方法は、少なくとも以下の工程を含む：
・情報処理端末が、報告書作成リクエストを、音声通信装置に送信する工程。
・情報処理端末が、報告書作成リクエストに対応する、報告書作成準備リクエストを、ボットに送信する工程。
・音声通信装置が、報告書作成リクエストを、音声通信装置内のメモリに記録する工程。
・ボットが、報告書作成準備リクエストに応答して、所定の報告書テンプレートを準備する工程。
・ボットが、音声通信装置から生成されたデータと、所定の報告書テンプレートとを少なくとも利用して、電子報告書を作成する工程。

【0084】

オペレータの情報処理端末は、ある作業者の音声通信装置に、報告書作成リクエストを送信することができる。また、これに加えて、オペレータの情報処理端末は、ボットにも、報告書作成準備リクエスト（必要に応じて作業指示内容）を送信することができる。これらの送信は、チャット支援装置を介して行われてもよい。また、ボットが音声通信装置内に組み込まれている場合には、報告書作成リクエスト及び報告書作成準備リクエストが、音声通信装置に送信される。

【0085】

音声通信装置は、報告書作成リクエストを受信後、報告書作成リクエストを音声通信装置内のメモリに記録する。この時に、音声通信装置は、音声出力モジュールを通して、報告書作成リクエスト受信通知を行ってもよい（例えば、イヤホンに「新規の報告書作成リクエストがあります」と出力）。また、ボットは、報告書作成準備リクエストに応答して、報告書テンプレートを準備する。テンプレートが複数種類ある場合には、オペレータが情報処理端末を通してテンプレートの指定を行い、報告書作成準備リクエストの中に、テンプレートの指示に関する情報が含まれてもよい。そして、当該指示に従って、ボットがテンプレートを選択してもよい。また、これに代えて、デフォルトのテンプレートを利用してもよい（即ち、テンプレートの選択を行わなくてもよい）。

【0086】

また、ボットは、必要に応じて、作業指示内容を情報処理端末より受信し、そして、作業指示内容をテンプレートに入力することができる。

【0087】

音声通信装置は、上述した操作（「３．報告書作成方法」）によって報告書に必要な情報をボットに送信することができる。ボットは、音声通信装置が生成したデータを利用して、報告書を作成する。

【0088】

上記の様にして、作業者からの情報を利用して（場合によっては、オペレータ及び作業員双方からの情報を利用して）報告書を作成することができる。

【0089】

４−３．複数の報告書作成リクエスト
上述した、報告書作成リクエストは、作業員１人あたり１つとは限らない。例えば、オペレータから複数の報告書作成リクエストが、１人の作業員に割り当てられる可能性がある。報告書作成リクエストが割り当てられた場合、音声通信装置のメモリには、報告書作成リクエストが記憶される（同様に、ボットにも、複数の報告書作成準備リクエストが記憶される）。

【0090】

現場の作業員は、報告書作成リクエストが到着しても、すぐに報告書作成に取り掛かれない場合がある。その場合に、更なる報告書作成リクエストが到着して、複数の報告書作成リクエストが滞留案件となることがある。

【0091】

複数の報告書作成リクエストが存在する場合、作業員が報告書の作成に着手する場合、到着順に着手するとは限らない。様々な事情から着手順序が前後することは往々にしてありうる。

【0092】

そこで、作業員は、報告書作成に関する発話を行う際に、報告書作成リクエストを特定する情報を共に発話する（例えば、「報告書作成モード起動、作業コードＣ」）。音声処理モジュールは、上述した仕組みで、報告書作成モード起動のコマンドを生成する。これと共に、音声処理モジュールは、発話内容を分析して、報告書作成リクエストを特定する情報を抽出することができる。抽出するために、報告書作成リクエストを特定する情報に該当するキーワードを予め辞書に登録してもよい（例えば「作業コードＡ」「作業コードＢ」「作業コードＣ」）。

【0093】

そして、音声処理モジュールは、通信モジュールを通して、報告書作成リクエストを特定する情報を含む報告書作成モードを起動するコマンドをボットに送信することができる（例えば、「ＢＯＯＴ ＲＥＰＯＲＴ＿ＭＯＤＥ ＣＯＤＥ＿Ｃ」）。

【0094】

ボットは、作業コードＣに対応する報告書に、音声通信装置からの情報を入力して、報告書を作成することができる。

【0095】

また、メモリは、報告書の作成が完了した報告書作成リクエストを削除することができる。

【0096】

４−４．複数の報告書作成リクエストの確認
上述したように、複数の報告書作成リクエストが存在する場合には、作業員は、今現在自分に割り当てられている報告書作成リクエストを確認したい場合が存在する。

【0097】

一実施形態において、作業員は、複数の報告書作成リクエストを再生するためのコマンドを発話することができる（例えば、「タスクを教えて」）。音声処理モジュールは、当該作業員の発話内容に対応して、音声認識処理を行い、対応する音声コマンド生成する（例えば、「ＳＨＯＷ ＲＥＰＯＲＴ＿ＬＩＳＴ」）。そして、当該コマンドに応答して、メモリを参照し、メモリ内に記憶されている複数の報告書作成リクエストを抽出することができる。

【0098】

抽出した後は、複数の報告書作成リクエストを再生することができる。再生内容は、件数と、報告書作成リクエストを特定する情報であってもよい。例えば、「現在三件のタスクがあります。作業コードＡ、作業コードＢ、作業コードＣです」という音声メッセージを、音声出力モジュールに送信して、再生することができる。

【0099】

作業員は、再生されたメッセージを確認し、どのタスクに関する報告書を作成するかを決定することができる。例えば、作業員が、作業コードＣに関する報告書を作成する旨を決定した時には、上述したように、複数の報告書作成リクエストのうちのいずれか１つを指定するコマンドを含む、報告書作成モード起動コマンドを発話することができる（例えば、「報告書作成モード起動、作業コードＣ」）。

【0100】

４−５．報告書作成リクエストの交換
一実施形態において、複数の作業員がいる場合には、報告書作成リクエストを、作業員同士で交換することができる。

【0101】

例えば、オペレータが、報告書作成リクエスト（作業コードＡ）を、作業員Ａに割りあてたとする。この場合、原則としては、作業員Ａが作業報告を実施すべきところではあるが、作業報告を行うべき現場にたまたま作業員Ｂが近くにいる場合、あるいは作業員Ａが忙しくて手が回らず、作業員Ｂに依頼したい場合などが考えられる（図１１）。

【0102】

この場合、例えば、作業員Ａは、以下の内容を発話する。
・報告書作成リクエストを委託する音声
・委託する対象となる報告書作成リクエストを指定する音声
・作業員を特定する音声
例えば、「報告書委託、作業コードＡ、作業員Ｂ」と発話する。

【0103】

音声処理モジュールは、上述した仕組みと同様の仕組みで、これに対応する報告書作成委託リクエストの音声コマンドを生成する（「ＤＥＰＯＳＩＴ ＣＯＤＥ＿Ａ ＭＥＭＢＥＲ＿Ｂ」）。

【0104】

生成したコマンドは、通信モジュール等によって、作業員Ａの音声通信装置のボットに送信される。作業員Ａの音声通信装置のボットは、作業員Ｂの音声通信装置（例えば、作業員Ｂの音声通信装置内のボット）に、報告書作成リクエストを委託するメッセージを送信することができる（例えば、「作業員Ａより、報告書作成委託するメッセージが届いています。受託しますか？」）。作業員Ｂの音声通信装置は、当該メッセージを受信後、音声出力モジュールを通して再生してもよい。受託する場合、作業員Ｂは、受託する旨の音声を発話することができる。発話内容は、シンプルに「ＯＫ」「はい」でもよいし、「受託します」でもよい。作業員Ｂの音声通信装置の音声処理モジュールが上述した仕組みで、音声コマンドを生成し、報告書作成受託コマンドを、作業員Ｂの音声通信装置のボットに送信することができる。作業員Ｂの音声通信装置のボットは、その後、作業員Ａの音声通信装置のボットに、作業コードＡに該当する報告書作成リクエストを、作業員Ｂの音声通信装置に送信するようリクエストすることができる。これを受けて、作業員Ａの音声通信装置のボットは、作業コードＡに該当する報告書作成リクエストを、作業員Ｂの音声通信装置のボットに送信することができる。そして、作業員Ｂの音声通信装置のボットは、報告書作成リクエストを作業員Ｂの音声通信装置のメモリに記憶させる。

【0105】

その後、作業員Ｂの音声通信装置は、上述した仕組みで報告書を作成することができる。

【0106】

また、オペレータ側の立場からすると、作業員Ａに割り当てた報告書作成リクエストが、作業員Ｂに変更になったことを何かしらの形で知る必要がある。このための仕組みとして、例えば、以下の４つの方法が考えられる。

【0107】

１つめは、作業員Ａの音声通信装置から報告書作成リクエストを受信した後で、作業員Ｂの音声通信装置が、オペレータの情報処理端末に、通知する方法である。

【0108】

２つめは、作業員Ｂの音声通信装置へ報告書作成リクエストを送信した後で、作業員Ａの音声通信装置が、オペレータの情報処理端末に、通知する方法である。

【0109】

３つめは、ボットが、作業員Ａの音声通信装置と、作業員Ｂの音声通信装置との間で、報告書作成リクエストの委託及び受託が成立したことを検知した後で、ボットが、オペレータの情報処理端末に、通知する方法である。

【0110】

４つめは、当該報告書作成リクエストが、作業員Ａの音声通信装置から、作業員Ｂの音声通信装置に変更されたことを、ボットが、報告書の中に追加記載する方法である。直接オペレータの情報処理端末に知らせなかったとしても、オペレータが報告書に目を通せば、作業員が変更なったことを知ることができる。

【0111】

通知方法は、上記４つに限定されず、任意の方法が採用可能である。

【0112】

以上、本発明の具体的な実施形態について説明してきた。上記実施形態は、本発明の具体例に過ぎず、本発明は上記実施形態に限定されない。例えば、上述の実施形態の１つに開示された技術的特徴は、他の実施形態に適用することができる。また、特記しない限り、特定の方法については、一部の工程を他の工程の順序と入れ替えることも可能であり、特定の２つの工程の間に更なる工程を追加してもよい。本発明の範囲は、特許請求の範囲によって規定される。

【要約】      （修正有）

【課題】音声認識によって、撮影データ付きの電子報告書を作成する方法、システム、及び装置を提供する。
【解決手段】作業員とオペレータとのコミュニケーションを仲介するシステムであり、作業員が使用するための音声通信装置と、ボットとを備える。音声通信装置は、カメラを備えるウェアラブル端末と、音声処理モジュールと、通信モジュールと、マイクロフォンと、音声出力モジュールとを備える。作業員の第二音声コマンドの認識結果に基づいて、カメラの操作を実行するコマンドを生成し、カメラが撮影を実行し、撮影データを生成し、撮影データを利用して、電子報告書を作成する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】