(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-11
(45)【発行日】2024-09-20
(54)【発明の名称】記録システム
(51)【国際特許分類】
G06Q 50/08 20120101AFI20240912BHJP
H04N 5/77 20060101ALI20240912BHJP
H04N 5/91 20060101ALI20240912BHJP
H04N 5/76 20060101ALI20240912BHJP
H04N 21/433 20110101ALI20240912BHJP
【FI】
G06Q50/08
H04N5/77
H04N5/91
H04N5/76
H04N21/433
(21)【出願番号】P 2020163829
(22)【出願日】2020-09-29
【審査請求日】2023-08-29
(73)【特許権者】
【識別番号】390037154
【氏名又は名称】大和ハウス工業株式会社
(74)【代理人】
【識別番号】100162031
【氏名又は名称】長田 豊彦
(74)【代理人】
【識別番号】100175721
【氏名又は名称】高木 秀文
(72)【発明者】
【氏名】井谷 佳史
【審査官】塚田 肇
(56)【参考文献】
【文献】特開2018-180852(JP,A)
【文献】特開2003-204282(JP,A)
【文献】特開2006-140707(JP,A)
【文献】特開2020-035384(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
H04N 5/77
H04N 5/91
H04N 5/76
H04N 21/433
(57)【特許請求の範囲】
【請求項1】
音声を含む映像を撮影可能な撮影部と、
前記映像に含まれた前記音声を認識する音声認識部と、
前記音声認識部での認識結果に基づいて、前記撮影部で撮影した第一映像の中から、一部の時間帯の映像である第二映像を抽出する抽出部と、
前記第二映像を記憶する記憶部と、
を具備
し、
前記音声認識部は、
前記音声の認識結果を、前記第一映像において当該音声の出力が開始される時間と関連付けて記憶し、
前記抽出部は、
キーワードが前記認識結果に含まれていた場合に、当該認識結果と関連付けられた前記時間を開始時間として取得し、
前記第一映像の中から、前記開始時間以降の時間帯の映像を含むように前記第二映像を抽出し、
前記キーワードを含む前記音声の認識結果と、前記第二映像に関する画像と、を表示する表示部をさらに具備する、
記録システム。
【請求項2】
前記撮影部は、
作業現場を撮影するものであり、
前記キーワードには、
前記作業現場に関する用語が含まれる、
請求項1に記載の記録システム。
【請求項3】
前記抽出部は、
前記映像に含まれた前記音声に基づいて、前記開始時間よりも遅い終了時間を特定し、
前記第一映像の中から、前記開始時間から前記終了時間までの時間帯の映像を含むように前記第二映像を抽出する、
請求項1又は2に記載の記録システム。
【請求項4】
前記抽出部は、
前記音声の認識結果及び当該認識結果と関連付けられた時間に基づいて、前記音声認識部が所定時間前記音声を認識しなかった時間を特定し、当該特定した時間に基づいて前記終了時間を特定可能である、
請求項3に記載の記録システム。
【請求項5】
前記抽出部は、
前記開始時間よりも所定時間前の時間から、前記終了時間よりも所定時間後の時間までの時間帯の映像を前記第二映像として抽出する、
請求項3又は請求項4に記載の記録システム。
【請求項6】
前記記憶部は、
前記第一映像及び前記第二映像をそれぞれ記憶する、
請求項1から請求項5までのいずれか一項に記載の記録システム。
【請求項7】
前記記憶部が前記第一映像を記憶してから所定期間が経過した場合に、当該第一映像を削除する削除部をさらに具備する、
請求項6に記載の記録システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影部で撮影した映像を記録する記録システムの技術に関する。
【背景技術】
【0002】
従来、撮影部で撮影した映像を記録する記録システムの技術は公知となっている。例えば、特許文献1に記載の如くである。
【0003】
特許文献1に記載の建築現場管理システムは、現場ポータブルシステム及び映像蓄積伝送サーバ等を具備する。現場ポータブルシステムは、建築現場を巡回する監視作業員が携帯するものである。現場ポータブルシステムは、ビデオカメラを具備する。映像蓄積伝送サーバには、ビデオカメラで撮像された映像データが、ネットワークを介して入力される。映像蓄積伝送サーバは、入力された映像データをHDD等の記憶装置に蓄積する。確認者(映像データを確認する者)は、映像蓄積伝送サーバにアクセスすることで、蓄積された映像データを確認することができる。
【0004】
しかし、特許文献1に記載の現場ポータブルシステムは、映像データの長さが長時間となった場合に、当該長時間の映像データの中から確認したい箇所を見つけ出す必要がある。このため、映像データの確認に時間がかかり、ひいては確認者の負担が増大する可能性があった。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、以上の如き状況を鑑みてなされたものであり、その解決しようとする課題は、確認者の負担を低減することが可能な記録システムを提供するものである。
【課題を解決するための手段】
【0007】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【0008】
即ち、請求項1においては、音声を含む映像を撮影可能な撮影部と、前記映像に含まれた前記音声を認識する音声認識部と、前記音声認識部での認識結果に基づいて、前記撮影部で撮影した第一映像の中から、一部の時間帯の映像である第二映像を抽出する抽出部と、前記第二映像を記憶する記憶部と、を具備し、前記音声認識部は、前記音声の認識結果を、前記第一映像において当該音声の出力が開始される時間と関連付けて記憶し、前記抽出部は、キーワードが前記認識結果に含まれていた場合に、当該認識結果と関連付けられた前記時間を開始時間として取得し、前記第一映像の中から、前記開始時間以降の時間帯の映像を含むように前記第二映像を抽出し、前記キーワードを含む前記音声の認識結果と、前記第二映像に関する画像と、を表示する表示部をさらに具備するものである。
【0010】
請求項2においては、前記撮影部は、作業現場を撮影するものであり、前記キーワードには、前記作業現場に関する用語が含まれるものである。
【0012】
請求項3においては、前記抽出部は、前記第一映像に含まれた前記音声に基づいて、前記開始時間よりも遅い終了時間を特定し、前記第一映像の中から、前記開始時間から前記終了時間までの時間帯の映像を含むように前記第二映像を抽出するものである。
【0013】
請求項4においては、前記抽出部は、前記音声の認識結果及び当該認識結果と関連付けられた時間に基づいて、前記音声認識部が所定時間前記音声を認識しなかった時間を特定し、当該特定した時間に基づいて前記終了時間を特定可能である。
【0014】
請求項5においては、前記抽出部は、前記開始時間よりも所定時間前の時間から、前記終了時間よりも所定時間後の時間までの時間帯の映像を前記第二映像として抽出するものである。
【0015】
請求項6においては、前記記憶部は、前記第一映像及び前記第二映像をそれぞれ記憶するものである。
【0016】
請求項7においては、前記記憶部が前記第一映像を記憶してから所定期間が経過した場合に、当該第一映像を削除する削除部をさらに具備するものである。
【発明の効果】
【0017】
本発明の効果として、以下に示すような効果を奏する。
【0018】
請求項1においては、第一映像を確認する確認者の負担を低減することができる。また第一映像からキーワードに関連する事柄を抽出することがきる。また利便性を向上させることができる。
【0020】
請求項2においては、作業現場に関連する事柄を抽出することができる。
【0022】
請求項3においては、第二映像を比較的短時間なものにできる。
【0023】
請求項4においては、終了時間を簡単に特定することができる。
【0024】
請求項5においては、キーワードに関連する事柄の全てを、第二映像に含ませ易くすることができる。
【0025】
請求項6においては、抽出部で抽出されなかった時間帯の映像を確認することができる。
【0026】
請求項7においては、記憶部の容量を確保することができる。
【図面の簡単な説明】
【0027】
【
図7】検査処理部による検査モードの流れを示す図。
【
図8】検査項目テーブルをダウンロードする様子を示したブロック図。
【
図9】検査処理部における対話のイメージを示す図。
【
図10】画像ファイルをアップロードする様子を示したブロック図。
【
図11】スタンドアロンで動作する様子を示したブロック図。
【
図12】検査項目をスキップする際の対話のイメージを示す図。
【
図13】通話処理部による通話モードの流れを示す図。
【
図14】通話モードを実行する様子を示したブロック図。
【
図15】記録処理部による記録モードの流れを示す図。
【
図16】映像を抽出する処理を示すフローチャート。
【
図17】記録モードを実行する様子を示したブロック図。
【
図18】記録モードにより壁部を撮影する様子を模式的に示した図。
【
図19】記録モードで撮影した抽出前映像ファイルを示す図。
【
図20】日時T1~T3における抽出前映像ファイルの詳細を示す図。
【
図21】日時T4~T7における抽出前映像ファイルの詳細を示す図。
【
図22】日時T8~T12における抽出前映像ファイルの詳細を示す図。
【
図24】抽出後映像ファイルを確認する確認画面を示す図。
【
図25】サーバの記憶領域に作成されたフォルダの構成を示す図。
【
図26】第二実施形態に係る検査システムを示すブロック図。
【
図29】第一モードにおける検査結果の入力までの流れを示す図。
【
図31】(a)工程名を選択する流れを示す図。(b)検査区分を選択する流れを示す図。
【
図32】検査項目を選択してから検査結果を入力するまで流れを示す図。
【
図33】第二モードにおける検査結果の入力までの流れを示す図。
【
図35】第二モードにおける対話の具体例を示す図。
【
図36】(a)第二モードにおいて、全ての項目の検査情報を発話した場合の具体例を示す図。(b)第二モードにおいて、不足項目を推定して検査が特定できた場合の具体例を示す図。
【発明を実施するための形態】
【0028】
以下では、本実施形態に係る支援システム1について説明する。
【0029】
図1に示す支援システム1は、データの入力を支援するためのものである。本実施形態において、支援システム1は、建物の建築作業を行う現場(建築現場)で得られたデータの入力を支援する目的で用いられる。より詳細には、建築現場においては、建物の検査(検査対象物が所定の基準を満たしているか等を調べる作業)や点検作業(建物を見て回る作業等)が行われている。建築現場においては、こうして行われた検査の結果や点検作業の結果等のデータが、後述するサーバ30へ入力される(記録される)。支援システム1は、このようなサーバ30へのデータの入力を支援する。支援システム1は、端末10、サーバ30及び社内システム40等を具備する。
【0030】
図1及び
図2に示す端末10は、利用者B(支援システム1を利用してサーバ30へデータを入力する者)が所持する機器である。端末10は、利用者Bが装着可能な眼鏡型のウェアラブルデバイスによって構成される。端末10は、スピーカ11、マイク12、カメラ13及び処理部14を具備する。
【0031】
スピーカ11は、音声を出力するためのものである。マイク12は、音声を入力するためのものである。カメラ13は、写真や映像(動画)を撮影するためのものである。カメラ13は、映像の撮影時にマイク12を用いて音声を含む映像を撮影することができる。スピーカ11、マイク12及びカメラ13は、眼鏡のフレーム10aに適宜設けられる。当該フレーム10aには、例えば、カメラ13でシャッターを切るためのボタン等も適宜設けられる(不図示)。これにより、端末10は、利用者B(
図7参照)が適宜操作可能に構成される。
【0032】
図1に示す処理部14は、演算処理を行うためのものである。処理部14は、ハードウェア資源とソフトウェア資源との協動により、演算処理を行うことができる。処理部14は、前記ハードウェア資源として、演算装置及び記憶装置等を具備する。また、処理部14は、前記ソフトウェア資源として、OS15、音声認識部16及びモード制御部17を具備する。
【0033】
OS15は、プログラムを実行させるための基本となるソフトウェアである。OS15は、後述するサーバ30や関係者端末R10との通信を管理したり、記憶装置との間でのデータの受け渡しを管理することができる。また、OS15は、スピーカ11、マイク12及びカメラ13との間の入出力を管理することができる。
【0034】
音声認識部16は、利用者Bが発した言葉(発話内容)を認識するためのものである。音声認識部16は、OS15上で動作可能なプログラムによって構成される。音声認識部16は、音声ファイルを解析し、テキストファイルへと変換可能に構成される。
【0035】
モード制御部17は、利用者Bに所定の機能を提供するための複数のモードを実行するためのものである。モードとは、所定の機能を提供するために設定された一連の処理を指す。モード制御部17は、OS15を介してスピーカ11等を適宜制御することができる。
【0036】
具体的には、モード制御部17は、OS15を介してスピーカ11に信号を送信し、所定の音声を出力させることができる。また、モード制御部17は、マイク12に信号を送信し、マイク12への音声入力を受け付ける(マイク12を介して録音する)ことができる。また、モード制御部17は、マイク12から受信した信号に基づいて、マイク12を介して録音した音声ファイルを取得することができる。また、モード制御部17は、カメラ13から受信した信号に基づいて、カメラ13で撮影したファイル(例えば、画像ファイルや映像ファイル)を取得することができる。
【0037】
また、モード制御部17は、音声認識部16に指示を出し、音声ファイルをテキストファイルに変換することができる。また、モード制御部17は、音声認識部16からの応答に基づいて、変換したテキストファイルを取得することができる。
【0038】
また、モード制御部17は、ネットワーク回線Nを介してサーバ30と通信することで、当該サーバ30との間でファイルの転送を行うことができる。より詳細には、モード制御部17は、サーバ30から検査項目テーブル31をダウンロードしたり、カメラ13で撮影した画像ファイル等をサーバ30へアップロードすることができる。
【0039】
また、モード制御部17は、ネットワーク回線Nを介して利用者B以外の者、例えば、建築現場の関係者Rが使用する関係者端末R10(例えば、パソコンやスマートフォン等)と通信することができる。モード制御部17は、マイク12に入力された音声(電気信号)を関係者端末R10に送信すると共に、関係者端末R10から受信した音声(電気信号)をスピーカ11から出力させることができる。こうして利用者Bは、端末10を介して関係者Rと通話することができる。また、モード制御部17は、カメラ13で撮影した映像を関係者端末R10に送信することができる。関係者端末R10は、モード制御部17から受信した映像を表示させることができる。こうして関係者Rは、カメラ13で撮影した様子を確認することができる。
【0040】
上述の如く構成されたモード制御部17において実行される複数のモードには、検査モード、記録モード及び通話モードが含まれる。
【0041】
検査モードは、利用者Bが建物の検査を行うためのモードである。通話モードは、利用者Bが利用者B以外の者(本実施形態では関係者R)と通話するためのモードである。記録モードは、カメラ13で撮影した様子(例えば、点検作業の様子等)を記録するためのモードである。検査モード、通話モード及び記録モードについては後述する。
【0042】
モード制御部17は、複数のモードのいずれを実行するのかを選択可能(後述するモード選択処理を実行可能)に構成される。また、
図3示すように、モード制御部17は、検査モード、記録モード及び通話モードを実行するためのもの(OS15上で動作可能なプログラム)として、検査処理部18、通話処理部19及び記録処理部20を具備する。
【0043】
検査処理部18は、検査モードを実行するためのものである。検査処理部18は、後述するように、利用者Bが発した言葉に基づいて適宜処理を行うことができる。検査処理部18は、検査で使用するための記憶領域A10(空き領域、
図1参照)を端末10の記憶装置に確保することができる。検査処理部18の処理については後述する。
【0044】
通話処理部19は、通話モードを実行するためのものである。通話処理部19は、後述するように、利用者Bが発した言葉に基づいて適宜処理を行うことができる。通話処理部19の処理については後述する。
【0045】
記録処理部20は、記録モードを実行するためのものである。記録処理部20は、後述するように、利用者Bが発した言葉に基づいて適宜処理を行うことができる。記録処理部20の処理については後述する。
【0046】
図1に示すサーバ30は、端末10及び後述する社内システム40からの要求に応じて適宜処理を行うものである。サーバ30は、ネットワーク回線Nを介して端末10及び社内システム40と接続される。サーバ30は、クラウドサーバ(厳密には、クラウドサーバ内に仮想的に構築されたサーバ)によって構成される。サーバ30には、カメラ13での撮影結果(
図10に示す画像ファイルC11・C12参照)や音声認識部16での認識結果(
図10に示すテキストファイルF11参照)等を記憶するための記憶領域A30が確保される。記憶領域A30には、複数のフォルダ(記憶場所、OSによってはディレクトリともいう)が作成される(
図25参照)。記憶領域A30の構成については後述する。サーバ30は、検査項目テーブル31及び保存用DB32を具備する。
【0047】
図4に示す検査項目テーブル31は、検査項目に関する情報を格納するものである。検査項目テーブル31には、「No」、「工程・部位等」、「検査項目」及び「管理値」が含まれる。
【0048】
「No」は、検査項目テーブル31のレコード毎に割り当てられる通し番号である。
【0049】
「工程・部位等」は、検査の工程(建物の工事におけるどの工程での検査であるのか)、及び検査対象の部位(建物のどの箇所を対象とした検査であるのか)を示すものである。検査の工程としては、例えば、コンクリート打設前の検査であるのか、フレッシュコンクリートの受入の検査であるのか等がある。また、検査対象の部位としては、例えば、基礎等がある。なお、
図4に示す検査項目テーブル31の「工程・部位等」には、検査の工程等を示す文字列が格納されているが、これに限定されるものではなく、検査の工程等を一意に特定可能な数値等が格納されるものであってもよい。
【0050】
「検査項目」は、検査の工程及び検査対象の部位において実施する検査の内容を示すものである。例えば、所定の数値に異常がないかの検査である場合、「検査項目」には、当該数値に相当する情報(例えば、『スランプ値』等)が格納される。なお、
図4に示す検査項目テーブル31の「検査項目」には、検査の内容を示す文字列が格納されているが、これに限定されるものではなく、検査の内容を一意に特定可能な数値等が格納されるものであってもよい。
【0051】
「管理値」は、「検査項目」が示す検査の合否判定の基準となる情報を示すものである。「管理値」には、検査の内容に応じて、合格となる値や範囲等が格納される。なお、
図4に示す検査項目テーブル31の「管理値」には、合否判定の基準を示す文字列が格納されているが、これに限定されるものではなく、合否判定の基準を一意に特定可能な数値等が格納されるものであってもよい。
【0052】
図1に示す保存用DB32は、カメラ13での撮影結果(
図10に示す画像ファイルC11・C12参照)やマイク12を介して録音した音声ファイルや音声認識部16での認識結果(
図10に示すテキストファイルF11参照)等を記憶するためのもの(テーブル群)である。保存用DB32には、例えば、画像ファイルを記憶するためのテーブル、音声ファイルを記憶するためのテーブル及びテキストファイルを記憶するためのテーブル等が含まれる。保存用DB32は、例えば、画像ファイル等のファイルパス(より詳細にはフルパス)を、検査項目テーブル31の「工程・部位等」及び「管理項目」の情報と関連付けて記憶する。これにより、保存用DB32は、画像ファイル等がどの検査で得られたものなのかを特定可能となるように、当該画像ファイルを記憶することができる。
【0053】
上述の如く構成されたサーバ30は、他の端末(例えば、端末10や関係者端末R10等)からの要求に応じて、保存用DB32に登録されたデータを提供可能に構成される。具体的には、サーバ30は、例えば、保存用DB32からデータを抽出してWebページ(例えば、html(HyperText Markup Language)ドキュメント等)を生成し、要求があった端末へ生成したWebページを送信する。サーバ30は、当該Webページとして、例えば、確認画面33(
図24参照)を生成することができる。当該端末において当該Webページを表示することで、保存用DB32に登録されたデータを確認することができる。なお、確認画面33については後述する。
【0054】
社内システム40は、検査に関する情報を適宜管理するためのものである。社内システム40は、サーバ30と通信することで、検査項目テーブル31の内容を変更する(新たにレコードを追加したり既存のレコードを上書きする)ことができる。より詳細には、例えば、社内システム40には、検査項目テーブル31の内容を変更するデータが手動で入力される。社内システム40は、当該データに基づいて検査項目テーブル31の内容を変更する。また、社内システム40は、サーバ30と通信することで、保存用DB32から情報(画像ファイル等)を取得することができる。また、社内システム40は、取得した情報に基づいて、
図5に示す検査報告書Dを作成することができる。
【0055】
検査報告書Dは、検査の結果を報告するためのものである。
図5は、検査報告書Dの一例を示すものである。
図5に示す検査報告書Dには、「No」、「工程・部位等」、「検査項目」、「管理値」、「検査値」、「合否」及び「写真」等が含まれる。
【0056】
「No」、「工程・部位等」、「検査項目」及び「管理値」は、検査項目テーブル31の「No」、「工程・部位等」、「検査項目」及び「管理値」と同様である。
【0057】
「検査値」は、検査の結果(例えば、測定値等)を示すものである。「合否」は、検査の結果(「検査値」)が合格基準を満たしているか否かを示すものである。「写真」は、検査で撮影された結果(カメラ13で撮った画像)を示すものである。
【0058】
上述の如く構成された支援システム1は、利用者Bが建築現場で作業(例えば、検査等)を行う場合に使用され、種々のデータ(例えば、検査の結果等)がサーバ30に記録される。より詳細には、利用者Bは、作業の開始前(又は作業中)に、用途に応じたモードを選択する。これにより、選択したモードが実行され、利用者Bに種々の機能が提供される。利用者Bは、当該機能を利用して、作業を円滑に行うことができる。このようなモードの実行時に得られた検査の結果等のデータが、適宜サーバ30に記録される。以下、具体的に説明する。
【0059】
まず、利用者Bがモードを選択するためのモード選択処理について説明する。モード選択処理は、端末10を起動して、モード選択処理を指示する言葉(例えば、『モード選択』との言葉等)が発話された場合に開始される。
【0060】
図6に示すように、モード選択処理が開始されると、モード制御部17は、ステップS10へ移行する。ステップS10において、モード制御部17は、利用者Bと対話することで、プロジェクトを選択する。プロジェクトは、建物を建築するプロジェクトの名称や建築現場の名称を示すものである。
【0061】
ステップS10において、モード制御部17は、プロジェクトを問い合わせるための音声(例えば、『プロジェクトを選択して下さい』との音声)をスピーカ11から出力させる。利用者Bは、スピーカ11からの音声に対してプロジェクトを発声(回答)する。モード制御部17は、マイク12を介して当該利用者Bが発声した言葉(例えば、『Aプロジェクト』等の言葉)を録音する。モード制御部17は、マイク12を介して録音した音声ファイルを音声認識部16で処理してテキストファイル(発話内容)を取得する。
【0062】
端末10の記憶装置には、予めプロジェクトに関する情報(例えば、プロジェクトの名称等)が記憶されている。ステップS10において、モード制御部17は、取得したテキストファイルとプロジェクトに関する情報とを対比することで、複数のプロジェクトの中から利用者Bが選択(発声)したプロジェクトを一意に特定する。モード制御部17は、ステップS10の処理が終了すると、ステップS20へ移行する。
【0063】
ステップS20において、モード制御部17は、利用者Bと対話することで、実行するモードを選択する。具体的には、モード制御部17は、モードを問い合わせるための音声(例えば、『モードを選択して下さい』との音声)をスピーカ11から出力させ、当該音声に対して利用者Bが発声した言葉(例えば、『検査モード』等の言葉)を音声認識部16で処理して認識結果(モードについての発話内容)を取得する。モード制御部17は、ステップS20の処理が終了すると、ステップS30へ移行する。
【0064】
ステップS30において、モード制御部17は、ステップS20で選択(発声)されたモードが検査モードであるか否かを確認する。モード制御部17は、ステップS20で選択されたモードが検査モードである場合に(ステップS30:Yes)、ステップS40へ移行する。一方、モード制御部17は、ステップS20で選択されたモードが検査モードではない場合に(ステップS30:No)、ステップS50へ移行する。
【0065】
ステップS40において、モード制御部17は、検査処理部18により、検査モードを実行する。検査モードの流れ(検査処理部18の処理)については後述する。
【0066】
ステップS50において、モード制御部17は、ステップS20で選択されたモードが通話モードであるか否かを確認する。モード制御部17は、ステップS20で選択されたモードが通話モードである場合に(ステップS50:Yes)、ステップS60へ移行する。一方、モード制御部17は、ステップS20で選択されたモードが通話モードではない場合に(ステップS50:No)、ステップS70へ移行する。
【0067】
ステップS60において、モード制御部17は、通話処理部19により、通話モードを実行する。通話モードの流れ(通話処理部19の処理)については後述する。
【0068】
ステップS70において、モード制御部17は、ステップS20で選択されたモードが記録モードであるか否かを確認する。モード制御部17は、ステップS20で選択されたモードが記録モードである場合に(ステップS70:Yes)、ステップS80へ移行する。一方、モード制御部17は、ステップS20で選択されたモードが記録モードではない場合に(ステップS70:No)、ステップS20へ移行し、実行するモードをもう一度確認する。
【0069】
ステップS80において、モード制御部17は、記録処理部20により、記録モードを実行する。記録モードの流れ(記録処理部20の処理)については後述する。
【0070】
上述の如く構成されたモード選択処理において利用者Bは、発声することでプロジェクト及びモードを選択することができる(ステップS10・S20)。これにより、利用者Bの手を使うことなくプロジェクト及びモードを選択することができるため、選択の手間を減らして利用者Bの負担を低減することができる。
【0071】
以下では、モード選択処理により選択されるモード(検査モード、通話モード及び記録モード)の流れについて説明する。
【0072】
まず、
図7及び
図8を参照し、検査モードの流れ(検査処理部18の処理)について説明する。
【0073】
上述の如く、検査モードは、利用者Bが建物の検査を行うためのモードであり、検査処理部18により実行される。なお、本実施形態においては、検査を行う前の事前作業A110として、最新の検査項目テーブル31を取得することが予め決められている。このため、利用者Bは、建築現場に行く前に端末10を操作して、サーバ30から最新の検査項目テーブル31を取得する(事前作業A110)。端末10は、当該検査項目テーブル31を記憶領域A10に格納する。
【0074】
その後、利用者Bは、建築現場へ行き、検査モードを実行する(建物の検査を行う)。すなわち、利用者Bは、モード選択処理においてプロジェクトを選択し(
図6に示すステップS10)、検査モードを選択可能な言葉(例えば、『検査モード』等の言葉)を発声することで、検査モードを実行する(
図6に示すステップS20、ステップS30:Yes、ステップS40)。以下、検査モードについて具体的に説明する。
【0075】
検査モードが開始されると、利用者Bは、複数の検査の中のどの検査を行うのかを特定可能となるように、検査に関する言葉を適宜発声する(ステップS110)。例えば、利用者Bは、検査項目テーブル31の「工程・部位等」に格納された値に関する言葉(『フレッシュコンクリートの受入検査』等)を発声する。検査処理部18は、マイク12を介して当該利用者Bが発声した言葉を録音する。
【0076】
検査処理部18は、マイク12を介して録音した音声ファイルを音声認識部16で処理してテキストファイルを取得する。検査処理部18は、取得したテキストファイルを解析し、複数の検査の中から利用者Bが行う検査を特定する。
【0077】
検査処理部18は、端末10の記憶領域A10に格納された検査項目テーブル31から「検査項目」を読み込んで、利用者Bと対話する形で検査を支援する(ステップS120~S200)。検査処理部18は、このような検査の支援を、全ての「検査項目」(「工程・部位等」に対応する全ての「検査項目」)が終了するまで行う。
【0078】
具体的には、検査処理部18は、利用者Bが発声した「工程・部位等」(『フレッシュコンクリートの受入検査』等)をキーに検査項目テーブル31を検索し、「検査項目」を読み込む(ステップS120)。検査処理部18は、読み込んだ「検査項目」の情報をスピーカ11から出力させる(読み上げる)ことで、利用者Bに対して「検査項目」を質問する(ステップS130)。利用者Bは、スピーカ11からの音声に基づいて、「検査項目」の内容を検査する。そして、利用者Bは、検査の結果を発声(回答)する(ステップS140)。
【0079】
検査処理部18は、検査の結果を検査項目テーブル31の「管理値」と照合する(ステップS150)。具体的には、検査処理部18は、ステップS140で利用者Bが発声した言葉(検査の結果)を録音した音声ファイルを、音声認識部16で処理してテキストファイルを取得する。検査処理部18は、取得したテキストファイルを解析して検査の結果のデータ(例えば、検査の結果を示す値等)を取得し、検査項目テーブル31の「管理値」と対比する。
【0080】
そして、検査処理部18は、検査結果を判定する(ステップS160)。このとき、検査処理部18は、検査の結果が「管理値」の条件を満たしている場合、検査の結果(「合否」)がOKであると判定する。一方、検査処理部18は、検査の結果が「管理値」の条件を満たしていない場合、検査の結果がNGであると判定する。
【0081】
その後、検査処理部18は、スピーカ11を介して音声を出力し、カメラ13での撮影を促す(ステップS170)。利用者Bは、端末10を操作して、カメラ13で適宜の箇所を撮影する(ステップS180)。
【0082】
カメラ13での撮影が行われると、検査処理部18は、撮影された画像ファイルを保存する(ステップS190)。このとき、検査処理部18は、カメラ13からの画像ファイルを記憶領域A10に格納すると共に、当該画像ファイルをサーバ30にアップロードする。サーバ30は、アップロードされた画像ファイルを記憶領域A30の適宜のフォルダに記憶する。また、サーバ30は、アップロードされた画像ファイルの記憶先(フルパス)を保存用DB32に登録する。
【0083】
検査処理部18は、このようなステップS130~S190を、全ての「検査項目」が終了するまで繰り返す。なお、検査処理部18は、カメラ13での撮影が必要のない「検査項目」である場合、ステップS170~S190をスキップする。具体的には、例えば、検査処理部18は、写真撮影の有無と「検査項目」とを予め関連付けて記憶しており、当該記憶している情報に基づいて、カメラ13での撮影が必要のない「検査項目」であるのか否かを判断する。
【0084】
検査処理部18は、全ての「検査項目」が終了すると(ステップS200)、「検査項目」を振り返る(ステップS210)。このとき、検査処理部18は、検査項目テーブル31の「検査項目」の音声をスピーカ11から出力し、その後に、ステップS150で取得した検査の結果(テキストファイルの内容)をスピーカ11から出力する。検査処理部18は、これらの出力を、全ての「検査項目」に対して行う。
【0085】
検査処理部18は、「検査項目」を振り返ると、検査を終える旨の音声をスピーカ11から出力する(ステップS220)。これにより、利用者Bは、端末10の電源を切る等し、検査を終了する(ステップS230)。
【0086】
以下では、
図9及び
図10を参照し、検査(ステップS110~S190)の流れを具体的に説明する。また、以下では、
図4に示す検査項目テーブル31の検査を行う場合を例に挙げて、検査の流れを説明する。
【0087】
まず、利用者Bは、検査を開始するときに、マイク12に向けて検査開始の旨を発声する。具体的には、利用者Bは、モード選択処理において検査モードを選択した後で、『コンクリート検査』と発声する(ステップS110)。検査処理部18は、当該発声に基づいて利用者Bが『フレッシュコンクリートの受入検査』を開始すると判断する。そして、検査処理部18は、検査を開始する旨の音声(『コンクリート検査を開始します。』との音声)をスピーカ11から出力させる。
【0088】
その後、検査項目テーブル31から「検査項目」を読み込む(ステップS120)。このとき、検査処理部18は、まず、検査項目テーブル31の「No」が最も小さい「検査項目」である『スランプ値』を読み込んで、その音声をスピーカ11から出力させる(ステップS130)。
【0089】
利用者Bは、上記音声を受けてスランプ値を測定し、当該測定結果(『X2』)を発声する(ステップS140)。なお、『X2』は、『X1』よりも大きく、かつ『X3』よりも小さい値となっている。
【0090】
検査処理部18は、当該発声に基づいて『スランプ値』の測定結果が『X2』であったと判断し、「管理値」と照合する(ステップS150)。
図4に示す検査項目テーブル31において、『スランプ値』の「管理値」は、『X1以上X3以下』であるため、検査処理部18は、検査結果(『X2』)がOKであると判定する(ステップS160)。この場合、検査処理部18は、スピーカ11から検査結果がOKである旨の音声(『問題ありません。』との音声)を出力する。
【0091】
また、
図9における『スランプ値』の検査では写真撮影が必要であることから、検査処理部18は、カメラ13での撮影を促す音声(『写真を撮ってください。』との音声)をスピーカ11から出力させる(ステップS170)。
【0092】
利用者Bは、上記音声を受けてカメラ13での撮影を行う。カメラ13で撮影した画像ファイルC11は、
図10に示す記憶領域A10に格納されると共に、ネットワーク回線Nを介してサーバ30の記憶領域A30にも格納される。また、画像ファイルC11は、サーバ30の保存用DB32に登録される(ステップS190)。
【0093】
そして、
図9に示す検査処理部18は、検査項目テーブル31から次の「検査項目」(「No」が『2』である『空気量』)を読み込み、その音声をスピーカ11から出力させる。
【0094】
なお、
図9における『空気量』の検査では、その結果が『Y4』となっている。当該『Y4』は、『Y3』よりも大きな値、すなわち、「管理値」の条件を満たさない値となっている。この場合、検査処理部18は、検査結果がNGであると判定し、スピーカ11からその旨の音声(『管理値外です。是正が必要です。』との音声)を出力する。
【0095】
また、検査処理部18は、検査の結果がNGであった場合でも、OKであった場合と同じように動作する。よって、検査処理部18は、利用者Bに写真の撮影を促して、カメラ13で撮影した画像ファイルC12をサーバ30にアップロードする。その後、検査処理部18は、次の「検査項目」を読み込んでスピーカ11から出力させる。
【0096】
また、検査処理部18は、『フレッシュコンクリートの受入検査』を終了すると、サーバ30にファイルをアップロードする。当該ファイルには、検査時に録音した音声ファイルと、利用者Bの発話内容を音声認識部16で認識したテキストファイルF11と、検査の結果と、が含まれる。サーバ30は、アップロードされたテキストファイルF11等を記憶領域A30の適宜のフォルダに記憶する。サーバ30は、アップロードされたテキストファイルF11の記憶先等を、「工程・部位等」及び「検査項目」と関連付けて保存用DB32に登録する。
【0097】
社内システム40は、こうして登録された保存用DB32を検索することで、「検査項目」に対応する検査の結果、合否の判定結果及び画像ファイルC11・C12を取得することができる。また、社内システム40は、保存用DB32から取得したデータを
図5に示す検査報告書Dの「検査値」、「合否」及び「写真」に反映させることで、検査報告書Dを自動的に作成することができる。
【0098】
本実施形態の支援システム1によれば、検査処理部18が検査項目テーブル31の「管理値」に基づいて検査の合否を判定するため(ステップS150・S160)、利用者Bが合否判定を行う手間を省いて、検査における業務負荷を低減することができる。また、合否を誤って判定するのを防止することができるため、検査結果に対する信頼性の向上(品質の均一化)を図ることができる。
【0099】
また、本実施形態の支援システム1によれば、スピーカ11から「検査項目」の音声を出力させることで、利用者Bに「検査項目」を提供することができる(ステップS130)。また、全ての「検査項目」が終了するまで音声出力を繰り返し実行することで(ステップS200)、利用者Bに全ての「検査項目」を提供することができる。これによれば、利用者Bが検査に漏れがないか確認しなくて済むため、検査における業務負荷を低減することができる。また、検査を漏れなく行うことができ、検査結果に対する信頼性の向上を図ることができる。
【0100】
また、検査処理部18では、現場に行く前に、最新の検査項目テーブル31を取得するようにしている(事前作業A110)。これによれば、現場におけるネットワーク環境に関わらず、検査の支援を安定して行うことができる。具体的には、
図11に示すように、現場によっては、ネットワーク回線Nが不安定となり、端末10がサーバ30と通信できない可能性がある。本実施形態では、利用者Bが現場に行く前に検査項目テーブル31を端末10の記憶領域A10に格納して(事前作業A110)、当該記憶領域A10の検査項目テーブル31を用いて検査の支援を行うようにしている。これによれば、端末10は、スタンドアロンで検査の支援を実行することができる。なお、端末10は、スタンドアロンで検査の支援を実行する場合、画像ファイルC11・C12等を適宜(例えば、利用者Bが現場から離れてネットワーク回線Nが安定すると)アップロードする。
【0101】
なお、検査処理部18は、「検査項目」をスキップ可能であってもよい。具体的には、
図12に示すように、検査処理部18は、利用者Bが所定の言葉(
図12では、『スキップ』との言葉)を発した場合に、次の「検査項目」に進むものであってもよい。
【0102】
以上の如く、本実施形態に係る支援システム1(検査支援システム)は、検査部位(「工程・部位等」)、検査項目及び合格基準(「管理値」)を含む検査項目テーブル31を記憶する記憶領域A10が確保された記憶装置及びサーバ30(記憶部)と、少なくとも前記検査項目テーブル31の前記検査項目を、音声で読み上げるスピーカ11(音声出力部)と、利用者B(検査員)の発話の入力を受け、発話内容を認識する音声認識部16と、前記音声認識部16での認識内容が前記合格基準を満たすかを判定する検査処理部18(判定部)と、を具備するものである。
【0103】
このように構成することにより、利用者Bが合否判定を行う手間を省いて、検査における業務負荷の低減を図ることができる。
【0104】
また、前記スピーカ11は、前記検査処理部18での判定結果を音声で出力するものである(ステップS160)。
【0105】
このように構成することにより、利用者Bが自発的に判定結果を取得しなくて済むため、利便性を向上させることができる。
【0106】
また、前記スピーカ11は、前記検査処理部18での判定後に前記検査処理部18の写真撮影を促す音声を出力するものである(ステップS170)。
【0107】
このように構成することにより、写真撮影が必要な検査項目であるか否かを利用者Bが確認しなくて済むため、検査における業務負荷の低減を効果的に図ることができる。また、検査において写真撮影を忘れるのを抑制し、検査結果に対する信頼性の向上を効果的に図ることができる。
【0108】
また、前記記憶領域A10が確保された記憶装置、前記スピーカ11、前記音声認識部16及び前記検査処理部18は、ウェアラブルデバイスで構成されるものである。
【0109】
このように構成することにより、利用者Bの手を塞ぐことなく検査を行うことができるため、検査を効率的に行うことができる。
【0110】
次に、
図13及び
図14を参照し、通話モードの流れ(通話処理部19の処理)について説明する。
【0111】
上述の如く、通話モードは、利用者Bが利用者B以外の者と通話するためのモードであり、通話処理部19により実行される。通話モードは、必要に応じて(例えば、建築現場の作業において判断に迷った場合等に)実行される。この際、利用者Bは、モード選択処理においてプロジェクトを選択し(
図6に示すステップS10)、通話モードを選択可能な言葉(例えば、『通話モード』等の言葉)を発声することで、通話モードを実行する(
図6に示すステップS20、ステップS30:No、ステップS50:Yes、ステップS60)。以下、通話モードについて具体的に説明する。
【0112】
通話モードが開始されると、利用者Bは、通話したい相手の情報(例えば、関係者Rの名前や所属部署等)に関する言葉を発声する(ステップS310)。
【0113】
通話処理部19は、利用者Bの発話内容に基づいて、利用者Bの通話相手を特定する(ステップS320)。具体的には、端末10の記憶装置には、通話相手に関する情報(例えば、名前、所属部署、関係者端末R10のMACアドレス等を互いに関連付けた情報)が予め記憶されている。通話処理部19は、利用者Bが発声した言葉を録音した音声ファイルを音声認識部16で処理してテキストファイルを取得し、当該テキストファイルと関係者Rに関する情報とを対比する。具体的には、例えば、通話処理部19は、テキストファイル内の文字列と一致する文字列が、関係者Rに関する情報に含まれているのかを確認する。こうして通話処理部19は、利用者Bの発話内容から、通話相手となる関係者R及び当該関係者Rが使用する関係者端末R10を一意に特定する。
【0114】
通話処理部19は、利用者Bと特定した関係者Rとの通話を開始させる(ステップS330)。具体的には、通話処理部19は、関係者Rを呼び出すための信号を、特定した関係者端末R10へ送信する。関係者端末R10は、当該信号を受信すると、所定の呼び出し音を出力する等して関係者Rを呼び出す。当該呼び出し音に基づいて関係者Rが関係者端末R10を操作すると、端末10と関係者端末R10とが相互に通信可能な状態となって、利用者Bは、端末10を介して関係者Rと通話することができる。
【0115】
通話処理部19は、関係者Rとの通話が開始されると、マイク12によって通話内容の録音を開始する。また、通話処理部19は、カメラ13を起動させ、当該カメラ13での映像の撮影(録画)を開始する。カメラ13で撮影された映像は、ネットワーク回線Nを介して関係者端末R10へ送信され、当該関係者端末R10で表示される。こうして、関係者Rは、カメラ13で撮影された映像を確認しながら、利用者Bと通話することができる。
【0116】
利用者Bは、関係者Rとの通話を終えたい場合に、通話終了の旨を発声する(ステップS340)。すなわち、利用者Bは、通話モードの終了に関する言葉(例えば、『通話終了』等の言葉)を発声する。
【0117】
通話処理部19は、当該発声に基づいて関係者端末R10との通話を終了させる(ステップS350)。すなわち、通話処理部19は、関係者端末R10へ通話終了に関する信号を送信し、関係者端末R10と相互に通信可能な状態を終了させる。また、通話処理部19は、マイク12による録音及びカメラ13による撮影を終了する。
【0118】
その後、通話処理部19は、通話時に得られたファイルをサーバ30に保存する(ステップS360)。具体的には、通話処理部19は、通話内容を録音した音声ファイルを音声認識部16で処理して得られたテキストファイルF21と、通話時にカメラ13で撮影した映像ファイルV21と、をサーバ30にアップロードする。サーバ30は、アップロードされたテキストファイルF21及び映像ファイルV21を記憶領域A30の適宜のフォルダに記憶する。また、サーバ30は、アップロードされたテキストファイルF21及び映像ファイルV21の記憶先(フルパス)を保存用DB32に登録する。こうして、通話処理部19による通話モードが終了する。
【0119】
通話モードにおいて、関係者Rは、カメラ13で撮影された映像を確認しながら通話することができる(ステップS330)。これにより、関係者Rは、建築現場の状況をより詳細に把握することができる。このため、関係者Rは、例えば、利用者Bから建築現場の作業等について相談を受けた場合に、適切な回答を返すことができる。また、関係者Rは、回答に要する時間を短縮することもできる。これにより、作業の効率化を図ることができる。
【0120】
また、利用者Bは、発話することで通話モードの開始及び終了を端末10に指示することができる(ステップS20・S340)。また、利用者Bは、発話することで通話相手を選択することができる(ステップS310)。これにより、手を塞ぐことなく関係者Rと通話できるため、作業の効率化を図ることができる。
【0121】
次に、
図15から
図17を参照し、記録モードの流れ(記録処理部20の処理)について説明する。
【0122】
上述の如く、記録モードは、カメラ13で撮影した様子を記録するためのモードであり、記録処理部20により実行される。記録モードは、建築現場での作業(例えば、建築現場の点検作業等)を記録として残したい場合等に適宜実行される。この際、利用者Bは、モード選択処理においてプロジェクトを選択し(
図6に示すステップS10)、記録モードを選択可能な言葉(例えば、『記録モード』等の言葉)を発声することで、記録モードを実行する(
図6に示すステップS20、ステップS30:No、ステップS50:No、ステップS70:Yes、ステップS80)。以下、記録モードについて具体的に説明する。
【0123】
記録モードが開始されると、記録処理部20は、カメラ13を起動させて映像(音声を含む映像)の撮影を開始する(ステップS410)。また、記録処理部20は、マイク12によって発話内容の録音を開始する。利用者Bは、カメラ13により適宜撮影を行う。
【0124】
利用者Bは、撮影中にその内容を適宜発声する(ステップS420)。例えば、利用者Bは、点検作業の様子を撮影する場合に、当該点検作業の内容についての言葉(例えば、何を点検しているのかを説明する言葉(『ビスピッチ』等の言葉))を適宜発声する。
【0125】
そして、利用者Bは、撮影を終えたい場合に、記録終了の旨を発声する(ステップS430)。具体的には、例えば、利用者Bは、作業が終了した場合に通話モードの終了に関する言葉(例えば、『記録終了』等の言葉)を発声する。
【0126】
記録処理部20は、当該発声に基づいてマイク12による録音及びカメラ13による撮影を終了する(ステップS440)。
【0127】
こうして撮影された映像ファイル(
図19参照、以下、「抽出前映像ファイルV31」と称する)には、例えば、作業を開始してから終了するまでの様子の全てが記録されることとなる。したがって、抽出前映像ファイルV31は、比較的長時間の映像となる。また、抽出前映像ファイルV31には、重要な部分(後日確認する可能性が高い部分、例えば、所定の値を測定する様子等)だけではなく、不要な部分(後日確認する可能性が低い部分、例えば、測定の準備をしている様子等)が記録されることとなる。
【0128】
そこで、記録処理部20は、抽出前映像ファイルV31から一部の時間帯の映像(
図23参照、以下、「抽出後映像ファイルV32」と称する)を抽出し、抽出前映像ファイルV31の中から重要な部分を抜き出すようにしている(ステップS450)。
【0129】
図16は、抽出後映像ファイルV32を抽出するステップS450の処理の詳細を示すフローチャートである。記録処理部20は、ステップS450へ移行すると、ステップS510の処理を行う。
【0130】
ステップS510において、記録処理部20は、抽出前映像ファイルV31からテキストファイルを取得する(ステップS510)。具体的には、記録処理部20は、抽出前映像ファイルV31の音声を音声認識部16に入力する。音声認識部16は、入力された音声から利用者Bの発話内容を認識し、当該発話内容の認識結果と、利用者Bが発声した日時と、を関連付けたテキストファイルを出力する。記録処理部20は、音声認識部16から当該テキストファイルを取得する。記録処理部20は、ステップS510の処理が終了すると、ステップS520へ移行する。
【0131】
ステップS520において、記録処理部20は、キーワードに基づいて、抽出前映像ファイルV31の中から重要部21(
図21参照)の開始日時を特定する。
【0132】
重要部21は、抽出前映像ファイルV31のうち、重要な部分である。すなわち、重要部21は、抽出後映像ファイルV32として抽出することが望ましい部分である。
【0133】
キーワードは、重要な部分を撮影する際に、利用者Bが発することが想定される言葉、例えば、建築現場に関する用語等である。建築現場に関する用語は、建築現場での作業時に使用される言葉である。建築現場に関する用語には、例えば、建築現場で用いられる専門用語(『基礎』や『ビスピッチ』等)や数値を含んだ言葉(例えば、『200mm』等)が含まれる。端末10には、このようなキーワード(利用者Bが発することが想定される言葉)が予め記憶装置に記憶されている。
【0134】
ステップS520において、記録処理部20は、記憶装置に記憶されたキーワードとステップS510で取得したテキストファイル(発話内容の認識結果)とを対比して、利用者Bがキーワードを発声した日時を特定する。そして、特定した日時を重要部21の開始日時とする。記録処理部20は、ステップS520の処理が終了すると、ステップS530の処理へ移行する。
【0135】
ステップS530において、記録処理部20は、重要部21の終了日時を特定する。このとき、記録処理部20は、開始日時T4以降で利用者Bが所定時間沈黙した日時(時点)を特定し、その日時を重要部21の終了日時とする。なお、「沈黙している」とは、利用者Bが建築現場に関する用語を発声していないことを指す。具体的には、利用者Bが何の言葉も発声しない(音声認識部16が発話内容を認識しない)ことと、利用者Bがキーワード以外の言葉を発声したことと、が含まれる。以下、ステップS530の処理について具体的に説明する。
【0136】
ステップS530において、記録処理部20は、テキストファイルを読み込んで、キーワードを発声してから所定時間が経過するまでに利用者Bが再びキーワードを発声しているかを確認する。仮に利用者Bが再びキーワードを発声している場合、記録処理部20は、その日時からさらに所定時間が経過するまでに利用者Bがキーワードを発声しているかを確認する。記録処理部20は、このような処理を再帰的に行って、最後にキーワードを発声してから所定時間キーワードを発声しなかった日時(沈黙した日時)を特定する。このように、記録処理部20は、テキストファイル(より詳細には、発話内容(キーワードを発話したこと)が記録されていない日時)に基づいて、所定時間沈黙した日時を特定する。そして、記録処理部20は、特定した日時を、重要部21の終了日時とする。
【0137】
こうして、ステップS530において、記録処理部20は、抽出前映像ファイルV31を、重要部21(
図21参照)と、重要部21以外の不要部22(不要な部分、
図20及び
図22参照)と、に分類する。記録処理部20は、ステップS530の処理が終了すると、ステップS540の処理へ移行する。
【0138】
ステップS540において、記録処理部20は、バッファ(余裕)を見て抽出前映像ファイルV31から重要部21を抽出する(ステップS530)。すなわち、記録処理部20は、重要部21の開始日時より少し前(例えば、数秒前)の日時から、終了日時よりも少し後(例えば、数秒後)の日時までの映像を抽出する。こうして、記録処理部20は、抽出前映像ファイルV31から、一部の時間帯の映像である抽出後映像ファイルV32を抽出し、映像を抽出するステップS450の処理を終了する。
【0139】
図15及び
図17に示すように、記録処理部20は、撮影により得られたファイルをサーバ30にアップロード(保存)する(ステップS460)。具体的には、抽出前映像ファイルV31と、抽出後映像ファイルV32と、抽出後映像ファイルV32の音声を音声認識部16で処理して得られたテキストファイルF32と、をサーバ30にアップロード(保存)する。サーバ30は、アップロードされた抽出前映像ファイルV31等を記憶領域A30の適宜のフォルダに記憶する。また、サーバ30は、アップロードされた抽出前映像ファイルV31等の記憶先(フルパス)を保存用DB32に登録する。こうして、記録処理部20による記録モードが終了する。
【0140】
記録モードにおいて、利用者Bは、発話することでモードの開始及び終了を端末10に指示し、カメラ13での撮影を行うことができる(ステップS20・S430)。これにより、手を塞ぐことなく撮影を行うことができるため、作業の効率化を図ることができる。
【0141】
以下では、
図18から
図23を参照し、抽出前映像ファイルV31から抽出後映像ファイルV32を抽出する処理を具体的に説明する。
【0142】
なお、以下においては、
図18に示す壁部W1・W2を点検する作業を記録した抽出前映像ファイルV31から抽出後映像ファイルV32を抽出するものとする。また、抽出前映像ファイルV31は、利用者Bが床部Fに足を置き、壁部W1・W2に対して正面を向いて(
図18に示す矢印方向を向いて)撮影されたものとする。
図19は、こうして撮影された抽出前映像ファイルV31を模式的に示したものである。
【0143】
まず、抽出前映像ファイルV31について説明する。抽出前映像ファイルV31には、利用者Bが壁部W1・W2に接近する様子(
図19に示すシーンS1~S3)と、壁部W1に打ち込まれたビスB10のピッチP(
図18参照)をメジャーMで測定する様子(
図19に示すシーンS4~S7)と、利用者Bが壁部W1・W2から離間する様子(
図19に示すシーンS8~S12)と、が含まれている。
【0144】
図20は、利用者Bが壁部W1・W2に接近する様子(シーンS1~S3)と、シーンS1~S3に対応する日時T1~T3と、音声の内容(利用者Bの発話内容)と、を示す図である。
図20に示すように、利用者Bは、日時T1において『お疲れ様です』と発声している。
【0145】
図21は、ビスB10のピッチPを測定する様子(シーンS4~S7)と、シーンS4~S7に対応する日時T4~T7と、音声の内容(利用者Bの発話内容)と、を示す図である。
図21に示すように、利用者Bは、日時T4~T5において『今からビスピッチを測ってみます。ピッチ幅は200mmなので問題はなさそうです。』と発声している。
【0146】
図22は、利用者Bが壁部W1・W2から離間する様子(シーンS8~S12)と、シーンS8~S12に対応する日時T8~T12と、音声の内容(利用者Bの発話内容)と、を示す図である。
図22に示すように、利用者Bは、日時T8において『はい。大丈夫です。』と、日時T12において『すいません。』と発声している。
【0147】
次に、上述のような抽出前映像ファイルV31から抽出後映像ファイルV32を抽出する流れを具体的に説明する。
【0148】
記録処理部20は、抽出前映像ファイルV31の音声から利用者Bの発話内容を認識したテキストファイルを取得する(ステップS510)。これにより、記録処理部20は、例えば、『お疲れ様です。』との発話内容の認識結果及び日時T1等が関連付けられたテキストファイルを取得する。
【0149】
記録処理部20は、キーワードと、取得したテキストファイル(発話内容の認識結果)と、を用いて重要部21の開始日時を特定する(ステップS520)。具体的には、記憶装置には、キーワードとして『ビスピッチ』が記憶されている。また、取得したテキストファイルには、『ビスピッチ』を含む言葉(『今からビスピッチを測ってみます。』との言葉)と、日時T4とが関連付けて記憶されている(
図21参照)。この場合、記録処理部20は、テキストファイルにおいてキーワード(『ビスピッチ』)と関連付けられた日時T4を、重要部21の開始日時とする。
【0150】
そして、記録処理部20は、所定時間キーワードを発声しなかった(沈黙した)日時を特定することで、重要部21の終了時間を特定する(ステップS530)。具体的には、記録処理部20は、開始日時T4から所定時間が経過した日時T7までの間で利用者Bがどのような言葉を発声したのか確認する。
図21に示すように、利用者Bは、日時T5~T7において、何の言葉も発声していない。
【0151】
この場合、記録処理部20は、キーワード(『ビスピッチ』)を発声した開始日時T4から所定時間が経過した日時T7を重要部21の終了日時(沈黙した日時)とする。
【0152】
なお、
図22に示すように、利用者Bは、終了日時T7以降の日時T8~T12において、『はい。大丈夫です。』や『すいません。』との言葉を発声している。しかし、端末10の記憶装置には、このような言葉(相槌や挨拶等の言葉)がキーワードとして記憶されていない。したがって、この場合、記録処理部20は、日時T8以降の時間帯(日時T8~T12)において、重要部21を抽出しない。
【0153】
こうして、記録処理部20は、
図20から
図22に示すように、抽出前映像ファイルV31のうち、日時T4~T7の時間帯を重要部21とし、それ以外の日時T1~T3及びT8~T12の時間帯を不要部22とする。
【0154】
重要部21の終了日時を特定した記録処理部20は、バッファ(余裕)を見て抽出前映像ファイルV31から重要部21を抽出する(ステップS530)。具体的には、
図23に示すように、記録処理部20は、抽出前映像ファイルV31のうち、重要部21の開始日時T4よりも少し前の日時T3(シーンS3)から、重要部21の終了日時T7よりも少し後の日時T8(シーンS8)までの映像を抽出する。これにより、記録処理部20は、抽出前映像ファイルV31から、ビスB10のピッチPを測定する様子が撮影された抽出後映像ファイルV32を抽出し易くなる。
【0155】
このような構成によれば、抽出後映像ファイルV32を確認することで、ビスB10のピッチPを測定する部分(重要な部分)を速やかに確認することができる。これにより、抽出前映像ファイルV31の中からビスB10のピッチPを測定する部分を探し出す場合と比較して、確認の手間を省くことができる。これにより、抽出前映像ファイルV31を確認する確認者の負担を低減することができる。
【0156】
また、利用者Bは、ビスB10のピッチPを測定するタイミング(日時T4~T7)に合わせて記録モードを実行しなくても、ビスB10のピッチPを測定する様子を抽出後映像ファイルV32として残すことができる。これにより、作業の効率化を図ることができる。
【0157】
なお、端末10の記憶装置には、抽出時のバッファに関する時間情報(例えば、数秒等の情報)が記憶されている。当該時間情報は、適宜の値を設定可能となっている。これにより、用途等に応じてどの程度バッファを見るのかを調整でき、利便性を向上させることができる。
【0158】
また、仮に、日時T8以降に利用者Bがキーワードを発声していた場合、記録処理部20は、上述したような処理により、日時T8以降でも重要部21の開始日時及び終了日時を特定する。この場合、抽出前映像ファイルV31の中で、複数の重要部21が特定され、これら複数の重要部21が抽出後映像ファイルV32として複数抽出されることとなる。
【0159】
ここで、サーバ30は、記録処理部20で抽出された抽出後映像ファイルV32等を他の端末で確認可能な確認画面33を作成可能に構成される。以下、
図24を参照し、確認画面33について説明する。なお、
図24に示す確認画面33は、複数の抽出後映像ファイルV32が抽出され、これらのファイルが確認可能となった状態を示している。
【0160】
確認画面33は、ネットワーク回線Nを介してアクセス可能なWebページによって構成される。確認画面33には、記録モードが実行された日時(『記録モード YYYY/MM/DD T1-T32』との文字列)が表示される。また、確認画面33には、コメント表示部33a、サムネイル画像33b及び全再生ボタン33cが表示される。
【0161】
コメント表示部33aは、抽出後映像ファイルV32に関するコメント(発話内容)が表示される部分である。コメント表示部33aは、アップロードされたテキストファイルF32の内容(抽出後映像ファイルV32の発話内容)が表示される。コメント表示部33aの近傍には、コメントを利用者Bが発声した日時が表示される。確認画面33においては、コメント表示部33aが選択(クリック操作やタップ操作)されることで、ビューアを立ち上げて抽出後映像ファイルV32を再生することができる。
【0162】
サムネイル画像33bは、抽出後映像ファイルV32の所定の1コマの画像である。なお、
図24のように抽出前映像ファイルV31から複数の抽出後映像ファイルV32が得られた場合、確認画面33には、コメント表示部33a及びサムネイル画像33bが上下に複数表示されることとなる。
【0163】
全再生ボタン33cは、抽出後映像ファイルV32を順次再生可能なボタンである。抽出前映像ファイルV31から複数の抽出後映像ファイルV32が得られた場合、全再生ボタン33cを押下することで、当該複数の抽出後映像ファイルV32を日時の古いものから順に再生することができる。
【0164】
確認画面33によれば、サーバ30以外の端末で抽出後映像ファイルV32を容易に再生可能となる。これにより、利便性を向上させることができる。また、複数の抽出後映像ファイルV32が抽出された場合に、コメント表示部33a及びサムネイル画像33bを確認し、再生したい抽出後映像ファイルV32を速やかに見つけることができる。
【0165】
また、全再生ボタン33cで複数の抽出後映像ファイルV32を再生することで、抽出前映像ファイルV31の内容を大まかに把握することができる。これにより、利便性を効果的に向上させることができる。
【0166】
以下では、サーバ30にアップロードされたファイルの振り分け(ファイルの記憶場所)について説明する。
【0167】
上述の如く、検査モード、通話モード及び記録モードが実行されると、サーバ30には、種々のデータがアップロードされる。例えば、検査モードが実行されると、検査で撮影された画像ファイルC11や利用者Bの発話内容を認識したテキストファイルF11等がアップロードされる。サーバ30は、こうしてアップロードされたデータを、プロジェクト及びモードに応じて記憶領域A30の複数のフォルダ(記憶場所、OSの種類によってはディレクトリともいう)に適宜振り分けて記憶させている(ステップS190・S360・S470)。以下、
図25を参照して具体的に説明する。
【0168】
まず、サーバ30の記憶領域A30の構成について説明する。
【0169】
記憶領域A30には、プロジェクトごとに異なるフォルダ、具体的には、「Aプロジェクト」フォルダA40、「Bプロジェクト」フォルダA50及び「Cプロジェクト」フォルダA60等が作成(設定)されている。当該フォルダA40・A50・A60は、互いに同一の構成となっているため、以下では、「Aプロジェクト」フォルダA40を例に挙げて、フォルダの構成を説明する。
【0170】
「Aプロジェクト」フォルダA40は、「Aプロジェクト」に関するファイルを記憶せるためのフォルダである。「Aプロジェクト」フォルダA40には、モードごとに異なるフォルダ、具体的には、「検査モード」フォルダA41、「通話モード」フォルダA42及び「記録モード」フォルダA43が作成される。
【0171】
「検査モード」フォルダA41は、検査モードにおいてアップロードされたファイルを記憶させるためのフォルダである。「検査モード」フォルダA41には、ファイルの種類に応じて異なるフォルダ、具体的には、「画像」フォルダ及び「発話内容」フォルダが作成される。
【0172】
「通話モード」フォルダA42は、通話モードにおいてアップロードされたファイルを記憶させるためのフォルダである。「通話モード」フォルダA42には、ファイルの種類に応じて異なるフォルダ、具体的には、「映像」フォルダ及び「通話内容」フォルダが作成される。
【0173】
「記録モード」フォルダA43は、記録モードにおいてアップロードされたファイルを記憶させるためのフォルダである。「記録モード」フォルダA43には、ファイルの種類及び用途に応じてフォルダ、具体的には、「抽出前映像」フォルダ、「抽出後映像」フォルダ及び「発話内容」フォルダが作成される。
【0174】
次に、上述の如く構成された記憶領域A30のフォルダにファイルを記憶させる処理の流れについて説明する。
【0175】
端末10は、サーバ30にファイルをアップロードする場合に(ステップS190・S360・S460)、当該ファイルがどのプロジェクトのどのモードで得られたものであるのかをサーバ30に通知する。具体的には、端末10は、例えば、ファイルをアップロードする前に、利用者Bが選択(発話)したプロジェクト及びモードに関する情報(プロジェクト等を一意に特定可能な文字列等)を通知したり、アップロードするファイルのファイル名にプロジェクト及びモードに関する情報を含めてサーバ30にアップロードする。
【0176】
サーバ30は、端末10からの通知に基づいて、アップロードされたファイルに対応するプロジェクト名及びモードを特定する。そして、サーバ30は、特定したプロジェクトのフォルダにアップロードされたファイルを振り分ける。
【0177】
具体的には、サーバ30は、例えば、Aプロジェクトで検査(検査モード)が行われた場合に、「Aプロジェクト」フォルダA40の「検査モード」フォルダA41にアップロードされたファイルを記憶させる。このとき、サーバ30は、ファイルの種類を判別し、ファイルの種類ごとに「画像」フォルダ及び「発話内容」フォルダにファイルを振り分けて記憶させる。こうして、サーバ30は、画像ファイルC11・C12を「画像」フォルダに、テキストファイルF11を「発話内容」フォルダに記憶させる。
【0178】
なお、サーバ30は、ファイルの種類の判別を適宜の手法により行うことができる。具体的には、例えば、ファイルの拡張子(文字列情報)やファイルのヘッダ部分(バイナリデータ)を確認することで、ファイルの種類を判別することができる。
【0179】
また、サーバ30は、通話モードにおいてファイルがアップロードされた場合、検査モードでファイルがアップロードされた場合の処理と同様の処理を行って、映像ファイルV21及びテキストファイルF21を適宜のフォルダに振り分ける。例えば、サーバ30は、Aプロジェクトで通話モードが実行された場合、「Aプロジェクト」フォルダA40の「通話モード」フォルダA41の「映像」フォルダに映像ファイルV21を、「通話内容」フォルダにテキストファイルF21を記憶させる。
【0180】
また、サーバ30は、記録モードにおいてファイルがアップロードされた場合、検査モードでファイルがアップロードされた場合の処理と同様の処理を行って、抽出前映像ファイルV31、抽出後映像ファイルV32及びテキストファイルF32を適宜のフォルダに振り分ける。例えば、サーバ30は、Aプロジェクトで記録モードが実行された場合、「Aプロジェクト」フォルダA40の「記録モード」フォルダA42の「抽出前映像」フォルダに抽出前映像ファイルV31を、「抽出後映像」フォルダに抽出後映像ファイルV32を、「発話内容」フォルダにテキストファイルF32を記憶させる。
【0181】
ここで、抽出前映像ファイルV31及び抽出後映像ファイルV32は、同じ種類、すなわち、同一の規格(形式)に基づいて映像がファイル化され、ファイルの拡張子及びヘッダ部分が同一のものとなることが想定される。よって、サーバ30は、拡張子及びヘッダ部分を確認するだけでは、抽出前映像ファイルV31及び抽出後映像ファイルV32の判別ができない可能性がある。
【0182】
そこで、本実施形態において端末10は、抽出前映像ファイルV31及び抽出後映像ファイルV32をサーバ30で容易に判別可能となるように、所定の規則にしたがって抽出前映像ファイルV31等のファイルパス(フルパス)を設定するようにしている。例えば、抽出前映像ファイルV31のファイル名(拡張子を除くファイル名)に連番を追加したものを、抽出後映像ファイルV32のファイル名とする。サーバ30は、当該規則に基づいて抽出前映像ファイルV31と抽出後映像ファイルV32とを判別し、適宜フォルダに記憶させている。
【0183】
このように、サーバ30は、端末10からの通知に基づいて、アップロードされたファイルを記憶領域A30の適宜のフォルダに振り分けることができる。当該端末10からの通知は、利用者Bが発話により選択したプロジェクト及びモードに基づいた情報となっている。このような構成によれば、利用者Bは、プロジェクト及びモードを選択(発話)する中で、ファイルを記憶させるフォルダを間接的に指定することができるため、フォルダを選択する手間を省いて利用者Bの負担を低減することができる。こうして支援システム1は、データ(画像ファイルC11等)の入力を支援する。
【0184】
また、プロジェクトやモードごとに異なるフォルダにファイルを振り分けることで、サーバ30の管理者は、保存用DB32を確認しなくても、アップロードされたファイルが何のファイルであるのかを確認し易くなる。また、プロジェクトやモードごとファイルをまとめて処理し易くなる。これにより、サーバ30においてファイルを管理し易くなる。
【0185】
ここで、記録モードでサーバ30にアップロードされる抽出前映像ファイルV31は、比較的容量が大きい(長時間の)ファイルとなることが想定される。したがって、サーバ30の記憶装置に抽出前映像ファイルV31を永続的に記憶すると、当該記憶装置の空き容量が不足する可能性がある。
【0186】
そこで、サーバ30は、定期的に(例えば、1日1回のバッチ処理等により)抽出前映像ファイルV31を削除するようにしている。具体的には、サーバ30は、抽出前映像ファイルV31がアップロードされた日時を確認し、アップロードされてから所定期間(例えば、1カ月)が経過しているかを判断する。そして、サーバ30は、抽出前映像ファイルV31が所定期間を経過している場合に、当該抽出前映像ファイルV31を削除する。これにより、サーバ30は、記憶装置の容量を確保することができる。
【0187】
以上の如く、本実施形態に係る支援システム1は、利用者Bの発話の入力を受付可能なマイク12(入力部)を有する端末10と、前記マイク12の入力結果に基づいて前記発話内容を認識する音声認識部16と、種々のデータ(画像ファイルC11等)を記憶可能なサーバ30(記憶部)と、前記端末10を介してデータを取得する複数のモードを実行可能であると共に、取得した前記データを前記サーバ30に記憶させるモード制御部17(制御部)と、を具備し、前記サーバ30には、前記モードごとに異なる記憶場所(フォルダ(ディレクトリ))が設定され、前記モード制御部17は、前記発話内容の認識結果に基づいて、前記複数のモードの中から1つのモードを実行し(ステップS20~S80)、当該モードの実行時に取得した前記データを前記モードに応じた前記記憶場所に記憶させるものである(ステップS190・S360・S460)。
【0188】
このように構成することにより、手を使うことなく、モードに応じた記憶場所にデータを記憶させることができる。これにより、手で端末10を操作する場合よりも簡単に記憶場所を選択できるため、利用者Bの負担を低減することができる。
【0189】
また、前記モード制御部17は、前記モードに関するキーワードと前記発話内容の認識結果とを対比することで、前記複数のモードの中から1つのモードを特定し(ステップS20・S30・S50)、当該1つのモードを実行するものである(ステップS40・S60・S80)。
【0190】
このように構成することにより、キーワードにより1つのモードを簡単に実行することができる。
【0191】
また、前記モードには、前記発話内容の認識結果に基づいて検査の結果を取得する検査モード(第一モード)が含まれるものである(ステップS40)。
【0192】
このように構成することにより、手を使うことなく検査の結果を記憶させることができるため、入力作業(端末10の入力操作)を簡素化して利用者Bの負担を低減することができる。
【0193】
また、前記端末10は、映像を撮影可能なカメラ13(撮影部)をさらに有し、前記モードには、前記発話内容の認識結果に基づいて、前記カメラ13で撮影された抽出前映像ファイルV31(前記映像)の中から抽出後映像ファイルV32(一部の時間帯の映像)を取得する記録モード(第二モード)が含まれるものである(ステップS80)。
【0194】
このように構成することにより、手を使うことなく抽出前映像ファイルV31の中から抽出後映像ファイルV32を抽出できるため、抽出前映像ファイルV31の編集作業(抽出後映像ファイルV32の抽出作業)を簡素化し、利用者Bの負担を低減することができる。
【0195】
また、前記端末10は、映像を撮影可能なカメラ13をさらに有し、前記モードには、前記端末10の前記マイク12を用いて前記利用者Bが当該利用者B以外の第三者と通話可能であると共に、通話中に前記カメラ13で撮影された映像を関係者端末R10(前記第三者が使用する端末)へ送信可能な通話モード(第三モード)が含まれ(ステップS60)、前記モード制御部17は、前記通話モードにおいて、テキストファイルF21(前記利用者Bと前記第三者との通話内容を前記音声認識部16で認識した結果)と、映像ファイルV21(通話中に前記カメラ13で撮影された映像)と、を取得するものである。
【0196】
このように構成することにより、手を使うことなくテキストファイルF21及び映像ファイルV21をサーバ30に記憶させることができるため、入力作業を簡素化して利用者Bの負担を低減することができる。
【0197】
なお、本実施形態に係るマイク12は、本発明に係る入力部の実施の一形態である。
また、本実施形態に係るサーバ30は、本発明に係る記憶部の実施の一形態である。
また、本実施形態に係るモード制御部17は、本発明に係る制御部の実施の一形態である。
また、本実施形態に係るカメラ13は、本発明に係る撮影部の実施の一形態である。
【0198】
以上の如く、本実施形態に係る支援システム1(記録システム)は、音声を含む映像を撮影可能なカメラ13(撮影部)と、前記映像に含まれた前記音声を認識する音声認識部16と、前記音声認識部16での認識結果に基づいて、前記カメラ13で撮影した抽出前映像ファイルV31(第一映像)の中から、一部の時間帯の映像である抽出後映像ファイルV32(第二映像)を抽出する記録処理部20(抽出部)と、前記抽出後映像ファイルV32を記憶するサーバ30(記憶部)と、を具備するものである。
【0199】
このように構成することにより、抽出前映像ファイルV31の中から任意の箇所を確認し易くなる。これにより、抽出前映像ファイルV31を確認する確認者の負担を低減することができる。
【0200】
また、前記音声認識部16は、前記音声の認識結果を、前記抽出前映像ファイルV31において当該音声の出力が開始される時間と関連付けて記憶し(ステップS510)、前記記録処理部20は、キーワードが前記認識結果に含まれていた場合に、当該認識結果と関連付けられた前記時間を開始日時T4として取得し(ステップS520)、前記抽出前映像ファイルV31の中から、前記開始日時T4以降の時間帯の映像を含むように前記抽出後映像ファイルV32を抽出するものである(ステップS540)。
【0201】
このように構成することにより、抽出前映像ファイルV31からキーワードに関連する事柄を抽出することがきる。
【0202】
また、前記カメラ13は、作業現場を撮影するものであり、前記キーワードには、前記作業現場に関する用語が含まれるものである。
【0203】
このように構成することにより、作業現場に関連する事柄を抽出することができる。
【0204】
また、前記キーワードを含む前記音声の認識結果(コメント表示部33a)と、前記抽出後映像ファイルV32に関する画像(サムネイル画像33b)と、を表示する表示部(確認画面33を作成する機能)をさらに具備するものである。
【0205】
このように構成することにより、抽出後映像ファイルV32を再生しなくても当該抽出後映像ファイルV32の内容を把握可能となり、利便性を向上させることができる。また、仮に、抽出後映像ファイルV32が複数ある場合、当該複数の抽出後映像ファイルV32の中から確認したい抽出後映像ファイルV32を容易に見つけ出すことができ、確認者の負担をより低減することができる。
【0206】
また、前記記録処理部20は、前記抽出前映像ファイルV31に含まれた前記音声に基づいて、前記開始日時T4よりも遅い終了日時T7を特定し(ステップS530)、前記抽出前映像ファイルV31の中から、前記開始日時T4から前記終了日時T7までの時間帯の映像を含むように前記抽出後映像ファイルV32を抽出するものである(ステップS540)。
【0207】
このように構成することにより、映像を抽出する際に終了日時T7以降の時間帯の映像を省略可能となるため、抽出後映像ファイルV32を比較的短時間なものにできる。
【0208】
また、前記記録処理部20は、前記音声の認識結果及び当該認識結果と関連付けられた時間に基づいて、前記音声認識部16が所定時間前記音声を認識しなかった時間を特定し、当該特定した時間に基づいて前記終了日時T7を特定可能である(ステップS520)。
【0209】
このように構成することにより、音声を認識しない時間帯(沈黙している時間帯)に基づいて、終了日時T7を簡単に特定することができる。
【0210】
また、前記記録処理部20は、前記開始日時T4よりも所定時間前の時間から、前記終了日時T7よりも所定時間後の時間までの時間帯の映像を前記抽出後映像ファイルV32として抽出するものである(ステップS540)。
【0211】
このように構成することにより、キーワードに関連する事柄の全てを、抽出後映像ファイルV32に含ませ易くすることができる。
【0212】
また、前記サーバ30は、前記抽出前映像ファイルV31及び前記抽出後映像ファイルV32をそれぞれ記憶するものである。
【0213】
このように構成することにより、記録処理部20で抽出されなかった時間帯の映像を確認することができる。
【0214】
また、前記サーバ30が前記抽出前映像ファイルV31を記憶してから所定期間が経過した場合に、当該抽出前映像ファイルV31を削除する削除部(上述したバッチ処理で削除する機能)をさらに具備するものである。
【0215】
このように構成することにより、サーバ30の容量を確保することができる。
【0216】
なお、本実施形態に係るカメラ13は、本発明に係る撮影部の実施の一形態である。
また、本実施形態に係る記録処理部20は、本発明に係る抽出部の実施の一形態である。
また、本実施形態に係るサーバ30は、本発明に係る記憶部の実施の一形態である。
【0217】
以上、本発明の第一実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
【0218】
例えば、支援システム1は、建物の建築現場で用いられるものとしたが、これに限定されるものではなく、他の場所で用いられてもよい。また、検査モードは、建物の検査に用いられるものとしたが、これに限定されるものではなく、他の検査(外構の検査等)に用いられるものであってもよい。また、検査モードは、建物の竣工前の検査(例えば、フレッシュコンクリートの受入検査等)に限らず、竣工後に行われる検査(定期点検等)に用いられるものであってもよい。
【0219】
また、検査処理部18は、スピーカ11から出力させる音声の速さを変更可能であってもよい。これにより、利用者Bが任意に音声の速さを調整する(例えば、聞き取り易い速さにする)ことができ、利便性を向上させることができる。
【0220】
また、検査においては、端末10を操作することで写真を撮影するものとしたが、これに限定されるものではなく、利用者Bの発話を受けて写真を撮影するものであってもよい。この場合、検査処理部18は、例えば、写真の撮影を促す音声をスピーカ11から出力した後で、カメラ13を起動させる。また、検査処理部18は、カメラ13を撮影する旨の言葉(例えば、『撮影』等の言葉)を利用者Bが発声した場合に、カメラ13のシャッターを切る。このような構成により、利用者Bの手を塞ぐことなく写真を撮影することができ、検査を効率的に行うことができる。
【0221】
また、検査処理部18は、カメラ13で撮影した画像ファイルC11・C12を解析し、合否を判定してもよい。
【0222】
また、検査処理部18は、利用者Bのコメントを適宜記憶可能であってもよい。例えば、検査処理部18は、「検査項目」における利用者Bの見解等をコメントとして記憶してもよい。また、当該コメントを検査報告書Dに反映させてもよい。これにより、検査報告書Dの品質を向上させることができる。
【0223】
また、検査処理部18は、記憶領域A10に格納された検査項目テーブル31を用いて検査を行うものとしたが、これに限定されるものではなく、サーバ30に記憶された検査項目テーブル31を用いて検査を行ってもよい。
【0224】
また、検査処理部18は、検査の合否をスピーカ11から出力するものとしたが(ステップS160)、これに限定されるものではなく、スピーカ11から出力しないものであってもよい。
【0225】
また、検査処理部18は、必要に応じて写真撮影を促すものとしたが(ステップS170)、これに限定されるものではなく、写真撮影を促さないものであってもよい。
【0226】
また、「検査項目」は、検査処理部18側から利用者Bへと提供されるものとしたが、これに限定されるものではなく、例えば、利用者B側から検査処理部18へと提供されるものであってもよい。この場合、利用者Bは、検査を開始すると「検査項目」に関する言葉(例えば、『スランプ値』等)を発声する。検査処理部18は、当該発声を受けて「検査項目」を読み上げる音声(例えば、『スランプ値ですね?』等)をスピーカ11から出力する。その後、利用者Bは、検査の結果に関する言葉(例えば、『X2』等)を発声する。このような構成により、利用者Bが任意に「検査項目」を選ぶことができ、利便性を向上させることができる。
【0227】
また、本実施形態において、検査報告書Dは、社内システム40が作成するものとしたが、これに限定されるものではなく、例えば、端末10等が検査報告書Dを作成してもよい。
【0228】
以上の如く、検査処理部18及び社内システム40は、判定結果に基づいて検査報告書Dを作成するものである。
なお、検査処理部18及び社内システム40は、判定部の実施の一形態である。
【0229】
このように構成することにより、判定結果を入力する手間を省いて利便性を向上させることができる。
【0230】
また、本実施形態では、検査報告書Dの一例として、
図4に示す検査報告書Dを挙げたが、検査報告書Dの構成(レイアウト等)は、これに限定されるものではなく、任意の構成とすることができる。
【0231】
また、端末10は、眼鏡型のウェアラブルデバイスであったが、眼鏡型に限定されるものではなく、他の形式(例えば、ヘッドセット型や腕時計型等)のものであってもよい。また、端末10は、必ずしもウェアラブルデバイスに限定されるものではなく、他の機器(例えば、タブレット端末等)であってもよい。
【0232】
また、端末10は、スピーカ11及びマイク12等を具備するものとしたが、端末10の構成はこれに限定されるものではなく、スピーカ11及びマイク12等に加えてモニタを具備するものであってもよい。
【0233】
また、社内システム40は、検査項目テーブル31の内容を手動で変更するものとしたが、検査項目テーブル31の内容を変更する手段は、これに限定されるものではない。社内システム40は、例えば、建物を建設するためのデータ(BIM(Building Information Modeling)データ等)と連携し、当該データの変更に伴って検査項目テーブル31の内容を自動的に変更するものであってもよい。
【0234】
また、サーバ30は、プロジェクト、モード及びファイルの種類に応じて異なるフォルダにファイルを記憶させるものとしたが、ファイルを記憶させるフォルダは、少なくともモードごとに異なっていれば、これに限定されるものではない。よって、サーバ30は、例えば、プロジェクトや種類が異なるファイルを同一のフォルダに記憶していてもよい。
【0235】
また、モード制御部17は、利用者Bの発話を受けてモード選択処理を実行するものとしたが、モード選択処理を実行するトリガーは、これに限定されるものではない。モード制御部17は、例えば、端末10の所定のボタンが押下された場合にモード選択処理を実行してもよい。
【0236】
また、モード制御部17は、利用者Bの発話内容(キーワード)に基づいてモードを認識したが、モードを認識する手法はこれに限定されるものではない。モード制御部17は、利用者Bからの指示(入力)を受けてモードを認識可能であれば、種々の構成を採用することができる。モード制御部17は、例えば、カメラ13を通じて行われた利用者Bの仕草(ジェスチャ)に基づいて、モードを認識してもよい。
【0237】
また、モード制御部17は、モードの実行時に画像ファイルC11等を取得したが、これに限定されるものではない。モードの実行時に取得するファイルは、どのようなファイルであってもよい。
【0238】
また、モード制御部17は、検査モード、通話モード及び記録モードを行うものとしたが、これは一例であり、種々のモードを行うことができる。
【0239】
また、モード制御部17は、端末10に設けられるものとしたが、モード制御部17が設けられる機器は、これに限定されるものではなく、他の機器(例えば、サーバ30等)であってもよい。
【0240】
また、記録処理部20は、建築現場に関する用語に基づいて重要部21の開始日時を特定したが、キーワードとして設定される言葉は建築現場に関する用語に限定されるものではない。すなわち、記録処理部20は、建築現場に関する用語以外の言葉(開始日時を特定可能な言葉)をキーワードとすることで、開始時間を特定してもよい。例えば、重要な部分を示唆する言葉(『今から記録します。』等の言葉)に基づいて、開始時間を特定してもよい。また、記録処理部20は、利用者Bの口調に基づいて、開始時間を特定してもよい。例えば、発話内容に『です。』や『ます。』が含まれている場合、当該発話の日時を開始日時としてもよい。
【0241】
また、記録処理部20は、発話内容(キーワード)に基づいて重要部21の開始日時を特定したが、開始日時を特定するための情報は発話内容(キーワード)に限定されるものではなく、開始日時を特定可能な種々の情報を用いることができる。例えば、記録処理部20は、発話の長さ(1度に認識した文字の数)が所定の閾値を超えた場合に、当該発話を開始した日時を開始日時としてもよい。また、記録処理部20は、端末10の所定のボタンが押下された場合に、当該ボタンが押下された日時に基づいて開始日時を特定してもよい。また、記録処理部20は、抽出前映像ファイルV31の各コマを解析し、当該解析結果に基づいて開始時間を特定してもよい。この場合、記録処理部20は、建築現場で用いられる工具(メジャーM等)が抽出前映像ファイルV31のコマから検出された場合に、当該コマに対応する時間を開始時間としてもよい。
【0242】
また、記録処理部20は、不要部22に基づいて重要部21の終了日時を特定したが、終了日時を特定するための情報は、不要部22に限定されるものではない。記録処理部20は、終了日時を特定可能な種々の情報を用いることができる。例えば、記録処理部20は、終了日時を示唆する情報(終了日時を指示する言葉(『これで終了します。』との言葉等))や端末10のボタンが押下されたことや抽出前映像ファイルV31の各コマを解析した結果に基づいて、終了日時を特定してもよい。
【0243】
また、抽出後映像ファイルV32を確認する確認画面33の構成(レイアウト)は、
図24に示すものに限定されるものではなく、抽出後映像ファイルV32を確認可能な任意の構成であってよい。
【0244】
また、記録処理部20は、重要部21の前後でバッファを見て抽出後映像ファイルV32を抽出したが、これに限定されるものではなく、重要部21のみを抽出後映像ファイルV32として抽出してもよい。
【0245】
また、サーバ30は、抽出前映像ファイルV31を所定期間経過後に削除するものとしたが、これに限定されるものではなく、抽出前映像ファイルV31に対してどのような処理を行ってもよい。例えば、サーバ30は、抽出前映像ファイルV31を削除しないものであってもよい。また、サーバ30は、抽出前映像ファイルV31を他の記憶装置(例えば、抽出前映像ファイルV31を保存するためだけの記憶装置等)に移すものであってもよい。
【0246】
また、本実施形態においては、端末10で抽出後映像ファイルV32を取得したが、抽出映像を取得する機器は端末10に限定されるものではなく、他の機器(例えば、サーバ30等)であってもよい。
【0247】
また、本実施形態においては、記録モードの実行時に抽出後映像ファイルV32を抽出したが(ステップS450)、抽出後映像ファイルV32を抽出するタイミングはこれに限定されるものではなく、例えば、記録モードを実行した後で抽出後映像ファイルV32を抽出してもよい。この場合、例えば、建築現場での作業が行われていないと考えられる時間帯(例えば、深夜の時間帯等)に抽出後映像ファイルV32を抽出してもよい。
【0248】
また、支援システム1において各種処理を行う機器は、特に限定されるものではない。例えば、本実施形態においては、端末10で発話内容(通話内容)を認識する処理を行ったが(ステップS110・S320・S510等)、これに限定されるものではなく、他の機器(例えば、サーバ30等)で行ってもよい。すなわち、音声認識部16は、端末10ではなくサーバ30等に設けられてもよい。また、モード制御部17が具備する検査処理部18、通話処理部19及び記録処理部20の一部又は全部も、端末10ではなくサーバ30等に設けられてもよい。
【0249】
次に、第二実施形態に係る支援システムについて説明する。
【0250】
第二実施形態に係る支援システムは、検査処理部(検査モード)に関する構成が第一実施形態と大きく異なっている。このため、以下では、第二実施形態に係る検査処理部(検査システム101)の構成について説明する。
【0251】
図26に示す検査システム101は、検査において用いられるシステムである。より詳細には、検査システム101は、検査員B100(検査を実施する者)が実施した検査の結果を記録する用途に用いられる。また、検査システム101は、検査員B100と対話することで検査結果を取得し、当該検査結果を記録することができる。なお、検査結果の取得の手順については後述する。また、本実施形態の検査システム101は、建物の建築過程における検査(例えば、コンクリート検査等)を対象としている。また、検査システム101は、後述するように、複数のプロジェクトや現場で使用可能に構築されている。検査システム101は、端末110及びサーバ120を具備する。
【0252】
端末110は、検査員B100が所持する機器である。端末110は、通信機能を具備し、ネットワーク回線を介して後述するサーバ120と通信可能に構成される。端末110は、検査員B100が装着可能な眼鏡型のウェアラブルデバイス(
図2参照)によって構成される。端末110は、スピーカ111、マイク112及びカメラ113を具備する。
【0253】
スピーカ111は、音声を出力するためのものである。マイク112は、音声を入力するためのものである。カメラ113は、写真や動画を撮影するためのものである。スピーカ111、マイク112及びカメラ113は、端末110のフレームに適宜設けられる。
【0254】
サーバ120は、端末110からの要求に応じて適宜処理を行うものである。サーバ120は、CPU等の演算装置やHDD等の記憶装置を具備する。サーバ120は、プラットフォーム121、検査部122、管理検査データベース123、検査写真ファイルサーバ124、確認画面125及び異常検知部126等を具備する。
【0255】
プラットフォーム121は、端末110の動作の基盤となるものである。プラットフォーム121は、端末110と通信することで、端末110を機能させることができる。具体的には、プラットフォーム121は、端末110に信号を送信してスピーカ111から音声を出力させたり、端末110のマイク112に入力された音声やカメラ113で撮影した写真及び動画等を、端末110から取得することができる。また、プラットフォーム121は、建物の品質管理を担当する担当者A101が使用する端末と通信することで、当該端末にカメラ113で撮影した映像を提供することができる。また、プラットフォーム121は、カメラ113で撮影した映像を適宜解析することで、検査員B100の仕草(例えば、手の動き等)を認識することができる。また、プラットフォーム121は、音声認識機能を有する。
【0256】
音声認識機能は、端末110のマイク112に入力された音声を認識する機能である。プラットフォーム121は、マイク112に入力された音声を端末110から取得し、当該音声(音声ファイル)を解析してテキストファイルへ変換する。プラットフォーム121は、当該テキストファイルを読み込むことで、マイク112に入力された音声を文字列データとして取得(認識)することができる。
【0257】
検査部122は、検査員B100が発した言葉に基づいて検査結果を記録するための処理を行うものである。検査部122は、例えば、サーバ120上で動作するプログラムによって構成される。検査部122は、プラットフォーム121が認識した音声(端末110のマイク112に入力された音声)及び検査員B100の仕草を取得することができる。また、検査部122は、プラットフォーム121を介して端末110に音声ファイルを送信することで、当該端末110のスピーカ111から所定の音声を出力可能に構成される。検査部122は、後述する管理検査データベース123及び検査写真ファイルサーバ124にデータを登録可能に構成される。また、検査部122は、管理検査データベース123からデータを取得可能に構成される。
【0258】
このように構成される検査部122は、プラットフォーム121から取得した音声等を利用して適宜処理を行うことにより、検査結果を記録することができる。なお、検査部122の処理については後述する。
【0259】
管理検査データベース123は、検査に関する情報を管理するためのものである。検査に関する情報は、検査と繋がりがある情報であり、また、複数の検査の中から、ある1つの検査を特定するのに必要な情報である。検査に関する情報としては、例えば、検査対象となる建物を示す情報や検査の内容を示す情報等がある。
図27に示すように、管理検査データベース123では、検査に関する情報が、複数の項目に分けて管理されている。複数の項目には、「プロジェクト名」、「工程名」、「検査区分」、「工程部位」及び「管理項目」が含まれる。
【0260】
「プロジェクト名」は、建物を建築するプロジェクトの名称や建築現場の名称を示す項目である。「プロジェクト名」に登録される情報としては、例えば、プロジェクトの名称を示す文字列(『Aプロジェクト』等)や現場の名称を示す文字列等がある。このように、各項目に登録される情報(各項目の具体的な内容を示す情報)を、以下では「検査情報」と称する。
【0261】
「工程名」は、建物の建築における工程(工事)の名称を示す項目である。「工程名」の検査情報としては、例えば、工程の名称を示す文字列がある。本実施形態において「工程名」には、上位の項目「プロジェクト名」に登録された各検査情報に対して、想定される(選択されうる)1以上の検査情報が関連付けて登録されている。具体的には、例えば、『Aプロジェクト』における工程として、『コンクリート工事』及び『鉄筋工事』等が想定される場合、「プロジェクト名」の検査情報『Aプロジェクト』に対して、「工程名」の検査情報『コンクリート工事』及び『鉄筋工事』等が関連付けて登録されている。このように、本実施形態において「工程名」は、「プロジェクト名」に属する項目(下位の項目)となる。
【0262】
「検査区分」は、検査する区分(建物のどの部分に対して検査を行うのか)を示す項目である。「検査区分」の検査情報としては、例えば、検査する区分を示す文字列がある。本実施形態において「検査区分」には、上位の項目(「プロジェクト名」及び「工程名」)に登録された各検査情報に対して、想定される(選択されうる)1以上の検査情報が関連付けて登録されている。具体的には、例えば、「プロジェクト名」の検査情報『Aプロジェクト』及び「工程名」の検査情報『コンクリート工事』に対して、「検査区分」の検査情報『基礎』及び『1階床』等が関連付けて登録されている。このように、本実施形態において「検査区分」は、「工程名」に属する項目(下位の項目)となる。
【0263】
「工程部位」は、検査する工程部位(「工程名」が示す工程の中で、何を検査するのか)を示す項目である。「工程部位」の検査情報としては、例えば、検査する工程部位を示す文字列がある。本実施形態において「工程部位」には、上位の項目(「プロジェクト名」、「工程名」及び「検査区分」)に登録された各検査情報に対して、想定される(選択されうる)1以上の検査情報が関連付けて登録されている。具体的には、例えば、「プロジェクト名」の検査情報『Aプロジェクト』、「工程名」の検査情報「コンクリート工事」及び「検査区分」の検査情報『基礎』に対して、「工程部位」の検査情報『コンクリート検査』等が関連付けて登録されている。このように、本実施形態において「工程部位」は、「検査区分」に属する項目(下位の項目)となる。
【0264】
「管理項目」は、検査する管理項目(検査の具体的な内容)を示す項目である。「管理項目」の検査情報としては、例えば、管理項目を示す文字列がある。本実施形態において「管理項目」には、上位の項目(「プロジェクト名」、「工程名」、「検査区分」及び「工程部位」)に登録された各検査情報に対して、想定される(選択されうる)1以上の検査情報が関連付けて登録されている。具体的には、例えば、「プロジェクト名」の検査情報『Aプロジェクト』、「工程名」の検査情報『コンクリート工事』、「検査区分」の検査情報『基礎』及び「工程部位」の検査情報『コンクリート検査』に対して、「管理項目」の検査情報『スランプ値』及び『空気量』等が関連付けて登録されている。このように、本実施形態において「管理項目」は、「工程部位」に属する項目(下位の項目)となる。
【0265】
このように、管理検査データベース123によって管理される複数の項目は、上位の項目から順に「プロジェクト名」、「工程名」、「検査区分」、「工程部位」、「管理項目」となるような階層的な構造となっている。また、「プロジェクト名」、「工程名」、「検査区分」、「工程部位」及び「管理項目」の検査情報により、複数ある検査の中から1つの検査が決まることとなる。具体的には、例えば、『Aプロジェクト』(より詳細には、Aプロジェクトで建設する建物)の『コンクリート工事』の『基礎』の『コンクリート検査』の『スランプ値』が正常であるかを確認する検査等が決まることとなる。また、本実施形態では、「プロジェクト名」の検査情報に基づいてプロジェクトや現場を識別できるため、複数のプロジェクトや現場で使用する(検査結果を記録する)ことができる。
【0266】
また、「プロジェクト名」等の項目は、
図26に示す管理検査データベース123の管理者A102により適宜管理される。具体的には、例えば、新しく建物を建てるプロジェクトが発足した場合等において、管理者A102によって、当該プロジェクトに対応する「プロジェクト名」等の検査情報が管理検査データベース123に登録される。また、管理検査データベース123に登録された検査情報は、管理者A102により適宜(例えば、建物が取り壊されてから所定の年数が経過した場合等に)削除される。また、管理検査データベース123には、検査員B100が実施した検査の結果等が、検査部122によって適宜登録される。
【0267】
図26に示す検査写真ファイルサーバ124は、検査中に端末110のカメラ113で撮影された結果(
図28に示す画像データC101・C102参照)を記憶するためのものである。検査写真ファイルサーバ124には、端末110のカメラ113によって撮影された画像ファイルや動画ファイル等が、どの検査で撮影されたものなのかを特定可能に記憶される。また、検査写真ファイルサーバ124には、プロジェクトや現場毎に画像ファイル等が記憶される。
【0268】
確認画面125は、管理検査データベース123に登録された検査結果を確認するための画面である。確認画面125は、例えば、ブラウザで表示可能なウェブページによって構成される。確認画面125は、管理検査データベース123及び検査写真ファイルサーバ124から取得した情報を適宜表示することで、検査結果を確認可能に構成される。確認画面125は、品質管理を担当する担当者A101の端末からネットワーク回線を介してアクセス可能に構成される。
図28は、確認画面125の一例を示すものである。
【0269】
図28に示す確認画面125は、特定の上位の項目に属する下位の項目を一覧で表示する画面である。
図28では、上位の項目である「プロジェクト名」、「工程名」及び「検査区分」(
図28では『Aプロジェクト』の『コンクリート工事』の『基礎』)に属する下位の項目(「工程部位」及び「管理項目」)の検査情報が一覧で表示された例を示している。また、確認画面125は、上位の項目、すなわち「プロジェクト名」、「工程名」及び「検査区分」の検査情報(
図28では『Aプロジェクトのコンクリート工事の基礎の検査結果』との文字列)を表示可能に構成される。また、確認画面125には、下位の項目の検査情報等に加えて、「管理値」、「写真」、「コメント」、「判定結果」及び「検査日時」を表示可能に構成される。
【0270】
「管理値」は、「管理項目」が示す検査の合否判定の基準となる情報を示すものである。「管理値」は、管理検査データベース123に適宜登録されている。「写真」は、検査において撮影された画像データC101・C102(検査写真ファイルサーバ124に登録された画像データ)を表示するものである。「コメント」は、検査に関する検査員B100のコメント(例えば、検査結果についての見解等)を示すものである。「判定結果」は、検査の合否を判定した結果を示すものである。「検査日時」は、検査が行われた日時を示すものである。「コメント」、「判定結果」及び「検査日時」は、検査部122によって管理検査データベース123に適宜登録される。
【0271】
図26に示す異常検知部126は、端末110の異常を検知するためのものである。異常検知部126は、例えば、サーバ120上で動作するプログラムによって構成される。異常検知部126は、端末110に設けられた所定のセンサの結果に基づいて(例えば、端末110が落下してセンサが異常な値を検出した場合に)、端末110に異常があったと判断する。この場合、異常検知部126は、検査員B100の関係者A103等にメール等で通知する。
【0272】
次に、このように構成される検査システム101を用いた検査の概要について説明する。
【0273】
検査システム101は、例えば、実施した検査の結果(例えば、測定値等)を管理検査データベース123に記憶させる場合に用いられる。まず、検査員B100は、端末110のマイク112に向けて適宜発話することで、複数の検査の中から、1つの検査(実施した検査)を選択する。そして、検査員B100は、マイク112に向けて適宜発話することで、検査結果を入力する。これによれば、手を使うことなく検査結果を入力することができ、入力の負担を低減することができる。
【0274】
また、検査システム101は、入力された検査結果を「管理値」(
図28参照)と対比することで、検査の合否を判定する。これにより、検査員B100が合否判定を行う手間を省くことができる。こうして検査システム101は、検査員B100の検査を支援して、検査業務の負担を低減することができる。
【0275】
当該検査システム101は、検査結果を入力するモード(態様)として、第一モード及び第二モードを具備する。第一モード及び第二モードは、後述するように、複数の検査の中から、1つの検査を選択する手順が異なっている。検査システム101では、第一モード又は第二モードのいずれかを選択し、検査結果を入力することができる。まずは、
図28から
図32を参照して、第一モードが選択された場合における検査の流れについて説明する。また、検査の流れの説明の中で、検査部122の処理についても説明する。
【0276】
第一モードは、検査部122と検査員B100とが繰り返し対話することで、上位の項目(「プロジェクト名」)から順に検査情報を選択し、最終的に特定された1つの検査の結果を入力するモードである。まず、
図29を参照し、第一モードにおける検査結果の入力までの流れについて説明する。
【0277】
まず、ステップS1010において、検査部122と検査員B100とが対話することで、最も上位の項目である「プロジェクト名」が選択される。ステップS1010が終了すると、ステップS1020へ移行する。
【0278】
ステップS1020において、検査部122と検査員B100とが対話することで、「プロジェクト名」の1つ下位の項目である「工程名」が選択される。ステップS1020が終了すると、ステップS1030へ移行する。
【0279】
ステップS1030において、検査部122と検査員B100とが対話することで、「工程名」の1つ下位の項目である「検査区分」が選択される。ステップS1030が終了すると、ステップS1040へ移行する。
【0280】
ステップS1040において、検査部122と検査員B100とが対話することで、残りの「工程部位」及び「管理項目」が選択される。これにより、全ての項目が選択されて最終的に検査結果を入力すべき1つの検査が特定可能となるため、ステップS1040においては、検査結果も入力する。なお、
図29等においては、「工程部位」及び「管理項目」を総称して、「検査項目」と記載している。ステップS1040が終了すると、第一モードによる検査結果の入力作業が完了する。
【0281】
以下では、
図30から
図32を参照し、第一モードにおける検査結果の入力までの流れ(ステップS1010~S1040)について具体的に説明する。
【0282】
まず、
図30は、プロジェクト名が選択されるステップS1010の流れを示すものである。
図30に示すように、ステップS1010が開始されると、まず、ステップS1110が行われる。
【0283】
ステップS1110においては、検査員B100により、検査開始の旨が報知される。具体的には、検査員B100は、例えば、端末110のカメラ113に向けて所定の仕草(ジェスチャー)を行う。ステップS1110が終了すると、ステップS1120へ移行する。
【0284】
ステップS1120において、検査部122(検査システム101)は、プラットフォーム121を介して検査員B100の仕草を認識し、管理検査データベース123から検査に関する情報(全ての項目の全ての検査情報、
図27参照)を読み込む。ステップS1120が終了すると、ステップS1130へ移行する。
【0285】
なお、管理検査データベース123には、管理者A102による事前作業A120によって、プロジェクトや現場での検査に関する情報が、予め(検査前に)登録されている。これにより、管理検査データベース123には、「プロジェクト名」に所定の検査情報(例えば、『Aプロジェクト』等)が追加されることとなる。また、管理検査データベース123には、下位の項目の検査情報(例えば、『Aプロジェクト』に対する「工程名」の検査情報『コンクリート工事』等)も追加されることとなる。検査部122は、こうして追加された情報をステップS1120で読み込むこととなる。
【0286】
ステップS1130において、検査部122は、ステップS1130で読み込んだ情報から、「プロジェクト名」の検査情報(例えば、『Aプロジェクト』等)を抽出して読み上げる。このとき、検査部122は、検査情報を読み上げる音声を端末110のスピーカ111から出力させる。具体的には、例えば、『プロジェクトを選んで下さい。Aプロジェクト、Bプロジェクト・・・』との音声を出力させる。ステップS1130が終了すると、ステップS1140へ移行する。
【0287】
ステップS1140において、検査員B100は、ステップS1140で出力された音声に応じて、選択したい(検査結果を入力したい)「プロジェクト名」に関する検査情報(例えば、『Aプロジェクト』)を発話する。なお、検査部122は、検査員B100の発話を常に受け付けている(認識可能である)。このため、検査員B100は、検査部122が検査情報を読み上げている最中に発話することができる。これは、検査部122の音声出力を受けて検査員B100が発話する他のステップ(例えば、後述するステップS1220等)でも同様である。
【0288】
また、検査員B100は、ステップS1140において、所定の言葉を発話することで、検査部122が読み上げた検査情報をもう一度聞き直すことができる。具体的には、検査員B100は、もう一度聞き直すことを検査部122が認識可能な言葉(例えば、『もう一度』との言葉等)を発話する。本実施形態の検査部122は、当該発話内容に基づいて1つ前のステップ(ステップS1130)へ戻り、検査情報をもう一度読み上げる。これは、検査部122の音声出力を受けて検査員B100が発話する他のステップ(例えば、後述するステップS1220等)でも同様である。ステップS1140が終了すると、ステップS1150へ移行する。
【0289】
ステップS1150において、検査部122は、ステップS1140で検査員B100が発話した「プロジェクト名」の検査情報を復唱する。具体的には、まず、検査部122は、プラットフォーム121を介してステップS1140での発話内容を取得することで、「プロジェクト名」に選択(入力)された検査情報(例えば、『Aプロジェクト』)を判断する。そして、検査部122は、判断した検査情報を復唱する音声をスピーカ111から出力させる。具体的には、例えば『Aプロジェクトですね?』との音声を出力させる。
【0290】
なお、検査部122は、認識した発話内容から以降のステップを実行不能である場合に、検査員B100に発話内容をもう一度問い合わせ、1つ前のステップ(検査員B100が発話するステップ)へ戻る。例えば、検査部122は、ステップS1140での発話内容から「プロジェクト名」の検査情報を判断不能である(検査員B100が想定外の言葉を発話した)場合、もう一度検査員B100に発話を促す旨の音声(例えば、『すいません。もう一度お願いします。』等の音声)をスピーカ111から出力させ、ステップS1140へ戻る。これは、検査員B100の発話を受けて検査部122が処理を行う他のステップ(例えば、後述するステップS1230等)でも同様である。ステップS1150が終了すると、検査員B100の発話の有無に応じて、適宜のステップへ移行する。
【0291】
具体的には、復唱された検査情報が違っている場合、検査員B100は、復唱された検査情報が違っていることを検査部122が認識可能な言葉を発話する。本実施形態の検査部122は、当該発話内容に基づいてステップS1130へ戻り(
図30に示す符号A参照)、「プロジェクト名」の検査情報をもう一度読み上げる。これにより、検査員B100は、検査情報を選択し直すことができる。例えば、検査員B100は、『戻る』と発話することで、検査情報が違っていることを検査部122に認識させて、検査情報を選択し直すことができる。
【0292】
一方、復唱された検査情報が正しい場合、検査員B100は特に発話を行わない。検査部122は、例えば、検査員B100の発話を所定時間認識しなかった場合に、プロジェクト名を選択するステップS1010を終了させ、工程名を選択するステップS1020へ移行する。
【0293】
図31(a)は、工程名が選択されるステップS1020の流れを示すものである。
図31(a)に示すように、工程名が選択されるステップS1020においては、上述したステップS1130~S1150と同じようなステップS1210~S1230により、「工程名」が選択される。
【0294】
具体的には、ステップS1210において、検査部122は、「工程名」の検査情報を読み上げる。このとき、検査部122は、ステップS1120で読み込んだ情報から、「工程名」の検査情報を抽出する。この際、検査部122は、「工程名」の検査情報のうち、プロジェクト名の選択(ステップS1010)で選択された検査情報に関連付けられた検査情報を抽出する。これにより、検査部122は、「工程名」に登録された複数の検査情報の中から、ステップS1010で選択されたプロジェクトで実施される(検査員B100が選択する)可能性がある検査情報を抽出することができる。また、検査部122は、抽出した検査情報をスピーカ111から出力させる。具体的には、例えば、
図27に示す「プロジェクト名」の検査情報に『Aプロジェクト』が選択された場合、『工程を選んで下さい。コンクリート工事、鉄筋工事・・・』との音声を出力させる。
【0295】
そして、
図31(a)に示すように、ステップS1220において、検査員B100は、選択したい(検査結果を入力したい)「工程名」に関する検査情報(例えば、『コンクリート工事』)を発話する。その後、ステップS1230において、検査部122は、発話内容に基づいて「工程名」に選択された検査情報(例えば、『コンクリート工事』)を判断し、当該検査情報をスピーカ111から出力させる。
【0296】
選択された検査情報が違っている場合、検査員B100は、所定の言葉(『戻る』等の言葉)を発話して検査部122に検査情報が違っていることを認識させる。この場合、検査部122は、ステップS1210へ戻る(
図31(a)に示す符号B参照)。一方、選択された検査情報が正しい場合、検査員B100は特に発話を行わない。この場合、検査部122は、工程名を選択するステップS1020を終了させ、検査区分を選択するステップS1030へ移行する。
【0297】
図31(b)は、検査区分を選択するステップS1030の流れを示すものである。
図31(b)に示すように、検査区分を選択するステップS1030においては、プロジェクト名を選択するステップS1130~S1150と同じようなステップS1310~S1330により、「検査区分」が選択される。なお、ステップS1310において、検査部122は、「検査区分」(ステップS1030で選択する項目)よりも上位の項目(「プロジェクト名」及び「工程名」)の検査情報をキーに管理検査データベース123を検索する。これにより、検査部122は、「検査区分」に登録された複数の検査情報の中から、検査員B100が選択する可能性がある検査情報を抽出する。また、ステップS1320においては、こうして抽出した検査情報を読み上げる。「検査区分」の選択が完了すると、検査項目(工程部位及び管理項目)の選択等を行うステップS1040へ移行する。
【0298】
図32は、検査項目の選択等を行うステップS1040の流れを示すものである。
図32に示すように、ステップS1040が開始されると、まず、ステップS1410が行われる。
【0299】
ステップS1410において、検査部122は、「工程部位」及び「管理項目」の検査情報を抽出する。このとき、検査部122は、抽出対象となる「工程部位」等の項目よりも上位の項目の検査情報をキーに管理検査データベース123を検索する。これにより、検査部122は、選択されたプロジェクトの工程の検査区分で対象となる(検査員B100が選択する可能性がある)「工程部位」及び「管理項目」の検査情報を抽出する。
【0300】
例えば、検査部122は、
図27に示す「プロジェクト名」に『Aプロジェクト』が、「工程名」に『コンクリート工事』が、「検査区分」に『基礎』が選択された場合に、当該『Aプロジェクト』等をキーに管理検査データベース123を検索する。これにより、「工程部位」及び「管理項目」として、『Aプロジェクト』の『コンクリート工事』の『基礎』に対する『コンクリート検査』の『スランプ値』と、『コンクリート検査』の『空気量』と、を抽出する。ステップS1410が終了すると、ステップS1420へ移行する。
【0301】
ステップS1420において、検査部122は、スピーカ111から音声を出力させることで、ステップS1410で抽出した「工程部位」及び「管理項目」の検査情報を読み上げる。ステップS1420が終了すると、ステップS1430へ移行する。
【0302】
ステップS1430において、検査員B100は、ステップS1420で出力された音声に応じて、選択したい(検査結果を入力したい)「工程部位」及び「管理項目」に関する検査情報(例えば、『コンクリート検査のスランプ値』)を発話する。ステップS1430が終了すると、ステップS1440へ移行する。
【0303】
ステップS1440において、検査部122は、ステップS1430での発話内容に基づいて「工程部位」及び「管理項目」に選択された検査情報を判断し、当該検査情報を復唱する(スピーカ111から出力させる)。その後、検査部122は、検査結果を問い合わせる音声(例えば、『値を言って下さい。』等の音声)をスピーカ111から出力させる。
【0304】
ステップS1450において、出力された検査情報が違っている場合、検査員B100は、所定の言葉を発話して検査部122に検査情報が違っていることを認識させる。この場合、検査部122は、ステップS1420へ戻り(
図32に示す符号D参照)、検査情報をもう一度読み上げる。
【0305】
一方、ステップS1450において、出力された検査情報が正しい場合、検査員B100は、検査結果を発話(回答)する。検査部122は、発話内容を認識して検査結果を取得し、当該検査結果が値であった場合に、ステップS1460へ移行する。一方、検査部122は、検査結果が合否判定の結果であった場合に、ステップS1470へ移行する。
【0306】
ステップS1460において、検査部122は、ステップS1450で発話された検査結果と「管理値」(
図28参照)とを対比することで、検査の合否を判定する。その後、検査部122は、検査結果を復唱する音声と、合否判定の結果を報知する音声と、をスピーカ111から出力させる。具体的には、例えば、『15センチですね?合格です。』との音声を出力させる。なお、検査員B100は、復唱された検査結果がステップS1450で発話した検査結果と違っていた場合に、所定の言葉(例えば、『戻る』との言葉)を発話して検査部122に検査結果が違っていることを認識させる。これにより、ステップS1440へ戻ることができる。ステップS1460が終了すると、ステップS1480へ移行する。
【0307】
ステップS1470において、検査部122は、検査員B100が発話した合否判定の結果を復唱する音声をスピーカ111から出力させる。具体的には、例えば、『OKですね?』との音声を出力させる。検査員B100は、復唱された合否判定の結果がステップS1450で発話した検査結果と違っていた場合に、所定の言葉を発話して検査部122に検査結果が違っていることを認識させる。これにより、ステップS1440へ戻ることができる。ステップS1470が終了すると、ステップS1480へ移行する。
【0308】
ステップS1480において、検査部122は、検査結果を管理検査データベース123に登録する。検査部122は、検査結果が複数の検査の中のどの検査に該当するのかを判断可能となるように、検査結果をステップS1010等で選択された検査情報と関連付けて登録する。また、検査部122は、時計機能等を用いて取得した日時(「検査日時」)も、検査情報と関連付けて登録する。また、検査部122は、ステップS1460で合否判定を行った場合、当該合否判定の結果も関連付けて登録する。これにより、検査部122は、
図28に示す確認画面125の「判定結果」及び「検査日時」にデータを反映させることができる。ステップS1480が終了すると、ステップS1490へ移行する。
【0309】
ステップS1490において、検査部122は、写真を登録するか否かを問い合わせる音声(例えば、『写真を登録する場合は写真を撮って下さい。』との音声)を、スピーカ111から出力させる。ステップS1490が終了すると、ステップS1500へ移行する。
【0310】
ステップS1500において、検査員B100は、ステップS1490で出力された音声に応じて適宜写真を撮影する。このとき、検査員B100は、カメラ113に向けて所定の仕草を行う。プラットフォーム121は、当該仕草を認識すると、カメラ113のシャッターを切って写真を撮影する。端末110は、こうして撮影した写真の画像データ(例えば、
図28に示す画像データC101・C102)をサーバ120へ転送する。なお、検査員B100は、写真撮影を行わない場合、所定の言葉を発して写真撮影を行わないことを検査部122に認識させる。具体的には、例えば、『スキップ』と発話する。これにより、検査員B100は、写真撮影を行うことなくステップS1500を終了することができる。ステップS1500が終了すると、ステップS1510へ移行する。
【0311】
ステップS1510において、検査部122は、ステップS1510で撮影された画像データを検査写真ファイルサーバ124に保存する。これにより、確認画面125の「写真」に画像データを反映させることができる。ステップS1510が終了すると、ステップS1520へ移行する。
【0312】
ステップS1520において、検査部122は、コメントを残すか否かを問い合わせる音声(例えば、『検査内容について所見を述べて下さい。』との音声)を、スピーカ111から出力させる。ステップS1520が終了すると、ステップS1530へ移行する。
【0313】
ステップS1530において、検査員B100は、ステップS1520で出力された音声に応じて適宜コメントを発話する。ステップS1530が終了すると、ステップS1540へ移行する。
【0314】
ステップS1540において、検査員B100は、カメラ113に向けて所定の仕草を行うことで、コメントの発話を終了する。ステップS1540が終了すると、ステップS1550へ移行する。
【0315】
ステップS1550において、検査部122は、プラットフォーム121を介して検査員B100の仕草を認識し、コメントの発話が終了したと判断する。このように、検査部122は、検査員B100の発話内容ではなく、仕草によってコメントの終了を認識するようにしている。これによれば、検査部122は、コメントの発話が終了したことを容易に判断することができる。検査部122は、コメントの発話が終了したことを判断すると、ステップS1530でのコメントを管理検査データベース123に登録する。このとき、検査部122は、コメントが複数の検査の中のどの検査に該当するのかを判断可能となるように、コメントをステップS1010等で選択された検査情報と関連付けて登録する。これにより、確認画面125の「コメント」にデータを反映させることができる。ステップS1550が終了すると、ステップS1410へ移行する。
【0316】
なお、検査員B100は、コメントを残さない場合、ステップS1530で所定の言葉を発してコメントを残さないことを検査部122に認識させる。具体的には、例えば、『スキップ』と発話する。これにより、ステップS1540・S1550をスキップし、コメントを残すことなくステップS1410へ移行することができる。
【0317】
なお、第一モードにおいて、検査部122は、常に検査員B100の仕草を認識可能となっている。また、検査部122は、認識した仕草から、検査員B100が検査を終了させることを報知していると判断可能である。このため、検査員B100は、端末110のカメラ113に向けて所定の仕草(第一モードを終了させることを検査部122が認識可能な仕草)をすることで、第一モードによる検査結果の入力をいつでも終了させることができる。
【0318】
このような第一モードによる検査結果の入力において検査員B100は、検査内容(結果を入力すべき検査)を特定するために全ての項目(「プロジェクト名」等)の検査情報を発話する必要がある(ステップS1140・S1220・S1320・S1430)。
【0319】
次に、
図33及び
図34を参照して、第二モードにおける検査の流れについて説明する。また、検査の流れの説明の中で、検査部122の処理についても説明する。
【0320】
第二モードは、検査の選択において、検査員B100による検査情報の発話を一部省略するためのモードである。第二モードにおいては、検査員B100が発話したある1つの項目の検査情報に関する言葉から、複数の項目の検査情報を検査部122が自動的に選択することで、検査員B100による検査情報の発話を省略することができる。以下、具体的に説明する。
【0321】
まず、
図33に示すステップS1600において、検査部122は、検査員B100の発話を受け付ける。そして、検査部122は、当該発話内容に基づいて、可能であれば複数の項目の検査情報を選択する。
図34は、当該ステップS1600の流れを示すものである。
図34に示すように、ステップS1600が開始されると、まず、ステップS1610が行われる。
【0322】
ステップS1610においては、第一モードのステップS1110(
図30参照)と同様に、検査員B100によって検査開始の旨が報知される。そして、ステップS1620へ移行して、検査部122は、ステップS1120と同様に、管理検査データベース123からデータを読み込む。そして、ステップS1630へ移行して、検査部122は、発話を受け付ける旨の音声(例えば、『検査の情報を教えて下さい。』との音声)をスピーカ111から出力させる。その後、ステップS1640へ移行する。
【0323】
ステップS1640において、検査員B100は、検査結果を入力したい検査に関する言葉を発話する。この際、検査員B100は、最上位の「プロジェクト名」の検査情報に限らず、下位の項目の検査情報に関する言葉を発話することがある。また、検査員B100は、1つの項目の検査情報に限らず、複数の項目の検査情報に関する言葉を発話することがある。ステップS1640が終了すると、ステップS1650へ移行する。
【0324】
ステップS1650において、検査部122は、ステップS1640での発話内容からキーワードを抽出する。具体的には、検査部122は、まず、プラットフォーム121を介して発話内容を取得して解析することで、発話内容の中から検査に関する文字列(用語)を抽出する。そして、検査部122は、ステップS1620で読み込んだデータと抽出した文字列とを比較して、抽出した文字列が複数の項目に登録された検査情報(例えば、
図27に示す『Aプロジェクト』等)と一致するかを確認する。
【0325】
検査部122は、抽出した文字列が検査情報と一致した場合に、当該文字列をキーワードとして抽出する。以下では、このような検査情報と一致する文字列を「第一キーワード」と称する。
【0326】
また、検査部122は、抽出した文字列が検査情報と一致しない場合に、抽出した文字列が検査情報と関連する文字列であるか否かを確認する。検査情報と関連する文字列は、検査情報と一致しなくても、当該検査情報を示すものとして判断可能な文字列である。具体的には、例えば、検査情報の略語及び俗語、並びに検査情報に割り当てられた数字等である。例えば、『コンクリート検査』は、『生コン検査』と略して発話されることがある。このような『生コン検査』との文字列は、「工程部位」の『コンクリート検査』であると判断可能である。また、検査においては、検査情報に応じて適宜通し番号が付されることがある。例えば、『スランプ値』の検査情報に対して『1』等の番号が付されることがある。この場合、『1』との文字列は、「管理項目」の『スランプ値』であると判断可能である。以下では、このような検査情報と関連する文字列を「第二キーワード」と称する。
【0327】
本実施形態の管理検査データベース123には、第二キーワード(例えば、『生コン検査』)と、当該第二キーワードにより判断可能な検査情報(例えば、『コンクリート検査』)と、が関連付けて登録されている。ステップS1650において、検査部122は、抽出した文字列が検査情報と一致しない場合に、当該文字列をキーとして管理検査データベース123を検索することで、抽出した文字列が第二キーワードであるかを判断する。そして、検査部122は、抽出した文字列が第二キーワードであった場合に、当該文字列を第二キーワードとして抽出する。
【0328】
ステップS1650において、検査部122は、発話内容からキーワード(第一キーワード又は第二キーワード)を抽出できた場合に、ステップS1650を終了する。ステップS1650が終了すると、ステップS1660へ移行する。
【0329】
一方、ステップS1650において、検査部122は、発話内容からキーワードを抽出できなかった場合に、検査員B100にもう一度発話を促す音声(例えば、「もう一度言って下さい。」等の音声)をスピーカ111から出力させる。この場合、ステップS1640へ移行して、検査員B100が検査に関する言葉を発話することとなる。
【0330】
ステップS1660において、検査部122は、抽出したキーワードを、複数の項目の中から適切な(選択すべき)1つの項目に当てはめる。検査部122は、抽出したーキーワードが第一キーワードであるのか第二キーワードであるのかに応じて、適宜項目への当てはめを行う。
【0331】
より詳細には、検査部122は、抽出したキーワードが第一キーワードである場合、当該第一キーワードをそのまま1つの項目に当てはめる。このとき、検査部122は、まず、第一キーワードに基づいて、複数の項目の中から第一キーワードと同一文字列の検査情報が登録された1つの項目を特定する。そして、検査部122は、特定した項目の検査情報に第一キーワードが選択(入力)されたと判断する。例えば、第一キーワードとして『Aプロジェクト』を抽出した場合、検査部122は、当該『Aプロジェクト』をキーに管理検査データベース123を検索することで、『Aプロジェクト』が登録された項目「プロジェクト名」を特定する。そして、検査部122は、「プロジェクト名」の検査情報に『Aプロジェクト』が選択されたと判断する。
【0332】
また、検査部122は、抽出したキーワードが第二キーワード(『1』等)である場合、当該第二キーワードをそのまま1つの項目に当てはめるのではなく、第二キーワードが示す検査情報を当てはめる。このとき、検査部122は、第二キーワードをキーに管理検査データベース123を検索し、当該第二キーワードが示す検査情報(『スランプ値』等)、すなわち第一キーワードを特定する。そして、検査部122は、特定した第一キーワードから選択すべき1つの項目を特定し、当該項目に第一キーワードを当てはめる。
【0333】
なお、検査部122は、ステップS1650において複数のキーワードが抽出された場合に、上述した項目の当てはめを複数のキーワードのそれぞれにおいて行う。ステップS1660が終了すると、ステップS1670へ移行する。なお、以下では、ステップS1660において当てはめが行われた項目を「第一項目」と称する。
【0334】
ステップS1670において、検査部122は、ステップS1660で当てはめた第一項目以外の項目(検査情報が不足する項目)の検査情報を推定する。このとき、検査部122は、例えば、ステップS1660で当てはめた下位の項目の検査情報に基づいて、上位の項目の検査情報を推定する。
【0335】
具体的には、下位の項目の中には、上位の項目の検査情報を推定できる検査情報が含まれる。当該検査情報は、1つ上位の項目の検査情報を一意に特定可能な検査情報である。例えば、
図27に示す「管理項目」を例に挙げると、下位の「管理項目」の検査情報が『スランプ値』及び『空気量』である場合、2つ以上上位の項目(「検査区分」等)の検査情報が何であったとしても、1つ上位の「工程部位」の検査情報は必ず『コンクリート検査』となる。そこで、検査部122は、このような上位と下位の関係を利用して、ステップS1660である項目に当てはめを行った場合に、当該項目よりも上位の項目の検査情報を推定する。
【0336】
例えば、ステップS1660で「管理項目」に『空気量』を当てはめた場合、検査部122は、『空気量』をキーに管理検査データベース123を検索する。その結果、「工程部位」の検査情報として『コンクリート検査』のみが抽出されるため(
図27参照)、検査部122は、上位の「工程部位」の検査情報が『コンクリート検査』であると判断する。これにより、検査部122は、検査員B100が発話していない項目の検査情報を、当該検査員B100の発話内容から間接的に選択することができる。なお、以下では、このような検査部122により間接的に選択された項目を「第二項目」と称する。
【0337】
なお、ステップS1660で当てはめた検査情報によっては、上位の項目の検査情報を推定できないことも想定される。例えば、ステップS1660で「工程部位」に『コンクリート検査』を当てはめただけでは、上位の「検査区分」の検査情報が『基礎』であるのか『1階床』であるのか推定できない(
図27参照)。そこで、検査部122は、ステップS1670において検査情報を推定不能な項目については、ステップS1670で検査情報の判断は行わない。ステップS1670が終了すると、検査員B100の発話の受付等を行うステップS1600が終了し、
図33に示すステップS1710へ移行する。
【0338】
検査部122は、ステップS1710~S1800により、ステップS1600で検査情報が選択されていない項目について、検査員B100に問い合わせる。以下では、このような検査情報が選択されていない項目を「第三項目」と称する。以下、第三項目の問い合わせについて具体的に説明する。
【0339】
ステップS1710において、検査部122は、「プロジェクト名」の検査情報が選択されているか否かを確認する。検査部122は、「プロジェクト名」の検査情報が選択されていない場合に、ステップS1720へ移行する。一方、検査部122は、「プロジェクト名」の検査情報が選択されている場合に、ステップS1730へ移行する。
【0340】
ステップS1720において、検査部122は、「プロジェクト名」の検査情報について検査員B100に問い合わせる。このとき、検査部122は、第一モードのステップS1210~S1220(工程名を選択する処理、
図31参照)と同じようにして、検査情報を問い合わせる。すなわち、検査部122は、「プロジェクト名」の検査情報を読み上げる。検査員B100は、当該読み上げに応じて選択したい検査情報を発話する。検査部122は、当該発話内容を認識して復唱する。そして、検査部122は、検査員B100が検査情報が違っている旨の発話をしない場合に、「プロジェクト名」の検査情報の選択を完了する。ステップS1720が終了すると、ステップS1730へ移行する。
【0341】
ステップS1730において、検査部122は、「工程名」の検査情報が選択されているか否かを確認する。検査部122は、「工程名」の検査情報が選択されていない場合に、ステップS1740へ移行する。一方、検査部122は、「工程名」の検査情報が選択されている場合に、ステップS1750へ移行する。
【0342】
ステップS1740において、検査部122は、ステップS1720と同じようにして「工程名」の検査情報について検査員B100に問い合わせる。これにより、「工程名」の検査情報が選択される。ステップS1740が終了すると、ステップS1750へ移行する。
【0343】
ステップS1750において、検査部122は、「検査区分」の検査情報が選択されているか否かを確認する。検査部122は、「検査区分」の検査情報が選択されていない場合に、ステップS1760へ移行し、ステップS1720と同じようにして「検査区分」の検査情報について検査員B100に問い合わせる。これにより、「検査区分」の検査情報が選択される。一方、検査部122は、「検査区分」の検査情報が選択されている場合に、ステップS1760をスキップし、ステップS1770へ移行する。
【0344】
ステップS1770において、検査部122は、「工程部位」の検査情報が選択されているか否かを確認する。検査部122は、「工程部位」の検査情報が選択されていない場合に、ステップS1780へ移行し、ステップS1720と同じようにして「工程部位」の検査情報について検査員B100に問い合わせる。これにより、「工程部位」の検査情報が選択される。一方、検査部122は、「工程部位」の検査情報が選択されている場合に、ステップS1780をスキップし、ステップS1790へ移行する。
【0345】
ステップS1790において、検査部122は、「管理項目」の検査情報が選択されているか否かを確認する。検査部122は、「管理項目」の検査情報が選択されていない場合に、ステップS1800へ移行し、ステップS1720と同じようにして「管理項目」の検査情報について検査員B100に問い合わせる。これにより、「管理項目」の検査情報が選択される。一方、検査部122は、「管理項目」の検査情報が選択されている場合に、ステップS1800をスキップし、ステップS1810へ移行する。
【0346】
検査部122は、このようなステップS1710~S1800により、第三項目の検査情報を選択することができる。これにより、全ての項目の検査情報が選択されて複数の検査の中から、1つの検査を特定可能となる。
【0347】
ステップS1810において、検査部122は、検査結果を入力する。このとき、検査部122は、第一モードの検査結果の入力と同じようにして(
図32に示すステップS1440~S1550までを行うことで)、検査結果を入力する。ステップS1810が終了すると、第二モードによる検査が終了する。
【0348】
なお、第二モードにおいて、検査部122は、常に検査員B100の仕草を認識可能となっている。また、検査部122は、認識した仕草から、検査員B100が検査を終了させることを報知していると判断可能である。このため、検査員B100は、端末110のカメラ113に向けて所定の仕草(第二モードを終了させることを検査部122が認識可能な仕草)をすることで、第二モードによる検査結果の入力をいつでも終了させることができる。
【0349】
以下では、
図35及び
図36を参照し、第二モードによる対話の具体例を説明する。
【0350】
まず、検査部122は、検査員B100の発話を受け付ける(ステップS1600)。このとき、検査部122は、検査員B100の検査開始の仕草を受けてデータを読み込み、適宜音声を出力する(ステップS1610~S1630)。そして、検査員B100は、検査に関する言葉を発話する(ステップS1640)。具体的には、検査員B100は、例えば、『Aプロジェクトのコンクリート工事のスランプ値の検査を実施』と発声する。検査部122は、当該発声に基づいてキーワードを抽出する(ステップS1650)。具体的には、検査部122は、『Aプロジェクト』、『コンクリート工事』及び『スランプ値』という3つの第一キーワードを抽出する。
【0351】
検査部122は、抽出した第一キーワードを「プロジェクト名」等の項目に当てはめる(ステップS1660)。具体的には、検査部122は、「プロジェクト名」に『Aプロジェクト』を、「工程名」に『コンクリート工事』を、「管理項目」に『スランプ値』を当てはめる。この場合、「プロジェクト名」、「工程名」及び「管理項目」が検査員B100の発話から直接選択された第一項目となる。
【0352】
検査部122は、当てはめた「プロジェクト名」以外の項目の検査情報を推定する(ステップS1670)。上述の如く、「管理項目」の検査情報が『スランプ値』である場合、上位の「工程部位」の検査情報は必ず『コンクリート検査』となる(
図27参照)。よって、検査部122は、『スランプ値』をキーに管理検査データベース123を検索すると、上位の「工程部位」の検査情報として『コンクリート検査』のみを抽出することとなる。検査部122は、当該抽出結果に基づいて、「工程部位」に『コンクリート工事』が選択されたと判断する。一方、「検査区分」の検査情報は推定不能であるため、検査部122は、「検査区分」の検査情報についての判断は行わない。この場合、「工程部位」が検査員B100の発話から間接的に選択された第二項目となる。また、「検査区分」が検査員B100の発話から選択不能な第三項目となる。
【0353】
検査部122は、このような第三項目(「検査区分」)の検査情報について検査員B100に質問する(ステップS1710~S1800)。すなわち、検査部122は、「プロジェクト名」及び「工程名」の問い合わせ(ステップS1720・S1740)を省略し、検査区分の問い合わせを行う(ステップS1710:No、ステップS1730:No、ステップS1750:Yes、ステップS1760)。このとき、検査部122は、例えば、『検査区分を選んで下さい。基礎、1階床・・・』との音声をスピーカ111から出力させる。検査員B100は、当該音声に応答する形で「検査区分」について発話する(例えば、『1階床』と発話する)。検査部122は、当該発話内容(『1階床』)から、「検査区分」に『1階床』が選択されたと判断する。
【0354】
これにより、全ての項目の選択が完了するため(ステップS1750:No、ステップS1770:No、ステップS1790:No)、検査部122は、検査員B100が検査結果を入力する検査が、『Aプロジェクトのコンクリート工事の1階床のコンクリート検査のスランプ値』の検査であることを特定可能となる。当該検査部122は、検査結果を入力する(ステップS1810)。このとき、検査部122は、確認のため、特定した検査を復唱する音声をスピーカ111から出力させる。具体的には、例えば『コンクリート工事のスランプ値ですね?』との音声を出力させる。
【0355】
なお、検査部122は、検査員B100が当該音声に応答する形で検査が異なる旨の発話(例えば、『戻る』との発話)をした場合に、検査区分を問い合わせる処理(1つ前のステップS1760)へ戻り、もう一度検査区分を問い合わせる。これにより、特定した検査が正しいか否かを確認することができる。また、特定した検査が正しくない(検査員B100が意図しない検査であった)場合に、検査情報を選択し直すことができる。
【0356】
一方、検査部122は、特定した検査を復唱する音声(『コンクリート工事のスランプ値ですね?』との音声)に対して検査員B100が発話しない場合に、検査結果を問い合わせる音声をスピーカ111から出力させる。具体的には、例えば『値を言って下さい。』との音声を出力させる。検査員B100は、当該音声を受けて検査結果(『X2』)を発話する。検査部122は、当該発話内容から、検査結果が『X2』であると判断する。検査部122は、検査結果に対して合否判定を行って、検査結果等と関連付けて管理検査データベース123へ登録する。その後、検査部122は、写真登録の問い合わせやコメントの入力の問い合わせを行い、画像データC101・C102やコメントを適宜登録する。こうして、検査結果の入力が完了する。
【0357】
第二モードによれば、「管理項目」に関するキーワード(『スランプ値』)を発話することで、「工程部位」の検査情報の発話を省略することができる(ステップS1670)。これによれば、1つのキーワードで複数の項目の選択(入力)を行うことができるため、選択の手間を省くことができる。また、全ての項目の検査情報を発話する必要がある第一モードと比較して、検査情報を発話する回数を減らすことができる。
【0358】
また、第二モードによれば、1回の発話(『Aプロジェクトのコンクリート工事のスランプ値』との発話)により、複数の項目(「プロジェクト名」、「工程名」及び「管理項目」)をまとめて選択することができる(ステップS1650・S1660)。これにより、第一モードと比較して、検査部122と検査員B100との対話回数を減らすことができる。
【0359】
なお、第二モードにおいては、発話内容から全ての項目に関するキーワードを抽出できた場合に(ステップS1650・S1660)、不足項目の推定(ステップS1670)及び検査員B100への質問(ステップS1710~S1800)を省略し、検査結果を入力する(ステップS1810)。
【0360】
具体的には、例えば、
図36(a)に示すように、検査員B100が『Aプロジェクトのコンクリート工事の1階床のコンクリート検査のスランプ値』と発話した場合、検査部122は、当該発話内容から『Aプロジェクト』、『コンクリート工事』、『1階床』、『コンクリート検査』及び『スランプ値』という5つのキーワードを抽出する(ステップS1650)。
【0361】
検査部122は、抽出したキーワードを「プロジェクト名」等の項目に当てはめる(ステップS1660)。これにより、全ての項目が選択されることとなるため、検査部122は、検査結果を問い合わせる音声(『値を言って下さい。』との音声)等をスピーカ111から出力させる。このような構成によれば、検査員B100が1回発話するだけで検査結果の入力(ステップS1810)へと進むことができる。
【0362】
また、第二モードによれば、キーワードから適切な項目を特定するため(ステップS1660)、項目の順位の通りに検査情報を発話しなくても、検査情報を適切に選択することができる。例えば、検査員B100が『Aプロジェクトの1階床のコンクリート工事のコンクリート検査のスランプ値』と発話した場合、すなわち、上位の「工程名」の検査情報『コンクリート工事』と下位の「検査区分」の検査情報『1階床』との順番を入れ替えて発話した場合でも、「工程名」に『コンクリート工事』を、「検査区分」に『1階床』を選択することができる。
【0363】
また、検査部122は、発話内容から全ての項目に関するキーワードを抽出できなかった場合であっても、不足項目の推定(ステップS1670)によって検査を特定できれば、検査員B100への質問(ステップS1710~S1800)を省略し、検査結果を入力する(ステップS1810)。
【0364】
具体的には、例えば、
図36(b)に示すように、検査員B100が『Aプロジェクトのコンクリート工事の1階床のスランプ値』と発話した場合、すなわち『コンクリート検査』の発話を省略した場合、検査部122は、『スランプ値』から省略された『コンクリート検査』を選択する(ステップS1670)。これにより、全ての項目が選択されることとなるため、検査部122は、検査結果の入力を促す音声等をスピーカ111から出力させる。このような構成によれば、一部の項目に関する発話を省略しながらも、検査員B100が1回発話するだけで検査結果の入力(ステップS1810)へと進むことができる。
【0365】
以上の如く、本実施形態に係る検査システム101は、検査に関する複数の項目に検査情報が入力されることで当該検査が特定される検査システム101であって、検査員B100の発話の入力を受け、発話内容を認識するプラットフォーム121(音声認識部)と、前記プラットフォーム121で認識した発話内容に基づいて、前記複数の項目に検査情報を入力する検査部122(入力部)と、を具備し、前記検査部122は、前記複数の項目の中の一部の項目である第一項目に入力する検査情報を示すキーワードが、前記発話内容に含まれていた場合に、前記キーワードに基づいて前記第一項目に検査情報を入力する(ステップS1660)と共に、前記第一項目に入力された検査情報に基づいて、前記複数の項目のうち前記第一項目以外の第二項目にも検査情報を入力可能に構成される(ステップS1670)ものである。
【0366】
このように構成することにより、1つのキーワードを発話することで2つ以上の項目に検査情報を入力可能となるため、入力の手間を省いて検査員B100の負担を低減することができる。
【0367】
また、前記キーワードには、前記第一項目に入力する検査情報と文字列が一致する第一キーワードと、前記第一項目に入力する検査情報と文字列が一致しないもののうち、当該検査情報と関連付けられた第二キーワードと、が含まれるものである。
【0368】
このように構成することにより、検査情報と全く同じ言葉(第一キーワード)を発話するだけではなく、検査情報と関連付けられた言葉(第二キーワード)を発話することでも、検査情報を入力することができる。具体的には、例えば、検査員B100が『生コン検査』と発話した場合、当該発話内容から「工程名」の項目に『コンクリート検査』を入力することができる。これにより、検査情報を入力し易くすることができる。
【0369】
また、前記第二キーワードには、検査情報に割り当てられた数字が含まれるものである。
【0370】
このように構成することにより、数字を発話することで速やかに検査情報の入力を済ませることができる。具体的には、例えば、検査員B100が『1』と発話すれば、「管理項目」の項目に『スランプ値』を入力することができる。
【0371】
また、前記第一項目は、前記第二項目の下位に属する項目である。
【0372】
このように構成することにより、下位の項目の検査情報に関するキーワードを発話することで、上位の項目の検査情報を入力可能となるため、上位の項目の検査情報を入力する手間を省くことができる。
【0373】
また、前記発話内容から検査情報を入力不能な第三項目がある場合に、当該第三項目に入力する検査情報を問い合わせる検査部122及びスピーカ111(問合せ部)をさらに具備するものである。
【0374】
このように構成することにより、検査を特定するのに必要な情報(第三項目の検査情報)を検査員B100に問い合わせることができる。これにより、効率的に検査情報を入力することができる。
【0375】
以上、本発明の第二実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
【0376】
例えば、検査システム101は、建物の建築過程における検査に用いられるものとしたが、これに限定されるものではなく、建物の建築後に行われる検査(定期点検等)に用いられるものであってもよい。また、検査システム101は、建物を検査対象とするのではなく、建物以外の物(外構等)を検査対象としてもよい。
【0377】
また、第二モードにおいて検査部122は、全ての項目の検査情報が選択されていない状態でキーワードを受け付けるものとしたが(ステップS1600)、これに限定されるものではなく、一部の項目(例えば、最上位の項目「プロジェクト名」等)が選択された後で、キーワードを受け付けるものであってもよい。
【0378】
また、本実施形態において、検査システム101は、第一モード及び第二モードを具備するものとしたが、これに限定されるものではなく、第一モード及び第二モードを包括する1つのモードを具備するものであってもよい。
【0379】
このようなモードとしては、例えば、上位の項目から検査情報を選択する第一モードをベースとし、キーワードの発話を受けて下位の項目も選択するようなモード等が考えられる。当該モードにおいて、検査部122は、上位の項目から順に検査情報について問い合わせる。また、検査部122は、問い合わせに対する検査員B100の発話内容から問い合わせた項目の検査情報のみを選択するのではなく、発話内容から他の項目に関するキーワードも抽出する。そして、検査部122は、当該キーワードに基づいて他の項目の検査情報を選択する。これにより、上位の項目から検査情報を選択する中で、複数の項目の検査情報を選択可能となり、選択の負担を低減することができる。
【0380】
また、検査部122は、不足項目の推定(ステップS1670)において、ステップS1660で当てはめを行った項目よりも1つ上位の項目の検査情報を推定するものとしたが、これに限定されるものではなく、2つ以上上位の項目の検査情報を推定してもよい。
【0381】
また、検査部122は、不足項目の推定(ステップS1670)において、下位の項目の検査情報に基づいて上位の項目の検査情報を推定するものとしたが、これに限定されるものではなく、上位の項目の検査情報から下位の項目の検査情報を推定してもよい。
【0382】
また、検査部122は、不足項目の推定(ステップS1670)において、ステップS1660で当てはめを行った1つの項目の検査情報から、他の1つの項目の検査情報を推定したが、これに限定されるものではなく、当てはめを行った複数の項目の検査情報から、他の1つの項目の検査情報を推定してもよい。
【0383】
また、検査部122は、不足項目の推定(ステップS1670)を再帰的に行うことで、1つの項目に当てはめた検査情報から2つ以上の項目の検査情報を推定してもよい。具体的には、検査部122は、不足項目の推定(ステップS1670)において検査情報を選択できた場合に、当該検査情報を用いてさらに上位の項目の検査情報の推定を試みるという処理を繰り返し行う。このような処理によれば、1つの項目の当てはめにより複数の項目の検査情報を推定可能となって、検査情報の入力をより多く省略することができる。
【0384】
また、本実施形態では、検査員B100への検査情報の問い合わせ(ステップS1710~S1800)において、スピーカ111から音声を出力させるものとしたが、検査員B100へ問い合わせる手法はこれに限定されるものではなく、例えば、所定の表示部にメッセージを表示させるもの等であってもよい。
【0385】
また、検査部122は、検査員B100への検査情報の問い合わせ(ステップS1710~S1800)を行った後、かつ検査結果の入力(ステップS1810)の前に、選択された全ての項目の検査情報を復唱してもよい。具体的には、検査部122は、『Aプロジェクトのコンクリート工事の基礎のコンクリート検査のスランプ値ですね。』との音声をスピーカ111から出力してもよい。
【0386】
ここで、検査員B100が検査結果を入力する検査は、未実施の検査又は不合格となった検査であることが想定される。そこで、検査部122は、検査員B100への検査情報の問い合わせ(ステップS1710~S1800)において、未実施の検査等の検査情報(入力される可能性がある検査情報)のみについて問い合わせてもよい。例えば、スランプ値の「検査区分」を問い合わせる場合に、『基礎』のスランプ値が合格済み、『1階床』が未実施、『2階床』が不合格であった場合、『検査区分は1階床と2階床のどちらですか?』との音声を出力させてもよい。
【0387】
以上の如く、前記検査部122及びスピーカ111は、前記第三項目に入力される可能性がある検査情報のみを問い合わせ可能であり、前記入力される可能性がある検査情報には、未実施の検査に関する検査情報及び/又は実施結果が不合格と判定された検査に関する検査情報が含まれるものである。
【0388】
このように構成することにより、検査員B100が入力すると考えられる検査情報(合否判定が行われていない検査又は不合格と判定された検査に関する検査情報)について、検査員B100に問い合わせることができる。これによって、検査員B100が問い合わせに対して応対し易くすることができる。
【0389】
なお、検査員B100が入力すると考えられる検査情報には、未実施の検査及び不合格となった検査以外の検査情報が含まれていてもよい。また、検査部122は、第二モードだけではなく、第一モードでも検査員B100が入力すると考えられる検査情報のみを問い合わせることができる。この場合、例えば、検査部122は、第一モードにおいて「工程部位」及び「管理項目」の検査情報を読み上げる場合に(ステップS1420)、検査員B100が入力すると考えられる検査情報のみを読み上げることができる。
【0390】
また、本実施形態では、確認画面125の一例として、
図28に示す確認画面125を挙げたが、確認画面125の構成(レイアウト等)は、これに限定されるものではなく、任意の構成とすることができる。
【0391】
また、本実施形態において、端末110は、眼鏡型のウェアラブルデバイスであったが、眼鏡型に限定されるものではなく、他の形式(例えば、ヘッドセット型や腕時計型等)のものであってもよい。また、端末110は、必ずしもウェアラブルデバイスに限定されるものではなく、他の機器(例えば、タブレット端末等)であってもよい。
【0392】
また、サーバ120は、必ずしもHDD等のハードウェアを専有するオンプレミス環境に構築される必要はなく、例えば、ハードウェアを他の仮想サーバと共用するクラウド環境に構築されるものであってもよい。
【0393】
また、本実施形態においては、検査員B100が発話することで「プロジェクト名」を選択するものとしたが、これに限定されるものではなく、端末110の位置情報に基づいて「プロジェクト名」を自動的に選択してもよい。具体的には、検査部122は、GPS(Global Positioning System)機能により端末110の位置情報、すなわち検査が行われる建物の位置情報を取得する。当該検査部122は、取得した位置情報に基づいて検査対象の建物を特定する。検査部は、特定した建物から「プロジェクト名」の検査情報を選択する。
【0394】
また、本実施形態において複数の項目には、「プロジェクト名」、「工程名」、「検査区分」、「工程部位」及び「管理項目」が含まれるものとしたが、これに限定されるものではない。
【符号の説明】
【0395】
1 支援システム(記録システム)
13 カメラ(撮影部)
16 音声認識部
20 記録処理部(抽出部)
30 サーバ(記憶部)
V31 抽出前映像ファイル(第一映像)
V32 抽出後映像ファイル(第二映像)