特開 2022-56533 情報処理装置、情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022056533

(43)【公開日】2022-04-11

(54)【発明の名称】情報処理装置、情報処理システム及び情報処理方法

(51)【国際特許分類】

   G06F 16/33 20190101AFI20220404BHJP

   G06F 40/205 20200101ALI20220404BHJP

   G06F 16/583 20190101ALI20220404BHJP

   G06Q 50/08 20120101ALI20220404BHJP

【ＦＩ】

G06F16/33

G06F40/205

G06F16/583

G06Q50/08

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020164331

(22)【出願日】2020-09-30

(71)【出願人】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】中谷 武彦

(72)【発明者】

【氏名】宮岡 香苗

(72)【発明者】

【氏名】佐藤 有

(72)【発明者】

【氏名】谷部 嘉純

【テーマコード（参考）】

5B091

5B175

5L049

【Ｆターム（参考）】

5B091AA15

5B091AB08

5B091CA01

5B091EA01

5B175DA01

5B175DA02

5B175FB02

5B175FB03

5L049CC07

(57)【要約】      （修正有）

【課題】建設現場の状況において必要な情報を現場で入手できる情報処理装置、情報処理システム及び情報処理方法を提供する。
【解決手段】情報処理システム１００において、情報処理装置３００は、建設現場の撮像画像である入力画像に基づいて、入力画像に映っている建設現場の状況を示す単語を一つ以上含む第１情報を生成する生成部３２０、施工管理に関する一つ以上の技術資料の電子データを格納する格納部３３０、少なくとも技術資料に含まれるテキストデータに基づいて、テキストデータに含まれる複数の単語間の関連性を分析する分析部３４０、分析部３４０の分析結果に基づいて、第１情報に関連する単語を含む文章及び図面の少なくともいずれかを含む情報である第２情報を、格納部３３０に格納されている電子データから抽出する抽出部３５０及び抽出部３５０で抽出された第２情報を通信端末２００の表示部２２０に表示させる表示制御部３６０を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

建設現場の撮像画像である入力画像に基づいて、前記入力画像に映っている前記建設現場の状況を示す単語を一つ以上含む第１情報を生成する生成部と、
施工管理に関する一つ以上の技術資料の電子データを格納する格納部と、
少なくとも前記技術資料に含まれるテキストデータに基づいて、前記テキストデータに含まれる複数の単語間の関連性を分析する分析部と、
前記分析部の分析結果に基づいて、前記第１情報に関連する単語を含む文章及び図面の少なくともいずれかを含む情報である第２情報を、前記格納部に格納されている前記電子データから抽出する抽出部と、
前記抽出部で抽出された前記第２情報を表示部に表示させる表示制御部と、
を備える情報処理装置。

【請求項2】

前記生成部は、
建設現場の画像と、前記画像に映っている前記建設現場の状況を示す単語と、を教師データとして用いて、入力を前記入力画像とし、出力を前記第１情報とする学習モデルを機械学習により生成するモデル生成部と、
前記モデル生成部により生成された前記学習モデルを用いて、前記入力画像に映っている前記建設現場の状況を示す単語である前記第１情報を出力する処理部と、
を備える、
請求項１に記載の情報処理装置。

【請求項3】

前記技術資料の文書構造が階層化された複数の構成要素を有する構造である場合、前記構成要素に含まれる一つ以上のキーワードが構成要素ごとに設定されており、
前記各構成要素に設定されている前記キーワードは、前記文書構造に沿ってツリー構造で前記格納部に格納されている、
請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記第１情報は、複数の前記キーワードの中から設定されている、
請求項３に記載の情報処理装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の情報処理装置と、
撮像部と前記表示部を有する通信端末と、
を有し、
前記情報処理装置は、前記撮像部で撮像された建設現場の撮像画像を前記入力画像として用い、前記第２情報を直接的又は間接的に前記通信端末に送信することで前記表示部に前記第２情報を表示させる、
情報処理システム。

【請求項6】

建設現場を撮像する撮像ステップと、
前記撮像ステップで得られた撮像画像に基づいて、前記撮像画像に映っている前記建設現場の状況を示す単語を一つ以上含む第１情報を生成する生成ステップと、
少なくとも施工管理に関する技術資料に含まれるテキストデータに基づいて、前記テキストデータに含まれる複数の単語間の関連性を分析する分析ステップと、
前記分析ステップの分析結果に基づいて、前記第１情報に関連する単語を含む文章及び図面の少なくともいずれかを含む情報である第２情報を、前記技術資料の電子データを格納する格納部から抽出する抽出ステップと、
前記抽出ステップで抽出された前記第２情報を表示部に表示させる表示制御ステップと、
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

近年、建設現場の施工管理におけるＱＣＤＳＥ（Quality Cost Delivery Safety Environment）に対する要求は、高度化している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－５７７９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ただし、現在の建設現場の施工管理は、現場管理者の記憶力に頼っているのが現状であり、前記要求を満足することは困難である。そこで、現場管理者にとって、現場管理者の記憶力に頼らずに建設現場の状況に関連する情報を現場で入手できるシステムの構築が必要となる。

【0005】

本発明は、このような事情に鑑みてなされたもので、その目的は、建設現場の状況に関連する情報を現場で入手できることである。

【課題を解決するための手段】

【0006】

（１）本発明の一態様は、建設現場の撮像画像である入力画像に基づいて、前記入力画像に映っている前記建設現場の状況を示す単語を一つ以上含む第１情報を生成する生成部と、施工管理に関する一つ以上の技術資料の電子データを格納する格納部と、少なくとも前記技術資料に含まれるテキストデータに基づいて、前記テキストデータに含まれる複数の単語間の関連性を分析する分析部と、前記分析部の分析結果に基づいて、前記第１情報に関連する単語を含む文章及び図面の少なくともいずれかを含む情報である第２情報を、前記格納部に格納されている前記電子データから抽出する抽出部と、前記抽出部で抽出された前記第２情報を表示部に表示させる表示制御部と、を備える情報処理装置である。

【0007】

（２）上記（１）の情報処理装置であって、前記生成部は、建設現場の画像と、前記画像に映っている前記建設現場の状況を示す単語と、を教師データとして用いて、入力を前記入力画像とし、出力を前記第１情報とする学習モデルを機械学習により生成するモデル生成部と、前記モデル生成部により生成された前記学習モデルを用いて、前記入力画像に映っている前記建設現場の状況を示す単語である前記第１情報を出力する処理部と、を備えてもよい。

【0008】

（３）上記（１）又は上記（２）の情報処理装置であって、前記技術資料の文書構造が階層化された複数の構成要素を有する構造である場合、前記構成要素に含まれる一つ以上のキーワードが構成要素ごとに設定されており、前記各構成要素に設定されている前記キーワードは、前記文書構造に沿ってツリー構造で前記格納部に格納されてもよい。

【0009】

（４）上記（３）の情報処理装置であって、前記第１情報は、複数の前記キーワードの中から設定されてもよい。

【0010】

（５）本発明の一態様は、上記（１）から上記（４）のいずれかの情報処理装置と、撮像部と前記表示部を有する通信端末と、を有し、前記情報処理装置は、前記撮像部で撮像された建設現場の撮像画像を前記入力画像として用い、前記第２情報を直接的又は間接的に前記通信端末に送信することで前記表示部に前記第２情報を表示させる、情報処理システムである。

【0011】

（６）本発明の一態様は、建設現場を撮像する撮像ステップと、前記撮像ステップで得られた撮像画像に基づいて、前記撮像画像に映っている前記建設現場の状況を示す単語を一つ以上含む第１情報を生成する生成ステップと、少なくとも施工管理に関する技術資料に含まれるテキストデータに基づいて、前記テキストデータに含まれる複数の単語間の関連性を分析する分析ステップと、前記分析ステップの分析結果に基づいて、前記第１情報に関連する単語を含む文章及び図面の少なくともいずれかを含む情報である第２情報を、前記技術資料の電子データを格納する格納部から抽出する抽出ステップと、前記抽出ステップで抽出された前記第２情報を表示部に表示させる表示制御ステップと、を含む情報処理方法である。

【発明の効果】

【0012】

以上説明したように、本発明によれば、建設現場の状況において必要な情報を現場で入手できる。

【図面の簡単な説明】

【0013】

【図1】本実施形態における情報処理システム１００を説明するイメージ図である。

【図2】本実施形態における情報処理システム１００の構成図である。

【図3】本実施形態におけるデータ格納部３２１に格納されている複数の教師データの一例を示す図である。

【図4】本実施形態における格納部３３０に格納されている技術資料の一例を示す図である。

【図5】本実施形態におけるツリー構造の第２の単語を概念的に示す図である。

【発明を実施するための形態】

【0014】

以下、本実施形態に係る情報処理装置、情報処理システム及び情報処理方法を、図面を用いて説明する。

【0015】

本実施形態の情報処理システム１００は、建設現場の施工管理の現場管理者に対して、建設現場の状況において必要な施工管理の情報を提供するシステムである。本実施形態の情報処理システム１００の処理の流れを、図１を用いておおまかに説明する。図１は、本実施形態に係る情報処理システム１００を説明するイメージ図である。

【0016】

図１に示すように、建設現場における施工管理の管理者である現場管理者Ｍは、通信端末２００を装着又は携帯している。この通信端末２００は、建設現場の状況を撮像する（ステップＳ１０１）。例えば、建設現場の状況とは、コンクリートの打設やポンプ打ちなどの作業員の作業状況である。通信端末２００で撮像された建設現場の撮像画像Ｘは、通信端末２００から情報処理装置３００へ無線又は有線で直接的又は間接的に送信される（ステップＳ１０２）。情報処理装置３００は、撮像画像Ｘから建設現場の現場状況を判断する（ステップＳ１０３）。そして、情報処理装置３００は、判断した作業状況において必要な施工管理の技術資料の情報を通信端末２００に送信する（ステップＳ１０４）。これにより、通信端末２００は、情報処理装置３００から送信された技術資料の情報を表示画面に表示する（ステップＳ１０５）。

【0017】

以下において、本実施形態における情報処理システム１００の構成の一例を、図２を用いて説明する。図２は、本実施形態の情報処理システム１００の構成図である。

【0018】

図２に示すように、情報処理システム１００は、通信端末２００及び情報処理装置３００を備える。

【0019】

通信端末２００は、情報処理装置３００と通信ネットワークＮを介して情報を送受する。例えば、通信端末２００は、ユーザによって携帯（装着を含む）可能なスマートデバイスであることが望ましい。例えば、通信端末２００は、ウェアラブル端末又は携帯情報端末である。ウェアラブル端末の一例としては、撮像機能を有するとともに表示画面上にデジタル情報を表示する機能を有するスマートグラス又はスマートウォッチである。携帯情報端末の一例としては、スマートフォン又はタブレット端末である。通信端末２００は、カメラ付きのＶＲ（Virtual Reality）グラス又はカメラ付きのＡＲ（Augmented Reality）グラスであってもよい。ただし、通信端末２００は、ユーザによって携帯（装着を含む）可能なスマートデバイスに限定されず、例えば、現場において設置されてもよい。

【0020】

通信端末２００は、撮像部２１０及び表示部２２０を備える。

【0021】

撮像部２１０は、外界を撮像するカメラである。撮像部２１０は、建設現場を撮像する。すなわち、撮像部２１０は、建設現場における現在の作業状況を撮像する。通信端末２００は、撮像部２１０で撮像された撮像画像Ｘを、通信ネットワークＮを介して情報処理装置３００に送信する。

【0022】

ただし、これに限定されず、撮像部２１０で撮像された撮像画像Ｘ（デジタル画像）は、情報処理装置３００に入力されればよく、その入力方法には特に限定されない。例えば、ユーザは、ＵＳＢ（Universal Serial Bus）メモリなどの外部の記憶媒体を用いて撮像部２１０から撮像画像Ｘを取り出し、その記録媒体を情報処理装置３００に接続することによって撮像画像Ｘを入力してもよい。なお、撮像画像Ｘは、静止画像であってもよいし、動画像であってもよい。

【0023】

通信ネットワークＮは、無線通信の伝送路（例えば、無線ＬＡＮ）であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信ネットワークＮは、携帯電話回線網などの移動体通信網、無線パケット通信網、インターネット及び専用回線又はそれらの組み合わせであってもよい。例えば、通信ネットワークＮは、省電力広域ネットワーク(LPWAN：Low-power Wide-area)を用いてもよいし、短距離無線通信規格であるＺｉｇＢｅｅ（登録商標）、ＷｉＦｉ（登録商標）、ＢＬＥ等を用いてもよい。

【0024】

表示部２２０は、情報処理装置３００から通信ネットワークＮを介して送信された情報を表示する。例えば、表示部２２０は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイである。また、表示部２２０は、ヘッドマウントディスプレイであってもよい。例えば、表示部２２０は、非透過型のものであってもよく、通信端末２００を装着したユーザが、ＶＲ、ＡＲやＭＲ（Mixed Reality）を体験可能なものであってもよい。

【0025】

情報処理装置３００は、コンピュータであってもよい。情報処理装置３００は、いわゆるサーバ装置であってもよい。前記サーバ装置は、一又は複数の物理サーバ（コンピュータ）を備える。複数の物理サーバは、通信ネットワークを介して互いに接続されていることにより、互いに通信可能である。前記物理サーバは、一又は複数の仮想サーバを備えてもよい。仮想サーバは、クラウドシステム上のサーバ、すなわちクラウドサーバであってもよい。

【0026】

以下において、情報処理装置３００の構成の一例について、説明する。情報処理装置３００は、取得部３１０、生成部３２０、格納部３３０、分析部３４０、抽出部３５０及び表示制御部３６０を備える。なお、取得部３１０、生成部３２０、格納部３３０、分析部３４０、抽出部３５０及び表示制御部３６０の各構成要素は、例えば、ＣＰＵなどのプロセッサがプログラム（ソフトウェア）を実行することで実現される。また、この機能部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0027】

取得部３１０は、通信端末２００から通信ネットワークＮを介して撮像画像Ｘを取得する。

【0028】

生成部３２０は、取得部３１０で取得された撮像画像Ｘである入力画像に基づいて、入力画像に映っている建設現場の状況を示す単語（以下、「第１の単語」という。）を一つ以上含む第１情報を生成する。第１の単語とは、建設現場の状況を直接的に示す単語でもよいし、建設対象や建設機器などの間接的に示す単語でもよい。一例として、第１の単語は、打設、ポンプ打ち、充填などの建設現場の状況を直接的に示す単語であってもよいし、鉄筋、トンネル、バックホウ、地下水などの建設現場の状況を間接的に示す単語であってもよい。生成部３２０は、生成した第１情報を抽出部３５０に出力する。

【0029】

一例として、生成部３２０は、機械学習を用いて入力画像から第１情報を生成してもよい。例えば、生成部３２０は、データ格納部３２１、モデル生成部３２２及び処理部３２３を備える。例えば機械学習は、教師あり学習である。

【0030】

データ格納部３２１は、建設現場の撮像画像Ｙに対して、その撮像画像Ｙに映っている建設現場の状況を示す第１の単語をラベルとして付した教師データが予め格納されている。すなわち、教師データとは、建設現場の撮像画像Ｙと、撮像画像Ｙに映っている建設現場の状況を示す第１の単語とのデータセットである。ここで、撮像画像Ｙは、過去に撮像されたさまざまな建設現場の撮像画像であって、撮像画像Ｘとは異なる。また、撮像画像Ｙは、静止画像であってもよいし、動画像であってもよい。例えば、撮像画像Ｙは、建設現場に設置してあるセキュリティカメラで撮像された画像、携帯情報端末で撮像された画像やインターネットを介して取得した画像であってもよい。すなわち、撮像画像Ｙの取得方法には、特に限定されない。

【0031】

ラベル付けは、人が行ってもよいし、情報処理装置３００が行ってもよいし、その他の装置が行ってもよい。例えば、ラベル付けは、熟練の技術者がタッチパネル、キーボード等に代表されるハードウェアキー、マウス等のポインティングデバイスを用いて行われてもよい。

【0032】

図３は、データ格納部３２１に格納されている複数の教師データの一例を示す。例えば、建設現場の撮像画像Ｙは、大局的な現場状況を示す画像（以下、「大局的シーン画像」という。）と、局所的な現場状況を示す画像（以下、「局所的シーン画像」という。）と、建設に用いられている道具、車両、充填不良を示す箇所（例えば、ジャンカ）の画像（以下、「個別アイテム画像」という。）と、の少なくともいずれかを有する。

【0033】

図３には、９つの教師データＤ１～Ｄ９が示されている。教師データＤ１は、図３に示す大局的シーン画像４１０に対して、「橋梁」、「鉄骨トラス橋」、「国道跨線」の３つの第１の単語がラベルとして付与されているデータセットである。教師データＤ２は、図３に示す大局的シーン画像４２０に対して、「トンネル」、「坑口」、「道路トンネル」の３つの第１の単語がラベルとして付与されているデータセットである。教師データＤ３は、図３に示す大局的シーン画像４３０に対して、「商業ビル」、「タワークレーン」の２つの第１の単語がラベルとして付与されているデータセットである。

【0034】

教師データＤ４は、図３に示す局所的シーン画像４４０に対して、「採掘工」、「バックホウ」、「地下水」の３つの第１の単語がラベルとして付与されているデータセットである。教師データＤ５は、図３に示す局所的シーン画像４５０に対して、「コン打設」、「パケット打ち」、「充填」の３つの第１の単語がラベルとして付与されているデータセットである。教師データＤ６は、図３に示す局所的シーン画像４６０に対して、「足場工」、「ビティ足場」、「高所作業」の３つの第１の単語がラベルとして付与されているデータセットである。

【0035】

教師データＤ７は、図３に示す個別アイテム画像４７０に対して、「トラミキ」、「４．５ｍ^３」の２つの第１の単語がラベルとして付与されているデータセットである。教師データＤ８は、図３に示す個別アイテム画像４８０に対して、「ジャンカ」、「壁」の２つの第１の単語がラベルとして付与されているデータセットである。教師データＤ９は、図３に示す個別アイテム画像４９０に対して、「バイブレータ」、「ハンディ」、「４インチ」の３つの第１の単語がラベルとして付与されているデータセットである。

【0036】

モデル生成部３２２は、データ格納部３２１に格納されている教師データを用いて、入力を撮像画像Ｘ（入力画像）とし、出力を第１情報とする学習モデルを機械学習（例えば、教師あり学習）により生成する。

【0037】

処理部３２３は、モデル生成部３２２により生成された学習モデル（学習済みモデル）を用いて、撮像画像Ｘ（入力画像）に映っている建設現場の状況を示す第１の単語である第１情報を出力する。すなわち、処理部３２３は、取得部３１０で取得された撮像画像Ｘである入力画像を、前記学習済みモデルに入力することで前記学習済みモデルから出力される入力画像に対する第１情報を得る。処理部３２３は、前記学習済みモデルから得られた第１情報を抽出部３５０に出力する。

【0038】

格納部３３０には、施工管理に関する一つ以上の技術資料の電子データを格納する。なお、以下において、技術資料とは、技術資料の電子データを意味する。格納部３３０には、複数種類の技術資料（例えば、マニュアル、施工記録、仕様書）が格納されてもよい。この場合には、格納部３３０には、技術資料が種類ごとに分類されて格納されてもよい。例えば、技術資料の文書構造は、階層化された複数の構成要素を有する構造である。例えば、技術資料は、タイトル、目次／章立て、本文（章、節など）、図表、その他（ＷＥＢへのリンク先情報、参考資料情報）、の複数の構成要素からなる。

【0039】

例えば、複数の構成要素は、タイトル、目次／章立て、本文（章、節など）、図表、その他、の順に階層化されている。また、各構成要素には、一つ以上のキーワード（以下、「第２の単語」という。）が設定されている。換言すれば、各構成要素には、第２の単語が対応付けられている。この第２の単語は、設定されている構成要素内に含まれている言語である。例えば、第２の単語は、設定されている構成要素内に含まれている単語のうち、頻出度が一定以上の単語であってもよいし、施工管理の専門用語であってもよい。各構成要素に設定されている第２の単語は、文書構造に沿ってツリー構造で格納部３３０に格納されている。

【0040】

なお、これらの第２の単語の選択は、マニュアル作業であってもよいし、自然言語処理（natural language processing）を活用して情報処理装置３００が行ってもよい。

【0041】

図４（ａ）は、格納部３３０に格納されている技術資料の一例である。図５（ａ）は、図４（ａ）に示す技術資料における第２の単語のツリー構造を示す図である。この技術資料は、コンクリート施工管理基準のマニュアルである。図４（ａ）に示す技術資料は、タイトル、目次／章立て、本文（章、節など）、図表、その他、の複数の構成要素からなる。一例として、タイトルには、「コンクリート」、「施工基準」という第２の単語が設定されている。目次／章立てには、「充填」、「ジャンカ」などの第２の単語が設定されており、これらの第２の単語は、タイトルの第２の単語に関連付けられている。「充填」、「ジャンカ」などの第２の単語は、各本文の見出しに含まれる単語である。「充填」の第２の単語が含まれている見出しの本文（章、節など）には、「バイブレータ」、「鉄筋」、「ジャンカ」などの第２の単語が設定されている。これらの「バイブレータ」、「鉄筋」、「ジャンカ」は、設定されている本文に含まれている単語であって、「充填」という第２の単語に関連付けられている。また、この本文に含まれる図や表は、「バイブレータ」、「鉄筋」、「ジャンカ」という第２の単語に関連付けられている。また、その他、の第２の単語は、図や表に関連付けられている。このように、各構成要素の第２の単語は、互いに関連性のある第２の単語であり、文書構造に沿って、ツリー構造で関連付けられている。

【0042】

図４（ｂ）は、格納部３３０に格納されている技術資料の一例である。図５（ｂ）は、図４（ｂ）に示す技術資料における第２の単語のツリー構造を示す図である。この技術資料は、トンネル標準示方書である。図４（ｂ）に示す技術資料は、タイトル、目次／章立て、本文（章、節など）、図表、の複数の構成要素からなる。一例として、タイトルには、「トンネル」、「シールド」という第２の単語が設定されている。目次／章立てには、「施工」、「泥土シールド掘進管理」の第２の単語が設定されており、このキーワードは、タイトルの第２の単語に関連付けられている。「施工」、「泥土シールド掘進管理」の第２の単語は、ある本文の見出しに含まれる単語である。「施工」、「泥土シールド掘進管理」の第２の単語が含まれている見出しの本文（章、節など）には、「切羽の安定」、「カッターヘッド」などの第２の単語が設定されている。これらの「切羽の安定」、「カッターヘッド」は、設定されている本文に含まれている単語であって、「施工」、「泥土シールド掘進管理」という第２の単語に関連付けられている。このように、各構成要素の第２の単語は、文書構造に沿ってツリー構造で関連付けられている。

【0043】

なお、技術資料は、動画であってもよい。技術資料が動画の場合においては、動画に流れる音声をテキスト化することによって、上記と同様に、技術資料を階層化された複数の構成要素に分類し、それらの構成要素に対して第２の単語を設定するともに、それらの第２の単語をツリー構造で関連付けることができる。

【0044】

分析部３４０は、少なくとも技術資料に含まれるテキストデータに基づいて、テキストデータに含まれる複数の単語間の関連性を分析する。このテキストデータとは、格納部３３０に格納されている技術資料のテキストデータを含んでいる。また、分析部３４０は、技術資料以外の資料、例えば、辞書などの施工管理に関する専門用語が記載されている資料のテキストデータを含めて、複数の単語間の関連性を分析してもよい。

【0045】

一例として、分析部３４０は、自然言語処理を用いて複数の単語間の関連性を分析する。例えば、分析部３４０は、多くの技術資料にある大量のテキストデータを自然言語処理によって分析し、単語間の相関関係（コンクリート－充填、打設－ポンプ打ちなど）、類似性（鉄筋－鉄骨など）などの関連性を分析する。分析部３４０は、分析結果を抽出部３５０に出力する。

【0046】

抽出部３５０は、分析部３４０の分析結果に基づいて、第１情報に関連する単語を含む技術資料の文章（例えば、本文）及び図面の少なくともいずれかを含む情報である第２情報を、格納部３３０に格納されている電子データから抽出する。例えば、抽出部３５０は、分析部３４０の分析結果に基づいて、第１情報に関連する第２の単語を探索する。そして、抽出部３５０は、第１情報に関連する第２の単語に対応付けられている本文及び図面を格納部３３０から第１情報として抽出する。これにより、第１情報に含まれている第１の単語と、格納部３３０に格納されている技術資料内の第２の単語とが完全に一致しなくても、関連性のある単語同士の結付けが可能となる。

【0047】

例えば、第１情報が、打設、ポンプ打ち、鉄筋、充填であるとする。この場合において、抽出部３５０は、打設、ポンプ打ち、鉄筋、充填の少なくともいずれかに一致する第２の単語を探索するだけでなく、打設、ポンプ打ち、鉄筋、充填という第１の単語に関連する第２の単語を分析部３４０の分析結果に基づいて探索して、該当する第２の単語に対応する構成要素である本文及び図面を抽出する。すなわち、抽出部３５０は、打設、ポンプ打ち、鉄筋、充填という第１の単語と関連がある本文及び図面を第２の情報として格納部３３０から抽出する。

【0048】

表示制御部３６０は、抽出部３５０で抽出された第２情報を表示部２２０に表示させる。一例として、表示制御部３６０は、抽出部３５０で抽出された第２情報を通信端末２００に対して通信ネットワークＮを介して送信することで、第２情報を表示部２２０に表示させる。

【0049】

次に、本実施形態の情報処理装置３００の動作の流れを説明する。

【0050】

現場管理者Ｍは、通信端末２００を用いて建設現場の現場状況を撮像する。通信端末２００は、撮像現場の撮像画像Ｘを情報処理装置３００に送信する。情報処理装置３００は、事前に、データ格納部３２１に格納されている教師データを用いて、入力を撮像画像Ｘ（入力画像）とし、出力を第１情報とする学習モデルを教師あり学習により生成する生成ステップを実行する。さらに、情報処理装置３００は、事前に、少なくとも技術資料に含まれるテキストデータに基づいて、そのテキストデータに含まれる複数の単語間の関連性を分析する分析ステップを実行する。

【0051】

情報処理装置３００は、通信端末２００から撮像画像Ｘが入力されると、事前に生成した学習済みモデルに、その撮像画像Ｘを入力することで、学習済みモデルから第１情報を取得する。次に、情報処理装置３００は、分析ステップの分析結果に基づいて、学習済みモデルから取得した第１情報に関連する単語を含む文章及び図面の少なくともいずれかを含む情報である第２情報を、情報処理装置３００内の格納部３３０に格納されている技術資料から抽出する。情報処理装置３００は、抽出した第２情報を通信端末２００に無線送信することで、通信端末２００対して第２情報を表示させる。これにより、現場管理者Ｍは、建設現場の状況に関連する情報を現場で入手できる。

【0052】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0053】

（変形例１）本実施形態では、情報処理システム１００は、通信端末２００及び情報処理装置３００を備える。ただし、これに限定されず、情報処理システム１００は、通信端末２００及び情報処理装置３００の各機能を有する一つの情報処理装置（例えば、ノートＰＣ又はスマートデバイス（例えば、スマートフォン又はタブレット端末））であってもよい。

【0054】

（変形例２）本実施形態において、教師データのラベル付けに用いられる第１の単語は、格納部３３０に格納されているツリー構造の第２の単語から用いられてもよい。この場合、ツリー構造のどのレベルまでを採用するかは画像認識における必要な認識度合いに応じて決定されてもよい。例えば、当初、浅いレベルまでで処理し、機械学習の学習度の進行・成熟化に応じて深いレベルの第２の単語を都度、ラベル付けの第１の単語として追加してもよい。ただし、これに限定されず、格納部３３０に格納されている第２の単語に関係なくラベル付けを行ってもよい。この場合には、分析部３４０の分析結果によって、ラベル付けのワードである第１の単語と、技術資料内のキーワードである第２の単語とが関連付けられる。

【0055】

（変形例３）本実施形態の生成部３２０は、学習済みモデルを用いて第１情報を生成した。ただし、これに限定されず、生成部３２０は、建設現場の撮像画像Ｘに基づいて、撮像画像Ｘに映っている建設現場の状況を示す単語を一つ以上含む第１情報を生成すれば、その生成方法には特に限定されない。

【0056】

（変形例４）本実施形態の分析部３４０は、自然言語処理を用いて複数の単語間の関連性を分析したが、これに限定されず、複数の単語間の関連性を分析できれば、種々の公知の技術を用いてもよい。

【0057】

（変形例５）本実施形態の情報処理装置３００は、ノートＰＣなどの携帯可能な情報処理装置であってもよい。これにより、通信端末２００と情報処理装置３００との間に、通信を阻害するものがある場合には、現場管理者Ｍは、情報処理装置３００を移動させることで、通信端末２００と情報処理装置３００との間の安定的な通信環境を構築することができる。

【0058】

（変形例６）本実施形態の撮像部２１０と表示部２２０とが同一の通信端末２００に設けられているが、これに限定されない。例えば、撮像部２１０と表示部２２０とが異なる通信端末に設けられてもよい。例えば、人が立ち入ることが困難な現場においては、遠隔操作が可能なロボットなどに撮像部２１０を取りつけ、ロボットで作業を行いながら現場の状況を撮像する。そして、現場管理者Ｍやロボットの遠隔操作者は、表示部２２０を有する通信端末を携帯又は装着しており、表示部２２０に表示される第１情報を確認することで、人が立ち入ることが困難な現場の状況に必要な情報を入手することができる。

【0059】

以上、説明したように、本実施形態の情報処理装置３００は、建設現場の撮像画像Ｘである入力画像に基づいて、入力画像に映っている建設現場の状況を示す単語を一つ以上含む第１情報を生成する。そして、情報処理装置３００は、少なくとも技術資料に含まれるテキストデータに基づいて、そのテキストデータに含まれる複数の単語間の関連性を分析し、その分析結果に基づいて、第１情報に関連する単語を含む文章及び図面の少なくともいずれかを含む情報である第２情報を、格納部３３０に格納されている電子データから抽出する。情報処理装置３００は、抽出した第２情報を表示部２２０に表示させる。

【0060】

このような構成によれば、現場管理者Ｍは、現場においてオンタイムに必要な情報を入手することができる。

【0061】

なお、上述した情報処理装置３００の全部または一部をコンピュータで実現するようにしてもよい。この場合、上記コンピュータは、ＣＰＵ、ＧＰＵなどのプロセッサ及びコンピュータ読み取り可能な記録媒体を備えてもよい。そして、上記情報処理装置３００の全部または一部の機能をコンピュータで実現するためのプログラムを上記コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを上記プロセッサに読み込ませ、実行することによって実現してもよい。ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0062】

明細書の全体において、ある部分がある構成要素を「含む」、「有する」や「備える」とする時、これは、特に反対の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むことができるということを意味する。

【0063】

また、明細書に記載の「…部」の用語は、少なくとも１つの機能や動作を処理する単位を意味し、これは、ハードウェアまたはソフトウェアとして具現されてもよいし、ハードウェアとソフトウェアとの組み合わせで具現されてもよい。

【符号の説明】

【0064】

１００…情報処理システム、２００…通信端末、２１０…撮像部、２２０…表示部２２０、３００…情報処理装置、３１０…取得部、３２０…生成部、３３０…格納部、３４０…分析部、３５０…抽出部、３６０…表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】