特開 2023-20402 電子小黒板生成装置及び電子小黒板生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023020402

(43)【公開日】2023-02-09

(54)【発明の名称】電子小黒板生成装置及び電子小黒板生成方法

(51)【国際特許分類】

   G06T 11/60 20060101AFI20230202BHJP

   G06Q 50/08 20120101ALI20230202BHJP

【ＦＩ】

G06T11/60 100A

G06Q50/08

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021125745

(22)【出願日】2021-07-30

(11)【特許番号】

(45)【特許公報発行日】2022-01-12

(71)【出願人】

【識別番号】500163115

【氏名又は名称】株式会社ルクレ

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】有馬 弘進

【テーマコード（参考）】

5B050

5L049

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA13

5B050CA07

5B050CA08

5B050DA01

5B050EA19

5B050FA02

5L049CC07

(57)【要約】

【課題】設計図面から自動的に電子小黒板画像を生成する電子小黒板生成装置を提供する。
【解決手段】建築工事に用いられる構造図を入力する構造情報入力部と、構造図を解析し、構造図に含まれる構造物を一意に識別するための識別子と、当該識別子において区別され当該構造物の構造を図示する断面図と、当該識別子において区別され当該構造物の仕様を示す要素情報の、配列パターンとしてのレイアウトパターンを学習データとして機械学習をした学習済みモデルを生成する学習部と、学習済みモデルによって、構造図の入力に対して、レイアウトパターンを区別し、建築工事において施工される構造物ごとに、当該構造物の施工状況を記録する画像に重畳させる電子小黒板画像をレイアウトパターンに基づいて出力する電子小黒板画像出力部と、を含む電子小黒板生成装置による。
【選択図】図１

【特許請求の範囲】

【請求項1】

建築工事に用いられる構造図を入力する構造情報入力部と、
前記構造図を解析し、前記構造図に含まれる構造物を一意に識別するための識別子と、当該識別子において区別され当該構造物の構造を図示する断面図と、当該識別子において区別され当該構造物の仕様を示す要素情報の、配列パターンとしてのレイアウトパターンを学習データとして機械学習をした学習済みモデルを生成する学習部と、
前記学習済みモデルによって、前記構造図の入力に対して、前記レイアウトパターンを区別し、前記建築工事において施工される構造物ごとに、当該構造物の施工状況を記録する画像に重畳させる電子小黒板画像を前記レイアウトパターンに基づいて出力する電子小黒板画像出力部と、
を含むことを特徴とする電子小黒板生成装置。

【請求項2】

前記施工状況を記録する画像に前記電子小黒板画像を重畳した記録画像を格納する画像格納部と、
前記記録画像を格納すべき前記構造物のうち、当該記録画像が格納されていない構造物の存在を通知する情報を出力する情報通知部と、を含む、
請求項１に記載の電子小黒板生成装置。

【請求項3】

前記学習部は、前記構造図に含まれるコンポーネントを特定し、当該コンポーネントに含まれるテーブル構造を特定して前記レイアウトパターンの機械学習をする、
請求項１又は２に記載の電子小黒板生成装置。

【請求項4】

前記学習部は、
前記構造図のテーブル構造を識別するテーブル構造識別部と、
識別されたテーブル構造にて保持されているコンポーネントを特定するコンポーネント特定部と、
前記コンポーネントに含まれるセルを抽出するセル抽出部と、
前記セルに含まれる画像情報及び文字情報を特定する情報特定部と、を含む、
請求項１又は２に記載の電子小黒板生成装置。

【請求項5】

コンピュータが提供するクラウドコンピューティングによる電子小黒板画像生成処理により実現する電子小黒板生成方法であって、
前記コンピュータが、
建築工事に用いられる構造図の入力を受け付ける入力ステップと、
前記構造図を教師データとして機械学習を実行し、前記構造図に含まれる構造物を一意に識別するための識別子と、当該識別子において区別され当該構造物の構造を図示する断面図と、当該識別子において区別され当該構造物の仕様を示す要素情報の、配列パターンとしてのレイアウトパターンを解析するための学習済みモデルを生成する学習ステップと、
新たに入力された構造図の入力に対し、学習済みモデルを用いて前記レイアウトパターンを区別し、前記建築工事において施工される構造物ごとに、当該構造物の施工状況を記録する画像に重畳させる電子小黒板画像を前記レイアウトパターンに基づいて出力する電子小黒板画像出力ステップと、
を含むことを特徴とする電子小黒板生成方法。

【請求項6】

前記施工状況を記録する画像に前記電子小黒板画像を重畳した記録画像を格納する画像格納ステップと、
前記記録画像を格納すべき前記構造物のうち、当該記録画像が格納されていない構造物の存在を通知する情報を出力する情報通知ステップと、をさらに含む、
請求項５に記載の電子小黒板生成方法。

【請求項7】

前記学習ステップにおいて、前記構造図に含まれるコンポーネントを特定し、当該コンポーネントに含まれるテーブル構造を特定して前記レイアウトパターンの機械学習をするステップを含む、
請求項５又は６に記載の電子小黒板生成方法。

【請求項8】

前記学習ステップにおいて、
前記構造図のテーブル構造を識別するテーブル構造識別ステップと、
識別されたテーブル構造にて保持されているコンポーネントを特定するコンポーネント特定ステップと、
前記コンポーネントに含まれるセルを抽出するセル抽出ステップと、
前記セルに含まれる画像情報及び文字情報を特定する情報特定ステップと、を含む、
請求項５又は６に記載の電子小黒板生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子小黒板生成装置及び電子小黒板生成方法に関する。

【背景技術】

【0002】

建築工事において、事前に作成された設計図面に沿った施工が完了したことの記録を作成する必要がある。特に、工事完了後に外部から視認できなくなる工事箇所については、特に、それぞれの箇所の施工状態を画像で記録することが求められる。この記録方法として、主にカメラを用いて施工箇所を写真撮影する方法が用いられる。その際、施工箇所と共に、当該施工箇所を識別するための情報を記入した工事用小黒板も写り込むようにする。

【0003】

工事用小黒板は、画像として記録される施工箇所ごとの内容に書き替える必要があり、この書き替えは人手で行っていた。また、正確に記録する必要もあるので、写真を見てわかる程度の明瞭さで記入する必要がある。この点、建築工事の規模によって記録する施工箇所の数は大量であるから、その都度、正確に工事用小黒板を書き替える作業は非常に煩雑である。そこで近年は、工事用小黒板に係る煩雑さを解消するために、電子小黒板の導入が進んでいる。

【0004】

従来、設計図面に記載されている文字や図形の中から必要な部分を作業者が特定して抜き出す必要があった。従来技術の一例として、設計図面に記載されている文字や図形を人手で特定し、それら特定された部分を抜き出して電子小黒板の画像を生成する技術が知られている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－１７４８８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特に、鉄筋コンクリート施工において、完成時にコンクリート壁の内部に埋没する鉄筋の配置状態（使用している鉄筋の種類、配置、本数など）が設計図通りであることも記録するために、配筋のイメージを示す図が有用である。

【0007】

特許文献１に記載の技術によれば、予め人手で電子小黒板の画像を生成するために、配筋図から必要な図面部分を人間が指定して抜き出すので、事前準備のための作業に煩雑さがある。

【0008】

また、近年の労働環境の変化に対応するために日本国においては、労働時間の上限規制なども予定されており、建築工事に関わる人員の作業効率を高める要求もあることから、今後益々電子工事黒板の利用が促進されると予想されている。

【0009】

しかしながら、建築工事の設計図面において、例えば配筋図などの記載様式は完全に統一されているわけではなく、構造図として必要な情報は定まっていても、様式には揺らぎがある。したがって、仮に、配筋図から電子小黒板を生成するために必要となる図形や文字を自動的に特定して抽出するには、図面内の表現の揺らぎ（様式のばらつき）に対応する必要がある。すなわち、従来技術を用いて、建築工事で必要となる工事記録の作成の効率化を図るために、電子小黒板を精度良くかつ効率的に生成するには課題がある。

【0010】

本発明は、設計図面から自動的に電子小黒板画像を生成する電子小黒板生成装置及び電子小黒板生成方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記課題を解決するために、本発明は、電子小黒板生成装置に関し、建築工事に用いられる構造図を入力する構造情報入力部と、前記構造図を解析し、前記構造図に含まれる構造物を一意に識別するための識別子と、当該識別子において区別され当該構造物の構造を図示する断面図と、当該識別子において区別され当該構造物の仕様を示す要素情報の、配列パターンとしてのレイアウトパターンを学習データとして機械学習をした学習済みモデルを生成する学習部と、前記学習済みモデルによって、前記構造図の入力に対して、前記レイアウトパターンを区別し、前記建築工事において施工される構造物ごとに、当該構造物の施工状況を記録する画像に重畳させる電子小黒板画像を前記レイアウトパターンに基づいて出力する電子小黒板画像出力部と、を含むことを特徴とする。

【発明の効果】

【0012】

本発明によれば、設計図面から自動的に電子小黒板を生成できる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る電子小黒板生成方法の実施に用いられるシステムの構成図。

【図2】本発明に係る電子小黒板生成装置の実施形態を示すハードウェア構成図。

【図3】本発明に係る電子小黒板生成装置の実施形態に用いられる情報入力装置と画像出力装置のハードウェア構成図。

【図4】上記画像出力装置の利用形態の示す図。

【図5】本発明に係る電子小黒板生成方法の処理の流れを例示するフローチャート。

【図6】上記電子小黒板生成装置への入力データとしての構造図の例を示す図。

【図7】上記電子小黒板生成装置に入力された構造図に対する機械学習の流れを説明する図。

【図8】上記電子小黒板生成装置に入力された構造図に対する機械学習の流れを説明する図。

【図9】上記電子小黒板生成装置に入力された構造図に対する機械学習の流れを説明する図。

【図10】上記電子小黒板生成装置に入力された構造図を学習済みモデルによって処理をして生成されるデータテーブルの例と、出力される電子小黒板画像の例を示す図。

【図11】上記電子小黒板生成装置に入力された構造図を学習済みモデルによって処理をして生成されるデータテーブルの別例を示す図。

【図12】上記電子小黒板生成装置に入力された構造図を学習済みモデルによって処理をして出力されたデータテーブルに基づいて出力される電子小黒板画像の別例を示す図。

【図13】上記電子小黒板生成装置の機械学習で用いられるネットワーク構造の例を示す図。

【発明を実施するための形態】

【0014】

［本発明に係る実施形態の要旨］
以下、本発明に係る電子小黒板生成装置及び電子小黒板生成方法について、図面を参照しながら説明する。図１は、クラウドコンピューティングを利用する電子小黒板生成装置の例を示すシステム構成図である。

【0015】

電子小黒板生成装置としての電子小黒板自動生成装置１０は、インターネット上に配置されたコンピュータのハードウェア資源を利用して、そのハードウェア資源において実行されるソフトウェア技術によって所定の機能を実現する装置である。電子小黒板自動生成装置１０については、詳細を後述するが、情報入力装置２０から入力される建築工事用の設計図面（以下、単に「設計図面」と表記する。）のうち、柱などの構造物の設計図面（以下「構造図」と表記する。）を教師データとする機械学習による学習済みモデルを搭載する。なお、電子小黒板自動生成装置１０への情報入力機能を実現するハードウェアとして、以下の説明では、いわゆるパーソナルコンピュータに代表される情報処理装置を例示している。また、情報出力装置（画像表示含む）としては、いわゆるタブレット型情報端末を例示している。しかしながら、本実施形態に係る電子小黒板自動生成装置１０に対する情報の入出力を担うハードウェア資源は、これらに限定されるものではない。以下において説明する情報処理機能を実現可能なものであれば、形態等は問わないものとする。

【0016】

そして、電子小黒板自動生成装置１０は、学習済みモデルにおいて構造図を解析することで、入力された構造図の様式が多様であっても、適切な電子小黒板画像を自動的に、かつ、正確に生成して、記録を要する施工箇所に関連付けて管理することができる。

【0017】

また、電子小黒板自動生成装置１０は、画像表示装置３０の要求に基づいて、管理保管している電子小黒板画像を適宜出力し、画像表示装置３０において取得された記録画像を保管する機能も備える。

【0018】

［電子小黒板自動生成装置１０のハードウェア構成例］
図２は、クラウドコンピューティング技術を利用する電子小黒板自動生成装置１０を構成する情報処理装置のハードウェア構成例を示す図である。例えば、電子小黒板自動生成装置１０は、以下のようなハードウェア資源を有する。

【0019】

図２に示すように、電子小黒板自動生成装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される演算装置１０１を有する。また、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される記憶装置１０２を有する。

【0020】

また、電子小黒板自動生成装置１０は、通信ネットワークを介して受け取ったデータを演算装置１０１に入力する機能を担う入力装置１０３と、演算装置１０１において処理をされた結果を出力する機能を担う出力装置１０４を有する。

【0021】

さらに電子小黒板自動生成装置１０は、インターフェース（以下、「Ｉ／Ｆ１０５」とする。）等を有する。Ｉ／Ｆ１０５には、通信モジュール１１が接続されている。通信モジュール１１は、インターネットを電子小黒板自動生成装置１０に対して通信可能に接続する機能を担う。

【0022】

なお、図２において電子小黒板自動生成装置１０を一台の筐体に収まっているハードウェア資源のように表現しているが、これに限定されるものではない。例えば、本実施形態に係る電子小黒板自動生成装置１０は複数台の情報処理装置を結合して上記と同様のハードウェア資源を実現するように構成されていてもよい。

【0023】

また、電子小黒板自動生成装置１０は、演算装置１０１、記憶装置１０２、入力装置１０３、出力装置１０４の他、さらに補助装置を有してもよい。具体的には、情報処理装置は、外部、又は、内部にＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の補助装置があってもよい。

【0024】

［情報入力装置２０のハードウェア構成例］
図３（ａ）は、電子小黒板自動生成装置１０に対して構造図を入力するための情報処理装置としての情報入力装置２０のハードウェア構成例を示す図である。

【0025】

図３（ａ）に示すように情報入力装置２０は電子小黒板自動生成装置１０と同様のハードウェア資源を有している。すなわち、演算処理部としてのＣＰＵ２０１、不揮発性記憶部としてのＲＯＭ２０２、揮発性記憶部としてのＲＡＭ２０３、入力情報を記憶して保管するためのＳＳＤ２０４などを有する。また、外部インターフェースとしてのＩ／Ｆ２０５を有し、Ｉ／Ｆ２０５に通信モジュール２２と、画像読取りモジュール２１を有する。

【0026】

画像読取りモジュール２１は、構造図を光学的に読み取って画像情報を生成し、情報入力装置２０への入力データを生成する機能を有する。例えば、画像読取りモジュール２１は、スキャナ等が該当する。

【0027】

通信モジュール２２は、電子小黒板自動生成装置１０に対して、読み取ったデータを送信する機能を有する。なお、情報入力装置２０が電子小黒板自動生成装置１０に送信するデータ（入力データ）は、画像読取りモジュール２１において光学的に読み取られたデータに限定されず、構造図が含まれているデータファイルでもよい。

【0028】

本実施形態では、情報入力装置２０が、構造図としての入力データをデータファイルとして電子小黒板自動生成装置１０に送信することを例示する。電子小黒板自動生成装置１０に送信される入力データとなる建築設計図面には、様々な形式のものが想定される。その一例として、鉄筋コンクリート部材の配筋状況を表した配筋図を入力データとする。なお、入力データとしての配筋図はＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）データでもよい。

【0029】

［画像表示装置３０のハードウェア構成例］
図３（ｂ）は、電子小黒板自動生成装置１０において自動的に生成された電子小黒板画像を表示出力するための情報処理装置としての画像表示装置３０のハードウェア構成例を示す図である。これまで説明したハードウェア資源と共通するものが多いので、画像表示装置３０において特有になるものを説明する。

【0030】

図３（ｂ）に示すように、Ｉ／Ｆ３０５には、画像表示部としてのモニタ３１と、画像取得部としてのカメラ３２が接続されている。

【0031】

モニタ３１は、電子小黒板自動生成装置１０において生成された電子小黒板画像を表示する。また、カメラ３２の画角にて取得される被写体画像を表示する。また、モニタ３１はタッチパネル機能を備えていて、撮像のトリガー操作を受け付ける機能も備える。

【0032】

カメラ３２は、施工箇所の状態（施工状況）を画像として記録するための撮像手段であって、モニタ３１に備わるシャッターの操作に応じて写真撮影を行ない、取得した画像を電子小黒板自動生成装置１０へと送信する。

【0033】

ここで、画像表示装置３０の利用形態について、図４を用いて説明する。図４は、画像表示装置３０の外観の例を示す正面図である。画像表示装置３０は、正面側にモニタ３１が配置されていて、背面側にカメラ３２が配置されている。

【0034】

画像表示装置３０を用いて、利用者が工事の施工箇所の画像を記録するとき、電子小黒板自動生成装置１０において生成されて管理されている電子小黒板３１１を、所定の操作で読み出す。このとき、カメラ３２は施工箇所の方に向いているので、被写体３１２としての施工箇所の風景が写し出される。また、電子小黒板３１１は、写し出されている被写体３１２の邪魔にならない位置に重畳させることができる。この電子小黒板３１１の位置は、利用者がモニタ３１に対して操作をすることで任意の位置に移動させることができる。また、電子小黒板自動生成装置１０及び画像表示装置３０のいずれか一方又は両方の機能において、適切な位置を自動的に特定し重畳させることもできる。

【0035】

また、電子小黒板自動生成装置１０において被写体３１２に含まれている情報を解析して、施工状況下における配筋の位置などを個別に識別することで、その識別結果に基づいて、各配筋に配筋マーカ３１３を重畳する画像を生成してもよい。

【0036】

画像表示装置３０は、図４に示すような表示が成立している段階において、シャッター３１４を操作することで、被写体３１２において記録として残す必要がある部分と、それを避ける位置に電子小黒板３１１が重畳した画像が記録される。またこのとき、被写体３１２を識別するための情報としての電子小黒板３１１の他、配筋マーカ３１３も重畳して画像を記録してもよい。

【0037】

なお、画像表示装置３０において記録された画像は、画像表示装置３０が備えるＳＳＤ３０４に格納されてもよいし、電子小黒板自動生成装置１０に送信されて、電子小黒板自動生成装置１０が備える記憶装置１０２に格納されてもよい。

【0038】

［電子小黒板生成方法の実施形態］
次に、電子小黒板自動生成装置１０において実行される機能処理によって実現される電子小黒板生成方法について、図５のフローチャートを用いて説明する。

【0039】

図５は、電子小黒板生成方法として実行される処理の全体を例示している。例えば、電子小黒板自動生成装置１０は、図示するように、「学習処理」、及び、「実行処理」の順に各処理を実行する。学習処理は、実行処理より事前に実行される処理である。すなわち、学習処理は、学習モデルを機械学習により生成し学習させる処理である。そして、実行処理は、学習後の学習済みモデルを用いる処理である。

【0040】

なお、電子小黒板自動生成装置１０は、学習処理、及び、実行処理を図５に例示するような連続する処理として実行しなくともよい。したがって、電子小黒板自動生成装置１０は、学習処理によって学習モデルを学習し、その後、学習済みモデルを用いた実行を連続して行わなくともよい。例えば、電子小黒板自動生成装置１０は、学習済みモデルを一旦作成した後に、別の機会として学習済みモデルを用いる実行処理を行うようにしてもよい。

【0041】

また、学習済みモデルが一度生成された後であれば、学習済みモデルを転用し、電子小黒板自動生成装置１０は、実行処理から開始してもよい。以下、電子小黒板自動生成装置１０が学習処理、及び、実行処理を連続して実行する場合を例に説明する。すなわち、学習モデル、及び、学習済みモデルは、転移学習（Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ）、又は、ファインチューニング（Ｆｉｎｅ ｔｕｎｉｎｇ）等を行う構成でもよい。

【0042】

［学習処理の例］
まず、電子小黒板自動生成装置１０は情報入力装置２０によって、電子小黒板画像を自動的に生成するための教師データとしての配筋図Ｄｔのデータ入力を受け付ける（Ｓ５０１）。Ｓ５０１において入力される配筋図のデータは、例えば、ＰＤＦで生成されているものを取得すればよい。

【0043】

すなわち、Ｓ５０１では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現される構造情報入力部により構造情報入力ステップが実行される。

【0044】

続いて、入力された配筋図データを解析して、配筋データに含まれるテーブル構造を解析する。そして、テーブル構造で形成されている配筋図に含まれる枠組みから、各セルを個別に識別できる状態にする（Ｓ５０２）。

【0045】

ここで、教師データとして入力される配筋図データの構成に関して説明する。図６（ａ）、（ｂ）、（ｃ）に例示するように、教師データとしての配筋図Ｄｔには、様々なレイアウトからなるものがある。これらを教師データとして学習処理を行うことで、実行処理において入力される配筋図Ｄｉから、文字や図形を区別し、電子小黒板画像を生成するために必要な情報の識別子、情報の要素を特定する。そして、各情報を関連付けて、構造物ごとの電子小黒板を生成するためテーブルデータを生成するための学習済みモデルを生成できる。

【0046】

図７は、あるレイアウトからなる教師データとしての配筋図Ｄｔの一例である。図７に示すように教師データとしての配筋図Ｄｔには、鉄筋コンクリート構造を利用する建築工事において、施工される柱構造物を個別に区別するための情報が記載されている。各柱に用いられる鉄筋の本数や配置状態を示す断面図（以下「豆図Ｐ１」とする。）と共に、柱構造物の建築物内での配置（階数）や位置を識別するための識別情報Ｍ１１が含まれている。また、識別情報Ｍ１１に関連付けられている各柱の構造を示すための情報としての「上端筋」「下端筋」「スターラップ」「腹筋」に関する情報を示す要素情報Ｍ２２が含まれている。

【0047】

Ｓ５０２では、周知の画像分析処理技術を利用して、建築図面データの分析をして、図７に示すような配筋図Ｄｔから、すべての垂直線と水平線を検出する。そして、各垂直線と水平線の交点を特定して、豆図Ｐ１が含まれるコンポーネントＰ１１を全て特定する。すなわち、Ｓ５０２では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現されるコンポーネント特定部によりコンポーネント特定ステップが実行される。

【0048】

また、Ｓ５０２では、画像分析技術を用いて各コンポーネントＰ１１に含まれる文字を分析し、文字領域の大きさを抽出する。

【0049】

また、Ｓ５０２では、各コンポーネントＰ１１に含まれる潜在的なテーブルの輪郭を取得して、座標位置で定義する。その潜在的なテーブルを構成する垂直線と水平線に沿って分析して、コンポーネントＰ１１において複数のセルが含まれているか否かを分析する。

【0050】

図８は、コンポーネントＰ１１に含まれる潜在的なテーブルのイメージを説明する図である。図８に例示する潜在テーブルＰ１１１は、配筋図Ｄｔにおいて枠線が表現されてはいないが、コンポーネントＰ１１の構造を解析することによりテーブル構造を解析し、解析結果として特定のテーブル構造として情報が取得される。そして、潜在テーブルＰ１１１の構造に基づいて、コンポーネントＰ１１に含まれる各要素が特定される。

【0051】

また、潜在テーブルＰ１１１には、潜在セルＰ１１２が含まれる。図８の例では、一つの潜在テーブルＰ１１１に複数の潜在セルＰ１１２が含まれている。したがって、図８においては、一つのコンポーネントＰ１１に、一つの潜在テーブルＰ１１１が含まれていて、その潜在テーブルＰ１１１には、二つの潜在セルＰ１１２が含まれている。

【0052】

すなわち、Ｓ５０２では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現されるセル抽出部によりセル抽出ステップが実行される。

【0053】

また、Ｓ５０２では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現されるテーブル構造識別部によりテーブル構造識別ステップが実行される。

【0054】

以上のように、配筋図Ｄｔを分析し、多様な様式やレイアウトにおいてテーブル輪郭とセル輪郭を特定し、これらの相関を学習させる。すなわち、配筋図Ｄｔ（教師データ）に含まれる豆図Ｐ１の特定と、識別情報Ｍ１１の特定及び要素情報Ｍ２２の特定と、これらの相関関係を機械学習する（Ｓ５０３）。すなわち、Ｓ５０３において、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現される学習部より学習ステップが実行される。

【0055】

そして、Ｓ５０３において、配筋図Ｄｔに含まれる構造物を一意に識別するための識別子と、当該識別子に関連づく図面と、当該識別子に関連づく要素情報と、を含む情報の配列状態（レイアウト）を学習データとして機械学習処理を実行する。その結果、配筋図Ｄｔに含まれる各データの配列（位置）及びその内容に基づいて、後述する電子小黒板３１１を自動的に生成するときに用いられるデータの配列パターンとしてのレイアウトパターンを区別可能な学習済みモデルを生成する。この学習済みモデルに対して、所定のデータを入力することにより、上記にて列挙した各データを含むデータを自動的に特定して抽出し、電子小黒板３１１のレイアウトに当てはめて画像としての電子小黒板３１１を出力する。

【0056】

例えば、ＤＢスキャンアルゴリズムを活用して、クラスタリングするなどを行い、異なる配筋図Ｄにおいて様式が異なるレイアウトであっても、類似するテーブル集団に分類する学習済みモデルを生成する。そして、分類されたテーブル集団を識別可能にする学習済みモデルを、電子小黒板自動生成装置１０に格納し、実行処理段階で入力される配筋図Ｄｉが、学習済みモデルにおいて、テーブル集団にうちのどのテーブル様式に該当するかを特定することができる。

【0057】

すなわち、Ｓ５０３では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現されるテーブル構造識別部によりテーブル構造識別ステップが実行される。

【0058】

以上の処理に基づいて、その結果、構造図データから電子小黒板を自動的に生成するために適用可能な学習済みモデルを得ることができる。

【0059】

例えば、図７の領域Ｒに例示するように、一つの識別情報Ｍ１１に対して１対１で関連付けられる情報が、複数のセルが含まれている場合でも、これらを区別する学習モデルを生成する。その結果、各コンポーネントＰ１１に含まれている豆図Ｐ１と、豆図Ｐ１に関連付く要素情報Ｍ２２とを区別して取得し、これらを関連付けて格納する処理を実行できる。

【0060】

［実行処理の例］
続いて、実行処理の例について、引き続き図５を参照しながら説明する。Ｓ５０３において学習済みモデルが生成された後、電子小黒板自動生成装置１０に対して情報入力装置２０から新たに、入力データとしての配筋図Ｄｉを入力する（Ｓ５０４）。電子小黒板自動生成装置１０では、入力された配筋図Ｄｉに対して学習済みモデルによる内容特定処理を実行する（Ｓ５０５）。この結果、電子小黒板の生成に用いるテーブルデータを生成する。

【0061】

例えば、図９に、配筋図Ｄｉを例示する。この入力データとしての配筋図Ｄｉにして学習済みモデルを用いて、図８等において例示したような各コンポーネントＰ１１を特定する。そして、各コンポーネントＰ１１に対して、潜在テーブルＰ１１１と潜在セルＰ１１２の位置を取得する。そして、取得された潜在テーブルＰ１１１と潜在セルＰ１１２から、電子小黒板画像に埋め込むために必要なテキスト情報（文字情報）と図情報（画像情報）を取得して分類する。

【0062】

また、学習済みモデルを用いて、識別情報Ｍ１１に相当する情報を特定し、さらに、電子小黒板画像を生成して区別する単位も特定する。例えば、識別情報Ｍ１１として特定された情報の列の先頭位置に相当する文字情報を「階数を示す情報」として特定する。また、行の先頭位置に相当する文字情報を「同じ階の中での位置を示す情報」として特定する。これら特定された情報に基づいて、「同一階の構造物として施工される構造物に対応する電子小黒板情報」を、各構造物の位置ごとに区別する情報構造を有するテーブルデータを生成する。

【0063】

すなわち、Ｓ５０５では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現される情報特定部により情報特定ステップが実行される。当該情報特定ステップにおいて、上記のデータテーブルを生成する。

【0064】

そして、生成されたテーブルデータに基づいて、配筋図Ｄｉに含まれる情報から特定された電子小黒板画像を生成する（Ｓ５０６）。例えば、図１０（ａ）に例示した配筋図Ｄｉから図１０（ｂ）に例示する電子小黒板３１１が生成される。

【0065】

配筋図Ｄｉから特定された識別情報Ｍ１１に関する情報と、要素情報Ｍ２２として特定されるコンポーネントＰ１１の情報に基づいて、図１０（ａ）に例示するような、電子小黒板３１１を生成する。

【0066】

図１０（ａ）における符号Ｍ１１１は、識別情報Ｍ１１に相当する部分であって、文字情報として特定されて、電子小黒板３１１に含まれる情報識別子に相当する。この情報識別子のレイアウトも、配筋図Ｄｉのレイアウトに合わせて適宜選択されるものとする。

【0067】

また、符号Ｍ２２１は、要素情報Ｍ２２に相当する部分であって、コンポーネントＰ１１ごとに変化する。

【0068】

また、図１１は、配筋図Ｄｉから特定されて生成されたデータテーブルの一部を示す別例である。図１１のデータテーブルに基づくと、図１２（ａ）と図１２（ｂ）に例示する電子小黒板３１１が生成される。

【0069】

Ｓ５０６において、図１０（ｂ）及び図１２のように生成された電子小黒板３１１を記憶装置１０２に格納する。すなわち、Ｓ５０６では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現される画像格納部により画像格納ステップ実行される。

【0070】

その後、画像表示装置３０を用いて施工箇所の記録操作を行うときに、格納されている電子小黒板３１１が読み出されて、施工箇所の画像に重畳されて記録される（Ｓ５０７）。

【0071】

すなわち、Ｓ５０７では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現される電子小黒板画像出力部により電子小黒板画像出力ステップが実行される。

【0072】

続いて、生成されている電子小黒板３１１のうち、施工箇所の記録に用いられていないものの有無を判定する（Ｓ５０８）。すなわち、記録すべき施工状況が未記録状態である構造物の存在を判定する。判定の結果、未記録状態の構造物が存在しているときは（Ｓ５０８）、電子小黒板自動生成装置１０から画像表示装置３０に対して、未記録構造物に関する通知を出力する（Ｓ５０９）。これによって、記録漏れを抑制することができる。

【0073】

すなわち、Ｓ５０９では、電子小黒板自動生成装置１０において実行される処理プログラムにおいて実現される情報通知部により情報通知ステップが実行される。

【0074】

図５に戻る。Ｓ５１０では、電子小黒板自動生成装置１０は、追加で学習処理を行うか否かを判断する。例えば、実行処理を実行した結果、より精度向上が必要等と判断された場合等には、電子小黒板自動生成装置１０は、追加で学習処理を行う。

【0075】

次に、追加で学習処理を行う場合（Ｓ５１０：ＹＥＳ）には、電子小黒板自動生成装置１０の処理は、Ｓ５０１に戻る、すなわち、学習処理を追加して行う。一方で、追加で学習処理を行わない場合（Ｓ５１０：ＮＯ）には、電子小黒板自動生成装置１０は、全体処理を終了する。

【0076】

以上説明したとおり、本実施形態に係る電子小黒板生成方法によれば、構造図面の一例としての配筋図から、施工箇所の状態を画像記録する際、施工箇所に関連する情報を表示するための電子小黒板画像をソフトウェア技術によって自動生成する。この電子小黒板画像生成処理には、教師データとしての配筋図Ｄｔと、これに含まれる豆図Ｐ１と情報の関連付けられ方の揺らぎの影響を排除して、所定の形式の電子小黒板画像を生成するための機械学習を実行した学習済みモデルを用いる。

【0077】

また、生成された電子小黒板画像を用いた施工箇所の撮影処理を行うときに、該当する電子小黒板画像を自動的に重畳させて「電子黒板記録画像」を記録し、記録状態に基づいて施工全体の進捗状況の管理にも転用することができる。

【0078】

なお、教師データとしての配筋図Ｄｔの代わりに、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉ Ｍｏｄｅｌｉｎｇ）における、ＢＩＭモデルを用いて、配筋図Ｄｉの代わりに、ＢＩＭモデルを入力して、必要となる電子小黒板３１１の画像を生成してもよい。

【0079】

また、ＢＩＭモデルの代わりに、ＣＡＤデータを用いてもよい。

【0080】

［ネットワーク構造例］
ここで、上記の電子小黒板生成方法において生成される学習済みモデルのネットワーク構造の例を図１３に示す。電子小黒板自動生成装置１０において生成される学習モデル、及び、学習済みモデルによるＡＩは、以下のようなネットワーク構造で配筋図Ｄｉとしての画像データ等を処理する。

【0081】

例えば、ＡＩは、入力層Ｌ１、隠れ層Ｌ２、及び、出力層Ｌ３を有するネットワーク構造を有してもよい。具体的には、ＡＩは、図示するようなＣｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（畳み込みニューラルネットワーク、ＣＮＮ）等を有するネットワーク構造でもよい。

【0082】

ここで、入力層Ｌ１は、入力データとしての配筋図Ｄｉを画像として入力する層である。隠れ層Ｌ２は、入力層Ｌ１で入力する画像に対して、畳み込み、プーリング、正規化、又は、これらの組み合わせ等の処理を行う層である。出力層Ｌ３は、隠れ層Ｌ２で処理された結果を出力する層である。例えば、出力層Ｌ３は、全結合層等で構成される。

【0083】

畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）は、例えば、フィルタ、マスク、又は、カーネル（以下単に「フィルタ」という。）等に基づいて、画像、又は、画像に対して所定の処理を行って生成される特徴マップ等に対して、フィルタ処理を行って、特徴マップを生成する処理である。

【0084】

具体的には、フィルタは、フィルタ係数（「重み」又は「パラメータ」等という場合もある。）を画像又は特徴マップの画素値に乗じる計算をするのに用いるデータである。なお、フィルタ係数は、学習又は設定等により定まる値である。

【0085】

そして、畳み込みの処理は、画像又は特徴マップを構成する画素のそれぞれの画素値に、フィルタ係数を乗じる計算を行い、計算結果を構成要素とする特徴マップを生成する処理である。このように、畳み込みの処理が行われると、画像又は特徴マップの特徴が抽出できる。特徴は、例えば、エッジ成分、又は、対象とする画素の周辺を統計処理した結果等である。

【0086】

また、畳み込みの処理が行われると、対象とする画像又は特徴マップが示す被写体等が、上下にずれる、左右にずれる、斜めにずれる、回転、又は、これらの組み合わせとなる画像又は特徴マップであっても同様の特徴が抽出できる。

【0087】

プーリング（Ｐｏｏｌｉｎｇ）は、対象とする範囲に対して、平均の計算、最小値の抽出、又は、最大値の抽出等の処理を行って、特徴を抽出して特徴マップを生成する処理である。すなわち、プーリングは、ｍａｘプーリング、又は、ａｖｇプーリング等である。

【0088】

なお、畳み込み、及び、プーリングは、ゼロパディング（Ｚｅｒｏ Ｐａｄｄｉｎｇ）等の前処理があってもよい。

【0089】

以上のような、畳み込み、プーリング、又は、これらの組み合わせによって、いわゆるデータ量削減効果、合成性、又は、移動不変性等が獲得できる。

【0090】

正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）は、例えば、分散及び平均値を揃える処理等である。なお、正規化は、局所的に行う場合を含む。そして、正規化が行われるとは、データは、所定の範囲内の値等になる。ゆえに、以降の処理においてデータの扱いが容易にできる。

【0091】

全結合（Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）は、特徴マップ等のデータを出力に落とし込む処理である。

【0092】

例えば、出力は、「ＹＥＳ」又は「ＮＯ」等のように、出力が２値の形式である。このような出力形式では、全結合は、２種類のうち、いずれかの結論となるように、隠れ層Ｌ２で抽出される特徴に基づいてノードを結合する処理である。

【0093】

一方で、出力が３種類以上ある場合等には、全結合は、いわゆるソフトマックス関数等を行う処理である。このようにして、全結合により、最尤推定法等によって分類（確率を示す出力を行う場合を含む。）を行うことができる。

【0094】

なお、本発明は上述した各実施形態に限定されるものではなく、その技術的要旨を逸脱しない範囲で種々の変形が可能であり、特許請求の範囲に記載された技術思想に含まれる技術的事項の全てが本発明の対象となる。上記実施形態は、好適な例を示したものであるが、当業者であれば、開示した内容から様々な変形例を実現することが可能である。そのような変形例も、特許請求の範囲に記載された技術的範囲に含まれる。

【符号の説明】

【0095】

１０ ：電子小黒板自動生成装置
１１ ：通信モジュール
２０ ：情報入力装置
２１ ：画像読取りモジュール
２２ ：通信モジュール
３０ ：画像表示装置
３１ ：モニタ
３２ ：カメラ
１０１ ：演算装置
１０２ ：記憶装置
１０３ ：入力装置
１０４ ：出力装置
１０５ ：Ｉ／Ｆ
２０１ ：ＣＰＵ
２０２ ：ＲＯＭ
２０３ ：ＲＡＭ
２０５ ：Ｉ／Ｆ
３０５ ：Ｉ／Ｆ
３１１ ：電子小黒板
３１２ ：被写体
３１３ ：配筋マーカ
３１４ ：シャッター

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】