特開 2024-70131 作業認識方法、プログラム及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070131

(43)【公開日】2024-05-22

(54)【発明の名称】作業認識方法、プログラム及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240515BHJP

   E04G 21/06 20060101ALI20240515BHJP

   E04G 21/00 20060101ALI20240515BHJP

【ＦＩ】

G06T7/00 610Z

E04G21/06 ESW

E04G21/00

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022180543

(22)【出願日】2022-11-10

(71)【出願人】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100154003

【弁理士】

【氏名又は名称】片岡 憲一郎

(72)【発明者】

【氏名】田中 将希

【テーマコード（参考）】

2E172

5L096

【Ｆターム（参考）】

2E172FA12

2E172HA03

5L096AA06

5L096AA09

5L096BA02

5L096CA04

5L096CA05

5L096DA02

5L096FA67

5L096FA69

5L096HA09

5L096JA11

5L096JA18

(57)【要約】

【課題】作業を簡単に認識できる作業認識方法、プログラム及び装置を提供する。
【解決手段】作業認識方法は、現実空間内でカメラ１ａによって作業の画像２を取得する作業撮影ステップＳ２と、画像２に基づいて、現実空間内でのカメラ１ａの位置を含むカメラ状態に対応するマップ内でのカメラ状態を特定するカメラ状態特定ステップＳ３と、マップ内でのカメラ状態と、画像２内での作業の位置を含む作業状態である画像内作業状態とに基づいて、現実空間内での作業状態を特定する作業状態特定ステップＳ４とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

現実空間内でカメラによって作業の画像を取得する作業撮影ステップと、
前記画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態と、前記画像内での前記作業の位置を含む作業状態である画像内作業状態とに基づいて、前記現実空間内での前記作業状態を特定する作業状態特定ステップとを有する、作業認識方法。

【請求項2】

前記カメラ状態特定ステップは、前記画像に含まれる前記現実空間内の特徴点群と、当該特徴点群に対応する前記マップ内での前記特徴点群とを比較することで、前記マップ内での前記カメラ状態を特定する、請求項１に記載の作業認識方法。

【請求項3】

前記マップ内での前記特徴点群を構築するために、前記現実空間内で前記カメラを移動させながら前記現実空間内の前記特徴点群を撮影する特徴点群撮影ステップを有する、請求項２に記載の作業認識方法。

【請求項4】

前記カメラ状態は前記カメラの前記位置と向きを含み、
前記作業状態は前記作業の前記位置と向きを含む、請求項１に記載の作業認識方法。

【請求項5】

前記作業は作業手段を含む、請求項１に記載の作業認識方法。

【請求項6】

前記作業状態は前記作業手段の作動状態を含む、請求項５に記載の作業認識方法。

【請求項7】

前記作業状態特定ステップは、前記作業手段に付され前記画像に含まれる大きさが既知のマーカーによって前記画像内での前記作業状態を特定する、請求項５に記載の作業認識方法。

【請求項8】

前記作業手段は振動発生装置を含む、請求項５に記載の作業認識方法。

【請求項9】

前記現実空間内での前記作業状態に基づいて前記作業の進捗状況を特定する進捗状況特定ステップを有する、請求項１に記載の作業認識方法。

【請求項10】

前記作業の進捗状況の特定は、作業完了領域と作業未完了領域の特定を含む、請求項９に記載の作業認識方法。

【請求項11】

前記現実空間内での前記作業状態又は当該作業状態に基づいて特定した情報を報知する報知ステップを有する、請求項１に記載の作業認識方法。

【請求項12】

前記現実空間は、GPS測定ができない空間である、請求項１に記載の作業認識方法。

【請求項13】

現実空間内でカメラによって取得された作業の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態と、前記画像内での前記作業の位置を含む作業状態である画像内作業状態とに基づいて、前記現実空間内での前記作業状態を特定する作業状態特定ステップとをコンピュータに実行させる、作業認識プログラム。

【請求項14】

カメラと、
現実空間内でカメラによって取得された作業の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定し、前記マップ内での前記カメラ状態と、前記画像内での前記作業の位置を含む作業状態である画像内作業状態とに基づいて、前記現実空間内での前記作業状態を特定する処理装置とを有する、作業認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は作業認識方法、プログラム及び装置に関する。

【背景技術】

【0002】

所定領域内の様々な場所に設置した位置測位センサによって滞在者の位置を特定する滞在者認識方法が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／１２９０５５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

建設現場などでのコンクリートの打設作業などの作業を認識するために、作業が行われる領域内の様々な場所にセンサを設置することは煩雑であり実現性に欠ける。

【0005】

そこで本発明の目的は、作業を簡単に認識できる作業認識方法、プログラム及び装置を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様は以下のとおりである。

【0007】

［１］
現実空間内でカメラによって作業の画像を取得する作業撮影ステップと、
前記画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態と、前記画像内での前記作業の位置を含む作業状態である画像内作業状態とに基づいて、前記現実空間内での前記作業状態を特定する作業状態特定ステップとを有する、作業認識方法。

【0008】

［２］
前記カメラ状態特定ステップは、前記画像に含まれる前記現実空間内の特徴点群と、当該特徴点群に対応する前記マップ内での前記特徴点群とを比較することで、前記マップ内での前記カメラ状態を特定する、［１］に記載の作業認識方法。

【0009】

［３］
前記マップ内での前記特徴点群を構築するために、前記現実空間内で前記カメラを移動させながら前記現実空間内の前記特徴点群を撮影する特徴点群撮影ステップを有する、［２］に記載の作業認識方法。

【0010】

［４］
前記カメラ状態は前記カメラの前記位置と向きを含み、
前記作業状態は前記作業の前記位置と向きを含む、［１］～［３］の何れか１項に記載の作業認識方法。

【0011】

［５］
前記作業は作業手段を含む、［１］～［４］の何れか１項に記載の作業認識方法。

【0012】

［６］
前記作業状態は前記作業手段の作動状態を含む、［５］に記載の作業認識方法。

【0013】

［７］
前記作業状態特定ステップは、前記作業手段に付され前記画像に含まれる大きさが既知のマーカーによって前記画像内での前記作業状態を特定する、［５］又は［６］に記載の作業認識方法。

【0014】

［８］
前記作業手段は振動発生装置を含む、［５］～［７］の何れか１項に記載の作業認識方法。

【0015】

［９］
前記現実空間内での前記作業状態に基づいて前記作業の進捗状況を特定する進捗状況特定ステップを有する、［１］～［８］の何れか１項に記載の作業認識方法。

【0016】

［１０］
前記作業の進捗状況の特定は、作業完了領域と作業未完了領域の特定を含む、［９］に記載の作業認識方法。

【0017】

［１１］
前記現実空間内での前記作業状態又は当該作業状態に基づいて特定した情報を報知する報知ステップを有する、［１］～［１０］の何れか１項に記載の作業認識方法。

【0018】

［１２］
前記現実空間は、GPS測定ができない空間である、［１］～［１１］の何れか１項に記載の作業認識方法。

【0019】

［１３］
現実空間内でカメラによって取得された作業の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態と、前記画像内での前記作業の位置を含む作業状態である画像内作業状態とに基づいて、前記現実空間内での前記作業状態を特定する作業状態特定ステップとをコンピュータに実行させる、作業認識プログラム。

【0020】

［１４］
カメラと、
現実空間内でカメラによって取得された作業の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定し、前記マップ内での前記カメラ状態と、前記画像内での前記作業の位置を含む作業状態である画像内作業状態とに基づいて、前記現実空間内での前記作業状態を特定する処理装置とを有する、作業認識装置。

【発明の効果】

【0021】

本発明によれば、作業を簡単に認識できる作業認識方法、プログラム及び装置を提供することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態の作業認識方法を示すフロー図である。

【図2】図１に示す作業認識方法を行うための作業認識装置の一例を示すブロック図である。

【図3】図１に示す報知ステップによる報知の一例を示す模式図である。

【図4】図１に示す作業状態特定ステップによる処理の一例を示す模式図である。

【発明を実施するための形態】

【0023】

以下、図面を参照しつつ本発明の実施形態を例示説明する。

【0024】

図１に示すように、本発明の一実施形態において、作業認識方法は、現実空間内でカメラ１ａ（図２参照）によって作業の画像２（図４参照）を取得する作業撮影ステップＳ２と、画像２に基づいて、現実空間内でのカメラ１ａの位置を含むカメラ状態に対応するマップ内でのカメラ状態を特定するカメラ状態特定ステップＳ３と、マップ内でのカメラ状態と、画像２内での作業の位置を含む作業状態である画像内作業状態とに基づいて、現実空間内での作業状態を特定する作業状態特定ステップＳ４とを有する。

【0025】

このような構成によれば、まずカメラ状態特定ステップＳ３により、現実空間内での画像２を取得した時のカメラ１ａの位置の推定結果を、マップ内でのカメラ１ａの位置として認識し、次に作業状態特定ステップＳ４により、当該カメラ１ａの位置と当該画像２内での作業の位置の推定結果とに基づいて、現実空間内での作業の位置を認識できる。このように、上記構成によれば、カメラ１ａによって取得された画像２に基づいて作業を認識できるので、作業が行われる領域内の様々な場所にセンサを設置する煩雑な作業等の必要性を低減できる。また上記構成によれば、GPS（Global Positioning System）測定ができない空間においても、作業の位置を認識できる。

【0026】

画像２は単眼画像でよいが、例えば、ステレオ画像などであってもよい。画像２は、作業を連続して撮影して得られた動画を構成する１コマであってもよいし、作業を断続して撮影して得られた複数の静止画像の１つであってもよい。カメラ１ａは特に限定されず例えば、ウェアラブルカメラや、スマートグラスなどのウェアラブル端末に内蔵されたカメラなどであってよい。作業は人によるものであってもよいし、完全に自動化された無人作業であってもよい。

【0027】

カメラ状態特定ステップＳ３は、画像２に含まれる現実空間内の特徴点群（周囲の構造物の稜線など、位置を知るための目印となる特徴点の集合）と、当該特徴点群に対応するマップ内での特徴点群とを比較することで、マップ内でのカメラ状態を特定する。このような構成によれば、カメラ状態特定ステップＳ３において、カメラ１ａの急な移動等による現実空間内でのカメラ１ａの位置の推定誤差（すなわち、現実空間内でのカメラ１ａの位置とマップ内でのカメラ１ａの位置との間のずれ）の発生とその蓄積を抑制でき、その結果、現実空間内での作業の位置の推定精度を高めることができる。しかし、カメラ状態特定ステップＳ３の構成はこれに限らない。

【0028】

作業認識方法は、マップ内での特徴点群を構築するために、現実空間内でカメラ１ａを移動させながら現実空間内の特徴点群を撮影する特徴点群撮影ステップＳ１を有する。このような構成によれば、マップ内での特徴点群をカメラ１ａによって簡単に構築できる。しかし、マップ内での特徴点群の構築方法はこれに限らない。

【0029】

特徴点群撮影ステップＳ１、作業撮影ステップＳ２及びカメラ状態特定ステップＳ３は、例えば、Visual SLAM（Visual Simultaneous Localization and Mapping）技術を用いて実行することができる。

【0030】

カメラ状態はカメラ１ａの位置と向きを含み、作業状態は作業の位置と向きを含む。このような構成によれば、カメラ１ａによって取得された画像２に基づいて、作業の位置に加えて作業の向きも認識できる。しかし、カメラ状態の構成はこれに限らない。

【0031】

作業は作業手段３（図３～４参照）を含む。このような構成によれば、カメラ１ａによって取得された画像２に基づいて作業手段３の位置を含む作業状態を認識できる。しかし、作業の構成はこれに限らない。

【0032】

作業状態は作業手段３の作動状態を含む。このような構成によれば、カメラ１ａによって取得された画像２に基づいて、作業手段３の位置に加えて作業手段３の作動状態（電源のＯＮ／ＯＦＦ状態など）も認識できる。しかし、作業状態の構成はこれに限らない。

【0033】

作業状態特定ステップＳ４は、例えば図４に示すように、作業手段３に付され画像２に含まれる大きさが既知のマーカー４によって画像２内での作業状態を特定する。このような構成によれば、画像２内での作業手段３の作業状態の推定精度を高めることができる。しかし、作業状態特定ステップＳ４はこれに限らず、例えば、視差（単眼画像の時間視差、ステレオ画像視差など）や遠近法などによって画像２内での作業状態を特定する構成としてもよい。

【0034】

作業状態特定ステップＳ４による処理の一例を図４に示す。本例では、長尺状の１つの作業手段３に対して長手方向にずらして２つのマーカー４を付し、画像２内のこれらのマーカー４の位置と大きさに基づいて当該作業手段３の先端位置（床面位置）を推定する。

【0035】

作業手段３は、図３～図４に示すように、振動発生装置３ａを含む。このような構成によれば、振動による動作不良のリスクなどから位置検出用センサを搭載しにくい振動発生装置３ａの位置を、カメラ１ａによって取得された画像２に基づいて認識できる。しかし、作業手段３の構成はこれに限らない。

【0036】

作業は、図３～図４に示すように、建設現場などでのコンクリートの打設作業（締め固め作業）である。このような構成によれば、カメラ１ａによって取得された画像２に基づいてコンクリートの打設作業を簡単に認識できる。しかし作業はこれに限らない。図３～図４に示すように、振動発生装置３ａは注入済みコンクリートを均すために振動を与える。

【0037】

作業は、例えば、クレーン作業であってもよい。この場合、作業手段３は例えば、クレーンのブームを含み、作業対象５は例えば、クレーンによる運搬対象物を含み、作業状態は例えば、ブームの先端（フック）の位置を含む。

【0038】

作業手段３は、図３～図４に示すように、コンクリートの注入パイプ３ｂを含む。注入パイプ３ｂは、コンクリート注入予定領域５ｂに対してコンクリートを注入する。このような構成によれば、注入パイプ３ｂの位置を、カメラ１ａによって取得された画像２に基づいて認識できる。しかし、作業手段３の構成はこれに限らない。

【0039】

作業は、図３～図４に示すように作業者６を含む。このような構成によれば、カメラ１ａによって取得された画像２に基づいて作業者６の位置を認識できる。しかし、作業の構成はこれに限らない。

【0040】

作業は、図３～図４に示すように作業対象５を含む。このような構成によれば、カメラ１ａによって取得された画像２に基づいて作業対象５の位置を認識できる。しかし、作業の構成はこれに限らない。振動発生装置３ａの作業対象５はコンクリート注入済み領域５ａである。注入パイプ３ｂの作業対象５はコンクリート注入予定領域５ｂである。

【0041】

作業認識方法は、図１に示すように、現実空間内での作業状態に基づいて作業の進捗状況を特定する進捗状況特定ステップＳ５を有する。このような構成によれば、カメラ１ａによって取得された画像２に基づいて作業の進捗状況を簡単に認識できる。しかし、進捗状況特定ステップＳ５を有さない構成としてもよい。作業の進捗状況の特定は、例えば、作業完了領域と作業未完了領域の特定を含む。作業完了領域の特定は、マップ内でのカメラ状態と、画像２内での作業手段３の位置と作動状態を含む画像内作業状態とに基づいて特定できる。

【0042】

作業認識方法は、図１に示すように、現実空間内での作業状態又は当該作業状態に基づいて特定した情報を報知する報知ステップＳ６を有する。このような構成によれば、カメラ１ａによって取得された画像２に基づいて推定した作業状態又は当該作業状態に基づいて推定した情報（作業の進捗状況など）を、作業者６又は（例えば作業管理事務所内の）作業管理者などに（無線又は有線の）通信を介して報知することで、適切な作業を簡単に実現できる。しかし、報知ステップＳ６を設けない構成としてもよい。

【0043】

報知ステップＳ６による報知の一例を図３に示す。本例では、図３に示すように、振動装置を操作する作業者６の位置、振動装置の位置（現在及び過去）、コンクリート注入済み領域５ａ（着手中の領域の一部）の位置、注入パイプ３ｂを操作する作業者６の位置、注入パイプ３ｂの位置、コンクリート注入予定領域５ｂ（着手中の領域の他の一部）、及び、作業の進捗状況（作業対象面積に対する作業済み面積の割合、作業対象層数に対する作業済み層数）を報知する。報知の方式は特に限定されないが、図３に示すように、現実世界に仮想世界を重ね合わせて表示する拡張現実方式が好ましい。

【0044】

コンクリートの締め固め作業は、振動発生装置３ａによるコンクリートの均し作業が完了した領域と未完了の領域との区別が肉眼では難しいため、上記の作業認識方法の利用が特に適する。

【0045】

作業認識方法は、カメラ状態特定ステップＳ３、作業状態特定ステップＳ４、進捗状況特定ステップＳ５及び報知ステップＳ６をコンピュータに実行させる作業認識プログラムを用いて実行される。しかし、作業認識方法の構成はこれに限らない。

【0046】

作業認識方法は、図２に示すような、カメラ１ａ、処理装置１ｂ及び報知装置１ｃを有する作業認識装置１を用いて実行される。処理装置１ｂはコンピュータによって構成され、作業認識プログラムによってカメラ状態特定ステップＳ３、作業状態特定ステップＳ４及び進捗状況特定ステップＳ５を実行する。また処理装置１ｂは作業認識プログラムと報知装置１ｃによって報知ステップＳ６を実行する。しかし、作業認識方法の構成はこれに限らない。

【0047】

報知装置１ｃは特に限定されないが、ディスプレイによって構成することが好ましい。ディスプレイは特に限定されず例えば、スマートグラスなどのウェアラブル端末や、スマートフォン、タブレット、ノートパソコンなどの携帯端末や、デスクトップパソコンなどの固定端末などの、任意の端末に設けられる。

【0048】

本発明は前述した実施形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

【符号の説明】

【0049】

１ 作業認識装置
１ａ カメラ
１ｂ 処理装置
１ｃ 報知装置
２ 画像
３ 作業手段
３ａ 振動発生装置
３ｂ 注入パイプ
４ マーカー
５ 作業対象
５ａ コンクリート注入済み領域
５ｂ コンクリート注入予定領域
６ 作業者
Ｓ１ 特徴点群撮影ステップ
Ｓ２ 作業撮影ステップ
Ｓ３ カメラ状態特定ステップ
Ｓ４ 作業状態特定ステップ
Ｓ５ 進捗状況特定ステップ
Ｓ６ 報知ステップ

【図1】

【図2】

【図3】

【図4】