特表 2024-532877 作業空間における関心領域をモニタリングする方法及びそのセンシング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】作業空間における関心領域をモニタリングする方法及びそのセンシング装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240903BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024512020

(86)(22)【出願日】2022-08-18

(85)【翻訳文提出日】2024-02-29

(86)【国際出願番号】 KR2022012340

(87)【国際公開番号】W WO2023027421

(87)【国際公開日】2023-03-02

(31)【優先権主張番号】10-2021-0113406

(32)【優先日】2021-08-26

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521292722

【氏名又は名称】ソウル ロボティクス カンパニー リミテッド

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】パク， ジェイル

(72)【発明者】

【氏名】キム， ドン ヘ

(72)【発明者】

【氏名】ラ， チャン ヨプ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA02

5L096CA18

5L096DA02

5L096FA12

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得するセンサ部、メモリ、及び該メモリに保存された１以上の命令語を実行することにより、作業空間に配された工作機械に対応する関心領域を設定し、関心領域に係わる点群に基づき、工作機械を運転する作業員の姿勢を追跡し、追跡された作業員の姿勢に基づき、作業空間における危険状況を感知するプロセッサを含むセンシング装置が開示される。
【選択図】図８

【特許請求の範囲】

【請求項1】

三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得する段階と、
前記作業空間に配された工作機械に対応する関心領域を設定する段階と、
前記関心領域に係わる点群に基づき、前記工作機械を運転する作業員の姿勢を追跡する段階と、
前記追跡された作業員の姿勢に基づき、前記作業空間における危険状況を感知する段階と、を含む、作業空間における関心領域をモニタリングする方法。

【請求項2】

前記関心領域は、
前記工作機械の危険領域と、前記工作機械を運転するとき、前記作業員の身体が位置する観察領域と、を含む、請求項１に記載の作業空間における関心領域をモニタリングする方法。

【請求項3】

前記関心領域を設定する段階は、
前記作業空間に係わる点群に基づいて生成される空間情報マップに、前記工作機械の種類によって事前に定められた前記危険領域と、前記作業員のユーザープロファイルに基づく身体情報によって決定された前記観察領域と、を設定する、請求項２に記載の作業空間における関心領域をモニタリングする方法。

【請求項4】

前記作業員の姿勢を追跡する段階は、
前記危険領域と、前記作業員の身体部位別に区分されたサブ観察領域とに、前記作業員に対応する点群が存在するか否かということを判断する段階と、
前記危険領域と前記サブ観察領域とのうち、前記作業員に対応する点群が存在する領域の組み合わせに基づき、前記作業員の姿勢を決定する段階と、を含む、請求項２に記載の作業空間における関心領域をモニタリングする方法。

【請求項5】

前記作業員の姿勢を追跡する段階は、
マシンラーニング基盤の神経網モデルを利用し、前記作業員に対応する点群から、スケルトン情報を獲得する段階と、
前記スケルトン情報の関節位置によって区分される前記作業員の身体部位と、前記危険領域と、に基づき、前記作業員の姿勢を決定する段階と、を含む、請求項２に記載の作業空間における関心領域をモニタリングする方法。

【請求項6】

前記作業空間における危険状況を感知する段階は、
前記追跡された作業員の姿勢に対応する前記作業員の体積と、前記工作機械の体積とが互いに重なる程度により、前記危険状況のレベルを決定する段階と、
前記決定された危険状況のレベルにより、前記危険状況であるか否かということを決定する段階と、を含む、請求項１に記載の作業空間における関心領域をモニタリングする方法。

【請求項7】

前記感知された危険状況を、危険状況管理サービスを提供するサーバに通報する段階をさらに含み、
前記サーバに通報する段階は、
前記決定された危険状況のレベルが第１基準値以上であるならば、前記サーバに、潜在的危険状況が感知されることを通報し、前記第１基準値より高い第２基準値以上であるならば、前記サーバに、危険状況が生じていることを通報する、請求項６に記載の作業空間における関心領域をモニタリングする方法。

【請求項8】

前記追跡された作業員の姿勢変化により、前記作業員の動きを予測する段階と、
前記予測された動きにより、前記作業空間における危険状況を予測する段階と、をさらに含む、請求項１に記載の作業空間における関心領域をモニタリングする方法。

【請求項9】

三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得する命令語と、
前記作業空間に配された工作機械に対応する関心領域を設定する命令語と、
前記関心領域に係わる点群に基づき、前記工作機械を運転する作業員の姿勢を追跡する命令語と、
前記追跡された作業員の姿勢に基づき、前記作業空間における危険状況を感知する命令語と、を含む、コンピュータで実行させるためのプログラムを保存したコンピュータで読み取り可能な記録媒体。

【請求項10】

三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得するセンサ部と、
１以上の命令語を保存するメモリと、
前記１以上の命令語を実行することにより、前記作業空間に配された工作機械に対応する関心領域を設定し、前記関心領域に係わる点群に基づき、前記工作機械を運転する作業員の姿勢を追跡し、前記追跡された作業員の姿勢に基づき、前記作業空間における危険状況を感知するプロセッサと、を含む、作業空間における関心領域をモニタリングするセンシング装置。

【請求項11】

前記関心領域は、
前記工作機械の危険領域と、前記工作機械を運転するとき、前記作業員の身体が位置する観察領域と、を含む、請求項１０に記載のセンシング装置。

【請求項12】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記作業空間に係わる点群に基づいて生成される空間情報マップに、前記工作機械の種類によって事前に定められた前記危険領域と、前記作業員のユーザープロファイルに基づく身体情報によって決定された前記観察領域と、を設定する、請求項１１に記載のセンシング装置。

【請求項13】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記危険領域と、前記作業員の身体部位別に区分されたサブ観察領域とに、前記作業員に対応する点群が存在するか否かということを判断し、前記危険領域と、前記サブ観察領域のうち、前記作業員に対応する点群が存在する領域との組み合わせに基づき、前記作業員の姿勢を決定する、請求項１１に記載のセンシング装置。

【請求項14】

前記プロセッサは、前記１以上の命令語を実行することにより、
マシンラーニング基盤の神経網モデルを利用し、前記作業員に対応する点群から、スケルトン情報を獲得し、前記スケルトン情報の関節位置によって区分される前記作業員の身体部位と、前記危険領域と、に基づき、前記作業員の姿勢を決定する、請求項１１に記載のセンシング装置。

【請求項15】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記追跡された作業員の姿勢に対応する前記作業員の体積と、前記工作機械の体積とが互いに重なる程度により、前記危険状況のレベルを決定し、前記決定された危険状況のレベルにより、前記危険状況であるか否かということを決定する、請求項１０に記載のセンシング装置。

【請求項16】

前記感知された危険状況を、危険状況管理サービスを提供するサーバに通報する通信インターフェースをさらに含み、
前記プロセッサは、前記１以上の命令語を実行することにより、
前記通信インターフェースを介し、前記決定された危険状況のレベルが第１基準値以上であるならば、前記サーバに、潜在的危険状況が感知されることを通報し、前記第１基準値より高い第２基準値以上であるならば、前記サーバに、危険状況が生じていることを通報する、請求項１５に記載のセンシング装置。

【請求項17】

前記プロセッサは、前記１以上の命令語を実行することにより、
前記追跡された作業員の姿勢変化により、前記作業員の動きを予測し、前記予測された動きにより、前記作業空間における危険状況を予測する、請求項１０に記載のセンシング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業空間における関心領域をモニタリングする方法及びそのセンシング装置に関する。

【背景技術】

【0002】

工作機械を使用する作業空間において、作業員の安全事故が毎年発生している。安全事故を事前に防止するか、あるいは安全事故が発生した場合、早く対処することが必要である。そのために、作業空間を早く、かつ正確にセンシングする技術が必要である。

【0003】

LiDAR（light detection and ranging）技術のようなセンシング技術の発展により、最近、多様な産業技術分野において、センシング技術が融合された先端制御機能が活用されている。LiDARは、三次元空間の客体に光を放出した後、反射された光を受信し、そこから、三次元空間に係わる情報を獲得する技術である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

工作機械を運転する作業員の姿勢を追跡し、作業空間における危険状況を感知するために、作業空間における関心領域をモニタリングする方法、及びそのセンシング装置に関する。

【課題を解決するための手段】

【0005】

第１態様による作業空間における関心領域をモニタリングする方法は、三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得する命令語、前記作業空間に配された工作機械に対応する関心領域を設定する命令語、前記関心領域に係わる点群に基づき、前記工作機械を運転する作業員の姿勢を追跡する命令語、及び前記追跡された作業員の姿勢に基づき、前記作業空間における危険状況を感知する命令語を含む。

【0006】

第２態様によるコンピュータで読み取り可能な記録媒体は、三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得する命令語、前記作業空間に配された工作機械に対応する関心領域を設定する命令語、前記関心領域に係わる点群に基づき、前記工作機械を運転する作業員の姿勢を追跡する命令語、及び前記追跡された作業員の姿勢に基づき、前記作業空間における危険状況を感知する命令語を含む、コンピュータで実行させるためのプログラムを保存する。

【0007】

第３態様による作業空間における関心領域をモニタリングするセンシング装置は、三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得するセンサ部、１以上の命令語を保存するメモリ、及び前記１以上の命令語を実行することにより、前記作業空間に配された工作機械に対応する関心領域を設定し、前記関心領域に係わる点群に基づき、前記工作機械を運転する作業員の姿勢を追跡し、前記追跡された作業員の姿勢に基づき、前記作業空間における危険状況を感知するプロセッサを含む。

【図面の簡単な説明】

【0008】

【図1】作業空間に設けられたセンシング装置、及びサーバを含む危険状況感知システムについて説明するための図である。

【図2】一実施形態による、センシング装置の構成及び動作について説明するための図である。

【図3】作業空間に係わる点群及び関心領域について説明するための図である。

【図4】作業員の姿勢を追跡するために、危険領域とサブ観察領域とに、作業員に対応する点群が存在するか否かということを判断するプロセスの一例について説明するための図である。

【図5A】危険領域とサブ観察領域とのうち、作業員に対応する点群が存在する領域の組み合わせに基づき、作業員の姿勢を決定した例について説明するための図である。

【図5B】危険領域とサブ観察領域とのうち、作業員に対応する点群が存在する領域の組み合わせに基づき、作業員の姿勢を決定した例について説明するための図である。

【図5C】危険領域とサブ観察領域とのうち、作業員に対応する点群が存在する領域の組み合わせに基づき、作業員の姿勢を決定した例について説明するための図である。

【図5D】危険領域とサブ観察領域とのうち、作業員に対応する点群が存在する領域の組み合わせに基づき、作業員の姿勢を決定した例について説明するための図である。

【図6】作業員の姿勢を追跡するために、作業員に対応する点群から、スケルトン情報を抽出するプロセスの一例について説明するための図である。

【図7】一実施形態による、サーバの構成及び動作について説明するための図である。

【図8】一実施形態による、作業空間における関心領域をモニタリングする方法について説明するためのフローチャートである。

【図9】作業空間における危険状況を感知するプロセスの一例について説明するための詳細フローチャートである。

【図10】作業空間における危険状況を予測するプロセスの一例について説明するための詳細フローチャートである。

【発明を実施するための形態】

【0009】

以下においては、図面を参照し、多様な実施形態について詳細に説明する。本実施形態の特徴についてさらに明確に説明するために、以下の実施形態が属する技術分野において通常の知識を有する者に広く知られている事項についての詳細な説明は、省略する。

【0010】

なお、本明細書において、ある構成が他構成と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、「その中間に、他の構成を挟んで連結」されている場合も含む。また、ある構成が他構成を「含む」とするとき、それは、特別に反対となる記載がない限り、それ以外の他構成を除くものではなく、さらに他の構成をさらに含みもするということを意味する。

【0011】

また、本明細書で使用される「第１」または「第２」のように、序数を含む用語は、多様な構成要素についての説明に使用されうるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を、他の構成要素から区別する目的のみに使用される。

【0012】

本実施形態は、作業空間をモニタリングする方法及びそのセンシング装置に係り、以下の実施形態が属する技術分野において通常の知識を有する者に広く知られている事項については、詳細な説明を省略する。

【0013】

図１は、作業空間に設けられたセンシング装置１００、及びサーバ２００を含む危険状況感知システムについて説明するための図面である。

【0014】

センシング装置１００は、三次元空間に係わる空間情報として、点群（point cloud data）を獲得しうる装置であり、三次元空間を感知する３Ｄセンサを含むものでもありうる。センシング装置１００は、三次元空間に光を放出し、それに対する応答として受信された光に基づき、該三次元空間に係わる点群を獲得しうる。

【0015】

センシング装置１００は、三次元空間を感知する３Ｄセンサとして、LiDAR（light detection and ranging）センサを具備し、体積型点群（volumetric point cloud data）を獲得しうる。該LiDARセンサは、三次元空間の客体のカラーを感知することができないが、形態、大きさ、位置を感知しうる。三次元空間に係わる情報を収集しうる多チャネルLiDARセンサは、客体のカラーやテクスチャを感知することができないが、客体の大まかな形態や大きさ、体積を活用しうる分野に適する。

【0016】

センシング装置１００は、室内または屋外において、関心領域に該当する空間を感知しうるところに設けられうる。例えば、工作機械が配された作業空間における関心領域をモニタリングするためには、センシング装置１００は、工作機械を運転する作業員（operator）の身体を確認し、該作業員の身体が工作機械内部に進入するか否かということを判断しうる位置と角度とに設けられうる。センシング装置１００は、事物インターネット（ＩｏＴ：Internet of things）技術が適用され、工作機械と連結されうる。

【0017】

サーバ２００は、センシング装置１００から受信されたデータまたは情報を利用し、危険状況を認知し、管理者端末３００や外部サーバに、危険状況に係わる情報を伝送しうる。サーバ２００は、複数のセンシング装置１００から受信されたデータまたは情報を利用する危険状況管理サービスを提供しうる。該危険状況管理サービスは、一事業場内において、工作機械を使用する作業員が危険状況であるか否かということを確認し、危険状況に該当するとき、定められたプロトコルによるサービスを提供しうる。サーバ２００は、事業場別に危険状況管理仮想マシンを置き、各事業場別に、危険状況管理サービスを提供しうる。

【0018】

サーバ２００は、状況管理室や統制センターのサーバ２００でもありうる。サーバ２００は、クラウドコンピューティングのような技術によって具現されうる。

【0019】

管理者端末３００は、管理者または監督官のようなユーザが利用するユーザ端末でもありうる。管理者端末３００は、センシング装置１００が設けられた作業空間の危険状況管理のための事前設定情報をサーバ２００に登録し、サーバ２００から、危険状況管理と係わるお知らせや情報を含めた各種レポートを受信しうる。

【0020】

図１においては、危険状況感知システムが、センシング装置１００とサーバ２００とを含む形態として具現されているが、センシング装置１００は、サーバ２００の動作まで遂行しうる形態に具現されうる。その場合、センシング装置１００が、管理者端末３００に危険状況管理と係わるお知らせや情報を提供しうる。

【0021】

図１に図示されているように、センシング装置１００は、作業空間に配された工作機械と、該工作機械を運転する作業員とをモニタリングしうるように、固定された構造物のようなインフラに、適切な高さと角度とで設けられうる。以下、該作業空間において、工作機械を運転する作業員に危険状況が生じないように作業空間をモニタリングし、危険状況が発生した場合、速かに措置がなされるように、作業空間における関心領域をモニタリングする方法及びそのセンシング装置１００について説明する。

【0022】

図２は、一実施形態による、センシング装置１００の構成及び動作について説明するための図面である。

【0023】

図２を参照すれば、一実施形態によるセンシング装置１００は、メモリ１１０、プロセッサ１２０、センサ部１３０、通信インターフェース１４０を含むものでもありうる。本実施形態と係わる技術分野において通常の知識を有する者であるならば、図２に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれるということを知ることができるであろう。

【0024】

メモリ１１０は、ソフトウェア及び／またはプログラムを保存しうる。メモリ１１０は、プロセッサ１２０によって実行可能な命令語を保存しうる。

【0025】

プロセッサ１２０は、メモリ１１０に保存されたデータにアクセスしてそれを利用するか、あるいは新たなデータをメモリ１１０に保存しうる。プロセッサ１２０は、メモリ１１０に保存された命令語を実行しうる。プロセッサ１２０は、センシング装置１００にインストールされたコンピュータプログラムを実行することができる。また、プロセッサ１２０は、外部から受信したコンピュータプログラムまたはアプリケーションをメモリ１１０に保存して実行させることができる。プロセッサ１２０は、少なくとも１つのプロセッシングモジュールを実行し、所定の動作を遂行しうる。例えば、プロセッサ１２０は、作業空間に配された工作機械に対応する関心領域をモニタリングするプログラムを実行するプロセッシングモジュールを実行または制御しうる。プロセッサ１２０は、命令語またはコンピュータプログラムなどの実行結果に対応する動作を遂行するように、センシング装置１００に含まれた他の構成を制御しうる。

【0026】

センサ部１３０は、三次元空間を感知するための少なくとも１つのセンサを含むものでもありうる。センサ部１３０は、三次元空間に光を放出する発光部と、光を受信する受光部とを含むものでもあり得て、該受光部に受信された光の強度に基づき、三次元空間に係わる点群を獲得する専用プロセッサをさらに含みもする。センサ部１３０は、感知領域内の作業空間に位置した客体を追跡するために、該作業空間に係わる点群を獲得しうる。

【0027】

センサ部１３０は、LiDARセンサでもあり得て、少なくとも１つの三次元LiDARセンサを含み、所定範囲の作業空間に係わるデータを獲得しうる。センサ部１３０は、環境により、レーダ（radar）センサ、赤外線映像センサ、超音波センサ、イメージセンサのような多様な種類のセンサをさらに含みもする。例えば、センサ部１３０は、LiDARセンサを利用し、作業空間の関心領域をモニタリングしていて、関心領域において危険状況が生じる場合、カメラのようなイメージセンサを実行し、危険状況が生じた作業空間に係わる追加情報を獲得しうる。

【0028】

通信インターフェース１４０は、他装置またはネットワークと有無線通信を行いうる。そのために、通信インターフェース１４０は、多様な有無線通信方法のうち少なくとも一つを支援する通信モジュールを含むものでもありうる。例えば、ＲＦＩＤ（radio frequency identification）・ＮＦＣ（near-field communication）・ブルートゥース（Bluetooth）（登録商標）のような近距離通信、多様な種類の無線通信、または同軸ケーブルや光ケーブルなどを利用する有線通信を遂行する通信モジュールが含まれるものでもありうる。通信インターフェース１４０は、センシング装置１００の外部に位置した装置と連結され、信号またはデータを送受信しうる。センシング装置１００は、通信インターフェース１４０を介し、状況管理室のような危険状況管理サービスを提供するサーバ２００や管理者端末３００と通信を行い、感知された危険状況を通報しうる。また、センシング装置１００は、通信インターフェース１４０を介し、作業空間に係わる点群を利用し、機器の制御に活用するか、あるいは所定のサービスを提供する外部サーバと連結されうる。

【0029】

センシング装置１００は、前述の構成以外に、ＧＰＳ（global positioning system）のような位置センサをさらに含むものでもあり得て、センシング装置１００の設置環境により、センシング性能を向上させるための構成がさらに含まれるものでもありうる。

【0030】

前述の構成による一例のプロセッサ１２０は、メモリ１１０に保存された１以上の命令語を実行することにより、作業空間に係わる点群を獲得し、作業空間に配された工作機械に対応する関心領域を設定し、該関心領域に係わる点群に基づき、該関心領域内の客体を追跡しうる。

【0031】

センシング装置１００が作業空間をモニタリングするために、作業空間を連続して感知する場合、プロセッサ１２０は、センサ部１３０を介し、作業空間に係わる時間別点群を獲得しうる。プロセッサ１２０は、作業空間に対して時間別に累積された点群に基づき、作業空間、特に、該作業空間に配された工作機械に対応する関心領域をモニタリングしうる。

【0032】

プロセッサ１２０は、メモリ１１０に保存された１以上の命令語を実行することにより、作業空間に配された工作機械に対応する関心領域を設定しうる。プロセッサ１２０は、獲得された作業空間に係わる点群に基づき、該作業空間にある客体を検出し、該作業空間に係わる空間情報マップを生成しうる。プロセッサ１２０は、事前に設定された情報や空間情報マップに入力されたユーザ入力情報に基づき、作業空間に配された工作機械に対応する関心領域を設定しうる。

【0033】

図３は、作業空間に係わる点群及び関心領域について説明するための図面である。

【0034】

図３を参照すれば、センシング装置１００が獲得した作業空間に係わる点群に基づいて生成された三次元ビューの空間情報マップを確認しうる。作業空間にある客体は、静的客体と動的客体とに区分されうる。作業空間を示す空間情報マップにおいて、作業員のような動的客体は、検出されていて消えたり、作業空間内において位置を移動するか、あるいは姿勢を変更したりする一方、工作機械のような静的客体は、作業空間内の同じ位置で連続して検出されうる。

【0035】

センシング装置１００は、作業空間内において、センシング装置１００に対応する工作機械と、その工作機械を運転する作業員とを、さらに正確に検出して追跡する必要がある。１つのセンシング装置１００が、複数台の工作機械を検出することができるように設けられもするが、さらに正確なモニタリングのために、各工作機械ごとに、専用のセンシング装置１００を置き、作業空間に配された工作機械に対応する関心領域を設定しうる。

【0036】

関心領域は、工作機械の危険領域と、工作機械の運転時、作業員の身体が位置する観察領域と、を含む三次元空間に対応する領域でもありうる。工作機械の危険領域は、工作機械の種類により、工作機械内において、その位置及び範囲が異なりうる。該工作機械の種類により、作業員の運転位置と動作範囲とが異なるので、該観察領域の位置及び範囲も、異なりうる。

【0037】

センシング装置１００のプロセッサ１２０は、作業空間に係わる点群に基づいて生成される空間情報マップに、工作機械の種類によって事前に定められた危険領域と、作業員のユーザープロファイルに基づく身体情報によって決定された観察領域を、関心領域として設定しうる。または、センシング装置１００が、外部から、関心領域に係わるユーザの入力情報を受信することもできる。

【0038】

図３の空間情報マップを見れば、工作機械に対応する点群と、作業員に対応する点群とに基づく工作機械と作業員との位置を確認し、工作機械の前側に立っている作業員の姿勢を追跡するための関心領域が設定された様子を確認しうる。

【0039】

再び図２を参照すれば、プロセッサ１２０は、作業空間内に設定された関心領域に係わる点群に基づき、工作機械を運転する作業員の姿勢を追跡しうる。プロセッサ１２０は、作業空間に係わる点群を獲得した各フレーム別、または複数フレームの蓄積により、関心領域に係わる点群に基づき、工作機械を運転する作業員の姿勢を追跡しうる。プロセッサ１２０は、複数のフレームにおいて、関心領域に係わる点群を、客体別にクラスタリングすることにより、工作機械のような静的客体と、作業員のような動的客体とを識別しうる。プロセッサ１２０は、関心領域内の動的点群を確認し、それを作業員に対応する点群と判断しうる。以下、図４ないし図６を参照し、作業員の姿勢を推定するアルゴリズムについて説明する。

【0040】

図４は、作業員の姿勢を追跡するために、危険領域とサブ観察領域とに、作業員に対応する点群が存在するか否かということを判断するプロセスの一例について説明するための図面である。

【0041】

図４においては、作業空間内に工作機械が配されており、工作機械を運転するとき、工作機械の前面に作業員が位置する場合であり、該工作機械の危険領域が運転者の上体前側に位置する場合を例として挙げて説明する。

【0042】

プロセッサ１２０は、作業空間に配された工作機械に対応する関心領域を、図４に図示されているように、５つの領域に設定しうる。プロセッサ１２０は、各領域に、いかなる客体が進入または離脱するか、あるいは位置するかということを、当該領域に、点群が生成または消滅されるか、あるいは存在するかということを追跡することによって判断しうる。

【0043】

図４を参照すれば、関心領域は、５つの領域に区分されて設定されうる。該関心領域は、工作機械の危険領域と、該工作機械を運転するとき、作業員の身体が位置しうる観察領域とを含むように設定されうる。該観察領域は、作業員の身体部位別に、サブ観察領域に区分されうる。該観察領域は、作業員の実際の身体条件に合うように、適切に調節されうる。

【0044】

図４において、第１関心領域（１）、第２関心領域（２）、第３関心領域（３）及び第４関心領域（４）は、サブ観察領域であり、第５関心領域（５）は、サブ観察領域であると共に、工作機械の危険領域に該当する。

【0045】

プロセッサ１２０は、工作機械の危険領域と、作業員の身体部位別に区分されたサブ観察領域とに、作業員に対応する点群が存在するか否かということを判断し、該危険領域と該サブ観察領域とのうち、作業員に対応する点群が存在する領域の組み合わせに基づき、作業員の姿勢を決定しうる。

【0046】

第１関心領域（１）は、人物の全身が検出されうる空間に対応するサブ観察領域である。センシング装置１００は、第１関心領域（１）に点群が存在すれば、工作機械を運転するとき、作業員が位置するところに作業員が位置すると判断しうる。第１関心領域（１）に点群が存在しないでいて生成されれば、センシング装置１００は、作業員が、第１関心領域（１）内に進入したと判断しうる。反対に、第１関心領域（１）に点群が存在していて消滅すれば、センシング装置１００は、作業員が、第１関心領域（１）外に離脱したと判断しうる。

【0047】

第２関心領域（２）は、人物の頭が検出されうる空間に対応するサブ観察領域である。センシング装置１００は、第２関心領域（２）に点群が存在すれば、作業員の頭が位置すると判断しうる。センシング装置１００は、第１関心領域（１）のいずれか一部空間に作業員に対応する点群が存在するが、第２関心領域（２）に点群が存在しなければ、作業員が頭を下げるか、あるいは腰を曲げたと判断しうる。

【0048】

第３関心領域（３）は、人物の胴が検出されうる空間に対応するサブ観察領域である。センシング装置１００は、第３関心領域（３）に点群が存在すれば、作業員の胴が位置すると判断しうる。センシング装置１００は、第１関心領域（１）のいずれか一部空間に作業員に対応する点群が存在するが、第２関心領域（２）と第３関心領域（３）とに点群が存在しなければ、作業員が座り込んだか、あるいは底に横になっていると判断しうる。

【0049】

第４関心領域（４）は、人物の足が検出されうる空間に対応するサブ観察領域である。センシング装置１００は、第４関心領域（４）に点群が存在すれば、作業員の足が位置すると判断しうる。第１関心領域（１）のいずれか一部空間に作業員に対応する点群が存在するが、第４関心領域（４）に点群が存在しなければ、作業員が空中に浮いているか、あるいはぶら下がっていると判断しうる。

【0050】

第５関心領域（５）は、人物の手または身体一部が検出されうる空間に対応するサブ観察領域であると共に、工作機械を運転する作業員に危険な状況が発生しうる空間に対応する危険領域である。センシング装置１００は、第５関心領域（５）に作業員に対応する点群が存在すれば、工作機械の危険領域に作業員の手や身体一部が位置すると判断しうる。第１関心領域（１）のいずれか一部空間に作業員に対応する点群が存在するが、第５関心領域（５）に作業員に対応する点群が存在しなければ、工作機械の危険領域に作業員の手や身体が位置しないと判断しうる。

【0051】

図５Ａ、図５Ｂ、図５Ｃ及び図５Ｄは、危険領域とサブ観察領域とのうち、作業員に対応する点群が存在する領域の組み合わせに基づき、作業員の姿勢を決定した例について説明するための図面である。

【0052】

図５Ａには、第１関心領域（１）、第２関心領域（２）、第３関心領域（３）及び第４関心領域（４）に点群が存在し、第５関心領域（５）には、点群が存在しないので、プロセッサ１２０は、工作機械の危険領域の前側に作業員が立っていると判断しうる。

【0053】

図５Ｂには、第１関心領域（１）、第２関心領域（２）、第３関心領域（３）、第４関心領域（４）及び第５関心領域（５）のいずれにも点群が存在するので、プロセッサ１２０は、工作機械の危険領域の前側に作業員が立ち、危険領域側に手を位置させていると判断しうる。

【0054】

図５Ｃには、第１関心領域（１）及び第４関心領域（４）に点群が存在し、第２関心領域（２）、第３関心領域（３）及び第５関心領域（５）には、点群が存在しないので、プロセッサ１２０は、工作機械の危険領域の前側に作業員が座り込んでいるか、あるいは倒れていると判断しうる。

【0055】

図５Ｄには、第１関心領域（１）、第３関心領域（３）、第４関心領域（４）及び第５関心領域（５）に点群が存在し、第２関心領域（２）には、点群が存在しないので、プロセッサ１２０は、工作機械の危険領域に、作業員が頭と手とを入れていると判断しうる。

【0056】

図６は、作業員の姿勢を追跡するために、作業員に対応する点群から、スケルトン情報を抽出するプロセスの一例について説明するための図面である。

【0057】

前述の図４及び図５のルール基盤姿勢推定アルゴリズムと異なり、図６においては、マシンラーニング基盤姿勢推定アルゴリズムを利用し、作業員の姿勢を追跡することについて説明する。

【0058】

プロセッサ１２０は、マシンラーニング基盤の神経網モデルを利用し、作業員に対応する点群から、スケルトン情報を獲得し、スケルトン情報の関節（joint）位置によって区分される作業員の身体部位と、工作機械の危険領域とに基づき、作業員の姿勢を決定しうる。

【0059】

図６を参照すれば、プロセッサ１２０は、工作機械の危険領域と、工作機械を運転するとき、作業員の身体が位置する観察領域と、を含む関心領域に係わる点群に基づくボディトラッキング（body tracking）を介し、作業員の姿勢を確認しうるスケルトン情報を獲得しうる。図６に図示されているように、該スケルトン情報は、作業員の身体部位が互いにつながる関節位置に対応するジョイント座標を提供するので、プロセッサ１２０は、該関節位置によって区分される作業員の身体部位を確認しうる。プロセッサ１２０は、確認された作業員の身体部位と、工作機械の危険領域とに基づき、作業員の姿勢を追跡しうる。

【0060】

再び図２を参照すれば、プロセッサ１２０は、追跡された作業員の姿勢に基づき、作業空間における危険状況を感知しうる。前述の図５Ａないし図５Ｄの例を再び参照すれば、図５Ａの場合、工作機械の前側に作業員が立っているが、危険領域において、作業員に対応する点群が発見されないので、プロセッサ１２０は、危険状況が生じないと判断しうる。図５Ｂの場合、危険領域において、作業員の手に対応する点群が発見されるので、プロセッサ１２０は、潜在的な危険状況であると判断し、続けてモニタリングし、当該事実をサーバ２００に通報しうる。図５Ｃの場合、危険領域において、作業員に対応する点群が発見されないので、プロセッサ１２０は、工作機械による危険状況が生じないと判断しうるが、工作機械を運転する作業員から期待しうる一般的な姿勢ではないので、危険状況に準する状況と判断し、当該事実をサーバ２００に通報しうる。図５Ｄの場合、工作機械の危険領域に作業員の頭と手とが入っているので、プロセッサ１２０は、危険状況であると判断し、該危険状況が感知されたことをサーバ２００に通報しうる。

【0061】

さらには、危険状況をさらに体系的に管理することができるように、プロセッサ１２０は、追跡された作業員の姿勢に対応する作業員の体積と、工作機械の体積とが互いに重なる程度により、危険状況のレベルを決定し、決定された危険状況のレベルにより、危険状況であるか否かということを決定しうる。

【0062】

それにより、プロセッサ１２０は、通信インターフェース１４０を介して、決定された危険状況のレベルが第１基準値以上であるならば、サーバ２００に潜在的危険状況が感知されることを通報し、決定された危険状況のレベルが第１基準値より高い第２基準値以上であるならば、サーバ２００に、危険状況が生じていることを通報しうる。

【0063】

なお、プロセッサ１２０は、追跡された作業員の姿勢変化により、作業員の動きを予測し、予測された動きにより、作業空間における危険状況を予測することもできる。

【0064】

図７は、一実施形態による、サーバ２００の構成及び動作について説明するための図面である。サーバ２００は、コンピュータデバイス、オペレータ、コンソール装置などで代替されうる。

【0065】

前述のように、センシング装置１００は、三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得し、該作業空間における関心領域の客体を検出して追跡し、該作業空間をモニタリングしうるプロセッサを搭載しうるが、それに限定されるものではない。センシング装置１００で獲得された作業空間に係わる点群を、センシング装置１００がサーバ２００に伝送すれば、サーバ２００が、作業空間上の静的客体や動的客体を検出し、検出された客体を追跡する一連のプロセッシングを処理しうる。サーバ２００は、クラウドコンピューティングのような技術によって具現されうる。サーバ２００は、センシング装置１００と、高速のデータ通信を行いうる。

【0066】

図７を参照すれば、サーバ２００は、メモリ２１０、プロセッサ２２０、通信インターフェース２３０を含むものでもありうる。本実施形態と係わる技術分野において通常の知識を有する者であるならば、図７に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれるものでもありうることを知ることができるであろう。先に、センシング装置１００について説明された内容であるならば、以下において省略された内容であるとしても、サーバ２００の同一名称の構成につき、そのまま適用されうる。

【0067】

図７のブロック図の各構成要素は、サーバ２００の具現方式により、分離、追加または省略されうる。すなわち、該具現方式により、１つの構成要素が２以上の構成要素に細分化されるか、あるいは２以上の構成要素が、１つの構成要素に合わされもし、一部構成要素がさらに追加されるか、あるいは除去されうる。

【0068】

メモリ２１０は、プロセッサ２２０によって実行可能な命令語を保存しうる。メモリ２１０は、ソフトウェアまたはプログラムを保存しうる。

【0069】

プロセッサ２２０は、メモリ２１０に保存された命令語を実行しうる。プロセッサ２２０は、サーバ２００の全般的な制御を行いうる。プロセッサ２２０は、通信インターフェース２３０を介して受信される情報及び要請事項を獲得し、受信される情報をストレージ（図示せず）に保存しうる。また、プロセッサ２２０は、受信される情報を加工しうる。例えば、プロセッサ２２０は、センシング装置１００から受信されるデータまたは情報から、危険状況管理サービスを提供するのに利用される情報を獲得するか、あるいは受信されるデータまたは情報を管理するための加工行為を行い、ストレージ（図示せず）に保存しうる。また、プロセッサ２２０は、管理者端末３００から獲得された要請事項に対する応答として、ストレージ（図示せず）に保存されたデータまたは情報を利用し、通信インターフェース２３０を介し、管理者端末３００に、要請事項に対応する情報を伝送しうる。例えば、プロセッサ２２０は、危険状況発生現況や統計資料などをストレージに保存し、危険状況と係わるレポートを生成し、通信インターフェース２３０を介し、管理者端末３００のような外部装置に伝送することができる。

【0070】

通信インターフェース２３０は、他装置またはネットワークと有無線通信を行いうる。通信インターフェース２３０は、サーバ２００の外部に位置した装置と連結され、信号またはデータを送受信しうる。サーバ２００は、通信インターフェース２３０を介し、センシング装置１００と通信を行うか、あるいはネットワークに連結された他のサーバとも連結されうる。

【0071】

ストレージ（図示せず）は、サーバ２００が、機器の制御に活用するか、あるいは所定のサービスを提供するために、必要な各種ソフトウェア及び情報を保存しうる。例えば、ストレージ（図示せず）は、サーバ２００で実行されるプログラム、アプリケーション、及び所定のサービスに利用される各種データまたは情報を保存しうる。

【0072】

サーバ２００は、負荷分散サーバと、所定のサービスを提供する機能サーバとによって構成されうる。サーバ２００は、機能別に分けられた複数のサーバによって構成されるか、あるいは一つに統合された形態のサーバにもなる。

【0073】

前述の構成により、サーバ２００は、通信インターフェース２３０を介し、センシング装置１００から、作業空間に係わる点群を獲得するか、あるいはセンシング装置１００が危険状況を感知した結果を受信しうる。サーバ２００は、センシング装置１００から、危険状況の種類情報、危険状況が生じた作業空間の位置情報、作業空間の現在状況を撮影したカメラ映像などを受信しうる。

【0074】

図８は、一実施形態による、作業空間における関心領域をモニタリングする方法について説明するためのフローチャートである。以上において、センシング装置１００について説明した内容と重複される内容については、以下において、その詳細な説明を省略する。

【0075】

８１０段階において、センシング装置１００は、三次元空間を感知する３Ｄセンサを利用し、作業空間に係わる点群を獲得しうる。例えば、センシング装置１００は、LiDARセンサを利用し、三次元空間に係わる点群を連続して獲得しうる。

【0076】

８２０段階において、センシング装置１００は、作業空間に配された工作機械に対応する関心領域を設定しうる。該関心領域は、工作機械の危険領域と、工作機械を運転するとき、作業員の身体が位置する観察領域と、を含むものでもありうる。センシング装置１００は、作業空間に係わる点群に基づいて生成される空間情報マップに、工作機械の種類によって事前に定められた危険領域と、作業員のユーザープロファイルに基づく身体情報によって決定された観察領域と、を関心領域として設定しうる。

【0077】

８３０段階において、センシング装置１００は、関心領域に係わる点群に基づき、工作機械を運転する作業員の姿勢を追跡しうる。

【0078】

例えば、センシング装置１００は、工作機械の危険領域と、作業員の身体部位別に区分されたサブ観察領域とに、作業員に対応する点群が存在するか否かということを判断し、該危険領域と該サブ観察領域とのうち、作業員に対応する点群が存在する領域の組み合わせに基づき、作業員の姿勢を決定しうる。

【0079】

他の例を挙げれば、センシング装置１００は、マシンラーニング基盤の神経網モデルを利用し、作業員に対応する点群から、スケルトン情報を獲得し、該スケルトン情報の関節（joint）位置によって区分される作業員の身体部位と、工作機械の危険領域とに基づき、作業員の姿勢を決定しうる。

【0080】

８４０段階において、センシング装置１００は、追跡された作業員の姿勢に基づき、作業空間における危険状況を感知しうる。センシング装置１００は、追跡された作業員の姿勢が、工作機械の危険領域を侵犯するのか、作業員のどの身体部位まで危険領域に位置するかということにより、作業空間における危険状況を感知しうる。

【0081】

さらには、センシング装置１００は、危険状況のレベルを、さらに細分化された基準によって決定し、決定された危険状況のレベルにより、危険状況であるか否かということを決定しうる。

【0082】

図９は、作業空間における危険状況を感知するプロセスの一例について説明するための詳細フローチャートである。

【0083】

９１０段階において、センシング装置１００は、追跡された作業員の姿勢に対応する作業員の体積と、工作機械の体積とが互いに重なる程度により、危険状況のレベルを決定しうる。センシング装置１００は、作業員の体積のうち、工作機械の危険領域と重なる体積の数値と、細分化された基準とを比較し、危険状況のレベルを決定しうる。

【0084】

９２０段階において、センシング装置１００は、決定された危険状況のレベルにより、危険状況であるか否かということを決定しうる。センシング装置１００は、決定された危険状況のレベルにより、危険状況ではないと決定するか、あるいは潜在的な危険状況、または危険状況であると決定しうる。

【0085】

センシング装置１００は、感知された危険状況を、危険状況管理サービスを提供するサーバ２００に通報しうる。例えば、センシング装置１００は、決定された危険状況のレベルが第１基準値以上であるならば、サーバ２００に、潜在的危険状況が感知されることを通報し、第１基準値より高い第２基準値以上であるならば、サーバ２００に危険状況が生じていることを通報しうる。

【0086】

図１０は、作業空間における危険状況を予測するプロセスの一例について説明するための詳細フローチャートである。

【0087】

１０１０段階において、センシング装置１００は、追跡された作業員の姿勢変化により、作業員の動きを予測しうる。センシング装置１００は、作業空間を連続してモニタリングし、作業員の姿勢変化を確認しうる。例えば、センシング装置１００は、作業員が定位置で作業していて座り込むことを繰り返すパターンを示すか、あるいは工作機械の危険領域側に作業員の身体がだんだんと傾く趨勢を示す場合、そのパターンまたは趨勢による作業員の動きを予測しうる。

【0088】

１０２０段階において、センシング装置１００は、予測された動きにより、作業空間における危険状況を予測しうる。センシング装置１００は、作業員の姿勢変化によって決定されたパターンや趨勢を利用し、作業員に危険状況が生じる時期や、いかなる危険状況が生じるかということを予測しうる。

【0089】

前述の実施形態それぞれは、作業空間における関心領域をモニタリングする方法を遂行する所定の段階を実行させるために、媒体に保存されたコンピュータプログラム形態またはアプリケーション形態でもって提供されうる。言い替えれば、前述の実施形態それぞれは、センシング装置１００の少なくとも１つのプロセッサをして、作業空間における関心領域をモニタリングする方法を遂行する所定の段階を遂行させうる、媒体に保存されたコンピュータプログラム形態またはアプリケーション形態でもって提供されうる。

【0090】

前述の実施形態は、コンピュータまたはプロセッサによって実行可能な命令語及びデータを保存するコンピュータで読み取り可能な記録媒体の形態でもって具現されうる。該命令語及び該データのうち少なくとも一つは、プログラムコードの形態に保存され、プロセッサによって実行されたとき、所定のプログラムモジュールを生成し、所定の動作を遂行しうる。そのようなコンピュータで読み取り可能な記録媒体は、ＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリ（flash memory）、ＣＤ－ＲＯＭｓ、ＣＤ－Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ－ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ－ＲＯＭｓ、ＤＶＤ－Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ－ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ－ＲＡＭｓ、ＢＤ－ＲＯＭｓ、ＢＤ－Ｒｓ、ＢＤ－ＲＬＴＨｓ、ＢＤ－ＲＥｓ、マグネチックテープ、フロッピーディスク、光磁気データ記憶装置、光学データ記憶装置、ハードディスク、ＳＳＤ（solid state drive）、そして命令語またはソフトウェア、関連データ、データファイル、及びデータ構造を保存し、プロセッサやコンピュータが命令語を実行することができるように、プロセッサやコンピュータに命令語またはソフトウェア、関連データ、データファイル、及びデータ構造を提供しうるいかなる装置であってもよい。

【0091】

以上、本実施形態を中心に説明した。開示された実施形態が属する技術分野において通常の知識を有する者であるならば、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されうるということを理解しうるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。発明の範囲は、前述の実施形態の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、発明の範囲に含まれたものであると解釈されなければならないのである。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】