IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 岩田地崎建設 株式会社の特許一覧 ▶ 株式会社ネクステラスの特許一覧

<>
  • 特開-建設機械の安全確認支援システム 図1
  • 特開-建設機械の安全確認支援システム 図2
  • 特開-建設機械の安全確認支援システム 図3
  • 特開-建設機械の安全確認支援システム 図4
  • 特開-建設機械の安全確認支援システム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025082707
(43)【公開日】2025-05-29
(54)【発明の名称】建設機械の安全確認支援システム
(51)【国際特許分類】
   E02F 9/24 20060101AFI20250522BHJP
   E02F 9/26 20060101ALI20250522BHJP
【FI】
E02F9/24 H
E02F9/26 A
E02F9/24 B
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023196219
(22)【出願日】2023-11-17
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 1.令和5年6月7、8日に建設技術展示会EE東北’23において展示。 2.令和5年7月24日に北海道建設新聞に掲載。 3.令和5年8月1日から4日に下水道展’23において展示。 4.令和5年8月2日に北海道建設新聞に掲載。 5.令和5年10月1日に(一財)全国建設研修センター 機関紙 国づくりと研修のウェブサイトに掲載。 6.令和5年10月6日にNHK 5分でわかる経済トレンドにおいて放送。
(71)【出願人】
【識別番号】000158389
【氏名又は名称】岩田地崎建設 株式会社
(71)【出願人】
【識別番号】520145702
【氏名又は名称】株式会社ネクステラス
(74)【代理人】
【識別番号】100140006
【弁理士】
【氏名又は名称】渕上 宏二
(72)【発明者】
【氏名】遠田 康英
(72)【発明者】
【氏名】碓井 裕介
(72)【発明者】
【氏名】木下 大也
(72)【発明者】
【氏名】真柄 毅
【テーマコード(参考)】
2D015
【Fターム(参考)】
2D015GA03
2D015GB04
2D015HA03
(57)【要約】
【課題】AR技術を活用して建設機械と埋設物の位置関係を可視表示することにより、建設機械の操縦時における安全確認を支援する。
【解決手段】オペレーターは、情報端末装置12のタッチパネルディスプレイに表示される映像とフロントスクリーン越しに視認できる現実世界の2つの像を同時に確認しながらバックホウの操作を行う。タッチパネルディスプレイにはカメラによって撮影された現実世界の映像にバケットおよび埋設管の3Dモデルが重ね合わされた状態で表示されるため、オペレーターは本来的には視認できない埋設管の位置を3Dモデルによって認識し、同じく3Dモデル化されたバケットとの位置関係をタッチパネルディスプレイを通じて確認することができる。
【選択図】図1
【特許請求の範囲】
【請求項1】
埋設物との接触を未然に防止するための建設機械の安全確認支援システムであって、
施工箇所を撮影するとともに建設機械の作業部の近傍に表示されたARマーカーを同時に撮影する手段と、
前記施工箇所の地下に埋設されている埋設物の形態に関するデータを入力する手段と、
前記作業部の形態に関するデータを入力する手段と、
撮影された前記施工箇所の映像を背景として、前記施工箇所の地下に埋設されている前記埋設物の3DモデルをAR表示するとともに前記施工箇所に対して移動する前記作業部の3DモデルをAR表示する手段、
を備える、安全確認支援システム。
【請求項2】
前記埋設物の3Dモデルに対して前記作業部の3Dモデルが接近したときに警報を発動する手段を備える、
請求項1に記載の安全確認支援システム。
【請求項3】
前記施工箇所において基準点と方向点の2つのポイントを特定することにより前記埋設物の3Dモデルの表示位置を設定する手段を備える、
請求項1または2に記載の安全確認支援システム。
【請求項4】
前記施工箇所の近傍に設置されたマーカーを撮影することにより前記埋設物の3Dモデルの表示位置のキャリブレーションを実施する、
請求項3に記載の安全確認支援システム。
【請求項5】
前記全ての手段が専用のアプリケーションソフトウェアをインストールされた一台の情報端末装置に集約されている、
請求項4に記載の安全確認支援システム。
【請求項6】
請求項5に記載の安全確認支援システムを用いた建設機械操縦時の安全確認方法であって、
前記情報端末を、前記建設機械の操縦席のフロントスクリーンの近傍であり、内蔵カメラの視野に前記ARマーカーが常時映り込み、かつオペレーターが内蔵タッチパネルディスプレイに表示される映像を視認しやすい位置に設置する工程と、
前記内蔵タッチパネルディスプレイに表示される映像と前記フロントスクリーン越しに視認できる現実世界の2つの像を同時に確認しながら前記建設機械を操縦する工程と、
警報の発動を契機として前記建設機械の操縦を停止または中断する工程、
を含む、安全確認方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、AR技術を活用して建設機械と埋設物の位置関係を可視表示することにより、建設機械の操縦時における安全確認を支援する技術に関する。
【背景技術】
【0002】
既存の構造物の近傍において建設機械を用いた施工を行う場合、建設機械の操作ミスや不注意などによって構造物と接触することがないように十分に配慮しなければならない。特にバックホウを用いた床掘りや掘削工事の場合、地中に敷設されているガス管、水道管などの埋設物にバケットが接触する事故が起こりやすく、その被害も甚大なものになるため、施工に際しては万全の安全確認が必要である。しかし、事前に埋設物の敷設位置を確認し、施工中も看板やマーキングなどによる注意喚起を行っていたとしても、ヒューマンエラーにより接触事故に至ってしまう例は決して少なくはない。
【0003】
従来、このような接触事故を回避するため、例えばGNSSを利用した位置確認などが行われている。具体的には、埋設物の敷設位置を示す既知の座標とGNSSを用いて取得した建設機械の位置座標から両者の位置関係をリアルタイムに把握し、これに基づいて安全確認を行うというものである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2023-59733号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、GNSSには衛星電波の受信圏外では使用できないという物理的な制約がある。また、座標による位置管理は厳密な精度が求められる場合には適しているが、建設機械の頻繁な移動や俊敏な動作に対する即応性は期待できない。また、ヒューマンエラーをいかにして回避するのかという解決すべき課題に対しては、座標による位置管理というデジタル的な手法では建設機械の操縦者の感性に訴えることは難しい。
【0006】
このような課題を解決するため、発明者らは、ヒューマンエラーの排除による接触事故の未然防止という開発目標のもと、GNSSほどの精度は必要としないが、操縦者が直感的に把握できるようなアナログ的な情報提示が可能であれば、前述した床掘りや掘削工事における安全確認の手段として活用できると考え、AR技術を活用して建設機械と埋設物の位置関係を可視表示することにより、建設機械の操縦時における安全確認を支援する技術を開発した。
【課題を解決するための手段】
【0007】
本発明は、埋設物との接触を未然に防止するための建設機械の安全確認支援システムであって、施工箇所を撮影するとともに建設機械の作業部の近傍に表示されたARマーカーを同時に撮影する手段と、前記施工箇所の地下に埋設されている埋設物の形態に関するデータを入力する手段と、前記作業部の形態に関するデータを入力する手段と、撮影された前記施工箇所の映像を背景として、前記施工箇所の地下に埋設されている前記埋設物の3DモデルをAR表示するとともに前記施工箇所に対して移動する前記作業部の3DモデルをAR表示する手段を備える、安全確認支援システムを提供する。
【0008】
安全確認支援システムは、前記埋設物の3Dモデルに対して前記作業部の3Dモデルが接近したときに警報を発動する手段を備えてもよい。
【0009】
安全確認支援システムは、前記施工箇所において基準点と方向点の2つのポイントを特定することにより前記埋設物の3Dモデルの表示位置を設定する手段を備えてもよい。
【0010】
安全確認支援システムは、前記施工箇所の近傍に設置されたマーカーを撮影することにより前記埋設物の3Dモデルの表示位置のキャリブレーションを実施してもよい。
【0011】
安全確認支援システムは、前記全ての手段が専用のアプリケーションソフトウェアをインストールされた一台の情報端末装置に集約されていてもよい。
【0012】
本発明は、前述の安全確認支援システムを用いた建設機械操縦時の安全確認方法であって、前記情報端末を、前記建設機械の操縦席のフロントスクリーンの近傍であり、内蔵カメラの視野に前記ARマーカーが常時映り込み、かつオペレーターが内蔵タッチパネルディスプレイに表示される映像を視認しやすい位置に設置する工程と、前記内蔵タッチパネルディスプレイに表示される映像と前記フロントスクリーン越しに視認できる現実世界の2つの像を同時に確認しながら前記建設機械を操縦する工程と、警報の発動を契機として前記建設機械の操縦を停止または中断する工程を含む、安全確認方法を提供する。
【発明の効果】
【0013】
本発明によると、建設機械のオペレーターは、施工箇所の映像を背景としてAR表示される埋設物および作業部の3Dモデルの映像と、フロントスクリーン越しに視認できる現実世界の2つの像を同時に確認しながら建設機械を操縦することが可能となるため、埋設物の存在や位置の失念のようなヒューマンエラーを排除し、接触事故の未然防止を実現することができる。
【図面の簡単な説明】
【0014】
図1】安全確認支援システムの概念図
図2】安全確認支援システムの構成を示すブロック図
図3】ロケーションマーカーの推奨される設置位置を示す概念図
図4】安全確認支援システムにおける警報エリアの概念図
図5】安全確認支援システムの運用手順を示すフローチャート
【発明を実施するための形態】
【0015】
本発明の実施の形態について添付の図面を参照しながら説明する。
〔システムの概要〕
最初に、本発明の安全確認支援システムの概要について、バックホウを用いた掘削工事を挙例して説明する。
【0016】
安全確認支援システム10は、図1に示すように、情報端末装置12、バケットマーカー14、ロケーションマーカー16により構成される。情報端末装置12は、図2に示すように、LiDAR18、IMU20、タッチパネルディスプレイ22、カメラ24、スピーカー26を備える。情報端末装置12は、ARMGアプリケーション(安全確認支援システム専用のアプリケーションソフト)28をインストールすることにより、AR(Augmented Reality:拡張現実)技術を利用した安全情報表示手段として機能する。情報端末装置12は、図1の示すように、カメラ24の視野にバケットマーカー14が常時映り込み、かつオペレーターがタッチパネルディスプレイ22に表示される映像を視認しやすい位置である操縦席のフロントスクリーンの近傍に設置する。オペレーターは、情報端末装置12のタッチパネルディスプレイ22に表示される映像とフロントスクリーン越しに視認できる現実世界の2つの像を同時に確認しながらバックホウの操作を行う。オペレータールディスプレイ22にはカメラ24によって撮影された現実世界の映像にバケットおよび埋設管の3Dモデルが重ね合わされた状態で表示されるため、オペレーターは現実には視認できない埋設管の位置を3Dモデルによって認識し、同じく3Dモデル化されたバケットとの位置関係をタッチパネルディスプレイ22を通じて確認することができる。なお、安全確認支援システム10において使用する情報端末装置12としては、LiDAR、IMU、ARKit(登録商標)を全て標準で備えるiPad Pro(登録商標)が推奨される。
【0017】
安全確認支援システム10は、マーカー型ARとマーカーレス型ARの2つの手法を併用してバケットおよび埋設管の3Dモデルを適切な位置に表示する。バケット3Dモデルの表示にはマーカー型AR手法が用いられ、バケットマーカー14がバケット3Dモデルの表示のトリガーとなるARマーカーとして機能する。カメラ24によってバケットマーカー14が撮影されると、現実世界の映像を背景としてバケット3Dモデルが重ね合わせられてタッチパネルディスプレイ22に表示される。表示されるバケット3Dモデルの位置や大きさは、タッチパネルディスプレイ22から入力するデータ、例えばバケットマーカー14のサイズ、バケットの幅、バケットマーカー14の下端からバケットのリンク(回転軸)までの距離、リンクからバケット刃先までの距離などのデータに基づいて設定する。
【0018】
一方、埋設管3Dモデルの表示にはマーカーレス型AR手法が用いられる。埋設管3DモデルはFBX形式で作成された埋設管のBIM/CIMモデル30に基づいて表示される。埋設管3Dモデルと現実世界における埋設位置との紐付けは、情報端末装置12を現実世界の埋設位置まで移動させ、カメラ24で撮影した埋設位置の映像に重ねて表示される基準点と方向点の2つのポイントをタッチパネルディスプレイ22から設定することで行う。この紐付けにより埋設管3Dモデルの配置が完了する。紐付け配置後にカメラ24で埋設位置を撮影すると、基準点から方向点に向けて埋設管3Dモデルが背景映像に重ね合わされた状態でタッチパネルディスプレイ22に表示される。
【0019】
マーカーレス型ARはマーカー型ARに較べると位置精度が甘く、特にバックホウの旋回に影響されて埋設管3Dモデルの位置に誤差が生じやすい。そのため、安全確認補助システム10の運用に際してはロケーションマーカー16を用いてキャリブレーションを行うことが望ましい。図3に示すように、ロケーションマーカー16を埋設箇所28の近傍に設置しておき、埋設管3Dモデルの紐付け配置の作業に続けてバックホウ30に設置した情報端末装置12のカメラ24でロケーションマーカー16を撮影する。これによりロケーションマーカー16と埋設管3Dモデルの配置が紐づけられ、埋設管3Dモデルのキャリブレーション設定が完了する。キャリブレーション設定後は、カメラ24がロケーションマーカー16を撮影する度に、キャリブレーション設定された位置に埋設管3Dモデルが表示される。
【0020】
安全確認支援システム10は、バケットと埋設管の異常接近を警告音によりバックホウオペレーターに注意喚起する。警告音の発報は注意エリアと警告エリアの2段階の設定により行われる。図4に示すように、これらのエリアはバケットのリンク(回転軸)を基準とする距離で設定され、リンクを中心とする同心円状に設定される。例えばバケットのリンクから刃先までの距離を考慮して、「刃先からの埋設管までの距離50cm」を警告エリア、「刃先からの埋設管までの距離100cm」を注意エリアとして設定することができる。横方向はバケットの幅に左右それぞれ10cmを加えたエリアを注意/警告エリアとしている。バックホウの操作中にバケットが埋設管に接近すると、設定エリアに応じて情報端末装置12のスピーカー26から警報音が発せられ、オペレーターに聴覚を通じて注意喚起を行う。
【0021】
バックホウの操作中は、タッチパネルディスプレイ22にバックホウオペレーターの操作ガイダンスとなる映像、すなわち、カメラ24によって撮影された現実世界の映像にバケットおよび埋設管の3Dモデルが重ね合わされた状態で表示される。タッチパネルディスプレイ22に表示される映像は、バックホウの移動に同期してカメラ24によって映し出される現実世界の映像の範囲が変わり、またアームの稼働に伴って移動するバケットマーカー14の動きに同期してバケット3Dモデルの表示位置が変わる。
【0022】
〔システムの運用〕
次に、本発明の安全確認支援システムの運用方法について、図5に示すフローチャートを参照しながら説明する。
第1工程S1:情報端末装置にインストールされているARMGアプリケーションを起動させる。またARMGアプリケーションの起動と前後してバケットマーカー、ロケーションマーカーを所定の場所に設置する。ARMGアプリケーションを起動させると、「初回」または「前回の続き」のどちらかを選択するように促されるため、状況に応じて何れかを選択する。
第2工程S2:「初回」を選択した場合、最初に機器設定を行う。具体的には、バケットサイズの入力、注意/警告エリアの入力、その他の諸機能のON/OFFの設定などを行う。
第3工程S3:次に埋設管の3Dモデルの選択を行う。埋設管の3Dモデルは情報端末装置にFBX形式で保存されたものの中から任意のものを選択する。多くの場合はこれから施工する箇所に既設の埋設管を選択することになる。
第4工程S4:選択した埋設管の3Dモデルに対して原点と方向点を指定する。情報端末装置のタッチパネルディスプレイに表示された3Dモデルの2箇所をタップすることで原点と方向点が設定される。なお、前回の施工で使用したバックホウと埋設管が同じものであれば、第1工程S1で「前回の続き」を選択することで第2工程S2および第3工程S3を省略して第4工程S4にショートカットすることができる。
第5工程S5:第4工程S4では埋設管の3Dモデルに対して原点および方向点を指定したが、今度は現地の実際に埋設管が敷設されている箇所に対して原点および方向点を指定する。これにより埋設管の3Dモデルが現実の位置および方向と紐付けされて適正に配置される。情報端末装置のカメラによって埋設管の敷設箇所を撮影し、タッチパネルディスプレイに表示された敷設箇所の映像の2箇所をタップすることで原点と方向点が設定される。
第6工程S6:ロケーションマーカーを使用するかしないかについて選択する。埋設管3Dモデルの表示にはマーカーレス型AR手法が用いられるため、ロケーションマーカーは必至ではないが、精度を向上させたい場合、バックホウが頻繁に回転したり移動したりするような場合などにはロケーションマーカーを使用することが望ましい。
第7工程S7:ロケーションマーカーを使用する選択をした場合、情報端末装置のカメラによってロケーションマーカーを撮影してARマーカーとして認識させる。
第8工程S8:ロケーションマーカーを使用して埋設管の3Dモデルをタッチパネルディスプレイに表示させたとき、表示位置と敷設位置との間に位置ずれ等があれば、タッチパネルディスプレイに表示されたガイドをタップして微調整を行う。
第9工程S9:全ての設定を終えた情報端末装置をバックホウ操縦席に設置し、バケットマーカーおよびロケーションマーカー(使用する場合のみ)を認識させながら実際の施工を行う。
第10工程S10:バックホウの操作中にバケットが埋設管に接近すると、第2工程S2において設定したエリアに応じて情報端末装置のスピーカーから警報音が発せられ、オペレーターに聴覚を通じて注意喚起を行う。タッチパネルディスプレイにも同様の警報が表示される。
第11工程S11:予定した全ての施工を終えると、ARMGアプリケーションを終了させるか、情報端末装置の電源をOFFにする。
【符号の説明】
【0023】
10 安全確認支援システム
12 情報端末装置
14 バケットマーカー
16 ロケーションマーカー
18 LiDAR
20 IMU
22 タッチパネルディスプレイ
24 カメラ
26 スピーカー
図1
図2
図3
図4
図5