特許 7013509 建設機械における図面投影システム、図面投影方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-21

(45)【発行日】2022-01-31

(54)【発明の名称】建設機械における図面投影システム、図面投影方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220124BHJP

   E02F 9/26 20060101ALI20220124BHJP

   G09G 5/00 20060101ALI20220124BHJP

   G09G 5/38 20060101ALI20220124BHJP

   B60K 35/00 20060101ALI20220124BHJP

【ＦＩ】

G06T19/00 600

E02F9/26 A

G09G5/00 510A

G09G5/00 550C

G09G5/38 A

G09G5/00 510B

B60K35/00 A

【請求項の数】 3

(21)【出願番号】P 2020053932

(22)【出願日】2020-03-25

(65)【公開番号】P2021157217

(43)【公開日】2021-10-07

【審査請求日】2020-06-29

(73)【特許権者】

【識別番号】399105715

【氏名又は名称】株式会社インフォマティクス

(74)【代理人】

【識別番号】110001151

【氏名又は名称】あいわ特許業務法人

(72)【発明者】

【氏名】池田 昌隆

(72)【発明者】

【氏名】大見川 匡人

(72)【発明者】

【氏名】在原 遼

【審査官】山▲崎▼ 雄介

(56)【参考文献】

【文献】特開２０１０－０１８１４１（ＪＰ，Ａ）

【文献】特開２０１９－１５９３３５（ＪＰ，Ａ）

【文献】特開２０１１－００１７７５（ＪＰ，Ａ）

【文献】特表２０１９－５２１４０３（ＪＰ，Ａ）

【文献】特開２００２－１４６８４６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０００４３０５（ＵＳ，Ａ１）

【文献】特開２０１７－０５８８５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００－１９／２０

Ｅ０２Ｆ ９／２４－９／２８

Ｂ６０Ｋ ３５／００－３７／０６

Ｇ０９Ｇ ５／００－５／４０

(57)【特許請求の範囲】

【請求項1】

建設機械の運転席に設けられる透過型の表示部と、
運転者の目の位置を検出するアイトラック部と、
前記建設機械の位置を検出する位置取得部と、
前記目の位置と前記建設機械の位置とに基づいて、前記運転者の視点から見たときに原寸かつ建設現場の適正な位置に重畳して表示されるよう調整された図面データを、前記表示部に表示させる制御部と、を含み、
前記アイトラック部は、運転者が両目を開いた状態であるか又は片目だけを開いた状態であるかを判定し、開いている方の目の位置を検出し、
前記制御部は、両目を開いた状態においては前記図面データを表示させず、片目だけを開いた状態において前記図面データを表示させる処理を行う
建設機械における図面投影システム。

【請求項2】

建設機械の運転者の目の位置を検出するアイトラックステップと、
前記建設機械の位置を検出する位置取得ステップと、
前記目の位置と前記建設機械の位置とに基づいて、前記運転者の視点から見たときに原寸かつ建設現場の適正な位置に重畳して表示されるよう調整された図面データを、前記建設機械の運転席に設けられる透過型の表示部に表示させる制御ステップと、を含み、
前記アイトラックステップでは、運転者が両目を開いた状態であるか又は片目だけを開いた状態であるかを判定し、開いている方の目の位置を検出し、
前記制御ステップでは、両目を開いた状態においては前記図面データを表示させず、片目だけを開いた状態において前記図面データを表示させる処理を行う
建設機械における図面投影方法。

【請求項3】

コンピュータに請求項２記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は建設機械における図面投影システム、図面投影方法及びプログラムに関する。

【背景技術】

【0002】

従来、建設現場（土木工事又は建築工事などの現場をいう）では、所定の縮尺で描かれた図面を参照しながら、丁張り（水盛り又は遣り方ともいう）などの作業が実施されていた。丁張りとは、建築物又は構造物の外形線近くの地面に杭や横板を設置し、水糸を張るなどして、基礎の高さや通り芯の位置などを原寸で可視化する工程をいう。

【0003】

丁張りをはじめ、建設現場で実施される様々な工程は、図面を読み取り、縮尺計算を行ったうえで、図面に書かれた要素を現場に反映する作業を必要とする。これは非常に煩雑で、間違いの入り込みやすい作業であった。そこで、近年では特許文献１に記載されているような投影システムを使用し、建設現場に原寸の図面を直接投影することが提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１６３４６６号公報

【文献】特開２００４－２８０２２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１は、主に室内空間において、頭部装着型の透過型ディスプレイに図面を投影する例を開示している。しかしながら、屋外空間で、例えば締固めや掘削用などの建設機械を操作する人が容易に利用できるような図面投影システムも必要とされている。

【0006】

本発明はこのような背景に鑑み、建設機械における図面投影システム、図面投影方法及びプログラムを提供するものである。

【課題を解決するための手段】

【0007】

一実施の形態によれば、建設機械における図面投影システムは、建設機械の運転席に設けられる透過型の表示部と、運転者の目の位置を検出するアイトラック部と、前記建設機械の位置を検出する位置取得部と、前記目の位置と前記建設機械の位置とに基づいて、前記運転者の視点から見たときに原寸かつ建設現場の適正な位置に重畳して表示されるよう調整された図面データを、前記表示部に表示させる制御部と、を含み、前記アイトラック部は、運転者が両目を開いた状態であるか又は片目だけを開いた状態であるかを判定し、開いている方の目の位置を検出し、前記制御部は、両目を開いた状態においては前記図面データを表示させず、片目だけを開いた状態において前記図面データを表示させる処理を行う。
一実施の形態によれば、建設機械における図面投影方法は、建設機械の運転者の目の位置を検出するアイトラックステップと、前記建設機械の位置を検出する位置取得ステップと、前記目の位置と前記建設機械の位置とに基づいて、前記運転者の視点から見たときに原寸かつ建設現場の適正な位置に重畳して表示されるよう調整された図面データを、前記建設機械の運転席に設けられる透過型の表示部に表示させる制御ステップと、を含み、前記アイトラックステップでは、運転者が両目を開いた状態であるか又は片目だけを開いた状態であるかを判定し、開いている方の目の位置を検出し、前記制御ステップでは、両目を開いた状態においては前記図面データを表示させず、片目だけを開いた状態において前記図面データを表示させる処理を行う。
一実施の形態によれば、プログラムは、コンピュータに上記方法を実行させる。

【発明の効果】

【0008】

本発明により、建設機械における図面投影システム、図面投影方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】建設機械における図面投影システム１の構成の一例を示すブロック図である。

【図2】建設機械における図面投影システム１のハードウェア構成の一例を示す図である。

【図3A】表示処理部１３３による図面データ表示処理の概念図を示す。

【図3B】表示処理部１３３による図面データ表示処理の概念図を示す。

【発明を実施するための形態】

【0010】

＜実施の形態１＞
本発明の実施の形態１にかかる建設機械における図面投影システム１（以下、単に投影システム１という）は、建設機械のキャビン内に実装されて、運転席から見える現実の建設現場に、図面などの情報を重畳表示するものである。

【0011】

図１を用いて、投影システム１の構成について説明する。投影システム１は、アイトラック部１１、表示部１２、制御部１３、位置取得部１４を含む。

【0012】

アイトラック部１１は、運転者の目の位置を検出する。アイトラック部１１は、複数のカメラ１１１と、アイトラック処理部１１２とを有する。

【0013】

図２に示すように、本実施の形態では、２つのカメラ１１１ａ及び１１１ｂが、運転者に相対して、運転者の顔（特に目）が画角に入る位置に設置されているものとする。典型的には、カメラ１１１ａ及び１１１ｂは、キャビン内の天井、フロントガラスの内側又はダッシュボード上などに一定の距離をおいて設置される。カメラ１１１ａ及び１１１ｂは、それぞれ運転者の顔を常時撮影し、撮影画像をアイトラック処理部１１２に送信する。

【0014】

アイトラック処理部１１２は、カメラ１１１ａ及び１１１ｂから受信した撮影画像から、運転者の目の位置、好ましくは瞳孔の位置をそれぞれ検出する情報処理装置である。顔画像からの瞳孔の位置の検出手法は公知であるため（例えば特許文献２参照）、ここでは詳細な説明を省略する。また、アイトラック処理部１１２は、複数のカメラ１１１から送られた画像に含まれる目の位置（二次元座標）に基づいて、キャビン空間内の目の位置（三次元座標）を算出する。カメラ設置位置（三次元座標）、光軸の向き（三次元ベクトル）及び画角と、画像内の目の位置（二次元座標）が既知であれば、アイトラック処理部１１２は、カメラ設置位置と目とを結ぶ三次元の直線を求めることができる。カメラ１１１ａ、１１１ｂそれぞれについてこの直線を求め、それらの交点を算出することにより、目の三次元座標を推定できる。ここで算出される目の位置は、キャビンに固定された原点を有する座標系（以下、キャビン座標系という）で表現されており、運転者が頭や眼球を動かさない限り、建設機械が敷地内を動き回っていても不変である。

【0015】

アイトラック処理部１１２は、キャビン座標系で算出された目の位置を、外界の座標系（以下、ワールド座標系という）に変換することができる。ワールド座標系は、地上に固定された原点を有する座標系である。ワールド座標系で表される目の位置は、建設機械が地上を動き回っているあいだは絶えず変化する。一方、建設機械が静止し、運転者が頭や目を動かさなければ、変化しないことになる。後述するように、投影システム１は建設機械の位置（緯度経度）、水平方向の向き（方角）及び上下方向の傾き（ティルト）を検出することができる（位置取得部１４）。アイトラック処理部１１２は、位置取得部１４から得られるこれらの情報と、キャビン座標系で表された目の位置とを合成することにより、ワールド座標系における座標を算出することができる。以下の処理において、特に断りのない限り、目の位置はワールド座標によって表されているものとする。

【0016】

なお、カメラ１１１の数は２に限定されるものでなく、３以上であってもよい。また、アイトラック部１１がカメラ１１１から目までの距離を測定する機能を有する場合、例えばＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを備える場合には、１台のカメラ１１１とＴＯＦセンサとでキャビン空間内の目の位置（三次元座標）を特定できるから、カメラ１１１は単数であっても良い。

【0017】

また、アイトラック部１１は、利き目の設定を可能としても良い。アイトラック部１１は、運転者が自身の利き目を登録するためのユーザインタフェースを提供する。利き目が登録されている場合、アイトラック処理部１１２は、運転者の両目のうち、利き目として登録されている方の目の位置を検出する。これにより、運転者にとって違和感の少ない図面データの表示を行うことが可能となる。利き目が登録されていない場合は、アイトラック部１１は、任意の片目の位置を検出することができる。

【0018】

表示部１２は、図面等の情報を運転者に視認させるための表示装置である。典型的には、表示部１２は透過型ディスプレイであって、運転者と建設現場との間、例えば運転席とフロントガラスとの間に設置される（図２参照）。又は、フロントガラスに情報を投影することにより透過型ディスプレイを構成しても良い。例えば、半透明スクリーンをフロントガラスに貼り、キャビン内（運転席の後方など）に設置したプロジェクタから半透明スクリーンに情報を投影する。

【0019】

制御部１３は、表示部１２に図面等の情報を表示させる情報処理装置である。制御部１３は、入力部１３１、記憶部１３２、表示処理部１３３を有する。

【0020】

入力部１３１は、建設工事に関する各種図面（二次元）、あるいは建築物又は構造物の三次元モデルなど（以下、図面データと総称する）を取得して、記憶部１３２に格納する。典型的には、入力部１３１は、通信ネットワークを介して接続された外部のサーバなどから図面データを受信する。又は、制御部１３に接続された記憶媒体から図面データを読み出しても良い。

【0021】

表示処理部１３３は、記憶部１３２から図面データを読み出して、表示部１２に表示する。この際、表示処理部１３３は、運転者が透過型ディスプレイ（表示部１２）を介して見ている建設現場に重畳させ、原寸で図面データを表示する。具体的な手順は例えば以下のとおりである。

【0022】

図面データは原寸で作成され、かつ図面データ内には１以上の基準点と方角情報とが含まれているものとする。基準点は、緯度及び経度を有する点である。方角情報は、例えば北を示すベクトルである。また、後述するように、投影システム１は建設機械の位置（緯度経度）及び向き（方角）を検出することができる（位置取得部１４）。これらの情報に基づいて、表示処理部１３３は、図面データと現実空間とを対応づける。すなわち、図面データの基準点を、これに対応する現実空間の緯度経度地点に重ね合わせ、図面データの方角情報を、現実空間の方角と重ね合わせる。これにより、図面データが現実空間に仮想的に配置される。

【0023】

表示処理部１３３は、アイトラック部１１が検出した目の位置と、表示部１２の描画エリアの位置及びサイズと、に基づいて、図面データのうちどの部分を表示部１２に表示すべきかを決定する。すなわち、目の位置を視点とし、表示部１２の描画エリアを窓と見立てたときに、窓の外に見えるであろう部分の図面データを抽出して、透過型ディスプレイに表示させる。具体的な処理としては、目の位置を点光源とし、表示部１２の描画エリアを面で表した場合に生成される影に相当する三次元図形を想定する。そして、現実空間に仮想的に配置された図面データのうち、この三次元図形と干渉する構成要素を抽出する。表示処理部１３３は、抽出された構成要素を表示部１２に表示する。当然ながら、このとき表示処理部１３３には、目の位置を視点として、現実空間に仮想的に配置された図面データを見た場合の像が表示される。

【0024】

表示処理部１３３は、上述の表示処理を所定のサイクルで繰り返し実行する。これにより、目の位置が変化したとしても、それに追従して適切な画像を表示部１２に表示させることができる。

【0025】

図３Ａ及び図３Ｂに、表示処理部１３３による図面データ表示の概念図を示す。図３Ａの例では、図面データ２は二次元の平面図を含んでいる。図３Ｂの例では、図面データ２は構造物の三次元モデルを含んでいる。図面データ２のうち実線部２１は表示部１２に表示される部分、破線部２２は表示されない部分を示している。図面データ２のうち表示部１２に表示される範囲２３は、建設機械の動きや運転者５の動きに応じて変化することになる。運転者５は、表示部１２に目を向けるとき、表示部１２の先にある現実空間４と、表示部１２に表示される図面データ２と、を同時に視認できる。換言すれば、運転者５には、現実空間４に図面データ２が重畳表示されているように見える。

【0026】

位置取得部１４は、建設機械の位置（緯度経度）、水平方向の向き（方角）及び上下方向の傾き（ティルト）を検出する。典型的には、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ、全地球航法衛星システム）をはじめとする衛星測位システムによって位置（緯度経度）を測定できる。水平方向の向き（方角）はコンパスにより、上下方向の傾き（ティルト）は加速度センサにより測定可能である。

【0027】

＜実施の形態２＞
実施の形態２にかかる投影システム１は、実施の形態１として示した構成を前提としつつ、操作性や安全性を向上させるための手段を追加したものである。以下の説明では、実施の形態２の特徴的な構成についてのみ言及し、実施の形態１と重複する事項については適宜割愛する。

【0028】

建設機械の運転者にとって、図面データが常時表示されていると、煩わしく感じたり、作業の妨げになったりする場合がある。そこで本実施例では、建設現場を両目で見ているときは図面データを表示せず、片目を閉じたときにだけ図面データを表示する。

【0029】

アイトラック処理部１１２は、カメラ１１１ａ及び１１１ｂから受信した撮影画像から、運転者が両目を開いた状態であるか、又は片目を閉じた（片目だけを開いた）状態であるかを判定する。片目を閉じた状態、すなわちウィンク動作の検出手法は種々提案されており公知であるため、ここでは詳細な説明を省略する。

【0030】

片目を閉じた状態であると判定された場合、アイトラック処理部１１２は、開いているほうの目の位置の検出処理を行い、検出結果を表示処理部１３３に出力する。その他の場合、すなわち両目を開いているか両目を閉じている場合、アイトラック処理部１１２は、目の位置の検出処理を行わないか、検出結果を出力しない。

【0031】

表示処理部１３３は、アイトラック処理部１１２から目の位置を取得できたならば、図面データの表示処理を行う。一方、目の位置を取得できない場合は、図面データを表示しない。

【0032】

アイトラック処理部１１２及び表示処理部１３３は、これらの処理を所定のサイクルで繰り返し実行する。これにより、ウィンク動作に応じて、図面データの表示又は非表示を随時変更することが可能となる。

【0033】

これらの実施の形態によりもたらされる効果の一例は次のとおりである。
投影システム１は、建設現場と運転者との間に設けた透過型ディスプレイ上に図面データを表示する。図面データは、運転者の視点からは、建設現場における実際の位置に原寸で重畳表示されているように見える。これにより、運転者は工事で必要な図面等の情報を建設現場に直接重ね合わせて見ることができるから、従来のように紙の図面を読み取る作業は不要となる。

【0034】

また、投影システム１は、運転者の目の位置を常時モニタリングし、目の位置に応じて表示画像を生成する。すなわち、運転者が姿勢を変化させたり、頭や首を動かしたりしても、それに追従して表示内容も変化するため、運転者の視点からは建設現場と図面データとが常に一致する。

【0035】

また、表示部１２（透過型ディスプレイ）の設置位置を工夫すれば、建設機械の車体やピラー等の死角となる場所に対しても、図面データを投影することが可能となる。これにより、事故や作業ミスを未然に防ぐことができる。

【0036】

これらの特徴により、建設現場における建設機械を使った作業効率及び作業品質を向上させることができる。また、図面データに注意情報や警戒情報を含めることで、建設機械を使う作業における安全管理にも貢献できる。

【0037】

好ましくは、投影システム１は、ウィンク動作を検出して図面データの表示又は非表示を切り替える。これにより、操作性及び安全性を向上させることができる。加えて、利き目の設定や制御が不要となるため、処理を簡略化できる。

【0038】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0039】

また本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をＣＰＵにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。

【符号の説明】

【0040】

１ 建設機械における図面投影システム（投影システム）
１１ アイトラック部
１１１（１１１ａ、１１１ｂ） カメラ
１１２ アイトラック処理部
１２ 表示部
１３ 制御部
１３１ 入力部
１３２ 記憶部
１３３ 表示処理部
１４ 位置取得部
２ 図面データ
２１ 実線部
２２ 破線部
４ 現実空間
５ 運転者

【図1】

【図2】

【図3A】

【図3B】