知財求人 - 知財ポータルサイト「IP Force」
特開2022-166939作業支援システムの設定方法、作業支援システムの設定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022166939
(43)【公開日】2022-11-04
(54)【発明の名称】作業支援システムの設定方法、作業支援システムの設定プログラム
(51)【国際特許分類】
E02F 9/26 20060101AFI20221027BHJP
【ＦＩ】
E02F9/26 Z
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021072388
(22)【出願日】2021-04-22
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(72)【発明者】
【氏名】三本 博之
(57)【要約】
【課題】作業機械にセンサを後付してマシンガイダンスの機能を導入する場合等において、簡易かつ確実にマシンガイダンスの機能を導入できるようにする。
【解決手段】作業支援システム１は、センサにより姿勢情報を取得する検出装置１１Ａ、１１Ｂ、１１Ｃが作業機械２の可動部４、５、６の側面に設けられ、検出装置１１Ａ、１１Ｂ、１１Ｃで取得した姿勢情報によりオペレータの操作を支援する支援情報を作成してオペレータに提供する。作業機械２を側方より撮像した側方画像を取得する画像取得ステップと、側方画像における検出装置１１Ａ、１１Ｂ、１１Ｃの形状が、側面の鉛直方向より検出装置１１Ａ、１１Ｂ、１１Ｃを見た形状になるように、側方画像を画像処理により変形して正対視画像を生成する画像処理ステップと、正対視画像より支援情報の生成に必要な情報を取得する情報取得ステップとを備える。
【選択図】図２
【解決手段】作業支援システム１は、センサにより姿勢情報を取得する検出装置１１Ａ、１１Ｂ、１１Ｃが作業機械２の可動部４、５、６の側面に設けられ、検出装置１１Ａ、１１Ｂ、１１Ｃで取得した姿勢情報によりオペレータの操作を支援する支援情報を作成してオペレータに提供する。作業機械２を側方より撮像した側方画像を取得する画像取得ステップと、側方画像における検出装置１１Ａ、１１Ｂ、１１Ｃの形状が、側面の鉛直方向より検出装置１１Ａ、１１Ｂ、１１Ｃを見た形状になるように、側方画像を画像処理により変形して正対視画像を生成する画像処理ステップと、正対視画像より支援情報の生成に必要な情報を取得する情報取得ステップとを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
作業機械を操作するオペレータの操作を支援する作業支援システムの設定方法において、
前記作業支援システムは、
センサにより姿勢情報を取得する検出装置が前記作業機械の可動部の側面に設けられ、
前記検出装置で取得した前記姿勢情報によりオペレータの操作を支援する支援情報を作成して前記オペレータに提供し、
前記設定方法は、
前記作業機械を側方より撮像した側方画像を取得する画像取得ステップと、
前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して正対視画像を生成する画像処理ステップと、
前記正対視画像より前記支援情報の生成に必要な情報を取得する情報取得ステップとを備える
ことを特徴とする作業支援システムの設定方法。
前記作業支援システムは、
センサにより姿勢情報を取得する検出装置が前記作業機械の可動部の側面に設けられ、
前記検出装置で取得した前記姿勢情報によりオペレータの操作を支援する支援情報を作成して前記オペレータに提供し、
前記設定方法は、
前記作業機械を側方より撮像した側方画像を取得する画像取得ステップと、
前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して正対視画像を生成する画像処理ステップと、
前記正対視画像より前記支援情報の生成に必要な情報を取得する情報取得ステップとを備える
ことを特徴とする作業支援システムの設定方法。
【請求項2】
前記作業機械には、前記検出装置が複数設けられ、
前記画像処理ステップは、
前記検出装置をそれぞれ基準にして、前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して複数の中間処理画像を生成し、
前記中間処理画像毎に、前記複数の検出装置をそれぞれ前記側面の鉛直方向より見た形状と、前記中間処理画像における前記複数の検出装置の形状との形状一致率の集計値を算出して複数の形状一致率の集計値を算出し、
前記複数の形状一致率の集計値から最も形状一致率の集計値が高い前記中間処理画像を選択して前記正対視画像に設定する
ことを特徴とする請求項１に記載の作業支援システムの設定方法。
前記画像処理ステップは、
前記検出装置をそれぞれ基準にして、前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して複数の中間処理画像を生成し、
前記中間処理画像毎に、前記複数の検出装置をそれぞれ前記側面の鉛直方向より見た形状と、前記中間処理画像における前記複数の検出装置の形状との形状一致率の集計値を算出して複数の形状一致率の集計値を算出し、
前記複数の形状一致率の集計値から最も形状一致率の集計値が高い前記中間処理画像を選択して前記正対視画像に設定する
ことを特徴とする請求項１に記載の作業支援システムの設定方法。
【請求項3】
前記側方画像の画像処理が、射影変換である
ことを特徴とする請求項１又は請求項２に記載の作業支援システムの設定方法。
ことを特徴とする請求項１又は請求項２に記載の作業支援システムの設定方法。
【請求項4】
前記支援情報の生成に必要な情報が、前記可動部の回動軸間距離の情報である
ことを特徴とする請求項１から請求項３のうち何れか１つに記載の作業支援システムの設定方法。
ことを特徴とする請求項１から請求項３のうち何れか１つに記載の作業支援システムの設定方法。
【請求項5】
演算処理回路による実行により所定の処理手順を実行させる作業支援システムの設定プログラムにおいて、
前記作業支援システムは、
センサにより姿勢情報を取得する検出装置が前記作業機械の可動部の側面に設けられ、
前記検出装置で取得した前記姿勢情報によりオペレータの操作を支援する支援情報を作成して前記オペレータに提供し、
前記処理手順は、
前記作業機械を側方より撮像した側方画像を取得する画像取得ステップと、
前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して正対視画像を生成する画像処理ステップと、
前記正対視画像より前記支援情報の生成に必要な情報を取得する情報取得ステップとを備える
ことを特徴とする作業支援システムの設定プログラム。
前記作業支援システムは、
センサにより姿勢情報を取得する検出装置が前記作業機械の可動部の側面に設けられ、
前記検出装置で取得した前記姿勢情報によりオペレータの操作を支援する支援情報を作成して前記オペレータに提供し、
前記処理手順は、
前記作業機械を側方より撮像した側方画像を取得する画像取得ステップと、
前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して正対視画像を生成する画像処理ステップと、
前記正対視画像より前記支援情報の生成に必要な情報を取得する情報取得ステップとを備える
ことを特徴とする作業支援システムの設定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援システムの設定方法、作業支援システムの設定プログラムに関し、例えば油圧ショベルに適用することができる。
【背景技術】
【0002】
従来、マシンガイダンスの機能を組み込んだ作業機械（いわゆるＩＣＴ建機である）が提供されている。
ここでマシンガイダンスは、トータルステーション（ＴＳ：Ｔｏｔａｌ Ｓｔａｔｉｏｎ）、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の計測技術を利用して作業機械の操作をサポートする技術である。このマシンガイダンスによれば、オペレータの操作を適切に支援して、作業効率、安全性、作業精度を向上することができる。
ここでマシンガイダンスは、トータルステーション（ＴＳ：Ｔｏｔａｌ Ｓｔａｔｉｏｎ）、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の計測技術を利用して作業機械の操作をサポートする技術である。このマシンガイダンスによれば、オペレータの操作を適切に支援して、作業効率、安全性、作業精度を向上することができる。
【0003】
このようなＩＣＴ建機は、作業機械の可動部にセンサを配置して可動部の姿勢を検出している。このようなＩＣＴ建機に関して、特許文献１には、このセンサを備えた検出装置に関する工夫が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１５－１４１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで作業機械の可動部にセンサを後付して、既存の作業機械にマシンガイダンスの機能を導入することが考えられる。この場合、機能導入時の作業を簡略化して、簡易かつ確実にマシンガイダンスの機能を導入できることが望まれる。
このため作業機械を撮像し、撮像結果を画像処理してマシンガイダンスの処理に必要な情報を取得することが考えられる。なおマシンガイダンスの処理に必要な情報は、例えば可動部の回動軸間距離等である。以下において、このようなマシンガイダンスの処理に必要な可動部の回動軸間距離等の情報を、適宜、可動部の機械的情報と呼ぶ。
しかしながら作業機械に対して正しく正対することなく、例えば作業機械を斜め後方より撮影することも考えられ、この場合、正しく可動部の機械的情報を検出できなくなり、結局、適切にオペレータの操作を支援できなくなる。
このため作業機械を撮像し、撮像結果を画像処理してマシンガイダンスの処理に必要な情報を取得することが考えられる。なおマシンガイダンスの処理に必要な情報は、例えば可動部の回動軸間距離等である。以下において、このようなマシンガイダンスの処理に必要な可動部の回動軸間距離等の情報を、適宜、可動部の機械的情報と呼ぶ。
しかしながら作業機械に対して正しく正対することなく、例えば作業機械を斜め後方より撮影することも考えられ、この場合、正しく可動部の機械的情報を検出できなくなり、結局、適切にオペレータの操作を支援できなくなる。
【0006】
本発明は以上の点を考慮してなされたものであり、作業機械にセンサを後付してマシンガイダンスの機能を導入する場合等において、簡易かつ確実にマシンガイダンスの機能を導入できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
係る課題を解決するため、請求項１の発明は、作業機械を操作するオペレータの操作を支援する作業支援システムの設定方法において、前記作業支援システムは、センサにより姿勢情報を取得する検出装置が前記作業機械の可動部の側面に設けられ、前記検出装置で取得した前記姿勢情報によりオペレータの操作を支援する支援情報を作成して前記オペレータに提供し、前記設定方法は、前記作業機械を側方より撮像した側方画像を取得する画像取得ステップと、前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して正対視画像を生成する画像処理ステップと、前記正対視画像より前記支援情報の生成に必要な情報を取得する情報取得ステップとを備える。
【0008】
請求項１の構成によれば、側方画像における検出装置の形状が、側面の鉛直方向より検出装置を見た形状になるように、側方画像を変形して正対視画像を生成することにより、側方画像を斜め後方等より撮像した場合でも、作業機械に正対するようにして作業機械の側方から撮像した正対視画像を取得することができる。これにより例えば可動部の長さ等を精度良く検出することができ、可動部の機械的情報を精度良く取得して、オペレータの操作を適切に支援することができる。これにより側方画像を取得するだけの簡易な作業により、作業機械にセンサを後付してマシンガイダンスの機能を導入する場合等において、簡易かつ確実にマシンガイダンスの機能を導入することができる。
【0009】
請求項２の発明は、請求項１の構成において、前記作業機械には、前記検出装置が複数設けられ、前記画像処理ステップは、前記検出装置をそれぞれ基準にして、前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して複数の中間処理画像を生成し、前記中間処理画像毎に、前記複数の検出装置をそれぞれ前記側面の鉛直方向より見た形状と、前記中間処理画像における前記複数の検出装置の形状との形状一致率の集計値を算出して複数の形状一致率の集計値を算出し、前記複数の形状一致率の集計値から最も形状一致率の集計値が高い前記中間処理画像を選択して前記正対視画像に設定する。
【0010】
請求項２の構成によれば、検出装置毎に側方画像を変形して複数の中間処理画像を生成し、中間処理画像毎に形状一致率の集計値を算出して複数の形状一致率の集計値を算出し、複数の形状一致率の集計値から最も一致率の集計値が高い中間処理画像を選択して正対視画像に設定することにより、支援情報の生成に必要な情報を最も精度良く取得可能に正対視画像を設定することができる。
【0011】
請求項３の発明は、請求項１又は請求項２の構成において、前記側方画像の画像処理が、射影変換である。
【0012】
請求項３の構成によれば、具体的構成により正対視画像を生成することができる。
【0013】
請求項４の発明は、請求項１、請求項２、請求項３の何れかの構成において、前記支援情報の生成に必要な情報が、前記可動部の回動軸間距離の情報である。
【0014】
請求項４の構成によれば、具体的構成により支援情報の生成に必要な情報を取得することができる。
【0015】
請求項５の発明は、演算処理回路による実行により所定の処理手順を実行させる作業支援システムの設定プログラムにおいて、前記作業支援システムは、センサにより姿勢情報を取得する検出装置が前記作業機械の可動部の側面に設けられ、前記検出装置で取得した前記姿勢情報によりオペレータの操作を支援する支援情報を作成して前記オペレータに提供し、前記処理手順は、前記作業機械を側方より撮像した側方画像を取得する画像取得ステップと、前記側方画像における前記検出装置の形状が、前記側面の鉛直方向より前記検出装置を見た形状になるように、前記側方画像を画像処理により変形して正対視画像を生成する画像処理ステップと、前記正対視画像より前記支援情報の生成に必要な情報を取得する情報取得ステップとを備える。
【0016】
請求項５の構成によれば、側方画像における検出装置の形状が、側面の鉛直方向より検出装置を見た形状になるように、側方画像を変形して正対視画像を生成することにより、側方画像を斜め後方等より撮像した場合でも、作業機械に正対するようにして作業機械の側方から撮像した正対視画像を取得することができる。これにより例えば可動部の長さ等を精度良く検出することができ、可動部の機械的情報を精度良く取得して、オペレータの操作を適切に支援することができる。これにより側方画像を取得するだけの簡易な作業により、作業機械にセンサを後付してマシンガイダンスの機能を導入する場合等において、簡易かつ確実にマシンガイダンスの機能を導入することができる。
【発明の効果】
【0017】
本発明によれば、作業機械にセンサを後付してマシンガイダンスの機能を導入する場合等において、簡易かつ確実にマシンガイダンスの機能を導入することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の第１実施形態に係る作業支援システムを示す図である。
【図3】機械的情報の取得処理を示すフローチャートである。
【図4】画像処理を示すフローチャートである。
【図5】側方画像の説明に供する図である。
【図6】画像加工範囲の説明に供する図である。
【図7】射影変換の説明に供する図である。
【図9】正対視画像の説明に供する図である。
【発明を実施するための形態】
【0019】
〔第１実施形態〕
〔全体構成〕
図１は、本発明の第１実施形態に係る作業支援システム１を示す図であり、図２は、ブロック図である。
この作業支援システム１は、作業機械である油圧ショベル２において、マシンガイダンスの機能によりこの油圧ショベル２を操作するオペレータの操作を支援する。
ここで油圧ショベル２は、無限軌道により自走する本体３にブーム４、アーム５、バケット６が順次設けられる。なお作業支援システム１は、油圧ショベルに限らず、例えば地盤改良に使用する建設機械等、土木、建築の作業に使用される各種作業機械に広く適用することができる。
〔全体構成〕
図１は、本発明の第１実施形態に係る作業支援システム１を示す図であり、図２は、ブロック図である。
この作業支援システム１は、作業機械である油圧ショベル２において、マシンガイダンスの機能によりこの油圧ショベル２を操作するオペレータの操作を支援する。
ここで油圧ショベル２は、無限軌道により自走する本体３にブーム４、アーム５、バケット６が順次設けられる。なお作業支援システム１は、油圧ショベルに限らず、例えば地盤改良に使用する建設機械等、土木、建築の作業に使用される各種作業機械に広く適用することができる。
【0020】
作業支援システム１は、検出装置１１Ａ、１１Ｂ、１１Ｃ、本体装置１２、携帯情報端末装置１３、通知部１４を備える。
ここで検出装置１１Ａ、１１Ｂ、１１Ｃは、油圧ショベル２の可動部であるブーム４、アーム５、バケット６にそれぞれ設けられ、センサにより姿勢情報を取得して本体装置１２に送出する。ここで姿勢情報は、各可動部の姿勢を検出可能な情報であり、この実施形態では３次元の加速度情報、角速度情報が適用される。
ここで検出装置１１Ａ、１１Ｂ、１１Ｃは、油圧ショベル２の可動部であるブーム４、アーム５、バケット６にそれぞれ設けられ、センサにより姿勢情報を取得して本体装置１２に送出する。ここで姿勢情報は、各可動部の姿勢を検出可能な情報であり、この実施形態では３次元の加速度情報、角速度情報が適用される。
【0021】
検出装置１１Ａ、１１Ｂ、１１Ｃは、この３次元の加速度情報、角速度情報を取得可能に、３軸の加速度センサが設けられ、センサによる計測結果を処理して姿勢情報を取得する。
【0022】
より具体的に、センサには、ＩＭＵ（ＩＮＥＲＴＩＡＬ ＭＥＡＳＵＲＥＭＥＮＴ ＵＮＩＴ）センサが適用され、データ通信には、ＢＬＵＥＴＯＯＴＨ（登録商標）が適用される。なおセンサは、ＩＭＵセンサに限らず、３軸以外のセンサを適用するようにしてもよく、姿勢を検出可能な種々の構成を広く適用することができる。また検出装置１１Ａ、１１Ｂ、１１Ｃは、姿勢を十分に検出可能な種々の部位に取り付けることができ、実用上十分な場合には、バケット６にのみ取り付けるようにしてもよい。また無線通信においても、データ通信可能な種々の構成を広く適用することができる。
この実施形態において、検出装置１１Ａ、１１Ｂ、１１Ｃは、側方、同一方向から見て取ることができるようにブーム４、アーム５、バケット６の側面にそれぞれ設けられ、この側面の鉛直方向より見た形状が長方形形状となるように形成される。
この実施形態において、検出装置１１Ａ、１１Ｂ、１１Ｃは、側方、同一方向から見て取ることができるようにブーム４、アーム５、バケット６の側面にそれぞれ設けられ、この側面の鉛直方向より見た形状が長方形形状となるように形成される。
【0023】
本体装置１２は、検出装置１１Ａ、１１Ｂ、１１Ｃが配置されている側の本体２の側面に、検出装置１１Ａ、１１Ｂ、１１Ｃと同時に外方より見て取ることができるように配置される。またこのように側面に配置して、側面の鉛直方向より見た形状が長方形形状となるように形成される。
本体装置１２は、検出装置１１Ａ、１１Ｂ、１１Ｃと同様のセンサを備え、内蔵のマイコンの制御により検出装置１１Ａ、１１Ｂ、１１Ｃで取得した姿勢情報を収集すると共に、内蔵のセンサで姿勢情報を取得し、これらの姿勢情報を携帯情報端末装置１３に出力する。また、本体装置１２は、携帯情報端末装置１３から出力されるオペレータの操作を支援する情報（以下、適宜、支援情報と呼ぶ）を取得し、この支援情報を通知部１４に出力する。
なお実用上十分な場合には、内蔵のセンサを省略してもよい。
本体装置１２は、検出装置１１Ａ、１１Ｂ、１１Ｃと同様のセンサを備え、内蔵のマイコンの制御により検出装置１１Ａ、１１Ｂ、１１Ｃで取得した姿勢情報を収集すると共に、内蔵のセンサで姿勢情報を取得し、これらの姿勢情報を携帯情報端末装置１３に出力する。また、本体装置１２は、携帯情報端末装置１３から出力されるオペレータの操作を支援する情報（以下、適宜、支援情報と呼ぶ）を取得し、この支援情報を通知部１４に出力する。
なお実用上十分な場合には、内蔵のセンサを省略してもよい。
【0024】
通知部１４は、油圧ショベル２の運転席において、本体装置１２より入力される支援情報をオペレータに通知する構成であり、この実施形態では、発光ダイオードによるセグメント表示により、例えば施工目標までの可動量を表示する。なお通知部１４を画像表示パネルにより形成するようにしても良い。またこの表示による通知にあっては、数値の表示により通知する場合、メーターの表示により通知する場合等、種々の手法を適用することができる。また音声、警報音により通知するようにしてもよい。また携帯情報端末装置１３により直接、通知部１４を駆動するようにしてもよく、携帯情報端末装置１３により通知部１４を兼用するようにしてもよい。
【0025】
携帯情報端末装置１３は、いわゆるスマートフォンやタブレット端末である。図２に示すように携帯情報端末装置１３は、無線通信部２１、カメラ部２２、データ保存部２３、画像表示部２４、制御部２５を備える。
ここで無線通信部２１は、本体装置１２との間で姿勢情報、支援情報等を入出力し、カメラ部２２は、制御部２５の制御により撮像結果を取得して画像データを制御部２５に出力する。データ保存部２３は、この作業支援システム１に係るアプリケーションソフトウェア等のこの携帯情報端末装置１３に係る各種プログラム、各種のデータを保持し、保持したデータ等を制御部２５に出力する。画像表示部２４は、液晶表示パネル等の画像表示パネルにより各種の画像を表示する。
ここで無線通信部２１は、本体装置１２との間で姿勢情報、支援情報等を入出力し、カメラ部２２は、制御部２５の制御により撮像結果を取得して画像データを制御部２５に出力する。データ保存部２３は、この作業支援システム１に係るアプリケーションソフトウェア等のこの携帯情報端末装置１３に係る各種プログラム、各種のデータを保持し、保持したデータ等を制御部２５に出力する。画像表示部２４は、液晶表示パネル等の画像表示パネルにより各種の画像を表示する。
【0026】
制御部２５は、演算処理回路によるプログラムの実行によりこの携帯情報端末装置１３の動作を制御する。この実施形態では、この演算処理回路により実行するプログラムに、この作業支援システム１に係るアプリケーションソフトウェアが適用され、本体装置１２より得られる姿勢情報により支援情報を生成して本体装置１２に出力する。
この実施形態では、この支援情報に、油圧ショベル２における施工目標との差異（施工目標までの必要可動量）が割り当てられ、これによりこの支援情報により簡易かつ確実に施工できるように構成される。
この実施形態では、この支援情報に、油圧ショベル２における施工目標との差異（施工目標までの必要可動量）が割り当てられ、これによりこの支援情報により簡易かつ確実に施工できるように構成される。
【0027】
より具体的に、制御部２５は、姿勢情報によりブーム４、アーム５、バケット６の回動量を算出し、この算出した回動量と、回動軸を基準にしたブーム４の長さ（回動軸間距離）Ｌ１、アーム５の長さ（回動軸間距離）Ｌ２、バケット６の回動軸から先端までの長さＬ３とによりバケット６の先端位置を算出し、施工目標までの必要可動量を算出する。
【0028】
〔初期設定処理〕
ところで検出装置１１Ａ、１１Ｂ、１１Ｃ、本体装置１２、通知部１４を後付して作業支援システム１を構成する場合も予測される。この場合、後付する作業機械に応じて、検出装置１１Ａ、１１Ｂ、１１Ｃを配置する可動部の機械的情報である回動軸間距離Ｌ１、Ｌ２、回動軸から先端までの距離Ｌ３を設定することが必要になる。
そこで作業支援システム１では、携帯情報端末装置１３において、検出装置１１Ａ、１１Ｂ、１１Ｃ、本体装置１２、通知部１４を取り付けた状態で作業機械２を側方より撮像し、この側方より撮像した画像（以下、側方画像と呼ぶ）の画像処理により可動部の機械的情報を取得する。これにより作業支援システム１では、簡易にマシンガイダンスの機能を導入することができる。
ところで検出装置１１Ａ、１１Ｂ、１１Ｃ、本体装置１２、通知部１４を後付して作業支援システム１を構成する場合も予測される。この場合、後付する作業機械に応じて、検出装置１１Ａ、１１Ｂ、１１Ｃを配置する可動部の機械的情報である回動軸間距離Ｌ１、Ｌ２、回動軸から先端までの距離Ｌ３を設定することが必要になる。
そこで作業支援システム１では、携帯情報端末装置１３において、検出装置１１Ａ、１１Ｂ、１１Ｃ、本体装置１２、通知部１４を取り付けた状態で作業機械２を側方より撮像し、この側方より撮像した画像（以下、側方画像と呼ぶ）の画像処理により可動部の機械的情報を取得する。これにより作業支援システム１では、簡易にマシンガイダンスの機能を導入することができる。
【0029】
しかしながら作業機械２の側面に正しく正対することなく、例えば斜め後方より作業機械２を撮像する場合も予測され、この場合は、可動部の機械的情報を正しく取得することが困難になり、支援情報を適切に作成できなくなる。
そこで作業支援システム１では、撮像結果を画像処理する際に、側方画像における検出装置１１Ａ、１１Ｂ、１１Ｃの形状が、作業機械の側面（検出装置１１Ａ、１１Ｂ、１１Ｃを取り付けた取付面）の鉛直方向より検出装置１１Ａ、１１Ｂ、１１Ｃを見た形状になるように、側方画像を画像処理して変形することにより、作業機械２の側面に正しく正対した状態で撮像した画像（以下、正対視画像と呼ぶ）に側方画像を変形し、この正対視画像の画像処理により可動部の機械的情報を取得する。
そこで作業支援システム１では、撮像結果を画像処理する際に、側方画像における検出装置１１Ａ、１１Ｂ、１１Ｃの形状が、作業機械の側面（検出装置１１Ａ、１１Ｂ、１１Ｃを取り付けた取付面）の鉛直方向より検出装置１１Ａ、１１Ｂ、１１Ｃを見た形状になるように、側方画像を画像処理して変形することにより、作業機械２の側面に正しく正対した状態で撮像した画像（以下、正対視画像と呼ぶ）に側方画像を変形し、この正対視画像の画像処理により可動部の機械的情報を取得する。
【0030】
図３は、この可動部の機械的情報の取得に係る処理手順を示すフローチャートである。
制御部２５は、マシンガイダンスの機能を導入する際に、検出装置１１Ａ、１１Ｂ、１１Ｃ、本体装置１２、通知部１４が設置されると、作業員の操作によりこの処理手順を開始し（ＳＰ１）、画像表示部２４の表示により作業員に側方画像の取得を指示する。この指示により作業員がカメラ部２２により撮像結果を取得すると、この撮像結果を画像表示部２４で表示し、作業機械の全体が、充分な大きさで撮影されているか否かの判断を作業員に促す。また作業員より確認が得られると、撮像結果を側方画像に設定し、データ保存部２３に保存する（画像取得ステップ：ＳＰ２）。なおこの作業員による確認を、制御部２５の処理により実行するようにしてもよい。また他の装置で作業機械を撮像するようにして、この装置より携帯情報端末装置１３で側方画像を取得するようにしても良い。
制御部２５は、マシンガイダンスの機能を導入する際に、検出装置１１Ａ、１１Ｂ、１１Ｃ、本体装置１２、通知部１４が設置されると、作業員の操作によりこの処理手順を開始し（ＳＰ１）、画像表示部２４の表示により作業員に側方画像の取得を指示する。この指示により作業員がカメラ部２２により撮像結果を取得すると、この撮像結果を画像表示部２４で表示し、作業機械の全体が、充分な大きさで撮影されているか否かの判断を作業員に促す。また作業員より確認が得られると、撮像結果を側方画像に設定し、データ保存部２３に保存する（画像取得ステップ：ＳＰ２）。なおこの作業員による確認を、制御部２５の処理により実行するようにしてもよい。また他の装置で作業機械を撮像するようにして、この装置より携帯情報端末装置１３で側方画像を取得するようにしても良い。
【0031】
続いてこの側方画像における検出装置１１Ａ、１１Ｂ、１１Ｃの形状が、作業機械の側面の鉛直方向より検出装置１１Ａ、１１Ｂ、１１Ｃを見た形状になるように、側方画像を画像処理により変形して正対視画像を生成する（画像処理ステップ：ＳＰ３）。
続いてこの正対視画像の輪郭検出処理により、可動部の機械的情報を検出する基準の部位（回動中心軸、バケット６の先端）の座標を検出し、正対視画像における検出装置１１Ａ、１１Ｂ、１１Ｃの外形形状との対比により可動部の機械的情報Ｌ１、Ｌ２、Ｌ３を検出する（情報取得ステップ：ＳＰ４－ＳＰ５）。
続いてこの正対視画像の輪郭検出処理により、可動部の機械的情報を検出する基準の部位（回動中心軸、バケット６の先端）の座標を検出し、正対視画像における検出装置１１Ａ、１１Ｂ、１１Ｃの外形形状との対比により可動部の機械的情報Ｌ１、Ｌ２、Ｌ３を検出する（情報取得ステップ：ＳＰ４－ＳＰ５）。
【0032】
図４は、この図３の画像処理ステップ（ＳＰ３）の処理手順を詳細に示すフローチャートである。
制御部２５は、側方画像から側方より見て取ることができ、かつセンサを備えている装置の数量及び形状を検出する（ＳＰ１１－ＳＰ１２）。
制御部２５は、側方画像から側方より見て取ることができ、かつセンサを備えている装置の数量及び形状を検出する（ＳＰ１１－ＳＰ１２）。
【0033】
図５は、側方画像Ｇ１の説明に供する図である。この側方画像Ｇ１は、作業機械の側面に正対することなく、斜め後方より撮像した場合の例である。この場合、斜め後方より撮像していることにより、正対して撮像したとした場合の側方画像の外形形状Ｗ２を破線により示すように、側方画像Ｇ１は、作業機械２の前方側（バケット６側）程、大きさが小さくなるように撮像される。またこれにより本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃの外形形状１２Ａ、１１ＡＡ、１１ＢＡ、１１ＣＡにあっても、長方形形状から変形して撮像されることになる。
【0034】
ここで作業支援システム１では、本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃがセンサを備え、側方より同時に見て取ることができるように配置されていることにより、制御部２５は、側方画像Ｇ１の画像処理によりセンサを備えた本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃを検出し、これら本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃの外形形状１２Ａ、１１ＡＡ、１１ＢＡ、１１ＣＡを検出する。
【0035】
続いて制御部２５は、これら本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃのうちの１台を基準装置に設定し、図６に示すように、この基準装置の外形形状の相似形状により側方画像Ｇ１がすっぽり収まる領域を設定し、これにより画像加工範囲ＡＲ１を設定する（ＳＰ１４）。図６の例では、本体装置１２を基準装置に設定し、この基準装置（本体装置１２）の外形形状１２Ａにより囲まれた領域の中心Ｏを基準にして、本体装置１２の外形形状１２Ａに相似した領域を画像加工範囲ＡＲ１に設定する。
【0036】
続いて制御部２５は、このようにして設定した画像加工範囲ＡＲ１の隣接する２辺が直交するように射影変換処理により側方画像を変形する（ＳＰ１５）。
具体的に、図７に示すように、制御部２５は、直交座標空間によるｘｙ座標空間の第一象限に画像加工範囲ＡＲ１を側方画像Ｇ１と共に配置して、この座標空間の座標値（ｘ,ｙ）により画像加工範囲ＡＲ１の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標を定義する。
また図８に示すように、直交座標空間によるＸＹ座標空間の第一象限に画像加工範囲ＡＲ１に対応する大きさで、隣接する２辺がそれぞれＸ軸、Ｙ軸に平行な長方形形状による領域ＡＲ２を設定する。なおこの図８の例では、この隣接する２辺の頂点ｒ１が原点となり、この隣接する２辺がそれぞれＸ軸上、Ｙ軸上となるように領域ＡＲ２を設定する。さらにＸＹ座標空間の座標値（Ｘ，Ｙ）によりこの領域ＡＲ２の頂点ｒ１、ｒ２、ｒ３、ｒ４の座標を定義する。
具体的に、図７に示すように、制御部２５は、直交座標空間によるｘｙ座標空間の第一象限に画像加工範囲ＡＲ１を側方画像Ｇ１と共に配置して、この座標空間の座標値（ｘ,ｙ）により画像加工範囲ＡＲ１の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標を定義する。
また図８に示すように、直交座標空間によるＸＹ座標空間の第一象限に画像加工範囲ＡＲ１に対応する大きさで、隣接する２辺がそれぞれＸ軸、Ｙ軸に平行な長方形形状による領域ＡＲ２を設定する。なおこの図８の例では、この隣接する２辺の頂点ｒ１が原点となり、この隣接する２辺がそれぞれＸ軸上、Ｙ軸上となるように領域ＡＲ２を設定する。さらにＸＹ座標空間の座標値（Ｘ，Ｙ）によりこの領域ＡＲ２の頂点ｒ１、ｒ２、ｒ３、ｒ４の座標を定義する。
【0037】
制御部２５は、領域ＡＲ２の頂点ｒ１の座標値（Ｘ，Ｙ）と、対応する画像加工範囲ＡＲ１の頂点Ｐ１の座標値（ｘ,ｙ）とを次式に代入し、射影変換パラ－メーターである係数ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２）の頂点ｒ１に係る関係式を算出する。なお、以下に示す式１は、射影変換において、変換前の座標値（ｘ,ｙ）と変換後における座標値（Ｘ，Ｙ）との関係式である。
〔式１〕
Ｘ＝（ａ１Ｘ＋ｂ１Ｙ＋ｃ１）／（ａ０Ｘ＋０１Ｙ＋ｃ０）
Ｙ＝（ａ２Ｘ＋ｂ２Ｙ＋ｃ２）／（ａ０Ｘ＋０１Ｙ＋ｃ０）
〔式１〕
Ｘ＝（ａ１Ｘ＋ｂ１Ｙ＋ｃ１）／（ａ０Ｘ＋０１Ｙ＋ｃ０）
Ｙ＝（ａ２Ｘ＋ｂ２Ｙ＋ｃ２）／（ａ０Ｘ＋０１Ｙ＋ｃ０）
【0038】
制御部２５は、同様にして、領域ＡＲ２の頂点ｒ２の座標値（Ｘ，Ｙ）と対応する画像加工範囲ＡＲ１の頂点Ｐ２の座標値（ｘ,ｙ）、領域ＡＲ２の頂点ｒ３の座標値（Ｘ，Ｙ）と対応する画像加工範囲ＡＲ１の頂点Ｐ３の座標値（ｘ,ｙ）、領域ＡＲ２の頂点ｒ４の座標値（Ｘ，Ｙ）と対応する画像加工範囲ＡＲ１の頂点Ｐ４の座標値（ｘ,ｙ）をそれぞれ上記式１に代入し、これにより頂点ｒ２、ｒ３、ｒ４に係る係数ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２の関係式を算出する。
【0039】
ここで上記式１は、分子分母をスカラーで通分することができ、これにより９個の係数ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２のうち、独立した未知数は８個になる。
これにより制御部２５は、頂点ｒ１、ｒ２、ｒ３、ｒ４に係る係数ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２の関係式による８元連立方程式を解いて、係数ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２を算出する。
これにより制御部２５は、頂点ｒ１、ｒ２、ｒ３、ｒ４に係る係数ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２の関係式による８元連立方程式を解いて、係数ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２を算出する。
【0040】
制御部２５は、画像加工範囲ＡＲ１における側方画像の各画素について、算出した係数ａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２を使用して上記式１の演算処理を繰り返し、領域ＡＲ２に射影変換した画像Ｇ３を生成し、図９に示すように側方画像に対応する領域を切り出して射影変換した画像（以下、適宜、射影変換画像と呼ぶ）Ｇ３を生成する。
【0041】
制御部２５は、射影変換画像Ｇ３上の基準装置（この場合、本体装置１２である）の外形形状が、作業機械２の側面の鉛直方向より基準装置１２を見た形状になるように、Ｘ軸方向、Ｙ軸方向に射影変換画像Ｇ３のサイズを可変し（ＳＰ１６）、図１０に示すように、中間処理画像Ｇ４を生成する。
より具体的に制御部２５は、輪郭抽出処理により射影変換画像Ｇ３を処理して基準装置１２の輪郭を検出し、基準装置１２の外形形状における長辺及び短辺の比が、実際の基準装置１２における長辺及び短辺の比になるように、射影変換画像Ｇ３のサイズを変更し、これにより中間処理画像Ｇ４を生成する。
より具体的に制御部２５は、輪郭抽出処理により射影変換画像Ｇ３を処理して基準装置１２の輪郭を検出し、基準装置１２の外形形状における長辺及び短辺の比が、実際の基準装置１２における長辺及び短辺の比になるように、射影変換画像Ｇ３のサイズを変更し、これにより中間処理画像Ｇ４を生成する。
【0042】
続いて制御部２５は、この中間処理画像Ｇ４上の本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃについて、この中間処理画像Ｇ４上における外形形状と、作業機械２の側面の鉛直方向より見た外形形状との一致の程度を示す形状一致率をそれぞれ算出する。またこの算出した形状一致率を集計して形状一致率の集計値を算出する。ここで形状一致率は、種々の算出手法を適用することができ、例えば本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃを鉛直方向より見た外形形状が長方形形状であることにより、この長方形形状に係る４つの辺又は一部の辺の長さにより求めても良く、この長方形形状の頂点座標の相違により求めても良い。また集計値は、例えば合計値により求めることができる。
これにより本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃの形状一致率がそれぞれ１００％、９５％、９５％、９０％である場合、合計値による形状一致率の集計値は、３８０となる。
これにより本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃの形状一致率がそれぞれ１００％、９５％、９５％、９０％である場合、合計値による形状一致率の集計値は、３８０となる。
【0043】
制御部２５は、１台の基準装置について、このようにして中間処理画像Ｇ４を生成し、形状一致率の集計値を算出すると、本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃのうちの未だ中間処理画像Ｇ４を生成していない装置（この例では、検出装置１１Ａ、１１Ｂ、１１Ｃである）に基準装置を切り替えて、同様の処理を繰り返す（ＳＰ１３－ＳＰ１８）。
これにより体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃを順次基準装置に設定してそれぞれ中間処理画像Ｇ４を生成すると共に、形状一致率の集計値を算出し、本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃに対応して複数の中間処理画像Ｇ４を生成する。また中間処理画像Ｇ４毎に形状一致率の集計値を算出する。
これにより体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃを順次基準装置に設定してそれぞれ中間処理画像Ｇ４を生成すると共に、形状一致率の集計値を算出し、本体装置１２、検出装置１１Ａ、１１Ｂ、１１Ｃに対応して複数の中間処理画像Ｇ４を生成する。また中間処理画像Ｇ４毎に形状一致率の集計値を算出する。
【0044】
またセンサを備え、外方より見て取ることができる全ての装置で中間処理画像Ｇ４を生成して形状一致率の集計値を算出すると、制御部２５は、形状一致率の集計値から最も一致率の集計値が高い中間処理画像Ｇ４を選択して正対視画像に設定する（ＳＰ１９）。
これにより制御部２５は、このようにして生成した正対視画像より可動部の機械的情報を取得する。
これにより制御部２５は、このようにして生成した正対視画像より可動部の機械的情報を取得する。
【0045】
以上の構成によれば、側方画像における検出装置の形状が、側面の鉛直方向より検出装置を見た形状になるように、側方画像を変形して正対視画像を生成することにより、側方画像を斜め後方等より撮像した場合でも、作業機械に正対するようにして作業機械の側方から撮像した正対視画像を取得することができる。これにより例えば可動部の長さ等を精度良く検出することができ、可動部の機械的情報を精度良く取得して、オペレータの操作を適切に支援することができる。
また作業員においては、厳密に正対して画像を取得する必要がなく、撮影作業時における負荷を軽減し、撮影作業時間を短縮することができる。
これらにより側方画像を取得するだけの簡易な作業により、作業機械にセンサを後付してマシンガイダンスの機能を導入する場合等において、簡易かつ確実にマシンガイダンスの機能を導入することができる。
また作業員においては、厳密に正対して画像を取得する必要がなく、撮影作業時における負荷を軽減し、撮影作業時間を短縮することができる。
これらにより側方画像を取得するだけの簡易な作業により、作業機械にセンサを後付してマシンガイダンスの機能を導入する場合等において、簡易かつ確実にマシンガイダンスの機能を導入することができる。
【0046】
またさらに検出装置毎に側方画像を変形して複数の中間処理画像を生成し、中間処理画像毎に形状一致率の集計値を算出して正対視画像に設定することにより、支援情報の生成に必要な情報を一段と精度良く取得することができる。
【0047】
またさらに側方画像の画像処理が射影変換であることにより、具体的構成により正対視画像を生成することができる。
【0048】
〔他の実施形態〕
以上、本発明の実施に好適な具体的な構成を詳述したが、本発明は、本発明の趣旨を逸脱しない範囲で、上述の実施形態の構成を種々に変更することができる。
以上、本発明の実施に好適な具体的な構成を詳述したが、本発明は、本発明の趣旨を逸脱しない範囲で、上述の実施形態の構成を種々に変更することができる。
【0049】
すなわち上述の実施形態では、作業機械の全体を撮像して機械的情報を取得する場合について述べたが本発明はこれに限らず、作業機械を部分的に撮像して機械的情報を取得する場合、可動部毎に撮像して機械的情報を取得する場合等に広く適用することができる。
【0050】
また上述の実施形態では、可動軸間距離を検出する場合について述べたが本発明はこれに限らず、検出装置の取り付け誤差を検出する場合等にも広く適用することができる。
【符号の説明】
【0051】
１ 作業支援システム
２ 油圧ショベル
３ 本体
４ ブーム
５ アーム
６ バケット
１１Ａ、１１Ｂ、１１Ｃ 検出装置
１２ 本体装置
１３ 携帯情報端末装置
１４ 通知部
２１ 無線通信部
２２ カメラ部
２３ データ保存部
２４ 画像表示部
２５ 制御部
２ 油圧ショベル
３ 本体
４ ブーム
５ アーム
６ バケット
１１Ａ、１１Ｂ、１１Ｃ 検出装置
１２ 本体装置
１３ 携帯情報端末装置
１４ 通知部
２１ 無線通信部
２２ カメラ部
２３ データ保存部
２４ 画像表示部
２５ 制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】