ホーム > 特許ランキング > 株式会社日立プラントサービス
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024172371
(43)【公開日】2024-12-12
(54)【発明の名称】動作表示システム及び動作表示方法
(51)【国際特許分類】
B66C 13/46 20060101AFI20241205BHJP
B66C 23/88 20060101ALI20241205BHJP
B66C 15/00 20060101ALI20241205BHJP
【ＦＩ】
B66C13/46 Z
B66C23/88 D
B66C15/00 E
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023090040
(22)【出願日】2023-05-31
(71)【出願人】
【識別番号】595145050
【氏名又は名称】株式会社日立プラントサービス
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】平畠 諒大
(72)【発明者】
【氏名】坪倉 徹哉
(72)【発明者】
【氏名】近江 純
【テーマコード（参考）】
3F204
3F205
【Ｆターム（参考）】
3F204AA04
3F204BA02
3F204CA05
3F204FC01
3F204FC03
3F205AA06
3F205HC04
3F205HC07
(57)【要約】
【課題】利便性の高い動作表示システム等を提供する。
【解決手段】動作表示システムは、クレーンの使用予定地でのクレーン用マーカＫ１の読取結果に基づいて、クレーンの３次元モデル画像であるクレーンモデルＭ１を使用予定地の撮影画像に重畳表示させる処理部を備え、処理部は、ユーザによるクレーンモデルＭ１のパラメータ調整に伴って、クレーンモデルＭ１を撮影画像に重畳表示させながらクレーンモデルＭ１を動かす。
【選択図】図４
【解決手段】動作表示システムは、クレーンの使用予定地でのクレーン用マーカＫ１の読取結果に基づいて、クレーンの３次元モデル画像であるクレーンモデルＭ１を使用予定地の撮影画像に重畳表示させる処理部を備え、処理部は、ユーザによるクレーンモデルＭ１のパラメータ調整に伴って、クレーンモデルＭ１を撮影画像に重畳表示させながらクレーンモデルＭ１を動かす。
【選択図】図４
【特許請求の範囲】
【請求項1】
移動式重機の使用予定地での第１マーカの読取結果に基づいて、前記移動式重機の３次元モデル画像である重機モデルを前記使用予定地の撮影画像に重畳表示させる処理部を備え、
前記処理部は、ユーザによる前記重機モデルのパラメータ調整に伴って、当該重機モデルを前記撮影画像に重畳表示させながら当該重機モデルを動かす、動作表示システム。
前記処理部は、ユーザによる前記重機モデルのパラメータ調整に伴って、当該重機モデルを前記撮影画像に重畳表示させながら当該重機モデルを動かす、動作表示システム。
【請求項2】
前記処理部は、前記使用予定地での第２マーカの読取結果に基づいて、所定の物体の３次元モデル画像である物体モデルを前記撮影画像に重畳表示させ、ユーザによる前記物体モデルのパラメータ調整に伴って、当該物体モデルを前記撮影画像に重畳表示させながら、当該物体モデルの位置、大きさ、傾き、及び形状のうちの少なくとも一つを変化させること
を特徴とする請求項１に記載の動作表示システム。
を特徴とする請求項１に記載の動作表示システム。
【請求項3】
前記処理部は、前記重機モデルを動かす過程で当該重機モデルが前記物体モデルに接触する場合、所定の警告表示を行うこと
を特徴とする請求項２に記載の動作表示システム。
を特徴とする請求項２に記載の動作表示システム。
【請求項4】
前記処理部は、前記重機モデルと前記物体モデルとが接触する場合、前記重機モデルにおける接触箇所、及び、前記物体モデルにおける接触箇所のうちの少なくとも一方を強調表示すること
を特徴とする請求項３に記載の動作表示システム。
を特徴とする請求項３に記載の動作表示システム。
【請求項5】
前記処理部は、前記移動式重機のフックに吊り下げられる搬入物の３次元モデル画像である搬入物モデルを前記撮影画像に重畳表示させ、ユーザによる前記重機モデルのパラメータ調整に伴って、前記重機モデル及び前記搬入物モデルを動かすこと
を特徴とする請求項２に記載の動作表示システム。
を特徴とする請求項２に記載の動作表示システム。
【請求項6】
前記処理部は、前記重機モデルを動かす過程で前記搬入物モデルが前記物体モデルに接触する場合、所定の警告表示を行うこと
を特徴とする請求項５に記載の動作表示システム。
を特徴とする請求項５に記載の動作表示システム。
【請求項7】
前記処理部は、前記重機モデルが前記撮影画像に重畳表示された状態で、当該重機モデルの複数のパラメータに対応付けられる複数のバーを前記撮影画像に重畳表示させ、複数の前記バーのうちの少なくとも一つの操作に伴って、前記重機モデルを動かすこと
を特徴とする請求項１に記載の動作表示システム。
を特徴とする請求項１に記載の動作表示システム。
【請求項8】
前記処理部は、前記物体モデルが前記撮影画像に重畳表示された状態で、当該物体モデルの複数のパラメータに対応付けられる複数のバーを前記撮影画像に重畳表示させ、複数の前記バーのうちの少なくとも一つの操作に伴って、前記物体モデルの位置、大きさ、傾き、及び形状のうちの少なくとも一つを変化させること
を特徴とする請求項２に記載の動作表示システム。
を特徴とする請求項２に記載の動作表示システム。
【請求項9】
前記処理部は、前記物体モデルが前記撮影画像に重畳表示された状態で、当該物体モデルの透明度のパラメータに対応付けられる所定のバーを前記撮影画像に重畳表示させ、当該バーの操作に伴って、前記物体モデルの透明度を変化させること
を特徴とする請求項２に記載の動作表示システム。
を特徴とする請求項２に記載の動作表示システム。
【請求項10】
移動式重機の使用予定地での第１マーカの読取結果に基づいて、前記移動式重機の３次元モデル画像である重機モデルを前記使用予定地の撮影画像に重畳表示させる重機モデル表示処理と、
ユーザによる前記重機モデルのパラメータ調整に伴って、当該重機モデルを前記撮影画像に重畳表示させながら当該重機モデルを動かす動作表示処理と、を含む、動作表示方法。
ユーザによる前記重機モデルのパラメータ調整に伴って、当該重機モデルを前記撮影画像に重畳表示させながら当該重機モデルを動かす動作表示処理と、を含む、動作表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、動作表示システム等に関する。
【背景技術】
【0002】
作業現場の撮影画像に仮想的なクレーンの３次元画像を重畳表示させる技術として、例えば、特許文献１に記載の技術が知られている。すなわち、特許文献１には、「クレーンの三次元画像に相当する仮想クレーンの画像情報を生成する仮想クレーン生成部と、・・・前記仮想クレーンを、前記カメラ画像に重ねて表示する画像表示部と、」を備えるクレーン情報表示システムについて記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第７０７０８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１には、前記したように、クレーンの３次元画像である仮想クレーンを撮影画像に重畳表示することは記載されているが、利便性の点で改善の余地がある。
【0005】
そこで、本開示は、利便性の高い動作表示システム等を提供することを課題とする。
【課題を解決するための手段】
【0006】
前記した課題を解決するために、本開示に係る動作表示システムは、移動式重機の使用予定地での第１マーカの読取結果に基づいて、前記移動式重機の３次元モデル画像である重機モデルを前記使用予定地の撮影画像に重畳表示させる処理部を備え、前記処理部は、ユーザによる前記重機モデルのパラメータ調整に伴って、当該重機モデルを前記撮影画像に重畳表示させながら当該重機モデルを動かすこととした。
【発明の効果】
【0007】
本開示によれば、利便性の高い動作表示システム等を提供できる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る動作表示システムの対象の一例であるクレーンの側面図である。
【図2】実施形態に係る動作表示システムの機能ブロック図である。
【図3】実施形態に係る動作表示システムにおける物体モデルの表示例を示す図である。
【図4】実施形態に係る動作表示システムにおけるクレーンモデルの表示例を示す図である。
【図5】実施形態に係る動作表示システムの処理部が実行する処理のフローチャートである。
【図6】実施形態に係る動作表示システムにおいて、クレーンモデルのブームが伏せられた状態の表示例である。
【図7】実施形態に係る動作表示システムにおいて、クレーンモデルのブームが起こされた状態の表示例である。
【図8】実施形態に係る動作表示システムにおいて、クレーンモデルのブームが物体モデルに接触した場合の表示例である。
【図9】実施形態に係る動作表示システムにおいて、搬入物モデルが物体モデルに接触した場合の表示例である。
【発明を実施するための形態】
【0009】
【0010】
＜クレーンの構成＞
図１は、実施形態に係る動作表示システムの対象の一例であるクレーン２０の側面図である。
図１に示すクレーン２０（移動式重機）は、搬入物３０を吊り上げて鉛直方向や水平方向に移動させるための機械である。図１に示すように、クレーン２０は、走行体２１と、アウトリガ２２と、旋回体２３と、ブーム２４と、ジブ２５と、ワイヤロープ２６と、フック２７と、を備えている。
図１は、実施形態に係る動作表示システムの対象の一例であるクレーン２０の側面図である。
図１に示すクレーン２０（移動式重機）は、搬入物３０を吊り上げて鉛直方向や水平方向に移動させるための機械である。図１に示すように、クレーン２０は、走行体２１と、アウトリガ２２と、旋回体２３と、ブーム２４と、ジブ２５と、ワイヤロープ２６と、フック２７と、を備えている。
【0011】
走行体２１は、道路や作業現場を自走するための装置である。走行体２１は、タイヤ２１ａや車体フレーム２１ｂを備える他、図示はしないが、燃料タンクやエンジンやドライブシャフトを備えている。
【0012】
アウトリガ２２は、クレーン２０の転倒を防止するために、車体フレーム２１ｂから突き出した状態で接地される部材である。アウトリガ２２は、車体フレーム２１ｂの前部側面に設置される左右一対のフロントアウトリガ２２ａと、車体フレーム２１ｂの後部側面に設置される左右一対のリアアウトリガ２２ｂと、を含んで構成されている。なお、クレーン２０の走行中は、アウトリガ２２が車体フレーム２１ｂに収納される。また、クレーン２０で搬入物３０を吊り上げる際には、アウトリガ２２が水平方向及び鉛直方向に突き出された状態で接地され、車体全体を持ち上げて車体の姿勢を安定させるようになっている。
【0013】
旋回体２３は、台座２３ａと、キャビン２３ｂと、を備え、走行体２１に対して鉛直軸回りに回転自在に構成されている。台座２３ａは、ターンテーブル（図示せず）や旋回用モータ（図示せず）によって鉛直軸回りに回転する部分であり、走行体２１の上側に設置されている。キャビン２３ｂは、作業員が操作部（図示せず）を所定に操作するための運転室であり、台座２３ａと一体で旋回するようになっている。作業員による操作部の操作で、走行体２１やアウトリガ２２の他、旋回体２３やブーム２４、ジブ２５、ウインチ（図示せず）が所定に制御される。
【0014】
ブーム２４は、基端ブーム２４ａと、複数の中間ブーム２４ｂ，２４ｃ，２４ｄと、先端ブーム２４ｅと、起伏シリンダ２４ｆと、を備えている。そして、中間ブーム２４ｂ，２４ｃ，２４ｄ及び先端ブーム２４ｅが基端ブーム２４ａの内部に入れ子式で順次に格納されるようになっている。基端ブーム２４ａは、その基端側が旋回体２３に設置され、旋回体２３と一体で旋回する。起伏シリンダ２４ｆは、基端ブーム２４ａ等が起伏する際の起伏角を調整するためのシリンダである。起伏シリンダ２４ｆの一端側は旋回体２３に設置され、他端側は基端ブーム２４ａに設置されている。そして、操作部（図示せず）の操作によって、ブーム２４が所定に伸縮したり起伏したりするようになっている。
【0015】
ジブ２５は、先端ブーム２４ｅの先端付近を支点として傾斜角が調整される部材である。ジブ２５は、複数の部材が入れ子式に格納された構造で所定に伸縮されるようになっている。ワイヤロープ２６は、フック２７で搬入物３０を吊り下げるための金属製の綱であり、ブーム２４の基端付近のウインチ（図示せず）に巻回されている。ワイヤロープ２６は、ウインチからブーム２４に沿って延びており、さらに、ジブ２５に掛け回されて鉛直方向に吊り下げられている。
【0016】
フック２７は、搬入物３０を吊り下げるための鉤状部材であり、ワイヤロープ２６の最下部に設置される。そいて、ウインチ（図示せず）によってワイヤロープ２６が繰り出されることでフック２７が下降し、また、ワイヤロープ２６が巻き上げられることでフック２７が上昇するようになっている。このような構成のクレーン２０は、ワイヤロープ２６の繰出し・巻上げの他、ブーム２４やジブ２５の起伏・伸縮や、旋回体２３の旋回によって、フック２７に吊り下げられた搬入物３０を所定に移動させるようになっている。
【0017】
なお、「移動式重機」は、図１に示すクレーン２０に限定されるものではない。クレーン２０はラフテレーンクレーンを示しているが、例えば、トラッククレーンやオールテレーンクレーン、クローラクレーンの他、鉄道クレーンや浮きクレーンといったものも「移動式重機」に含まれる。その他にも、ブルドーザやショベルカー、高所作業車、穴掘建柱車といったものも「移動式重機」に含まれる。
【0018】
＜クレーンと物体との接触について＞
クレーン２０を使用予定地（つまり、作業現場）で用いる際には、作業員が使用予定地の下見を行ったり、ＣＡＤ（Computer Aided Design）でシミュレーションを行ったりして、クレーン２０の使用時に支障が生じないかを事前に確認することが多い。
クレーン２０を使用予定地（つまり、作業現場）で用いる際には、作業員が使用予定地の下見を行ったり、ＣＡＤ（Computer Aided Design）でシミュレーションを行ったりして、クレーン２０の使用時に支障が生じないかを事前に確認することが多い。
【0019】
しかしながら、これまでの技術では、実際に作業員が使用予定地でクレーン２０を使用した場合に、次のような事態が生じる可能性があった。すなわち、シミュレーションには含まれていなかった木や岩石や看板等の物体にブーム２４が接触（干渉）したり、所定の建物や道路標識や街灯や電柱といった物体にブーム２４が接触（干渉）したりする可能性があった。
【0020】
そこで、本実施形態では、仮想的な３次元モデル画像であるクレーンモデルＭ１（図４参照）及び物体モデルＭ２（図３参照）を撮影画像に重畳表示させ、クレーンモデルＭ１が物体モデルＭ２に接触しないかどうかを処理部１４（図２参照）が判定するようにしている。これによって、作業員がクレーン２０（図１参照）を実際に使用したときに支障が生じないか否かを作業員が事前に把握できる。
【0021】
＜動作表示システムの構成＞
図２は、動作表示システム１０の機能ブロック図である。
図２に示す動作表示システム１０は、クレーン２０（図１参照）の３次元モデル画像であるクレーンモデルＭ１（図４参照）を表示部１５に表示させ、ユーザによる所定のパラメータ調整に伴って、クレーンモデルＭ１を画面上で動かす機能を有している。その他にも、動作表示システム１０は、所定の物体モデルＭ２（図３参照）を表示部１５に表示させたり、クレーンモデルＭ１と物体モデルＭ２とが接触するか否かを判定したりする機能も有している。
図２は、動作表示システム１０の機能ブロック図である。
図２に示す動作表示システム１０は、クレーン２０（図１参照）の３次元モデル画像であるクレーンモデルＭ１（図４参照）を表示部１５に表示させ、ユーザによる所定のパラメータ調整に伴って、クレーンモデルＭ１を画面上で動かす機能を有している。その他にも、動作表示システム１０は、所定の物体モデルＭ２（図３参照）を表示部１５に表示させたり、クレーンモデルＭ１と物体モデルＭ２とが接触するか否かを判定したりする機能も有している。
【0022】
図２に示すように、動作表示システム１０は、記憶部１１と、カメラ１２と、情報入力部１３と、処理部１４と、表示部１５と、を備えている。記憶部１１は、図示はしないが、ＲＯＭ（Read Only Memory）等の不揮発性メモリと、ＲＡＭ（Random Access Memory）やレジスタ等の揮発性メモリと、を含んで構成されている。記憶部１１には、クレーンモデル情報１１ａや物体モデル情報１１ｂの他、所定のプログラムやパラメータが予め格納されている。
【0023】
クレーンモデル情報１１ａは、クレーン２０の３次元モデル画像であるクレーンモデルＭ１（図４参照）を表示させるための情報である。物体モデル情報１１ｂは、所定の物体の３次元モデル画像である物体モデルＭ２（図３参照）を表示させるための情報である。前記した所定の物体とは、例えば、クレーン２０（図１参照）の使用予定地に存在する建物や木や岩石等の他、看板や道路標識、街灯、電柱といったものである。言い換えると、所定の物体とは、自然・人工に関わらず、地上にある所定の地物のことを意味している。
【0024】
カメラ１２は、クレーン２０（図１参照）の使用予定地を撮影したり、後記するクレーン用マーカＫ１（図４参照）や物体用マーカＫ２（図３参照）を撮影したりするためのデバイスである。このようなカメラ１２が有するイメージセンサとして、例えば、ＣＣＤセンサ（Charge Coupled Device）やＣＭＯＳセンサ（Complementary Metal Oxide Semiconductor）が用いられる。
【0025】
情報入力部１３は、ユーザの操作を受け付ける機能を有している。このような情報入力部１３として、例えば、タブレットやスマートフォンのタッチパネルが用いられるが、これに限定されるものではない。その他にも、情報入力部１３として、マウスやキーボードやポインティングディバイスといったものが用いられてもよい。
【0026】
処理部１４は、例えば、ＣＰＵ（Central Processing Unit）であり、記憶部１１に格納されたプログラムを読み出して、所定の処理を実行する。図２に示すように、処理部１４は、距離測定部１４ａと、画像生成部１４ｂと、接触判定部１４ｃと、を備えている。
【0027】
距離測定部１４ａは、クレーン用マーカＫ１（第１マーカ：図４参照）と物体用マーカＫ２（第２マーカ：図３参照）との間の距離を測定する。なお、クレーン用マーカＫ１（図４参照）は、クレーン２０（図１参照）の使用予定地の撮影画像に所定のクレーンモデルＭ１（図４参照）を重畳表示させる際の基準位置（つまり、目印）を示すマーカである。このクレーン用マーカＫ１から読み取られる情報は、クレーンモデル情報１１ａに予め対応付けられている。また、物体用マーカＫ２（図３参照）は、クレーン２０（図１参照）の使用予定地の撮影画像に所定の物体モデルＭ２（図３参照）を重畳表示させる際の基準位置（つまり、目印）を示すマーカである。この物体用マーカＫ２から読み取られる情報は、物体モデル情報１１ｂに予め対応付けられている。
【0028】
例えば、距離測定部１４ａは加速度センサであり、クレーン用マーカＫ１から物体用マーカＫ２までユーザが直線的に歩く際の加速度に基づいて、クレーン用マーカＫ１と物体用マーカＫ２との間の距離を測定する。この距離の測定値は、クレーンモデルＭ１が物体モデルＭ２に接触するか否かの判定の際に用いられる。
【0029】
画像生成部１４ｂは、クレーン用マーカＫ１（図４参照）の撮影画像から読み取られる情報に基づいて、記憶部１１からクレーンモデル情報１１ａを読み出す。そして、画像生成部１４ｂは、クレーンモデル情報１１ａに基づいて、所定のクレーンモデルＭ１（図４参照）の画像データを生成し、この画像データをカメラ１２の撮影画像に重畳表示させる。さらに、画像生成部１４ｂは、ユーザによる所定のパラメータ調整に基づいて、クレーンモデルＭ１を画面上で動かすようにする。
【0030】
また、画像生成部１４ｂは、物体用マーカＫ２（図３参照）の撮影画像から読み取られる情報に基づいて、記憶部１１から物体モデル情報１１ｂを読み出す。そして、画像生成部１４ｂは、物体モデル情報１１ｂに基づいて、所定の物体モデルＭ２（図３参照）の画像データを生成し、この画像データをカメラ１２の撮影画像に重畳表示させる。さらに、画像生成部１４ｂは、ユーザによる所定のパラメータ調整に基づいて、物体モデルＭ２の位置や大きさや形状を適宜に変化させる。
【0031】
接触判定部１４ｃは、距離測定部１４ａの測定値の他、クレーンモデルＭ１（図４参照）や物体モデルＭ２（図３参照）の各パラメータに基づいて、クレーンモデルＭ１が物体モデルＭ２に接触するか否かを判定する。
表示部１５は、処理部１４の処理結果を所定に表示させる。このような表示部１５として、例えば、ディスプレイが用いられる。なお、タッチパネル式のディスプレイのように、情報入力部１３及び表示部１５の機能を兼ね備えたものが用いられてもよい。
表示部１５は、処理部１４の処理結果を所定に表示させる。このような表示部１５として、例えば、ディスプレイが用いられる。なお、タッチパネル式のディスプレイのように、情報入力部１３及び表示部１５の機能を兼ね備えたものが用いられてもよい。
【0032】
また、図２に示す動作表示システム１０の機能が、タブレットやスマートフォンの他、ヘッドセット、ＶＲ（Virtual Reality）ゴーグル、スマートグラスといった装置で実現されるようにしてもよい。前記した装置は、動作表示システム１０の処理を単体で行うようにしてもよく、また、サーバ等（図示せず）のコンピュータから適宜に情報を取得するようにしてもよい。
【0033】
図３は、物体モデルＭ２の表示例を示す図である。
なお、図３に示すタブレット４０は、前記した記憶部１１（図２参照）やカメラ１２（図２参照）の他、情報入力部１３（図２参照）や処理部１４（図２参照）や表示部１５（図２参照）の機能を有するものとする。また、タブレット４０には、クレーンモデルＭ１（図４参照）や物体モデルＭ２を表示させるための所定のアプリケーションが予めインストールされているものとする。
なお、図３に示すタブレット４０は、前記した記憶部１１（図２参照）やカメラ１２（図２参照）の他、情報入力部１３（図２参照）や処理部１４（図２参照）や表示部１５（図２参照）の機能を有するものとする。また、タブレット４０には、クレーンモデルＭ１（図４参照）や物体モデルＭ２を表示させるための所定のアプリケーションが予めインストールされているものとする。
【0034】
図３に示す物体モデルＭ２は、クレーン２０（図１参照）の使用予定地の付近に存在する建物や木の他、看板や街灯や電柱や道路標識といった所定の物体を表す３次元モデル画像である。このような物体モデルＭ２の表示に用いられる物体モデル情報１１ｂ（図２参照）は、前記したように、物体用マーカＫ２の情報に対応付けて、記憶部１１（図２参照）に予め格納されている。
【0035】
物体用マーカＫ２は、クレーン２０の使用予定地の付近に存在する建物等のそばに置かれた状態で、カメラ１２（図２参照）によって撮影される。なお、物体用マーカＫ２が所定箇所に貼り付けられるようにしてもよい。物体用マーカＫ２に印刷された所定のパターンは、物体モデルＭ２を示すＱＲコード（登録商標）やバーコードであってもよく、また、他の所定の図柄や表示画像であってもよい。物体用マーカＫ２が印刷又は表示される媒体は、紙であってもよく、また、薄板状の樹脂やディスプレイであってもよい。
【0036】
図３の例では、物体用マーカＫ２として、所定のＱＲコード（登録商標）が印刷された矩形状の紙がクレーン２０の使用予定地の付近の路面（所定の物体のそば）に置かれている。そして、ユーザがタブレット４０を所定のマーカ読取りモードにして、物体用マーカＫ２をカメラ１２（図２参照）で撮影することによって、物体用マーカＫ２の情報が読み取られるようになっている。処理部１４（図２参照）は、クレーン２０（移動式重機：図１参照）の使用予定地での物体用マーカＫ２（第２マーカ）の読取結果に基づいて、所定の物体の３次元モデル画像である物体モデルＭ２を撮影画像に重畳表示させる。
【0037】
図３の例では、物体モデルＭ２の前面（手前側の面）と下面との間の辺が物体用マーカＫ２の中心に重なるように表示されている。具体的には、一辺が１．０［ｍ］の立方体が、あたかも路面に置かれているように、仮想的な物体モデルＭ２として撮影画像に重畳表示されている。なお、物体モデルＭ２の初期の表示位置と物体用マーカＫ２との間の位置関係は予め設定されているが、適宜に変更可能である。また、物体モデルＭ２の表示のさせ方は、例えば、撮影画像上の物体用マーカＫ２の写り方や撮影画像のエッジ検出等に基づいて適宜に調整される。
【0038】
図３の例では、タブレット４０の表示部１５における左下隅部の付近に複数のバーＢ２（スライダバー）が上下方向に並んで表示されている。これらのバーＢ２は、物体モデルＭ２の大きさ・形状・傾き・透明度・位置の各パラメータをユーザが調整する際の操作部（ユーザインタフェース）として機能する。例えば、作業現場付近の所定の建物にクレーン２０（図１参照）が接触するか否かをユーザが事前に確認したい場合には、撮影画像上の当該建物に物体モデルＭ２がぴったりと重なるように（例えば、図６参照）、物体モデルＭ２の大きさ・形状・傾き・位置が調整される。なお、バーＢ２の右横に表示されている複数のテキストボックスには、それぞれ、数値を直接的に入力することも可能である。
【0039】
図３に示す複数のバーＢ２のうち、「幅」・「高さ」・「奥行」のバーは、物体モデルＭ２の大きさや形状を変化させる際に用いられる。具体的に説明すると、「幅」のバーは、直方体状の物体モデルＭ２の横幅の調整に用いられる。例えば、物体モデルの「幅」が１．０［ｍ］から２０．０［ｍ］に変更された場合には、横幅が２０．０［ｍ］の直方体状の仮想的な物体モデルＭ２が、あたかも実際に存在しているかのように撮影画像に重畳表示される。図３に示す「高さ」のバーは、直方体状の物体モデルＭ２の高さ方向の長さの調整に用いられる。また、「奥行」のバーは、直方体状の物体モデルＭ２の奥行方向の長さの調整に用いられる。
【0040】
図３に示す「傾きＸ」のバーは、物体モデルＭ２の重心を通るＸ方向（横方向）の軸（図示せず）を中心として物体モデルＭ２を所定に回転させることで、前後の傾きを調整する際に用いられる。また、「傾きＹ」のバーは、物体モデルＭ２の重心を通るＹ方向（奥行方向）の軸（図示せず）を中心として物体モデルＭ２を所定に回転させることで、左右の傾きを調整する際に用いられる。
【0041】
図３に示す「透明度」のバーは、物体モデルＭ２を表示させる際の透明度の調整に用いられる。例えば、「透明度」が高くなるほど、物体モデルＭ２が透けて、背景の建物等が見えやすくなる。図３の例では、透明度が３０％になっているため、撮影画像に含まれる建物等の稜線が透けて見えている（図３の破線を参照）。このように、処理部１４（図２参照）は、物体モデルＭ２が撮影画像に重畳表示された状態で、物体モデルＭ２の透明度のパラメータに対応付けられる所定のバーを撮影画像に重畳表示させ、このバーの操作に伴って、物体モデルＭ２の透明度を変化させる。
【0042】
これによって、例えば、物体モデルＭ２の大きさ・傾き・位置・形状をユーザが適宜に調整して、撮影画像上の建物に物体モデルＭ２をぴったりと重ねるといった作業が行いやすくなる（図６参照）。仮に、物体モデルＭ２の一部が建物の画面上の輪郭からはみ出ていた場合でも、透明な物体モデルＭ２から建物が透けて見えるため、ユーザが画面上の建物の輪郭を確認しながら、物体モデルＭ２の大きさ等を微調整できる。
【0043】
図３に示す「オフセットＸ」・「オフセットＹ」・「オフセットＺ」のバーは、物体モデルＭ２の位置を変化させる際に用いられる。具体的に説明すると、「オフセットＸ」のバーは、撮影画像上で物体モデルＭ２をＸ方向（横方向）に移動させる際に用いられる。また、「オフセットＹ」のバーは、撮影画像上で物体モデルＭ２をＹ方向（奥行方向）に移動させる際に用いられる。「オフセットＺ」のバーは、撮影画像上で物体モデルＭ２をＺ方向（高さ方向）に移動させる際に用いられる。
【0044】
このように処理部１４（図２参照）は、物体モデルＭ２が撮影画像に重畳表示された状態で、物体モデルＭ２の複数のパラメータに対応付けられる複数のバーＢ２を撮影画像に重畳表示させる。そして、処理部１４は、複数のバーＢ２のうちの少なくとも一つの操作に伴って、物体モデルＭ２の位置、大きさ、傾き、及び形状のうちの少なくとも一つを変化させる。
【0045】
なお、物体用マーカＫ２をユーザが拾い上げて別の位置に移動させた上で、この物体用マーカＫ２を再び撮影した場合には、移動後の物体用マーカＫ２の位置に合わせて、物体モデルＭ２の画面上の位置も変化する。したがって、ユーザが物体モデルＭ２の画面上の位置を変化させる際には、オフセットＸ，Ｙ，Ｚのバーを操作してもよいし、物体用マーカＫ２を別の位置に移動させてもよい。
【0046】
図３の表示画面の右下隅部に表示されている３つのボタンのうち、上段のボタンＴ２は、物体モデルＭ２の表示やパラメータ調整の際に選択されるボタンである。図３の例では、物体モデルＭ２に対応するボタンＴ２が選択され、このボタンＴ２が強調表示されている。中段のボタンＴ１は、クレーンモデルＭ１（図４参照）の表示やパラメータ調整の際に選択されるボタンである。下段のボタンＴ０は、物体モデルＭ２やクレーンモデルＭ１の表示が中断される際に選択されるボタンである。
【0047】
図４は、クレーンモデルＭ１の表示例を示す図である。
図４に示すクレーンモデルＭ１（重機モデル）は、移動式重機であるクレーン２０（図１参照）の３次元モデル画像である。このようなクレーンモデルＭ１の表示に用いられるクレーンモデル情報１１ａ（図２参照）は、前記したように、クレーン用マーカＫ１の情報に対応付けて、記憶部１１（図２参照）に予め格納されている。
図４に示すクレーンモデルＭ１（重機モデル）は、移動式重機であるクレーン２０（図１参照）の３次元モデル画像である。このようなクレーンモデルＭ１の表示に用いられるクレーンモデル情報１１ａ（図２参照）は、前記したように、クレーン用マーカＫ１の情報に対応付けて、記憶部１１（図２参照）に予め格納されている。
【0048】
クレーン用マーカＫ１は、クレーン２０の使用予定地に置かれた状態で、カメラ１２（図２参照）によって撮影される。クレーン用マーカＫ１に印刷された所定のパターンは、クレーンモデルＭ１を示すＱＲコード（登録商標）やバーコードであってもよく、また、他の所定の図柄や表示画像であってもよい。クレーン用マーカＫ１が印刷又は表示される媒体は、紙の他に、薄板状の樹脂やディスプレイであってもよい。
【0049】
図４の例では、クレーン用マーカＫ１として、所定のＱＲコード（登録商標）が印刷された矩形状の紙がクレーン２０（図１参照）の使用予定地の路面に置かれている。そして、ユーザがタブレット４０を所定のマーカ読取りモードにして、クレーン用マーカＫ１をカメラ１２（図２参照）で撮影することによって、クレーン用マーカＫ１の情報が読み取られるようになっている。処理部１４（図２参照）は、クレーン用マーカＫ１の読取結果に基づいて、所定のクレーンモデルＭ１を撮影画像に重畳表示させる。
【0050】
図４の例ではクレーンモデルＭ１における右側のリアアウトリガＭ１ａの接地箇所の付近にクレーン用マーカＫ１が位置するように、クレーンモデルＭ１が表示されている。そして、仮想的なクレーンモデルＭ１が、あたかも路面上に存在するかのように、撮影画像に重畳表示されている。なお、クレーンモデルＭ１の初期の表示位置とクレーン用マーカＫ１との間の位置関係は予め設定されているが、適宜に変更可能である。
【0051】
図４の例では、タブレット４０の表示部１５の左下隅部の付近に複数のバーＢ１（スライダバー）が上下方向に並んで表示されている。これらのバーＢ１は、クレーンモデルＭ１の大きさ・傾き・位置の他、ブームＭ１ｂやジブＭ１ｃの角度・長さや、台座Ｍ１ｄの回転角度をユーザが調整する際の操作部（ユーザインタフェース）として機能する。
【0052】
図４に示す複数のバーＢ１のうち、「スケール」のバーは、クレーン２０（図１参照）の実際の大きさを基準とした場合のクレーンモデルＭ１の倍率（スケール）の調整に用いられる。図４の例では、スケールが「０．１」であり、クレーンモデルＭ１がかなり小さめに表示されている。
【0053】
「ブーム角度」のバーは、クレーンモデルＭ１のブームＭ１ｂの角度の調整に用いられる。「ブーム長」のバーは、クレーンモデルＭ１のブームＭ１ｂの長さの調整に用いられる。「台座の回転角度」のバーは、クレーンモデルＭ１の台座Ｍ１ｄの回転角度の調整に用いられる。「ジブ角度」のバーは、クレーンモデルＭ１のジブＭ１ｃの角度の調整に用いられる。「ジブ長」のバーは、クレーンモデルＭ１のジブＭ１ｃの長さの調整に用いられる。
【0054】
図４に示す「傾きＸ」のバーは、クレーンモデルＭ１の重心を通るＸ方向（横方向）の軸（図示せず）を中心としてクレーンモデルＭ１を所定に回転させることで、前後の傾きを調整する際に用いられる。また、「傾きＹ」のバーは、Ｙ方向（奥行方向）の軸（図示せず）を中心としてクレーンモデルＭ１を所定に回転させることで、左右の傾きを調整する際に用いられる。
【0055】
図４に示す「オフセットＸ」・「オフセットＹ」・「オフセットＺ」のバーは、クレーンモデルＭ１の位置を変化させる際に用いられる。具体的に説明すると、「オフセットＸ」のバーは、撮影画像上でクレーンモデルＭ１をＸ方向（横方向）に移動させる際に用いられる。また、「オフセットＹ」のバーは、撮影画像上でクレーンモデルＭ１をＹ方向（奥行方向）に移動させる際に用いられる。「オフセットＺ」のバーは、撮影画像上でクレーンモデルＭ１をＺ方向（高さ方向）に移動させる際に用いられる。
【0056】
このように処理部１４（図２参照）は、クレーンモデルＭ１（重機モデル）が撮影画像に重畳表示された状態で、クレーンモデルＭ１の複数のパラメータに対応付けられる複数のバーＢ１を撮影画像に重畳表示させる。そして、処理部１４は、複数のバーＢ１のうちの少なくとも一つの操作に伴って、クレーンモデルＭ１を動かすようにする。
【0057】
図５は、動作表示システムの処理部が実行する処理のフローチャートである（適宜、図２も参照）。
ステップＳ１０１において処理部１４は、カメラ１２の撮影画像から物体用マーカＫ２（図３参照）を読み込む。例えば、作業現場でクレーン２０（図１参照）を使用した場合に、クレーン２０のブーム２４（図１参照）が所定の建物に接触するか否かを確認したい場合、ユーザは、この建物のそばに物体用マーカＫ２を置いて、カメラ１２で物体用マーカＫ２（図３参照）を撮影する。これによって、物体用マーカＫ２の情報が読み込まれる。
ステップＳ１０１において処理部１４は、カメラ１２の撮影画像から物体用マーカＫ２（図３参照）を読み込む。例えば、作業現場でクレーン２０（図１参照）を使用した場合に、クレーン２０のブーム２４（図１参照）が所定の建物に接触するか否かを確認したい場合、ユーザは、この建物のそばに物体用マーカＫ２を置いて、カメラ１２で物体用マーカＫ２（図３参照）を撮影する。これによって、物体用マーカＫ２の情報が読み込まれる。
【0058】
ステップＳ１０２において処理部１４は、画像生成部１４ｂによって、撮影画像に物体モデルＭ２（図３参照）を重畳表示させる。これによって、例えば、直方体状の物体モデルＭ２が、撮影画像上の建物等の物体のそばに重畳表示される。
【0059】
ステップＳ１０３において処理部１４は、所定のパラメータに基づいて、物体モデルＭ２（図３参照）を調整する。すなわち、処理部１４は、ユーザによる物体モデルＭ２のパラメータ調整に伴って、物体モデルＭ２を撮影画像に重畳表示させながら、この物体モデルＭ２の位置、大きさ、傾き、及び形状のうちの少なくとも一つを変化させる（図３参照）。例えば、ユーザは、直方体状の物体モデルＭ２が撮影画像上の所定の木を含むようにパラメータ調整を行ってもよい。物体モデルＭ２を撮影画像上のどの物体に合わせるかは、作業現場の状況や所定の作業計画に基づいて設定される。
【0060】
ステップＳ１０４において処理部１４は、カメラ１２の撮影画像からクレーン用マーカＫ１（図４参照）を読み込む。すなわち、ユーザは、クレーン２０（図１参照）の使用予定地にクレーン用マーカＫ１を置いて、カメラ１２でクレーン用マーカＫ１を撮影する。これによって、クレーン用マーカＫ１の情報が読み込まれる。
【0061】
ステップＳ１０５において処理部１４は、画像生成部１４ｂによって、撮影画像にクレーンモデルＭ１（図４参照）を重畳表示させる。すなわち、処理部１４は、クレーン２０（移動式重機：図１参照）の使用予定地でのクレーン用マーカＫ１（第１マーカ）の読取結果に基づいて、クレーン２０の３次元モデル画像であるクレーンモデルＭ１（重機モデル）を使用予定地の撮影画像に重畳表示させる（重機モデル表示処理）。これによって、例えば、図４に示すようなクレーンモデルＭ１が撮影画像に重畳表示される。つまり、クレーン２０の使用予定地の撮影画像に物体モデルＭ２（Ｓ１０２）及びクレーンモデルＭ１（Ｓ１０５）の両方が重畳表示される。
【0062】
ステップＳ１０６において処理部１４は、所定のパラメータに基づいて、クレーンモデルＭ１（図４参照）を調整する。すなわち、処理部１４は、ユーザによるクレーンモデルＭ１（重機モデル）のパラメータ調整に伴って、クレーンモデルＭ１を撮影画像に重畳表示させながら当該クレーンモデルＭ１を動かす（動作表示処理）。これによって、クレーンモデルＭ１を撮影画像に重畳表示させた状態で、クレーンモデルＭ１の連続的な動きをユーザが視認できる。つまり、実物のクレーン２０（図１参照）が使用予定地で実際に使用される状況とほとんど変わらない状況を表示させることができる。
【0063】
また、クレーンモデルＭ１（図４参照）のブームＭ１ｂ（図４参照）の長さや角度といったパラメータをユーザが調整した場合、パラメータの変化に連動して、撮影画像上でクレーンモデルＭ１のブームＭ１ｂが連続的に動く。これによって、ユーザは、実際にクレーン２０（図１参照）を運転した場合の動きを、クレーンモデルＭ１のひとつひとつの動きとして作業現場で確認できる。
【0064】
次に、ステップＳ１０７において処理部１４は、２つのマーカ間の距離情報を取得する。すなわち、処理部１４は、距離測定部１４ａによって、物体用マーカＫ２（図３参照）とクレーン用マーカＫ１（図４参照）との間の距離を測定する。例えば、処理部１４は、ユーザが物体用マーカＫ２の位置からクレーン用マーカＫ１の位置まで直線的に歩いたときの加速度に基づいて、２つのマーカ間の距離を測定する。なお、ユーザが距離測定器（図示せず）を用いて、２つのマーカ間の距離を測定し、その測定値を入力するようにしてもよい。
【0065】
ちなみに、所定にパラメータに基づいて物体モデルＭ２を調整する処理（Ｓ１０３）やクレーンモデルＭ１を調整する処理（Ｓ１０６）は、２つのマーカ間の距離情報が取得された後も行うことができる。
【0066】
次に、ステップＳ１０８において処理部１４は、クレーンモデルＭ１が物体モデルＭ２に接触したか否かを判定する。すなわち、処理部１４は、２つのマーカ間の距離情報の他、物体モデルＭ２及びクレーンモデルＭ１の各パラメータに基づいて、クレーンモデルＭ１が物体モデルＭ２に接触したか否かを接触判定部１４ｃによって判定する。ステップＳ１０８においてクレーンモデルＭ１が物体モデルＭ２に接触した場合（Ｓ１０８：Ｙｅｓ）、処理部１４の処理はステップＳ１０９に進む。
【0067】
ステップＳ１０９において処理部１４は、所定の警告を表示する。処理部１４は、例えば、「衝突しました！」（図８参照）といった所定の警告を表示させる。このように、処理部１４は、クレーンモデルＭ１（重機モデル）を動かす過程でクレーンモデルＭ１が物体モデルＭ２に接触する場合、所定の警告表示を行うようにする（Ｓ１０９）。これによって、クレーンモデルＭ１と同様に実際のクレーン２０（図１参照）を動かした場合には、クレーン２０が建物等に接触することをユーザが事前に把握できる。
【0068】
なお、図５では省略しているが、クレーンモデルＭ１と物体モデルＭ２とが接触するという警告が出された場合でも（Ｓ１０９）、ユーザは、クレーンモデルＭ１の位置や角度を変えたり、クレーンモデルＭ１のブームＭ１ｂ（図４参照）やジブＭ１ｃ（図４参照）の長さ・角度を変えたりして、再試行することが可能である。また、クレーンモデルＭ１の配置や動作が適切な場合でも物体モデルＭ２と接触するような場合には、例えば、サイズや型式の異なる別のクレーンのクレーンモデル（図示せず）が適宜に選択された上で、物体モデルＭ２と接触するか否かが再び判定される。
【0069】
また、ステップＳ１０８においてクレーンモデルＭ１が物体モデルＭ２に接触しない場合（Ｓ１０８：Ｎｏ）、処理部１４は、一連の処理を終了する（ＥＮＤ）。この場合には、クレーンモデルＭ１に対応する実物のクレーン２０（図１参照）を運転しても特に問題がないことをユーザが事前に把握できる。ちなみに、クレーンモデルＭ１が物体モデルＭ２に接触しない場合でも、ユーザがクレーンモデルＭ１のパラメータを適宜に変更して、さまざまな運転状況でのクレーンモデルＭ１の動きを確認することも可能である。
【0070】
図６は、クレーンモデルＭ１のブームＭ１ｂが伏せられた状態の表示例である。
図６の例では、紙面右側に破線で示す建物Ｈ１に略一致するように、物体モデルＭ２の位置・大きさ・傾きが調整されている（図５のＳ１０３に対応）。なお、物体モデルＭ２が建物Ｈ１の全体に完全に一致している必要は特になく、建物Ｈ１においてクレーン２０（図１参照）のブーム２４（図１参照）が接触する可能性のある部分が物体モデルＭ２に含まれていればよい。また、図６には、クレーン用マーカＫ１や物体用マーカＫ２も図示している。
図６の例では、紙面右側に破線で示す建物Ｈ１に略一致するように、物体モデルＭ２の位置・大きさ・傾きが調整されている（図５のＳ１０３に対応）。なお、物体モデルＭ２が建物Ｈ１の全体に完全に一致している必要は特になく、建物Ｈ１においてクレーン２０（図１参照）のブーム２４（図１参照）が接触する可能性のある部分が物体モデルＭ２に含まれていればよい。また、図６には、クレーン用マーカＫ１や物体用マーカＫ２も図示している。
【0071】
図６の例では、撮影画像において建物Ｈ１の手前側に実物大（つまり、スケールが１．０）のクレーンモデルＭ１が重畳表示されている。その他、クレーンモデルＭ１の各パラメータを調整するための複数のバーＢ１が表示されている。図６の例では、「ブーム角度」が０．００°であるため、ブームＭ１ｂが水平方向に伏せた状態になっている。そして、図６の状態からユーザが「ブーム角度」や「ブーム長」のバーを動かして各値を変化させると、これに伴って、クレーンモデルＭ１のブームＭ１ｂの角度や長さが連続的に変化する様子が表示される。ちなみに、図６のように、バーＢ１を撮影画像に重畳表示せることも可能である他、所定の操作によって、これらのバーＢ１を撮影画像に重畳表示させないようにすることも可能である（図７～図９参照）。
【0072】
図７は、クレーンモデルＭ１のブームＭ１ｂが起こされた状態の表示例である。
図７の例では、ブームＭ１ｂの角度が５０°に変更された状態でクレーンモデルＭ１が撮影画像に重畳表示されている。なお、図７の状態からユーザがバーＢ１を操作して、ブームＭ１ｂの長さの値を大きくすると、これに伴って、撮影画像上のクレーンモデルＭ１のブームＭ１ｂが連続的に伸びる様子が表示される（図５のＳ１０６に対応）。このように、作業現場でクレーン２０（図１参照）が実際に使用される場合とほとんど変わらない状況をクレーンモデルＭ１で再現できる。
図７の例では、ブームＭ１ｂの角度が５０°に変更された状態でクレーンモデルＭ１が撮影画像に重畳表示されている。なお、図７の状態からユーザがバーＢ１を操作して、ブームＭ１ｂの長さの値を大きくすると、これに伴って、撮影画像上のクレーンモデルＭ１のブームＭ１ｂが連続的に伸びる様子が表示される（図５のＳ１０６に対応）。このように、作業現場でクレーン２０（図１参照）が実際に使用される場合とほとんど変わらない状況をクレーンモデルＭ１で再現できる。
【0073】
図８は、クレーンモデルＭ１のブームＭ１ｂが物体モデルＭ２に接触した場合の表示例である。
図８の例では、クレーンモデルＭ１のブームＭ１ｂの先端が物体モデルＭ２に接触したため、「衝突しました！」という警告メッセージが表示されている（図５のＳ１０９に対応）。また、衝突時のクレーンモデルＭ１の高さ（地面からブームＭ１ｂの先端までの高さ）の他、台座Ｍ１ｄの幅・奥行も表示されている。これによって、ユーザは、実際のクレーン２０（図１参照）で同様の運転を行った場合には、ブーム２４（図１参照）の先端が建物Ｈ１に衝突する可能性が高いことを事前に把握できる。
図８の例では、クレーンモデルＭ１のブームＭ１ｂの先端が物体モデルＭ２に接触したため、「衝突しました！」という警告メッセージが表示されている（図５のＳ１０９に対応）。また、衝突時のクレーンモデルＭ１の高さ（地面からブームＭ１ｂの先端までの高さ）の他、台座Ｍ１ｄの幅・奥行も表示されている。これによって、ユーザは、実際のクレーン２０（図１参照）で同様の運転を行った場合には、ブーム２４（図１参照）の先端が建物Ｈ１に衝突する可能性が高いことを事前に把握できる。
【0074】
なお、クレーンモデルＭ１（重機モデル）と物体モデルＭ２とが接触する場合、クレーンモデルＭ１における接触箇所、及び、物体モデルＭ２における接触箇所のうちの少なくとも一方を処理部１４が強調表示することが好ましい。これによって、クレーンモデルＭ１や物体モデルＭ２のどこが接触したのかをユーザが一目で把握できる。前記した「強調表示」の例として、クレーンモデルＭ１や物体モデルＭ２における接触箇所が周囲の色とは異なる色で表示されようにしてもよい。図８の例では、物体モデルＭ２においてクレーンモデルＭ１と接触した箇所Ｍ２ａが周囲の色とは異なる色で強調表示されている。
【0075】
図９は、搬入物モデルＭ３が物体モデルＭ２に接触した場合の表示例である。
図９に示すように、クレーン２０（移動式重機：図１参照）のフック２７（図１参照）に吊り下げられる搬入物３０（図１参照）の３次元モデル画像である搬入物モデルＭ３が使用予定地の撮影画像に重畳表示されるようにしてもよい。そして、ユーザによるクレーンモデルＭ１（重機モデル）のパラメータ調整に伴って、処理部１４（図２参照）がクレーンモデルＭ１及び搬入物モデルＭ３を動かすようにするとよい。これによって、作業現場でフック２７（図１参照）に搬入物３０（図１参照）を吊り下げた場合に、搬入物３０が物体に接触するか否かをユーザが事前に把握できる。図９では、搬入物モデルＭ３が直方体状である例を示しているが、他の形状であってもよい。搬入物モデルＭ３の大きさや形状の他、クレーンモデルＭ１のフックＭ１ｆへの設置状態や透明度等は、ユーザによるパラメータ調整に伴って適宜に変更される。
図９に示すように、クレーン２０（移動式重機：図１参照）のフック２７（図１参照）に吊り下げられる搬入物３０（図１参照）の３次元モデル画像である搬入物モデルＭ３が使用予定地の撮影画像に重畳表示されるようにしてもよい。そして、ユーザによるクレーンモデルＭ１（重機モデル）のパラメータ調整に伴って、処理部１４（図２参照）がクレーンモデルＭ１及び搬入物モデルＭ３を動かすようにするとよい。これによって、作業現場でフック２７（図１参照）に搬入物３０（図１参照）を吊り下げた場合に、搬入物３０が物体に接触するか否かをユーザが事前に把握できる。図９では、搬入物モデルＭ３が直方体状である例を示しているが、他の形状であってもよい。搬入物モデルＭ３の大きさや形状の他、クレーンモデルＭ１のフックＭ１ｆへの設置状態や透明度等は、ユーザによるパラメータ調整に伴って適宜に変更される。
【0076】
また、クレーンモデルＭ１、搬入物モデルＭ３、及び物体モデルＭ２のそれぞれのパラメータ、並びに、クレーン用マーカＫ１と物体用マーカＫ２との間の距離に基づいて、搬入物モデルＭ３と物体モデルＭ２とが接触するか否かを処理部１４（図２参照）が判定することが好ましい。この場合において、クレーンモデルＭ１（重機モデル）を動かす過程で搬入物モデルＭ３が物体モデルＭ２に接触する場合、処理部１４は、所定の警告表示を行う。これによって、クレーンモデルＭ１と同様に実際のクレーン２０（図１参照）を動かした場合には、搬入物３０（図１参照）が建物Ｈ１に接触することをユーザが事前に把握できる。
【0077】
また、搬入物モデルＭ３と物体モデルＭ２とが接触する場合、搬入物モデルＭ３における接触箇所、及び、物体モデルＭ２における接触箇所のうちの少なくとも一方を処理部１４が強調表示することが好ましい。これによって、搬入物モデルＭ３や物体モデルＭ２のどこが接触したのかをユーザが一目で把握できる。図９の例では、物体モデルＭ２において搬入物モデルＭ３と接触した箇所Ｍ２ｂが周囲の色とは異なる色で強調表示されている。
【0078】
＜効果＞
本実施形態によれば、クレーン用マーカＫ１と物体用マーカＫ２との間の距離の測定値の他、クレーンモデルＭ１や物体モデルＭ２の各パラメータに基づいて、クレーンモデルＭ１が物体モデルＭ２に接触するか否かを処理部１４が高精度で判定できる。したがって、作業現場でクレーン２０が建物や木に接触するといったことを未然に防止できる。また、全てのパラメータが決定された後にクレーンモデルＭ１や物体モデルＭ２が初めて表示されるわけでは特になく、パラメータが変更される過程でクレーンモデルＭ１等が連続的に動くように表示される。したがって、これまでの技術に比べて、動作表示システム１０の利便性を高めることができる。
本実施形態によれば、クレーン用マーカＫ１と物体用マーカＫ２との間の距離の測定値の他、クレーンモデルＭ１や物体モデルＭ２の各パラメータに基づいて、クレーンモデルＭ１が物体モデルＭ２に接触するか否かを処理部１４が高精度で判定できる。したがって、作業現場でクレーン２０が建物や木に接触するといったことを未然に防止できる。また、全てのパラメータが決定された後にクレーンモデルＭ１や物体モデルＭ２が初めて表示されるわけでは特になく、パラメータが変更される過程でクレーンモデルＭ１等が連続的に動くように表示される。したがって、これまでの技術に比べて、動作表示システム１０の利便性を高めることができる。
【0079】
≪変形例≫
以上、本開示に係る動作表示システム１０や動作表示方法について実施形態で説明したが、この記載に限定されるものではなく、さまざまな変更を行うことができる。
例えば、実施形態では、物体モデルＭ２の表示や調整に関する処理（図５のＳ１０１～Ｓ１０３）が行われた後、クレーンモデルＭ１の表示や調整に関する処理（Ｓ１０４～Ｓ１０６）が行われる場合について説明したが、これに限らない。すなわち、クレーンモデルＭ１の表示や調整に関する処理（Ｓ１０４～Ｓ１０６）が行われた後、物体モデルＭ２の表示や調整に関する処理（Ｓ１０１～Ｓ１０３）が行われるようにしてもよい。なお、クレーンモデルＭ１や物体モデルＭ２の調整は、それぞれ、ユーザの納得がいくまで何回でも行うことが可能である。
以上、本開示に係る動作表示システム１０や動作表示方法について実施形態で説明したが、この記載に限定されるものではなく、さまざまな変更を行うことができる。
例えば、実施形態では、物体モデルＭ２の表示や調整に関する処理（図５のＳ１０１～Ｓ１０３）が行われた後、クレーンモデルＭ１の表示や調整に関する処理（Ｓ１０４～Ｓ１０６）が行われる場合について説明したが、これに限らない。すなわち、クレーンモデルＭ１の表示や調整に関する処理（Ｓ１０４～Ｓ１０６）が行われた後、物体モデルＭ２の表示や調整に関する処理（Ｓ１０１～Ｓ１０３）が行われるようにしてもよい。なお、クレーンモデルＭ１や物体モデルＭ２の調整は、それぞれ、ユーザの納得がいくまで何回でも行うことが可能である。
【0080】
また、実施形態では、物体モデルＭ２やクレーンモデルＭ１のパラメータ調整が行われた後（図５のＳ１０３、Ｓ１０６）、物体用マーカＫ２とクレーン用マーカＫ１との間の距離が測定される（Ｓ１０７）場合について説明したが、これに限らない。例えば、図５のステップＳ１０１の処理に先立って、物体用マーカＫ２とクレーン用マーカＫ１との間の距離が測定されるようにしてもよい。その他にも、例えば、処理部１４が物体モデルＭ２の表示や調整に関する処理（図５のＳ１０１～Ｓ１０３）を行った後、物体用マーカＫ２とクレーン用マーカＫ１との間の距離を測定し、さらに、クレーンモデルＭ１の表示や調整に関する処理（Ｓ１０４～Ｓ１０６）を行うようにしてもよい。
【0081】
また、実施形態では、クレーンモデルＭ１（図４参照）が所定の種類のクレーン２０（図１参照）に対応する場合について説明したが、これに限らない。例えば、複数種類のクレーンモデルが所定の識別情報に対応付けて予め記憶されるようにしてもよい。そして、複数種類のクレーンモデルのうちの一つをユーザが選択するようにしてもよい。
【0082】
また、実施形態では、クレーンモデルＭ１（図４参照）のパラメータ調整が所定のバーＢ１（図４参照）を用いて行われ、また、物体モデルＭ２（図３参照）のパラメータ調整が別のバーＢ２（図３参照）を用いて行われる場合について説明したが、これに限らない。すなわち、パラメータ調整が可能であれば、他の手段が用いられてもよい。例えば、ユーザがパラメータの数値を入力するようにしてもよい。この場合において、パラメータが離散的に変更された場合でも、クレーンモデルＭ１が連続的に動くようにするとよい。これによって、ユーザがクレーンモデルＭ１の動きを確認する際の視認性が高められる。
【0083】
また、実施形態では、物体用マーカＫ２の読取りと、クレーン用マーカＫ１の読取りと、が別々のタイミングで行われる場合について説明したが、これらの処理が並行して行われてもよい。
また、実施形態では、クレーンモデルＭ１及び物体モデルＭ２の両方が表示される場合について説明したが、これに限らない。例えば、クレーンモデルＭ１を単体で表示させ、ユーザが所定のパラメータを調整することで、撮影画像上でクレーンモデルＭ１を動かすようにしてもよい。このような構成でも、実物のクレーン２０の動きをクレーンモデルＭ１で再現できるため、ユーザにとっての利便性が高められる。
また、実施形態では、クレーンモデルＭ１及び物体モデルＭ２の両方が表示される場合について説明したが、これに限らない。例えば、クレーンモデルＭ１を単体で表示させ、ユーザが所定のパラメータを調整することで、撮影画像上でクレーンモデルＭ１を動かすようにしてもよい。このような構成でも、実物のクレーン２０の動きをクレーンモデルＭ１で再現できるため、ユーザにとっての利便性が高められる。
【0084】
また、実施形態では、クレーン用マーカＫ１（図４参照）や物体用マーカＫ２（図３参照）として、所定のＱＲコード（登録商標）が印刷された紙が用いられる場合について説明したが、これに限らない。例えば、カメラ１２（図２参照）で撮影されて写るものであれば、〇や□や＋といった図形の他、所定の模様や図柄がクレーン用マーカＫ１や物体用マーカＫ２のパターンとして用いられてもよい。また、クレーン用マーカＫ１や物体用マーカＫ２は、紙に印刷されたものに限定されず、所定の球体や板材やシートであってもよい。
【0085】
また、実施形態では、物体モデルＭ２（図３参照）の形状が直方体状である場合について説明したが、これに限らない。例えば、物体モデルは、円柱状や角柱状であってもよく、また、円錐状や角錐状、球状、楕円体状、多面体状であってもよい。
【0086】
また、動作表示システム１０の処理（動作表示方法）が、コンピュータの所定のプログラムとして実行されるようにしてもよい。前記したプログラムは、通信線を介して提供できる他、所定の記録媒体に書き込んで配布することも可能である。
【0087】
また、本開示は、実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、実施形態は、本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。
また、前記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてもよい。
また、前記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0088】
１０ 動作表示システム
１１ 記憶部
１２ カメラ
１３ 情報入力部
１４ 処理部
１５ 表示部
２０ クレーン（移動式重機）
３０ 搬入物
４０ タブレット
Ｂ１ バー（重機モデルのパラメータ調整用のバー）
Ｂ２ バー（物体モデルのパラメータ調整用のバー）
Ｈ１ 建物（物体）
Ｋ１ クレーン用マーカ（第１マーカ）
Ｋ２ 物体用マーカ（第２マーカ）
Ｍ１ クレーンモデル（重機モデル）
Ｍ２ 物体モデル
Ｍ３ 搬入物モデル
Ｓ１０５ ステップ（重機モデル表示処理）
Ｓ１０６ ステップ（動作表示処理）
１１ 記憶部
１２ カメラ
１３ 情報入力部
１４ 処理部
１５ 表示部
２０ クレーン（移動式重機）
３０ 搬入物
４０ タブレット
Ｂ１ バー（重機モデルのパラメータ調整用のバー）
Ｂ２ バー（物体モデルのパラメータ調整用のバー）
Ｈ１ 建物（物体）
Ｋ１ クレーン用マーカ（第１マーカ）
Ｋ２ 物体用マーカ（第２マーカ）
Ｍ１ クレーンモデル（重機モデル）
Ｍ２ 物体モデル
Ｍ３ 搬入物モデル
Ｓ１０５ ステップ（重機モデル表示処理）
Ｓ１０６ ステップ（動作表示処理）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】