特許第6787729号(P6787729)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社タダノの特許一覧
特許6787729俯瞰画像システム、俯瞰画像表示方法およびプログラム
<>
  • 特許6787729-俯瞰画像システム、俯瞰画像表示方法およびプログラム 図000002
  • 特許6787729-俯瞰画像システム、俯瞰画像表示方法およびプログラム 図000003
  • 特許6787729-俯瞰画像システム、俯瞰画像表示方法およびプログラム 図000004
  • 特許6787729-俯瞰画像システム、俯瞰画像表示方法およびプログラム 図000005
  • 特許6787729-俯瞰画像システム、俯瞰画像表示方法およびプログラム 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6787729
(24)【登録日】2020年11月2日
(45)【発行日】2020年11月18日
(54)【発明の名称】俯瞰画像システム、俯瞰画像表示方法およびプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20201109BHJP
   B66C 23/90 20060101ALI20201109BHJP
   B66C 13/00 20060101ALI20201109BHJP
   E02F 9/26 20060101ALI20201109BHJP
   B60R 1/00 20060101ALI20201109BHJP
   G06T 3/00 20060101ALI20201109BHJP
【FI】
   H04N7/18 J
   B66C23/90 Z
   B66C13/00 D
   E02F9/26 B
   B60R1/00 A
   G06T3/00 770
【請求項の数】5
【全頁数】12
(21)【出願番号】特願2016-176870(P2016-176870)
(22)【出願日】2016年9月9日
(65)【公開番号】特開2018-42206(P2018-42206A)
(43)【公開日】2018年3月15日
【審査請求日】2019年7月22日
(73)【特許権者】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】石原 敬樹
(72)【発明者】
【氏名】東 秀幸
(72)【発明者】
【氏名】高田 祐輔
【審査官】 鈴木 隆夫
(56)【参考文献】
【文献】 国際公開第2016/158265(WO,A1)
【文献】 特開2015−021246(JP,A)
【文献】 特開2015−154239(JP,A)
【文献】 特開2003−319383(JP,A)
【文献】 特開2013−124467(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 1/00
B66C 13/00
B66C 23/90
E02F 9/26
G06T 3/00
(57)【特許請求の範囲】
【請求項1】
走行体に旋回可能な旋回台が設けられた作業車両の前記走行体の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を形成して前記表示部に表示させる制御部と、を備え、
前記制御部は、前記作業車両を可視化して表す作業車両標識を、前記作業車両を平面視して前記旋回台における前記走行体から突出する突出箇所のみを半透明化し、その前記突出箇所のみを半透明化した前記作業車両標識を前記俯瞰画像に重畳して前記表示部に表示させ
前記旋回台は、伸縮動作を行うブームを有し、
前記突出箇所は、前記作業車両を平面視して前記ブームにおける前記走行体から突出する箇所であることを特徴とする俯瞰画像システム。
【請求項2】
前記制御部は、前記突出箇所の外形輪郭を点線で示しつつ内側を透明にすることで半透明化することを特徴とする請求項1に記載の俯瞰画像システム。
【請求項3】
前記制御部は、前記突出箇所を半透過させることで半透明化することを特徴とする請求項1に記載の俯瞰画像システム。
【請求項4】
走行体に旋回可能な旋回台が設けられた作業車両の前記走行体の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記俯瞰画像を形成して前記表示部に表示させる制御部と、を用い、前記旋回台が伸縮動作を行うブームを有する俯瞰画像表示方法であって、
前記制御部が、前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を形成する工程と、
前記制御部が、前記作業車両を可視化して表す作業車両標識を、前記作業車両を平面視して前記ブームにおける前記走行体から突出する突出箇所のみを半透明化し、その前記突出箇所のみを半透明化した前記作業車両標識を前記俯瞰画像に重畳する工程と、
前記制御部が、前記突出箇所のみを半透明化した前記作業車両標識を重畳した前記俯瞰画像を前記表示部に表示させる工程と、
を含むことを特徴とする俯瞰画像表示方法。
【請求項5】
走行体に旋回可能な旋回台が設けられた作業車両の前記走行体の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記俯瞰画像を形成して前記表示部に表示させる制御部と、を備え、前記旋回台が伸縮動作を行うブームを有する俯瞰画像システムの前記制御部に、
記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を形成する機能と、
記作業車両を可視化して表す作業車両標識を、前記作業車両を平面視して前記ブームにおける前記走行体から突出する突出箇所のみを半透明化し、その前記突出箇所のみを半透明化した前記作業車両標識を前記俯瞰画像に重畳する機能と、
記突出箇所のみを半透明化した前記作業車両標識を重畳した前記俯瞰画像を前記表示部に表示させる機能と、
実現させることを特徴とするプログラム
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業車両に用いる俯瞰画像システム、俯瞰画像表示方法およびプログラムに関する。
【背景技術】
【0002】
作業車両では、走行体の上に旋回可能に旋回台が設けられ、その旋回台にキャビンが設けられているものがある。このような作業車両では、大型であり死角が生じ易く、バックミラー等の位置を工夫しているが、キャビンからの周辺の視認が容易ではない。特に、伸縮動作を行うブームを備える作業車両では、ブームの側方にキャビンが設けられているものがあり、ブームがキャビンからの視界を遮るので、周辺の視認がより困難となる。
【0003】
このため、作業車両では、当該作業車両を中心とした周辺の俯瞰画像を形成して作業者に呈示する俯瞰画像システムを用いることが考えられている(例えば、特許文献1等参照)。この従来の俯瞰画像システムでは、旋回台の周辺を撮影する複数のカメラを設け、その各カメラで撮影した画像を上方の仮想視点から見下ろした画像に変換しつつ組み合わせて、旋回台の周辺の俯瞰画像を形成する。また、その従来の俯瞰画像システムでは、旋回台の下方を撮影する複数のカメラを設け、その各カメラで撮影した画像を組み合わせて、旋回台の下方の下方画像を形成する。そして、従来の俯瞰画像システムでは、俯瞰画像と下方画像とを組み合わせた合成画像に作業車両に対応する画像(標識)を重ね合せて表示することで、旋回台の周辺の視認を容易とし、適宜旋回台に対応する画像を半透明化することで、旋回台に隠された領域の視認を容易とする。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2013−253402号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記した従来の俯瞰画像システムでは、旋回台に対応する画像を半透明化するので、見慣れない走行体のみに対応する画像が表示されることで、違和感を与える虞がある。また、従来の俯瞰画像システムでは、旋回台を含めた作業車両に対応する画像を半透明化せずに表示できるが、旋回台に隠された領域を視認できなくなる。
【0006】
本発明は、上記の事情に鑑みて為されたもので、違和感を抑制しつつ旋回台に隠された領域の視認を可能とする俯瞰画像システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の俯瞰画像システムは、走行体に旋回可能な旋回台が設けられた作業車両の前記走行体の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を形成して前記表示部に表示させる制御部と、を備え、前記制御部は、前記作業車両を可視化して表す作業車両標識を、前記作業車両を平面視して前記旋回台における前記走行体から突出する突出箇所のみを半透明化し、その前記突出箇所のみを半透明化した前記作業車両標識を前記俯瞰画像に重畳して前記表示部に表示させ、前記旋回台は、伸縮動作を行うブームを有し、前記突出箇所は、前記作業車両を平面視して前記ブームにおける前記走行体から突出する箇所であることを特徴とする。
【発明の効果】
【0008】
本発明の俯瞰画像システムによれば、違和感を抑制しつつブームに隠された領域の視認を可能とする。
【図面の簡単な説明】
【0009】
図1】作業車両の一例としてのクレーン車1を側方から見た様子を模式的に示す説明図である。
図2】クレーン車1を鉛直方向の上側(上方)から見た(平面視した)様子を模式的に示す説明図である。
図3】クレーン車1に用いる俯瞰画像システムの一例としての俯瞰画像システム10の構成をブロック図で示す説明図である。
図4】旋回台3の突出箇所Poを半透明化した作業車両標識Mを重畳した俯瞰画像Pを表示部13に表示させた様子を示す説明図である。
図5】制御部12が実行する俯瞰画像表示処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に、本発明に係る一例としての俯瞰画像システムを、一例としての作業車両に用いた実施例について図面を参照しつつ説明する。この明細書では、作業車両(実施例1ではクレーン車1)を平面視するとは、作業車両を鉛直方向の上側(上方)から見た状態を示す。なお、図4では、俯瞰画像Pの理解を容易とすべく表示部13に俯瞰画像Pのみが表示された様子を示しているが、操作部14を併せて表示してもよく、必ずしも実際の態様と一致しない。
【実施例1】
【0011】
本発明に係る俯瞰画像システムの一実施形態に係る実施例1の俯瞰画像システム10を、図1から図5を用いて説明する。実施例1の俯瞰画像システム10は、図1および図2に示すように、作業車両の一例としてのクレーン車1に用いる。そのクレーン車1は、走行体(キャリヤ)2と旋回台3とを備える。その走行体2は、走行機能を有する車両の本体部分(車体)となり、複数の車輪と、車輪および旋回台3を駆動する駆動源と、を有する。走行体2は、図2に示すように、平面視して前後(図2を正面視した上下であり、上側を前側(車両進行方向)とする)に長尺な略長方形状を呈する。この走行体2には、前側および後側に各々左右一対のアウトリガ4(図1参照(走行体2の左側のみ図示))が設けられる。各アウトリガ4は、左右に張り出しおよび格納を可能とし、適宜張り出して接地することで後述するブーム7を用いた作業時(作業モード)に走行体2を安定して支持する。
【0012】
旋回台3は、図1および図2に示すように、走行体2の上部に水平旋回可能に設けられ、一体的に旋回可能なキャビン5とブームサポート6とを有する。そのキャビン5には、作業者(オペレータ)が各種の操作を行うための操作部が設けられる。その各種の操作としては、例えば、旋回台3の旋回、後述するブーム7の起伏および伸縮、ブームサポート6に設けたウインチの巻上および巻下、各アウトリガ4の張出および格納、エンジンの始動および停止等がある。この旋回台3では、車両進行方向に対して右側にキャビン5を設けている。
【0013】
ブームサポート6は、ブーム7を取り付ける箇所であり、ブーム7の基端部がブーム根本支点ピンを介して取り付けられ、そのブーム根本支点ピンを中心にしてブーム7を起伏可能とする。また、ブームサポート6では、ブーム7との間に起伏用シリンダが設けられ、起伏用シリンダを伸縮することでブーム7が起伏される。このブーム7は、旋回台3において、キャビン5の左側で前後方向に伸びる位置関係とされる。ブーム7は、実施例1では、図1に示すように、走行時等の非使用時において水平に配置している。なお、ブーム7は、先端が下がって配置された所謂スラントブームとしてもよい。
【0014】
このブーム7は、内部で伸縮シリンダにより連結された基端ブーム部と中間ブーム部と先端ブーム部とを有し、中間ブーム部と先端ブーム部とを順に基端ブーム部内に外側から内側へと入れ子式に組み合わせて収納し、各伸縮シリンダが伸縮することで伸縮する。ブーム7では、先端ブーム部のシーブにワイヤが掛け回されてフックが吊下げられ、走行時等の非使用時では各ブーム部を収納した状態とする。このブーム7は、実施例1では、その非使用時において先端箇所7aが走行体2よりも前方に突出している。また、実施例1の旋回台3では、そこに設けたキャビン5とブームサポート6とブーム7とにおいて、先端箇所7aを除くと水平方向で走行体2よりも外側に突出する箇所が無い。このため、クレーン車1では、平面視して、旋回台3におけるブーム7の先端箇所7aのみが走行体2から突出する突出箇所Poとなる。このクレーン車1に俯瞰画像システム10を用いている。
【0015】
その俯瞰画像システム10は、クレーン車1を鉛直方向の上側(上方)の仮想視点から見下ろした様子を示す俯瞰画像P(図4参照)を呈示するもので、図3に示すように、4つのカメラ11と制御部12と表示部13と操作部14と情報取得部15と記憶部16とを備える。その各カメラ11は、クレーン車1における走行体2の周辺の画像を取得すべく所定の位置に設けられ、例えば略180度の画角の広角カメラを用いる。この走行体2の周辺の画像とは、鉛直方向の上側(上方)から見て走行体2を取り囲む地面(走行している面)の画像であり、当該走行体2と隣接する位置から当該走行体2を中心とする所定の距離の位置までの領域の地面の画像である。各カメラ11は、実施例1では、図1および図2に示すように、クレーン車1を基準として、前方の画像を取得する前方カメラ11Fと、後方の画像を取得する後方カメラ11Bと、左方の画像を取得する左方カメラ11Lと、右方の画像を取得する右方カメラ11Rと、を有する。そして、実施例1では、走行体2の周辺の画像を全周に渡り切れ目なく取得すべく、前方カメラ11Fを走行体2の前端に設け、後方カメラ11Bを走行体2の後端に設け、左方カメラ11Lを旋回台3の左端に設け、右方カメラ11Rを旋回台3の右端に設けている。なお、走行体2の周辺の画像を全周に渡り切れ目なく取得するものであれば、カメラ(11)の台数や設置位置は適宜設定すればよく、実施例1の構成に限定されない。
【0016】
制御部12には、図3に示すように、4つのカメラ11と表示部13と操作部14と情報取得部15と記憶部16とが接続される。この制御部12は、記憶部(内蔵メモリ12a)や演算部を有するマイクロコンピュータであり、実施例1ではキャビン5に設けられる。制御部12は、記憶部16あるいは内蔵する内蔵メモリ12aに格納されたプログラムに基づき、各カメラ11、表示部13、操作部14、情報取得部15および記憶部16の動作を統括的に制御し、各カメラ11や操作部14や情報取得部15から適宜情報を取得する。この制御部12は、各カメラ11からの信号に基づく俯瞰画像P(その画像データ)の生成処理や、生成した俯瞰画像Pを表示部13に表示させる表示処理や、操作部14に為された操作の判断処理や、情報取得部15が取得した各種情報の取得処理等の制御を行う。制御部12は、実施例1では、記憶部16あるいは内蔵する内蔵メモリ12aに格納されたプログラムに基づき、各カメラ11が取得した画像(その画像データ)から俯瞰画像P(その画像データ)を生成する画像処理部17を有する。
【0017】
その画像処理部17は、一例として、次のような各処理を行うことで俯瞰画像P(その画像データ)を生成する生成処理を行う。先ず、画像処理部17は、入力画素の座標値にレンズ歪み係数やアスペクト比等に基づく係数を乗じて出力画素の座標値に変換することで、レンズによる歪みを補正する歪み補正処理を行う。また、画像処理部17は、入力画素の座標値にカメラ取付角等に基づく種々の係数を乗じて出力画素の全ての座標値を形成することで、クレーン車1の上方に設定した仮想視点から見下ろした画像(個別の俯瞰画像)に変換する俯瞰変換処理を行う。さらに、画像処理部17は、対応する座標値の輝度を線形補間等することで繋ぎ目の違和感を無くしつつ上記した各処理を行った各カメラ11からの隣り合う撮影画像を1枚の画像として繋ぎ合わせて俯瞰画像P(図4参照)を生成する画像合成処理を行う。この画像合成された俯瞰画像Pでは、各カメラ11が上記したように設けられているため、クレーン車1における走行体2の周辺の画像となり走行体2自身が存在する領域の画像情報が欠落するので、この欠落箇所を例えば画素値ゼロ(黒表示)とする。なお、画像処理部17は、生成処理として、俯瞰画像P(その画像データ)を生成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施例1の各処理に限定されない。
【0018】
そして、画像処理部17は、画像合成された俯瞰画像Pの欠落箇所に、クレーン車1を模擬的に可視化して表す作業車両標識M(図4参照)を重畳する重畳処理を行う。その作業車両標識Mは、図4に示すように、俯瞰画像Pにおける作業車両としてのクレーン車1自身の位置および大きさを可視化して示すもので、少なくとも走行体2の上にブーム7等を含む旋回台3が設けられている様子の把握を可能とする。作業車両標識Mは、実際のクレーン車1の俯瞰写真を用いてもよくクレーン車1を俯瞰して示す図柄を用いてもよい。
【0019】
制御部12は、画像処理部17で生成した俯瞰画像P(その画像データ)を、表示部13に出力して表示部13に表示(図4参照)させるとともに、その俯瞰画像Pを適宜記憶部16に格納する。そして、制御部12では、操作部14に為された操作情報(データ)や、情報取得部15が取得した各種情報(データ)が入力される。
【0020】
その表示部13は、俯瞰画像Pやクレーン車1における各種情報を表示可能であり、実施例1では旋回台3のキャビン5内に設けている。この表示部13は、制御部12の制御下で、各カメラ11で取得された画像に基づき生成された俯瞰画像P(図4等参照)を即時連続的に(リアルタイムで)表示することができる。表示部13は、実施例1では、タッチパネルの機能を搭載する。
【0021】
操作部14は、俯瞰画像システム10における各種機能を利用するための操作部であり、入力操作された情報を制御部12へと出力する。この操作部14は、実施例1では、タッチパネルの機能を搭載する表示部13に表示された画面(その中の各種アイコン等)として構成する。操作部14では、表示部13に表示させる画像の切替の操作や、俯瞰画像システム10やクレーン車1における各種の設定の操作等を行うことができる。なお、操作部14は、表示部13とは独立してキャビン5内に設けてもよく、表示部13の画面の周囲にスイッチとして設けてもよい。
【0022】
情報取得部15は、クレーン車1に関する各種の動作情報を取得し、その各動作情報(データ)を制御部12へと出力する。その各動作情報は、例えば、ブーム7を収納し走行体2に対して旋回台3を所定の姿勢とした走行モードであるかブーム7を使用する作業モードであるかを示すモード情報や、旋回台3(ブーム7)の旋回角度やブーム7の起伏角度および長さを示す姿勢情報がある。
【0023】
このように構成した俯瞰画像システム10では、クレーン車1が走行モードであると、クレーン車1(その走行体2や旋回台3)に適宜設けた4つのカメラ11で、走行体2の周辺の画像を前後左右に分けて各々取得し、その各画像(そのデータ)を制御部12(画像処理部17)に出力する。その画像処理部17は、上述したように、各カメラ11が取得した画像(その画像データ)に各処理を行って俯瞰画像Pを生成し、その俯瞰画像Pに作業車両標識Mを重畳させる。その作業車両標識Mが重畳された俯瞰画像Pは、制御部12の制御下で表示部13に表示される。これにより、俯瞰画像システム10では、走行体2の周辺の視認を容易とする。
【0024】
ここで、俯瞰画像システム10では、各カメラ11が、鉛直方向の上側(上方)から見て走行体2と隣接する地面(走行している面)の画像を含む当該走行体2の周辺の画像を、全周に渡り切れ目なく取得する。これに対して、俯瞰画像システム10が用いられたクレーン車1では、平面視して旋回台3の一部分(実施例1ではブーム7の先端箇所7a)が走行体2から突出する突出箇所Poとなる。そして、作業車両標識Mは、俯瞰画像Pにおける実際のクレーン車1が存在する位置を可視化して示すことが望ましい。このため、作業車両標識Mにおいて旋回台3の突出箇所Poに相当する箇所(領域)が、各カメラ11で取得されて画像合成処理された俯瞰画像Pに重なり、その俯瞰画像Pを部分的に隠してしまう。
【0025】
そこで、俯瞰画像システム10では、図4に示すように、画像処理部17(制御部12)が、画像合成処理した俯瞰画像Pに重畳する作業車両標識Mを、基本的にはクレーン車1を俯瞰した様子を示すものとしつつ走行体2から突出する旋回台3の突出箇所Poのみを半透明化させる。すなわち、作業車両標識Mは、突出箇所Poが半透明化されかつ突出箇所Po以外の箇所が半透明化されていない状態の旋回台3を、走行体2の上に重ねて形成される。この半透明化は、俯瞰画像Pにおける突出箇所Poに相当する箇所(その表示)を加工することで実行できる。これは、俯瞰画像Pは、走行体2自身が存在する領域の画像情報が欠落しているが走行体2の周辺の画像情報は有するため、突出箇所Poに相当する箇所の画像情報は有することによる。実施例1では、走行体2から突出する旋回台3の突出箇所Poの外形輪郭を点線で示すとともに、突出箇所Po(点線の内側)を透明(何も表示しない)とすることで、作業車両標識Mの突出箇所Poを半透明化させる。すると、作業車両標識Mでは、外形輪郭を点線で示す突出箇所Poの内側が透明であるので、突出箇所Poと重なる領域に俯瞰画像Pのうちの対応する箇所が表示される。これにより、作業車両標識Mは、突出箇所Poのみが半透明化される。なお、突出箇所Poを半透過させて表示する(作業車両標識Mの突出箇所Poとしての写真や図柄等を表示させつつ俯瞰画像Pを透けて見せる状態)ことで半透明化してもよく、突出箇所Poの外形輪郭を点線や実線等で描きつつ内側を半透過させて半透明化してもよく、実施例1の構成に限定されない。
【0026】
ここで、俯瞰画像システム10を用いるクレーン車1では、走行モードにおける走行体2および旋回台3が所定の態様とされるため、旋回台3における突出箇所Poが予め解る。この俯瞰画像システム10では、突出箇所Poを半透明化させた作業車両標識Mを予め生成して、その作業車両標識Mを記憶部16あるいは制御部12の内蔵メモリ12aに記憶する。このため、俯瞰画像システム10では、画像処理部17が、突出箇所Poを半透明化させた作業車両標識Mを、記憶部16あるいは内蔵メモリ12aから読み出して画像合成処理された俯瞰画像Pに重畳する。これにより、俯瞰画像システム10では、表示部13に表示された俯瞰画像Pを見ることで、作業車両標識Mを実際のクレーン車1の態様と極めて近いものとしつつ突出箇所Poの下方の領域の視認を可能とする。
【0027】
なお、旋回台3における突出箇所Poが変化する場合(例えば、旋回台3の旋回やブーム7の伸縮等)には、その変化に合わせて突出箇所Poを半透明化させることが望ましい。その場合であっても、変化する様々な突出箇所Poは、クレーン車1の仕様により変化の態様が予め解っているので、情報取得部15から取得したクレーン車1の各種の動作情報に対応させて突出箇所Poの変化の態様を予め設定することで、変化に合わせて半透明化できる。この際、複数の静止画の作業車両標識Mを設定して適宜用いてもよく、突出箇所Po(半透明化した箇所)が変化する動画の作業車両標識Mを設定して用いてもよい。
【0028】
次に、俯瞰画像システム10において、制御部12の制御下で俯瞰画像Pを表示部13に表示する俯瞰画像表示処理について、図5を用いて説明する。その図5は、実施例1における制御部12にて実行される俯瞰画像表示処理(俯瞰画像表示方法)を示すフローチャートである。この俯瞰画像表示処理は、制御部12の内蔵メモリ12aもしくは記憶部16に記憶されたプログラムに基づいて、制御部12が実行する。以下では、この図5のフローチャートの各ステップ(各工程)について説明する。この図5のフローチャートは、俯瞰画像システム10が俯瞰画像表示処理を実行する状態とされて、クレーン車1が走行モードとされることにより開始される。俯瞰画像システム10では、常に俯瞰画像表示処理を実行する状態とされていてもよく、操作部14の操作で実行の有無を切り替え可能としてもよい。
【0029】
ステップS1では、各カメラ11からの画像(その画像データ)を取得して、ステップS2へ進む。このステップS1では、各カメラ11からの画像(画像データ)が入力されて、その各画像(画像データ)を制御部12が取得する。
【0030】
ステップS2では、ステップS1での各カメラ11からの画像の取得に続き、俯瞰画像P(その画像データ)を生成して、ステップS3へ進む。このステップS2では、上述したように制御部12の画像処理部17が、走行体2自身が存在する領域の画像情報が欠落した俯瞰画像P(その画像データ)を生成する。
【0031】
ステップS3では、ステップS2での俯瞰画像Pの生成に続き、突出箇所Poのみを半透明化した作業車両標識Mを俯瞰画像Pに重畳させて、ステップS4へ進む。このステップS3では、上述したように制御部12の画像処理部17が、走行体2から突出する旋回台3の突出箇所Poのみを半透明化させた作業車両標識Mを俯瞰画像Pに重畳(その画像データを生成)する。
【0032】
ステップS4では、ステップS3での突出箇所Poのみを半透明化した作業車両標識Mの俯瞰画像Pへの重畳に続き、その俯瞰画像Pを表示部13に表示させて、ステップS5へ進む。このステップS4では、制御部12が、上述したようにステップS3で画像処理部17が生成し突出箇所Poのみを半透明化させた作業車両標識Mを重畳した俯瞰画像P(その画像データ)を、表示部13に表示させる(図4参照)。
【0033】
ステップS5では、ステップS4での俯瞰画像Pを表示部13に表示させることに続き、この俯瞰画像表示処理を終了するか否かを判断し、YESの場合はこの俯瞰画像表示処理を終了し、NOの場合はステップS1へ戻る。このステップS5は、制御部12が、俯瞰画像表示処理を終了するか否かすなわち表示部13での俯瞰画像Pの表示を止めるか否かを判断する。この判断は、例えば、クレーン車1の走行モードが継続されていると俯瞰画像表示処理を続け、走行モードが終了すると俯瞰画像表示処理を終了することが挙げられる。また、この俯瞰画像表示処理を終了する判断は、操作部14の操作に基づいて行ってもよく、俯瞰画像システム10の電源が切られることやクレーン車1のエンジンが停止されることで行ってもよい。
【0034】
次に、実施例1の俯瞰画像システム10の動作について説明する。俯瞰画像システム10では、俯瞰画像表示処理を実行する状態とされ、クレーン車1が走行モードとされると、図5のフローチャートでステップS1→S2へと進むことで、制御部12(画像処理部17)が走行体2の周辺の俯瞰画像Pを生成する。そして、図5のフローチャートでステップS3へと進むことで、突出箇所Poのみを半透明化した作業車両標識Mを俯瞰画像Pに重畳させ、ステップS4へと進むことで、その重畳された俯瞰画像Pを表示部13に表示させる。このことが、図5のフローチャートのステップS5で、俯瞰画像表示処理を終了するとの判断が為されるまで継続される。
【0035】
これにより、俯瞰画像システム10では、クレーン車1の走行に応じた走行体2の周辺の俯瞰画像Pを、表示部13を介して作業者にリアルタイムで呈示する。また、俯瞰画像システム10では、その俯瞰画像Pに重畳したクレーン車1自身の位置および大きさを可視化して示す作業車両標識Mの突出箇所Poのみを半透明化しているので、全周に渡り切れ目のない走行体2の周辺の俯瞰画像Pを突出箇所Poに隠されることなく作業者に呈示する。さらに、俯瞰画像システム10では、作業車両標識Mにおける突出箇所Po以外の箇所を半透明化していない状態で示すので、実際のクレーン車1を俯瞰した状態に近い状態の作業車両標識Mを作業者に呈示する。
【0036】
本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10では、生成した俯瞰画像Pに、走行体2から突出する旋回台3の突出箇所Po(実施例1ではブーム7の先端箇所7a)のみを半透明化した作業車両標識Mを重畳する。そして、俯瞰画像システム10では、作業車両(クレーン車1)の旋回台3における突出箇所Poを除く箇所が半透明化されずに走行体2の上に旋回台3が重ねられた様子を示す作業車両標識Mを取り囲んで俯瞰画像Pを表示部13に表示させる。このため、俯瞰画像システム10では、表示部13に表示させた作業車両標識Mが、作業車両を鉛直方向の上側(上方)から見た物であることを一見しただけで容易に把握させることができる。これに対し、従来技術のように旋回台3全体を半透明化させると見慣れない走行体2の俯瞰画像のみが可視化されるので、違和感を与えるとともに作業車両の外形輪郭の把握が容易ではなくなる。よって、俯瞰画像システム10では、違和感を抑制することができ、作業車両の外形輪郭の把握を容易とすることができる。
【0037】
また、俯瞰画像システム10では、作業車両標識Mにおいて旋回台3の突出箇所Po(先端箇所7a)を半透明化しているので、突出箇所Poの下方に相当する領域の俯瞰画像Pも視認できる。このため、俯瞰画像システム10では、走行体2の周辺の俯瞰画像Pを全周に渡り切れ目なく視認させることができる。
【0038】
さらに、俯瞰画像システム10では、作業車両として伸縮動作を行うブーム7を有するクレーン車1に用いて、作業車両標識Mにおけるブーム7の先端箇所7aのみを半透明化している。このため、俯瞰画像システム10では、キャビン5からの視界がブーム7により遮られる方向や先端箇所7aの下方であっても、俯瞰画像Pにより容易にかつ適切に視認させることができる。特に、実施例1の俯瞰画像システム10では、作業車両としてのブーム7の側方にキャビン5が設けられたクレーン車1に用いているので、キャビン5からの視界がブーム7により遮られる方向が確実に存在するので、より効果的である。また、俯瞰画像システム10では、作業車両標識Mにおけるブーム7の先端箇所7aのみを半透明化しているので、より容易にかつより適切に作業車両標識Mがクレーン車1を鉛直方向の上側(上方)から見た物であることを把握させることができる。
【0039】
俯瞰画像システム10では、作業車両標識Mにおいて、旋回台3の突出箇所Poの外形輪郭を点線で示すとともに、突出箇所Po(点線の内側)を透明(何も表示しない)とすることで、突出箇所Poを半透明化させる。このため、俯瞰画像システム10では、作業車両標識Mの突出箇所Poに相当する箇所であっても、より確実にかつ容易に外形輪郭を把握させることができ、かつより確実にかつ容易に突出箇所Poの下方の画像を視認させることができる。
【0040】
俯瞰画像システム10では、作業車両標識Mにおいて、旋回台3の突出箇所Poを半透過させて表示することで半透明化することができる。このため、俯瞰画像システム10では、より容易にかつ確実に、作業車両標識Mが作業車両を鉛直方向の上側(上方)から見た物であることを把握させることができる。
【0041】
俯瞰画像システム10では、作業車両標識Mにおいて、旋回台3の突出箇所Poの外形輪郭を点線や実線等で描きつつ半透過させて半透明化することができる。このため、俯瞰画像システム10では、より容易にかつ確実に、作業車両標識Mが作業車両を鉛直方向の上側(上方)から見た物であることを把握させることができつつ、作業車両標識Mの半透明化させた突出箇所Poの外形輪郭をより確実にかつより容易に把握させることができる。
【0042】
したがって、本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10では、違和感を抑制しつつ作業車両(実施例1ではクレーン車1)の旋回台3に隠された領域(突出箇所Poの下方)の視認を可能とすることができる。
【0043】
なお、上記した実施例1では本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10について説明したが、走行体に旋回可能な旋回台が設けられた作業車両の前記走行体の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を形成して前記表示部に表示させる制御部と、備え、前記制御部は、前記作業車両を可視化して表す作業車両標識を、前記作業車両を平面視して前記旋回台における前記走行体から突出する突出箇所のみを半透明化し、その前記突出箇所のみを半透明化した前記作業車両標識を前記俯瞰画像に重畳して前記表示部に表示させる俯瞰画像システムであればよく、上記した実施例1に限定されない。
【0044】
また、上記した実施例1では作業車両標識Mにおける旋回台3の突出箇所Poを半透明化させていたが、作業車両標識Mにおける旋回台3の全体を半透明化させることなく表示するモードを切替可能に備えていてもよく、上記した実施例1に限定されない。
【0045】
さらに、上記した実施例1では俯瞰画像システム10を用いる作業車両としてクレーン車1を示していたが、走行体(2)に旋回可能な旋回台(3)が設けられた作業車両であれば、他の構成の作業車両でもよく、上記した実施例1に限定されない。
【0046】
以上、本発明の俯瞰画像システムを実施例1に基づき説明してきたが、具体的な構成については実施例1に限られるものではなく、本発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【符号の説明】
【0047】
1 (作業車両の一例としての)クレーン車
2 走行体
3 旋回台
7 ブーム
10 俯瞰画像システム
11 カメラ
12 制御部
13 表示部
M 作業車両標識
P 俯瞰画像
Po 突出箇所
図1
図2
図3
図4
図5