特許 6858104 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6858104

(24)【登録日】2021年3月25日

(45)【発行日】2021年4月14日

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   B66F 9/24 20060101AFI20210405BHJP

   G01B 11/00 20060101ALI20210405BHJP

   G06T 7/60 20170101ALI20210405BHJP

   G06T 7/33 20170101ALI20210405BHJP

【ＦＩ】

   B66F9/24 L

   G01B11/00 H

   G06T7/60 200C

   G06T7/33

【請求項の数】8

【全頁数】19

(21)【出願番号】特願2017-173772(P2017-173772)

(22)【出願日】2017年9月11日

(65)【公開番号】特開2019-48696(P2019-48696A)

(43)【公開日】2019年3月28日

【審査請求日】2020年3月20日

(73)【特許権者】

【識別番号】000000929

【氏名又は名称】ＫＹＢ株式会社

(74)【代理人】

【識別番号】100104215

【弁理士】

【氏名又は名称】大森 純一

(74)【代理人】

【識別番号】100196575

【弁理士】

【氏名又は名称】高橋 満

(74)【代理人】

【識別番号】100117330

【弁理士】

【氏名又は名称】折居 章

(74)【代理人】

【識別番号】100160989

【弁理士】

【氏名又は名称】関根 正好

(74)【代理人】

【識別番号】100168181

【弁理士】

【氏名又は名称】中村 哲平

(74)【代理人】

【識別番号】100168745

【弁理士】

【氏名又は名称】金子 彩子

(74)【代理人】

【識別番号】100176131

【弁理士】

【氏名又は名称】金山 慎太郎

(74)【代理人】

【識別番号】100197398

【弁理士】

【氏名又は名称】千葉 絢子

(74)【代理人】

【識別番号】100197619

【弁理士】

【氏名又は名称】白鹿 智久

(72)【発明者】

【氏名】大内田 俊

【審査官】 加藤 三慶

(56)【参考文献】

【文献】 特開２００３−０２８６１４（ＪＰ，Ａ）

【文献】 特開２００３−２１２４８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６６Ｆ ９／２４

(57)【特許請求の範囲】

【請求項1】

フォークリフトのフォークの昇降と連動可能に設けられた撮像部により撮影された、位置決めマークが設けられたパレット又は前記パレット上に載置される載置物の撮影画像を取得する画像取得部と、
前記画像取得部より取得した前記撮影画像と、前記位置決めマークの外形と相似の外形を有する基準マークとが重畳された表示画像となる表示画像信号を生成する表示画像信号生成部と
を具備する情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記表示画像における前記位置決めマーク及び前記基準マークの位置を検出する位置検出部と、
前記位置検出部による位置検出結果に基づいて、前記位置決めマークの中心と前記基準マークの中心との距離、及び、前記位置決めマークの外形と前記基準マークの外形との距離がそれぞれ所定の範囲内にあるか否かを判定する判定部と
を更に具備する情報処理装置。

【請求項3】

請求項１又は請求項２に記載の情報処理装置であって、
前記位置決めマーク及び前記基準マークの外形は円形を有する
情報処理装置。

【請求項4】

請求項３に記載の情報処理装置であって、
前記位置決めマークの円形状を検出する円検出部
を更に具備し、
前記表示画像信号生成部は、前記円検出部にて前記位置決めマークの円形状が検出されると、前記表示画像の前記位置決めマークの外形が強調表示された表示画像となる表示画像信号を生成する
情報処理装置。

【請求項5】

請求項１から請求項４のうちいずれか１項に記載の情報処理装置であって、
前記表示画像信号生成部は、前記表示画像に前記位置決めマークの中心と前記基準マークの中心とを結ぶ線分が更に表示された表示画像となる表示画像信号を生成する
情報処理装置。

【請求項6】

請求項１から請求項５のうちいずれか１項に記載の情報処理装置であって、
前記表示画像信号生成部は、前記撮影画像と、前記基準マークと、前記基準マークの外形と相似する外形を有し、前記基準マークの内部に位置し、前記基準マークの中心と同じ位置に中心を有する、フォーク差込み前の基準マークと、を重畳した表示画像となる表示画像信号を生成する
情報処理装置。

【請求項7】

請求項１から請求項６のうちいずれか１項に記載の情報処理装置であって、
前記表示画像信号生成部は、前記撮影画像と、前記基準マークと、前記基準マークの外形と相似する外形を有し、前記基準マークを囲むように位置し、前記基準マークの中心と同じ位置に中心を有する、前記フォークリフトと前記パレットとの距離を制限する制限用の基準マークと、を重畳した表示画像となる表示画像信号を生成する
情報処理装置。

【請求項8】

フォークリフトのフォークの昇降と連動可能に設けられたカメラにより撮影された、位置決めマークが設けられたパレット又は前記パレット上に載置される載置物の撮影画像を取得し、
前記撮影画像と、前記位置決めマークの外形と相似の外形を有する基準マークとを重畳した表示画像となる表示画像信号を生成し、
前記表示画像における前記位置決めマーク及び前記基準マークの位置を検出し、
前記位置検出結果に基づいて、前記位置決めマークの中心と前記基準マークの中心との距離が所定の範囲内にあるか否かを判定し、
前記位置検出結果に基づいて、前記位置決めマークの外形と前記基準マークの外形との距離が所定の範囲内にあるか否かを判定する
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フォークリフトの荷役作業を支援する情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

フォークリフトを用いた荷役作業では、荷物が載置されるパレットのフォーク差込位置をフォークリフト運転者が目視、或いはフォークリフト前方を撮影するカメラで取得された撮影画像をモニタ上で確認しながら、フォーク差込口とフォークとの位置決めを行っていた。例えば、特許文献１では、フォーク又はフォーク上の荷物の少なくとも一部を表す縮尺画像とカメラの撮影画像を重畳した表示画像を用いてフォークとフォーク差込み口の位置決めを行っている。また、特許文献２では、棚の格納部に格納された荷を載置したパレットと棚のそれぞれに設けられたマークをカメラで撮影して得た画像データをパターンマッチング処理してマークのパターンを画像認識してマークの位置と大きさを割り出し、これを基にフォークの位置決めを行っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４６６６１５４号公報

【特許文献2】特許第３９２１９６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、高所での荷役作業は、目視でのフォークと差込口との正確な位置決めが困難であるため、十分にフォークがパレットに差し込まれていない状態で、パレットを持ち上げ荷取り作業を行うと、パレット上に載置された荷が崩れるおそれがある。

【0005】

以上のような事情に鑑み、本発明の目的は、フォーク差込み量を確認することが可能な情報処理装置及び情報処理方法を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一形態に係る情報処理装置は、画像取得部と、表示画像信号生成部とを具備する。
上記画像取得部は、フォークリフトのフォークの昇降と連動可能に設けられた撮像部により撮影された、位置決めマークが設けられたパレット又は上記パレット上に載置される載置物の撮影画像を取得する。
上記表示画像信号生成部は、画像取得部より取得した上記撮影画像と、上記位置決めマークの外形と相似の外形を有する基準マークとが重畳された表示画像となる表示画像信号を生成する。

【0007】

このような構成によれば、撮影画像と、位置決めマークと相似する基準マークとが重畳された表示画像を用いてフォークの位置決めを行うことができるので、表示画像上で位置決めマークと基準マークとがほぼ一致するようにフォークリフトを操作することにより、フォークの差込口に対する位置決めに加え、フォーク差込み量を表示画像により確認しながらフォークの差込方向における位置決めをも行うことができる。これにより、フォークのパレット内への差込みが不十分なことにより生じる荷崩れ等を防止することができ、安全な荷役作業が可能となる。

【0008】

上記表示画像における上記位置決めマーク及び上記基準マークの位置を検出する位置検出部と、上記位置検出部による位置検出結果に基づいて、上記位置決めマークの中心と上記基準マークの中心との距離、及び、上記位置決めマークの外形と上記基準マークの外形との距離がそれぞれ所定の範囲内にあるか否かを判定する判定部とを更に具備してもよい。

【0009】

上記位置決めマーク及び上記基準マークの外形は円形を有してもよい。

【0010】

上記位置決めマークの円形状を検出する円検出部を更に具備し、上記表示画像信号生成部は、上記円検出部にて上記位置決めマークの円形状が検出されると、上記表示画像の上記位置決めマークの外形が強調表示された表示画像となる表示画像信号を生成してもよい。

【0011】

上記表示画像信号生成部は、上記表示画像に上記位置決めマークの中心と上記基準マークの中心とを結ぶ線分が更に表示された表示画像となる表示画像信号を生成してもよい。

【0012】

上記表示画像信号生成部は、上記撮影画像と、上記基準マークと、上記基準マークの外形と相似する外形を有し、上記基準マークの内部に位置し、上記基準マークの中心と同じ位置に中心を有する、フォーク差込み前の基準マークと、を重畳した表示画像となる表示画像信号を生成してもよい。

【0013】

上記表示画像信号生成部は、上記撮影画像と、上記基準マークと、上記基準マークの外形と相似する外形を有し、上記基準マークを囲むように位置し、上記基準マークの中心と同じ位置に中心を有する、上記フォークリフトと上記パレットとの距離を制限する制限用の基準マークと、を重畳した表示画像となる表示画像信号を生成してもよい。

【0014】

上記目的を達成するため、本発明の他の形態に係る情報処理方法は、フォークリフトのフォークの昇降と連動可能に設けられたカメラにより撮影された、位置決めマークが設けられたパレット又は前記パレット上に載置される載置物の撮影画像を取得し、上記撮影画像と、上記位置決めマークの外形と相似の外形を有する基準マークとを重畳した表示画像となる表示画像信号を生成し、上記表示画像における上記位置決めマーク及び上記基準マークの位置を検出し、上記位置検出結果に基づいて、上記位置決めマークの中心と上記基準マークの中心との距離が所定の範囲内にあるか否かを判定し、上記位置検出結果に基づいて、上記位置決めマークの外形と上記基準マークの外形との距離が所定の範囲内にあるか否かを判定してもよい。

【発明の効果】

【0015】

以上述べたように、本発明によれば、フォーク差込み量を確認することが可能となり、フォークの差込口に対する位置決めに加え、フォークの差込方向における位置決めをも行うことができる。

【図面の簡単な説明】

【0016】

【図1】フォークリフトを用いた荷役作業の様子を示す側面図である。

【図2】パレット上に荷物が載置された様子を示す概略正面図である。

【図3】フォークリフトを用いた荷役作業における、フォークをパレットに差し込む様子を示すフォークリフトの部分概略平面図及び部分概略側面図である。

【図4】本発明の一実施形態に係る情報処理装置の機能構成例を示すブロック図である。

【図5】モニタに表示される表示画像例であって、位置決め時における位置決めマークと基準マークとの位置関係を説明する図である。

【図6】上記情報処理装置による情報処理方法の一例を示すフロー図である。

【図7】本発明の他の実施形態に係る位置決めマークを設ける位置を示す図である。

【図8】本発明の更に他の実施形態に係る基準マーク、フォーク差込み前の基準マーク、制限用の基準マークの形状を示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら、本発明の実施形態に係るフォークリフトのフォークの位置決めについて説明する。尚、以下の図において、Ｘ、Ｙ及びＺ軸方向は相互に直交する３軸方向を示し、Ｚ軸方向は高さ方向に相当する。

【0018】

本実施形態では、フォークリフトを用いて載置物としての荷物が載置された荷置きパレット（以下、単にパレットという。）にフォークを差してパレットを持ち上げることにより荷取り、荷置き作業が行われる。パレット又はパレットに載置される荷物には位置決めマークが所定の位置に貼り付けられる。フォークリフトには、フォークの昇降に連動して昇降するカメラが設けられる。

【0019】

本実施形態の情報処理装置では、カメラにより撮影された位置決めマークを含むパレット又は荷物の撮影画像が取得され、当該撮影画像と基準マークとが重畳された表示画像の表示画像信号が生成される。

【0020】

フォークリフトの運転者は、生成された表示画像が表示されたモニタを見ながら、フォークリフトを運転し、フォークの位置がパレットの差込み口に位置するように位置決めした後、フォークを差込口から挿入する。

【0021】

運転者は、モニタに表示される位置決めマークと基準マークとの位置関係を確認することにより、フォークと差込口との位置関係及びフォークのパレットへの差込み量を直感的に把握することが可能となっている。以下、詳細に説明する。

【0022】

以下において、パレットのフォーク差込領域にフォークが十分に挿入された状態を差込時におけるフォークの正位置と称する。フォークがパレット内に十分に挿入された状態とは、フォークが差し込まれ、パレットがフォークリフトにより持ち上げられて荷取り作業が行なわれる際に、パレット上に載置された荷が崩れることなく荷物をパレット上で保持可能な状態を確実に維持できる状態をいう。

【0023】

フォークが正位置にある状態では、典型的には、パレットの差込口が設けられる側面に対してフォークの延在方向がほぼ直交に位置し、かつ、パレットの差込口が設けられる側面をＸＺ面としたときに、一対のフォークのＸ軸方向における中央部とパレットのＸ軸方向における中央部とがほぼ一致し、かつ、フォークがパレット内に十分に挿入された状態となっている。

【0024】

差込時におけるフォークの正位置とは、パレットに対するＸＹＺ方向におけるフォークの位置決めがなされ、フォークを差しこんで荷取り、荷置きの作業をするのに際し、パレット上の荷物の安定した配置状態を維持可能とすることができるフォークの最適な位置を指す。

【0025】

（第１実施形態）
図１はフォークリフトを用いた荷役作業の様子を示す概略側面図である。図２は、パレット上に荷物が載置された様子を示す概略正面図である。図３は、パレットにフォークが差し込まれた状態のパレットとフォークの位置関係を説明する概略平面図及び概略側面図を示す。図４は、図１に図示されるフォークリフトに搭載される情報処理装置の機能構成例を示すブロック図である。

【0026】

＜パレットの構成＞
パレット３０は、載置物としての荷物４０を載せるための荷役台である。図１〜図３に示すように、パレット３０は、互いに離間して配置された一対の上板３１と下板３４と、上板３１と下板３４との間に設けられた4本の棒状のケタ３３とを有する。上板３１及び下板３４はそれぞれ平面形状が矩形である。

【0027】

４本のケタ３３は、互いに平行に離間して配置される。４本のケタ３３のうち、２本のケタ３３は矩形の上板３１及び下板３４それぞれの対向する２辺に沿って設けられる。他の２本は、上板３１及び下板３４の辺に沿って設けられた一対のケタ３３により挟まれた領域に配置される。

【0028】

上板３１、下板３４及びケタ３３によりパレット３０には３つの空間領域が形成される。棒状のケタ３３の長手方向をＹ軸としたとき、３つの空間領域はＸ軸方向に並んで位置する。この３つの空間領域のうち両側の２つの空間領域が、後述するフォーク１６が差し込まれるフォーク差込領域となる。フォーク差込領域は、図面上Ｙ軸方向に長手方向を有する直方体形状の空間である。上板３１、下板３４及びケタ３３によりフォーク１６の差込口３２が形成される。

【0029】

パレット３０の互いに対向する一対の側面３７には、フォークリフト１０のフォーク１６が差し込まれる差込口３２が設けられる。差込口３２は、パレット３０の互いに対向する一対の側面３７にそれぞれ２つずつ配置される。荷役作業の際、荷物４０が載置されたパレット３０の差込口３２が設けられる一側面３７にフォークリフト１０が対向配置され、フォークリフト１０の一対のフォーク１６が差込口３２に挿入されて荷取り、荷置きの作業が行われる。

【0030】

パレット３０又はパレット３０上に載置される荷物４０には、位置決めマーク５０が設けられる。パレット３０に位置決めマーク５０設けられる場合は、差込口が設けられるパレット３０の側面３７に設けられる。

【0031】

一般にパレット３０上に載置される荷物４０は複数の略直方体状の荷が積み重なって構成され、１つのパレット３０上に積載される全体の荷物４０は略直方体状を有する。荷物４０に位置決めマーク５０が設けられる場合、荷物４０の、差込口が設けられるパレット３０の側面に沿った面に設けられる。

【0032】

通常、位置決めマーク５０が設けられる荷物４０の面は、パレット３０の側面３７よりも面積が広い。したがって、位置決めマーク５０を荷物４０側に設ける方が、パレット３０の側面側に設ける場合と比較して、位置決めマーク５０の大きさ等の設計範囲の自由度が大きく、カメラ２２のレンズ選択範囲を広くすることができる。
本実施形態においては、荷物４０に位置決めマーク５０が設けられる場合を例にあげて説明する。

【0033】

位置決めマーク５０は、例えばシール状に形成され、作業者により貼り付け可能に構成される。位置決めマーク５０の配置範囲は、パレット３０との位置関係、カメラ２２の設置場所により、予め設定される。

【0034】

本実施形態においては、位置決めマーク５０は円形状の外形を有する。位置決めマーク５０に描かれる図柄は特に限定されない。後述する基準マーク６０は、位置決めマーク５０と相似の円形状の外形を有する。撮影画像に重畳される基準マーク６０は、使用される位置決めマーク５０と対応して予め準備され、情報処理装置７０の図示しない記憶部に記憶されている。

【0035】

フォークリフト１０とパレット３０とが正位置にある状態で、後述するカメラ２２が位置決めマーク５０を撮像可能なように、位置決めマーク５０の配置可能領域は決定される。位置決めマーク５０は、この配置可能領域内に貼り付けられる。位置決めマーク５０の貼り付け場所は、カメラ２２とフォーク１６との位置関係を基に決定される。

【0036】

カメラ２２は、位置決めマーク５０を含む荷物４０の一部を撮影するように構成される。カメラ２２には単眼カメラ、ステレオカメラを用いることができ、典型的には単眼カメラが用いられ、ステレオカメラを使用する場合と比較してコストを抑えることができる。

【0037】

カメラ２２はフォーク１６の昇降と連動して移動可能となっており、カメラ２２とフォーク１６との距離は変化せず固定されている。カメラ２２の設置場所の詳細については後述するが、カメラ２２は高さ方向（Ｚ軸方向）においてフォーク１６よりも上部に設置される。更に、カメラ２２は、一対のフォークリフト１０のＸ軸方向における中央部に設けられる。

【0038】

本実施形態においては、カメラ２２は、一対のフォークリフト１０のＸ軸方向における中央部に設けられるので、位置決めマーク５０のＸ軸方向における配置可能領域は荷物４０のＸ軸方向における中央部付近に決定される。作業者は、荷物４０のＸ軸方向における中央部あたりに位置決めマーク５０が位置するように配置すればよい。例えば、パレット３０の側面３７に形成される２つの差込口３２は、側面３７において、Ｚ軸方向に沿った中心線を軸に線対称に設けられるので、２つの差込口３２の中央部あたりを目安にしてＸ軸方向における中央部を決定することができる。

【0039】

更に、高さ方向（Ｚ軸方向）における位置決めマーク５０の配置可能領域は、カメラ２２とフォーク１６との距離を基に、パレット３０の上面からの距離によって決定される。例えばカメラ２２とフォーク１６との距離との距離が３０ｃｍである場合、３０ｃｍである場合、パレット３０の上面から２０ｃｍ〜４０ｃｍの間に、位置決めマーク５０が位置するように配置すればよい。このように、位置決めマーク５０の配置可能領域は、カメラ２２の位置によって決定される。尚、上記数値は一例であり、これに限定されない。

【0040】

＜フォークリフトの構成＞
図１に示すように、フォークリフト１０は、運転席を備える車体１と、マスト１５と、一対のフォーク１６と、バックレスト１８と、フォークレール（図示せず）と、撮像部としてのカメラ２２と、情報処理装置７０と、表示装置としてのモニタ２１を具備する。

【0041】

フォーク１６は、パレット等を持ち上げるのに用いられる。フォーク１６は、一方向に延在して形成され、バックレスト１８に固定される。

【0042】

バックレスト１８は、フォーク１６上に載置された荷物がマスト１５の後方に落下するのを防ぐための荷受け枠である。バックレスト１８は、フォーク１６の延在方向に垂直な、高さ方向に沿った平面上に設けられる。

【0043】

フォークレールは、フォークが取り付けられるレールである。フォークレール上でスライドさせることで一対のフォークの間隔は調整可能となっている。フォークレールは、水平面と平行な面内で、フォーク１６の延在方向に直交する方向に長手方向を有する。フォークレールは、バックレスト１８の矩形状の外枠の向かい合う辺間に亘って設けられる。

【0044】

フォーク１６が固定されたバックレスト１８は、リフトチェーン（図示せず）により昇降可能に構成される。これによりフォーク１６も昇降可能となっている。

【0045】

マスト１５は、フォーク１６を備えるバックレスト１８を上下に昇降させるために必要なレールのような役割を有する。マスト１５は運転者が運転席に乗車した際に運転者からみた前方となる車体１の前方に設けられる。

【0046】

撮像部としてのカメラ２２は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサを有し、フォークリフト１０の前方視野を撮像する。なお、撮像部２２は典型的にはＣＣＤカメラ等のビデオカメラである。

【0047】

カメラ２２は、例えばフォークレール上に設けられ、Ｘ軸方向に沿った長手方向を有するフォークレールの中央部に設けられる。カメラ２２は、高さ方向においてフォーク１６よりも上部に設けられる。カメラ２２はフォークレールに設けられる例に限られず、フォーク１６と連動して昇降する位置に設けられていればよい。

【0048】

＜情報処理装置の構成＞
情報処理装置７０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等のコンピュータに必要なハードウェアを有する。ＣＰＵが、ＲＯＭやＨＤＤに格納されたプログラムをＲＡＭにロードして実行することにより、後述する情報処理装置７０の各ブロック動作が制御される。

【0049】

プログラムは、例えば種々の記憶媒体（内部メモリ）を介して情報処理装置７０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。

【0050】

情報処理装置７０として、例えば、ＰＣ（Personal Computer）やタブレット端末等が用いられるが、他の任意のコンピュータが用いられてもよい。

【0051】

情報処理装置７０は、画像取得部７１と、表示画像信号生成部７２と、円検出部７３と、位置検出部７４と、判定部７５と、音声信号生成部７６と、出力部７７とを具備する。

【0052】

画像取得部７１は、カメラ２２により撮影された撮影画像を取得する。

【0053】

図５は、モニタ２１に表示される表示画像例であって、位置決め時における位置決めマークと基準マークとの位置関係を説明する図である。フォーク１６が差し込まれる差込口３２が設けられる側面３７をＸＺ面としたとき、図５（Ａ）は、ＸＺ面におけるフォークの位置決めをする際にモニタ２１に表示される表示画像の一例である。図５（Ｂ）は、ＸＺ面におけるフォークの位置決めが行われた様子を示す表示画像の一例である。図５（Ｃ）は、フォーク１６のパレット３０への差込方向（Ｙ軸方向）におけるフォークの位置決めをする際にモニタ２１に表示される表示画像の一例である。

【0054】

表示画像信号生成部７２は、モニタ２１の表示部２１１に表示される表示画像の表示画像信号を生成する。表示画像信号生成部７２は、画像取得部７１で取得した撮影画像と基準マーク６０とが重畳された表示画像となる表示画像信号を生成する。

【0055】

また、表示画像信号生成部７２は、撮影画像と基準マーク６０とが重畳された表示画像の位置決めマーク５０の円形の輪郭５０Ｂが強調表示された表示画像となる表示画像信号を生成することが可能に構成される。図５（Ａ）〜（Ｃ）に表示画像の一例を示す。位置決めマーク５０の円形の輪郭５０Ｂの強調表示は、後述する円検出部７３にて円が検出されたときに実行される。

【0056】

また、表示画像信号生成部７２は、撮影画像と基準マーク６０とが重畳された表示画像に、位置決めマーク５０の中心５０Ａと基準マーク６０の中心６０Ａとを結ぶ線分５５が更に重畳表示された表示画像となる表示画像信号を生成することが可能に構成される。図５（Ａ）に表示画像の一例を示す。線分５５の表示は、後述する位置検出部７４による検出結果を基に実行される。

【0057】

表示画像信号生成部７２により生成された表示画像信号は、出力部７７に送信される。本実施形態においては、位置決めマーク５０及び基準マーク６０のそれぞれの外形は円形状を有する。モニタ２１上で位置決めマーク５０の外形と基準マーク６０の外形とがほぼ重なったときが、フォークの差込時におけるフォークの正位置となる。

【0058】

円検出部７３は、カメラ２２で撮影された撮影画像における位置決めマーク５０の円形を検出する。円検出部７３により撮影画像上に円が検出されると、その検出結果は表示画像信号生成部７２に送信される。

【0059】

円検出部７３にて位置決めマークの円形が検出されることにより、フォーク１６が差し込まれる差込口３２が配置されるパレット３０の側面をＸＺ平面としたときに、フォーク１６の延在方向がＹ軸方向とほぼ平行な位置関係となったとみなされる。尚、ここで、検知される円とは真円の他、ほぼ真円をも含む。

【0060】

例えば、差込口３２が配置されるパレット３０の側面３７をＸＺ面としたときにパレット３０の側面３７におけるＸ軸方向に対して垂直ではなく斜めにフォーク１６が差し込まれる場合、言い換えると、Ｙ軸に対して角度を持った方向にフォーク１６が差し込まれる場合、撮影画像中の位置決めマークの外形は真円ではない歪んだ円形状となる。

【0061】

このように、パレット３０の側面３７に対して垂直ではなく斜めにフォーク１６が差し込まれる場合であっても、その状態でフォーク１６がパレット３０内に十分に差込可能で、フォーク１６を差込んだ状態で荷取り及び荷置き作業で問題がない場合がある。このような荷役作業で問題のない範囲のパレット３０の側面に対して斜めにフォーク１６が差し込まれていても、その斜めの度合いが小さく荷役作業に影響のない場合が含まれるように、円検出部７３は真円の他及びほぼ真円も円として検出するよう構成される。

【0062】

表示画像信号生成部７２は、円検出部７３の検出結果に基づき、撮影画像と基準マークとが重畳された表示画像のうち位置決めマークの円形の輪郭が強調表示された表示画像となる表示画像信号を生成する。

【0063】

強調表示では、モニタ２１に表示される表示画像中、位置決めマーク５０がどこにあるかがすぐに認識できるように、例えば輪郭５０Ｂを着色して表示する。本実施形態においては、例えば位置決めマーク５０の円形の輪郭５０Ｂは赤色に着色されて表示され、基準マーク６０の円形の輪郭は緑色で表示される。

【0064】

位置決めマーク５０の円形の輪郭５０Ｂが強調表示されることにより、運転者は、モニタ２１を見ながら、フォークリフト１０が荷物４０に対して正対していることを直感的に把握することができる。

【0065】

尚、円形の輪郭の強調表示という報知方法に加えて、フォークリフト１０が荷物４０に対して正対している報知を文字で示して表示画像として表示してもよい。

【0066】

このように、位置決めマーク５０及び基準マーク６０それぞれの円形の輪郭が強調表示された表示画像がモニタ２１に表示されることにより、運転手は位置決めマーク５０と基準マーク６０との位置関係を直感的に把握することができる。尚、強調表示時の着色の色はこれらに限定されず、位置決めマークが設けられるパレットや荷物の色によって、運転者が任意の色を選定できるようにしてもよい。また、強調表示は着色表示に限定されず、太線で強調する等してもよい。

【0067】

位置検出部７４は、表示画像における基準マーク６０及び位置決めマーク５０の位置を検出し、基準マーク６０と位置決めマーク５０それぞれの中心の座標及び半径を検出する。検出結果は、表示画像信号生成部７２及び判定部７５に送信される。

【0068】

表示画像信号生成部７２は、位置検出部７４からの基準マーク６０と位置決めマーク５０それぞれの中心座標の検出結果に基づき、撮影画像と基準マーク６０とが重畳された表示画像に、位置決めマーク５０の中心５０Ａと基準マーク６０の中心６０Ａとを結ぶ線分５５が更に重畳表示された表示画像となる表示画像信号を生成する。中心間を結ぶ線分は例えば着色されたり、太線で強調される等して強調表示されてもよい。

【0069】

これにより、運転者は、線分５５の長さ及び線分５５の配置位置から、位置決めマーク５０と基準マーク６０との位置関係、延いては、差込口３２とフォーク１６の先端部１６Ａとの位置関係を直感的に把握することができる。そして、運転者は、モニタ２１の表示部２１１に表示される表示画像を確認しながら、位置決めマーク５０の中心５０Ａと基準マーク６０の中心６０Ａとがほぼ一致するよう線分５５の距離がより短くなるように、フォークリフト１０を操作する。これにより、フォーク１６のＸＺ面における位置決めが行われる。

【0070】

判定部７５は、位置検出部７４からの検出結果に基づき、基準マーク６０と位置決めマーク５０それぞれの中心間距離が所定の範囲であるか否かを判定する。更に、基準マーク６０の半径値Ｒと位置決めマーク５０の半径値ｒとの差であるＲ−ｒの値が所定の範囲であるか否かを判定する。判定結果は、表示画像信号生成部７１及び音声信号生成部７６に送信される。

【0071】

基準マーク６０と位置決めマーク５０それぞれの中心間距離が所定の範囲である場合、ＸＺ面におけるフォーク１６の先端と差込口３２との位置決めがなされた状態である。

【0072】

基準マーク６０の半径値Ｒと位置決めマーク５０の半径値ｒとの差が所定の範囲である場合、フォーク１６がパレット３０内に正位置で差し込まれ、ＸＹＺ方向におけるフォーク１６と差込み口３２との位置決めがなされた状態である。

【0073】

音声信号生成部７６は、判定部７５から、基準マークの半径値Ｒと位置決めマークの半径値ｒとの差であるＲ−ｒの値が所定の範囲であるとの判定結果を受信すると、運転者に対して、フォーク１６が正位置にある、すなわちフォーク１６の位置決めが終了したことを報知するための音声を生成する。音声信号生成部７６で生成された音声信号は出力部７７に送信される。

【0074】

尚、音声信号生成部７６は、フォーク１６が正位置にあることを報知するための音声を生成する他、円検出部７３にて円形が検出されたときに円が検出されたことを報知するための音声や基準マークと位置決めマークの中心間距離が所定の範囲であるか否かを報知するための音声を生成してもよい。

【0075】

また、表示画像信号生成部７２は、判定部７５からの基準マークと位置決めマークの中心間距離が所定の範囲であるという判定結果を基に、フォーク１６の位置決めが終了したという報知が文字で表示された表示画像を生成してもよい。

【0076】

音声信号生成部７６により生成された音声信号は、出力部７７に送信される。出力部７７は、表示画像信号及び音声信号をモニタ２１に出力する。

【0077】

表示装置としてのモニタ２１は、表示部２１１と音声出力部としてのスピーカ２１２を備える。モニタ２１は、運転席に座る運転者が確認可能な位置に設けられる。

【0078】

表示部２１１は、カメラ２２が撮像した重畳処理前の画像や、情報処理装置７０から出力された表示画像信号を基にした表示画像を表示可能に構成される。表示部２１１は、例えば、液晶、有機ＥＬ（Electro-Luminescence）等を用いた表示デバイスである。表示部２１１は、ユーザの操作を入力するための入力部を有する構成であってもよい。当該入力部としては、例えば、タッチパネルや、キーボード等の操作デバイスが採用される。

【0079】

スピーカ２１２は、情報処理装置７０から出力された音声信号を基に音声を発する。このようにスピーカ７９を設けることにより、運転者は視覚による支援情報に加え、聴覚からもフォーク１６とパレット３０との位置決めの支援情報を得ることができる。

【0080】

＜位置決め方法＞
次に、上述の情報処理装置７０を用いた、フォークリフト１０による荷取り時のフォーク１６とパレット３０の差込口３２との位置決め方法について説明する。図５は、モニタ２１に表示される表示画像例であって、位置決め時における位置決めマークと基準マークとの位置関係を説明する図である。図６は、上述の情報処理装置７０を用いた撮影画像の画像処理に係る情報処理方法の一例を示すフロー図である。図６は、円検出部７３、位置検出部７４、判定部７６にかかわるフロー図となっている。

【0081】

以下、図１、図４、図５及び図６を参照しながら、情報処理装置７０による表示画像の画像処理に係る情報処理方法の説明を交えて、フォーク１６の位置決めのステップについて説明する。

【0082】

図１に示すように、フォークリフト１０がパレット３０の差込口３２が設けられる側面３７と対向するように配置されると、まず、運転者の操作により、フォーク１６と持ち上げる対象のパレット３０との高さ方向における位置がだいたい同じとなるようにパレット１６が上昇される。

【0083】

次に、図４に示すように、カメラ２２により位置決めシール５０を含む荷物４０の一部が撮影される。情報処理装置７０の画像取得部７1により、カメラ２２で取得された撮影画像が取得される。

【0084】

表示画像信号生成部７２は、画像取得部７１で取得された撮影画像と、基準マーク６０とが重畳された表示画像となる表示画像信号を生成する。基準マーク６０は使用する位置決めシール５０と対応して予め準備されるものであり、表示画像上、位置決めシール５０は常に同じ大きさに表示される。

【0085】

生成された表示画像信号は出力部７７から表示装置２１に送信される。表示装置２１の表示部２１１には送信された表示画像信号に基づく表示画像が表示される。

【0086】

次に、図６に示すように、円検出部７３により撮影画像内の円検出が行なわれる（Ｓ１０１）。図４に示すように、検出結果は表示画像信号生成部７２に送信される。表示画像信号生成部７２は、円検出部７３にて円が検出されたとの結果を受信すると、撮影画像と基準マーク６０とが重畳された表示画像中の位置決めマーク５０の輪郭５０Ｂが強調表示された表示画像の表示画像信号を生成する。本実施形態においては、位置決めマーク５０の輪郭５０Ｂは赤色に着色されて強調表示される。尚、円形の基準マーク６０の輪郭は緑色に着色されて表示される。

【0087】

円検出部７３にて位置決めマーク５０の円形状が検出されることにより、フォーク１６が差し込まれる差込口３２が配置されるパレット３０の側面をＸＺ平面としたときに、フォーク１６の延在方向がパレット３０におけるＹ軸方向とほぼ平行な位置関係となったとみなされ、フォークリフト１０が荷物４０の真正面に位置したとみなされる。

【0088】

円検出部７３にて位置決めマーク５０の円形が検出されるまでは、表示画像上、位置決めマーク５０の輪郭５０Ｂは強調表示されない。運転者は、表示装置２１に表示される表示画像を見ながら表示される位置決めマーク５０の輪郭５０Ｂがほぼ真円となるように、フォークリフト１０を操作し移動させる。そして、位置決めマーク５０の輪郭５０Ｂが強調表示されていることが表示部２１１上で確認されることにより、フォークリフト１０が荷物４０の真正面に位置したことが把握可能となる。

【0089】

次に、図６に示すように、位置検出部７４により、撮影画像と基準マーク６０とが重畳された表示画像中の位置決めマーク５０の輪郭５０Ｂが強調表示された表示画像が用いられて、基準マーク６０及び位置決めマーク５０の位置が検出され、基準マーク６０の中心６０Ａと位置決めマーク５０の中心６０Ｂそれぞれの座標と、基準マーク６０と位置決めマーク５０それぞれの半径値が検出される（Ｓ１０２）。図４に示すように、検出結果は、表示画像信号生成部７２及び判定部７５に送信される。

【0090】

表示画像信号生成部７２により、位置検出部７４の検出結果を基に、撮影画像と基準マーク６０とが重畳された表示画像の位置決めマーク５０の輪郭５０Ｂが強調表示され、更に基準マーク６０の中心６０Ａと位置決めマーク５０の中心５０Ａとを結ぶ線分５５が表示された表示画像となる表示画像信号が生成される。

【0091】

生成された表示画像信号は、表示装置２１に送信され、送信された表示画像信号を基に表示部２１１に表示画像が表示される。図５（Ａ）は表示画像の一例である。図５（Ａ）に示すように、表示部２１１には、撮影画像と基準マーク６０とが重畳された表示画像の位置決めマークの輪郭５０Ｂが強調表示され、更に基準マーク６０の中心６０Ａと位置決めマーク５０の中心５０Ａとを結ぶ線分５５が重畳された表示画像が表示される。

【0092】

運転者は、表示部２１１に表示される表示画像を確認しながら、位置決めマークの中心５０Aと基準マークの中心６０Aとがほぼ一致するよう線分５５の距離がより短くなるように、フォークリフト１０を操作する。これにより、ＸＺ面における位置決めが行われる。

【0093】

次に、図６に示すように、判定部７５により、位置検出部７４からの検出結果を基に、位置決めマークの中心５０Aと基準マークの中心６０Aとの中心間距離が所定の範囲にあるか否かが判定される（Ｓ１０３）。Ｓ１０３でＹｅｓと判定されるとＳ１０４に進む。Ｓ１０３でＮｏと判定されるとＳ１０１に戻り、ステップが繰り返される。図４に示すように、判定部７５による判定結果は、表示画像信号生成部７２及び音声信号生成部７６に送信される。

【0094】

判定部７５にて中心間距離が所定の範囲にあると判定されることにより、ＸＺ平面におけるフォーク１６の位置決めがなされたとみなされる。すなわち、フォーク１６の延在方向がパレット３０におけるＹ軸方向とほぼ平行な位置関係となり、かつ、フォーク１６の先端１６Ａが差込口３２と対向しているとみなされる。

【0095】

判定部７５により中心間距離が所定の範囲にあると判定されると、表示画像信号生成部７２により、線分５５が強調表示される表示画像の表示画像信号が生成される。生成された表示画像信号は表示装置２１に送信され、表示部２１１に表示される。線分５５の強調表示は、例えば、中心間距離が所定の範囲にない場合とは異なる色に線分５５が着色されて表示されることにより行われる。これにより、運転者は、線分５５の色の変化を画像表示上で確認することにより、直感的にＸＺ平面におけるフォーク１６の位置決めがなされたと認識することができる。

【0096】

図５（Ｂ）は、中心間距離が０であり、所定の範囲にあると判定されたときの表示画像の一例である。図５（Ｂ）に示すように、位置決めマーク５０の中心５０Ａと基準マーク６０の中心６０Ａとが重なりあっている。このように中心が重なる場合、線分５５は非表示となり、重なり合った中心５０Ａ及び中心６０Ａを表す点が表示される。

【0097】

また、判定部７５により中心間距離が所定の範囲にあると判定されると、音声信号生成部７６により、ＸＺ面におけるフォーク１６の位置決めがなされたことを報知する音声信号が生成される。生成された音声信号は表示装置２１に送信され、スピーカから音声が出力される。

【0098】

運転者は、表示画像及び音声からＸＺ面におけるフォーク１６の位置決めがなされたことを確認すると、位置決めマーク５０と基準マーク６０とが一致するように、フォークリフト１０を操作する。すなわち、フォークリフト１０は、パレット３０のＹ軸方向に平行に移動するように操作される。これにより、フォーク１６がパレット３０内に差し込まれる。運転者は、位置決めマーク５０と基準マーク６０との位置関係を表示画像で確認することにより、フォーク１６の差込量を直感的に把握することができる。

【0099】

判定部７５にて基準マーク６０の半径Ｒと位置決めマーク５０の半径ｒとの差であるＲ−ｒの値が所定の範囲にあると判定されることにより、Ｙ軸方向におけるフォーク１６の位置決めがなされ、安全な荷取り作業に十分なフォーク１６の差込量があるとみなされる。

【0100】

判定部７５により半径Ｒと半径ｒとの差であるＲ−ｒの値が所定の範囲にあると判定されると、表示画像信号生成部７２により、ＸＹＺ面におけるフォーク１６の位置決めがなされた、すなわちフォーク１６の位置決めが終了したことを報知する表示がなされた表示画像となる表示画像信号が生成される。生成された表示画像信号は表示装置２１に送信され、表示部２１１に表示される。運転者は、表示部２１１に表示された位置決め終了報知を確認することにより、フォーク１６の位置決めが終了したことを認識することができる。

【0101】

更に、判定部７５により半径Ｒと半径ｒとの差であるＲ−ｒの値が所定の範囲にあると判定されると、音声信号生成部７６により、ＸＹＺ面におけるフォーク１６の位置決めがなされた、すなわちフォーク１６が正位置に配置されフォーク１６の位置決めが終了したことを報知する音声信号が生成される。生成された音声信号は表示装置２１に送信され、スピーカから音声が出力される。運転者は、スピーカからの音声により、フォーク１６の位置決めが終了したことを認識することができる。

【0102】

以上のように、本実施形態においては、位置決めマークが撮影された撮影画像と、位置決めマークと相似する基準マークとが重畳された表示画像を用いてフォークの位置決めが行われるので、表示画像上で位置決めマークと基準マークとがほぼ一致するようにフォークリフトを操作することにより、フォークの差込口に対する位置決めに加え、フォーク差込み量を表示画像により確認しながらフォークの差込方向における位置決めをも行うことができる。これにより、フォークのパレット内への差込みが不十分なことにより生じる荷崩れ等を防止することができ、安全な荷役作業が可能となる。

【0103】

本実施形態においては、位置決めマークの輪郭の円形が検出され輪郭が強調表示されることにより、フォークリフトと荷物とが正対し、フォークリフトがフォーク差込時に適した位置にいることが運転者に対して報知される支援が行われる。

【0104】

また、位置決めマークの中心と基準マークの中心とを結ぶ線分が表示されることにより、ＸＺ面におけるフォークと差込口との位置決めの支援が運転者に対し行われる。

【0105】

また、位置決めマークの中心と基準マークの中心との距離が所定の範囲となった後、すなわちＸＺ面におけるフォークと差込口との位置決めが行われた後、フォークリフトがパレットに近づくように運転されることにより、Ｙ軸方向におけるフォークの位置決めが行われる。パレットへのフォークの差込量は、それぞれ輪郭が強調表示された位置決めマークと基準マークそれぞれの半径値の差に反映される。表示画像に表示される基準マークの大きさは変化せず、位置決めマークの輪郭の大きさのみがパレットとカメラとの距離によって変化するので、位置決めマークの輪郭の大きさの変化と、位置決めマークと基準マークとの位置関係から、パレット内へのフォークの差込量を直感的に把握することができる。このように、撮影画像と基準マークとを重畳させた表示画像とすることにより、運転者に対してＹ軸方向におけるフォークの位置決めの支援が行われる。

【0106】

本実施形態は、特に、高所での荷役作業において有効である。高所での荷役作業は、目視でのフォークと差込口との正確な位置決めが困難であるため、上記実施形態のように位置決めマークと基準マークとを用いた位置決めは有効である。

【0107】

（第２実施形態）
上述の第１実施形態においては、位置決めマークを１つ設けたが複数設けても良い。例えば図７に示すように、４つの位置決めマーク５１を、荷物４０の、差込口３２が設けられるパレット３０の側面に沿った矩形状の面の四隅に設けても良い。

【0108】

この場合においても、上記実施形態と同様に、位置決めマーク５１の円形を検知し、位置決めマーク及び基準マークそれぞれの中心座標及び半径を用いてフォークの位置決めを行う。このように複数の円形の位置決めマーク５１を設けることにより、フォーク位置決め精度が向上する。

【0109】

（第３実施形態）
上述の実施形態においては、表示画像信号生成部は、撮影画像と、基準マーク６０とを重畳する表示画像を生成していたが、基準マーク６０に加え、フォーク差込み前の基準マーク８５と、制限用の基準マーク９０を更に撮影画像に重畳する表示画像を生成してもよい。尚、フォーク差込み前の基準マーク８５、制限用の基準マーク９０のいずれか一方を設けてもよい。

【0110】

上述の実施形態で説明したように、基準マーク６０を用いることにより、フォークが差込口から差し込まれた以降のフォークのパレットへの差込量が十分か不十分であるかを把握することができる。

【0111】

フォーク差込前の基準マーク８５は、基準マーク６０と相似する円形の外形を有し、基準マーク６０の中心と同じ位置に中心を有する。フォーク差込前の基準マーク８５の半径は基準マーク６０の半径よりも小さく、フォーク差込間の基準マーク８５は、基準マーク６０の内部に位置する。

【0112】

フォーク差込前の基準マーク８５は、フォーク差込前のＸＺ面におけるフォークの位置決め時に用いられる。位置決めマーク５０の輪郭がフォーク差込前の基準マーク８５と重なるとき、フォーク１６の先端がパレット３０内に差し込まれる直前の状態であることを示す。

【0113】

フォーク差込前の基準マーク８５内に位置決めマーク５０の輪郭５０Ｂが位置する状態で、位置決めマーク５０の中心５０Ａと基準マーク６０の中心６０Ａとの間の距離が所定の範囲になるように、フォークリフト１０が運転されることにより、フォーク１６の先端がパレット３０に差し込まれていない状態でＸＺ面におけるフォークの位置決めを行なうことができる。従って、フォーク１６の位置決め時にフォーク１６の先端がパレット１６や荷物４０に衝突して荷崩れ等が生じることを防止できる。

【0114】

制限用の基準マーク９０は、基準マーク６０と相似する円形の外形を有し、基準マーク６０の中心と同じ位置に中心を有する。制限用の基準マーク９０の半径は基準マーク６０の半径よりも大きい。制限用の基準マーク９０は、基準マーク６０を囲むように位置する。

【0115】

制限用の基準マーク９０は、フォーク差込後のフォーク１６の差込量の限界を示すものである。位置決めマーク５０の輪郭５０Ｂが制限用の基準マーク９０よりも大きくなると、フォーク１６が必要以上にパレット３０に差込まれ、パレット３０とフォークリフト１０とが衝突してパレット３０が破損する恐れが生じることを示す。

【0116】

このように、制限用の基準マーク９０よりも位置決めマーク５０が大きくならないようにフォークリフト１０が運転されることにより、パレット３０とフォークリフト１０の衝突発生を防止し、パレット３０の破損を防止することができる。

【0117】

以上、本発明の実施形態について説明したが、本発明は上述の実施形態にのみ限定されるものではなく種々変更を加え得ることは勿論である。

【0118】

例えば上記実施形態では、情報処理装置７０とカメラ２２が別体的に設けられた構成であるが、これらが一体的に設けられていてもよい。

【0119】

また、上記実施形態では、荷物に位置決めシールが設けられていたが、パレットの差込口が設けられる側面に位置決めシールが設けられても良い。パレットに位置決めシールが設けられる場合、カメラは一対のフォークとほぼ同じ高さに位置するように設置される。

【0120】

また、上記実施形態においては、１種類の大きさの位置決めシールを例にあげて説明したが、複数種類の大きさの位置決めシールを使用可能にしてもよい。この場合、大きさの異なる位置決めシール毎に、表示画像に表示される大きさが異なる基準マークが予め用意される。例えば大きさの違いによって異なる識別子を位置決めシールに印刷等により付与し、情報処理装置にて、撮影された位置決めシールの撮像画像からパターン認識等により識別子を判別して、それぞれの識別子に対応した基準マークが表示画像に表示されるように構成してもよい。

【0121】

さらに、上記実施形態においては、フォークリフト１０は運転者の乗車が必要な有人移動体であるが、無人移動体であってもよい。無人移動体の場合、表示装置としてのモニタは、フォークリフトが走行する作業場と離れた別室に設けられる。作業者は、別室に設けられたモニタの表示画像を確認しながら、フォークリフトを遠隔操作することが可能となっている。

【符号の説明】

【0122】

１…車体
１０…フォークリフト
１５…マスト
１６…フォーク
２２…カメラ（撮像部）
３０…パレット
４０…荷物（載置物）
５０、５１…位置決めマーク
５０Ａ…位置決めマークの中心
５５…線分
６０…基準マーク
６０Ａ…基準マークの中心
７０…情報処理装置
７１…画像取得部
７２…表示画像信号生成部
７３…円検出部
７４…位置検出部
７５…判定部
８５…フォーク差込前の基準マーク
９０…制限用の基準マーク
Ｒ…基準マークの半径
ｒ…位置決めマークの半径

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】