IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社パル技研の特許一覧

特開2024-231AI等による判定システム、及び、フォークリフト
<>
  • 特開-AI等による判定システム、及び、フォークリフト 図1
  • 特開-AI等による判定システム、及び、フォークリフト 図2
  • 特開-AI等による判定システム、及び、フォークリフト 図3
  • 特開-AI等による判定システム、及び、フォークリフト 図4
  • 特開-AI等による判定システム、及び、フォークリフト 図5
  • 特開-AI等による判定システム、及び、フォークリフト 図6
  • 特開-AI等による判定システム、及び、フォークリフト 図7
  • 特開-AI等による判定システム、及び、フォークリフト 図8
  • 特開-AI等による判定システム、及び、フォークリフト 図9
  • 特開-AI等による判定システム、及び、フォークリフト 図10
  • 特開-AI等による判定システム、及び、フォークリフト 図11
  • 特開-AI等による判定システム、及び、フォークリフト 図12
  • 特開-AI等による判定システム、及び、フォークリフト 図13
  • 特開-AI等による判定システム、及び、フォークリフト 図14
  • 特開-AI等による判定システム、及び、フォークリフト 図15
  • 特開-AI等による判定システム、及び、フォークリフト 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000231
(43)【公開日】2024-01-05
(54)【発明の名称】AI等による判定システム、及び、フォークリフト
(51)【国際特許分類】
   G06V 20/58 20220101AFI20231225BHJP
   G06T 7/00 20170101ALI20231225BHJP
   G06T 7/70 20170101ALI20231225BHJP
   G08G 1/16 20060101ALI20231225BHJP
【FI】
G06V20/58
G06T7/00 660B
G06T7/70 A
G06T7/00 650B
G08G1/16 C
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022098905
(22)【出願日】2022-06-20
(71)【出願人】
【識別番号】300066494
【氏名又は名称】株式会社パル技研
(74)【代理人】
【識別番号】100150153
【弁理士】
【氏名又は名称】堀家 和博
(72)【発明者】
【氏名】毛利 秀志
(72)【発明者】
【氏名】佐野 拓治
【テーマコード(参考)】
5H181
5L096
【Fターム(参考)】
5H181AA07
5H181AA21
5H181BB04
5H181BB05
5H181BB13
5H181BB20
5H181CC04
5H181FF27
5H181FF35
5H181LL02
5H181LL07
5H181LL08
5L096AA06
5L096BA04
5L096BA18
5L096CA02
5L096DA03
5L096EA06
5L096EA12
5L096EA18
5L096EA35
5L096EA39
5L096FA06
5L096FA16
5L096FA32
5L096FA60
5L096FA67
5L096GA04
5L096GA05
5L096HA04
5L096HA11
(57)【要約】
【課題】画像の所定エリア内における人の一部の有無から人の存在を判定して、システムの「小型化」や「簡略化」を実現する。
【解決手段】画像内の人を判定する判定システム1は、画像内の人を認識する認識部2と、画像の上部判定エリア内に人の上部が有る場合や画像の下部判定エリア内に人の下部が有る場合に画像内に人が存在すると判定する判定部3を備える。各判定エリアは危険エリアと検知エリアを含み、判定部3は、危険エリア内に人の一部が有る場合には検知エリア内に人の一部が有る場合に比べて、より近くに人が存在すると判定したり、報知部4や保存部5、通信部6も備えていても良い。判定システム1が設けられたフォークリフト10は、後方向へ進行している場合にのみ、判定部3が画像内の人を判定する。判定部3は画像に基づきフォークリフト10の進行方向や旋回方向も判定しても良い。
【選択図】図1
【特許請求の範囲】
【請求項1】
カメラにて撮像した画像内における人の存在を判定する判定システムであって、
前記画像は、少なくとも上部判定エリアと下部判定エリアが設定されていて、
前記画像内における人を認識する認識部と、
前記認識部が認識した人の上部が前記上部判定エリア内に有る場合、及び/又は、前記認識部が認識した人の下部が前記下部判定エリア内に有る場合には、前記画像内に人が存在すると判定する判定部と、
を備えていることを特徴とする判定システム。
【請求項2】
前記上部判定エリアは、上部危険判定エリアと上部検知判定エリアを含み、
前記下部判定エリアは、下部危険判定エリアと下部検知判定エリアを含み、
前記判定部は、
前記認識部が認識した人の上部が前記上部危険判定エリア内に有る場合、及び/又は、前記認識部が認識した人の下部が前記下部危険判定エリア内に有る場合には、
前記認識部が認識した人の上部が前記上部検知判定エリア内に有る場合、及び/又は、前記認識部が認識した人の下部が前記下部検知判定エリア内に有る場合に比べて、
前記画像内のより近くに人が存在すると判定することを特徴とする請求項1に記載の判定システム。
【請求項3】
前記判定部が画像内における人の存在を判定したことを当該システム外へ報知する報知部も備えていることを特徴とする請求項1に記載の判定システム。
【請求項4】
前記画像そのものと前記画像を含む動画のうち少なくとも一方を保存する保存部、及び/又は、当該システム外と通信する通信部も備えていることを特徴とする請求項1に記載の判定システム。
【請求項5】
請求項1~4の何れか1項に記載の判定システムが設けられたフォークリフトであって、
当該フォークリフトは、前記画像を撮像するカメラを備えていて、
前記判定部は、当該フォークリフトが後方向へ進行している場合にのみ、前記画像内における人の存在を判定することを特徴とするフォークリフト。
【請求項6】
前記判定部は、前記画像に基づいて、当該フォークリフトの進行方向を判定することを特徴とする請求項5に記載のフォークリフト。
【請求項7】
前記判定部は、前記画像に基づいて、当該フォークリフトの旋回方向も判定することを特徴とする請求項6に記載のフォークリフト。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラにて撮像した画像内における人の存在を判定する判定システム、及び、この判定システムが設けられたフォークリフトに関するものである。
【背景技術】
【0002】
従来、視覚データに基づいて人体を検出する人体検出装置が知られている(特許文献1参照)。
この人体検出装置は、画像を撮像する撮像部と、熱分布に関する情報を検出する熱情報検出部と、前記撮像部における撮像範囲と前記熱情報検出部における熱検出範囲を重複させるように配置する検出範囲設定手段と、前記熱検出範囲のうち人体が持つ熱量が検出された領域に相当する撮像領域を人体抽出範囲として撮像画像から取り出す人体抽出手段と、を具備する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006-059015号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された人体検出装置は、撮像部としてのカメラと、熱情報検出部としてのサーモパイル・アレイなどの両方を具備することが必須となるため、システムが大型化し、更に、撮像範囲と熱検出範囲を正確に重複させる必要があるため、システムが複雑化する問題がある。
【0005】
本発明は、このような点に鑑み、画像の上部判定エリア内における人の上部の有無、画像の下部判定エリア内における人の下部の有無から、人の存在を判定することによって、システムの「小型化」や「簡略化」を実現する判定システム、及び、フォークリフトを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る判定システム1は、カメラにて撮像した画像内における人の存在を判定する判定システムであって、前記画像は、少なくとも上部判定エリアと下部判定エリアが設定されていて、前記画像内における人を認識する認識部と、前記認識部が認識した人の上部が前記上部判定エリア内に有る場合、及び/又は、前記認識部が認識した人の下部が前記下部判定エリア内に有る場合には、前記画像内に人が存在すると判定する判定部と、を備えていることを第1の特徴とする。
【0007】
本発明に係る判定システム1の第2の特徴は、上記第1の特徴に加えて、前記上部判定エリアは、上部危険判定エリアと上部検知判定エリアを含み、前記下部判定エリアは、下部危険判定エリアと下部検知判定エリアを含み、前記判定部は、前記認識部が認識した人の上部が前記上部危険判定エリア内に有る場合、及び/又は、前記認識部が認識した人の下部が前記下部危険判定エリア内に有る場合には、前記認識部が認識した人の上部が前記上部検知判定エリア内に有る場合、及び/又は、前記認識部が認識した人の下部が前記下部検知判定エリア内に有る場合に比べて、前記画像内のより近くに人が存在すると判定する点にある。
【0008】
本発明に係る判定システム1の第3の特徴は、上記第1の特徴に加えて、前記判定部が画像内における人の存在を判定したことを当該システム外へ報知する報知部も備えている点にある。
【0009】
本発明に係る判定システム1の第4の特徴は、上記第1の特徴に加えて、前記画像そのものと前記画像を含む動画のうち少なくとも一方を保存する保存部、及び/又は、当該システム外と通信する通信部も備えている点にある。
【0010】
これらの特徴により、画像Gの上部判定エリアA1内に人Hの上部H1が有る場合や、画像Gの下部判定エリアA2内に人Hの下部H2が有る場合には、画像G内に人Hが存在すると判定することで、判定の精度を保ちつつ、特許文献1とは異なり、サーモパイル・アレイなどの熱情報検出部は備えていない分だけ、システムを小さく出来ると共に、撮像範囲と熱検出範囲を正確に重複させる必要がない分だけ、システムを簡略なものにすることが出来る(システムの「小型化」・「簡略化」)。
尚、判定システム1における認識部2は、後述するように、人工知能(AI)等をよって画像G内における人Hを認識しても良く、この場合、判定システム1は、「AI等による判定システム」であるとも言える。
【0011】
又、画像Gの上部危険判定エリアA11内に人Hの上部H1が有る場合や画像Gの下部危険判定エリアA21内に人Hの下部H2が有る場合には、画像Gの上部検知判定エリアA12内に人Hの上部H1が有る場合や画像Gの下部検知判定エリアA22内に人Hの下部H2が有る場合に比べて、より近くに人が存在すると判定することで、画像G内における人Hの存在の「判定精度の向上」が図れる。
【0012】
更に、報知部4も備えていれば、当該判定システム1の使用者(例えば、フォークリフト10の運転手等)に人Hの存在を知らせることが可能となって「危険度の低減」が図れ、保存部5や通信部6も備えていれば、保存・通信された画像Gのデータに基づいて、更なる「判定精度の向上」が図れる。
【0013】
本発明に係るフォークリフト10は、上述した判定システムが設けられたフォークリフトであって、当該フォークリフトは、前記画像を撮像するカメラを備えていて、前記判定部は、当該フォークリフトが後方向へ進行している場合にのみ、前記画像内における人の存在を判定することを第1の特徴とする。
【0014】
本発明に係るフォークリフト10の第2の特徴は、上記第1の特徴に加えて、前記判定部は、前記画像に基づいて、当該フォークリフトの進行方向を判定する点にある。尚、本発明における「進行方向」は、当該フォークリフト10の進行方向が前方向(前進状態)であったり、後方向(後進状態)であっても良く、その他、進行方向が前方向でも後方向でもなく、進行していない状態(停止状態)を含んでも良い。
【0015】
本発明に係るフォークリフト10の第3の特徴は、上記第2の特徴に加えて、前記判定部は、前記画像に基づいて、当該フォークリフトの旋回方向も判定する点にある。尚、本発明における「旋回方向」は、当該フォークリフト10の旋回方向が左方向(左旋回状態)であったり、右方向(右旋回状態)であっても良く、その他、旋回方向が左方向でも右方向でもなく、旋回していない状態(旋回なし状態)を含んでも良い。
【0016】
これらの特徴により、フォークリフト10が後方向へ進行している場合にのみ、画像G内における人Hの存在を判定することで、フォークリフト10の後方に人が存在することを運転手に知らせて(報知して)、当該運転手に注意喚起を促すことが可能となり、フォークリフト10における「危険度の低減」を図ることが出来る。
【0017】
又、画像Gに基づいて、フォークリフト10の進行方向や旋回方向も判定することで、判定システム1と、フォークリフト10におけるシフトレバー操作や変速ギアがリアに入ったこと等を連動させる必要がなくなり、システムの更なる「小型化」・「簡略化」が図れると共に、既存のフォークリフト10に判定システムを後付けし易くなるとも言える。
【発明の効果】
【0018】
本発明に係る判定システム、及び、フォークリフトによると、画像の上部判定エリア内における人の上部の有無、画像の下部判定エリア内における人の下部の有無から、人の存在を判定することによって、「危険度の低減」や「システムの簡素化」を実現できる。
【図面の簡単な説明】
【0019】
図1】本発明に係る判定システムを示す概要図である。
図2】(a)は、判定システムの認識部において、人を認識した結果に基づく矩形情報と、人の上部を示す上部判定座標と、人の下部を示す下部判定座標を例示する図面代用写真であり、(b)は、危険判定エリアと検知判定エリアの画像イメージを例示する図面代用写真である。尚、(b)では、危険判定エリアを危険エリアと表記し、検知判定エリアを検知エリアと表記しており、点線は各エリアの範囲を示す。
図3】カメラが撮像した画像において設定された各エリアを例示する図面代用写真であって、(a)は上部危険判定エリアを示し、(b)は上部検知判定エリアを示し、(c)は下部危険判定エリアを示し、(d)は下部危険判定エリアを示す。
図4】判定システムを例示する配線図である。
図5】判定システムが設けられた、本発明に係るフォークリフトを例示する概要図である。尚、図中では、危険判定エリアを危険エリアと表記し、検知判定エリアを検知エリアと表記している。
図6】フォークリフトの進行方向や旋回方向を判定する際に用いる変位ベクトルを例示する概要図であって、(a)は前フレーム(1フレーム前)の画像における特徴点を示し、(b)現フレームの画像における特徴点と変位ベクトルを示す。
図7】フォークリフトの判定システムにおける変位ベクトル判定エリア(左エリアと右エリア)の画像イメージを例示する図面代用写真である。
図8】変位ベクトルの進行方向や旋回方向を例示する概要図である。
図9】フォークリフトが『旋回なしで前進』する場合における変位ベクトル判定エリアの画像イメージと表を例示する概要図である。
図10】フォークリフトが『旋回なしで後退』する場合における変位ベクトル判定エリアの画像イメージと表を例示する概要図である。
図11】フォークリフトが『左旋回しながら前進』する場合における変位ベクトル判定エリアの画像イメージと表を例示する概要図である。
図12】フォークリフトが『左旋回しながら後退』する場合における変位ベクトル判定エリアの画像イメージと表を例示する概要図である。
図13】フォークリフトが『右旋回しながら前進』する場合における変位ベクトル判定エリアの画像イメージと表を例示する概要図である。
図14】フォークリフトが『右旋回しながら後退』する場合における変位ベクトル判定エリアの画像イメージと表を例示する概要図である。
図15】フォークリフトの状態遷移図である。
図16】判定システムを示すフローチャートであって、(a)は画像の危険判定エリアや検知判定エリア内における人の一部の有無から人の存在を判定するフローチャートであり、(b)はフォークリフトの進行方向や旋回方向を判定するフローチャートである。
【発明を実施するための形態】
【0020】
図面に言及しながら、本発明の実施形態を詳細に説明する。
<判定システム1の全体構成>
図1~16には、本発明に係る判定システム1が示されている。
この判定システム1は、カメラにて撮像した画像G内における人Hの存在を判定するシステムである。
【0021】
判定システム1において、画像Gは、少なくとも上部判定エリアA1と、下部判定エリアA2が設定されている。
判定システム1は、画像G内における人Hを認識する認識部2と、認識部2が認識した人Hの上部H1が上部判定エリアA1内に有る場合、及び/又は、認識部2が認識した人Hの下部H2が下部判定エリアA2内に有る場合には、画像G内に人Hが存在すると判定する判定部3を備えている。
【0022】
判定システム1は、上述した判定部3が画像G内における人Hの存在を判定したことを当該判定システム1外へ報知する報知部4も備えていても良く、又、画像Gそのものや画像Gを含む動画を保存する保存部5や、当該判定システム1外と通信する後述の通信部6を備えていても構わない。
又、判定システム1は、上述した認識部2や判定部3、通信部6等を内蔵するケーシング7を備えていたり、各エリアA1、A2の範囲などを設定する設定部8を備えていたり、その他、画像Gを撮像するカメラ(フォークリフト10に取り付けられたカメラ11等)を備えていても良く、判定システム1は、コンピュータで構成されていても構わない。
【0023】
<認識部2>
図1、2(a)に示したように、認識部2は、上述した画像G内における人Hが、実際の人であると認識する部分である。
認識部2は、例えば、当該人Hの輪郭Heなどに基づいて、上述した画像G内における人Hが、実際の人であると認識したり、又、物体認識アルゴリズムによって実際の人であると認識しても良い。
【0024】
この他、認識部2は、画像Gのノイズや歪みなどを取り除いたり、画像Gにおいて当該人Hの輪郭He等を強調したり、画像Gの明度や色合い(色調、色相や彩度)を調整したり、画像Gから人H等の領域を切り出す(領域抽出)等したり、抽出した人Hを矩形(長方形又は正方形)にて外接して囲む表示(バウンディングボックスBを表示)しても良い。
以下、認識部2は、人Hを囲むバウンディングボックスBを表示するとして、主に述べる。
【0025】
認識部2において、人Hの輪郭Heなどが画像Gから抽出等され得るのであれば、何れの画像処理をしても良いが、例えば、画像Gにおける各画素の画素値(各画素における明度等)の変化に対して、1次微分により算出した極大値や極小値から(勾配法によって)抽出等されたり、2次微分により算出した変曲点から(ラプラシアン法によって)抽出等されても良く、その他、平滑化や加重平均を用いた勾配法や、キャニー法などによって人Hの輪郭Heなどを、画像Gから抽出等しても構わない。
又、画像Gからの人Hの輪郭Heなどの抽出等自体を、人工知能(AI、Artificial Intelligence)や、機械学習(ML、Machine Learning)にて行ったり、ディープラーニング(DL、Deep Learning、深層学習)等にて行っても良い。
【0026】
このような認識部2は、画像Gを入力されるだけで、人Hや当該人H全体における特徴量(パターン)の学習を自動で出来るとも言える。尚、認識部2には、画像Gにおいて何れの線が人Hの輪郭He等であるかや、何れ(何れの領域等)が人Hであるか等をラベル付けした(正解を付けた)画像Gを、事前に複数(例えば、何万枚など)与えておき(謂わば、教師あり(正解あり)学習をさせておき)、認識部2が自動で特徴量の学習し、当該認識部2に入力された画像Gに対して、事前に学習した特徴量から、何れの線が人Hの輪郭He等であるかや、何れが人Hであるか等を、スコア(96%などの割合等)として出力したり、入力された画像Gに対して人Hを認識した旨を示す表示(例えば、「person」との文字が入った矩形で囲むなど、図2(a)参照)を付けた画像Gを出力する等しても良い。
この他、認識部2は、教師なし学習や、強化学習等をしていても良い。
【0027】
<人Hの上部H1と下部H2>
図1、2(a)で示したように、認識部2は、人Hの輪郭Heなどを画像Gから抽出等をして、人Hを囲む上述のバウンディングボックスBを表示するところ、このバウンディングボックスBの上辺の中心位置を上部判定座標B1とし、バウンディングボックスBの下辺の中心位置を下部判定座標B2とする。
謂わば、上部判定座標B1が後述する所定エリア内に有るか否かで、人Hの上部H1が所定エリア内に有るか否かを判定でき、下部判定座標B2が後述する所定エリア内に有るか否かで、人Hの下部H2が所定エリア内に有るか否かを判定できると言える。
【0028】
その他、認識部2は、抽出した人Hの輪郭Heに基づき、当該人Hの頭部や足部(履いている靴等)を認識し、その頭部の座標を上部判定座標B1(人Hの上部H1)とし、その足部を下部判定座標B2(人Hの下部H2)としても良い。
又、認識部2は、画像G内における人Hの輪郭Heや領域などに基づいて、人Hの重心(人Hが占める領域(所定形状の図形)としての重心)を求め、その重心からバウンディングボックスBの上辺までの垂線の足を上部判定座標B1(人Hの上部H1)としたり、
その重心からバウンディングボックスBの下辺までの垂線の足を下部判定座標B2(人Hの下部H2)としても良い。
【0029】
<上部判定エリアA1、下部判定エリアA2>
図3に示したように、画像Gには、上述したように、少なくとも上部判定エリアA1と、下部判定エリアA2が設定されている。
又、上部判定エリアA1は、上部危険判定エリアA11と、上部検知判定エリアA12を含んでいても良く、下部判定エリアA2は、下部危険判定エリアA21と、下部検知判定エリアA22を含んでいても良い。
【0030】
これらの各エリアA1、A2(A11~A22)等の範囲は、カメラで撮像された画像Gのサイズ(例えば、幅:720ピクセル、高さ:480ピクセル)内で設定されると言え、画像Gを撮像するカメラのパラメータ(カメラの光軸の上下向き(ピッチ角)、画角(撮像される左右範囲の角度)など)や、判定対象とする人の身長(例えば、大人の平均身長など)、危険判定エリアA11、A21とするフォークリフト10等のカメラ取付位置からの「実際」の距離に応じて、各エリアA1、A2(A11~A22)の上辺の高さや、上辺の高さ・形状等が決まるとも言える。
詳解すれば、上部危険判定エリアA11であれば、その上辺の高さは、カメラの光軸の上下向き、大人の平均身長(立っている人を判定する場合など)、危険判定エリアA11、A21とするフォークリフト10等からの「実際」の距離に応じて決まり、その上辺の形状は、カメラの画角によって上に凸の丸みが決まると言える。
以下、同様に、上部検知判定エリアA12であれば、その上辺の高さは、カメラの光軸の上下向き、大人の平均身長(遠くに立っている人を判定する場合など)に応じて決まり、その上辺の形状は、カメラの画角によって上に凸の丸み決まると言える。
又、下部危険判定エリアA21であれば、その上辺の高さは、カメラの光軸の上下向き、危険判定エリアA11、A21とするフォークリフト10等からの「実際」の距離に応じて決まり、その上辺の形状は、カメラの画角によって下に凸の丸みが決まると言える。
更に、下部検知判定エリアA22であれば、その上辺の高さは、カメラの光軸の上下向きに応じて決まり、その上辺の形状は、カメラの画角によって下に凸の丸みが決まると言える。
尚、各エリアA11~A22の下辺の高さは、何れのエリアも、画像Gの下辺と一致し、その形状も画像Gの下辺と同じ横一直線であると言える。又、各エリアA11~A22の左辺や右辺の左右位置(各エリアA11~A22の幅)は、何れのエリアも、画像Gの左辺や右辺それぞれの左右位置と一致したり、画像Gの左辺や右辺それぞれから所定ピクセルだけ内側に寄っていても(画像Gより所定ピクセルだけ幅狭であっても)良い。
【0031】
各エリアA11~A22の範囲は、上述したように、設定部8によって設定されても良く、この設定部8は、各エリアA11~A22の範囲を調整可能であっても構わない。この調整は、1ピクセルごとに各エリアの範囲を調整可能でも良いし、所定ピクセルごと(例えば、10ピクセルごと)に調整可能であっても構わない。
以下、設定部8は、各エリアA11~A22の範囲を調整可能として、主に述べる。
設定部8による調整は、例えば、フォークリフト10等にカメラ11を設置する際に、カメラ11の向き調整と共に行っても良く、その他、カメラ11を設置したフォークリフト10を使用しながら調整しても構わない。
【0032】
<判定部3>
図1~3、16(a)に示したように、判定部3は、上述したように、画像Gの上部判定エリアA1(A11やA12)内における人Hの上部H1の有無と、画像Gの下部判定エリアA2(A21やA22)内における人Hの下部H2の有無の少なくとも一方から、人の存在を判定する部分である。
更に、判定部3は、上述した認識部2が認識した人Hの上部H1が上部危険判定エリアA11内に有る場合、及び/又は、認識部2が認識した人Hの下部H2が下部危険判定エリアA21内に有る場合には、認識部2が認識した人Hの上部H1が上部検知判定エリアA12内に有る場合、及び/又は、認識部2が認識した人Hの下部H2が下部検知判定エリアA22内に有る場合に比べて、画像G内のより近くに人が存在すると判定しても良い。
【0033】
判定部3における各エリアA11~A22内に人Hの上部H1や下部H2が有るか無いかは、単純に、上部判定座標B1(人Hの上部H1)の数値(幅の値と高さの値、又は、X値とY値)が、上部危険判定エリアA11や上部検知判定エリアA12内に有ったり、下部判定座標B2(人Hの下部H2)の数値(幅の値と高さの値、又は、X値とY値)が、下部危険判定エリアA21や下部検知判定エリアA22内に有った場合に、人が存在すると判定しても良く、その他、人Hの頭部を人の上部H1としたり、人Hの足部を人Hの下部H2とした場合には、上述した人工知能(AI)等にて判定しても構わない。
判定部3(判定システム1)による判定は、図16(a)におけるステップS1-1、S1-2であっても良い。
【0034】
ステップS1-1では、上部判定エリアA11、A12内に人Hの上部H1が有るか、及び/又は、下部判定エリアA21、A22内に人Hの下部H2が有るかを確認し、上部判定エリアA11、A12内、及び/又は、下部判定エリアA21、A22内に有れば後述のステップS1-2に移り、無ければ再びステップS1-1に戻る。
ステップS1-2では、上部・下部判定エリアA1・A2が上部・下部危険判定エリアA11・A21と上部・下部検知判定エリアA12・A22に分かれていれば、判定部3は、人Hの上部H1が上部危険判定エリアA11内に有る場合、及び/又は、人Hの下部H2が下部危険判定エリアA21内に有る場合には画像G内のより近くに人が存在すると判定し、人Hの上部H1が上部検知判定エリアA12内に有る場合、及び/又は、人Hの下部H2が下部検知判定エリアA22内に有る場合には人は存在する(もののそれほど近くではない)と判定し、上部・下部判定エリアA1・A2が上部・下部危険判定エリアA11・A21と上部・下部検知判定エリアA12・A22に分かれていなければ、判定部3は、ただ単に人Hが存在すると判定する。
【0035】
上述した処理(ステップS1-1、S1-2)は、所定時間おきに繰り返される。
これによって、判定部3は、リアルタイムで人の存在(未来を予測等せず、その都度の人の存在)を判定することとなると言える。
尚、判定システム1が報知部4を備えていれば、ステップS1-2で、判定部3がリアルタイムに人の存在を判定するごとに、フォークリフト10の運転手等に報知しても良い。
【0036】
<報知部4>
図1、4、5や図16(a)に示したように、報知部4は、上述した判定部3が、画像G内における人Hの存在を判定したことを、当該システム(判定システム1)外へ報知する部分である。
報知部4は、例えば、所定の音声データを出力可能なスピーカーであっても良く、その大きさも、大・中・小から選択可能であっても構わない。
その他、報知部4は、回転灯(例えば、赤色回転灯は危険判定エリアA11、A21に人Hが存在することを報知し、黄色回転灯は、検知判定エリアA21、A22に人Hが存在することを報知する等)であったり、判定部3が人の存在を判定した際に音を出すブザーやホーン(何れの判定エリアに人Hが存在するかによって、音の出方が違う等)であったり、判定部3が人の存在を判定した際に点灯するLEDストロボライト(何れの判定エリアに人Hが存在するかによって、光り方が違う等)などであったり、判定部3が人の存在を判定した際に所定の文字や色等が表示されるモニタ(何れの判定エリアに人Hが存在するかによって、表示内容が違う等)などであったり、これらが併存しても良い。
以下、報知部4は、スピーカーであるとして、主に述べる。
【0037】
報知部4は、人Hの存在を判定したことを報知することを、有効/無効に設定部8等にて切替可能であっても良く、その報知内容は、テキスト(所定の内容)から選択したり、使用者等によってテキストデータ(文字データ)を設定部8等に入力し、このテキストデータを音声データ化などして作成されたものであっても構わない。
報知部4は、フォークリフト10等に取り付けた場合、そのフォークリフト10等の状態に連動していたり(例えば、後退する際にのみ報知するなど)、フォークリフト10等のある状態が継続している間は、所定の内容を報知し続けても構わない。
【0038】
<保存部5>
図1に示したように、保存部5は、カメラで撮像された画像Gそのもの、及び/又は、その画像Gを含む動画を保存する部分である。
保存部5は、例えば、画像Gや動画を保存するUSB(Universal Serial Bus)メモリ(USBコネクタに接続して使用する記憶装置)であっても良く、その他、保存部5は、磁気テープ、DDS(デジタル・データ・ストレージ)、フロッピー(登録商標)ディスク(FD)やハードディスクドライブ(HDD)等の磁気ディスク、コンパクトディスク(CDをはじめ)や、レーザーディスク(登録商標)(LD)、デジタルバーサタイルディスク(DVD)、ブルーレイディスク(Blue-ray Disc 、BD)等の光ディスク、ミニディスク(MD)等の光磁気ディスク、フラッシュディスク(Solid State Drive 、SSD)、メモリーカード等のフラッシュメモリ、PCやモバイル端末、デジタルカメラ等に内蔵されたメモリ(RAM等)などであっても構わない。
以下、保存部5は、USBメモリとして、主に述べる。
【0039】
保存部5は、画像Gを含む動画を保存する場合、動画ファイルのフレームレート(1秒当たりの画像Gの枚数)を所定の値に設定して、保存する画像フレームを間引いても良く、フレームレート、1つの動画ファイルの録画時間は、設定部8等にて変更可能であっても構わない。
このフレームレートの値は、例えば、標準設定では、10フレーム/秒(FBS)とし、1FPS以上10FPS以下の範囲で設定部8等にて変更可能であっても良く、録画時間は、例えば、標準設定では、2分とし、1分以上10分以下の範囲で設定部8等にて変更可能であっても構わない。
保存部5を備えた判定システム1がフォークリフト10等に取り付けられている場合、判定システム1を起動させた後に、当該フォークリフト10等のアクセサリー電源(ACC)がONである(換言すれば、フォークリフト10等のエンジンがONである)間は、設定した所定の録画時間毎に、判定システム1が作成した新しい動画ファイルを、保存部5に保存することを継続させても良い。
尚、USBメモリ等の保存部5の保存容量が一杯になった際には、最も古い動画ファイルを消去しても良い。
【0040】
<通信部6>
図1に示したように、通信部6は、当該システム(判定システム1)外と通信する部分である。
通信部6は、当該判定システム1が取り付けられたフォークリフト10等の車両と、当該判定システム1とは離れた場所にあるPCやコンピュータなどの機器、装置等と、インターネットやその他の通信網を介して又は直接に、無線や有線にて通信を行う部分であるとも言える。
特に、無線にて通信を行う通信部6は、例えば、Wi-fi(登録商標)やBluetooth(登録商標)の機能であったり、LTE(Long Term Evolution)におけるカテゴリー4(Cat.4)、3G、GSM(Global System for Mobile Communications)や、その他、4Gや5Gなどの携帯電話通信の機能に対応したUSB型データ通信端末であったり、SIM(Subscriber Identity Module)であっても良い。
【0041】
通信部6にて画像Gや、動画(複数枚の連続した画像Gなど)を送受信していても構わない。又、認識部2や判定部3等は、サーバで構成されたり、フォークリフト10のコンピュータとサーバと協同または分担して構成されていても良い。
このような通信部6にて、当該判定システム1のメンテナンスを行ったり、評価中のデータを取得したり、当該判定システム1のソフトウェアの更新などを行っても良い。
【0042】
<ケーシング7>
図1、4に示したように、ケーシング7は、上述した認識部2や判定部3、通信部6等を内蔵する筐体である。
ケーシング7は、上述した報知部4やカメラ(カメラ11)、後述するフォークリフト10等からのケーブルと接続するための接続端子を有していても良く、その他、ケーシング7は、保存部5がUSBメモリであったり、通信部6がUSB型データ通信端末である場合には、これらを接続可能なUSBポートを有していたり、通信部6がSIMである場合には、これを接続するトレイや、スロットなどを有していても構わない。又、ケーシング7は、その外面に設定部8が設けられたり、ケーシング7に設定部8が内蔵されるものの、当該設定部8の一部が露出する等していても良い。ケーシング7には、報知部4が内蔵されていたり、内蔵されていなくとも良い。
ここまで述べた判定システム1が設けられたフォークリフト10について、以下に述べる。
【0043】
<フォークリフト10>
図5~16に示したように、本発明に係るフォークリフト10は、上述した判定システム1が設けられた車(車両)である。
フォークリフト10は、上述した画像Gを撮像するカメラ11と、荷物・貨物・物資を積む(積載する)フォーク12と、フォーク12を上げ下げ(昇降)させるマスト13と、運転手を守るヘッドガード14等を備えている動力(エンジン・モータなど)付き荷役運搬車両であるとも言える。
【0044】
尚、本発明における「判定システム1が設けられた」とは、当該判定システム1がフォークリフト10に搭載された(謂わば、フォークリフト10は判定システム1を有した)ことを意味するだけでなく、判定システム1のうち、カメラ11と報知部4等は搭載されているものの、認識部2や判定部3等は、当該フォークリフト10とは別の場所にある(つまり、フォークリフト10には搭載されていない)判定システム1に、通信部6やインターネット等を介して接続し、判定システム1による判定などを行うことも含む。
フォークリフト10における判定システム1(判定部3)は、当該フォークリフト10が後方向へ進行している(後退している)場合にのみ、上述した画像G内における人Hの存在を判定する。
【0045】
この後方向へ進行しているか否かは、フォークリフト10から判定システム1へのバック信号(フォークリフト10が後退している際に出力される信号)の入力によって判定しても良く、その他、フォークリフト10が旋回しているか否かは、フォークリフト10から判定システム1へのハンドル信号(ハンドルの位置(ハンドル操作)を左や右に切っている際に出力される信号)の入力によって判定しても構わない。
又、フォークリフト10における判定システム1(判定部3)は、上述した画像Gに基づいて、当該フォークリフト10の進行方向を判定しても良く、更に、当該フォークリフト10の旋回方向も判定しても構わない。特に、バック信号等の入力によって判定するか、画像Gに基づいて進行方向を判定するかは、設定部8等にて切替可能としても良い。
以下、進行方向の判定は、判定システム1の設置を簡略化できることから、画像Gに基づいて判定するとして、主に述べる。
次に、画像Gを撮像するカメラ11について述べる。
【0046】
<カメラ11>
図4~14に示したように、カメラ11は、上述した画像Gを撮像するもの(撮像装置)である。
カメラ11は、フォークリフト10後方が画像G内に入る位置に取り付けられていても良く、その画像G内に、フォークリフト10そのものは映っていなくとも構わない。
【0047】
カメラ11は、1つのフォークリフト10に対して、2つ以上取り付けられていても(謂わば、ステレオカメラであっても)良く、又、カメラ11のレンズも、特に限定はないが、例えば、広角レンズであっても構わない。
カメラ11は、例えば、フォークリフト10のヘッドガード14の後部であったり、バランスウエイトや、後部ボンネットの上面後端などに取り付けられても良く、そのレンズの光軸が後斜下方に向けられていても良い。
【0048】
このようなカメラ11によって撮像された画像Gの範囲も、特に限定はないが、広角レンズを用いていた場合、例えば、画像G内における上側の一部に空が映っていたり、画像G内における左右側の一部に当該フォークリフト10の左右の後角部が映っていたりしても良く、又、当該フォークリフト10から後ろへ所定距離(約10~30m先など)の地点も、画像G内に映っていても構わない。
その他、カメラ11は、フォークリフト10の運転者が後方を監視するためのバックカメラとして用いられるものであっても良い。
次に、画像Gに基づく進行方向や旋回方向の判定について、まず、フォークリフト10における進行方向のみを判定する判定システム1(判定部3等)の第1実施形態について述べる。
【0049】
<第1実施形態(画像Gに基づく進行方向のみの判定)>
図6、7、16(b)に示したように、フォークリフト10における判定システム1(判定部3等)の第1実施形態は、進行方向の判定を、上述したカメラ11で撮像した画像Gに基づいて行う。
第1実施形態による進行方向の判定は、図16(b)におけるステップS2-1~S2-3であっても良い。尚、ステップS2-1~S2-3で分けず、ステップS2-1~S2-3にて行うことを判定システム1(判定部3等)が行うものとしても構わない。
【0050】
ステップS2-1では、図7で示す左右の各エリアにおいて、エッジのある角点(例えば、倉庫内の棚の角や、床に描かれた矢印や経路を示す線の角、建造物の角など)を特徴点(1つ又は複数)とし、前フレームの画像Gにおける特徴点の座標と、現フレームの画像Gにおける特徴点の座標より、変位ベクトルを算出し(図6参照)、後述のステップS2-2に移る。
ステップS2-2では、図7で示す左右の各エリアごとに、上方向又は下方向の変位箇所数(上方向又は下方向に向いた変位ベクトル)の数を集計して、上方向と下方向のうち多い方向を、各エリアの上下変位方向と検出し、後述のステップS2-3に移る。
ステップS2-3では、上下変位方向が左右の各エリアで一致する場合、判定部3は、一致した変位方向が上方向であればフォークリフト10が前方向へ進行している(前進している)と判定(前進判定)し、一致した変位方向が下方向であれば、フォークリフト10が後方向へ進行している(後退している)と判定(後退判定)し、上下変位方向が左右の各エリアで一致しない場合、判定部3は、フォークリフト10が停止していると判定(停止判定)した後に、再びステップS2-1に戻る。
【0051】
上述した処理(ステップS2-1~S2-3)も、所定時間おきに繰り返される。
これによって、判定部3は、リアルタイムでフォークリフト10の進行方向(未来を予測等せず、その都度の進行方向)を判定することとなると言える。
尚、判定システム1の第1実施形態が報知部4を備えていれば、ステップS2-3で、判定部3がリアルタイムに進行方向を判定するごとに、フォークリフト10の運転手等に報知しても良い。
【0052】
尚、図7で示したように、画像Gにおいて、その幅方向中央の所定ピクセル数(例えば、72ピクセルなど)の中央縦エリアは、進行方向の判定で用いる左右のエリアから除去されていても良い。
この除去によって、フォークリフト10が停止している状態において、人Hや他のフォークリフト、自動車、自転車等がフォークリフト10の後方を横切る場合に、フォークリフト10の進行方向を誤判定することが低減されると言える。
尚、この場合で誤判定が起こる原因は、もし中央縦エリアを除去していなければ、画像Gの中央付近(中央縦エリア)における左右の各エリアで、同一の上下方向変位ベクトルを検出した場合、実際には、フォークリフト10が停止しているにも拘わらず、判定部3が、フォークリフト10が前進又は後退していると誤判定するからである。
更に、図7で示したように、画像Gにおいて、その下部の所定ピクセル数(例えば、240ピクセルなど)の下部横エリアも、進行方向の判定で用いる左右のエリアから除去されていても良い。
この除去によって、フォークリフト10直近に人がいる場合、その人は画像G内において大きく映るため、フォークリフト10の進行方向を誤判定することが低減されると言える。
【0053】
<第2実施形態(画像Gに基づく進行方向と旋回方向の判定)>
図7~14、16(b)に示したように、フォークリフト10における判定システム1(判定部3等)の第2実施形態は、上述した第1実施形態とは異なり、進行方向の判定だけでなく、旋回方向の判定も、上述したカメラ11で撮像した画像Gに基づいて行う。
第2実施形態による進行方向や旋回方向の判定も、図16(b)におけるステップS2-1~S2-3であっても良い。尚、第2実施形態でも、ステップS2-1~S2-3で分けず、ステップS2-1~S2-3にて行うことを判定システム1(判定部3等)が行うものとしても構わない。
【0054】
ステップS2-1では、図7で示す左右の各エリアにおいて、エッジのある角点を特徴点(1つ又は複数)とし、前フレームの画像Gにおける特徴点の座標と、現フレームの画像Gにおける特徴点の座標より、変位ベクトルを算出し(図8参照)、後述のステップS2-2に移る。
ステップS2-2では、図7で示す左右の各エリアごとに、上方向又は下方向の変位箇所数(上方向又は下方向に向いた変位ベクトル)の数だけでなく、左方向又は右方向の変位箇所数(左方向又は右方向に向いた変位ベクトル)の数も集計して、上方向と下方向のうち多い方向と、左方向と右方向のうち多い方向を、各エリアの上下変位方向及び左右変位方向と検出すると共に、各エリアごとに、一定以上のスカラーを持つ変位ベクトルのスカラーの平均値に基づいて変位ベクトルの大きさ判定(大きいか(大)か、小さいか(小)か等)を行い、後述のステップS2-3に移る。
【0055】
ステップS2-3では、左右変位方向や変位ベクトルの大きさ、上下変位方向に基づいて、フォークリフト10の進行方向や旋回方向を判定しており、左右の各エリアにおける左右変位方向によりフォークリフト10の旋回有無を判定し、旋回軸となるタイヤ側は変位ベクトルの大きさが小さくなり(変位ベクトルの大きさでフォークリフト10の旋回軸が左側か右側かがわかり)、左右の各エリアにおける上下変位方向によりフォークリフト10の進行方向(前進か後退か等)を判定する。以下、各場合について詳解する。
図9に示したように、左右変位方向が左右の各エリアで異なる場合、判定部3は、まず『旋回なし』と判定し、変位ベクトルの大きさは判定には用いなくなり(図9の表中では「-」と表示)、上下変位方向が左右の各エリアで一致する場合、判定部3は、一致した変位方向が上方向であればフォークリフト10が前方向へ進行している(前進している)と判定(前進判定)した後に、再びステップS2-1に戻る。つまり、図9は、フォークリフト10が『旋回なしで前進』する場合を示している。
図10に示したように、左右変位方向が左右の各エリアで異なる場合、判定部3は、まず『旋回なし』と判定し、変位ベクトルの大きさは判定には用いなくなり、上下変位方向が左右の各エリアで一致する場合、判定部3は、一致した変位方向が下方向であればフォークリフト10が後方向へ進行している(後退している)と判定(後退判定)した後に、再びステップS2-1に戻る。つまり、図10は、フォークリフト10が『旋回なしで後退』する場合を示している。
図11に示したように、左右変位方向が左右の各エリアで一致する場合、判定部3は、まず『旋回あり』と判定し、変位ベクトルの大きさは左エリアが大、右エリアが小となる(画像Gにおいて右エリアが小であれば、実際のフォークリフト10における旋回軸は、逆に、左側となる)と共に、上下変位方向は左右の各エリアで異なることとなり、上下変位方向が左エリアは上、右エリアは下であれば、判定部3は、フォークリフト10が前方向へ進行している(前進している)と判定(前進判定)し、旋回軸となるタイヤ(側)は左になると判定した後に、再びステップS2-1に戻る。つまり、図11は、フォークリフト10が『左旋回しながら前進』する場合を示している。
図12に示したように、左右変位方向が左右の各エリアで一致する場合、判定部3は、まず『旋回あり』と判定し、変位ベクトルの大きさは左エリアが大、右エリアが小となると共に、上下変位方向は左右の各エリアで異なることとなり、上下変位方向が左エリアは下、右エリアは上であれば、判定部3は、フォークリフト10が後方向へ進行している(後退している)と判定(後退判定)し、旋回軸となるタイヤ(側)は左になると判定した後に、再びステップS2-1に戻る。つまり、図12は、フォークリフト10が『左旋回しながら後退』する場合を示している。
図13に示したように、左右変位方向が左右の各エリアで一致する場合、判定部3は、まず『旋回あり』と判定し、変位ベクトルの大きさは左エリアが小、右エリアが大となる(画像Gにおいて左エリアが小であれば、実際のフォークリフト10における旋回軸は、逆に、右側となる)と共に、上下変位方向は左右の各エリアで異なることとなり、上下変位方向が左エリアは下、右エリアは上であれば、判定部3は、フォークリフト10が前方向へ進行している(前進している)と判定(前進判定)し、旋回軸となるタイヤ(側)は右になると判定した後に、再びステップS2-1に戻る。つまり、図13は、フォークリフト10が『右旋回しながら前進』する場合を示している。
図14に示したように、左右変位方向が左右の各エリアで一致する場合、判定部3は、まず『旋回あり』と判定し、変位ベクトルの大きさは左エリアが小、右エリアが大となると共に、上下変位方向は左右の各エリアで異なることとなり、上下変位方向が左エリアは上、右エリアは下であれば、判定部3は、フォークリフト10が後方向へ進行している(後退している)と判定(後退判定)し、旋回軸となるタイヤ(側)は右になると判定した後に、再びステップS2-1に戻る。つまり、図14は、フォークリフト10が『右旋回しながら後退』する場合を示している。
【0056】
上述した処理(ステップS2-1~S2-3)も、所定時間おきに繰り返される。
これによって、判定部3は、リアルタイムでフォークリフト10の進行方向(未来を予測等せず、その都度の進行方向)を判定することとなると言える。
尚、判定システム1が報知部4を備えていれば、ステップS2-3で、判定部3がリアルタイムに進行方向を判定するごとに、フォークリフト10の運転手等に報知しても良い。
【0057】
尚、第2実施形態でも、図7で示したように、画像Gにおいて、その幅方向中央の所定ピクセル数(例えば、72ピクセルなど)の中央縦エリアは、進行方向の判定で用いる左右のエリアから除去されていても良い。
この除去によって、フォークリフト10が停止している状態において、人Hや他のフォークリフト、自動車、自転車等がフォークリフト10の後方を横切る場合に、フォークリフト10の進行方向を誤判定することが低減されると言える。
尚、この場合で誤判定が起こる原因は、もし中央縦エリアを除去していなければ、画像Gの中央付近(中央縦エリア)における左右の各エリアで、同一の上下方向変位ベクトルを検出した場合、実際には、フォークリフト10が停止しているにも拘わらず、判定部3が、フォークリフト10が前進又は後退していると誤判定するからである。
更に、第2実施形態でも、図7で示したように、画像Gにおいて、その下部の所定ピクセル数(例えば、240ピクセルなど)の下部横エリアも、進行方向の判定で用いる左右のエリアから除去されていても良い。
この除去によって、フォークリフト10直近に人がいる場合、その人は画像G内において大きく映るため、フォークリフト10の進行方向を誤判定することが低減されると言える。
又、判定システム1(判定部3等)の第2実施形態では、変位ベクトルの大きさを用いずに判定しても良い。
【0058】
<フォークリフト10の状態遷移>
図15に示したように、フォークリフト10は、上述した進行方向等の判定(前進判定、後退判定、停止判定)により、「停止状態」・「前進動き出し状態」・「後退動き出し状態」・「前進状態」・「後退状態」に状態遷移をする。
図15中の(1)の状態遷移(「停止状態」→「前進動き出し状態」への遷移)は、前進判定が、所定のフレーム数(例えば、2フレーム)連続した場合に起こる。
図15中の(2)の状態遷移(「停止状態」→「後退動き出し状態」への遷移)は、後退判定が、所定のフレーム数(例えば、2フレーム)連続した場合に起こる。
図15中の(3)の状態遷移(「前進動き出し状態」→「停止状態」への遷移)は、前進判定以外が、所定のフレーム数(例えば、3フレーム)連続した場合に起こる。
図15中の(4)の状態遷移(「後退動き出し状態」→「停止状態」への遷移)は、後退判定以外が、所定のフレーム数(例えば、3フレーム)連続した場合に起こる。
図15中の(5)の状態遷移(「前進動き出し状態」→「前進状態」への遷移)は、当該「前進動き出し状態」における所定のフレーム数(例えば、60フレーム)の間に、前進判定以外が上述した(3)の所定のフレーム数(例えば、3フレーム)連続しなかった場合に起こる。より具体的な例を示せば、「前進動き出し状態」における60フレームのカウント中に、前進判定以外が3フレーム連続すれば、その時点で即、上述した(3)の状態遷移が起こるものの、当該60フレームのカウント中に、前進判定以外が1フレームだけ又は2フレーム連続で出ても、その後に前進判定が出れば、カウントは続けることとなり、60フレーム目までカウントできた場合に、「前進動き出し状態」→「前進状態」への遷移が起こる。
図15中の(6)の状態遷移(「後退動き出し状態」→「後退状態」への遷移)は、当該「後退動き出し状態」における所定のフレーム数(例えば、60フレーム)の間に、後退判定以外が上述した(4)の所定のフレーム数(例えば、3フレーム)連続しなかった場合に起こる。より具体的な例を示せば、「後退動き出し状態」における60フレームのカウント中に、後退判定以外が3フレーム連続すれば、その時点で即、上述した(4)の状態遷移が起こるものの、当該60フレームのカウント中に、後退判定以外が1フレームだけ又は2フレーム連続で出ても、その後に後退判定が出れば、カウントは続けることとなり、60フレーム目までカウントできた場合に、「後退動き出し状態」→「後退状態」への遷移が起こる。
図15中の(7)の状態遷移(「前進状態」→「停止状態」への遷移)は、前進判定以外が、所定のフレーム数(例えば、6フレーム)連続した場合に起こる。
図15中の(8)の状態遷移(「後退状態」→「停止状態」への遷移)は、後退判定以外が、所定のフレーム数(例えば、6フレーム)連続した場合に起こる。
【0059】
<状態遷移や進行方向等の判定に応じた報知内容>
ここまで述べた状態遷移や進行方向等の判定に応じて、判定システム1は、上述した報知部4から報知する内容を変化させても良い。
判定システム1は、例えば、フォークリフト10が後方向に進行しており(判定部3により後退判定がされたり、上記「後退状態」であり)、且つ、危険判定エリアA11、A21又は検知判定エリアA12、A22内に人Hが存在すると判定された場合、スピーカー等の報知部4から所定の報知内容を出力しても良い。
この報知内容の具体例としては、報知部4がスピーカーであれば、「後退状態」で且つ危険判定エリアA11、A21内で人Hが存在すると判定した場合<1>には、『危険です』との音声データが出力され、「後退状態」で且つ検知判定エリアA12、A22内で人Hが存在すると判定した場合<2>には、『注意してください』との音声データが出力されても良く、これらの音声データは、謂わば、警告メッセージであるとも言える。又、「後退状態」である場合<3>には、『バックします』との音声データが出力されても良く、この音声データは、謂わば、注意喚起メッセージであるとも言える。尚、判定システム1へのバック信号の入力によって進行方向を判定する場合には、停車中でもバック信号が入力された(例えば、変速機でバックギアに入れた)際には、注意喚起メッセージを再生しても良い。
これらの音声データなどの報知内容は、各場合<1>~<3>が継続する限り、繰り返し出力されても良く、又、複数の場合が重なる際(例えば、場合<1>と<3>など)には、音声データなどの報知内容が、報知部4から交互に出力される等であっても構わない。
【0060】
<その他>
本発明は、前述した実施形態に限定されるものではない。判定システム1や、フォークリフト10の各構成又は全体の構造、デザイン形状、寸法、重量などは、本発明の趣旨に沿って適宜変更することが出来る。
判定システム1は、認識部2と判定部3を備えていれば、その他の報知部4や保存部5、通信部6などは備えていなくとも良い。
上部判定エリアA1や下部判定エリアA2等の各エリアの範囲、報知部4における報知の有効/無効や報知内容、保存部5における動画ファイルのフレームレートの値や録画時間、フォークリフト10の進行方向等の判定(バック信号等か、画像Gに基づくか)、状態遷移の条件となるフレーム数などは、判定システム1に備えられた設定部8ではなく、通信部6やインターネット等を介して、判定システム1が設けられた場所(フォークリフト10等)とは別の場所にて設定されても良い。
画像Gに基づく進行方向の判定は、判定部3が行っても良いし、判定部3とは別の部分(例えば、進行方向判定部や旋回方向判定部、進行・旋回方向判定部など)が行っても良い。
【0061】
フォークリフト10における判定システム1は、既存のフォークリフト10に後付けで設けられていても良いし、製造時や出荷時等から設けられていても構わない。
フォークリフト10は、その側方や前方を撮像するカメラ11も取り付けられていても良く、側方や前方、後方を撮像するカメラ11からの各画像Gをまとめて、判定システム1で、人の存在を判定しても構わない。
図15中の(5)の状態遷移は、上述では、<A5>当該「前進動き出し状態」における所定のフレーム数(例えば、60フレーム)の間に、前進判定以外が上述した(3)の所定のフレーム数(例えば、3フレーム)連続しなかった場合のみで、「前進動き出し状態」→「前進状態」への遷移が起こるとしたが、この<A5>の場合と同時に、<B5>当該「前進動き出し状態」における所定のフレーム数中の所定の数以上(例えば、半分以上(60フレーム中の30フレーム以上)や、1/3以上(60フレーム中の20フレーム以上)、30%以上(60フレーム中の18フレーム以上)、20%以上(60フレーム中の12フレーム以上)が、前進判定である場合(つまり、<A5>且つ<B5>の場合)に、「前進動き出し状態」→「前進状態」への遷移が起こるとしても良い。
同様に、図15中の(6)の状態遷移は、上述では、<A6>当該「後退動き出し状態」における所定のフレーム数(例えば、60フレーム)の間に、後退判定以外が上述した(4)の所定のフレーム数(例えば、3フレーム)連続しなかった場合のみで、「後退動き出し状態」→「後退状態」への遷移が起こるとしたが、この<A6>の場合と同時に、<B6>当該「後退動き出し状態」における所定のフレーム数中の所定の数以上(例えば、半分以上(60フレーム中の30フレーム以上)や、1/3以上(60フレーム中の20フレーム以上)、30%以上(60フレーム中の18フレーム以上)、20%以上(60フレーム中の12フレーム以上)が、後退判定である場合(つまり、<A6>且つ<B6>の場合)に、「後退動き出し状態」→「後退状態」への遷移が起こるとしても良い。
判定システム1(判定部3)は、上述では、第1実施形態において、上下変位方向が左右の各エリアで一致しない場合を停止していると判定(停止判定)したが、第2実施形態において、左右変位方向が左右の各エリアで一致せず且つ上下変位方向が左右の各エリアで一致しない場合や、左右変位方向が左右の各エリアで一致し且つ上下変位方向が左右の各エリアで一致する場合を、停止していると判定(停止判定)したり、その他、画像Gにおいて特徴点を抽出できない場合や、算出した変位ベクトルのスカラーが一定の値未満である場合も、停止していると判定(停止判定)しても良い。
【0062】
以下、ここまで述べた判定システム1やフォークリフト10にて用いる画像Gや、判定対象である人H、フォークリフト10の各部について詳解する。
<画像G>
図1~3、6~14に示したように、画像Gは、フォークリフト10のカメラ11など所定のカメラにて撮像されたものである。
画像Gは、上述したフォークリフト10に取り付けられたカメラ11にて撮像される場合には、フォークリフト10の後方を撮像した画像であっても良く、この場合、当該画像G内には、フォークリフト10の後部そのものが映っていたり、逆に、フォークリフト10の近傍のみが映っているもの(つまり、フォークリフト10自体は画像G内に映っていないもの)等であっても構わない。
【0063】
又、画像Gは、フォークリフト10以外の他の車(車両)であったり、車以外の装置、製品、施設、機器などに取り付けられたカメラにて撮像されても良く、この場合、他の車等の一部分が当該画像G内に映っていたり、他の車等の一部分近傍の所定エリアが当該画像G内に映っているものであっても良く、その他、他の車等近傍のみが画像G内に映っているもの(つまり、他の車等自体は画像G内に映っていないもの)等であっても構わない。
画像Gは、フォークリフト10に取り付けられたカメラ11等で撮像されたもの以外に、ドローンなどの飛行体から撮像されたものや、街中や店舗、商店街、大型ビル施設、テナント、マンションなどに設置された(固定された)カメラ(防犯カメラや監視カメラ等)から撮像されたものであっても良い。
【0064】
画像Gは、フォークリフト10に取り付けられたカメラ11等が、当該フォークリフト10の後方を略上方から撮像したり、略側方からや、略後方から撮像しても良い。
尚、1つの判定システム1は、2枚以上の画像Gから、人Hを検知しても良く、この場合、例えば、フォークリフト10に取り付けられた2つ以上のカメラ11(謂わば、ステレオカメラ)で撮像された2枚以上の画像Gであったり、フォークリフト10に取り付けられたカメラ11と、飛行体等に取り付けられたカメラなどの2つ以上のカメラによって同時に撮像された2枚以上の画像Gであっても構わない。
その他、画像Gは、カラー画像(明度以外に、色相や彩度を有する画像)であったり、グレースケール画像(明度のみを有し、色相や彩度は有さない画像)や、ハーフトーン(網点)などの白黒2色画像であっても良い。
このような画像G内に存在し得る人Hについて、次に述べる。
【0065】
<人H>
図1~3、5~14に示したように、人Hは、上述した判定システム1の判定対象であり、上述した画像G内に映っている人である。
人Hは、フォークリフト10の後方に存在する作業者などの他に、歩行者や自転車などの運転者などを含んでも良い。
人Hは、1枚の画像G内において、当該人Hと、その人H以外の部分(フォークリフト10そのものや、当該フォークリフト10の後方の様子など)が映っていると言える。
人Hの輪郭(エッジ)Heは、1枚の画像G内において、当該人Hと、その人H以外の部分との間の境界であって、当該人Hの形状を表していると言える。
尚、人Hは、パンなどの食べ物や、飲み物が入ったペットボトル、鞄、袋などの荷物を持っていても良い。
【0066】
<フォークリフト10の各部>
図5に示したように、フォークリフト10は、カメラ11以外に、フォーク12、マスト13、ヘッドガード14等を備えている。
フォーク12は、パレットなどを介して荷物・貨物・物資を持ち上げる。マスト13は、上述したフォーク12を上下させるレールであるとも言え、フォーク12を上下させるチェーンやシリンダ等を有していても良い。ヘッドガード14は、落下した荷物等が運転者に当たることを防ぐガードである。
その他、フォークリフト10は、バランスウエイトや、駆動輪や操向輪(ハンドルを切ることによって向きが変わる車輪)を備えている。バランスウエイトは、カウンターウエイトとも呼ばれ、荷役や運搬する荷重に見合ったおもりを積んでいる。駆動輪は、前輪であり、操向輪よりも大きくても良く、動力を伝える。操向輪は、後輪であり、舵取りを行う。
【産業上の利用可能性】
【0067】
本発明に係る判定システムは、画像内における人の存在をするため、フォークリフト近傍における人の存在や、危険状態の報知に利用できる他、フォークリフト以外であっても、ダンプトラックや、散水車、コンクリートポンプ、ミキサートラック、テールゲートリフタ、タンクローリ、給水車、粉粒体運搬車、脱着ボデー車、積車輌運搬車、レールコンテナ、消防用省力装置、林業・バイオマス関連製品、施設関係、機器・装置関係、立体駐車装置、コインパーキング、防水板など、何れの車(車両)や装置、製品、施設、機器などの近傍における人の存在の判定に利用可能である。
本発明に係るフォークリフトは、運転中に、その後方や周囲に人が存在する環境下においても使用可能であり、特に、当該フォークリフトの後方に人が留まっていたり、人等がその後方を横切ったりする際における人の存在判定に利用でき、その他、荷物・貨物・物資を高い位置まで上げる際にも、当該フォークリフトの左右や前方などにおける人の存在判定など、当該フォークリフト周辺における全ての人の存在や危険状態の対応に利用可能である。
【符号の説明】
【0068】
1 判定システム
2 認識部
3 判定部
4 報知部
5 保存部
6 通信部
10 フォークリフト
11 カメラ
G 画像
A1 上部判定エリア
A11 上部危険判定エリア
A12 上部検知判定エリア
A2 下部判定エリア
A21 下部危険判定エリア
A22 下部検知判定エリア
H 人
H1 人の上部
H2 人の下部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16