(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144274
(43)【公開日】2024-10-11
(54)【発明の名称】フォークリフト状態の検出装置及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241003BHJP
G06V 10/82 20220101ALI20241003BHJP
B66F 9/24 20060101ALI20241003BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
B66F9/24 Z
B66F9/24 L
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024046477
(22)【出願日】2024-03-22
(31)【優先権主張番号】202310333162.6
(32)【優先日】2023-03-30
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】王 方俊
(72)【発明者】
【氏名】深町 侑加
【テーマコード（参考）】
3F333
5L096
【Ｆターム（参考）】
3F333AA02
3F333AB13
3F333AE02
3F333BA02
3F333BB02
3F333DB10
3F333FA36
3F333FD11
3F333FE04
3F333FE05
5L096CA02
5L096DA02
5L096FA59
5L096FA62
5L096FA66
5L096HA11
5L096KA04
(57)【要約】
【課題】本発明の実施例は、フォークリフト状態の検出装置及び方法を提供する。
【解決手段】該方法は、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、該ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、該オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む。
【選択図】図１
【解決手段】該方法は、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、該ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、該オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
フォークリフト状態の検出装置であって、
フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得する取得部と、
前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力する検出部であって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、検出部と、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定する第１の決定部と、を含む、装置。
フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得する取得部と、
前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力する検出部であって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、検出部と、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定する第１の決定部と、を含む、装置。
【請求項2】
前記オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含み、
前記第１のモデルは、前記ビデオの画像に基づいて第１の検出結果を出力し、前記第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、
前記第２のモデルは、前記第１の検出結果に基づいて第２の検出結果を出力し、前記第２の検出結果は、フォークリフト積載領域の状態を含む、請求項１に記載の装置。
前記第１のモデルは、前記ビデオの画像に基づいて第１の検出結果を出力し、前記第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、
前記第２のモデルは、前記第１の検出結果に基づいて第２の検出結果を出力し、前記第２の検出結果は、フォークリフト積載領域の状態を含む、請求項１に記載の装置。
【請求項3】
前記フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのマストの検出結果を含み、
前記第１の決定部は、前記ビデオの連続的なフレーム間の２つのマスト間の領域の面積の変化に基づいて、フォークリフトのマストが内側に移動するか、それとも外側に移動するかを決定する、請求項１に記載の装置。
前記第１の決定部は、前記ビデオの連続的なフレーム間の２つのマスト間の領域の面積の変化に基づいて、フォークリフトのマストが内側に移動するか、それとも外側に移動するかを決定する、請求項１に記載の装置。
【請求項4】
前記フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのバックレスト領域の検出結果を含み、
前記第１の決定部は、前記ビデオの連続的なフレーム間のバックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化に基づいて、フォークリフトのマストが上昇するか、それとも下降するかを決定する、請求項１に記載の装置。
前記第１の決定部は、前記ビデオの連続的なフレーム間のバックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化に基づいて、フォークリフトのマストが上昇するか、それとも下降するかを決定する、請求項１に記載の装置。
【請求項5】
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定する第２の決定部、をさらに含む、請求項１に記載の装置。
【請求項6】
前記第２の決定部は、画像全体のサイズに対する人物の検出枠のサイズの比率に基づいて、前記人物がフォークリフトの周囲の人であるか、それとも運転者であるかを決定する、請求項５に記載の装置。
【請求項7】
前記オブジェクト検出モデルは、Ｙｏｌｏｘネットワークに基づくオブジェクト検出モデルである、請求項１に記載の装置。
【請求項8】
請求項１に記載の装置を含む電子機器。
【請求項9】
フォークリフト状態の検出方法であって、
フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、
前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む、方法。
フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、
前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む、方法。
【請求項10】
前記オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含み、
前記第１のモデルは、前記ビデオの画像に基づいて第１の検出結果を出力し、前記第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、
前記第２のモデルは、前記第１の検出結果に基づいて第２の検出結果を出力し、前記第２の検出結果は、フォークリフト積載領域の状態を含む、請求項９に記載の方法。
前記第１のモデルは、前記ビデオの画像に基づいて第１の検出結果を出力し、前記第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、
前記第２のモデルは、前記第１の検出結果に基づいて第２の検出結果を出力し、前記第２の検出結果は、フォークリフト積載領域の状態を含む、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報技術の分野に関する。
【背景技術】
【0002】
産業化と倉庫技術の急速な発展に伴い、フォークリフトは専門家が操作する搬送ツールとして広く使用されている。インテリジェントな交通監視システムなどのインテリジェントなビデオ監視は、現実の世界で広く使用されている。現在、インテリジェントなビデオ監視は、フォークリフトの監視にも使用されている。
【0003】
フォークリフトの積載状態の判断には、現在、輝度法が一般的に採用されている。この方法は、フォーク（ｆｏｒｋ）領域の平均輝度値を計算し、平均輝度値が所定の閾値未満である場合、フォークに荷物が積載されていると判断し、該平均輝度値が所定の閾値よりも大きい場合、フォークに荷物が積載されていないと判断する。
【0004】
フォークリフトの動作の判断には、現在、オプティカルフロー法が採用されている。この方法は、複数の連続的なフレームからオプティカルフローベクトルに垂直に面する画素を抽出する。そして、これらの画素のオプティカルフローベクトルの中央値を計算する。該値が所定の閾値よりも大きい場合、フォークが操作されていると判断し、該値が所定の閾値よりも小さい場合、フォークが操作されていないと判断する。
【0005】
なお、上述した背景技術の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、フォークリフトの積載状態を判断するための従来の輝度法では、画像の照明環境が一定ではないため、フォークリフトが屋内と屋外を移動する際に、誤判定が発生する場合が多い。フォークリフトの操作を判断するためのオプティカルフロー法では、フォークが操作されていなくても、物体がバックレストの移動範囲内で移動する場合にも誤判定されてしまう。例えば、床に模様があり、フォークリフトが該模様の上を動作する場合、誤判定されてしまう。また、該方法は、操作の種類を分類することができない。
【0007】
上記の問題の少なくとも１つを解決するために、本発明の実施例は、オブジェクト検出モデルにより、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含むオブジェクト検出結果を取得することができると共に、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定することができる、フォークリフト状態の検出装置及び方法を提供する。該方法は、フォークリフトの使用環境の影響や制限を受けることがなく、フォークリフトの積載状態及び動作状態の検知結果を正確に取得することができる。
【課題を解決するための手段】
【0008】
本発明の実施例の第１の態様では、フォークリフト状態の検出装置であって、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得する取得部と、前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力する検出部であって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、検出部と、前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定する第１の決定部と、を含む、装置を提供する。
【0009】
本発明の実施例の第２の態様では、本発明の実施例の第１の態様に記載の装置を含む電子機器を提供する。
【0010】
本発明の実施例の第３の態様では、フォークリフト状態の検出方法であって、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む、方法を提供する。
【0011】
本発明の実施例の有利な効果の１つは以下の通りである。オブジェクト検出モデルにより、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含むオブジェクト検出結果を取得することができると共に、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定することができる。該方法は、フォークリフトの使用環境の影響や制限を受けることがなく、フォークリフトの積載状態及び動作状態の検知結果を正確に取得することができる。
【0012】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施例は、範囲上には限定されるものではない。本発明の実施例は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
【0013】
ある１つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で１つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
【0014】
なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、１つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【図面の簡単な説明】
【0015】
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
【図1】本発明の実施例１に係るフォークリフト状態の検出装置の１つの概略図である。
【図2】本発明の実施例１に係るフォークリフトの１つの立体構造の概略図である。
【図3】本発明の実施例１に係るビデオのオブジェクト検出結果の１つの概略図である。
【図4】本発明の実施例１に係るビデオのオブジェクト検出結果のもう１つの概略図である。
【図5】本発明の実施例１に係るビデオのオブジェクト検出結果のもう１つの概略図である。
【図6】本発明の実施例２に係る電子機器の１つの概略図である。
【図7】本発明の実施例２に係る電子機器のシステム構成の１つの概略的なブロック図である。
【図8】本発明の実施例３に係るフォークリフト状態の検出方法の１つの概略図である。
【発明を実施するための形態】
【0016】
本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。
【0017】
＜実施例１＞
本発明の実施例は、フォークリフト状態の検出装置を提供する。図１は、本発明の実施例１に係るフォークリフト状態の検出装置の１つの概略図である。
本発明の実施例は、フォークリフト状態の検出装置を提供する。図１は、本発明の実施例１に係るフォークリフト状態の検出装置の１つの概略図である。
【0018】
図１に示すように、フォークリフト状態の検出装置１００は、以下の各部を含む。
【0019】
取得部１０１は、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得する。
【0020】
検出部１０２は、該ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力する。該オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む。
【0021】
第１の決定部１０３は、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定する。
【0022】
このように、オブジェクト検出モデルにより、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含むオブジェクト検出結果を取得することができると共に、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定することができる。該方法は、フォークリフトの使用環境の影響や制限を受けることがなく、フォークリフトの積載状態及び動作状態の検知結果を正確に取得することができる。
【0023】
幾つかの態様では、フォークリフトは、様々な規格のフォークリフトであってもよく、運転席、マスト（ｍａｓｔ）、バックレスト（ｂａｃｋｒｅｓｔ）、フォーク（ｆｏｒｋ）などの主要部分を備える。
【0024】
幾つかの態様では、フォークリフト状態は、フォークリフト積載領域の状態、即ち積載状態、及び動作状態、即ちフォークリフトがどのような動作を行っているかを含む。
【0025】
【0026】
取得部１０１は、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得する。例えば、図２に示すように、フォークリフト１０の頂部、例えば運転席１１の上方には、運転者及びフォークリフトの主要部を含むビデオを下方へ撮影するカメラ装置１５が設けられている。
【0027】
例えば、カメラ装置１５は、魚眼カメラである。このように、より広い範囲のビデオを撮影することができる。
【0028】
図２に示すように、フォークリフト１０の運転席１１の上方に設置されたカメラ装置１５により、下方へビデオの画面２０が撮影される。
【0029】
検出部１０２は、該ビデオに基づいて検出を行う。具体的には、該ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力する。該オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む。言い換えれば、検出部１０２は、オブジェクト検出モデルを含み、該オブジェクト検出モデルを用いて検出を行う。
【0030】
幾つかの態様では、オブジェクト検出モデルは、Ｙｏｌｏｘネットワークなどの様々なタイプのオブジェクト検出ネットワークを含んでもよい。
【0031】
幾つかの態様では、該オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含む。該第１のモデルは、該ビデオの画像に基づいて第１の検出結果を出力し、該第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含む。該第２のモデルは、該第１の検出結果に基づいて第２の検出結果を出力し、該第２の検出結果は、フォークリフト積載領域の状態を含む。
【0032】
例えば、第１の検出結果は、マスト（ｍａｓｔ）、人（ｐｅｒｓｏｎ）、ハンドル（ｈａｎｄｌｅ）及びステアリング（ｓｔｅｅｒｉｎｇ）の検出結果を含む。これらの検出結果は、例えば検出枠の形式で表される。また、検出結果は、対応する信頼度を含んでもよく、信頼度は、例えば百分率で表される。
【0033】
例えば、第２の検出結果は、フォークリフト積載領域の状態が空き（ｅｍｐｔｙ）又は積載（ｓｔａｃｋ）であることを含む。
【0034】
このように、カスケード接続された２つのモデルによりオブジェクト検出モデルを構築することで、高精度なオブジェクト検出結果を取得することができる。
【0035】
幾つかの態様では、第１のモデルと第２のモデルとは同一の構造を有し、例えば、第１のモデルと第２のモデルとは、Ｙｏｌｏｘネットワークに基づくオブジェクト検出モデルである。
【0036】
検出部１０２がオブジェクト検出モデルによりオブジェクト検出結果を取得した後、第１の決定部１０３は、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定する。
【0037】
幾つかの態様では、フォークリフトの動作状態は、フォークリフトのマストが内側又は外側に移動すること、フォークリフトのマストが上昇し、又は下降することを含む。該所定の判定ルールの具体的な内容は、決定する必要のあるフォークリフトの動作状態の種類に応じて決定されてもよい。
【0038】
幾つかの態様では、該フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのマストの検出結果を含む。第１の決定部１０３は、該ビデオの連続的なフレーム間の２つのマスト間の領域の面積の変化に基づいて、フォークリフトのマストが内側に移動する（ｒｅａｃｈ ｉｎ）か、それとも外側に移動する（ｒｅａｃｈ ｏｕｔ）かを決定する。このように、マスト間の領域の面積の変化により、マストの動作状態を簡単かつ正確に検出することができる。
【0039】
例えば、該所定の判定ルールは、連続的なフレーム間の２つのマスト間の領域の面積の増加率が所定の第１の閾値を超えている場合、フォークリフトのマストが内側に移動すると判断し、連続的なフレーム間の２つのマスト間の領域の面積の減少率が所定の第１の閾値を超えている場合、フォークリフトのマストが外側に移動すると判断することを含む。
【0040】
図３は、本発明の実施例１に係るビデオのオブジェクト検出結果の１つの概略図である。図３に示すように、オブジェクト検出結果は、マスト（ｍａｓｔ）領域の検出枠及びその信頼度（９６．７％）、積載領域の検出枠、その検出結果である「空き（ｅｍｐｔｙ）」及び対応する信頼度（９６．５％）、人物（ｐｅｒｓｏｎ）の検出枠及びその信頼度（９５．５％）、ステアリング（ｓｔｅｅｒｉｎｇ）の検出枠及びその信頼度（８８．３％）を含む。ここで、連続的なフレーム間のマスト（ｍａｓｔ）領域２１の面積の変化に基づいて、マストの動作状態を決定する。
【0041】
例えば、ビデオの連続的な１０個のフレームの画像に基づいて、２つのマストの間の領域の面積の変化率を決定し、変化率に対して線形フィッティングを行い、傾きが所定の第１の閾値を超えているか否かに応じて、フォークリフトのマストが動作を行っているか否か、例えば外側又は内側に移動しているかを判定する。
【0042】
幾つかの態様では、該フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのバックレスト領域の検出結果を含む。第１の決定部１０３は、該ビデオの連続的なフレーム間のバックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化に基づいて、フォークリフトのマストが上昇するか、それとも下降するかを決定する。このように、バックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化により、マストの上昇又は下降の動作を簡単かつ正確に検出することができる。
【0043】
例えば、該所定の判定ルールは、連続的なフレーム間のバックレスト領域の中心と画像の中心との距離が所定の第２の閾値を超えて増加した場合、フォークリフトのマストが上昇していると決定し、連続的なフレーム間のバックレスト領域の中心と画像の中心との距離が所定の第２の閾値を超えて減少した場合、フォークリフトのマストが下降していると決定することを含む。
【0044】
図４は、本発明の実施例１に係るビデオのオブジェクト検出結果のもう１つの概略図である。図４に示すように、（ａ）はフレーム番号がｎ‐１０のビデオフレームを表し、ｄ１は該ビデオフレームにおけるバックレスト（ｂａｃｋｒｅｓｔ）領域２２の中心と画像の中心との距離を表し、（ｂ）はフレーム番号がｎのビデオフレームを表し、ｄ２は該ビデオフレームにおけるバックレスト（ｂａｃｋｒｅｓｔ）領域２２の中心と画像の中心との距離を表し、ｄ２‐ｄ１が所定の第２の閾値を超えている場合、フォークリフトのマストが上昇していると決定する。
【0045】
幾つかの態様では、図１に示すように、フォークリフト状態の検出装置１００は、以下の各部をさらに含む。
【0046】
第２の決定部１０４は、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定する。
【0047】
幾つかの態様では、第２の決定部１０４は、オプションの構成要素である。
【0048】
幾つかの態様では、第２の決定部１０４は、画像全体のサイズに対する人物の検出枠のサイズの比率に基づいて、該人物がフォークリフトの周囲の人であるか、それとも運転者であるかを決定する。このように、関係者の属性を簡単かつ正確に検出することができる。
【0049】
例えば、該所定の判定ルールは、画像全体のサイズに対する人物の検出枠のサイズの比率が所定の第３の閾値以上である場合、該人物が運転者であると決定し、画像全体のサイズに対する人物の検出枠のサイズの比率が所定の第３の閾値よりも小さい場合、該人物がフォークリフトの周囲の人であると決定する。
【0050】
図５は、本発明の実施例１に係るビデオのオブジェクト検出結果のもう１つの概略図である。図５に示すように、オブジェクト検出結果は、人物（ｐｅｒｓｏｎ）の２つの検出枠及びその信頼度（９５．１％と８８．７％）、ステアリング（ｓｔｅｅｒｉｎｇ）の検出枠及びその信頼度（９４．１％）、ハンドル（ｈａｎｄｌｅ）の２つの検出枠及びその信頼度（９２．７％と７５．７％）、積載領域の検出枠、その検出結果である積載（ｓｔａｃｋ）及び対応する信頼度（９１．１％）を含む。ここで、画像全体のサイズに対応する人物の検出枠２３のサイズの比率はｒ１であり、画像全体のサイズに対する人物の検出枠２４のサイズの比率はｒ２である。例えば、ｒ１は０．０１４であり、ｒ２は０．１６５である。例えば、第３の閾値が０．１であると仮定すると、ｒ１は第３の閾値よりも小さく、ｒ２は第３の閾値よりも大きく、検出枠２３における人物はフォークリフトの周囲の人であり、検出枠２４における人物は運転者である。
【0051】
本実施例によれば、オブジェクト検出モデルにより、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含むオブジェクト検出結果を取得することができると共に、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定することができる。該方法は、フォークリフトの使用環境の影響や制限を受けることがなく、フォークリフトの積載状態及び動作状態の検知結果を正確に取得することができる。
【0052】
＜実施例２＞
本発明の実施例は、電子機器をさらに提供する。図６は、本発明の実施例２に係る電子機器の１つの概略図である。図６に示すように、電子機器６００は、フォークリフト状態の検出装置６０１を含み、フォークリフト状態の検出装置６０１の構成及び機能は実施例１に係るフォークリフト状態の検出装置１００と同様であり、ここでその説明を省略する。
本発明の実施例は、電子機器をさらに提供する。図６は、本発明の実施例２に係る電子機器の１つの概略図である。図６に示すように、電子機器６００は、フォークリフト状態の検出装置６０１を含み、フォークリフト状態の検出装置６０１の構成及び機能は実施例１に係るフォークリフト状態の検出装置１００と同様であり、ここでその説明を省略する。
【0053】
図７は、本発明の実施例２に係る電子機器のシステム構成の１つの概略的なブロック図である。図７に示すように、電子機器７００は、プロセッサ７０１及びメモリ７０２を含んでもよく、メモリ７０２はプロセッサ７０１に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。
【0054】
幾つかの態様では、プロセッサ７０１は、中央処理装置（ＣＰＵ）及びグラフィックス処理装置（ＧＰＵ）のうちの少なくとも１つを含む。
【0055】
図７に示すように、電子機器７００は、入力部７０３、ディスプレイ７０４及び電源７０５をさらに含んでもよい。
【0056】
１つの態様では、実施例１に係るフォークリフト状態の検出装置の機能はプロセッサ７０１に統合されてもよい。ここで、プロセッサ７０１は、フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、該ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、該オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を実行するように構成されてもよい。
【0057】
例えば、該オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含み、該第１のモデルは、該ビデオの画像に基づいて第１の検出結果を出力し、該第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、該第２のモデルは、該第１の検出結果に基づいて第２の検出結果を出力し、該第２の検出結果は、フォークリフト積載領域の状態を含む。
【0058】
例えば、該フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのマストの検出結果を含み、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップは、該ビデオの連続的なフレーム間の２つのマスト間の領域の面積の変化に基づいて、フォークリフトのマストが内側に移動するか、それとも外側に移動するかを決定するステップ、を含む。
【0059】
例えば、該フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのバックレスト領域の検出結果を含み、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップは、該ビデオの連続的なフレーム間のバックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化に基づいて、フォークリフトのマストが上昇するか、それとも下降するかを決定するステップ、を含む。
【0060】
例えば、プロセッサ７０１は、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定するステップ、をさらに実行するように構成される。
【0061】
例えば、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定するステップは、画像全体のサイズに対する人物の検出枠のサイズの比率に基づいて、該人物がフォークリフトの周囲の人であるか、それとも運転者であるかを決定するステップ、を含む。
【0062】
例えば、該オブジェクト検出モデルは、Ｙｏｌｏｘネットワークに基づくオブジェクト検出モデルである。
【0063】
もう１つの態様では、実施例１に係るフォークリフト状態の検出装置はプロセッサ７０１とそれぞれ配置されてもよく、例えば、該フォークリフト状態の検出装置はプロセッサ７０１に接続されたチップであり、プロセッサ７０１の制御により該フォークリフト状態の検出装置の機能を実現するように構成されてもよい。
【0064】
本発明の実施例の１つの態様では、電子機器７００は、図７に示されている全ての構成部を含まなくてもよい。
【0065】
図７に示すように、プロセッサ７０１は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、プロセッサ７０１は入力を受け付け、電子機器７００の各部の操作を制御する。
【0066】
メモリ７０２は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。また、プロセッサ７０１は、メモリ７０２に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。電子機器７００の各部は、本発明の範囲から逸脱することなく、専用のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。
【0067】
本実施例によれば、オブジェクト検出モデルにより、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含むオブジェクト検出結果を取得することができると共に、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定することができる。該方法は、フォークリフトの使用環境の影響や制限を受けることがなく、フォークリフトの積載状態及び動作状態の検知結果を正確に取得することができる。
【0068】
＜実施例３＞
本発明の実施例は、実施例１のフォークリフト状態の検出装置に対応するフォークリフト状態の検出方法をさらに提供する。図８は、本発明の実施例３に係るフォークリフト状態の検出方法の１つの概略図である。図８に示すように、該方法は以下のステップを含む。
本発明の実施例は、実施例１のフォークリフト状態の検出装置に対応するフォークリフト状態の検出方法をさらに提供する。図８は、本発明の実施例３に係るフォークリフト状態の検出方法の１つの概略図である。図８に示すように、該方法は以下のステップを含む。
【0069】
ステップ８０１：フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得する。
【0070】
ステップ８０２：該ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力する。該オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む。
【0071】
ステップ８０３：該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定する。
【0072】
幾つかの態様では、該オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含み、該第１のモデルは、該ビデオの画像に基づいて第１の検出結果を出力し、該第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、該第２のモデルは、該第１の検出結果に基づいて第２の検出結果を出力し、該第２の検出結果は、フォークリフト積載領域の状態を含む。
【0073】
幾つかの態様では、該フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのマストの検出結果を含み、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップは、該ビデオの連続的なフレーム間の２つのマスト間の領域の面積の変化に基づいて、フォークリフトのマストが内側に移動するか、それとも外側に移動するかを決定するステップ、を含む。
【0074】
幾つかの態様では、該フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのバックレスト領域の検出結果を含み、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップは、該ビデオの連続的なフレーム間のバックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化に基づいて、フォークリフトのマストが上昇するか、それとも下降するかを決定するステップ、を含む。
【0075】
幾つかの態様では、図８に示すように、該方法は、以下のステップをさらに含む。
【0076】
ステップ８０４：該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定する。
【0077】
このステップ８０４は、オプションのステップである。
【0078】
例えば、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定するステップは、画像全体のサイズに対する人物の検出枠のサイズの比率に基づいて、該人物がフォークリフトの周囲の人であるか、それとも運転者であるかを決定するステップ、を含む。
【0079】
幾つかの態様では、該オブジェクト検出モデルは、Ｙｏｌｏｘネットワークに基づくオブジェクト検出モデルである。
【0080】
本実施例では、上記の各ステップの具体的な実現方法は、実施例１における記載と同様であり、ここで重複する部分について説明を省略する。
【0081】
本実施例によれば、オブジェクト検出モデルにより、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含むオブジェクト検出結果を取得することができると共に、該オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定することができる。該方法は、フォークリフトの使用環境の影響や制限を受けることがなく、フォークリフトの積載状態及び動作状態の検知結果を正確に取得することができる。
【0082】
本発明の実施例は、フォークリフト状態の検出装置又は電子機器においてプログラムを実行する際に、コンピュータに、該フォークリフト状態の検出装置又は電子機器において上記実施例３に記載のフォークリフト状態の検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。
【0083】
本発明の実施例は、コンピュータに、フォークリフト状態の検出装置又は電子機器において上記実施例３に記載のフォークリフト状態の検出方法を実行させるためのコンピュータ読み取り可能なプログラムが記憶された記憶媒体をさらに提供する。
【0084】
本発明の実施例を参照しながら説明したフォークリフト状態の検出装置又は電子機器において実行されているフォークリフト状態の検出方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図１に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図８に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
【0085】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ－ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、電子機器が比較的に大きい容量のＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。
【0086】
図１に記載されている１つ以上の機能ブロック及び／又は機能ブロックの１つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理装置、ディスクリートハードウェアコンポーネント、又はそれらの任意の適切な組み合わせで実現されてもよい。図１に記載されている１つ以上の機能ブロック及び／又は機能ブロックの１つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
【0087】
以上は具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。
【0088】
また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
フォークリフト状態の検出方法であって、
フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、
前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む、方法。
（付記２）
前記オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含み、
前記第１のモデルは、前記ビデオの画像に基づいて第１の検出結果を出力し、前記第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、
前記第２のモデルは、前記第１の検出結果に基づいて第２の検出結果を出力し、前記第２の検出結果は、フォークリフト積載領域の状態を含む、付記１に記載の方法。
（付記３）
前記フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのマストの検出結果を含み、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップは、
前記ビデオの連続的なフレーム間の２つのマスト間の領域の面積の変化に基づいて、フォークリフトのマストが内側に移動するか、それとも外側に移動するかを決定するステップ、を含む、付記１に記載の方法。
（付記４）
前記フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのバックレスト領域の検出結果を含み、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップは、
前記ビデオの連続的なフレーム間のバックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化に基づいて、フォークリフトのマストが上昇するか、それとも下降するかを決定するステップ、を含む、付記１に記載の方法。
（付記５）
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定するステップ、をさらに含む、付記１に記載の方法。
（付記６）
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定するステップは、
画像全体のサイズに対する人物の検出枠のサイズの比率に基づいて、前記人物がフォークリフトの周囲の人であるか、それとも運転者であるかを決定するステップ、を含む、付記５に記載の方法。
（付記７）
前記オブジェクト検出モデルは、Ｙｏｌｏｘネットワークに基づくオブジェクト検出モデルである、付記１に記載の方法。
（付記８）
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行される際に、付記１乃至７の何れかに記載の方法を実現する、記憶媒体。
（付記１）
フォークリフト状態の検出方法であって、
フォークリフトの頂部に設置されたカメラ装置により下方へ撮影されたビデオを取得するステップと、
前記ビデオの画像をオブジェクト検出モデルに入力し、オブジェクト検出結果を出力するステップであって、前記オブジェクト検出結果は、フォークリフト積載領域の状態と、フォークリフトの少なくとも１つの部材及び人物の検出結果とを含む、ステップと、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップと、を含む、方法。
（付記２）
前記オブジェクト検出モデルは、カスケード接続された第１のモデル及び第２のモデルを含み、
前記第１のモデルは、前記ビデオの画像に基づいて第１の検出結果を出力し、前記第１の検出結果は、フォークリフトの少なくとも１つの部材及び人物の検出結果を含み、
前記第２のモデルは、前記第１の検出結果に基づいて第２の検出結果を出力し、前記第２の検出結果は、フォークリフト積載領域の状態を含む、付記１に記載の方法。
（付記３）
前記フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのマストの検出結果を含み、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップは、
前記ビデオの連続的なフレーム間の２つのマスト間の領域の面積の変化に基づいて、フォークリフトのマストが内側に移動するか、それとも外側に移動するかを決定するステップ、を含む、付記１に記載の方法。
（付記４）
前記フォークリフトの少なくとも１つの部材の検出結果は、フォークリフトのバックレスト領域の検出結果を含み、
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの動作状態を決定するステップは、
前記ビデオの連続的なフレーム間のバックレスト領域の中心と画像の中心との距離の変化又はバックレスト領域の中心と画像の下端との距離の変化に基づいて、フォークリフトのマストが上昇するか、それとも下降するかを決定するステップ、を含む、付記１に記載の方法。
（付記５）
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定するステップ、をさらに含む、付記１に記載の方法。
（付記６）
前記オブジェクト検出結果及び所定の判定ルールに従って、フォークリフトの周囲の人を決定するステップは、
画像全体のサイズに対する人物の検出枠のサイズの比率に基づいて、前記人物がフォークリフトの周囲の人であるか、それとも運転者であるかを決定するステップ、を含む、付記５に記載の方法。
（付記７）
前記オブジェクト検出モデルは、Ｙｏｌｏｘネットワークに基づくオブジェクト検出モデルである、付記１に記載の方法。
（付記８）
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行される際に、付記１乃至７の何れかに記載の方法を実現する、記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】