特開 2024-144283 ３点サポートイベント検出方法と装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024144283

(43)【公開日】2024-10-11

(54)【発明の名称】３点サポートイベント検出方法と装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241003BHJP

   G06T 7/00 20170101ALI20241003BHJP

   B66F 9/24 20060101ALI20241003BHJP

【ＦＩ】

H04N7/18 D

G06T7/00 660B

H04N7/18 K

B66F9/24 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024048119

(22)【出願日】2024-03-25

(31)【優先権主張番号】202310333318.0

(32)【優先日】2023-03-30

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ツァイ・ウェヌティン

(72)【発明者】

【氏名】朱 建清

(72)【発明者】

【氏名】深町 侑加

【テーマコード（参考）】

3F333

5C054

5L096

【Ｆターム（参考）】

3F333AA02

3F333FA08

5C054CA04

5C054CC02

5C054FC00

5C054FC12

5C054FC13

5C054FC14

5C054FC15

5C054HA18

5C054HA26

5L096AA06

5L096BA02

5L096BA04

5L096FA09

5L096FA16

5L096FA64

(57)【要約】

【課題】本発明は、３点サポートイベント検出方法と装置を提供する。
【解決手段】かかる方法は、上下車イベントの連続ビデオフレームにおいて現在のビデオフレーム内の目標関心領域を確定し；前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び、前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認することを含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

３点サポートイベントを検出する装置であって、
上下車イベントの連続したビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定する第一確定ユニット；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断する判断ユニット；及び
前記上下車イベントの連続したビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認する第二確定ユニットを含む、装置。

【請求項2】

請求項１に記載の装置であって、
前記目標関心領域はハンドル関心領域及び／又はステアリングホイール関心領域である、装置。

【請求項3】

請求項２に記載の装置であって、
前記第一確定ユニットが現在のビデオフレーム内のハンドル関心領域を確定することは、
ハンドル境界ボックスを確定し；及び
前記ハンドル境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行って、ハンドル関心領域を得ることを含む、装置。

【請求項4】

請求項２に記載の装置であって、
前記第一確定ユニットが現在のビデオフレーム内のステアリングホイール関心領域を確定することは、
ステアリングホイール境界ボックスを確定し；及び
前記ステアリングホイール境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行って、ステアリングホイール関心領域を得ることを含む、装置。

【請求項5】

請求項２に記載の装置であって、
前記３点サポート条件は、
運転者の左手首がハンドル関心領域内にあり；及び
運転者の右手首が左手首よりも現在のフレームの左側に近く、又は、運転者の右手首が左手首よりも現在のフレームの右側に近いことを含む、装置。

【請求項6】

請求項５に記載の装置であって、
運転者の左手首がハンドル関心領域内にあり、かつ、運転者の右手首が左手首よりも現在のフレームの左側に近く、又は、運転者の右手首が左手首よりも現在のフレームの右側に近い場合に、現在のビデオフレームが３点サポート条件を満足したと見なす、装置。

【請求項7】

請求項２に記載の装置であって、
前記３点サポート条件は、
運転者の右手首がハンドル関心領域内にあり；及び
運転者の左手首がステアリングホイール関心領域の垂直範囲内にあることを含む、装置。

【請求項8】

請求項７に記載の装置であって、
運転者の右手首がハンドル関心領域内にあり、かつ運転者の左手首がステアリングホイール関心領域の垂直範囲内にある場合に、現在のビデオフレームが３点サポート条件を満足したと見なす、装置。

【請求項9】

３点サポートイベントを検出する方法であって、
上下車イベントの連続したビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
前記上下車イベントの連続したビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認することを含む、方法。

【請求項10】

コンピュータ機器であって、
記憶器、及び前記記憶器に接続される処理器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行することで、請求項９に記載の方法を実行するように構成される、コンピュータ機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の技術分野に関する。

【背景技術】

【0002】

情報技術の発展に伴い、画像に基づく目標（ターゲット）検出技術が益々普及している。例えば、ビデオ監視の分野では、目標検出技術を採用してビデオフレーム内の目標を検出することで、目標の境界ボックス情報を取得し、あるいは、目標のキーポイント（ｋｅｙｐｏｉｎｔ）情報を取得することができる。ここでのキーポイントは例えば、目標人物（対象者）の骨格の１８個のキーポイントであり、例えば、首、鼻、左肩、右肩、左腰、右腰、左目、右目、左肘、右肘、左膝、右膝、左耳、右耳、左手首、右手首、左足首及び右足首を含む。

【0003】

なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

発明者が次のようなことを発見した。即ち、一般的な画像について、骨格（スケルトン）検出モデルは正常に機能し得るが、魚眼画像について、骨格検出の精度が低い。また、従来の判断方法は運転者の骨格の各部分の間の位置関係の規則（ルール）に基づいており、該判断方法は仕組みが複雑であり、実施が難しい。よって、より一般的な判断方法についての更なる研究が必要である。

【0005】

また、３点サポート（ｔｈｒｅｅ－ｐｏｉｎｔ ｓｕｐｐｏｒｔ）は、例えば、運転者がフォークリフトに乗り降りするときに、背中を外側に向け、両手で車体を掴み、片足ずつ動かす動作である。図１は正確な３点サポートを示す図である。図２は魚眼レンズにより撮影されたフォークリフトを示す図であり、運転者が車から降りる様子を示している。図３は魚眼レンズにより撮影されたフォークリフトを示すもう１つの図であり、運転者が車に乗り込む様子を示している。図２及び図３のシナリオでは３点サポートの検出を行う必要がある。

【0006】

しかしながら、従来の検出方法ではこのような動作を検出することができない。このような動作の検出を実現するために、骨格検出の適用が検討されている。また、骨格検出を採用する際に次のような問題が存在し、１）一般的な骨格検出モデルの場合に、魚眼レンズによるビデオから骨格をうまく検出することができず；及び、２）運転者が両手で車体を掴んでいるかを判断することが困難である。

【0007】

上述の問題点のうちの少なくとも１つ又は他の類似した問題点に鑑み、本発明の目的は、運転者が車に乗り降りするときに３点サポート状態にあるかを検出することができる３点サポートイベント検出方法と装置を提供することにある。

【課題を解決するための手段】

【0008】

本発明の実施例の１つの側面によれば、３点サポートイベント検出装置が提供され、前記装置は、
第一確定ユニットであって、上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定する、もの；
判断ユニットであって、前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断する、もの；及び
第二確定ユニットであって、前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認する、ものを含む。

【0009】

本発明の実施例のもう１つの側面によれば、３点サポートイベント検出方法が提供され、前記方法は、
上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認することを含む。

【0010】

本発明の実施例のまたもう１つの側面によれば、コンピュータ機器が提供され、それは記憶器及び該記憶器に接続される処理器を含み、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行して次のような方法を実現するように構成され、即ち、
上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認することを含む方法である。

【発明の効果】

【0011】

本発明の実施例により、車内ビデオ画像に基づいて、運転者が上下車する過程で３点サポート状態にあるかを検出することで、安全な作業（規範（標準）作業）のために判断の根拠を提供することができる。

【図面の簡単な説明】

【0012】

【図1】正確な３点サポートを示す図である。

【図2】魚眼レンズにより撮影されたフォークリフトを示す図である。

【図3】魚眼レンズにより撮影されたフォークリフトを示すもう１つの図である。

【図4】本発明の実施例の適用シナリオを示す図である。

【図5】本発明の実施例の適用シナリオを示すもう１つの図である。

【図6】本発明の実施例における３点サポートイベント検出方法を示す図である。

【図7】ハンドル関心領域を確定する例を示す図である。

【図8】ハンドル関心領域及びステアリングホイール関心領域を確定する例を示す図である。

【図9】入力された連続ビデオフレームを示す図である。

【図10】カウンター式フォークリフトに発生した３点サポートイベントを示す図である。

【図11】リーチ式フォークリフトに発生した３点サポートイベントを示す図である。

【図12】本発明の実施例における３点サポートイベント検出方法を示すもう１つの図である。

【図13】本発明の実施例における３点サポートイベント検出装置を示す図である。

【図14】本発明の実施例における３点サポートイベント検出装置を示すもう１つの図である。

【図15】本発明の実施例におけるコンピュータ機器を示す図である。

【図16】本発明の実施例におけるコンピュータ機器を示すもう１つの図である。

【発明を実施するための形態】

【0013】

添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では本発明の特定の実施例を開示するが、それらは本発明の原理を採用し得る一部のみの実施例を示し、理解すべきは、本発明は記載される実施例に限定されず、即ち、本発明は添付する特許請求の範囲に属するすべての変更、変形及び代替によるものをも含むということである。

【0014】

本発明の実施例において、適用シナリオがフォークリフトであることを例にしており、かつフォークリフトの天井にあるドライブレコーダーが撮影した３６０°カメラヘッド画像（即ち、魚眼画像）に基づいて運転者の乗降タイミングを判断することを例にしている。しかし、本発明はこれらに限定されず、本発明の実施例の適用シナリオは他の車両であっても良く、本発明の実施例に係るビデオ画像は他のカメラヘッドにより取得されても良く、また、該カメラヘッドは車内に設置されても良く、車外例えば道路脇の電柱などに設けられても良い。

【0015】

図４及び図５は本発明の実施例の２つの適用シナリオを示す図である。そのうち、図４はカウンター式フォークリフト（ｃｏｕｎｔｅｒ ｆｏｒｋｌｉｆｔ）であり、左側の矩形枠はハンドル境界ボックス（ｈａｎｄｌｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）であり、右側の矩形枠はステアリングホイール境界ボックス（ｓｔｅｅｒｉｎｇ ｂｏｕｎｄｉｎｇ ｂｏｘ）である。図５はリーチ式フォークリフト（ｒｅａｃｈ ｆｏｒｋｌｉｆｔ）であり、同様に、左側の矩形枠はハンドル境界ボックス（ｈａｎｄｌｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）であり、右側の矩形枠はステアリングホイール境界ボックス（ｓｔｅｅｒｉｎｇ ｂｏｕｎｄｉｎｇ ｂｏｘ）である。また、本発明は境界ボックスの取得方式について限定せず、ビデオフレームに対して目標検出を行うことで取得することができ、例えば、目標検出器により検出することで取得することができ、従来の目標検出方法モデル、ネットワークなどはすべて本発明に適用することができ、あるいは、例えば、目標検出器により目標境界ボックスを検出することができない場合に、又は、検出された目標境界ボックスの信頼度が低すぎる場合に、事前設定することもできる。

【0016】

以下、図面を参照しながら本発明の実施例について説明する。

【0017】

＜第一側面の実施例＞
本発明の実施例では３点サポートイベント検出方法が提供される。図６は本発明の実施例における３点サポートイベント検出方法を示す図である。図６に示すように、該方法は以下のステップを含む。

【0018】

６０１：上下車イベントの連続ビデオフレーム（連続したビデオフレーム）において、現在のビデオフレーム内の目標関心領域を確定し；
６０２：前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
６０３：前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認（確定）する。

【0019】

なお、上述の図６は本発明の実施例を例示的に説明するためのものであるが、本発明はこれに限られない。例えば、各操作間の実行順序を適切に調整したり、幾つかの操作を増減したりすることができる。当業者は上述の図６の記載に限られず、上述の内容をもとに適切な変形を行うことができる。

【0020】

上述の実施例により、車内ビデオ画像に基づいて運転者が上下車する過程で３点サポート状態にあるかを検出することで、安全な作業（規範作業）に判断の根拠を提供することができる。

【0021】

本発明の実施例において、ステップ６０１では、目標関心領域は運転者の上下車動作に関する領域であり、あるいは、３点サポート状態又は３点サポート条件に関する領域であり、現在のビデオフレーム内の目標境界ボックスに基づいて生成されても良く、現在のビデオフレーム内の目標境界ボックスの位置に基づいて生成されても良い。なお、本発明はこれらに限定されず、異なるシナリオでは、運転者の上下車動作あるいは３点サポート状態又は３点サポート条件に関する部位（領域）は異なり、例えば、幾つかのシナリオの場合に、フットペダルも運転者の上下車動作あるいは３点サポート状態又は３点サポート条件に関連し得る。この場合に、該目標関心領域は運転者の上下車動作あるいは３点サポート状態又は３点サポート条件に関する他の領域（部位）により生成されても良い。

【0022】

幾つかの実施例において、目標関心領域がハンドル関心領域である場合に、本発明の実施例では、ハンドル境界ボックスに基づいてハンドル関心領域を決定することができる。例えば、ハンドル境界ボックスを決定し、該ハンドル境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行うことで、ハンドル関心領域を得ることができる。

【0023】

上述の実施例では、ハンドル境界ボックスは現在のビデオフレームに対して目標検出を行うことで取得されても良く、事前定義の方式で取得されても良く、本発明はこれについて限定しない。

【0024】

幾つかの実施例において、目標関心領域がステアリングホイール関心領域である場合に、本発明の実施例では、ステアリングホイール境界ボックスに基づいてステアリングホイール関心領域を確定することができる。例えば、ステアリングホイール境界ボックスを確定し、該ステアリングホイール境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行うことで、ステアリングホイール関心領域を得ることができる。

【0025】

上述の実施例では、ステアリングホイール境界ボックスは現在のビデオフレームに対して目標検出を行うことで取得されても良く、事前定義の方式で取得されても良く、本発明はこれについて限定しない。

【0026】

図７はハンドル関心領域を確定する例を示す図である。図７の例では、カウンター式フォークリフトを例にとり、図７の左側には運転者が運転者の運転席の左側から「左から右へ」移動する様子が示されており、図７の右側には運転者が運転者の運転席の右側から「右から左へ」移動する様子が示されている。

【0027】

図７に示すように、本発明の実施例における方法により、まず、ハンドル境界ボックス７１、７２を確定し、その幅及び高さはそれぞれｗ及びｈであり、その後に、該ハンドル境界ボックス７１、７２の幅ｗ及び高さｈに対してそれぞれ所定の拡張を行うことで、拡張後の幅ａ×ｗ及び高さｂ×ｈを取得し、これによって、ハンドル関心領域７１’、７２’を取得し、その幅及び高さはそれぞれａ×ｗ及びｂ×ｈである。

【0028】

上述の例では、ハンドル境界ボックスの幅及び高さに対してそれぞれ所定の拡張を行うことを例にとっているが、本発明はこれに限られず、ハンドル境界ボックスの高さのみに対して拡張を行うことでハンドル関心領域を得ても良く、あるいは、ハンドル境界ボックスの幅のみに対して拡張を行うことでハンドル関心領域を得ても良い。

【0029】

図８はハンドル関心領域及びステアリングホイール関心領域を確定する例を示す図である。図８の例では、リーチ式フォークリフトを例にとり、図８の左側には運転者が作業（ｏｐｅｒａｔｉｎｇ）台の上方から「上から下へ」移動する様子が示されており、図８の右側には運転者が作業台の下方から「下から上へ」移動する様子が示されている。

【0030】

図８に示すように、本発明の実施例の方法により、まず、ハンドル境界ボックス８１、８２及びステアリングホイール境界ボックス８３、８４を確定し、ハンドル境界ボックス８１、８２の幅及び高さはそれぞれｗ及びｈ１であり、ステアリングホイール境界ボックス８３、８４の高さはｈ２であり、その後に、該ハンドル境界ボックス８１、８２の幅ｗ及び高さｈ１に対してそれぞれ所定の拡張を行って拡張後の幅ｃ×ｗ及び高さｄ×ｈ１を取得し、これによって、ハンドル関心領域８１’、８２’を取得し、その幅及び高さはそれぞれｃ×ｗ及びｄ×ｈ１である。また、ステアリングホイール境界ボックス８３、８４の高さｈ２を拡張して拡張後の高さｅ×ｈ２を取得し、これによって、ステアリングホイール関心領域８３’、８４’を取得する。

【0031】

以上の例では、ハンドル境界ボックスの幅及び高さに対してそれぞれ所定の拡張を行い、また、ステアリングホイール境界ボックスの高さに対して所定の拡張を行うことを例に取っているが、本発明はこれに限定されず、ハンドル境界ボックスの高さのみを拡張してハンドル関心領域を得ても良く、あるいは、ハンドル境界ボックスの幅のみを拡張してハンドル関心領域を得ても良く、あるいは、ステアリングホイール境界ボックスの高さ及び幅を同時に拡張してステアリングホイール関心領域を得ても良く、あるいは、ステアリングホイール境界ボックスの幅のみを拡張してステアリングホイール関心領域を得ても良い。

【0032】

前述の各実施例では、拡張の程度、即ち、ａ、ｂ、ｃ、ｄ、ｅの値はそれぞれ１よりも大きく、本発明ではａ、ｂ、ｃ、ｄ、ｅの値について限定せず、例えば、現在のビデオフレームの長さ及び幅に基づいて確定されても良く、ステアリングホイール及び／又はハンドルの境界ボックスの高さ及び幅に基づいて確定されても良く、あるいは、他のファクターを考慮して拡張の程度を確定しても良い。

【0033】

幾つかの実施例において、３点サポート条件は次のとおりであり、即ち、運転者の左手首がハンドル関心領域内にあり；及び、運転者の右手首が左手首よりも現在のフレームの左側に近く、又は、運転者の右手首が左手首よりも現在のフレームの右側に近い。例えば、ハンドルが現在のビデオフレームの右側にあるときに、運転者の右手首は左手首よりも現在のフレームの左側に近い（図７の右側に示されているとおり）。また、例えば、ハンドルが現在のビデオフレームの左側にあるときに、運転者の右手首は左手首よりも現在のフレームの右側に近い（図７の左側に示されているとおり）。

【0034】

上述の実施例では、運転者の左手首がハンドル関心領域内にあり、かつ、運転者の右手首が左手首よりも現在のフレームの左側に近い場合（図７の右側に示す場合）に、又は、運転者の右手首が左手首よりも現在のフレームの右側に近い場合（図７の左側に示する場合）に、現在のビデオフレームは３点サポート条件を満足したと見なす。

【0035】

他の幾つかの実施例において、３点サポート条件は次のとおりであり、運転者の右手首がハンドル関心領域内にあり；及び、運転者の左手首がステアリングホイール関心領域の垂直範囲内にある。

【0036】

上述の実施例では、運転者の右手首がハンドル関心領域内にあり、かつ、運転者の左手首がステアリングホイール関心領域の垂直範囲内にある場合（図８に示する場合）に、現在のビデオフレームは３点サポート条件を満足したと見なす。

【0037】

上述の各実施例では、運転者の左手首及び右手首の位置は現在のビデオフレームに対して目標検出、例えば、キーポイント検出を行うことで取得することができる。なお、キーポイント検出方法については、本発明では限定せず、関連技術を参照することができる。

【0038】

上述の各実施例では、現在のビデオフレームが３点サポート条件を満足していると確定した後に、該現在のビデオフレームをマークすることができ、例えば、３点サポート条件を満足したビデオフレームを“１”とマークし、３点サポート条件を満足しないビデオフレームを“０”とマークし、これによって、その後に運転者が車に乗り降りするときに３点サポート状態にあるかを判断することに有利であり、即ち、上下車イベントの連続ビデオフレームのうち、３点サポート条件が満足されたビデオフレームの数に基づいて、上下車イベントに３点サポートイベントが発生したかを確定する。

【0039】

幾つかの実施例において、上下車イベントの連続ビデオフレームのうち、３点サポート条件が満足されたビデオフレームの数がｎ以上であり、ｎ≧１であるときに、上下車イベントに３点サポートイベントが発生したと判定する。

【0040】

図９は入力された連続ビデオフレームを示す図である。図９に示すように、該入力された連続ビデオフレームのうち、連続ビデオフレーム９０が上下車イベントの連続ビデオフレームと判断され、かつ、本発明の実施例の方法により、該上下車イベントの連続ビデオフレームにおいて３点サポートイベントが満足されたビデオフレームが２つあり、これによって、上下車イベントに３点サポートイベントが発生したと判定する。

【0041】

上述の実施例では、ｎの値について限定せず、以上、ｎ＝２を例にして説明を行ったが、ｎは他の値であっても良く、例えば、１、３又は３以上の他の値であっても良い。また、ｎの値は上下車イベントの連続ビデオフレームに基づいて確定されても良く、例えば、上下車イベントの連続ビデオフレームが入力された連続ビデオフレームのビデオ開始段階にある場合に、ｎは比較的小さい値に設定されても良く、上下車イベントの連続ビデオフレームが入力された連続ビデオフレームのビデオ中間段階にある場合に、ｎは比較的に大きい値に設定されても良い。

【0042】

本発明の実施例では、上下車イベントの連続ビデオフレームの判断方法については限定せず、関連技術を参照することができる。

【0043】

図１０はカウンター式フォークリフトに発生した３点サポートイベントを示す図である。

【0044】

図１０の左側に示すように、運転者が運転席の左側から右側へ移動し、図７の左側の場合に対応する。運転者境界ボックス１０１（１８個のキーポイントを含む）及びハンドル境界ボックス１０２が確定され、ハンドル境界ボックス１０２を拡張することでハンドル関心領域１０３が得られ、また、本発明の実施例における方法により、運転者の左手首がハンドル関心領域１０３内にあり、かつ、運転者の右手首が左手首よりも現在のフレームの右側に近いので、現在のビデオフレームが３点サポート条件を満足したと判定することができる。

【0045】

図１０の右側に示すように、運転者が運転席の右側から左側へ移動し、図７の右側の場合に対応する。運転者境界ボックス１０４（１８個のキーポイントを含む）及びハンドル境界ボックス１０５が確定され、ハンドル境界ボックス１０５を拡張することでハンドル関心領域１０６が得られ、また、本発明の実施例の方法により、運転者の左手首がハンドル関心領域１０３内にあり、かつ、運転者の右手首が左手首よりも現在のフレームの左側に近いので、現在のビデオフレームが３点サポート条件を満足したと判定することができる。

【0046】

図１０の例では、既存の目標検出方法あるいは事前定義の方式により、運転者境界ボックス１０１、１０４を得ることができ、既存の目標検出方法により、運転者の骨格の１８個のキーポイントを得ることができ、該１８個のキーポイントに基づいて運転者の左手首及び右手首の位置を知ることができ、これによって、現在のビデオフレームは上述の３点サポート条件を満足したかを判断することができる。本発明では具体的な目標検出方法について限定せず、既存の骨格検出方法を採用しても良く、他の検出方法を採用しても良く、運転者の左手首及び右手首の位置を得ることができれば良い。

【0047】

図１１はリーチ式フォークリフトに発生した３点サポートイベントを示す図である。

【0048】

図１１の左側に示すように、運転者が作業台の上方から下方へ移動し、図８の左側の場合に対応する。目標検出又は事前定義により、運転者境界ボックス１１１（１８個のキーポイントを含む）、ハンドル境界ボックス１１２及びステアリングホイール境界ボックス１１３が取得され、ハンドル境界ボックス１１２を拡張することでハンドル関心領域１１４が得られ、ステアリングホイール境界ボックス１１３を拡張することでステアリングホイール関心領域１１５が得られる。本発明の実施例における方法により、運転者の右手首がハンドル関心領域内１１４内にあり、かつ、運転者の左手首がステアリングホイール関心領域１１５の垂直範囲内にあるので、現在のビデオフレームは３点サポート条件を満足したと判定することができる。

【0049】

図１１の右側に示すように、運転者が作業台の下方から上方へ移動し、図８の右側の場合に対応する。目標検出又は事前定義により運転者境界ボックス１１６（１８個のキーポイントを含む）、ハンドル境界ボックス１１８及びステアリングホイール境界ボックス１１７が取得され、ハンドル境界ボックス１１８を拡張することでハンドル関心領域１２０が得られ、ステアリングホイール境界ボックス１１７を拡張することでステアリングホイール関心領域１１９が得られる。本発明の実施例における方法により、運転者の右手首がハンドル関心領域１２０内にあり、かつ、運転者の左手首がステアリングホイール関心領域１１９の垂直範囲内にあるので、現在のビデオフレームは３点サポート条件を満足したと判定することができる。

【0050】

図１１に示す例では、既存の目標検出方法又は事前定義の方式により運転者境界ボックス１１１、１１６を得ることができ、既存の目標検出方法により運転者の骨格の１８個のキーポイントを得ることができ、該１８個のキーポイントに基づいて運転者の左手首及び右手首の位置を知ることができ、これによって、現在のビデオフレームは上述の３点サポート条件を満足したかを判断することができる。本発明では具体的な目標検出方法について限定せず、既存の骨格検出方法が採用されても良く、他の検出方法が採用されても良く、運転者の左手首及び右手首の位置を得ることができれば良い。

【0051】

図１２は本発明の実施例における３点サポートイベント検出方法を示すもう１つの図であり、ビデオフレームの取得から３点サポートイベントの確認までの過程（プロセス）を示している。図１２に示すように、該過程は、
１２０１：入力されたビデオフレーム／ピクチャがネットワークモデルに進入し；
１２０２：人物の骨格のキーポイントを生成し；
１２０３：運転者を識別し；
１２０４：ハンドル境界ボックス及びステアリングホイール境界ボックスを取得し（目標検出の方式により取得されても良く、事前定義の方式により取得されても良い）；
１２０５：ハンドル関心領域及びステアリングホイール関心領域を生成し；
１２０６：３点サポート条件の判断を行い；及び
１２０７：３点サポートイベントの確認（確定）を行う
ことを含む。

【0052】

なお、上述の図１２は本発明の実施例を例示的に説明するためのものであるが、本発明はこれに限られない。例えば、各操作間の実行順序を適切に調整したり、幾つかの操作を増減したりすることができる。当業者は上述の図１２の記載に限られず、上述の内容をもとに適切な変形を行うことができる。

【0053】

上述の実施例では、ネットワークモデルを利用して、入力されたビデオフレームに対して目標検出を行うことで、人物の骨格のキーポイント情報を取得し、そして、運転者を認識することができ、該キーポイント情報は人物の手首の位置を含んでいるため、後続の３点サポート条件の判断に用いることができる。

【0054】

上述の実施例では、入力されたビデオフレームに基づいてハンドル境界ボックス及びステアリングホイール境界ボックスをさらに得ることができ、本発明では具体的な取得方法については限定せず、関連技術を参照することができ、例えば、目標検出器又は事前定義の方式でハンドル境界ボックス及びステアリングホイール境界ボックスを確定し、そして、ハンドル境界ボックス及びステアリングホイール境界ボックスに基づいてハンドル関心領域及びステアリングホイール関心領域を確定することができ、具体的には既に説明されているため、ここではその詳しい説明を省略する。

【0055】

上述の実施例では、運転者のキーポイント情報（例えば、左手首の位置及び右手首の位置）、及びハンドル関心領域とステアリングホイール関心領域に基づいて、３点サポート条件が満足されたかを判断することで、３点サポートイベントを確認することができる。

【0056】

上述の実施例では、カウンター式フォークリフトのハンドルが左手側にあり、リーチ式フォークリフトのハンドルが右手側にあることを例にして説明を行っているが、本発明はこれらに限られず、カウンター式フォークリフトのハンドルは右手側にある可能性もあり、同様に、リーチ式フォークリフトのハンドルは左手側にある可能性もある。

【0057】

幾つかの実施例において、カウンター式フォークリフトのハンドルが右手側にあるときに、３点サポート条件は、
運転者の右手首がハンドル関心領域内にあり；及び
運転者の左手首が右手首よりも現在のフレームの右側に近く、又は、運転者の左手首が右手首よりも現在のフレームの左側に近い
ことであっても良い。

【0058】

上述の実施例では、運転者の右手首がハンドル関心領域内にあり、かつ、運転者の左手首が右手首よりも現在のフレームの右側に近く（ハンドルが現在のフレームの左側にある）、又は、運転者の左手首が右手首よりも現在のフレームの左側に近い（ハンドルが現在のフレームの右側にある）場合に、現在のビデオフレームは３点サポート条件を満足したと見なす。

【0059】

幾つかの実施例において、リーチ式フォークリフトのハンドルが左手側にあるときに、３点サポート条件は、
運転者の左手首がハンドル関心領域内にあり；及び
運転者の右手首がステアリングホイール関心領域の垂直範囲内にある
ことであっても良い。

【0060】

上述の実施例では、運転者の左手首がハンドル関心領域内にあり、かつ運転者の右手首がステアリングホイール関心領域の垂直範囲内にある場合に、現在のビデオフレームは３点サポート条件を満足したと見なす。

【0061】

上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限られず、上述の各実施例をもとに適切な変形を行うこともできる。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。

【0062】

本発明の実施例により、車内ビデオ画像に基づいて、運転者が上下車する過程で３点サポート状態にあるかを検出することで、安全な作業（標準作業）に判断の根拠を提供することができる。

【0063】

＜第二側面の実施例＞
本発明の実施例では３点サポートイベント検出装置が提供され、該装置が問題を解決する原理は第一側面の実施例と同じであり、ここでは第一側面の実施例と同じ内容の説明を省略する。

【0064】

図１３は本発明の実施例における３点サポートイベント検出装置を示す図である。図１３に示すように、該３点サポートイベント検出装置１３００は以下のものを含む。

【0065】

第一確定ユニット１３０１：上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し；
判断ユニット１３０２：前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
第二確定ユニット１３０３：前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、第二確定ユニット１３０３は上下車イベントに３点サポートイベントが発生したと確認する。

【0066】

幾つかの実施例において、現在のビデオフレーム内のハンドル関心領域の確定は、
ハンドル境界ボックスを確定し；及び
ハンドル境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行って、ハンドル関心領域を得る
ことを含む。

【0067】

幾つかの実施例において、現在のビデオフレーム内のステアリングホイール関心領域の確定は、
ステアリングホイール境界ボックスを確定し；及び
ステアリングホイール境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行って、ステアリングホイール関心領域を得る
ことを含む。

【0068】

幾つかの実施例において、３点サポート条件は、
運転者の左手首がハンドル関心領域内にあり；
ハンドルが現在のビデオフレームの右側にあり；及び
運転者の右手首が左手首よりも現在のフレームの左側に近い
ことを含む。

【0069】

上述の実施例では、運転者の左手首がハンドル関心領域内にあり、かつ、ハンドルが現在のビデオフレームの右側にあるときに、運転者の右手首が左手首よりも現在のフレームの左側に近い場合に、現在のビデオフレームは３点サポート条件を満足したと見なす。

【0070】

幾つかの実施例において、３点サポート条件は、
運転者の左手首がハンドル関心領域内にあり；
ハンドルが現在のビデオフレームの左側にあり；及び
運転者の右手首が左手首よりも現在のフレームの右側に近い
ことを含む。

【0071】

上述の実施例では、運転者の左手首がハンドル関心領域内にあり、かつ、ハンドルが現在のビデオフレームの左側にあるときに、運転者の右手首が左手首よりも現在のフレームの右側に近い場合に、現在のビデオフレームは３点サポート条件を満足したと見なす。

【0072】

幾つかの実施例において、３点サポート条件は、
運転者の右手首がハンドル関心領域内にあり；及び
運転者の左手首がステアリングホイール関心領域の垂直範囲内にある
ことを含む。

【0073】

上述の実施例では、運転者の右手首がハンドル関心領域内にあり、かつ、運転者の左手首がステアリングホイール関心領域の垂直範囲内にある場合に、現在のビデオフレームは３点サポート条件を満足したと見なす。

【0074】

図１４は本発明の実施例における３点サポートイベント検出装置を示すもう１つの図である。図１４に示すように、該３点サポートイベント検出装置１４００は次のものを含む。

【0075】

検出モジュール１４０１：入力されたビデオフレームに対して目標検出を行って、前記ビデオフレーム上の目標の境界ボックス、目標人物キーポイントなどを取得し；及び
識別モジュール１４０２：上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し、前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し、前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認する。

【0076】

上述の実施例では、識別モジュール１４０２は図１３の３点サポートイベント検出装置により実現されても良く、かつ第一側面の実施例における３点サポートイベント検出方法を実現することでき、第一側面の実施例の内容はここに合併され、ここではその詳しい説明を省略する。

【0077】

なお、以上、本発明に関連している各部品又はモジュールのみを説明しているが、本発明はこれらに限られない。３点サポートイベント検出装置１３００、１４００はさらに、他の部品又はモジュールを含んでも良く、これらの部品又はモジュールの具体的な内容については関連技術を参照することができる。

【0078】

便宜のため、図１３及び図１４には各部品又はモジュール間の接続関係又は信号方向のみが示されているが、当業者が理解できるように、バス接続などの様々な関連技術を採用しても良い。これらの各部品又はモジュールは例えば、処理器、記憶器などのハードウェアにより実現されても良く、本発明の実施例ではこれらについて限定しない。

【0079】

また、上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限られず、上述の各実施例をもとに適切な変形を行うこともできる。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。

【0080】

本発明の実施例により、車内ビデオ画像に基づいて運転者が上下車する過程で３点サポート状態にあるかを検出することで、安全な作業（標準作業）に判断の根拠を提供することができる。

【0081】

＜第三側面の実施例＞
本発明の実施例ではコンピュータ機器が提供され、それは第二側面の実施例に記載の３点サポートイベント検出装置１３００、１４００を含み、その内容はここに合併される。該コンピュータ機器は例えば、コンピュータ、サーバー、ワークステーション、ノートパソコン、スマートフォンなどであっても良いが、本発明の実施例はこれらに限定されない。

【0082】

図１５は本発明の実施例におけるコンピュータ機器を示す図である。図１５に示すように、該コンピュータ機器１５００は処理器（例えば、中央処理器ＣＰＵ）１５０１及び記憶器１５０２を含んでも良く、記憶器１５０２は中央処理器１５０１に接続される。そのうち、該記憶器１５０２は様々なデータを記憶可能であり、また、情報処理用のプログラムを記憶することも可能であり、かつ処理器１５０１の制御下で該プログラムを実行することができる。また、該コンピュータ機器１５００はさらに通信インターフェース１５１０を含み、それは外部とデータを交換するために用いられ、例えば、通信インターフェース１５１０を介して画像取得装置（例えば、ドライブレコーダー、カメラヘッドなど）からビデオデータを取得し、また、例えば、通信インターフェース１５１０を介して判断結果を外部機器に送信する。

【0083】

幾つかの実施例において、３点サポートイベント検出装置１３００、１４００の機能は処理器１５０１に集積して実現される。そのうち、処理器１５０１は第一側面の実施例に記載の３点サポートイベント検出方法を実行するように構成される。

【0084】

幾つかの実施例において、３点サポートイベント検出装置１３００、１４００は処理器１５０１と別々で配置され、例えば、３点サポートイベント検出装置１３００、１４００は処理器１５０１に接続されるチップとして構成され、処理器１５０１の制御により３点サポートイベント検出装置１３００、１４００の機能を実現しても良い。

【0085】

図１６は本発明の実施例におけるコンピュータ機器を示すもう１つの図である。図１６に示すように、コンピュータ機器１５００はさらに、入出力インターフェース１５０３、入力装置１５０４、出力装置１５０５、記憶装置１５０６、通信装置１５０７、ドライブ１５０８、取り外し可能な媒体１５０９などを含んでも良く、そのうち、これらの部品の機能は従来と同様であり、ここではその詳しい説明を省略する。なお、コンピュータ機器１５００は図１６に示すすべての部品を含む必要がない。また、コンピュータ機器１５００はさらに図１６に示されていない部品を有しても良く、これについては関連技術を参照することができる。

【0086】

本発明の実施例ではコンピュータ可読プログラムがさらに提供され、そのうち、電子機器中で前記プログラムを実行するときに、前記プログラムはコンピュータに、前記コンピュータ機器中で第一側面の実施例に記載の方法を実行させる。

【0087】

本発明の実施例ではコンピュータ可読プログラムを記憶した記憶媒体がさらに提供され、そのうち、前記コンピュータ可読プログラムはコンピュータに、コンピュータ機器中で第一側面の実施例に記載の方法を実行させる。

【0088】

また、上述の装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明はさらに、下記のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に上述の装置又は構成部品を実現させ、又は、該ロジック部品に上述の様々なの方法又はステップを実現させる。ロジック部品は例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、マイクロプロセッサ、コンピュータに用いる処理器などであっても良い。本発明はさらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、ＤＶＤ、フラッシュメモリなどにも関する。

【0089】

さらに、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本明細書に記載の機能を実行するための汎用処理器、デジタル信号処理器（ＤＳＰ）、特定用途向け集積回パス（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組み合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせはさらに、計算装置の組み合わせ、例えば、ＤＳＰ及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意の構成の組み合わせとして構成されても良い。

【0090】

また、上述の実施例などに関し、さらに以下のような付記を開示する。

【0091】

（付記１）
３点サポートイベント検出方法であって、
上下車イベントの連続ビデオフレームにおいて、現在のビデオフレーム内の目標関心領域を確定し；
前記目標関心領域と運転者の手との間の関係に基づいて、現在のビデオフレームが３点サポート条件を満足したかを判断し；及び
前記上下車イベントの連続ビデオフレームに３点サポート条件を満足した少なくとも１つのフレームがある場合に、上下車イベントに３点サポートイベントが発生したと確認することを含む、方法。

【0092】

（付記２）
付記１に記載の方法であって、
前記目標関心領域はハンドル関心領域及び／又はステアリングホイール関心領域である、方法。

【0093】

（付記３）
付記２に記載の方法であって、
現在のビデオフレーム内のハンドル関心領域の確定は、
ハンドル境界ボックスを確定し；及び
前記ハンドル境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行って、ハンドル関心領域を得ることを含む、方法。

【0094】

（付記４）
付記２に記載の方法であって、
現在のビデオフレーム内のステアリングホイール関心領域の確定は、
ステアリングホイール境界ボックスを確定し；及び
前記ステアリングホイール境界ボックスの長さ及び／又は幅に対してそれぞれ所定の拡張を行って、ステアリングホイール関心領域を得ることを含む、方法。

【0095】

（付記５）
付記２に記載の方法であって、
３点サポート条件は、
運転者の左手首がハンドル関心領域内にあり；及び
運転者の右手首が左手首よりも現在のフレームの左側に近く、又は、運転者の右手首が左手首よりも現在のフレームの右側に近いことを含む、方法。

【0096】

（付記６）
付記５に記載の方法であって、
運転者の左手首がハンドル関心領域内にあり、かつ、運転者の右手首が左手首よりも現在のフレームの左側に近く、又は、運転者の右手首が左手首よりも現在のフレームの右側に近い場合に、現在のビデオフレームが３点サポート条件を満足したと見なす、方法。

【0097】

（付記７）
付記２に記載の方法であって、
３点サポート条件は、
運転者の右手首がハンドル関心領域内にあり；及び
運転者の左手首がステアリングホイール関心領域の垂直範囲内にあることを含む、方法。

【0098】

（付記８）
付記７に記載の方法であって、
運転者の右手首がハンドル関心領域内にあり、かつ運転者の左手首がステアリングホイール関心領域の垂直範囲内にある場合に、現在のビデオフレームが３点サポート条件を満足したと見なす、方法。

【0099】

（付記９）
付記２に記載の方法であって、
３点サポート条件は、
運転者の右手首がハンドル関心領域内にあり；及び
運転者の左手首が右手首よりも現在のフレームの右側に近く、又は、運転者の左手首が右手首よりも現在のフレームの左側に近いことを含む、方法。

【0100】

（付記１０）
付記９に記載の方法であって、
運転者の右手首がハンドル関心領域内にあり、かつ、運転者の左手首が右手首よりも現在のフレームの右側に近く、又は、運転者の左手首が右手首よりも現在のフレームの左側に近い場合に、現在のビデオフレームが３点サポート条件を満足したと見なす、方法。

【0101】

（付記１１）
付記２に記載の方法であって、
３点サポート条件は、
運転者の左手首がハンドル関心領域内にあり；及び
運転者の右手首がステアリングホイール関心領域の垂直範囲内にあることを含む、方法。

【0102】

（付記１２）
付記１１に記載の方法であって、
運転者の左手首がハンドル関心領域内にあり、かつ運転者の右手首がステアリングホイール関心領域の垂直範囲内にある場合に、現在のビデオフレームが３点サポート条件を満足したと見なす、方法。

【0103】

（付記１３）
コンピュータ可読プログラムを記憶した記憶媒体であって、
前記コンピュータ可読プログラムはコンピュータに、電子機器で付記１乃至１２の任意の１項に記載の３点サポートイベント検出方法を実行させる、記憶媒体。

【0104】

以上、本発明の好ましい実施例を説明したが、本発明はこのような実施例に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】