知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144285
(43)【公開日】2024-10-11
(54)【発明の名称】運転者上下車状態判断方法と装置
(51)【国際特許分類】
G06T 7/60 20170101AFI20241003BHJP
G06V 20/59 20220101ALI20241003BHJP
G06V 10/25 20220101ALI20241003BHJP
【ＦＩ】
G06T7/60 300Z
G06T7/60 180D
G06V20/59
G06V10/25
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024048139
(22)【出願日】2024-03-25
(31)【優先権主張番号】202310335762.6
(32)【優先日】2023-03-30
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ツァイ・ウェヌティン
(72)【発明者】
【氏名】朱 建清
(72)【発明者】
【氏名】深町 侑加
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096CA04
5L096DA02
5L096FA02
5L096FA16
5L096FA59
5L096FA62
5L096FA64
5L096FA66
5L096FA69
5L096FA77
5L096GA51
5L096HA09
5L096JA11
5L096JA22
(57)【要約】
【課題】本発明は、運転者上下車状態判断方法と装置を提供する。
【解決手段】かかる方法は、現在のビデオフレームにおける境界関心領域を確定し；前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける運転者の状態を確定し；及び、連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定することを含む。本発明の実施例により、車内ビデオに基づいて運転者の上下車状態を判断することができる。
【選択図】図３
【解決手段】かかる方法は、現在のビデオフレームにおける境界関心領域を確定し；前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける運転者の状態を確定し；及び、連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定することを含む。本発明の実施例により、車内ビデオに基づいて運転者の上下車状態を判断することができる。
【選択図】図３
【特許請求の範囲】
【請求項1】
運転者の上下車状態を判断する装置であって、
現在のビデオフレーム内の境界関心領域を確定する第一確定ユニット；
前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける前記運転者の状態を確定する第二確定ユニット；及び
連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定する第三確定ユニットを含む、装置。
現在のビデオフレーム内の境界関心領域を確定する第一確定ユニット；
前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける前記運転者の状態を確定する第二確定ユニット；及び
連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定する第三確定ユニットを含む、装置。
【請求項2】
請求項１に記載の装置であって、
前記第一確定ユニットは前記現在のビデオフレームにおけるステアリングホイール境界枠及び把手境界枠に基づいて、又は、前記現在のビデオフレームにおけるステアリングホイール境界枠に基づいて、又は、前記現在のビデオフレームに基づいて、前記境界関心領域を確定する、装置。
前記第一確定ユニットは前記現在のビデオフレームにおけるステアリングホイール境界枠及び把手境界枠に基づいて、又は、前記現在のビデオフレームにおけるステアリングホイール境界枠に基づいて、又は、前記現在のビデオフレームに基づいて、前記境界関心領域を確定する、装置。
【請求項3】
請求項２に記載の装置であって、
前記境界関心領域は前記ステアリングホイール境界枠を取り囲み、かつ、前記境界関心領域は前記把手境界枠の所定位置に所在し；又は
前記境界関心領域は前記ステアリングホイール境界枠と前記把手境界枠との間に位置し；又は
前記境界関心領域は前記ステアリングホイール境界枠、及び前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第一閾値よりも小さく、前記境界関心領域の幅は事前設定の第二閾値よりも小さい；又は
前記境界関心領域は前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第三閾値よりも小さく、前記境界関心領域の幅は事前設定の第四閾値よりも小さい、装置。
前記境界関心領域は前記ステアリングホイール境界枠を取り囲み、かつ、前記境界関心領域は前記把手境界枠の所定位置に所在し；又は
前記境界関心領域は前記ステアリングホイール境界枠と前記把手境界枠との間に位置し；又は
前記境界関心領域は前記ステアリングホイール境界枠、及び前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第一閾値よりも小さく、前記境界関心領域の幅は事前設定の第二閾値よりも小さい；又は
前記境界関心領域は前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第三閾値よりも小さく、前記境界関心領域の幅は事前設定の第四閾値よりも小さい、装置。
【請求項4】
請求項１に記載の装置であって、
前記運転者境界枠が前記境界関心領域とオーバーラップしない場合に、前記第二確定ユニットは前記運転者の前記現在のビデオフレームにおける状態を第一状態として確定し、
前記運転者境界枠が前記境界関心領域とオーバーラップしている場合に、前記第二確定ユニットは前記運転者の前記現在のビデオフレームにおける状態を第二状態として確定する、装置。
前記運転者境界枠が前記境界関心領域とオーバーラップしない場合に、前記第二確定ユニットは前記運転者の前記現在のビデオフレームにおける状態を第一状態として確定し、
前記運転者境界枠が前記境界関心領域とオーバーラップしている場合に、前記第二確定ユニットは前記運転者の前記現在のビデオフレームにおける状態を第二状態として確定する、装置。
【請求項5】
請求項１に記載の装置であって、
前記第三確定ユニットは連続したビデオフレームにおける前記運転者の状態に基づいて状態転換タイミングを確定し、前記状態転換タイミング及び前記連続したビデオフレームにおける前記運転者の状態に基づいて、前記運転者の上下車状態を確定する、装置。
前記第三確定ユニットは連続したビデオフレームにおける前記運転者の状態に基づいて状態転換タイミングを確定し、前記状態転換タイミング及び前記連続したビデオフレームにおける前記運転者の状態に基づいて、前記運転者の上下車状態を確定する、装置。
【請求項6】
請求項５に記載の装置であって、
前記連続したビデオフレームのうち、前記運転者の状態が第一状態の連続したビデオフレームの数が第五閾値よりも大きく、前記運転者の状態が第二状態の連続したビデオフレームの数が第六閾値よりも大きく、かつ、前記運転者の状態が前記第一状態の連続したビデオフレームと、前記運転者の状態が前記第二状態の連続したビデオフレームとが連続したものである場合に、前記第三確定ユニットは状態転換タイミングが存在すると確定する、装置。
前記連続したビデオフレームのうち、前記運転者の状態が第一状態の連続したビデオフレームの数が第五閾値よりも大きく、前記運転者の状態が第二状態の連続したビデオフレームの数が第六閾値よりも大きく、かつ、前記運転者の状態が前記第一状態の連続したビデオフレームと、前記運転者の状態が前記第二状態の連続したビデオフレームとが連続したものである場合に、前記第三確定ユニットは状態転換タイミングが存在すると確定する、装置。
【請求項7】
請求項５に記載の装置であって、
前記状態転換タイミングの直前の連続したビデオフレームにおける前記運転者の状態が第一状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレームにおける前記運転者の状態が第二状態である場合に、前記第三確定ユニットは前記運転者が上車状態にあると確定し、
前記状態転換タイミングの直前の連続したビデオフレームにおける前記運転者の状態が第二状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレームにおける前記運転者の状態が第一状態である場合に、前記第三確定ユニットは前記運転者が下車状態にあると確定する、装置。
前記状態転換タイミングの直前の連続したビデオフレームにおける前記運転者の状態が第一状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレームにおける前記運転者の状態が第二状態である場合に、前記第三確定ユニットは前記運転者が上車状態にあると確定し、
前記状態転換タイミングの直前の連続したビデオフレームにおける前記運転者の状態が第二状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレームにおける前記運転者の状態が第一状態である場合に、前記第三確定ユニットは前記運転者が下車状態にあると確定する、装置。
【請求項8】
請求項６に記載の装置であって、
ビデオの開始段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値は、ビデオの中間段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値と同じであり又は異なる、装置。
ビデオの開始段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値は、ビデオの中間段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値と同じであり又は異なる、装置。
【請求項9】
請求項６に記載の装置であって、
前記第五閾値と前記第六閾値は同じであり又は異なる、装置。
前記第五閾値と前記第六閾値は同じであり又は異なる、装置。
【請求項10】
記憶器、及び前記記憶器に接続される処理器を含むコンピュータ機器であって、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は、前記コンピュータプログラムを実行することで、
現在のビデオフレームにおける境界関心領域を確定し；
前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける運転者の状態を確定し；及び
連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定する
ことを含む方法を実現するように構成される、コンピュータ機器。
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は、前記コンピュータプログラムを実行することで、
現在のビデオフレームにおける境界関心領域を確定し；
前記境界関心領域及び前記現在のビデオフレームにおける運転者境界枠に基づいて、前記現在のビデオフレームにおける運転者の状態を確定し；及び
連続したビデオフレームにおける前記運転者の状態に基づいて前記運転者の上下車状態を確定する
ことを含む方法を実現するように構成される、コンピュータ機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理の技術分野に関する。
【背景技術】
【0002】
情報技術の発展に伴い、画像に基づく目標（ターゲット）検出技術が益々広く採用されている。例えば、ビデオ監視の分野では、目標検出技術を使用してビデオフレーム内の目標を検出することで、目標の境界ボックス（境界枠）情報を取得し、あるいは、目標のキーポイント（ｋｅｙｐｏｉｎｔ）情報を取得することができる。ここでのキーポイントは例えば、目標人物（対象者）の骨格（スケルトン）の１８個のキーポイント、即ち、首、鼻、左肩、右肩、左腰、右腰、左目、右目、左肘、右肘、左膝、右膝、左耳、右耳、左手首、右手首、左足首及び右足首を含む。
【0003】
なお、上述の背景技術についての紹介は、本発明の技術案を明確かつ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
発明者が次のようなことを発見した。即ち、一般的な画像について、骨格検出モデルは正常に機能し得るが、魚眼画像について、骨格検出の精度が低い。また、運転者上下車状態の従来の判断方法は運転者の骨格の各部分の間の位置関係の規則（ルール）に基づいており、該判断方法は仕組みが複雑であり、実施が難しい。よって、より一般的な判断方法についての更なる研究が必要である。
【0005】
上述の問題点のうちの少なくとも１つ又は他の類似した問題点に鑑み、本発明の目的は、検出精度を向上させることができる運転者上下車状態判断方法と装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の実施例の１つの側面によれば、運転者上下車状態判断装置が提供され、前記装置は、
現在のビデオフレーム内の境界関心領域を確定する第一確定ユニット；
前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定する第二確定ユニット；及び
連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する第三確定ユニットを含む。
現在のビデオフレーム内の境界関心領域を確定する第一確定ユニット；
前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定する第二確定ユニット；及び
連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する第三確定ユニットを含む。
【0007】
本発明の実施例のもう１つの側面によれば、コンピュータ機器が提供され、それは記憶器及び処理器を含み、前記記憶器にはコンピュータプログラムが記憶されており、前記処理器は前記コンピュータプログラムを実行することで次のような方法を実現するように構成され、即ち、
現在のビデオフレーム内の境界関心領域を確定し；
前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定し；及び
連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定することを含む方法である。
現在のビデオフレーム内の境界関心領域を確定し；
前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定し；及び
連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定することを含む方法である。
【発明の効果】
【0008】
本発明の実施例により、キーポイント情報を必要とせず、車内ビデオに基づいて取得された目標境界枠情報のみを用いることで、運転者の上下車状態を判断することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施例の適用シナリオを示す図である。
【図2】本発明の実施例の適用シナリオを示す他の図である。
【図3】本発明の実施例における運転者上下車状態判断方法を示す図である。
【図4】本発明の実施例における方法により境界関心領域を確定することを示す図である。
【図5】本発明の実施例における方法により境界関心領域を確定することを示す他の図である。
【図6】本発明の実施例における方法により境界関心領域を確定することを示す他の図である。
【図7】本発明の実施例における方法により境界関心領域を確定することを示す他の図である。
【図8】本発明の実施例における方法により境界関心領域を確定することを示す他の図である。
【図9】本発明の実施例における方法により得られた境界関心領域を示す図である。
【図10】本発明の実施例における方法により得られた境界関心領域を示す他の図である。
【図11】連続したビデオフレーム内の運転者の状態を示す図である。
【図12】本発明の実施例における運転者上下車状態判断方法を示す他の図である。
【図13】本発明の実施例における方法による効果を表す例を示す図である。
【図14】本発明の実施例における方法による効果を表す例を示す他の図である。
【図15】本発明の実施例における運転者上下車状態判断装置を示す図である。
【図16】本発明の実施例における運転者上下車状態判断装置を示す他の図である。
【図17】本発明の実施例におけるコンピュータ機器を示す図である。
【図18】本発明の実施例におけるコンピュータ機器を示す他の図である。
【発明を実施するための形態】
【0010】
添付した図面及び以下の説明を参照することにより、本発明の前述及び他の特徴が明らかになる。なお、明細書及び図面では本発明の特定の実施例を開示するが、それらは本発明の原理を採用し得る一部のみの実施例を示し、理解すべきは、本発明は記載される実施例に限定されず、即ち、本発明は添付する特許請求の範囲に属するすべての変更、変形及び代替によるものをも含むということである。
【0011】
本発明の実施例では、適用シナリオがフォークリフトであることを例にとり、かつフォークリフトの天井におけるドライブレコーダーにより撮影された３６０°カメラヘッド画像（即ち、魚眼画像）を例にとる。しかし、本発明はこれに限られず、本発明の実施例の適用シナリオは他の車両であっても良く、また、本発明の実施例に係るビデオ画像は他のカメラヘッドにより取得されても良く、該カメラヘッドは車内に設置されても良く、又は、車外、例えば、道路脇の電柱などに設置されても良い。
【0012】
図１及び図２は本発明の実施例の２つの適用シナリオを示す図である。そのうち、図１はカウンター式フォークリフト（ｃｏｕｎｔｅｒ ｆｏｒｋｌｉｆｔ）であり、左側の矩形枠はハンドル（把手）境界ボックス（ｈａｎｄｌｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）であり、右側の矩形枠はステアリングホイール境界ボックス（ｓｔｅｅｒｉｎｇ ｂｏｕｎｄｉｎｇ ｂｏｘ）である。図２はリーチ式フォークリフト（ｒｅａｃｈ ｆｏｒｋｌｉｆｔ）であり、同様に、左側の矩形枠はハンドル境界ボックス（ｈａｎｄｌｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）であり、右側の矩形枠はステアリングホイール境界ボックス（ｓｔｅｅｒｉｎｇ ｂｏｕｎｄｉｎｇ ｂｏｘ）である。また、本発明は境界ボックスの取得方式について限定せず、ビデオフレームに対して目標検出を行うことで取得することができ、例えば、目標検出器により検出することで取得することができ、また、従来の目標検出方法モデル、ネットワークなどはすべて本発明に適用することができ、あるいは、例えば、目標検出器により目標境界ボックスを検出することができない場合に、又は、検出された目標境界ボックスの信頼度が低すぎる場合に、事前設定することもできる。
【0013】
以下、図面と併せて本発明の様々な実施例について詳しく説明する。
【0014】
【0015】
３０１：現在のビデオフレーム内の境界関心領域（ｂｏａｒｄｉｎｇ ＲＯＩ）を確定し；
３０２：前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定し；及び
３０３：連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する。
３０２：前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定し；及び
３０３：連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する。
【0016】
なお、上述の図３は本発明の実施例を例示的に説明するためのものであるが、本発明はこれに限られない。例えば、各操作（ステップ）間の実行順序を適切に調整したり、幾つかの操作を増減したりすることができる。当業者は上述の図３の記載に限られず、上述の内容をもとに適切な変形を行うことができる。
【0017】
上述の実施例により、キーポイント情報を必要とせず、車内ビデオに基づいて取得された目標境界枠情報のみを用いることで、運転者の上下車状態を判断することができる。
【0018】
本発明の実施例において、ステップ３０１では、境界関心領域は運転者の上下車動作に関する領域であり、現在のビデオフレームに基づいて生成されても良く、現在のビデオフレーム内のステアリングホイールの位置及び／又は把手の位置に基づいて生成されても良い。ただし、本発明はこれに限定されず、異なるシナリオにおいて、運転者の上下車動作に関する部位（領域）は異なっても良く、例えば、幾つかのシナリオの場合に、フットペダルも運転者の上下車動作に関連している可能性があり、この場合に、該境界関心領域は運転者の上下車動作に関する他の部位（領域）に基づいて生成されても良い。
【0019】
幾つかの実施例において、境界関心領域は現在のビデオフレーム内のステアリングホイール境界枠及び把手境界枠に基づいて確定される。
【0020】
例えば、該境界関心領域はステアリングホイール境界枠を取り囲む領域であり、かつ、該境界関心領域は把手境界枠の所定位置に所在し、例えば、把手境界枠の左上隅に位置しても良く、具体的には、運転者のオペレーティング（作業）シナリオ及び／又は画像取得装置（例えば、ドライブレコーダー、カメラヘッドなど）の所在する位置に依存する。また、例えば、該境界関心領域はステアリングホイール境界枠と把手境界枠との間にあっても良い。
【0021】
カウンター式フォークリフトを例にとり、図４に示すように、運転者が点線矢印で指示される方向に沿って該カウンター式フォークリフトへ移動するときに、該境界関心領域４０はステアリングホイール境界枠４１を取り囲む領域であり、かつ、該境界関心領域４０は把手境界枠４２の右下隅に位置しても良い。図５に示すように、運転者が点線矢印で指示される方向に沿って該カウンター式フォークリフトへ移動するときに、該境界関心領域５０はステアリングホイール境界枠５１を取り囲む領域であり、かつ、該境界関心領域５０は把手境界枠５２の左上隅に所在しても良い。
【0022】
リーチ式フォークリフトを例にとり、図６に示すように、運転者が点線矢印で指示される方向に沿って該リーチ式フォークリフトへ移動するときに、該境界関心領域６０はステアリングホイール境界枠６１と把手境界枠６２との間に位置しても良い。図７に示すように、運転者が点線矢印で指示される方向に沿って該リーチ式フォークリフトへ移動するときに、該境界関心領域７０はステアリングホイール境界枠７１と把手境界枠７２との間にあっても良い。
【0023】
上述の実施例では、境界関心領域４０、５０がステアリングホイール境界枠４１、５１を取り囲むことを記載しており、ここでの「取り囲む」とは、完全に取り囲むことを指しても良く、部分的に取り囲むことを指しても良く、例えば、境界関心領域４０、５０とステアリングホイール境界枠４１、５１との重畳（オーバーラップ）面積がステアリングホイール境界枠４１、５１の面積に占める割合が所定値（閾値）、例えば、９０％以上である場合に、境界関心領域４０、５０がステアリングホイール境界枠４１、５１を取り囲むと見なす。
【0024】
上述の実施例では、境界関心領域４０、５０、６０、７０と把手境界枠４２、５２、６２、７２との間の位置関係を記載しているが、ここでの位置関係は相対的なものであり、両者間は重畳があっても良く、重畳が無くても良く、重畳がない場合に、両者間の距離は非常に小さくても良く、例えば、０であり、即ち、両者は互いに隣接し、又は、０よりも大きくても良く、即ち、両者間は所定の距離（例えば、所定値（閾値）以下の距離）がある。なお、本発明では両者が重畳している場合の両者間の重畳面積及び両者が重畳しない場合の両者間の距離について限定しない。
【0025】
他の実施例において、境界関心領域は現在のビデオフレーム内のステアリングホイール境界枠に基づいて確定される。
【0026】
例えば、該境界関心領域はステアリングホイール境界枠及び現在のビデオフレームの中心点を取り囲み、かつ、該境界関心領域の高さは事前設定の第一閾値よりも小さく、該境界関心領域の幅は事前設定の第二閾値よりも小さくても良い。即ち、該境界関心領域はステアリングホイール境界枠及び現在のビデオフレームの中心点を取り囲む、所定の高さ及び幅を有する１つの領域であっても良い。
【0027】
カウンター式フォークリフト又はリーチ式フォークリフトを例にとり、図８に示すように、境界関心領域８０はステアリングホイール境界枠８１及び現在のビデオフレームの中心点Ｏを取り囲み、図８の例では、現在のビデオフレームの中心点Ｏはステアリングホイール境界枠８１の中心と一致していないが、本発明はこれに限定されない。
【0028】
上述の実施例では、高さ閾値（即ち、第一閾値）及び幅閾値（即ち、第二閾値）を事前設定し、高さが第一閾値よりも小さく、幅が第二閾値よりも小さく、かつステアリングホイール境界枠８１及び現在のビデオフレームの中心点Ｏを取り囲む領域を境界関心領域８０とする。
【0029】
上述の実施例では、第一閾値及び第二閾値の値について限定せず、ステアリングホイール境界枠の面積に基づいて設定されても良く、現在のビデオフレームの面積に基づいて設定されても良く、又は、他のファクターを考慮して設定されても良く、例えば、ステアリングホイール境界枠と現在のビデオフレームの中心点との間の関係に基づいて設定されても良い。
【0030】
他の幾つかの実施例において、境界関心領域は現在のビデオフレームに基づいて確定される。
【0031】
例えば、該境界関心領域は現在のビデオフレームの中心点を取り囲み、かつ、該境界関心領域の高さは事前設定の第三閾値よりも小さく、該境界関心領域の幅は事前設定の第四閾値よりも小さい。即ち、該境界関心領域は現在のビデオフレームの中心点を取り囲む、所定の高さ及び幅を有する１つの領域であっても良い。
【0032】
上述の実施例では、高さ閾値（即ち、第三閾値）及び幅閾値（即ち、第四閾値）を事前設定し、高さが第三閾値よりも小さく、幅が第四閾値よりも小さく、かつ現在のビデオフレームの中心点を取り囲む領域を境界関心領域とする。
【0033】
上述の実施例では、第三閾値及び第四閾値の値について限定せず、現在のビデオフレームの面積に基づいて設定されても良く、他のファクターを考慮して設定されても良く、例えば、ステアリングホイール境界枠、把手境界枠及び現在のビデオフレームの中心点の間の関係に基づいて設定されても良い。
【0034】
上述の各実施例では、ステアリングホイール境界枠及び把手境界枠の取得方式について限定せず、任意の目標検出方法により該ステアリングホイール境界枠及び把手境界枠を得ても良く、又は、事前定義の方式で該ステアリングホイール境界枠及び把手境界枠を得ても良い。具体的には関連技術を参照することができ、ここではその詳しい説明を省略する。
【0035】
図９は本発明の実施例における方法により得られた境界関心領域を示す図である。図９の例では、カウンター式フォークリフトを例にとり、そのうち、境界枠９０は本発明の実施例における方法により確定された境界関心領域であり、境界枠９１は運転者境界枠である。図１０は本発明の実施例における方法により得られた境界関心領域を示す他の図である。図１０の例では、リーチ式フォークリフトを例にとり、そのうち、境界枠１００は本発明の実施例における方法により確定された境界関心領域であり、境界枠１０１は運転者境界枠である。
【0036】
本発明の実施例において、ステップ３０２では、運転者の上下車動作に関連している運転者の状態を定義することができ、例えば、運転者がフォークリフトから離れた（フォークリフト外にいる）状態をｓｔａｔｅ ０と定義し、第一状態といい、運転者がフォークリフト内にいる状態をｓｔａｔｅ １と定義し、第二状態という。これにより、ステップ３０１で確定された境界関心領域と運転者境界枠との間の関係に基づいて現在のビデオフレーム内の運転者の状態が第一状態であるか、それとも第二状態であるかを確定することができる。
【0037】
例えば、運転者境界枠が境界関心領域と重畳しない場合に、現在のビデオフレームにおける運転者の状態が第一状態であると見なし、即ち、現在のビデオフレームにおいて、運転者はフォークリフトから離れた（降りた）状態にある。また、例えば、運転者境界枠が境界関心領域と重畳している場合に、現在のビデオフレームにおける運転者の状態が第二状態であると見なし、即ち、現在のビデオフレームにおいて、運転者はフォークリフト内に所在する状態にある。
【0038】
なお、上述の２つの状態は例示に過ぎず、ニーズに応じて、運転者の上下車動作に関連しているより多くの状態を、後続の運転者上下車状態の判定のために定義しても良い。
【0039】
上述の実施例では、運転者境界枠の取得方式について限定せず、ステアリングホイール境界枠及び把手境界枠と同様に、任意の目標検出方法で該運転者境界枠を得ても良く、事前定義の方式で該運転者境界枠を得ても良い。具体的には関連技術を参照することができ、ここではその詳しい説明を省略する。
【0040】
本発明の実施例において、運転者の上下車動作が連続したものであるため、ステップ３０３では、連続したビデオフレーム内の運転者の状態に基づいて定運転者の上下車状態を確定することができる。
【0041】
例えば、先に、連続したビデオフレーム内の運転者の状態に基づいて状態転換（変化）タイミング（ｃｈａｎｇｉｎｇ ｔｉｍｉｎｇ）を確定し、即ち、運転者状態の変化が発生したかを確定し、例えば、アウェイ（ａｗａｙ）状態からイン（ｉｎ）状態に変わり、又は、イン（ｉｎ）状態からアウェイ（ａｗａｙ）状態に変わることを確定し、次に、該状態転換タイミング及び該連続したビデオフレーム内の運転者の状態に基づいて、運転者の上下車状態を確定し、即ち、運転者が上車したか、それとも下車したかを確定する。
【0042】
上述の実施例では、状態転換タイミングの確定は例えば次のとおりであり、即ち、連続したビデオフレームのうち、運転者の状態が第一状態の連続したビデオフレーム（第一連続ビデオフレームという）の数が第五閾値よりも大きく、運転者の状態が第二状態の連続したビデオフレーム（第二連続ビデオフレームという）の数が第六閾値よりも大きく、かつ、第一連続ビデオフレームと第二連続ビデオフレームとが連続したものである場合に、状態転換タイミングが存在すると見なす。
【0043】
図１１は連続したビデオフレーム内の運転者の状態を示す図である。
【0044】
図１１の上の連続したビデオフレームに示すように、第一連続ビデオフレーム（状態がｓｔａｔｅ ０の連続したビデオフレーム）の数がｎ１（第五閾値）以上であり、第二連続ビデオフレーム（状態がｓｔａｔｅ １の連続したビデオフレーム）の数がｎ２（第六閾値）以上であり、かつ第一連続ビデオフレームと第二連続ビデオフレームとが連続したものであるので、状態転換タイミングが存在すると見なす。
【0045】
図１１の下の連続したビデオフレームに示すように、第一連続ビデオフレーム（状態がｓｔａｔｅ ０の連続したビデオフレーム）の数がｎ４（第五閾値）以上であり、第二連続ビデオフレーム（状態がｓｔａｔｅ １の連続したビデオフレーム）の数がｎ３以上であり、かつ第一連続ビデオフレームと第二連続ビデオフレームとが連続したものであるので、状態転換タイミングが存在すると見なす。
【0046】
上述の実施例では、状態転換タイミングを確定した後に、該状態転換タイミング及び該連続したビデオフレーム内の運転者の状態に基づいて、運転者の上下車状態を確定することができ、即ち、運転者が上車したか、それとも下車したかを確定することができる。
【0047】
例えば、図１１の上に示すように、状態転換タイミングの直前の連続したビデオフレーム内の運転者の状態が第一状態であり、かつ、状態転換タイミングの直後の連続したビデオフレーム内の運転者の状態が第二状態である場合に、運転者が上車状態にあると確定する。
【0048】
また、例えば、図１１の下に示すように、状態転換タイミングの直前の連続したビデオフレーム内の運転者の状態が第二状態であり、かつ、状態転換タイミングの直後の連続したビデオフレーム内の運転者の状態が第一状態である場合に、運転者が下車状態にあると確定する。
【0049】
上述の実施例では、ビデオの開始段階及びビデオの中間段階において、運転者が上下車する過程がビデオフレーム内に反映されているので、同じ状態の連続したビデオフレームの数は異なり、例えば、ビデオの開始段階では運転者の状態がｓｔａｔｅ ０のビデオフレームの数が比較的少なく、ビデオの中間段階では、運転者の状態がｓｔａｔｅ ０のビデオフレームの数が比較的多い。よって、本発明ではビデオの段階について上述の第五閾値及び上述の第六閾値の値を設定することができる。
【0050】
例えば、ビデオの開始段階の連続したビデオフレームに対応する第五閾値及び第六閾値は、ビデオの中間段階の連続したビデオフレームに対応する第五閾値及び第六閾値とは異なる。これにより、検出精度をさらに向上させることができるため、判断の正確さをさらに向上させることができる。ただし、本発明はこれに限定されず、上述の第五閾値及び第六閾値はビデオの段階について設定されず、統一した値に設定されても良く、例えば、ビデオの開始段階であれ、ビデオの中間段階であれ、すべて、１つの固定した第五閾値及び１つの固定した第六閾値を設定することで、操作（処理）を簡素化することができる。
【0051】
上述の実施例では、第五閾値と第六閾値の値は同じであっても良く、異なっても良く、また、ビデオの異なる段階で同じであって良く、ビデオの異なる段階で異なっても良い。
【0052】
【0053】
１２０１：入力されたビデオフレーム／ピクチャがネットワークモデルに進入し；
１２０２：人物の骨架のキーポイントを生成し；
１２０３：運転者を認識（識別）し；
１２０４：運転者の状態を定義し；
１２０５：状態転換タイミングを見つけ；及び
１２０６：上下車イベントを確認する。
１２０２：人物の骨架のキーポイントを生成し；
１２０３：運転者を認識（識別）し；
１２０４：運転者の状態を定義し；
１２０５：状態転換タイミングを見つけ；及び
１２０６：上下車イベントを確認する。
【0054】
なお、上述の図１２は本発明の実施例を例示的に説明するためのものであるが、本発明はこれに限られない。例えば、各操作（ステップ）間の実行順序を適切に調整したり、幾つかの操作を増減したりすることができる。当業者は上述の図１２の記載に限られず、上述の内容をもとに適切な変形を行うことができる。
【0055】
例えば、ステップ１２０２はオプションであり、また、例えば、ステップ１２０４における運転者の状態は事前設定されても良く、また、例えば、境界関心領域を確定するステップを増加させても良い。
【0056】
図１３は本発明の実施例における方法による効果を表す例を示す図である。図１３の例では、カウンター式フォークリフトを例にとり、図１３に示すように、第五閾値が１４、第六閾値が１５、運転者境界枠が１３０、境界関心領域が１３１であるとする。
【0057】
第１１４２フレーム（１１４２番目のフレーム）（図１３の左側）で運転者の状態が“ｓｔａｔｅ １”であると検出されており、即ち、運転者がフォークリフト内に所在し、かつその直後の１４フレーム（第１１４３フレームから第１１５６フレーム）で検出された運転者の状態が終始“ｓｔａｔｅ １”であり、即ち、計１５フレームにおいて運転者がフォークリフト内に所在し；第１１５７フレーム（図１３の中間）で運転者の状態が“ｓｔａｔｅ ０”であると検出されており、即ち、運転者がフォークリフト外に所在し、かつその直後の１３フレーム（第１１５８フレームから第１１７０フレーム）で検出された運転者の状態が終始“ｓｔａｔｅ ０”であり、即ち、計１４フレームにおいて運転者がフォークリフト外に所在し；第１１７１フレーム（図１３の右側）で運転者が検出されていない。この場合に、本発明の実施例における方法により、状態転換タイミングが存在すると確定し、即ち、第１１５７フレームに状態転換タイミングがあると確定し、かつ運転者が下車状態にあると確定することができる。
【0058】
図１４は本発明の実施例における方法による効果を表す例を示す他の図である。図１４の例では、リーチ式フォークリフトを例にとり、図１４に示すように、第五閾値が１５、第六閾値が１５、運転者境界枠が１４０、境界関心領域が１４１であるとする。
【0059】
第９４３フレーム（図１４の左側）で運転者の状態が“ｓｔａｔｅ ０”であることが検出されており、即ち、運転者がフォークリフト外に所在し、かつその直後の１５フレーム（第９４４フレームから第９５７フレーム）で検出された運転者の状態が終始“ｓｔａｔｅ ０”であり、即ち、計１６フレームにおいて運転者がフォークリフト外に所在し；第９５８フレーム（図１４の中間）で運転者の状態が“ｓｔａｔｅ １”であることが検出されており、即ち、運転者がフォークリフト内に所在し、かつその直後の１４フレーム（第９５９フレームから第９７１フレーム）で検出された運転者の状態が終始“ｓｔａｔｅ １”であり、即ち、計１５フレームにおいて運転者がフォークリフト内に所在し；第９７２フレーム（図１４の右側）で運転者が検出されていない。この場合に、本発明の実施例における方法により、状態転換タイミングが存在すると確定し、即ち、第９５８フレームに状態転換タイミングがあると確定し、かつ運転者が上車状態にあると確定することができる。
【0060】
なお、上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限定されず、さらに、上述の各実施例をもとに適切な変形を行うこともできる。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。
【0061】
本発明の実施例により、キーポイント情報を必要とせず、車内ビデオに基づいて取得された目標境界枠情報のみを用いることで、運転者の上下車状態を判断することができる。
【0062】
＜第二側面の実施例＞
本発明の実施例では運転者上下車状態判断装置が提供され、該装置が問題を解決する原理は第一側面の実施例と同じであり、ここでは第一側面の実施例と同じ内容の説明を省略する。
本発明の実施例では運転者上下車状態判断装置が提供され、該装置が問題を解決する原理は第一側面の実施例と同じであり、ここでは第一側面の実施例と同じ内容の説明を省略する。
【0063】
【0064】
第一確定ユニット１５０１：現在のビデオフレーム内の境界関心領域を確定し；
第二確定ユニット１５０２：前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の前記運転者の状態を確定し；及び
第三確定ユニット１５０３：連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する。
第二確定ユニット１５０２：前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の前記運転者の状態を確定し；及び
第三確定ユニット１５０３：連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する。
【0065】
幾つかの実施例において、第一確定ユニット１５０１は現在のビデオフレーム内のステアリングホイール境界枠及び把手境界枠に基づいて、又は、現在のビデオフレーム内のステアリングホイール境界枠に基づいて、又は、現在のビデオフレームに基づいて境界関心領域を確定する。
【0066】
幾つかの実施例において、境界関心領域はステアリングホイール境界枠を取り囲み、かつ、境界関心領域は前記把手境界枠の所定位置に所在する。
【0067】
幾つかの実施例において、境界関心領域はステアリングホイール境界枠と把手境界枠との間にある。
【0068】
幾つかの実施例において、境界関心領域はステアリングホイール境界枠、及び現在のビデオフレームの中心点を取り囲み、かつ、境界関心領域の高さは事前設定の第一閾値よりも小さく、境界関心領域の幅は事前設定の第二閾値よりも小さい。
【0069】
幾つかの実施例において、境界関心領域は現在のビデオフレームの中心点を取り囲み、かつ、境界関心領域の高さは事前設定の第三閾値よりも小さく、境界関心領域の幅は事前設定の第四閾値よりも小さい。
【0070】
幾つかの実施例において、運転者境界枠が前記境界関心領域と重畳しない場合に、第二確定ユニット１５０２は運転者の現在のビデオフレームにおける状態が第一状態であると確定し、運転者境界枠が境界関心領域と重畳している場合に、第二確定ユニット１５０２は運転者の現在のビデオフレームの状態が第二状態であると確定する。
【0071】
幾つかの実施例において、第三確定ユニット１５０３は連続したビデオフレーム内の運転者の状態に基づいて状態転換タイミングを確定し、そして、該状態転換タイミング及び連続したビデオフレーム内の運転者の状態に基づいて、運転者の上下車状態を確定する。
【0072】
例えば、連続したビデオフレームのうち、運転者の状態が第一状態の連続したビデオフレームの数が第五閾値よりも大きく、運転者の状態が第二状態の連続したビデオフレームの数が第六閾値よりも大きく、かつ、運転者の状態が第一状態の連続したビデオフレームと、運転者の状態が第二状態の連続したビデオフレームとが連続したものである場合に、第三確定ユニット１５０３は状態転換タイミングが存在すると確定する。
【0073】
例えば、状態転換タイミングの直前の連続したビデオフレーム内の運転者の状態が第一状態であり、かつ、状態転換タイミングの直後の連続したビデオフレーム内の運転者の状態が第二状態である場合に、第三確定ユニット１５０３は運転者が上車状態にあると確定し、また、状態転換タイミングの直前の連続したビデオフレーム内の運転者の状態が第二状態であり、かつ、状態転換タイミングの直後の連続したビデオフレーム内の運転者の状態が第一状態である場合に、第三確定ユニット１５０３は運転者が下車状態にあると確定する。
【0074】
本発明の実施例において、ビデオの開始段階の連続したビデオフレームに対応する第五閾値及び第六閾値は、ビデオの中間段階の連続したビデオフレームに対応する第五閾値及び第六閾値と同じであり又は異なる。
【0075】
本発明の実施例において、上述の第五閾値と上述の第六閾値は同じであり又は異なる。
【0076】
【0077】
検出モジュール１６０１：入力されたビデオフレームに対して目標検出を行い、前記ビデオフレーム内の目標境界枠、目標人物キーポイントなどを取得し；及び
識別モジュール１６０２：現在のビデオフレーム内の境界関心領域を確定し、前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の前記運転者の状態を確定し、そして、連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する。
識別モジュール１６０２：現在のビデオフレーム内の境界関心領域を確定し、前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の前記運転者の状態を確定し、そして、連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定する。
【0078】
上述の実施例では、識別モジュール１６０２は図１５の運転者上下車状態判断装置により実現されても良く、かつ第一側面の実施例における運転者上下車状態判断方法を実現することができ、第一側面の実施例の内容はここに合併され、ここではその詳しい説明を省略する。
【0079】
なお、以上、本発明に関連している各部品又はモジュールのみについて説明しているが、本発明はこれらに限定されない。運転者上下車状態判断装置１５００、１６００はさらに、他の部品又はモジュールを含んでも良く、これらの部品又はモジュールの具体的な内容については関連技術を参照することができる。
【0080】
便宜のため、図１５及び図１６には各部品又はモジュールの間の接続関係又は信号方向のみが示されているが、当業者が理解できるように、バス接続などの様々な関連技術を採用しても良い。また、上述の各部品又はモジュールは例えば、処理器、記憶器などのハードウェアにより実現されても良く、本発明の実施例ではこれについて限定してない。
【0081】
上述の各実施例は本発明の実施例を例示的に説明するためのものであるが、本発明はこれらに限定されず、さらに、上述の各実施例をもとに適切な変形を行うこともできる。例えば、上述の各実施例を単独で使用しても良く、上述の各実施例のうちの複数を組み合わせて使用しても良い。
【0082】
本発明の実施例により、キーポイント情報を必要とせず、車内ビデオに基づいて取得された目標境界枠情報のみを用いることで、運転者の上下車状態を判断することができる。
【0083】
＜第三側面の実施例＞
本発明の実施例ではコンピュータ機器が提供され、それは第二側面の実施例に記載の運転者上下車状態判断装置１５００、１６００を含み、その内容はここに合併される。該コンピュータ機器は例えば、コンピュータ、サーバー、ワークステーション、ノートパソコン、スマートフォンなどであっても良いが、本発明の実施例はこれらに限定されない。
本発明の実施例ではコンピュータ機器が提供され、それは第二側面の実施例に記載の運転者上下車状態判断装置１５００、１６００を含み、その内容はここに合併される。該コンピュータ機器は例えば、コンピュータ、サーバー、ワークステーション、ノートパソコン、スマートフォンなどであっても良いが、本発明の実施例はこれらに限定されない。
【0084】
図１７は本発明の実施例におけるコンピュータ機器を示す図である。図１７に示すように、該コンピュータ機器１７００は処理器（例えば、中央処理器ＣＰＵ）１７０１及び記憶器１７０２を含んでも良く、記憶器１７０２は中央処理器１７０１に接続される。そのうち、該記憶器１７０２は様々なデータを記憶可能であり、また、情報処理用のプログラムを記憶することも可能であり、かつ処理器１７０１の制御下で該プログラムを実行することができる。また、該コンピュータ機器１７００はさらに、通信インターフェース１７１０を含み、それは外部とデータを交換するために用いられ、例えば、通信インターフェース１７１０を介して画像取得装置（例えば、ドライブレコーダー、カメラヘッドなど）からビデオデータを取得し、また、例えば、通信インターフェース１７１０を介して判断結果を外部機器に送信する。
【0085】
幾つかの実施例において、運転者上下車状態判断装置１５００、１６００の機能は処理器１７０１に集積して実現される。そのうち、処理器１７０１は第一側面の実施例に記載の運転者上下車状態判断方法を実行するように構成される。
【0086】
幾つかの実施例において、運転者上下車状態判断装置１５００、１６００は処理器１７０１と別々で配置され、例えば、運転者上下車状態判断装置１５００、１６００は処理器１７０１に接続されるチップとして構成され、処理器１７０１の制御により運転者上下車状態判断装置１５００、１６００の機能を実現しても良い。
【0087】
図１８は本発明の実施例におけるコンピュータ機器を示すもう１つの図である。図１８に示すように、コンピュータ機器１７００はさらに、入出力インターフェース１７０３、入力装置１７０４、出力装置１７０５、記憶装置１７０６、通信装置１７０７、ドライブ１７０８、取り外し可能な媒体１７０９などを含んでも良く、そのうち、これらの部品の機能は従来と同様であり、ここではその詳しい説明を省略する。なお、コンピュータ機器１７００は図１８に示すすべての部品を含む必要がない。また、コンピュータ機器１７００はさらに図１８に示されていない部品を有しても良く、これについては関連技術を参照することができる。
【0088】
本発明の実施例ではコンピュータ可読プログラムがさらに提供され、そのうち、電子機器中で前記プログラムを実行するときに、前記プログラムはコンピュータに、前記コンピュータ機器中で第一側面の実施例に記載の方法を実行させる。
【0089】
本発明の実施例ではコンピュータ可読プログラムを記憶した記憶媒体がさらに提供され、そのうち、前記コンピュータ可読プログラムはコンピュータに、コンピュータ機器中で第一側面の実施例に記載の方法を実行させる。
【0090】
また、上述の装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明はさらに、下記のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に上述の装置又は構成部品を実現させ、又は、該ロジック部品に上述の様々なの方法又はステップを実現させる。ロジック部品は例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、マイクロプロセッサ、コンピュータに用いる処理器などであっても良い。本発明はさらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、ＤＶＤ、フラッシュメモリなどにも関する。
【0091】
さらに、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本明細書に記載の機能を実行するための汎用処理器、デジタル信号処理器（ＤＳＰ）、特定用途向け集積回パス（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組み合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせはさらに、計算装置の組み合わせ、例えば、ＤＳＰ及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意の構成の組み合わせとして構成されても良い。
【0092】
また、上述の実施例などに関し、さらに、以下のような付記を開示する。
【0093】
（付記１）
運転者上下車状態判断方法であって、
Ｓ１：現在のビデオフレーム内の境界関心領域（ｂｏａｒｄｉｎｇ ＲＯＩ）を確定し；
Ｓ２：前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定し；及び
Ｓ３：連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定することを含む、方法。
運転者上下車状態判断方法であって、
Ｓ１：現在のビデオフレーム内の境界関心領域（ｂｏａｒｄｉｎｇ ＲＯＩ）を確定し；
Ｓ２：前記境界関心領域及び前記現在のビデオフレーム内の運転者境界枠に基づいて、前記現在のビデオフレーム内の運転者の状態を確定し；及び
Ｓ３：連続したビデオフレーム内の前記運転者の状態に基づいて前記運転者の上下車状態を確定することを含む、方法。
【0094】
（付記２）
付記１に記載の方法であって、
Ｓ１は、
前記現在のビデオフレーム内のステアリングホイール境界枠及び把手境界枠に基づいて前記境界関心領域を確定することを含む、方法。
付記１に記載の方法であって、
Ｓ１は、
前記現在のビデオフレーム内のステアリングホイール境界枠及び把手境界枠に基づいて前記境界関心領域を確定することを含む、方法。
【0095】
（付記３）
付記２に記載の方法であって、
前記境界関心領域は前記ステアリングホイール境界枠を取り囲み、かつ、前記境界関心領域は前記把手境界枠の所定位置に所在し；又は
前記境界関心領域は前記ステアリングホイール境界枠と前記把手境界枠との間に位置する、方法。
付記２に記載の方法であって、
前記境界関心領域は前記ステアリングホイール境界枠を取り囲み、かつ、前記境界関心領域は前記把手境界枠の所定位置に所在し；又は
前記境界関心領域は前記ステアリングホイール境界枠と前記把手境界枠との間に位置する、方法。
【0096】
（付記４）
付記１に記載の方法であって、
Ｓ１は、
現在のビデオフレーム内のステアリングホイール境界枠に基づいて前記境界関心領域を確定することを含む、方法。
付記１に記載の方法であって、
Ｓ１は、
現在のビデオフレーム内のステアリングホイール境界枠に基づいて前記境界関心領域を確定することを含む、方法。
【0097】
（付記５）
付記４に記載の方法であって、
前記境界関心領域は前記ステアリングホイール境界枠、及び前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第一閾値よりも小さく、前記境界関心領域の幅は事前設定の第二閾値よりも小さい、方法。
付記４に記載の方法であって、
前記境界関心領域は前記ステアリングホイール境界枠、及び前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第一閾値よりも小さく、前記境界関心領域の幅は事前設定の第二閾値よりも小さい、方法。
【0098】
（付記６）
付記１に記載の方法であって、
Ｓ１は、
前記現在のビデオフレームに基づいて前記境界関心領域を確定することを含む、方法。
付記１に記載の方法であって、
Ｓ１は、
前記現在のビデオフレームに基づいて前記境界関心領域を確定することを含む、方法。
【0099】
（付記７）
付記６に記載の方法であって、
前記境界関心領域は前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第三閾値よりも小さく、前記境界関心領域の幅は事前設定の第四閾値よりも小さい、方法。
付記６に記載の方法であって、
前記境界関心領域は前記現在のビデオフレームの中心点を取り囲み、かつ、前記境界関心領域の高さは事前設定の第三閾値よりも小さく、前記境界関心領域の幅は事前設定の第四閾値よりも小さい、方法。
【0100】
（付記８）
付記１に記載の方法であって、
Ｓ２は、
前記運転者境界枠が前記境界関心領域と重畳しない場合に、前記運転者の前記現在のビデオフレームにおける状態が第一状態（ｓｔａｔｅ ０）であると確定し；及び
前記運転者境界枠が前記境界関心領域と重畳している場合に、前記運転者の前記現在のビデオフレームにおける状態が第二状態（ｓｔａｔｅ １）であると確定することを含む、方法。
付記１に記載の方法であって、
Ｓ２は、
前記運転者境界枠が前記境界関心領域と重畳しない場合に、前記運転者の前記現在のビデオフレームにおける状態が第一状態（ｓｔａｔｅ ０）であると確定し；及び
前記運転者境界枠が前記境界関心領域と重畳している場合に、前記運転者の前記現在のビデオフレームにおける状態が第二状態（ｓｔａｔｅ １）であると確定することを含む、方法。
【0101】
（付記９）
付記１に記載の方法であって、
Ｓ３は、
Ｓ３１：連続したビデオフレーム内の前記運転者の状態に基づいて状態転換タイミング（ｔｉｍｉｎｇ）を確定し；及び
Ｓ３２：前記状態転換タイミング及び前記連続したビデオフレーム内の前記運転者の状態に基づいて、前記運転者の上下車状態を確定することを含む、方法。
付記１に記載の方法であって、
Ｓ３は、
Ｓ３１：連続したビデオフレーム内の前記運転者の状態に基づいて状態転換タイミング（ｔｉｍｉｎｇ）を確定し；及び
Ｓ３２：前記状態転換タイミング及び前記連続したビデオフレーム内の前記運転者の状態に基づいて、前記運転者の上下車状態を確定することを含む、方法。
【0102】
（付記１０）
付記９に記載の方法であって、
Ｓ３１は、
前記連続したビデオフレームのうち、前記運転者の状態が第一状態の連続したビデオフレームの数が第五閾値よりも大きく、前記運転者の状態が第二状態の連続したビデオフレームの数が第六閾値よりも大きく、かつ、前記運転者の状態が前記第一状態の連続したビデオフレームと、前記運転者の状態が前記第二状態の連続したビデオフレームとが連続したものである場合に、状態転換タイミングが存在すると確定することを含む、方法。
付記９に記載の方法であって、
Ｓ３１は、
前記連続したビデオフレームのうち、前記運転者の状態が第一状態の連続したビデオフレームの数が第五閾値よりも大きく、前記運転者の状態が第二状態の連続したビデオフレームの数が第六閾値よりも大きく、かつ、前記運転者の状態が前記第一状態の連続したビデオフレームと、前記運転者の状態が前記第二状態の連続したビデオフレームとが連続したものである場合に、状態転換タイミングが存在すると確定することを含む、方法。
【0103】
（付記１１）
付記９又は１０に記載の方法であって、
Ｓ３２は、
前記状態転換タイミングの直前の連続したビデオフレーム内の前記運転者の状態が第一状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレーム内の前記運転者の状態が第二状態である場合に、前記運転者が上車状態にあると確定し；及び
前記状態転換タイミングの直前の連続したビデオフレーム内の前記運転者の状態が第二状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレーム内の前記運転者の状態が第一状態である場合に、前記運転者が下車状態にあると確定する、方法。
付記９又は１０に記載の方法であって、
Ｓ３２は、
前記状態転換タイミングの直前の連続したビデオフレーム内の前記運転者の状態が第一状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレーム内の前記運転者の状態が第二状態である場合に、前記運転者が上車状態にあると確定し；及び
前記状態転換タイミングの直前の連続したビデオフレーム内の前記運転者の状態が第二状態であり、かつ、前記状態転換タイミングの直後の連続したビデオフレーム内の前記運転者の状態が第一状態である場合に、前記運転者が下車状態にあると確定する、方法。
【0104】
（付記１２）
付記１０に記載の方法であって、
ビデオの開始段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値は、ビデオの中間段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値と同じであり又は異なる、方法。
付記１０に記載の方法であって、
ビデオの開始段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値は、ビデオの中間段階の前記連続したビデオフレームに対応する前記第五閾値及び前記第六閾値と同じであり又は異なる、方法。
【0105】
（付記１３）
付記１０又は１２に記載の方法であって、
前記第五閾値と前記第六閾値は同じであり又は異なる、方法。
付記１０又は１２に記載の方法であって、
前記第五閾値と前記第六閾値は同じであり又は異なる、方法。
【0106】
（付記１４）
コンピュータ可読プログラムを記憶した記憶媒体であって、
前記コンピュータ可読プログラムはコンピュータに、電子機器中で付記１乃至１３のうちの任意の１項に記載の運転者上下車状態判断方法を実行させる、記憶媒体。
コンピュータ可読プログラムを記憶した記憶媒体であって、
前記コンピュータ可読プログラムはコンピュータに、電子機器中で付記１乃至１３のうちの任意の１項に記載の運転者上下車状態判断方法を実行させる、記憶媒体。
【0107】
以上、本発明の好ましい実施例を説明したが、本発明はこのような実施例に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】