特許 7314085 画像処理装置、コンピュータプログラム、および異常推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-14

(45)【発行日】2023-07-25

(54)【発明の名称】画像処理装置、コンピュータプログラム、および異常推定システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230718BHJP

   G06T 7/00 20170101ALI20230718BHJP

【ＦＩ】

G08G1/16 F

G06T7/00 660B

【請求項の数】 8

(21)【出願番号】P 2020048022

(22)【出願日】2020-03-18

(65)【公開番号】P2021149442

(43)【公開日】2021-09-27

【審査請求日】2022-08-26

(73)【特許権者】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】梶田 基貴

(72)【発明者】

【氏名】原田 久光

【審査官】高島 壮基

(56)【参考文献】

【文献】特開２０１９－１０５８７２（ＪＰ，Ａ）

【文献】特開２０１９－０８７１５０（ＪＰ，Ａ）

【文献】特開２０１６－２００９１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

移動体の運転者が写り込んだ画像に対応する画像情報を受け付ける受付部と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する処理部と、
を備えており、
前記処理部は、前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の上半身における複数の特徴点を特定し、
前記画像に写り込んだ前記複数の特徴点の間の前記移動体の上下方向に対応する方向における距離の減少量が閾値を上回る場合、前記姿勢が異常であると推定する、
画像処理装置。

【請求項2】

前記処理部は、前記距離の減少量が前記閾値を上回る場合、前記運転者が突っ伏し姿勢をとっていると推定する、
請求項１に記載の画像処理装置。

【請求項3】

前記処理部は、
前記画像に写り込んだ前記運転者の頭部の前記移動体のピッチ方向への回転角を特定し、
前記距離の減少量が前記閾値を上回り、かつ前記回転角が閾値を上回る場合、前記運転者が突っ伏し姿勢をとっていると推定する、
請求項１または２に記載の画像処理装置。

【請求項4】

前記複数の特徴点は、前記運転者の鼻と肩に対応している、
請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記複数の特徴点は、前記運転者の頭部中心と肩に対応している、
請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記移動体に搭載されるように構成されている、
請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

画像処理装置の処理部により実行可能なコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
移動体の運転者が写り込んだ画像に対応する画像情報を受け付けさせ、
前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の上半身における複数の特徴点を特定させ、
前記画像に写り込んだ前記複数の特徴点の間の前記移動体の上下方向に対応する方向における距離の減少量が閾値を下回る場合、前記運転者の姿勢が異常であると推定させる、
コンピュータプログラム。

【請求項8】

移動体の運転者が写り込んだ画像に対応する画像情報を出力する撮像装置と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する画像処理装置と、
前記画像処理装置により前記姿勢が異常であるとの推定結果に基づいて、前記移動体に搭載された被制御装置の動作を制御する制御装置と、
を備えており、
前記画像処理装置は、前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の上半身における複数の特徴点を特定し、
前記画像に写り込んだ前記複数の特徴点の間の前記移動体の上下方向に対応する方向における距離の減少量が閾値を下回る場合、前記姿勢が異常であると推定する、
異常推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の運転者が写り込んだ画像を処理する画像処理装置に関連する。本発明は、当該画像処理装置の処理部により実行されるコンピュータプログラムにも関連する。本発明は、前記画像に基づいて前記運転者の姿勢が異常であるかを推定する異常推定システムにも関連する。

【背景技術】

【0002】

特許文献１は、移動体の一例としての車両の運転者の姿勢の異常を検知する技術を開示している。姿勢の異常は、当該車両に搭載された撮像装置により取得された当該運転者が写り込んだ画像に基づいて推定される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１０５８７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、撮像装置により取得された画像に基づいてなされる移動体の運転者の姿勢異常の推定の確からしさを高めることである。

【課題を解決するための手段】

【0005】

上記の目的を達成するための一態様は、画像処理装置であって、
移動体の運転者が写り込んだ画像に対応する画像情報を受け付ける受付部と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する処理部と、
を備えており、
前記処理部は、前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の上半身における複数の特徴点を特定し、
前記画像に写り込んだ前記複数の特徴点の間の前記移動体の上下方向に対応する方向における距離の減少量が閾値を上回る場合、前記姿勢が異常であると推定する。

【0006】

上記の目的を達成するための一態様は、画像処理装置の処理部により実行可能なコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
移動体の運転者が写り込んだ画像に対応する画像情報を受け付けさせ、
前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の上半身における複数の特徴点を特定させ、
前記画像に写り込んだ前記複数の特徴点の間の前記移動体の上下方向に対応する方向における距離の減少量が閾値を下回る場合、前記運転者の姿勢が異常であると推定させる。

【0007】

上記の目的を達成するための一態様は、異常推定システムであって、
移動体の運転者が写り込んだ画像に対応する画像情報を出力する撮像装置と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する画像処理装置と、
前記画像処理装置により前記姿勢が異常であるとの推定結果に基づいて、前記移動体に搭載された被制御装置の動作を制御する制御装置と、
を備えており、
前記画像処理装置は、前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の上半身における複数の特徴点を特定し、
前記画像に写り込んだ前記複数の特徴点の間の前記移動体の上下方向に対応する方向における距離の減少量が閾値を下回る場合、前記姿勢が異常であると推定する。

【0008】

例えば国土交通省により定義されている「突っ伏し姿勢」のように、撮像装置により取得される画像に顔が写りこみにくくなる異常姿勢が存在する。この場合、顔の向きや位置に基づいて異常姿勢の推定を行なうことが困難になりうる。しかしながら、上記の各態様に係る構成においては、正常姿勢からの逸脱に伴って移動体の上下方向における距離が減少する複数の特徴点を運転者の上半身から選ぶことにより、顔の向きや位置が異常姿勢の推定に及ぼす影響を抑制している。これにより、撮像装置により取得された画像に基づいてなされる運転者の姿勢異常の推定の確からしさを高めることができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る異常推定システムの機能構成を例示している。

【図2】図１の異常推定システムが搭載されうる車両を例示している。

【図3】図１の画像処理装置により実行される処理の流れを例示している。

【図4】図１の撮像装置により取得されうる画像を例示している。

【図5】図４の画像に骨格モデルが適用された状態を例示している。

【図6】「突っ伏し姿勢」を説明するための図である。

【図7】図３の姿勢推定処理の流れの一例を示している。

【図8】姿勢推定処理の詳細を説明するための図である。

【図9】姿勢推定処理の詳細を説明するための図である。

【図10】車両のピッチ方向への頭部の回転角を特定する手法を例示している。

【図11】左方への「横倒れ姿勢」を説明するための図である。

【図12】右方への「横倒れ姿勢」を説明するための図である。

【発明を実施するための形態】

【0010】

添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。図１は、一実施形態に係る異常推定システム１０の機能構成を例示している。異常推定システム１０は、図２に例示される車両２０の運転者３０が写り込んだ画像に基づいて、運転者３０の姿勢が異常であるかを推定するシステムである。車両２０は、移動体の一例である。

【0011】

姿勢の異常は、運転者３０の異常を検知するために推定される。本明細書において用いられる「運転者の異常」という語は、予め予測することが困難な体調の急変を意味する。

【0012】

添付の図面において、矢印Ｆは、運転者３０から見た前方向を表している。矢印Ｂは、運転者３０から見た後方向を表している。矢印Ｌは、運転者３０から見た左方向を表している。矢印Ｒは、運転者３０から見た右方向を表している。矢印Ｕは、運転者３０から見た上方向を表している。矢印Ｄは、運転者３０から見た下方向を表している。

【0013】

図１に例示されるように、異常推定システム１０は、撮像装置１１を含んでいる。撮像装置１１は、車両２０における適宜の箇所に配置される。図２に例示される車両２０の車室２１内に配置されたシート２２に着座した運転者３０が、撮像装置１１による撮像に供される。

【0014】

図１に例示されるように、撮像装置１１は、取得された画像に対応する画像情報Ｉを出力するように構成されている。画像情報Ｉは、アナログデータの形態でもよいし、デジタルデータの形態でもよい。

【0015】

異常推定システム１０は、画像処理装置１２を含んでいる。画像処理装置１２は、受付部１２１と処理部１２２を備えている。受付部１２１は、撮像装置１１から画像情報Ｉを受け付けるように構成されている。画像情報Ｉがアナログデータの形態である場合、受付部１２１は、Ａ／Ｄコンバータを含む適宜の変換回路を含みうる。処理部１２２は、デジタルデータの形態である画像情報Ｉを処理の対象とする。

【0016】

処理部１２２は、画像情報Ｉに基づいて運転者３０の姿勢が異常であるかを推定する処理を実行するように構成されている。当該処理の詳細については後述する。

【0017】

画像処理装置１２は、出力部１２３を備えている。処理部１２２は、運転者３０の姿勢が異常であると推定された場合、出力部１２３を通じて制御情報Ｃを出力するように構成されている。制御情報Ｃは、デジタルデータの形態でもよいし、アナログデータの形態でもよい。制御情報Ｃがアナログデータの形態である場合、出力部１２３は、Ｄ／Ａコンバータを含む適宜の変換回路を含みうる。

【0018】

異常推定システム１０は、制御装置１３を含んでいる。制御装置１３は、車両２０に搭載されている。制御装置１３は、画像処理装置１２から出力された制御情報Ｃに基づいて、車両２０に搭載された被制御装置４０の動作を制御するように構成されている。

【0019】

具体的には、制御装置１３は、運転者３０の姿勢が異常であると推定された場合に、車両２０の運転支援を有効にするように構成されている。本明細書において用いられる「運転支援」という語は、運転操作（ハンドル操作、加速、減速など）、走行環境の監視、および運転操作のバックアップの少なくとも一つを少なくとも部分的に行なう制御処理を意味する。すなわち、衝突被害軽減ブレーキ機能やレーンキープアシスト機能のような部分的な運転支援から完全自動運転動作までを含む意味である。

【0020】

例えば、制御装置１３は、画像処理装置１２から出力された制御情報Ｃに基づいて、車両２０を減速させ、路肩に停車させるために必要な動作を、被制御装置４０に行なわせる。被制御装置４０の例としては、車両２０の駆動系を構成する装置、灯具、運転支援動作が有効であることを車両２０や他車両の乗員や歩行者に報知する装置などが挙げられる。

【0021】

次に、図３から図５を参照しつつ、画像処理装置１２の処理部１２２により実行される運転者３０の姿勢を推定する処理について詳細に説明する。図３は、当該処理の流れを例示している。

【0022】

処理部１２２は、受付部１２１を通じて撮像装置１１から画像情報Ｉを受け付ける（ＳＴＥＰ１）。図４は、撮像装置１１により取得された運転者３０が写り込んだ画像ＩＭを例示している。画像情報Ｉは、画像ＩＭに対応している。

【0023】

続いて、処理部１２２は、骨格モデルを適用する処理を行なう（図３のＳＴＥＰ２）。本明細書で用いられる「骨格モデルを適用する処理」という語は、撮像装置により取得された画像に写り込んだ運転者において当該骨格モデルにおいて規定された複数の特徴点を検出し、当該複数の特徴点同士を当該骨格モデルにおいて規定された複数の骨格線で接続することを意味する。

【0024】

図５は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０に骨格モデルＭが適用された例を示している。本例においては、骨格モデルＭは、頭特徴点Ｈ、首特徴点ＮＫ、左肩特徴点ＬＳ、および右肩特徴点ＲＳを含んでいる。

【0025】

頭特徴点Ｈは、モデル人体の頭の中心に対応する点である。首特徴点ＮＫは、モデル人体の首に対応する点である。左肩特徴点ＬＳは、モデル人体の左肩に対応する点である。右肩特徴点ＲＳは、モデル人体の右肩に対応する点である。頭特徴点Ｈと首特徴点ＮＫは、骨格線により接続されている。首特徴点ＮＫは、左肩特徴点ＬＳおよび右肩特徴点ＲＳの各々と骨格線により接続されている。

【0026】

処理部１２２は、画像ＩＭに写り込んだ運転者３０において、頭特徴点Ｈ、首特徴点ＮＫ、左肩特徴点ＬＳ、および右肩特徴点ＲＳの各々に対応する点を検出し、検出された複数の点同士を、上記の各骨格線で接続する。この処理を遂行するためのアルゴリズムは周知であるので、詳細な説明は省略する。

【0027】

図１に例示されるように、画像処理装置１２は、記憶部１２４を備えている。処理部１２２は、各特徴点の画像ＩＭにおける位置を、正常時における運転者３０の姿勢を表すものとして記憶部１２４に記憶する。具体的には、各特徴点に対応する画像ＩＭ中の画素の位置が、記憶部１２４に保存される。

【0028】

続いて、処理部１２２は、運転者３０の姿勢が異常であるかを推定する姿勢推定処理を実行する（図３のＳＴＥＰ３）。姿勢推定処理の詳細については、後述する。

【0029】

姿勢推定処理の結果、運転者３０の姿勢が異常でないと推定されると（ＳＴＥＰ４においてＮＯ）、処理はＳＴＥＰ１に戻り、次の画像情報Ｉが受け付けられる。画像情報Ｉの受け付けが繰り返される周期は、撮像装置１１のフレームレートに対応しうる。

【0030】

姿勢推定処理の結果、運転者３０の姿勢が異常であると判断されると（ＳＴＥＰ４においてＹＥＳ）、処理部１２２は、出力部１２３から制御情報Ｃを出力する（ＳＴＥＰ５）。制御情報Ｃは、制御装置１３へ送信される。制御情報Ｃは、同じ動作を被制御装置４０に行なわせるものであってもよいし、推定された異常姿勢の種別に応じて異なる動作を被制御装置４０に行なわせるものであってもよい。

【0031】

次に、図６から図９を参照しつつ、処理部１２２により実行される姿勢推定処理（図３におけるＳＴＥＰ３）の詳細について説明する。本例においては、運転者３０が「突っ伏し姿勢」をとっているかが推定される。

【0032】

「突っ伏し姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「突っ伏し姿勢」は、運転者が前方に倒れ、ハンドルの付近に顔が位置している姿勢が継続している状態として定義されている。

【0033】

図６は、「突っ伏し姿勢」を例示している。「突っ伏し姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の前方向への移動量ΔＤＦが閾値を上回るとともに車両２０の下方向への移動量ΔＤＤが閾値を上回り、かつ運転者の顔の下方へのピッチ角θＰＤが閾値を上回った状態として定義される。ΔＤＦの閾値は、例えば２００ｍｍである。ΔＤＤの閾値は、例えば１８０ｍｍである。θＰＤの閾値は、例えば３０°である。

【0034】

図７は、姿勢推定処理の流れの一例を示している。図８は、図４および図５に例示された画像ＩＭのうち、運転者３０の上半身が写り込んでいる部分を拡大して示している。本例においては、骨格モデルＭを適用する処理により、鼻特徴点ＮＳもまた検出されうる。鼻特徴点ＮＳは、モデル人体の鼻に対応する点である。

【0035】

まず、処理部１２２は、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０の鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向に対応する方向における距離ｄを特定する（図７のＳＴＥＰ１１）。鼻特徴点ＮＳと左肩特徴点ＬＳは、上半身における複数の特徴点の一例である。距離ｄは、画素数により特定される。特定された距離ｄの値は、記憶部１２４に記憶される。

【0036】

続いて、処理部１２２は、ＳＴＥＰ１１において特定された距離ｄの値と記憶部１２４に記憶されている距離ｄの値を比較し、減少量が閾値ｄｔｈを上回っているかを判断する（ＳＴＥＰ１２）。

【0037】

図９は、運転者３０が「突っ伏し姿勢」をとった場合における鼻特徴点ＮＳと左肩特徴点ＬＳの間の距離ｄの経時変化を例示している。運転者３０が前方に倒れるに連れて、鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄは、急速に減少する。図示の例においては、時点ｔ１において距離ｄの減少が始まり、時点ｔ２において減少量が閾値ｄｔｈを上回っている。

【0038】

したがって、鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄの減少量が閾値ｄｔｈを上回っていると判断された場合（ＳＴＥＰ１２においてＹＥＳ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっていると推定する（ＳＴＥＰ１３）。処理は、図３のＳＴＥＰ４におけるＹＥＳの判断に反映される。閾値ｄｔｈは、一般的な運転者３０が「突っ伏し姿勢」をとる場合に生じうる距離ｄの減少量として、統計的に定められうる。

【0039】

他方、鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄの減少量が閾値ｄｔｈを上回っていないと判断された場合（ＳＴＥＰ１２においてＮＯ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっていないと推定する（ＳＴＥＰ１４）。処理は、図３のＳＴＥＰ４におけるＮＯの判断に反映される。

【0040】

図６に示される「突っ伏し姿勢」の定義に鑑みると、運転者３０の顔の向きや顔の位置が特定されることが好ましい。しかしながら、実際に運転者３０が「突っ伏し姿勢」をとる場合、画像ＩＭに顔が写りこみにくくなるので、顔の向きや顔の位置の特定が困難でありうる。上記のような構成においては、「突っ伏し姿勢」がとられる場合に車両２０の上下方向における距離が減少する複数の特徴点を運転者３０の上半身から選ぶことにより、顔の向きや位置が「突っ伏し姿勢」の推定に及ぼす影響を抑制している。これにより、撮像装置１１により取得された画像ＩＭに基づいてなされる運転者３０の姿勢異常の推定の確からしさを高めることができる。

【0041】

上述のように、運転者３０の顔の向きや位置によっては、鼻特徴点ＮＳの特定が困難である場合がある。よって、図７に例示されるように、処理部１２２は、鼻特徴点ＮＳの特定が不能であるかを判断しうる（ＳＴＥＰ１５）。

【0042】

鼻特徴点ＮＳが特定できた場合（ＳＴＥＰ１５においてＮＯ）、処理はＳＴＥＰ１２に進み、前述の通り鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄの減少量が閾値ｄｔｈを上回っているかが判断される。

【0043】

鼻特徴点ＮＳが特定できない場合（ＳＴＥＰ１５においてＹＥＳ）、図８に例示されるように、処理部１２２は、頭特徴点Ｈと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄ’を特定する（ＳＴＥＰ１６）。頭特徴点Ｈと左肩特徴点ＬＳは、上半身における複数の特徴点の一例である。距離ｄ’は、画素数により特定される。特定された距離ｄ’の値は、記憶部１２４に記憶される。

【0044】

この場合、処理部１２２は、ＳＴＥＰ１６において特定された距離ｄ’の値と記憶部１２４に記憶されている距離ｄ’の値を比較し、減少量が閾値ｄｔｈ’を上回っているかを判断する（ＳＴＥＰ１２）。閾値ｄｔｈは、一般的な運転者３０が「突っ伏し姿勢」をとる場合に生じうる距離ｄ’の減少量として、統計的に定められうる。

【0045】

頭特徴点Ｈと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄ’の減少量が閾値ｄｔｈ’を上回っていると判断された場合（ＳＴＥＰ１２においてＹＥＳ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっていると推定する（ＳＴＥＰ１３）。処理は、図３のＳＴＥＰ４におけるＹＥＳの判断に反映される。

【0046】

他方、頭特徴点Ｈと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄ’の減少量が閾値ｄｔｈ’を上回っていないと判断された場合（ＳＴＥＰ１２においてＮＯ）、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっていないと推定する（ＳＴＥＰ１４）。処理は、図３のＳＴＥＰ４におけるＮＯの判断に反映される。

【0047】

このような構成によれば、顔の向きや位置が「突っ伏し姿勢」の推定に及ぼす影響をさらに抑制できる。

【0048】

図８に例示されるように、撮像装置１１により取得された画像ＩＭに写り込んだ運転者３０に骨格モデルＭを適用する処理により、画像ＩＭにおいて運転者３０の頭部３１が位置する領域を推定する矩形の枠ＦＭが設定されうる。この場合、処理部１２２は、画像ＩＭに写り込んだ運転者３０の頭部３１の車両２０のピッチ方向への回転角を検出しうる。

【0049】

本明細書で用いられる「ピッチ方向」という語は、車両２０の左右方向に延びる軸を中心とする回転方向を意味する。「ピッチ方向」に関しては、運転者３０の左方から見て反時計回り方向を「下ピッチ方向」と定義し、運転者３０の左方から見て時計回り方向を「上ピッチ方向」と定義する。

【0050】

図１０は、設定された枠ＦＭを用いて頭部３１の中心座標ＣＴを仮定する手法を説明するための図である。同図においては、頭部３１を左方から見た状態が模式的に示されている。本例においては、車両２０の上下方向における頭部３１の幅、および車両２０の前後方向における頭部３１の幅は、図８に示される枠ＦＭの幅Ｗと同一であるとみなされる。この前提下において、頭部３１の中心座標ＣＴは、頭特徴点Ｈから車両２０の後方へ（Ｗ／２）だけ離れた点として仮定される。処理部１２２は、距離（Ｗ／２）に対応する画素数を、記憶部１２４に保存する。

【0051】

このとき、中心座標ＣＴと鼻特徴点ＮＳを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線に対してなす角度θＰ０は、車両２０の左右方向における頭特徴点Ｈと鼻特徴点ＮＳの間の距離ｄＨＮと上記の（Ｗ／２）のアークタンジェントを求めることにより特定されうる。この角度θＰ０は、運転者３０が正常姿勢をとっている場合の初期角度として、記憶部１２４に保存される。

【0052】

運転者３０が「突っ伏し姿勢」をとると、頭部３１は、車両２０のピッチ方向へ回転する。このとき、中心座標ＣＴと鼻特徴点ＮＳを結ぶ直線が中心座標ＣＴと頭特徴点Ｈを結ぶ直線（車両２０の前後方向）に対してなす角度θＰ１は、初期角度θＰ０から変化する。その変化量（θＰ１－θＰ０）は、車両２０のピッチ方向への頭部３１の回転角θＰとみなされうる。したがって、その変化量（θＰ１－θＰ０）の絶対値が閾値を上回る場合に、運転者３０が「突っ伏し姿勢」をとっていると推定されうる。閾値は、国土交通省による定義に基づいて、適宜に定められうる。

【0053】

処理部１２２は、運転者３０が「突っ伏し姿勢」をとっていると推定された場合（図７のＳＴＥＰ１３）、上記の原理に基づいて、車両２０の下ピッチ方向への頭部３１の回転角θＰを特定する処理を行なってもよい。具体的には、図８に例示されるように、車両２０の上下方向における取得された画像ＩＭに写り込んだ運転者３０の頭特徴点Ｈと鼻特徴点ＮＳの間の距離ｄＨＮを特定する。距離ｄＨＮは、画素数として特定される。続いて、処理部１２２は、記憶部１２４に保存されている距離（Ｗ／２）と距離ｄＨＮのアークタンジェントを求めることにより、上記の角度θＰ１を特定する。

【0054】

さらに、処理部１２２は、特定された角度θＰ１と初期角度θＰ０の差分値をとることにより、車両２０の下ピッチ方向への頭部３１の回転角θＰを特定する。処理部１２２は、特定された回転角θＰの絶対値が記憶部１２４に保存されている閾値を上回っているかを判断する。

【0055】

特定された回転角θＰの絶対値が閾値を上回っている場合、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっているとの推定を確定させる。

【0056】

他方、鼻特徴点ＮＳと左肩特徴点ＬＳの間の車両２０の上下方向に対応する方向における距離ｄに基づいて運転者３０が「突っ伏し姿勢」をとっていると推定されたにも関わらず、特定された回転角θＰの絶対値が閾値を上回っていない場合、処理部１２２は、運転者３０が「突っ伏し姿勢」をとっているとの推定を取り消す。例えば、運転者３０が上半身を前傾させ、正面を見たまま顎をステアリングホイールにのせる姿勢をとった場合、このような条件が成立しうる。当該姿勢は、「突っ伏し姿勢」には該当しない。

【0057】

したがって、上記のような構成によれば、撮像装置１１により取得された画像ＩＭに基づいてなされる運転者３０の姿勢異常の推定の確からしさをさらに高めることができる。

【0058】

これまで説明した各機能を有する処理部１２２は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサは、ＲＯＭ上に記憶されたコンピュータプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。上記のコンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバからダウンロードされて汎用メモリにインストールされてもよい。この場合、外部サーバは、コンピュータプログラムを記憶している記憶媒体の一例である。

【0059】

処理部１２２は、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、コンピュータプログラムを記憶している記憶媒体の一例である。処理部１２２は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。

【0060】

記憶部１２４は、半導体メモリやハードディスク装置により実現されうる。記憶部１２４は、上記の汎用メモリや記憶素子により実現されてもよい。

【0061】

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。

【0062】

上記の実施形態においては、運転者３０が「突っ伏し姿勢」をとっているかを推定するために、鼻特徴点ＮＳまたは頭特徴点Ｈと左肩特徴点ＬＳが用いられている。しかしながら、正常姿勢からの逸脱に伴って車両２０の上下方向における距離が減少する特徴点同士であれば、運転者３０の上半身に含まれるものから適宜の組合せを選択可能である。そのような組合せの例としては、鼻特徴点と首特徴点、左耳特徴点と左肩特徴点などが挙げられる。

【0063】

正常姿勢からの逸脱に伴って車両２０の上下方向における距離が減少する複数の特徴点が運転者３０の上半身から適宜に選ばれることにより、画像処理装置１２の処理部１２２は、運転者３０が「横倒れ姿勢」をとっているかも推定しうる。

【0064】

「横倒れ姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「横倒れ姿勢」は、運転者の上半身が左方または右方へ傾き、かつ運転者の顔も同方向に傾いている姿勢が継続している状態として定義されている。

【0065】

図１１は、左方への「横倒れ姿勢」を例示している。左方への「横倒れ姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の左方向への移動量ΔＤＬが閾値を上回り、かつ運転者の顔の左方へのロール角θＲＬが閾値を上回った状態として定義される。ΔＤＬの閾値は、例えば２００ｍｍである。θＲＬの閾値は、例えば１５°である。

【0066】

図１２は、右方への「横倒れ姿勢」を例示している。右方への「横倒れ姿勢」は、運転者の顔における特定の位置の、正常時からの車両２０の右方向への移動量ΔＤＲが閾値を上回り、かつ運転者の顔の右方へのロール角θＲＲが閾値を上回った状態として定義される。ΔＤＲの閾値は、例えば２００ｍｍである。θＲＲの閾値は、例えば１５°である。

【0067】

このような定義に依らず、運転者３０が「横倒れ姿勢」をとる場合、例えば頭特徴点Ｈと左肩特徴点ＬＳの間の車両２０の上下方向における距離ｄは、減少する傾向にある。したがって、減少量に係る閾値ｄｔｈを適宜に定めることにより、運転者３０が「横倒れ姿勢」をとっているかを推定できる。

【0068】

画像処理装置１２は、車両２０に搭載されてもよいし、車両２０と周知の無線通信ネットワークを介して通信可能な外部装置として提供されてもよい。画像処理装置１２が車両２０に搭載される場合、画像処理装置１２による画像処理と制御装置１３による制御処理は、共通の装置あるいは素子によって行なわれてもよい。画像処理装置１２が車両２０と周知の無線通信ネットワークを介して通信可能な外部装置として提供される場合、撮像装置１１から出力された画像情報Ｉが、無線通信ネットワークを介して画像処理装置１２に送信される。処理部１２２による姿勢推定処理の結果として出力されうる制御情報Ｃは、周知の無線通信ネットワークを介して制御装置１３へ送信される。

【0069】

異常推定システム１０は、車両２０以外の移動体にも適用されうる。他の移動体の例としては、鉄道、航空機、船舶などが挙げられる。

【符号の説明】

【0070】

１０：異常推定システム、１１：撮像装置、１２：画像処理装置、１２１：受付部、１２２：処理部、１３：制御装置、２０：車両、３０：運転者、３１：頭部、４０：被制御装置、Ｈ：頭特徴点、Ｉ：画像情報、ＩＭ：画像、ＬＳ：左肩特徴点、ＮＳ：鼻特徴点、ｄ、ｄ’：距離、ｄｔｈ、ｄｔｈ’：閾値、θＰ：ピッチ方向への回転角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】