特許 7057893 視認状態判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-13

(45)【発行日】2022-04-21

(54)【発明の名称】視認状態判定装置

(51)【国際特許分類】

   A61B 3/113 20060101AFI20220414BHJP

   G08G 1/16 20060101ALI20220414BHJP

【ＦＩ】

A61B3/113

G08G1/16 F

【請求項の数】 7

(21)【出願番号】P 2018032976

(22)【出願日】2018-02-27

(65)【公開番号】P2018143760

(43)【公開日】2018-09-20

【審査請求日】2021-01-19

(31)【優先権主張番号】P 2017042596

(32)【優先日】2017-03-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100080768

【弁理士】

【氏名又は名称】村田 実

(74)【代理人】

【識別番号】100106644

【弁理士】

【氏名又は名称】戸塚 清貴

(72)【発明者】

【氏名】山田 光穗

(72)【発明者】

【氏名】岩瀬 耕二

(72)【発明者】

【氏名】武田 雄策

(72)【発明者】

【氏名】原 利宏

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特開２０１５－１３３１１３（ＪＰ，Ａ）

【文献】特開２０１５－２１７７９８（ＪＰ，Ａ）

【文献】特開昭６２－２８４６２８（ＪＰ，Ａ）

【文献】特開２００８－０７９７３７（ＪＰ，Ａ）

【文献】特開平０６－１９０３８９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０３３８９１５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

Ａ６１Ｂ ５／０６－５／２２

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

視認者が視認対象物を目視している際に、視認者における左右の眼の視線がなす輻輳角を取得する輻輳角取得手段と、
視認者から前記視認対象物までの実際の距離を検出する実距離検出手段と、
前記輻輳角取得手段で取得された輻輳角に対応して設定される第１評価指数と前記実距離検出手段で検出された実際の距離に対応して設定される第２評価指数とに基づいて、視認者が前記視認対象物に没入している度合いを判定する没入度合い判定手段と、
を備え、
前記第１評価指数が、前記輻輳角取得手段で取得された輻輳角として設定され、
前記第２評価指数が、前記実距離検出手段で検出された実際の距離に対応した輻輳角として設定される、
ことを特徴とする視認状態判定装置。

【請求項2】

請求項１において、
前記没入度合い判定手段は、前記第１評価指数と前記第２評価指数との差に基づいて没入度合いを判定する、ことを特徴とする視認状態判定装置。

【請求項3】

請求項２において、
前記没入度合い判定手段は、あらかじめ設定された所定時間内において、前記第１評価指数と前記第２評価指数との差が所定値以下となる回数が所定回数以上である場合に、没入度合いが高いと判定する、ことを特徴とする視認状態判定装置。

【請求項4】

請求項１ないし請求項３のいずれか１項において、
前記視認者によって視認可能な位置に設定されると共に表示輝度が変更可能な表示手段を備え、
前記没入度合い判定手段によって没入度合いが低いと判定されたときに、前記表示手段の表示輝度が高められる、
ことを特徴とする視認状態判定装置。

【請求項5】

請求項４において、
前記表示手段が車両に装備されると共に、前記視認者が該車両の運転者とされ、
車両が自動運転されているときまたは停車中であることを条件として、前記表示手段の表示輝度が高められる、
ことを特徴とする視認状態判定装置。

【請求項6】

請求項１ないし請求項５のいずれか１項において、
前記輻輳角取得手段が、視認者の顔部分を撮像する撮像手段を有して、該撮像手段で得られた画像に基づいて輻輳角を取得する、ことを特徴とする視認状態判定装置。

【請求項7】

請求項６において、
前記視認者が、車両の運転者とされ、
前記撮像手段が、車室内に設けられている、
ことを特徴とする視認状態判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視認状態判定装置に関するものである。

【背景技術】

【0002】

特許文献１には、視認者が緊張状態であるか否かを、その視線方向、視線分布、瞳孔径変化等に基づいて推定するものが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－３６７１００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、視認者の視認対象物に対する没入度合い（視認対象物に対する興味度合いともいえる）を判定することが望まれている。例えば、視認者として車両の運転者の場合、車両前方にある視認対象物に対する没入度合いが高いということは、前方状況を十分に注意しているという点では好ましい反面、バックミラー、サイドミラー、メータパネル等の適宜視認すべきものを見落としがちになっている、という好ましくない傾向を示すことにもなる。

【0005】

本発明は以上のような事情を勘案してなされたもので、視認者が視認対象物に対してどの程度没入しているかということを判定できるようにした視認状態判定装置を提供することにある。

【課題を解決するための手段】

【0006】

本発明にあっては、基本的に、視認者が自分の意思で積極的に視認対象物を視認する能動的な視認の場合は、視認対象物までの実際の距離と視認者が視認対象物を視認している視距離との差が小さくなる一方、受動的に視認しているときは、実際の距離と視距離との差が大きくなる、という知見に基づいてなされたものである。そして、視距離を、視認者における左右の眼の視線がなす輻輳角に基づいて決定するようにしてある。

【0007】

具体的には、本発明にあっては次のような解決手法を採択してある。すなわち、請求項１に記載のように、
視認者が視認対象物を目視している際に、視認者における左右の眼の視線がなす輻輳角を取得する輻輳角取得手段と、
視認者から前記視認対象物までの実際の距離を検出する実距離検出手段と、
前記輻輳角取得手段で取得された輻輳角に対応して設定される第１評価指数と前記実距離検出手段で検出された実際の距離に対応して設定される第２評価指数とに基づいて、視認者が前記視認対象物に没入している度合いを判定する没入度合い判定手段と、
を備え、
前記第１評価指数が、前記輻輳角取得手段で取得された輻輳角として設定され、
前記第２評価指数が、前記実距離検出手段で検出された実際の距離に対応した輻輳角として設定される、
ようにしてある。上記解決手法によれば、実際の距離と輻輳角とに基づいて、視認対象物に対する没入度合いを判定することができる。特に、２つの評価指数をそれぞれ輻輳角の値でもって比較することができる。

【0008】

上記解決手法を前提とした好ましい態様は、請求項２以下に記載のとおりである。

【0009】

【0010】

前記没入度合い判定手段は、前記第１評価指数と前記第２評価指数との差に基づいて没入度合いを判定する、ようにしてある（請求項２対応）。この場合、上記差が小さいときは、実際の距離と視距離とが合致あるいはほぼ合致しているときで視認対象物を十分に認識している能動的な視認状態であると判定することができる。逆に、上記差が大きいときは、視認対象物を十分に視認していない受動的な視認状態であると判定することができる。

【0011】

前記没入度合い判定手段は、あらかじめ設定された所定時間内において、前記第１評価指数と前記第２評価指数との差が所定値以下となる回数が所定回数以上である場合に、没入度合いが高いと判定する、ようにしてある（請求項３対応）。この場合、所定時間に渡ってのデータに基づいて、没入度合い（の傾向）を精度よく判定することができる。

【0012】

前記視認者によって視認可能な位置に設定されると共に表示輝度が変更可能な表示手段を備え、
前記没入度合い判定手段によって没入度合いが低いと判定されたときに、前記表示手段の表示輝度が高められる、
ようにしてある（請求項４対応）。この場合、表示輝度を高めることにより、没入度合いを高めさせることができる。

【0013】

前記表示手段が車両に装備されると共に、前記視認者が該車両の運転者とされ、
車両が自動運転されているときまたは停車中であることを条件として、前記表示手段の表示輝度が高められる、
ようにしてある（請求項５対応）。この場合、自動運転中または停車中を条件として表示輝度が高められるので、走行中において表示輝度が高められることにより表示輝度が高められた一部の視認領域に対してのみ没入してしまう事態を防止して、周囲状況を万遍なく視認させる上で好ましいものとなる。

【0014】

前記輻輳角取得手段が、視認者の顔部分を撮像する撮像手段を有して、該撮像手段で得られた画像に基づいて輻輳角を取得する、ようにしてある（請求項６対応）。この場合、撮像手段を利用して、輻輳角の検出つまり視距離の推定を精度よく行うことができる。

【0015】

前記視認者が、車両の運転者とされ、
前記撮像手段が、車室内に設けられている、
ようにしてある（請求項７対応）。この場合、車両の運転者についての没入度合いを判定することができる。

【発明の効果】

【0016】

本発明によれば、視認者が視認対象物に対してどの程度没入しているかということを判定することができる。

【図面の簡単な説明】

【0017】

【図1】本発明が適用された車両の一例を示す簡略平面図。

【図2】輻輳角と実際の距離との関係を示す簡略平面図。

【図3】輻輳角と視距離との対応関係を示す特性図。

【図4】シート位置の相違に応じた距離補正を示す図。

【図5】運転者の視認領域を複数の小領域に分けて、各小領域における主たる視認対象物を示す図。

【図6】ディスプレイを注視している状況を示す図。

【図7】本発明の制御系統例を示すブロック図。

【図8】本発明の制御例を示すフローチャート。

【図9】本発明の制御例を示すフローチャート。

【図10】没入度に応じた表示画面の輝度増加量の設定例を示す図。

【発明を実施するための形態】

【0018】

以下本発明の実施形態について、没入度合いの判定対象者となる視認者が、車両としての自動車を運転する運転者とした場合について説明する。

【0019】

図１は、車両Ｖの運転席１を上方から見た簡略図である。運転席１には運転者Ｐが着座されている。運転席１の前方において車幅方向に延びるインストルメントパネル２の上面には、運転者Ｐから目視されやすい位置において、表示手段としてディスプレイ３が配設されている。ディスプレイ３は、例えばナビゲーション装置用とされて、地図情報を表示する他に、各種警告情報等を適宜切換え表示するようになっている（吹き出し形式等による表示等でもよい）。このディスプレイ３の表示輝度は、自動的に変更可能となっている。

【0020】

運転者Ｐは、メガネ式の輻輳角検出装置１０を装備している。輻輳角検出装置１０は、例えば１または２個のアイカメラを有して、図２に示すように、左右の眼の視線方向がなす角度となる輻輳角θ０を検出する。図２では、視認対象物として、例えばディスプレイ３とされている。また、輻輳角検出装置１０によって、運転者Ｐの両眼の間隔が検出される。なお、輻輳角θ０や両眼の間隔の検出は、メガネ式とすることなく、例えば、ルーフパネルの前縁部やルームミラー等に装備されて、運転者Ｐの顔（のうち特に両眼）に指向された車内カメラによって行う等、適宜の手法によりなし得る。

【0021】

両眼の間隔が同じ場合は、輻輳角θ０が小さいほど、視認対象物（図２ではディスプレイ３）までの距離つまり視距離が大きくなる（逆に、輻輳角θ０が大きいほど、視認対象物までの距離つまり視距離が小さくなる）。輻輳角θ０とこれに対応した視距離との関係は、両眼の間隔をある一定値とした場合に、例えば図３のような特性線によって示される。具体的には、視距離をＬ、両眼の間隔をＤとすると、輻輳角θ０と視距離Ｌとの関係は次式（１）のようになる。

【0022】

Ｌ＝（Ｄ／２）×（１／ｔａｎ（θ０／２）） （１）
図５は、運転者Ｐによる前方視認領域を、縦横に分割した複数の小領域（実施形態では縦３×横３の合計９つの小領域）に分割してある。そして、各小領域における主たる視認対象物が、図５に列記されている。

【0023】

図６は、ディスプレイ３の存在する小領域を運転者Ｐが注視している状況が示される。図中破線で示す部分が、単位時間あたりの中心点が存在する範囲であり、中抜きの１つの丸印が注視点分布の中心を示す。

【0024】

図６において、ディスプレイ３の位置は固定であることから、運転席シート１の特定位置とディスプレイ３との間の実際の距離はあらかじめ知ることができる。つまり、運転席１に着座している運転者Ｐのアイポイント位置とディスプレイ３との距離をあらかじめ知ることができる。ただし、運転席１のシートポジションが前後方向に変化することによって、運転者Ｐのアイポイント位置とディスプレイ３との間の距離が変化する。運転席１の前後方向位置に応じて運転者Ｐのアイポイント位置が、図４に示すように補正される。すなわち、運転席１の前後方向位置として、運転者Ｐが標準的な体格である場合の位置を標準位置とし、運転席１が標準位置から前後方向に移動したときは、その移動分の距離が補正される。

【0025】

アイポイント位置の補正は、具体的には、次のように行えばよい。まず、運転席１の標準位置をＸ（前後方向の座標位置）とする。この場合、運転席１が標準位置Ｘから後方へ「Ｘｈ１」だけ移動されたときは、運転者Ｐのアイポイント位置が「Ｘ＋Ｘｈ１」として設定される。逆に、運転席１が標準位置Ｘから前方へ「Ｘｈ２」だけ移動されたときは、運転者Ｐのアイポイント位置が「Ｘ－Ｘｈ２」として設定される。このような運転席１の前後方向移動に応じたアイポイント位置の補正は、ディスプレイ３に限らず、ルームミラー、メータ等々、各視認位置に応じて行われる。

【0026】

図７は、本発明の制御系統例を示すものである。図中Ｕは、車両に搭載されたマイクロコンピュータを利用して構成されたコントローラ（制御ユニット）である。このコントローラＵには、前述した輻輳角検出装置１０からの信号の他、各種センサＳ１、Ｓ２からの信号が入力される。図中、Ｓ１は、レーダであり、例えば車両の前端あるいはフロントウインドガラスの上端部付近の車室内に設けられて、車両前方に位置する物体（視認対象物）までの実際の距離を検出するものとなっている。また、コントローラＵは、ディスプレイ３を制御する。

【0027】

図１中、Ｓ２は、シートポジションセンサであり、運転席１を構成するシートクッションの前後方向位置を検出するものとなっている。シートポジションセンサＳ２により検出された運転席１の前後方向位置に応じて、運転者Ｐのアイポイント位置が特定される。運転者Ｐのアイポイント位置が特定されることにより、運転者による視認対象物となる各種車載機器類（例えばナビゲーション画面、メータパネル、バックミラー、サイドミラー等）までの実際の距離が特定される。

【0028】

具体的には、コントローラＵは、運転席１が標準位置にあるときを前提として、上記各種車載機器類までの実際の距離を記憶したデータベースＤＢを有している。そして、このデータベースＤＢに、運転席１の標準位置からの前後方向への位置変化に対応させて、アイポイント位置が前述のようにして補正される。シートポジションセンサＳ２とデータベースＤＢとが、運転者の眼の位置から視認対象物までの実際の距離を検出する検出手段を構成している。なお、アイポイント位置の特定（補正）に際しては、運転席１のシートクッションの高さやシートバックの傾斜角度等をも考慮することもできる。

【0029】

コントローラＵは、輻輳角検出装置１０により撮像された画像から、運転者の左右の眼の視線がなす角度、つまり輻輳角θ０を決定して、この輻輳角θ０に基づいて、運転者による視認対象物までの視距離を推定するようになっている。既知のように、輻輳角が小さいほど遠くのものを視認している（逆に輻輳角が大きいほど近くを視認している）と判断される。また、視認対象物が車両Ｖよりも前方に存在するときは、この視認対象物までの実際の距離が、レーダＳ１を利用して検出される（運転席１の前後方向位置に応じた補正あり）。

【0030】

輻輳角θ０に基づいて推定される視認対象物までの視距離と、視認対象物までの実際の距離とが一致あるいはほぼ一致しているときは、運転者Ｐは視認対象物を積極的に注視している状態、つまり能動状態でもって視認している状態となる。この能動状態での視認が長く続くほど、あるいは短時間のうちに繰り返し発生するほど、視認対象物に対する没入度合い（つまり興味度合い）が高い状態とされる。一方、上記視距離と実際の距離とが大きくずれているときは、受動状態での視認となる（見せられている状態）。

【0031】

次に、図８、図９に示すフローチャートを参照しつつ、コントローラＵによる没入度合い判定のための制御例について説明する。なお、図８はメインのフローチャート、図９はサブのフローチャートであり、図９での処理結果が図８の制御に反映される。また、以下の説明でＱはステップを示す。

【0032】

まず、図９は、視認対象物を特定して、この視認対象物までの実際の距離を検出すると共に、検出された実際の距離を実輻輳角θｒに変換するための制御例となっている。この図９の制御例については、図８の制御例を説明した後に説明することとする。

【0033】

メインのフローチャートを示す図８において、まずＱ１において、輻輳角検出装置１０によって、運転者の左右の眼の視線がなす輻輳角θ０が検出される。この後、Ｑ２において、検出された輻輳角θ０と、後述する視認対象物までの実際の距離に対応した実輻輳角θｒとの偏差の絶対値が、所定値Ａ（実施形態では１度）よりも小さいか否かが判別される。

【0034】

上記Ｑ２の判別でＮＯのときは、そのままリターンされる。Ｑ２の判別でＹＥＳのときは、Ｑ３において、没入回数Ｎｂがカウントアップされる。Ｑなお、没入回数Ｎｂは、制御開始の時点では０にクリアされている。３の後、Ｑ４において、Ｑ２の判別で初めてＹＥＳとなった時点から所定時間（例えば２秒～３秒）経過したか否かが判別される。このＱ４の判別でＮＯのときは、リターンされる。

【0035】

Ｑ４の判別でＹＥＳのときは、Ｑ５において、没入回数Ｎｂが所定値Ｂ（例えば５～ １０回）以上であるか否かが判別される。このＱ５の判別でＹＥＳのときは、Ｑ６において、没入度が大であると判定される。このＱ５では、次回の判定に備えて、没入回数Ｎｂが０にクリアされる（Ｑ４で用いた所定時間の計測もクリアされる）。なお、視認対象物に対して運転者Ｐの没入度合いが高い状態が続いたときに、萬遍なく周囲状況を視認するように注意情報を表示することもできる（例えばディスプレイ３での表示）。

【0036】

上記Ｑ５の判別でＮＯのときは、Ｑ７において、没入度が小であると判定される。このＱ７では、次回の判定に備えて、没入回数Ｎｂが０にクリアされる（Ｑ４で用いた所定時間の計測もクリアされる）。

【0037】

Ｑ７の後、Ｑ８において、現在自動運転時であるかあるいは停車時であるか否かが判別される。このＱ８の判別でＮＯのときは、そのままリターンされる。Ｑ８の判別でＹＥＳのときは、表示手段としての例えばディスプレイ３の画面平均輝度が、現在の輝度よりも高くなるように変更される。図１０に示すように、没入度が高いほど、輝度を高くする度合いを高めることができる。

【0038】

次に、図９のフローチャートについて説明するが、この図９は、視認対象までの実際の距離に対応した実輻輳角θｒを決定する処理となる。まず、Ｑ２１において、レーダＳ１の設置位置（例えば車両前端部）から車外の視認対象までの距離が検出される。そして、標準アイポイント位置からレーダ設置位置までの距離を加算して、標準アイポイント位置から車外の視認対象までの距離が算出される。このようにして、例えば前方の歩行者までの実際の距離が「Ｘ歩」とされ、前方の信号機までの実際の距離が「Ｘ信」とされ、その他も同様にして検出される。

【0039】

Ｑ２２では、標準アイポイント位置と各種車載機器類との間の距離が取得される。例えば、ルームミラまでの距離が「Ｘミラー」とされ、ディスプレイ３までの距離が「Ｘナビ」とされ、その他の車載機器類についても同様にして検出される。

【0040】

Ｑ２３では、前述したように、運転席１の前後方向位置に応じて、標準位置に対するアイポイント位置の補正量が決定される（図４の「ｘｈ１」の決定に相当）。この後、Ｑ２４において、単位時間における注視点分布の中心（平均位置）が決定される（図６の中抜き丸印の位置決定）。この後、Ｑ２４で決定された中心点分布中心位置が存在する領域が、視認対象物が存在する領域（小領域）であると判定される。

【0041】

Ｑ２５の後、Ｑ２６において、Ｑ２５で決定された領域（小領域）における視認対象物までの実際の距離Ｄｒが決定される。実際の距離Ｄｒの決定に際しては、Ｑ２３で決定されたアイポイント位置の補正量が加味されたものされる。

【0042】

Ｑ２７では、Ｑ２６で決定された実際の距離Ｄｒが、実輻輳角θｒとして変換される（図３のような特性で、（１）式に基づく算出ともなる）。このようにして決定された実輻輳角θｒが、図８におけるＱ２での処理に用いられる。なお、図９の処理は、図８の処理と並行して行うようにしてもよく（図８への割り込み処理ともなる）、また、図９の処理を行った後に図８に移行するような直列処理とすることもできる。

【0043】

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。実施形態では、検出された輻輳角θ０を第１評価指数とし、検出された実際の距離Ｄｒに対応する実輻輳角θｒを第２評価指数としたが、評価指数を距離とすることもできる。すなわち、検出された輻輳角θ０に対応した視認距離を参照して、この視認距離を第１評価指数とする一方、検出された実際の距離Ｄｒを第２評価指数とすることもできる。表示手段としては、ディスプレイ３に限らず、例えば運転者の前方に表示情報を投影するヘッドアップディスプレイ等適宜のものを採択することができる。

【0044】

視認者は、車両Ｖの運転者Ｐに限らず、例えば飛行機、船舶、鉄道電車等の乗物を操作する者であってもよく、また乗り物以外の動く物（例えば無線操縦されるドローンやヘリコプター等）の操縦者であってもよく、さらには飛行場での管制官等、定位置で所定範囲を監視する者等であってもよい。没入度合いの判定は、２段階に限らず、３段階以上の多段階で行うこともできる。また、短時間（例えば３～１０秒）での没入度合いの判定を行うことができる。本発明は、例えば広告宣伝用のポスターがどの程度視認者を引きつけられるか等（広告宣伝用ポスターの場合は、没入度合いが高くなるほど好ましいものと判断される）、種々の分野において適用することができる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

【産業上の利用可能性】

【0045】

本発明は、視認対象物への没入度合いを判定することができる。

【符号の説明】

【0046】

Ｖ：車両
Ｐ：運転者
Ｕ：コントローラ
Ｓ１：レーダ
Ｓ２：シートポジションセンサ
１：運転席
３：ディスプレイ（表示手段）
１０：輻輳角検出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】