特許 7567303 オブジェクト認識制御装置およびオブジェクト認識制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】オブジェクト認識制御装置およびオブジェクト認識制御方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241008BHJP

【ＦＩ】

G08G1/16 C

【請求項の数】 4

(21)【出願番号】P 2020154319

(22)【出願日】2020-09-15

(65)【公開番号】P2022048481

(43)【公開日】2022-03-28

【審査請求日】2023-04-28

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】酒井 康利

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】谷山 紘史

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２０１８－０４５３８５（ＪＰ，Ａ）

【文献】特開２０１５－０２４７１３（ＪＰ，Ａ）

【文献】特開２００７－０７２６３２（ＪＰ，Ａ）

【文献】特開２０１９－０４５９０１（ＪＰ，Ａ）

【文献】特開２００８－１１７２４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｒ ２１／００ － ２１／０１７

Ｇ０７Ｃ １／００ － １５／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、
前記車両の運転者の視線方向を検出し、前記運転者による目視確認が疎かになっている方向を検出する確認方向検出部と、
前記映像データ取得部が取得した前記映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、
前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、
を備え、
前記認識処理部は、前記確認方向検出部が検出した前記運転者による目視確認が疎かになっている方向に基づいて、前記運転者による目視確認が疎かになっている方向に対する前記閾値を、前記運転者による目視確認が疎かになっていない方向に対する閾値より低い閾値に変化させる、
オブジェクト認識制御装置。

【請求項2】

前記確認方向検出部は、前記車両の運転者が、所定期間視線を向けていない方向を、目視確認が疎かになっている方向として検出する、
請求項１に記載のオブジェクト認識制御装置。

【請求項3】

前記認識処理部は、前記確認方向検出部が検出した前記運転者による目視確認が疎かになっている左右方向に基づいて、前記閾値を、前記運転者の正面からより離れた方向に対して小さくなるように変化させる、
請求項２に記載のオブジェクト認識制御装置。

【請求項4】

車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、
前記車両の運転者の視線方向を検出し、前記運転者による目視確認が疎かになっている方向を検出する確認方向検出ステップと、
前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、
前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、
を含み、
前記認識処理ステップにおいては、前記確認方向検出ステップが検出した前記運転者による目視確認が疎かになっている方向に基づいて、前記運転者による目視確認が疎かになっている方向に対する前記閾値を、前記運転者による目視確認が疎かになっていない方向に対する閾値より低い閾値に変化させる、
オブジェクト認識制御装置が実行するオブジェクト認識制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクト認識制御装置およびオブジェクト認識制御方法に関する。

【背景技術】

【0002】

撮影画像における人物認識は、人物認識辞書を用いた認識処理において、人物らしさを示すスコアが所定の閾値以上である場合、人物であると判断する。撮影画像に対して認識辞書を用いて歩行者らしさを示すスコアが高いことで対象物が歩行者であることを判断する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０１５０２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

通常は、車両の運転者の目視によって人物及び人物が乗車している自転車など注意を要する対象となる特定オブジェクトを確認しながら運転する。運転者の目視確認がある方向に集中してしまう場合、目視確認が疎かになっている方向の人物及び人物が乗車している自転車などに気が付くのが遅れたり、見落としたりするおそれがある。このような状態で、人物及び人物が乗車している自転車などの認識処理において認識漏れが生じた場合、安全を損なう可能性がある。

【0005】

本発明は、上記に鑑みてなされたものであって、オブジェクトの認識を適切に行うことを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係るオブジェクト認識制御装置は、車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、前記車両の運転者の視線方向を検出し、前記運転者による目視確認が疎かになっている方向を検出する確認方向検出部と、前記映像データ取得部が取得した前記映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理部と、前記認識処理部が認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理部と、を備え、前記認識処理部は、前記確認方向検出部が検出した前記運転者による目視確認が疎かになっている方向に基づいて、前記閾値を変化させる。

【0007】

本発明に係るオブジェクト認識制御装置が実行するオブジェクト認識制御方法は、車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、前記車両の運転者の視線方向を検出し、前記運転者による目視確認が疎かになっている方向を検出する確認方向検出ステップと、前記映像データ取得ステップで取得した映像データに対して、特定オブジェクトらしさを示すスコアが閾値以上である場合、前記特定オブジェクトとして認識する認識処理ステップと、前記認識処理ステップで認識した前記特定オブジェクトの情報を前記車両の運転者に提示する提示処理ステップと、を含み、前記認識処理ステップにおいては、前記確認方向検出ステップが検出した前記運転者による目視確認が疎かになっている方向に基づいて、前記閾値を変化させる。

【発明の効果】

【0008】

本発明によれば、オブジェクトの認識を適切に行うことができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、第一実施形態に係るオブジェクト認識制御装置を有するオブジェクト認識装置の構成例を示すブロック図である。

【図2】図２は、映像データにおける範囲の一例を示す概略図である。

【図3】図３は、映像データにおける範囲の他の例を示す概略図である。

【図4】図４は、第一実施形態に係るオブジェクト認識制御装置における処理の流れを示すフローチャートである。

【図5】図５は、映像データにおける範囲の一例を示す概略図である。

【図6】図６は、映像データにおける範囲の他の例を示す概略図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本発明に係るオブジェクト認識制御装置およびオブジェクト認識制御方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
＜オブジェクト認識装置＞
図１は、第一実施形態に係るオブジェクト認識制御装置である制御部２０を有するオブジェクト認識装置１０の構成例を示すブロック図である。オブジェクト認識装置１０は、映像データに対してオブジェクト認識辞書を用いた認識処理を行って、オブジェクトを認識する。オブジェクト認識装置１０は、認識したオブジェクトに関する情報を運転者に通知する。

【0012】

オブジェクト認識装置１０は、カメラ（撮影部）１１と、車内カメラ１２と、認識辞書記憶部１３と、表示部１４と、制御部（オブジェクト認識制御装置）２０とを有する。オブジェクト認識装置１０は、例えば、車両にあらかじめ設置されている安全運転支援機能を有する装置やナビゲーション装置、ドライブレコーダー等の機能として実装されていてもよい。

【0013】

カメラ１１は、車両の周辺を撮影するカメラである。カメラ１１は、車両に搭載され、車両の進行方向を撮影する。カメラ１１は、遠赤外線カメラ、可視光カメラ、または遠赤外線カメラおよび可視光カメラの組み合わせで構成される。カメラ１１は、例えば、車両の進行方向である前方を撮影可能な位置に配置されている。カメラ１１は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。カメラ１１は、撮影した映像データを制御部２０の映像データ取得部２１へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。本実施形態では、カメラ１１は、車両の前方に配置されている。

【0014】

車内カメラ１２は、車両の車室内を撮影するカメラである。車内カメラ１２は、運転席に着座している運転者の顔部を撮影可能な位置に配置されている。車内カメラ１２は、例えば、可視光カメラまたは遠赤外線カメラ、または近赤外線カメラで構成される。車内カメラ１２は、例えば、可視光カメラと遠赤外線カメラまたは近赤外線カメラとの組み合わせで構成されてもよい。車内カメラ１２は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。車内カメラ１２は、撮影した車内映像データを制御部２０の映像データ取得部２１へ出力する。車内映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

【0015】

認識辞書記憶部１３は、映像データから各種のオブジェクトを認識するための辞書データ記憶している。認識辞書記憶部１３は、例えば、特定オブジェクトが撮影された様々な映像を機械学習させ、映像データに含まれるオブジェクトが特定オブジェクトであることを照合可能なオブジェクト認識辞書を記憶している。認識辞書記憶部１３は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子、または、ネットワークを介した外部記憶装置などの記憶装置である。

【0016】

表示部１４は、各種の情報を表示する装置であり、一例としては、オブジェクト認識装置１０に固有の表示装置、または、ドライブレコーダー及びナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部１４は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１４は、制御部２０の提示処理部２４から出力された映像信号に基づいて、映像を表示する。本実施形態では、表示部１４は、車両の運転者が運転中に目視可能な位置に配置されている。

【0017】

＜オブジェクト認識制御装置＞
制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御部２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２０には図示しない内部メモリが含まれ、内部メモリは制御部２０におけるデータの一時記憶などに用いられる。このため、制御部２０は、オブジェクト認識装置１０によるオブジェクト認識方法を実行させる。また、制御部２０は、本発明にかかるプログラムを動作させるコンピュータである。制御部２０は、バス２０Ｘに接続された、映像データ取得部２１と、確認方向検出部２２と、認識処理部２３と、提示処理部２４とを有する。

【0018】

映像データ取得部２１は、カメラ１１が撮影した映像データを取得する。より詳しくは、映像データ取得部２１は、カメラ１１が出力した、車両の進行方向である前方を撮影した映像データを取得する。

【0019】

映像データ取得部２１は、車内カメラ１２が撮影した映像データを取得する。より詳しくは、映像データ取得部２１は、車内カメラ１２が出力した車内映像データであり、車両の運転者の顔が撮影された映像データを取得する。

【0020】

確認方向検出部２２は、車両の運転者の視線方向を検出し、運転者による目視確認が疎かになっている方向を検出する。本実施形態では、確認方向検出部２２は、車内カメラ１２が撮影した車内映像データに画像処理を行って、運転者の顔部を認識して運転者による目視確認が疎かになっている方向を検出する。より詳しくは、確認方向検出部２２は、例えば、車内映像データから運転者の眼を認識して、視線の向きを示す情報を取得する。確認方向検出部２２は、車両の運転者の視線の向きから、運転者が目視確認している方向に偏りがあるか否か、言い換えると、運転者による目視確認が疎かになっている方向があるか否かを判定する。車両の運転者の目の映像に基づく視線検出は、目の映像から検出した目頭と光彩の位置関係に基づく視線検出や、角膜反射と瞳孔の位置関係に基づく視線検出など任意の手法が適用可能である。

【0021】

本実施形態では、確認方向検出部２２は、車両の運転者が車両の進行方向である前方を向いているときにおける、正面方向または左右方向に対して目視確認が疎かになっている方向を検出する。

【0022】

確認方向検出部２２は、運転者の顔の向きおよび視線方向から、運転者が車両の運転中に車両の進行方向である正面方向を向いている場合や、定期的に左右方向などを向いている場合は、車両の運転者による目視確認が疎かになっている方向はないと判断する。確認方向検出部２２は、例えば、運転者が右前方に視線を向けている期間が、例えば５秒以上継続されている場合、左方向の目視確認が疎かになっていると判断する。確認方向検出部２２は、例えば、運転者が左前方に視線を向けている期間が、例えば５秒以上継続されている場合、右方向の目視確認が疎かになっていると判断する。

【0023】

認識処理部２３は、映像データ取得部２１が取得した映像データから、車両の周辺の特定オブジェクトを認識する。認識処理部２３は、映像データに対して、認識辞書記憶部１３が記憶しているオブジェクト認識辞書を用いたパターンマッチングを行って、特定オブジェクトを認識するオブジェクト認識処理を行う。オブジェクト認識処理においては、公知の方法を使用可能である。認識処理部２３は、オブジェクト認識装置１０が起動している間は、常時処理を行ってもよい。

【0024】

特定オブジェクトとは、人物、人物が乗車している自転車を含む二輪車、および、他車両を含む。

【0025】

認識処理部２３は、映像データ取得部２１が取得した映像データに対して、特定オブジェクトらしさを示すスコアが所定の閾値以上である場合、特定オブジェクトとして認識する。通常時のスコアの閾値を規定値Ａとする。スコアの閾値は、確認方向検出部２２による検出結果に応じて変更される。変更されたスコアの閾値をＢとする。

【0026】

認識処理部２３は、確認方向検出部２２の検出結果に基づいて、スコアの閾値を変化させて特定オブジェクトを認識する。認識処理部２３は、確認方向検出部２２が検出した運転者による目視確認が疎かになっている方向に基づいて、スコアの閾値を変化させる。より詳しくは、認識処理部２３は、検出結果が、運転者による目視確認が疎かになっている方向があることを示す場合、目視確認が疎かになっている方向に対して、通常時のスコアの閾値Ａよりも低い閾値Ｂ（Ｂ＜Ａ）を用いて特定オブジェクトとして認識する。これにより、運転者による目視確認が疎かになっている方向があることを示す場合、特定オブジェクトとして認識されやすくする。認識処理部２３は、検出結果が、運転者による目視確認が疎かになっている方向がないことを示す場合、通常時のスコアの閾値Ａを用いて特定オブジェクトとして認識する。

【0027】

例えば、特定オブジェクトらしさを示すスコアは最大１．０である。一例として、閾値Ａを０．９、閾値Ｂを０．７とする。認識処理部２３は、通常時は、スコアが０．９以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。認識処理部２３は、運転者による目視確認が疎かになっている方向があるときは、目視確認が疎かになっている方向に対して、スコアが０．７以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。認識処理部２３は、スコアが０．７以上であることを条件としてオブジェクト認識を行っているときは、運転者による目視確認が疎かになっている方向がなくなったときに、通常の閾値を用いる認識処理に戻る。

【0028】

スコアの閾値は、特定オブジェクトごとに、言い換えると、認識辞書ごとに設定されていてもよい。

【0029】

スコアの閾値は、段階的に変化させてもよいし、目視確認が疎かになっている方向から疎かになっていない方向に対してリニアに変化させてもよい。

【0030】

認識処理部２３は、映像データ取得部２１が取得した映像データにおける、確認方向検出部２２が検出した運転者による目視確認が疎かになっている方向に対して、スコアの閾値を低くしてもよい。

【0031】

図２は、映像データ１００における範囲の一例を示す概略図である。図２に示すように、映像データ１００を左右方向の中心線を境にして、左側範囲ＡＬと右側範囲ＡＲとに分けてもよい。認識処理部２３は、映像データ１００に対して、例えば、運転者による目視確認が疎かになっている方向が右側範囲ＡＲである場合、映像データ１００の右側範囲ＡＲについてスコアの閾値を低くしてもよい。この場合、運転者による目視確認が疎かになっていない、左側範囲ＡＬについてスコアの閾値は通常の閾値とする。

【0032】

図３は、映像データにおける範囲の他の例を示す概略図である。図３に示すように、映像データ１００を左右方向の中心部である中央範囲ＡＣを設定し、左側範囲ＡＬと右側範囲ＡＲとに分けてもよい。認識処理部２３は、映像データ１００に対して、例えば、運転者による目視確認が疎かになっている方向が右側範囲ＡＲである場合、映像データ１００の右側範囲ＡＲについてスコアの閾値を低くしてもよい。この場合、運転者による目視確認が疎かになっていない左側範囲ＡＬおよび中央範囲ＡＣについてスコアの閾値は通常の閾値とする。

【0033】

提示処理部２４は、認識処理部２３が認識した特定オブジェクトの情報を車両の運転者に提示する。提示処理部２４が認識した特定オブジェクトの情報を提示することによって、車両の運転者に対して、特定オブジェクトへの注意を促す。提示処理部２４は、表示部１４による表示または図示しない音声出力部から出力される音声を用いて、認識した特定オブジェクトの情報を運転者に提示する。このため、提示処理部２４は、表示部１４による表示で特定オブジェクトの情報を運転者に提示する場合は、表示制御部として機能する。より詳しくは、提示処理部２４は、車両の運転者に情報を提示する映像を生成する。提示処理部２４は、例えば、映像データに対して、認識された特定オブジェクトの範囲に枠線を重ねて表示させる提示用映像データを生成する。提示処理部２４は、例えば、特定オブジェクトへの注意を促す文字またはアイコンを表示させる提示用映像データを生成してもよい。提示処理部２４は、映像とともに出力する警告音などの音声を生成してもよい。提示処理部２４は、生成した映像を表示させる映像信号を表示部１４に出力して、映像を表示させる。提示処理部２４は、映像ともに生成した音声を出力させる音声信号を図示しないスピーカに出力してもよい。

【0034】

車両の運転者に提示する映像は、例えば、車両の周辺に特定オブジェクトが検出されたことを示す文字またはアイコンなどの映像である。

【0035】

＜制御部における処理＞
次に、図４を用いて、制御部２０における処理の流れについて説明する。図４は、第一実施形態に係るオブジェクト認識制御装置である制御部２０における処理の流れを示すフローチャートである。オブジェクト認識装置１０が起動されると、図４に示すフローチャートの処理が開始される。図４の処理の開始は、任意の条件で開始される。例えば、オブジェクト認識装置１０を搭載している車両のエンジンが始動するなど車両が利用可能になった場合や、ユーザの操作によってオブジェクト認識装置１０の動作が開始されたときなどである。また、ステップＳ１０１の処理は、車両が走行していることを条件として実行されてもよい。

【0036】

図４の処理の開始に伴い、制御部２０は、撮影及びオブジェクト認識処理を開始する（ステップＳ１０１）。より詳しくは、制御部２０は、カメラ１１によって撮影を開始させる。制御部２０は、映像データ取得部２１によって、カメラ１１が出力した映像データを取得する。制御部２０は、認識処理部２３によって、映像データ取得部２１が取得した映像データから、車両の周辺の特定オブジェクトを認識する。ステップＳ１０１におけるオブジェクト認識処理のスコアの閾値は、通常時のスコアの閾値Ａである。例えば、制御部２０は、認識処理部２３によって、スコアが０．９以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。また、制御部２０は、車内カメラ１２によって撮影を開始させる。制御部２０は、映像データ取得部２１によって、車内カメラ１２が出力した車内映像データを取得する。制御部２０は、ステップＳ１０２に進む。

【0037】

ステップＳ１０１による処理が開始されるとともに、制御部２０は、運転者による目視確認が疎かになっている方向があるか否かを判定する（ステップＳ１０２）。より詳しくは、制御部２０は、確認方向検出部２２によって、映像データ取得部２１が取得した映像データから、運転者の視線を検出する。制御部２０は、確認方向検出部２２の検出結果が、運転者による目視確認が疎かになっている方向があることを示す場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０４へ進む。制御部２０は、確認方向検出部２２の検出結果が、運転者による目視確認が疎かになっている方向がないことを示す場合（ステップＳ１０２でＮｏ）、ステップＳ１０３へ進む。

【0038】

運転者による目視確認が疎かになっている方向がないことを示す場合（ステップＳ１０２でＮｏ）、制御部２０は、認識処理部２３によって、通常時のスコアの閾値Ａを用いて特定オブジェクト認識処理を実行する（ステップＳ１０３）。より詳しくは、認識処理部２３は、スコアが０．９以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。制御部２０は、ステップＳ１０５へ進む。

【0039】

運転者による目視確認が疎かになっている方向があることを示す場合（ステップＳ１０２でＹｅｓ）、制御部２０は、認識処理部２３によって、通常時のスコアの閾値Ａよりも低い閾値Ｂを用いて特定オブジェクト認識処理を実行する（ステップＳ１０４）。より詳しくは、認識処理部２３は、スコアが０．７以上である場合、検出したオブジェクトが特定オブジェクトであると判断する。これにより、運転者による目視確認が疎かになっている方向がある場合、通常時に比べて、検出したオブジェクトが特定オブジェクトと認識されやすくなる。制御部２０は、ステップＳ１０５へ進む。

【0040】

制御部２０は、認識処理部２３のオブジェクト認識結果に基づいて、特定オブジェクトを認識したか否かを判定する（ステップＳ１０５）。制御部２０は、特定オブジェクトを認識したと判定する場合（ステップＳ１０５でＹｅｓ）、ステップＳ１０６へ進む。制御部２０は、特定オブジェクトを認識したと判定しない場合（ステップＳ１０５でＮｏ）、ステップＳ１０７へ進む。

【0041】

制御部２０は、提示処理部２４によって、認識された特定オブジェクトの範囲に枠線を表示する（ステップＳ１０６）。より詳しくは、制御部２０は、提示処理部２４によって、映像データに、車両の周辺の特定オブジェクトを囲う枠線を重ねて表示部１４に表示させる。制御部２０は、ステップＳ１０７へ進む。

【0042】

制御部２０は、撮影及びオブジェクト認識処理を終了するか否かを判定する（ステップＳ１０７）。制御部２０は、例えば、オブジェクト認識処理を終了する操作を検出した場合、または、車両が停止してエンジンがＯＦＦされた場合などは、撮影及びオブジェクト認識処理を終了すると判定する。制御部２０は、撮影及びオブジェクト認識処理を終了すると判定する場合（ステップＳ１０７でＹｅｓ）、処理を終了する。制御部２０は、撮影及びオブジェクト認識処理を終了すると判定しない場合（ステップＳ１０７でＮｏ）、ステップＳ１０２の処理を再度実行する。

【0043】

＜効果＞
上述したように、本実施形態では、運転者による目視確認が疎かになっている方向があるか否かに応じて、オブジェクト認識処理におけるスコアの閾値を変化させる。本実施形態によれば、運転者による目視確認が疎かになっている方向があるか否かに応じて、特定オブジェクトの認識を適切に行うことができる。

【0044】

本実施形態では、運転者による目視確認が疎かになっている方向があることを示す場合、当該方向に対してオブジェクト認識処理におけるスコアの閾値を低くする。本実施形態によれば、運転者による目視確認が疎かになっている方向があり、運転者の人物などに対する注意が疎かになる可能性がある場合、当該方向に対して特定オブジェクトを認識しやすくすることができる。本実施形態によれば、より安全な運転を支援することができる。

【0045】

また、本実施形態では、運転者による目視確認が疎かになっている方向があることを示す場合、当該方向に対してオブジェクト認識処理におけるスコアの閾値を低くするため、物体の陰に一部が隠れた人物などの特定オブジェクトのように通常のスコアでは特定オブジェクトとして認識されない場合であっても、特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトの存在を知ることができる。

【0046】

さらに、本実施形態では、運転者による目視確認が疎かになっている方向があることを示す場合、当該方向に対してオブジェクト認識処理におけるスコアの閾値を低くするため、特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、特定オブジェクトが存在することとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。

【0047】

［第二実施形態］
図５、図６を参照しながら、本実施形態に係るオブジェクト認識装置１０について説明する。図５は、映像データにおける範囲の一例を示す概略図である。図６は、映像データにおける範囲の他の例を示す概略図である。第二実施形態にかかるオブジェクト認識装置１０の構成は第一実施形態のオブジェクト認識装置１０と同一であり、処理が異なるため、構成の説明は省略する。

【0048】

認識処理部２３は、確認方向検出部２２が検出した運転者による目視確認が疎かになっている左右方向に基づいて、スコアの閾値を、運転者の正面からより離れた方向に対して小さくなるように変化させる。

【0049】

図５に示すように、映像データ１００を左右方向に４つに分けて、左から順番に、第一左側範囲ＡＬ１と第二左側範囲ＡＬ２と第二右側範囲ＡＲ２と第一右側範囲ＡＲ１とに分けてもよい。例えば、車両の運転者が右方向の目視確認が疎かになっている場合、第一右側範囲ＡＲ１の閾値を０．６、第二右側範囲ＡＲ２の閾値を０．７とする。例えば、車両の運転者が左方向の目視確認が疎かになっている場合、第一左側範囲ＡＬ１の閾値を０．６、第二左側範囲ＡＬ２の閾値を０．７とする。

【0050】

図６に示すように、映像データ１００を左右方向の中心部であるＡＣ２を設定して４つに分け、左から順番に、左側範囲ＡＬ１と左側範囲ＡＬ２と右側範囲ＡＲ２と右側範囲ＡＲ１とに分けてもよい。この場合も、上記と同様に閾値を設定可能である。

【0051】

上述したように、本実施形態では、生体情報が、集中度が低下していることを示す場合、オブジェクト認識処理のスコアの閾値を低くする。本実施形態によれば、オブジェクトの認識を適切に行うことができる。

【0052】

上述した各実施形態においては、車両の運転者が車両の進行方向における右方向または左方向に対して目視確認が疎かになっている例を説明したが、車両の運転者が車両の進行方向における正面方向、つまり図３における中央範囲ＡＣや図６における中央範囲ＡＣ２の方向から視線が所定の期間動いていない状態は、左右方向に対して、スコアの閾値を低くしてもよい。

【0053】

これまで本発明に係るオブジェクト認識装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

【0054】

図示したオブジェクト認識装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0055】

オブジェクト認識装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0056】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0057】

上記では、出力制御部は、表示部に情報を表示させるものとして説明したが、これに限定されない。出力制御部は、例えば、車内に設置されたスピーカから音声を出力させてもよい。

【符号の説明】

【0058】

１０ オブジェクト認識装置
１１ カメラ（撮影部）
１２ 車内カメラ
１３ 認識辞書記憶部
１４ 表示部
２０ 制御部（オブジェクト認識制御装置）
２１ 映像データ取得部
２２ 確認方向検出部
２３ 認識処理部
２４ 提示処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】