(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024128869
(43)【公開日】2024-09-24
(54)【発明の名称】電子機器、集中度算出方法、及び集中度算出プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240913BHJP
【FI】
G08G1/16 F
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023038134
(22)【出願日】2023-03-10
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(72)【発明者】
【氏名】篠▲崎▼ 教志
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181AA06
5H181AA07
5H181CC04
5H181LL01
5H181LL04
5H181LL06
5H181LL20
(57)【要約】
【課題】簡易な構成で多様な状況下において対象者の集中度を算出する。
【解決手段】電子機器10は撮像部11と視線検知部12と制御部13とを有する。撮像部11は撮像により光景に対応する画像を生成する。視線検知部12は光景に対する対象者の視線を検知する。制御部13は画像中の認識対象物の有無の判別及び当該認識対象物の位置の特定を行う。制御部13は視線が認識対象物の位置と重なる後の視線の動きに基づいて対象者の集中度を算出する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像中の認識対象物の有無の判別及び該認識対象物の位置の特定を行い、前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する制御部と、を備える
電子機器。
【請求項2】
請求項1に記載の電子機器において、
前記制御部は、前記視線が重なる位置の前記認識対象物のオプティカルフローを該視線が該認識対象物の位置と重なる画像の後に取得する前記画像から算出し、前記オプティカルフローと前記視線の動きとに基づいて、前記集中度を算出する
電子機器。
【請求項3】
請求項2に記載の電子機器において、
前記制御部は、前記オプティカルフロー及び前記視線の動きの相関性が低くなるほど、集中度が小さくなるように、該集中度を算出する
電子機器。
【請求項4】
請求項1に記載の電子機器において、
前記制御部は、前記視線が前記認識対象物の位置と重なる前記画像の次に取得する前記画像において前記視線が該認識対象物の位置から外れる場合に、該視線の移動速度に基づいて、前記集中度を算出する
電子機器。
【請求項5】
撮像により光景に対応する画像を生成する撮像工程と、
前記光景に対する対象者の視線を検知する視線検知工程と、
前記画像中の認識対象物の有無及び該認識対象物の位置を判別する判別工程と、
前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する算出工程と、を備える
集中度算出方法。
【請求項6】
コンピュータを、
撮像部が撮像により生成する光景に対応する画像、及び視線検知部が検知する前記光景に対象者の視線を取得する取得部と、
前記画像中の認識対象物の有無及び該認識対象物の位置を判別し、前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する制御部と、して機能させる
集中度算出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、集中度算出方法、及び集中度算出プログラムに関するものである。
【背景技術】
【0002】
移動体の安全な運転には、運転者の集中力が求められる。それゆえ、運転者の集中度を観察して、集中度が低下する場合、運転者への警告を発したり、運転の支援を行うことが検討されている。集中度を、前庭動眼反射や視運動性反射等に基づいて観察することが提案されている(特許文献1から5参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-136166号公報
【特許文献2】国際公開2010-032424号
【特許文献3】特開2008-079737号公報
【特許文献4】特開2022-012206号公報
【特許文献5】特開2021-053240号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、前庭動眼反射の観察には観察対象者の頭部の動きを精密に検出する必要があり、例えば、運転者に対して観察することが難しかった。又、視運動性眼振は(静止している状態でも発生するが)、観測するには車両の振動や制動の情報を持っておく必要があった。
【0005】
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、簡易な構成で多様な状況下における対象者の集中度を算出する電子機器、集中度算出方法及び集中度算出プログラムを提供することにある。
【課題を解決するための手段】
【0006】
上述した諸課題を解決すべく、第1の観点による電子機器は、
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像中の認識対象物の有無の判別及び該認識対象物の位置の特定を行い、前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する制御部と、を備える。
【0007】
第2の観点による集中度算出方法は、
撮像により光景に対応する画像を生成する撮像工程と、
前記光景に対する対象者の視線を検知する視線検知工程と、
前記画像中の認識対象物の有無の判別及び該認識対象物の位置の特定を行う判別工程と、
前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する算出工程と、を備える。
【0008】
第3の観点による集中度算出プログラムは、
コンピュータを、
撮像部が撮像により生成する光景に対応する画像、及び視線検知部が検知する前記光景に対象者の視線を取得する取得部と、
前記画像中の認識対象物の有無の判別及び該認識対象物の位置の特定を行い、前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する制御部と、して機能させる。
【発明の効果】
【0009】
上記のように構成された本開示に係る電子機器、集中度算出方法及び集中度算出プログラムによれば、簡易な構成で多様な状況下において対象者の集中度が算出される
【図面の簡単な説明】
【0010】
【
図1】一実施形態に係る電子機器の概略構成を示すブロック図である。
【
図2】視線検知部が検知する視線と画像との関係を説明するための図である。
【
図3】一実施形態において
図1の制御部が実行する算出処理を説明するためのフローチャートである。
【
図4】画像におけるオプティカルフローと、高集中度下におけるオプティカルフローに対する視線の第1の動きを説明する図である。
【
図5】画像におけるオプティカルフローと、高集中度下におけるオプティカルフローに対する視線の第2の動きを説明する図である。
【
図6】画像におけるオプティカルフローと、低集中度下におけるオプティカルフローに対する視線の動きを説明する図である。
【
図7】画像における、高集中度下に視線の移動速度を説明する図である。
【発明を実施するための形態】
【0011】
以下、本開示を適用した電子機器の実施形態について、図面を参照して説明する。なお、以下の説明は、本開示を適用した集中度算出方法及び集中度算出プログラムの説明を兼ねる。
【0012】
本開示の一実施形態に係る電子機器は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
【0013】
図1に示すように、一実施形態に係る電子機器10は、撮像部11、視線検知部12、及び、制御部13を含んで構成される。電子機器10は、更に、メモリ14を含んで構成されてよい。
【0014】
撮像部11は、例えば、移動体の前進方向の光景を撮像可能に、移動体に設けられている。撮像部11は、例えば、30fpsの速度で撮像可能なカメラである。撮像部11は、撮像により光景に対応する画像を生成する。
【0015】
視線検知部12は、例えば、移動体の運転席に着座する対象者の視線を検知可能に、移
動体に設けられている。視線検知部12は、例えば、接触型のアイトラッカーおよび非接触型のアイトラッカーのいずれかであり、光景に対する対象者の視線を検知する。
図2に示すように、視線LSは、例えば、撮像部11が撮像により生成する画像IMと同じ座標系における位置PEに相当する視線の方向として示される。
【0016】
メモリ14は、例えば、RAM(Random Access Memory)及びROM(Read Only Memory)など、任意の記憶デバイスを含む。メモリ14は、制御部13を機能させる多様なプログラム、および制御部13が用いる多様な情報を記憶する。
【0017】
制御部13は、1以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC;Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD;Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御部13は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってもよい。制御部13は、電子機器10の各構成要素の動作を制御する。
【0018】
制御部13は、通常時に、例えば、30fpsなどの速度で連続的な撮像を撮像部11に実行させ、連続的に画像IMを情報として取得する。制御部13は、画像IM中の認識対象物の有無を判別する。認識対象物の有無は、認識対象物が像として含まれているか否かを意味してよい。以下の説明において、画像IMにおける認識対象物は、認識対象物の像を意味する。
【0019】
認識対象物は、電子機器10が用いられる用途に応じて定められてよい。例えば、電子機器10が移動体における運転者を観察する用途に用いられる構成においては、認識対象物は、移動体の運転において運転者が一般的に意図して視覚する物体である。運転者が一般的に意図して視覚する物体は、例えば、車両、歩行者、路上の交通安全施設等である。路上の交通安全施設は、例えば、信号機、道路標識、路面標示等である。
【0020】
制御部13は、任意の方法を用いて、画像IM中の認識対象物を認識してよい。制御部13は、例えば、学習用の画像を用いて機械学習させた認識モデルを用いて、画像IM中の認識対象物を認識してよい。制御部13は、画像IM中の認識対象物の存在が認められる場合、画像IMにおける認識対象物の位置を特定する。認識対象物の位置は、認識対象物が占める領域のいずこかであってよい。
【0021】
制御部13は、撮像部11における撮像の実行時の対象者の視線LSを視線検知部12に検知させ、画像IMの撮像時点と実質的に同じ時期における視線LSを情報として取得してよい。画像IMの撮像時点と実質的に同じ時期とは、単一の検出時点を含んでよく、画像IMの直近の撮像のひとつ前の撮像時点から直近の撮像時点までの間の複数の検出時点を含んでよい。画像IMの撮像時点と実質的に同じ時期は、視線の単一の検出時点を含む場合、厳密な同時点ではなく、画像撮像と同じ周期の視線検知において、撮像時に最も近い時点における検知時点を含んでよい。
【0022】
制御部13は、画像IMに認識対象物が存在する場合、撮像時点と実質的に同じ検知時点における視線LSが認識対象物の位置と重なるか否かを判別する。制御部13は、視線LSが認識対象物の位置と重なる場合、重なると判別した後の視線LSの動きに基づいて
、対象者の集中度を算出する。なお、本開示において集中度は、ある事柄に対して対象者が注意を向けている程度である。ただし、本開示における集中度は、このような概念に限定されるものではなく、適用場面に応じて適宜ほかの定義が適用されてよい。制御部13は、以下に説明するように、視線LSの動き及びオプティカルフローに基づいて、又は視線LS移動速度に基づいて、対象者の集中度を算出してよい。オプティカルフローは、連続するフレームの画像IM間における同じ認識対象物の像の光学的な動き、言換えると画像IM内でのベクトルである。
【0023】
制御部13は、集中度の算出のために、例えば、視線LSと重なる位置の認識対象物のオプティカルフローを、後のフレームの画像IMから算出してよい。後のフレームの画像IMとは、視線LSが認識対象物の位置と重なる画像IMの後に制御部13が取得する画像である。又、制御部13は、集中度の算出のために、オプティカルフローの算出に用いた複数の画像IMの撮像時と実質的に同じ検知時点である視線LSの動き、言換えると視線LSの変化を示すベクトルを算出してよい。
【0024】
制御部13は、オプティカルフローと視線LSの動きの相関性を算出してよい。制御部13は、オプティカルフローと視線LSの動きの相関性を、例えば、オプティカルフローを示すベクトルと視線LSを示すベクトルとの大きさの差及び角度に応じて算出してよい。例えば、制御部13は、オプティカルフローを示すベクトルと視線LSを示すベクトルとの大きさの差がゼロに近づくほど高くなるように、相関性を算出してよい。又、制御部13は、オプティカルフローを示すベクトルと視線LSを示すベクトルとのなす角度が90°に近づくほど低く且つ0°又は180°に近づくほど高くなるように、相関性を算出してよい。
【0025】
制御部13は、算出した相関性が低くなるほど小さくなるように、集中度を算出してよい。逆に、制御部13は、算出した相関性が高くなるほど大きくなるように、集中度を算出してよい。
【0026】
制御部13は、集中度の算出のために、検知時点が連続する視線LSに基づいて、視線の移動速度を算出してよい。制御部13は、視線LSが認識対象物の位置と重なる画像IMの次に取得する画像IMにおいて視線LSが当該認識対象物から外れるか否かを判別してよい。制御部13は、視線LSが当該認識対象物から外れると判別される場合、視線LSの移動速度に基づいて集中度を算出してよい。具体的には、制御部13は、視線LSの移動速度がサッカードの速度を超えている場合、高くなるように集中度を算出してよい。サッカードの速度は、一般的に、100°/秒から500°/秒であり、視線LSの移動速度との比較には、この範囲内で定められた値が用いられてよい。又は、制御部13は、視線LSの移動速度がサッカードの速度を下回る場合、低くなるように集中度を算出してよい。視線LSの移動速度とサッカードの移動速度の比較に基づく集中度の算出では、集中度は低集中度及び高集中度のいずれかが算出されているが、段階的な値が算出されてよい。なお、本開示において、サッカードの速度は角速度として示されてよい。サッカードの速度単位の[°/秒]は、例えば[rad/s]等の他の速度単位により表現されてよい。サッカードの速度測定の際の角度の中心は対象者の頭(目)を基準としてよい。サッカードの速度は、どれだけの速度で目が回転したかという値であってよい。サッカードの速度は、目が止まっている時を0[rad/s]であってよい。サッカードの速度を与える角度は、目を中心とした3次元で測定されてよい。
【0027】
制御部13は、算出した集中度を外部機器15に出力する。外部機器15は、集中度に基づいて所定の動作を行う装置である。外部機器15は、例えば、集中度に基づいて対象者に警告を発する警告装置、集中度に基づいて移動体の運転補助を行う運転補助装置、及び集中度に基づいて移動体の運転を行う運転装置などである。
【0028】
次に、本実施形態において制御部13が実行する、算出処理について、
図3のフローチャートを用いて説明する。算出処理は、1フレームの画像IMおよび視線LSを制御部13が取得するたびに開始する。
【0029】
ステップS100において、制御部13は、取得する視線LSを、画像IMと同じ座標系における位置PEに相当する視線の方向として認識する。認識後、プロセスはステップS101に進む。
【0030】
ステップS101では、制御部13は、画像IMにおける認識対象物の有無の判別及び位置の検出を行う。判別及び検出後、プロセスはステップS102に進む。
【0031】
ステップS102では、制御部13は、前フレームの画像IMにおいて視線LSが認識対象物の位置と重なるか否かを判別する。重なる場合、プロセスはステップS103に進む。重ならない場合、プロセスはステップS107に進む。
【0032】
ステップS103では、制御部13は、現フレームの画像IMにおいて視線LSが前フレームにおいて視線LSと重なった認識対象物から外れるか否かを判別する。外れない場合、プロセスはステップS104に進む。外れる場合、プロセスはステップS105に進む。
【0033】
ステップS104では、制御部13は、前フレームと現フレームとの間における視線LSの動き及びオプティカルフローに基づいて、集中度を算出する。算出後、プロセスはステップS106に進む。
【0034】
ステップS105では、制御部13は、前フレームと現フレームとの間における視線LSの動きに基づいて移動速度を算出してよい。更に、制御部13は、算出した移動速度をサッカードの速度と比較することにより、集中度を算出する。算出後、プロセスはステップS106に進む。
【0035】
ステップS106では、制御部13は、ステップS104又はステップS105において算出した集中度を外部機器15に出力する。出力後、プロセスはステップS107に進む。
【0036】
ステップS107では、制御部13は、ステップS100において認識した視線LS、及びステップ101において認識された認識対象物の重なりを判別する。なお、ステップS101において、画像IS中に認識対象物が存在しないと判別される場合、ステップS107をスキップしてよい。
【0037】
以上のような構成の本実施形態の電子機器10は、撮像により光景に対応する画像IMを生成する撮像部11と、光景に対する対象者の視線を検知する視線検知部12と、画像IM中の認識対象物の有無及び当該認識対象物の位置を判別し、視線LSが認識対象物の位置と重なる後の当該視線LSの動きに基づいて対象者の集中度を算出する制御部13とを備える。認識対象物を視覚した後の視線の動きは、集中度の高低により変動する。そのような反応を利用して、上述のような構成を有する電子機器10は、必要な情報を撮像部11及び視線検知部12の検出結果から得られるので、簡易な構成で集中度を算出し得る。又、上述の構成を有する電子機器10は、認識対象物に視線LSが重なれば集中度を算出可能なので、多様な状況下でも対象者の集中度を算出し得る。
【0038】
又、本実施形態の電子機器10は、視線LSが重なる位置の認識対象物のオプティカル
フローを当該視線LSが当該認識対象物の位置と重なる画像IMの後に取得する画像IMから算出し、オプティカルフローと視線LSの動きとに基づいて、集中度を算出する。例えば、対象者が道路を走行中に、認識対象物として経路案内に視線LSを向けることが想定される。
図4に示すように、走行中の移動体において撮像した任意のフレームの画像IMにおける路面標示16は、前のフレームの画像IMにおいては異なる位置dpにあることが想定される。集中力が高い状態で対象者が路面標示16を注視している場合、前のフレームから任意のフレーム間において、視線LSの動きM1は路面標示16のオプティカルフローofに近づくことが一般的である。又は、集中力が高い状態の対象者は、それまでオプティカルフローに沿って注視していた路面標示16から、特にどこかを意図してみない場合は、それまでのオプティカルフローの逆方向に視線を移すことが一般的である。それゆえ、
図5に示すように、視線LSの動きM1は路面標示16のオプティカルフローとは逆方向に近くづく可能性が高い。一方で、
図6に示すように、集中力の低い状態の対象者は、特定の物を注視していない可能性が高いため、視線LSの動きM1はオプティカルフローとは無関係になる。このような生理現象に対して、上述の構成を有する電子機器10は、オプティカルフローと視線LSの動きに基づくので、高い精度で集中度を算出し得る。
【0039】
又、本実施形態の電子機器10は、視線LSが認識対象物の位置と重なる画像の次に取得する画像において視線が当該認識対象物の位置から外れる場合に、当該視線LSの移動速度に基づいて、前記集中度を算出する。前述のように、例えば、対象者が道路を走行中に、認識対象物として経路案内に視線LSを向けることが想定される。集中力が高い状態で対象者が路面標示16を注視している場合、他の認識対象物に視線LSを移すことはあり得る。このように集中力が高い状態では、任意の認識対象物から別の認識対象物に視線LSを移す場合、サッカードの速度を超える移動速度で視線LSが切り替わることが一般的である。それゆえ、
図7に示すように、それまで注視していた路面標示16のオプティカルフローofとは無関係であっても、視線LSの移動速度がサッカードの速度を超える場合、対象者の集中度は高い。このような生理現象に対して、上述の構成を有する電子機器10は、視線LSの移動速度に基づくので、高い精度で集中度を算出し得る。
【0040】
以上、電子機器10の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体(一例として、光ディスク、光磁気ディスク、CD-ROM、CD-R、CD-RW、磁気テープ、ハードディスク、又はメモリカード等)としての実施態様をとることも可能である。
【0041】
また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のCPUにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
【0042】
本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
【0043】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を1つに組み合わせたり、或いは分割したりすることが可能である。
【0044】
本開示に記載された構成要件の全て、及び/又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
【0045】
さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
【符号の説明】
【0046】
10 電子機器
11 撮像部
12 視線検知部
13 制御部
14 メモリ
15 外部機器
16 路面標示
dp 異なる位置
IM 画像
LS 視線
M1 視線の動き
of オプティカルフロー
PE 視線の方向に相当する位置