特開 2024-59258 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024059258

(43)【公開日】2024-05-01

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240423BHJP

【ＦＩ】

G06F3/01 510

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022166829

(22)【出願日】2022-10-18

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100177839

【弁理士】

【氏名又は名称】大場 玲児

(74)【代理人】

【識別番号】100172340

【弁理士】

【氏名又は名称】高橋 始

(74)【代理人】

【識別番号】100182626

【弁理士】

【氏名又は名称】八島 剛

(72)【発明者】

【氏名】本井 滋

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA41

5E555BA23

5E555BB23

5E555BC04

5E555BE09

5E555CA42

5E555EA22

5E555FA01

(57)【要約】

【課題】より適切に操作者の状態を把握可能にすることである。
【解決手段】情報処理装置であるＥＣＵ（１１０）は、操作装置（１６０）を操作する操作者を撮影した撮影データから前記操作者を認識する操作者認識部（１２１）と、前記操作者による前記操作装置（１６０）への操作の検出結果により、操作継続状況を判断する操作継続状況判断部（１２２）と、前記操作継続状況判断部（１２２）の判断結果、及び前記撮影データの解析結果に応じて、前記操作者が困り状態であることを推定する困り状態推定部（１２３）と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

操作装置（１６０）を操作する操作者を撮影した撮影データから前記操作者を認識する操作者認識部（１２１）と、
前記操作者による前記操作装置（１６０）への操作の検出結果により、操作継続状況を判断する操作継続状況判断部（１２２）と、
前記操作継続状況判断部（１２２）の判断結果、及び前記撮影データの解析結果に応じて、前記操作者が困り状態であることを推定する困り状態推定部（１２３）と、
を備える情報処理装置（１１０）。

【請求項2】

前記困り状態推定部（１２３）の推定結果に応じて、前記操作装置（１６０）に操作案内を表示する情報表示部（１２４）をさらに備える、
請求項１に記載の情報処理装置（１１０）。

【請求項3】

前記困り状態推定部（１２３）は、前記撮影データを解析して前記操作者の感情を推定し、推定した前記操作者の感情に応じて、前記操作者が困り状態であることを推定する
請求項１に記載の情報処理装置（１１０）。

【請求項4】

前記困り状態推定部（１２３）は、前記撮影データを解析して前記操作者の指及び目の状態を検知し、検知した前記操作者の指及び目の状態に応じて、前記操作者が困り状態であることを推定する
請求項１に記載の情報処理装置（１１０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作者に操作方法の案内をする情報処理装置に関する。

【背景技術】

【0002】

自動車に搭載されたＩＶＩ（ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ）などの情報処理装置では、機能の多様化に伴い、操作者に操作方法の案内をする必要性が高まっている。しかし、操作に慣れた操作者にとっては、案内が不要な場合があり、必要に応じて案内を行うのが望ましい。

【0003】

特許文献１に記載の操作支援装置では、操作者が操作をする位置にいながら無操作状態が続いた場合や操作履歴に応じて、操作に関してのヘルプが必要であると判断するようにしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６３７０７１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、操作者が操作に困った状態は、無操作状態や操作履歴に現れないこともあり、操作者が案内して欲しいときに適切に対応できない場合があるという問題があった。このため、従来、操作者の状態の把握に改善の余地があった。

【0006】

本発明は、より適切に操作者の状態を把握可能にすることを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様によれば、情報処理装置（１１０）であって、操作装置（１６０）を操作する操作者を撮影した撮影データから前記操作者を認識する操作者認識部（１２１）と、前記操作者による前記操作装置（１６０）への操作の検出結果により、操作継続状況を判断する操作継続状況判断部（１２２）と、前記操作継続状況判断部（１２２）の判断結果、及び前記撮影データの解析結果に応じて、前記操作者が困り状態であることを推定する困り状態推定部（１２３）と、を備える情報処理装置（１１０）が提供される。

【発明の効果】

【0008】

本発明によれば、より適切に操作者の状態を把握可能にすることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る車載システム１００のハードウェア構成を示すブロック図である。

【図2】図１に示したＥＣＵ１１０の機能構成を示すブロック図である。

【図3】本発明の実施例１に係るＥＣＵ１１０における処理を示すフローチャートである。

【図4】ステップＳ３０２に示した操作者検知処理の具体例を示すフローチャートである。

【図5】ステップＳ３０３に示した視線検知処理の具体例を示すフローチャートである。

【図6】ステップＳ３０４に示した表情推定処理の具体例を示すフローチャートである。

【図7】ステップＳ３０５に示したトラブル推定処理の具体例を示すフローチャートである。

【図8】ステップＳ３０６に示した案内処理の具体例を示すフローチャートである。

【図9】本発明の実施例２に係るＥＣＵ１１０における処理を示すフローチャートである。

【図10】ステップＳ９０２に示した操作者検知処理の具体例を示すフローチャートである。

【図11】ステップＳ９０３に示した視線検知処理の具体例を示すフローチャートである。

【図12】ステップＳ９０４に示した指／目状態検知処理の具体例を示すフローチャートである。

【図13】ステップＳ９０５に示したトラブル推定処理の具体例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明に係る情報処理装置の実施形態について、図面を参照して説明する。以下に説明する構成は、本発明の一例（代表例）であり、これに限定されない。

【0011】

（車載システム１００のハードウェア構成）
図１は、本実施形態に係る車載システム１００のハードウェア構成を示すブロック図である。車載システム１００は、自動車に搭載され、自動車の乗員に対して情報の提供や娯楽の提供を行う。車載システム１００は、情報の提供として、例えば道案内を行うナビゲーションシステムの機能を有する。車載システム１００は、娯楽の提供として、例えば音楽を出力するカーステレオシステムの機能を有する。車載システム１００は、ＥＣＵ１１０、カメラ１５０、及び操作装置１６０を有する。ＥＣＵは、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔの略称である。ＥＣＵ１１０は、情報処理装置の一例である。

【0012】

ＥＣＵ１１０は、ソフトウェアプログラムを実行することで、車載システム１００の機能を実現する。車載システム１００の機能はハードウェアで実現されるものであってもかまわない。ＥＣＵ１１０は、ＣＰＵ１１１、メモリ１１２、第１通信制御部１１３及び第２通信制御部１１４を有する。

【0013】

ＣＰＵ１１１は、メモリ１１２に格納されたソフトウェアプログラムを実行することで、車載システム１００の機能を実現する。メモリ１１２は、揮発性メモリ及び不揮発性メモリを含む。メモリ１１２は、ＣＰＵ１１１で実行するソフトウェアプログラムを不揮発性メモリに記憶する。メモリ１１２は、ＣＰＵ１１１がソフトウェアプログラムを実行する際のワークメモリとしても機能する。メモリ１１２は、カメラ１５０から受信した撮影信号によって得られた撮影データを不揮発性メモリに記憶する。撮影データを長期的に保存する必要がない場合は、メモリ１１２は、カメラ１５０から受信した撮影信号によって得られた撮影データを揮発性メモリに記憶する。

【0014】

第１通信制御部１１３は、ＥＣＵ１１０とカメラ１５０との通信を制御する。ＣＰＵ１１１は、第１通信制御部１１３を介し、カメラ１５０との間で信号やデータの送受信を行う。第２通信制御部１１４は、ＥＣＵ１１０と操作装置１６０との通信を制御する。ＣＰＵ１１１は、第２通信制御部１１４を介し、操作装置１６０との間で信号やデータの送受信を行う。

【0015】

カメラ１５０は、動画を撮影可能なカメラである。カメラ１５０は、車載システム１００が搭載された自動車に乗車している乗員を撮影可能な位置、例えばルームミラーの位置に設置されている。カメラ１５０は、少なくとも操作装置１６０の近傍を撮影可能であり、操作装置１６０を操作する乗員（運転者、助手席の乗員、及び後部座席の乗員）を撮影可能である。カメラ１５０は、ＥＣＵ１１０からの指示で撮影開始及び撮影停止が可能である。カメラ１５０は、撮影した撮影信号をＥＣＵ１１０に送信する。

【0016】

操作装置１６０は、操作者とのインターフェースを実現する装置である。操作装置１６０は、出力部１６１及び入力部１６２を有する。出力部１６１は、例えば、文字や画像を表示可能なディスプレイ装置である。出力部１６１は、例えばＬＣＤである。ＬＣＤは、liquid crystal displayの略称である。出力部１６１は、例えば、音声出力可能なスピーカ、及び文字や画像を印刷可能なプリンタ装置の少なくとも一つを含むものであってもよい。入力部１６２は、例えば、文字や画像を入力可能な入力装置である。入力部１６２は、例えばタッチパッドである。入力部１６２は、例えば音声入力可能なマイク、及び文字や画像を読取可能なスキャナ装置の少なくとも一つを含むものであってもよい。操作装置１６０は、出力部１６１としてのＬＣＤの機能及び入力部１６２としてのタッチパッドの機能を兼ね備えたタッチパネルであることが望ましい。

【0017】

（車載システム１００の機能構成）
図２は、図１に示したＥＣＵ１１０の機能構成を示すブロック図である。ＥＣＵ１１０は、操作者認識部１２１、操作継続状況判断部１２２、困り状態推定部１２３、及び情報表示部１２４を有する。

【0018】

操作者認識部１２１は、カメラ１５０からの撮影信号による撮影データを解析して、操作装置１６０を操作している操作者を認識する。カメラ１５０は複数の乗員を撮影する場合があるが、操作者認識部１２１は、その複数の乗員のうちの誰が操作装置１６０を操作しているかを選択する。なお、後述の実施例では、操作者認識部１２１の具体例を挙げて詳細に説明する。

【0019】

操作継続状況判断部１２２は、操作者による入力部１６２への操作の検出結果により、操作継続状況を判断する。なお、後述の実施例では、操作継続状況判断部１２２の具体例を挙げて詳細に説明する。

【0020】

困り状態推定部１２３は、操作継続状況判断部１２２の判断結果や、カメラ１５０からの撮影信号による撮影データを解析して、操作者が困った状態（「困り状態」という）の推定を行う。なお、後述の実施例では、困り状態推定部１２３の具体例を挙げて詳細に説明する。

【0021】

情報表示部１２４は、困り状態推定部１２３による推定結果に応じて、出力部１６１に操作の案内を表示する。なお、後述の実施例では、情報表示部１２４の具体例を挙げて詳細に説明する。

【0022】

本実施形態によれば、困り状態推定部１２３が、操作者の感情を推定し、困り状態の推定を行うので、より適切に操作者の状態を把握可能にすることができる。

【0023】

また本実施形態によれば、情報表示部１２４が、操作者の困り状態に応じて操作の案内を表示するので、より適切な案内表示をすることができる。

【0024】

なお、本発明は、本実施形態で説明したものに限られるものではなく、例えば、図２に示したＥＣＵ１１０の機能構成は、操作装置１６０やそのほかの装置が備えるものであってもよい。

【実施例0025】

図３は、本発明の実施例１に係るＥＣＵ１１０における処理を示すフローチャートである。本実施例は、図１及び図２に示した構成の車載システム１００で実行される処理の具体例を示す。

【0026】

処理を開始すると、ステップＳ３０１において、ＣＰＵ１１１は、カメラ１５０からの撮影信号を入力し、撮影信号による撮影データをメモリ１１２に保存する。この処理は、他の処理を実行している場合も継続的に実行される。ＣＰＵ１１１は、継続的な撮影データを動画データとしてメモリ１１２に保存してもよいし、撮影データを所定タイミングでサンプリングした画像データをメモリ１１２に保存してもよい。

【0027】

ステップＳ３０２において、ＣＰＵ１１１は、操作者検知処理を実行する。ステップＳ３０２の操作者検知処理は、操作者認識部１２１の一例である。ステップＳ３０２の操作者検知処理の具体例は、図４を参照して後述する。

【0028】

ステップＳ３０３において、ＣＰＵ１１１は、視線検知処理を実行する。ステップＳ３０３の視線検知処理は、操作者認識部１２１の一例である。ステップＳ３０３の視線検知処理の具体例は、図５を参照して後述する。

【0029】

ステップＳ３０４において、ＣＰＵ１１１は、表情推定処理を実行する。ステップＳ３０４の表情推定処理は、困り状態推定部１２３の一例である。ステップＳ３０４の表情推定処理の具体例は、図６を参照して後述する。

【0030】

ステップＳ３０５において、ＣＰＵ１１１は、トラブル推定処理を実行する。ステップＳ３０５のトラブル推定処理は、困り状態推定部１２３の一例である。ステップＳ３０５のトラブル推定処理の具体例は、図７を参照して後述する。

【0031】

ステップＳ３０６において、ＣＰＵ１１１は、案内処理を実行する。ステップＳ３０６の案内処理は、情報表示部１２４の一例である。ステップＳ３０６の案内処理の具体例は、図８を参照して後述する。ＣＰＵ１１１は、案内処理を実行した後、処理を終了する。

【0032】

図４は、ステップＳ３０２に示した操作者検知処理の具体例を示すフローチャートである。ステップＳ４０１において、ＣＰＵ１１１は、メモリ１１２に記憶してある撮影データを読み出し、撮影データに写っている乗員の骨格検知を行う。骨格検知の手法は、既知の如何なる手法を用いてもよい。ステップＳ４０１の骨格検知によれば、少なくとも各乗員の手の位置を検知することができる。

【0033】

ステップＳ４０２において、ＣＰＵ１１１は、撮影データに写っているすべての乗員について骨格検知が済んだかを判定する。すべての乗員について骨格検知が済んでいない場合は、ＣＰＵ１１１は、ステップＳ４０１の処理を実行する。すべての乗員について骨格検知が済んだ場合は、ＣＰＵ１１１は、ステップＳ４０３の処理を実行する。

【0034】

ステップＳ４０３において、ＣＰＵ１１１は、ステップＳ４０１で検知した各乗員の骨格から、各乗員の手の位置を確認する。ステップＳ４０４において、ＣＰＵ１１１は、ステップＳ４０３で確認した各乗員の手の位置から、いずれかの乗員の手が操作装置１６０に近いかを判定する。ＣＰＵ１１１は、例えば、手と操作装置１６０との距離が所定距離（例えば５ｃｍ）以内であると手が操作装置１６０に近いと判定し、手と操作装置１６０との距離が所定距離（例えば５ｃｍ）よりも離れている場合は手が操作装置１６０に近くないと判定する。

【0035】

ＣＰＵ１１１は、ステップＳ４０４で、いずれの乗員の手も操作装置１６０に近くないと判定した場合は、ステップＳ４０５の処理を実行する。ステップＳ４０５において、ＣＰＵ１１１は、現在、操作装置１６０を操作している操作者はないと設定し、処理を終了する。

【0036】

ＣＰＵ１１１は、ステップＳ４０４で、いずれかの乗員の手が操作装置１６０に近いと判定した場合は、ステップＳ４０６の処理を実行する。ステップＳ４０６において、ＣＰＵ１１１は、手が操作装置１６０に最も近い乗員を選択する。ステップＳ４０７において、ＣＰＵ１１１は、ステップＳ４０６で選択した乗員を、操作装置１６０を操作している操作者に設定する。

【0037】

ステップＳ４０８において、ＣＰＵ１１１は、連続した操作時間の合計である総操作時間ｔ_ｏｐｒに、今回の操作時間を加算する。その後、ＣＰＵ１１１は、処理を終了する。

【0038】

図５は、ステップＳ３０３に示した視線検知処理の具体例を示すフローチャートである。ステップＳ５０１において、ＣＰＵ１１１は、ステップＳ４０７で操作者に設定した乗員についての操作者情報を取得する。操作者情報は、その操作者が写っている撮影データを含む。

【0039】

ステップＳ５０２において、ＣＰＵ１１１は、入力部１６２への操作の検出結果により、操作者が操作装置１６０を利用可能な状態であるかを判定する。操作者が利用可能であれば、ＣＰＵ１１１は、処理を終了する。操作者が利用可能でなければ、ＣＰＵ１１１は、ステップＳ５０３の処理を実行する。

【0040】

ステップＳ５０３において、ＣＰＵ１１１は、総操作時間ｔ_ｏｐｒが０より大きいかを判定する。総操作時間ｔ_ｏｐｒが０より大きくなければ、ＣＰＵ１１１は、処理を終了する。総操作時間ｔ_ｏｐｒが０より大きければ、ＣＰＵ１１１は、ステップＳ５０４の処理を実行する。

【0041】

ステップＳ５０４において、ＣＰＵ１１１は、撮影データを用いて、操作者の頭部の姿勢の推定、及び操作者の視線の算出を行う。頭部の姿勢の推定及び視線の算出の手法は、既知の如何なる手法を用いてもよい。

【0042】

ステップＳ５０５において、ＣＰＵ１１１は、ステップＳ５０４で推定した操作者の頭部の姿勢、及びステップＳ５０４で算出した操作者の視線に基づき、操作者の視線方向を算出する。視線方向の算出の手法は、既知の如何なる手法を用いてもよい。

【0043】

ステップＳ５０６において、ＣＰＵ１１１は、ステップＳ５０５で算出した視線方向が、操作装置１６０がある方向に向いているかを判定する。視線方向が操作装置１６０に向いている場合は、ＣＰＵ１１１は、処理を終了する。視線方向が操作装置１６０に向いていない場合は、ＣＰＵ１１１は、ステップＳ５０６の処理を実行する。

【0044】

ステップＳ５０７において、ＣＰＵ１１１は、連続した非操作時間の合計である非操作時間ｔ_ｎｏｐに、今回の非操作時間を加算する。ステップＳ５０８において、ＣＰＵ１１１は、非操作時間ｔ_ｎｏｐが非操作時間のしきい値Ｔｈｒｅｓ_ｎｏｐよりも大きいかを判定する。ｔ_ｎｏｐがＴｈｒｅｓ_ｎｏｐよりも大きくない場合は、ＣＰＵ１１１は、処理を終了する。ｔ_ｎｏｐがＴｈｒｅｓ_ｎｏｐよりも大きい場合は、ＣＰＵ１１１は、ステップＳ５０９の処理を実行する。

【0045】

ステップＳ５０９において、ＣＰＵ１１１は、総操作時間ｔ_ｏｐｒをゼロリセットする。その後、ＣＰＵ１１１は、処理を終了する。

【0046】

図６は、ステップＳ３０４に示した表情推定処理の具体例を示すフローチャートである。ステップＳ６０１において、ＣＰＵ１１１は、ステップＳ４０７で操作者に設定した乗員についての操作者情報を取得する。

【0047】

ステップＳ６０２において、ＣＰＵ１１１は、入力部１６２への操作の検出結果により、操作者が操作装置１６０を利用可能な状態であるかを判定する。操作者が利用可能でなければ、ＣＰＵ１１１は、処理を終了する。操作者が利用可能であれば、ＣＰＵ１１１は、ステップＳ６０３の処理を実行する。

【0048】

ステップＳ６０３において、ＣＰＵ１１１は、撮影データから、操作者の顔パーツを検出する。顔パーツを検出する手法は、既知の如何なる手法を用いてもよい。

【0049】

ステップＳ６０４において、ＣＰＵ１１１は、ステップＳ６０３で検出した顔パーツを用いて、操作者の感情を推定する。感情推定の手法は、既知の如何なる手法を用いてもよい。

【0050】

ステップＳ６０５において、ＣＰＵ１１１は、ステップＳ６０４で推定した操作者の感情が負の感情であるかを判定する。推定した操作者の感情が負の感情ではない場合、ＣＰＵ１１１は、処理を終了する。推定した操作者の感情が負の感情である場合、ＣＰＵ１１１は、ステップＳ６０６の処理を実行する。

【0051】

ステップＳ６０６において、ＣＰＵ１１１は、負の感情が継続している時間である負の感情の時間ｔ_ｎｇｔに今回の負の感情の時間を加算する。その後、ＣＰＵ１１１は、処理を終了する。

【0052】

図７は、ステップＳ３０５に示したトラブル推定処理の具体例を示すフローチャートである。ステップＳ７０１において、ＣＰＵ１１１は、ステップＳ４０７で操作者に設定した乗員についての操作者情報を取得する。

【0053】

ステップＳ７０２において、ＣＰＵ１１１は、負の感情の時間ｔ_ｎｇｔが負の感情の時間のしきい値Ｔｈｒｅｓ_ｎｇｔよりも大きいかを判定する。ｔ_ｎｇｔがＴｈｒｅｓ_ｎｇｔよりも大きくない場合は、ＣＰＵ１１１は、処理を終了する。ｔ_ｎｇｔがＴｈｒｅｓ_ｎｇｔよりも大きい場合は、ＣＰＵ１１１は、ステップＳ７０３の処理を実行する。

【0054】

ステップＳ７０３において、ＣＰＵ１１１は、総操作時間ｔ_ｏｐｒが総操作時間のしきい値Ｔｈｒｅｓ_ｏｐｒよりも大きいかを判定する。ｔ_ｏｐｒがＴｈｒｅｓ_ｏｐｒよりも大きくない場合は、ＣＰＵ１１１は、処理を終了する。ｔ_ｏｐｒがＴｈｒｅｓ_ｏｐｒよりも大きい場合は、ＣＰＵ１１１は、ステップＳ７０４の処理を実行する。

【0055】

ステップＳ７０４において、ＣＰＵ１１１は、操作者が困り状態であると検出し、その検出結果として、操作者が困り状態である旨の情報をメモリ１１２に記憶する。その後、ＣＰＵ１１１は、処理を終了する。

【0056】

図８は、ステップＳ３０６に示した案内処理の具体例を示すフローチャートである。ステップＳ８０１において、ＣＰＵ１１１は、ステップＳ４０７で操作者に設定した乗員についての操作者情報、及びステップＳ７０４でメモリ１１２に記憶した操作者が困り状態である旨の情報を取得する。

【0057】

ステップＳ８０２において、ＣＰＵ１１１は、ステップＳ８０１で取得した操作者が困り状態である旨の情報を参照し、操作者が困り状態であるかを判定する。操作者が困り状態でなければ、ＣＰＵ１１１は、処理を終了する。操作者が困り状態であれば、ＣＰＵ１１１は、ステップＳ８０３の処理を実行する。

【0058】

ステップＳ８０３において、ＣＰＵ１１１は、ステップＳ８０１で取得した操作者情報によって操作者の位置を検出し、操作者が見やすく操作しやすい位置に、操作の助けとなる案内を表示する。具体的には、出力部１６１がタッチパネルである場合において、タッチパネルの画面のうち、操作者がいる位置に近い側に、ヘルプに関するアイコンを表示する。その後、ＣＰＵ１１１は、処理を終了する。

【0059】

本実施例によれば、ステップＳ３０４の表情推定処理及びステップＳ３０５のトラブル推定処理が、操作者の感情を推定し、困り状態の推定を行うので、より適切に操作者の状態を把握可能にすることができる。

【0060】

また本実施形態によれば、ステップＳ３０６の案内処理が、操作者の困り状態に応じて操作の案内を表示するので、より適切な案内表示をすることができる。

【実施例0061】

図９は、本発明の実施例２に係るＥＣＵ１１０における処理を示すフローチャートである。本実施例は、図１及び図２に示した構成の車載システム１００で実行される処理の具体例であって、実施例１とは別の例を示す。なお、実施例２の処理を示す図９から図１３のフローチャートでは、実施例１の処理を示す図３から図８のフローチャートと同様の処理については、同じ符号を付して詳しい説明を省略する。

【0062】

処理を開始すると、ＣＰＵ１１１は、図３の処理と同様のステップＳ３０１の画像入力を実行する。ステップＳ３０１に続くステップＳ９０２において、ＣＰＵ１１１は、操作者検知処理を実行する。ステップＳ９０２の操作者検知処理は、操作者認識部１２１の一例である。ステップＳ９０２の操作者検知処理の具体例は、図１０を参照して後述する。

【0063】

ステップＳ９０３において、ＣＰＵ１１１は、視線検知処理を実行する。ステップＳ９０３の視線検知処理は、操作者認識部１２１の一例である。ステップＳ９０３の視線検知処理の具体例は、図１１を参照して後述する。

【0064】

ステップＳ９０４において、ＣＰＵ１１１は、指／目状態検知処理を実行する。ステップＳ９０４の指／目状態検知処理は、困り状態推定部１２３の一例である。ステップＳ９０４の指／目状態検知処理の具体例は、図１２を参照して後述する。

【0065】

ステップＳ９０５において、ＣＰＵ１１１は、トラブル推定処理を実行する。ステップＳ９０５のトラブル推定処理は、困り状態推定部１２３の一例である。ステップＳ９０５のトラブル推定処理の具体例は、図１３を参照して後述する。

【0066】

ステップＳ９０５に続いて、ＣＰＵ１１１は、図３の処理と同様のステップＳ３０６の案内処理を実行する。

【0067】

図１０は、ステップＳ９０２に示した操作者検知処理の具体例を示すフローチャートである。図１０において、ステップＳ４０１からステップＳ４０７までの処理は、図４のステップＳ４０１からステップＳ４０７までの処理と同様であるので、説明を省略する。

【0068】

ＣＰＵ１１１は、ステップＳ４０７の処理に続いてステップＳ１００８の処理を実行する。ステップＳ１００８において、ＣＰＵ１１１は、連続した操作時間の合計である総操作時間ｔ_ｏｐｒに、今回の操作時間を加算する。また、ステップＳ１００８において、ＣＰＵ１１１は、操作と操作との間の時間間隔である操作時間間隔ｔ_ｄｕｒに、今回の操作時間間隔を加算する。

【0069】

ステップＳ１００９において、ＣＰＵ１１１は、タイムスタンプを取得する。ステップＳ１０１０において、ＣＰＵ１１１は、入力部１６２への操作の検出結果により、操作者によって新たな操作がされたかを判定する。操作者によって新たな操作がされなかった場合は、ＣＰＵ１１１は、処理を終了する。操作者によって新たな操作がされた場合は、ＣＰＵ１１１は、ステップＳ１０１１の処理を実行する。

【0070】

ステップＳ１０１１において、ＣＰＵ１１１は、ｔ_ｄｕｒ及び指／目状態検知における距離情報をゼロリセットする。その後、ＣＰＵ１１１は、処理を終了する。

【0071】

図１１は、ステップＳ９０３に示した視線検知処理の具体例を示すフローチャートである。図１１において、ステップＳ５０１からステップＳ５０８までの処理は、図５のステップＳ５０１からステップＳ５０８までの処理と同様であるので、説明を省略する。

【0072】

ＣＰＵ１１１は、ステップＳ５０８でｔ_ｎｏｐがＴｈｒｅｓ_ｎｏｐよりも大きい場合は、ＣＰＵ１１１は、ステップＳ１１０９の処理を実行する。

【0073】

ステップＳ１１０９において、ＣＰＵ１１１は、全パラメータをゼロリセットする。その後、ＣＰＵ１１１は、処理を終了する。

【0074】

図１２は、ステップＳ９０４に示した指／目状態検知処理の具体例を示すフローチャートである。図１２において、ステップＳ６０１からステップＳ６０２までの処理は、図６のステップＳ６０１からステップＳ６０２までの処理と同様であるので、説明を省略する。

【0075】

ＣＰＵ１１１は、ステップＳ６０２で操作者が利用可能であれば、ステップＳ１２０３の処理を実行する。ステップＳ１２０３において、ＣＰＵ１１１は、操作時間間隔ｔ_ｄｕｒが０よりも大きいかを判定する。操作時間間隔ｔ_ｄｕｒが０よりも大きくない場合は、ＣＰＵ１１１は、処理を終了する。操作時間間隔ｔ_ｄｕｒが０よりも大きい場合は、ＣＰＵ１１１は、ステップＳ１２０４の処理を実行する。

【0076】

ステップＳ１２０４において、ＣＰＵ１１１は、操作者の目の動きの総距離Ｄ_ｅｙｅ、操作者の指の動きの総距離Ｄ_ｆｎｇ、持続時間あたりの操作者の目の動きＤ_ｅｙｅ／ｔ_ｄｕｒ、及び持続時間あたりの操作者の指の動きＤ_ｆｎｇ／ｔ_ｄｕｒを算出する。目の動きや指の動きを検出する手法は、既知の如何なる手法を用いてもよい。その後、ＣＰＵ１１１は、処理を終了する。

【0077】

図１３は、ステップＳ９０５に示したトラブル推定処理の具体例を示すフローチャートである。図１３において、ステップＳ７０１の処理は、図７のステップＳ７０１の処理と同様であるので、説明を省略する。

【0078】

ステップＳ７０１に続くステップＳ１３０２において、ＣＰＵ１１１は、操作時間間隔ｔ_ｄｕｒが操作時間間隔のしきい値Ｔｈｒｅｓ_ｄｕｒがよりも大きいかを判定する。ｔ_ｄｕｒがＴｈｒｅｓ_ｄｕｒよりも大きくない場合は、ＣＰＵ１１１は、処理を終了する。ｔ_ｄｕｒがＴｈｒｅｓ_ｄｕｒよりも大きい場合は、ＣＰＵ１１１は、ステップＳ１３０３の処理を実行する。

【0079】

ステップＳ１３０３において、ＣＰＵ１１１は、操作者の目の動きの総距離Ｄ_ｅｙｅが操作者の目の動きの総距離のしきい値Ｔｈｒｅｓ_Ｄｅｙｅよりも大きいか、操作者の指の動きの総距離Ｄ_ｆｎｇが操作者の指の動きの総距離のしきい値Ｔｈｒｅｓ_Ｄｆｎｇよりも大きいか、持続時間あたりの操作者の目の動きＤ_ｅｙｅ／ｔ_ｄｕｒが持続時間あたりの操作者の目の動きのしきい値Ｔｈｒｅｓ_ｅｐｄよりも小さいか、及び持続時間あたりの操作者の指の動きＤ_ｆｎｇ／ｔ_ｄｕｒが持続時間あたりの操作者の指の動きのしきい値Ｔｈｒｅｓ_ｆｐｄよりも小さいか、の４つの条件のうちのいずれかが成立するかを判定する。４つの条件のうちのいずれもが成立しない場合は、ＣＰＵ１１１は、処理を終了する。４つの条件のうちのいずれかが成立する場合は、ＣＰＵ１１１は、ステップＳ１３０４の処理を実行する。

【0080】

ステップＳ１３０４において、ＣＰＵ１１１は、トラブルカウンタＣ_ｔｒｂを１加算する。

【0081】

ステップＳ１３０５において、ＣＰＵ１１１は、トラブルカウンタＣ_ｔｒｂがトラブルカウンタのしきい値Ｔｈｒｅｓ_ｔｒｂよりも大きいかを判定する。Ｃ_ｔｒｂがＴｈｒｅｓ_ｔｒｂよりも大きくない場合は、ＣＰＵ１１１は、処理を終了する。Ｃ_ｔｒｂがＴｈｒｅｓ_ｔｒｂよりも大きい場合は、ＣＰＵ１１１は、ステップＳ１３０６の処理を実行する。

【0082】

ステップＳ１３０６において、ＣＰＵ１１１は、操作者が困り状態であると検出し、その検出結果として、操作者が困り状態である旨の情報をメモリ１１２に記憶する。その後、ＣＰＵ１１１は、処理を終了する。

【0083】

実施例２におけるステップＳ３０６の案内処理は、実施例１における図８に示した処理と同様であるので、説明は省略する。

【0084】

本実施例によれば、ステップＳ９０４の指／目状態検知処理及びステップＳ９０５のトラブル推定処理が、操作者の目及び指の動きに基づいて困り状態の推定を行うので、より適切に操作者の状態を把握可能にすることができる。

【0085】

また本実施形態によれば、ステップＳ３０６の案内処理が、操作者の困り状態に応じて操作の案内を表示するので、より適切な案内表示をすることができる。

【0086】

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。