特開 2024-54887 設計支援装置、並びに設計支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024054887

(43)【公開日】2024-04-18

(54)【発明の名称】設計支援装置、並びに設計支援方法

(51)【国際特許分類】

   G06F 16/58 20190101AFI20240411BHJP

   G06N 5/022 20230101ALI20240411BHJP

【ＦＩ】

G06F16/58

G06N5/022

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022161317

(22)【出願日】2022-10-06

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(71)【出願人】

【識別番号】504190548

【氏名又は名称】国立大学法人埼玉大学

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】前田 太一

(72)【発明者】

【氏名】綿貫 啓一

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FB02

5B175GB05

(57)【要約】

【課題】熟練者の知識をユーザに伝える技術を短時間で労力をかけずに提供する。
【解決手段】表示装置に表示された設計作業に関する画像に対する設計者の視線を用いて設計業務を支援する設計支援装置であって、設計作業に関する画像に対する第一の設計者の視線から抽出した注視すべき領域の画像を記憶する基準知識データベースと、設計作業に関する画像に対する第二の設計者の視線から抽出した領域を基準知識データベースに記憶された注視すべき領域と参照し、視線分析する視線分析部と、視線分析の結果、第二の設計者が注視すべき領域を見なかった場合、対応する領域の画像を基準知識データベースから除外する更新部を備えていることを特徴とする設計支援装置。
【選択図】図７

【特許請求の範囲】

【請求項1】

表示装置に表示された設計作業に関する画像に対する設計者の視線を用いて設計業務を支援する設計支援装置であって、
設計作業に関する画像に対する第一の設計者の視線から抽出した第一の領域の画像を記憶する基準知識データベースと、設計作業に関する画像に対する第二の設計者の視線から抽出した第二の領域を前記基準知識データベースに記憶された前記第一の領域と参照し、視線分析する視線分析部と、視線分析の結果、前記第二の設計者が前記第一の領域を見なかった場合、対応する領域の画像を前記基準知識データベースから除外する更新部を備えていることを特徴とする設計支援装置。

【請求項2】

請求項１に記載の設計支援装置であって、
前記更新部は、前記第二の設計者が前記第一の領域を見た場合、対応する基準知識データベースの画像を保持し、または、第二の設計者の画像中の前記第一の領域の画像と入れ替えることを特徴とする設計支援装置。

【請求項3】

請求項１に記載の設計支援装置であって、
前記更新部は、前記第二の設計者が、前記第一の領域以外の領域を見た場合、第二の設計者の画像中の画像を追加することを特徴とする設計支援装置。

【請求項4】

請求項１に記載の設計支援装置であって、
前記更新部は、複数の前記第二の設計者の視線分析として前記第一の領域の観察頻度に応じて、対応する領域の画像の前記基準知識データベースからの除外を決定することを特徴とする設計支援装置。

【請求項5】

請求項４に記載の設計支援装置であって、
前記更新部は、観察頻度の高い領域の画像を保持、または、第二の設計者の見るべき領域の画像と入れ替えることを特徴とする設計支援装置。

【請求項6】

請求項４に記載の設計支援装置であって、
前記更新部は、前記第二の設計者が前記第一の領域以外の領域を見た場合、前記第一の領域の注視頻度が高い画像を追加することを特徴とする設計支援装置。

【請求項7】

請求項１に記載の設計支援装置であって、
前記基準知識データベースからの除外とは、基準知識データベースから削除すること、あるいは削除はしないが不使用のフラッグを立てること、あるいは別のデータベースに除外データとして移すことであることを特徴とする設計支援装置。

【請求項8】

請求項１に記載の設計支援装置であって、
前記第一の領域は注視すべき領域であって、前記視線分析部は第二の設計者の視線から注視すべき領域を推定することを特徴とする設計支援装置。

【請求項9】

表示装置に表示された設計作業に関する画像に対する設計者の視線を用いて設計業務を支援する設計支援方法であって、
設計作業に関する画像に対する第一の設計者の視線から抽出した第一の領域の画像を記憶し、設計作業に関する画像に対する第二の設計者の視線から抽出した第二の領域を前記記憶された前記第一の領域と参照して視線分析し、視線分析の結果、前記第二の設計者が前記第一の領域を見なかった場合、対応する領域の画像を除外することを特徴とする設計支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、設計者の知識を提示することによって設計作業を支援する設計支援装置、並びに設計支援方法に関する。

【背景技術】

【0002】

製造業における業務を実施する際には、設計者の持つ知識が有効である。例えば、設計作業において、顧客要求への対応や、製造保守現場からの要求により、過去製品の設計を一部変更することがある。この際、設計変更の内容や、その設計変更の影響範囲を正確に判断することが、製品の品質を維持するうえで重要となる。設計変更は、対象の製品の設計業務に長年携わってきた設計者にとっては、設計の意味や根拠を把握しているので比較的容易である。

【0003】

しかしながら、そのような経験が少ない設計者にとっては、設計の根拠などを知見のある人に確認し、過去のドキュメントを調べるなどの作業時間がかかるので、短期間で設計変更をすることは非常に困難である。ここで、熟練した設計者とは特定の業務への従事年月や技能資格の有無などの観点で区別され、特定の業務について優れた知識や技能を有する者である。

【0004】

設計作業において、検図作業や、有限要素法などの解析結果の分析をすることがある。検図作業は、図面を目視検査する作業をともなう。有限要素法の解析結果を分析する作業は、例えば流体の流れを可視化した画像を目視確認する作業をともなう。設計や解析業務の経験が豊富な設計者は、図面や解析結果のうち注目すべき場所を見逃すことなく短時間で作業を実行することが可能である。しかし経験が少ない設計者にとっては、検図するべき場所を見落とす、あるいは解析結果から現象を解釈するために必要な特徴箇所を見逃す可能性がある。

【0005】

このように設計者は、長年の業務を通じて得た知識を意識的もしくは無意識的に活用している。意識的に活用している知識は、形式知として文書化され共有されているものもあるが、無意識的に活用している知識は、暗黙知となって共有されていないものもある。形式知とは言語化されている知識であり、暗黙知とは言語化されていない知識である。形式知については、ドキュメント化しておくことによって他の設計者が参照できるが、参照するにはドキュメントを読み解く必要があるため時間を要する。また知識量が膨大だと、目的の知識にたどり着くまでに工数を要する。一方、暗黙知については設計者のみが保有しており、共有は困難である。

【0006】

従来は、ＯＪＴ（Ｏｎ ｔｈｅ Ｊｏｂ Ｔｒａｉｎｉｎｇ）により、業務を通じて設計者の知識は伝承されていた。ＯＪＴとは、例えば熟練者と非熟練者が一緒に時間をかけて同じ製品のプロジェクトに取り組み、熟練者が非熟練者に業務のアドバイスを行うといったことが挙げられる。暗黙知は一般的に伝承が困難とされるが、同一のプロジェクトに取り組むことにより時間をかけながら伝承されていた。しかしながら、近年は製品サイクルの短期化や人手不足により、このような機会は減少している。熟練者の知識が伝承されず、経験の少ない設計者が設計を誤った場合は設計の手戻りにより納期が遅れ、製品出荷後に設計誤りが判明した場合は製品のリコールにつながるという課題がある。

【0007】

以上のように、設計作業の効率化や製品の品質の向上のためには、熟練者の知識を形式知化し非熟練者と共有し、非熟練者が活用可能とすることが必要である。

【0008】

そこで、ユーザの視線や動きを計測し、その結果を分析することで、熟練者の知識を抽出し知識データベースとし、非熟練者に提示する技術が開発されている。視線に関しては、製造業に限らず、ユーザの視線から画面や画像中の注視領域を抽出する技術や、熟練者の注視領域を非熟練者に提示する技術が開発されている。

【0009】

特許文献１と特許文献２は、ユーザの視線から注視した領域を特定し活用する技術が記載されている。特許文献１は、自動販売機などの商品を、ディスプレイを用いて表示する際にユーザの視線から、利用者の注視した商品の画像を強調表示する技術を開示している。特許文献２は、ＣＴスキャンやレントゲンなどの医療画像において、熟練者の視線から検出した注目対象を含む注目領域の画像を知識データベースに格納し、知識データベースを用いて新たな画像から注目領域を推定し、ユーザの視線からユーザが注目対象を見逃したか否かを判定する技術を開示している。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０１２－０２２５８９号公報

【特許文献2】ＷＯ２０１ＭＡ２８２３７号

【発明の概要】

【発明が解決しようとする課題】

【0011】

特許文献１は、自動販売機の利用を想定しており、ユーザの視線から注視した領域を特定し、注視領域に含まれる画像にユーザが関心を持っていると仮定し、画像を拡大表示したり、関連情報を提示するものである。利用者の視線から、注視した領域を特定し記憶するが、注視した領域の画像を記憶するわけではない。したがって、重要な場所を記憶することにより知識データベースを構築し、他のユーザに提示するための手段としては十分ではない。

【0012】

特許文献２は、医療画像において熟練者が注視した注目対象を含む注目領域の画像を取得し、熟練者に画像の内容をヒアリングするなどして重要な場所であることを確認した後に、知識データベースとして記憶する。記憶した画像は、新たな医療画像における注目領域検出のための機械学習モデルの入力データとして利用する。機械学習モデルは、新たな医療画像における注目領域を推定し、ユーザに提示する。知識データベースには、新たに注目対象の画像が追加されるが、不要な画像を削除し知識データベースを更新することは行われない。このため、注目対象が複数種類あって、業務によって優先度が変わって一部が注目対象でなくなった場合、不要な画像が知識データベースに残っており、誤った注目領域を検出する恐れがある。注目対象が変わった場合に、知識データベースを再度構築する場合は、熟練者の視線計測とヒアリングなど時間をかける必要がある。

【0013】

設計業務の場合、例えば、流体解析結果の画像から現象を解釈する業務において、圧損が注目対象となるターボ機械の設計から、剥離により生じる渦が注目対象となる翼の設計に業務が変わった場合、ターボ機械では圧力や流速の分布を可視化した画像が必要となるが、翼の場合はこれらの画像は不要となり、渦の画像が必要となる。このように、流体解析結果の画像からの現象解釈において、知識データベースを対象製品に合わせて更新する必要がある。

【0014】

本発明は、上記のような課題に鑑みてなされたものであり、ユーザの業務実行画面に、注目領域を提示する技術において、知識データベースを注目対象が変わった場合には自動更新する設計支援装置、並びに設計支援方法を提供することを目的とする。

【課題を解決するための手段】

【0015】

以上のことから本発明においては、「表示装置に表示された設計作業に関する画像に対する設計者の視線を用いて設計業務を支援する設計支援装置であって、設計作業に関する画像に対する第一の設計者の視線から抽出した注視すべき領域の画像を記憶する基準知識データベースと、設計作業に関する画像に対する第二の設計者の視線から抽出した領域を基準知識データベースに記憶された注視すべき領域と参照し、視線分析する視線分析部と、視線分析の結果、第二の設計者が注視すべき領域を見なかった場合、対応する領域の画像を基準知識データベースから除外する更新部を備えていることを特徴とする設計支援装置」としたものである。

【0016】

また本発明においては、「表示装置に表示された設計作業に関する画像に対する設計者の視線を用いて設計業務を支援する設計支援方法であって、設計作業に関する画像に対する第一の設計者の視線から抽出した注視すべき領域の画像を記憶し、設計作業に関する画像に対する第二の設計者の視線から抽出した領域を記憶された注視すべき領域と参照して視線分析し、視線分析の結果、第二の設計者が注視すべき領域を見なかった場合、対応する領域の画像を除外することを特徴とする設計支援方法」としたものである。

【発明の効果】

【0017】

ユーザの業務実行画面に、注目領域を提示する技術において、知識データベースを注目対象が変わった場合には自動更新することができる。

【図面の簡単な説明】

【0018】

【図1】データベースの生成段階を整理して示した図。

【図2】本発明の実施例１に係る設計支援装置の作成プロセスにおける構成例を示す図。

【図3】知識データベースに保存されている熟練者知識の構造例を示す図。

【図4】業務実行画面に表示された熟練者知識の１例を示す図。

【図5】本発明の実施例１に係る設計支援装置の更新プロセスにおける構成例を示す図。

【図6】知識データベースから推定した領域以外を注視したことをユーザに知らせる画面例を示す図。

【図7】本発明の実施例１に係る知識データベース更新のフローチャート。

【図8】本発明の実施例２に係る設計支援装置の構成例を示す図。

【図9】本発明の実施例２に係る知識データベース更新のフローチャート。

【発明を実施するための形態】

【0019】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

【0020】

なお、以下、実施例１では前提とする利用場面を示した後に本発明の実施例に係る装置及び方法を説明し、実施例２において変形実施例について説明する。

【実施例0021】

実施例１の前段では、本発明において前提とする利用場面の一例を明らかにしておく。

【0022】

設計者の知識データベースの作成に要する労力が削減できると、知識データベースを短期間で構築することが可能となり、ＯＪＴに依存しない設計者の知識伝承を効率的に進めることにつながる。

【0023】

そこで、同一種類の業務に関しては見るべき場所が共通あるいは類似しているとし、あらかじめ同一種類の業務から作成した基準知識データベースを更新し、新たな知識データベースとする。具体的には、第一設計者群にて作成した知識データベースに基づく見るべき場所を、業務が異なる第二の設計者群が注視したかどうかを計測し、第二の設計者群に適した知識データベースに更新する。これにより第二の設計者群で用いる知識データベースを短時間で作成することができる。ここで、注視とは視線が特定の領域から移動せずに固定されることである。

【0024】

図１は、データベースの生成段階を整理して示した図であり、第一設計者群ＭＡ１、ＭＡ２が知識データベースＤＢαを作成する段階を初期作成段階とし、類似業務の第二の設計者群ＭＢ１、ＭＢ２が知識データベースＤＢβを修正し、利用する段階を展開応用段階というものとする。図１では、初期作成段階における概略処理内容を作成プロセス１０Ａ、展開応用段階における設計支援装置の概略処理内容を更新プロセス１０Ｂ１、展開プロセス１０Ｂ２として示している。

【0025】

この例では、初期作成段階として作成プロセス１０ＡにおいてＡ社所属の第一設計者群ＭＡ１、ＭＡ２が知識データベースＤＢαを作成し、展開応用段階では更新プロセス１０Ｂ１において作成された知識データベースＤＢαをＢ社に展開し、さらに展開プロセス１０Ｂ２においてＢ社所属の第二設計者群ＭＢ１、ＭＢ２が自社利用に適した内容の知識データベースＤＢβに改変していくことについて説明する。Ａ社とＢ社の業務が類似、或は関連する内容であるとき、Ｂ社における知識データベースＤＢβの構築は、最初から行うよりも類似装置からの改編で行う方が、より効率的かつ早期完成が見込まれる。なお同一社内であっても同様に行えることは言うまでもない。

【0026】

Ａ社における基準知識データベースＤＢαの作成プロセス１０Ａは、基準知識データベースＤＢα、第一設計者群に属する熟練者ＭＡ１と非熟練者ＭＡ２の視線の分析部７Ａ、視線計測装置６Ａ、モニタ９０Ａを用いて実行される。

【0027】

視線計測装置６Ａは、流体解析結果画像における熟練者ＭＡ１と非熟練者ＭＡ２の視線を計測する。視線計測装置６Ａが計測する際は、例えば、モニタ９０Ａに表示された業務実行画面を用いても良い。熟練者ＭＡ１と非熟練者ＭＡ２の視線の分析部７Ａでは、流体解析および視線計測に関する有識者が、視線計測結果の分析および熟練者ＭＡ１と非熟練者ＭＡ２へのヒアリングにより、注目対象を含む注目領域に対応する画像を抽出し、基準知識データベースＤＢαに格納する。

【0028】

Ｂ社における基準知識データベースＤＢαの更新プロセス１０Ｂ１は、視線計測装置６Ｂ１、熟練者ＭＢ１の視線データの分析部７Ｂ１、データベース更新部（知識提示制御部）４Ｂ１、モニタ９０Ｂ１を用いて実行される。

【0029】

熟練者の視線データ分析部７Ｂ１は、基準知識データベースＤＢαを用いてモニタ９０Ｂ１に表示された業務画像中の熟練者ＭＢ１の注視領域を推定する。視線計測部６Ｂ１は業務画像中におけるＢ社の熟練者ＭＢ１の視線を計測する。データベース更新部４Ｂ１は業務画像中の注視領域の推定結果と視線計測結果に基づき基準知識データベースＤＢαを更新し、知識データベースＤＢβを作成する。

【0030】

Ｂ社における知識データベースＤＢβの利用プロセス１０Ｂ２は、視線計測装置６Ｂ２、視線データ分析部７Ｂ２、知識データベースＤＢβ、入力画像取得部３Ｂ、知識提示制御部４Ｂ２、知識出力部５Ｂ、モニタ９０Ｂ２を用いて実行される。

【0031】

入力画像取得部３Ｂは、モニタ９０Ｂ２に表示された業務実行画面に表示される画面の画像（例えばスクリーンショット）を取得する。取得した画像は知識提示制御部４Ｂ２に送信される。知識提示制御部４Ｂ２は、知識データベースＤＢβを用いて入力画像におけるユーザ（Ｂ社の非熟練者ＭＢ２）が見るべき注目領域を推定する。

【0032】

視線計測装置６Ｂ２は、業務中の非熟練者ＭＢ２が業務実行画面中の注視している位置を計測する。得られた結果は、視線データ分析部７Ｂ２に送信される。視線計測装置６Ｂ２は非熟練者ＭＢ２の視線を常時計測する。知識出力部５Ｂは、非熟練者ＭＢ２の注視した場所と知識提示制御部から出力された見るべき場所を照合し、非熟練者ＭＢ２が未注視の場所を知識出力部５Ｂから非熟練者ＭＢ２の業務実行画面に表示する。

【0033】

このようにＡ社とＢ社で対象となる業務が流体解析結果から渦を探索する業務であり共通あるいは類似である場合、Ａ社で作成した基準知識データベースＤＢαを、Ｂ社の熟練者の視線計測結果に基づき更新することで、Ｂ社用の知識データベースＤＢβを短時間で作成することができ、容易にＢ社にて熟練者の知識を活用した業務を進めることができる。

【0034】

図２は本発明の実施例１に係る設計支援装置１０の構成例を示すブロック図である。図１の各プロセスにおける処理を行うことができる共通的な装置構成を示している。係る設計支援装置１０は、知識データベースＤＢ、業務実行画面２、入力画像取得部３、知識提示制御部４、知識出力部５、視線計測装置６、視線データ分析部７、モニタ９０を備える。

【0035】

図２では、図２の設計支援装置１０が、Ａ社における基準知識データベースＤＢαの作成プロセス１０Ａで使用されることを意図して説明する。知識データベースＤＢ（作成プロセス１０Ａでは、基準知識データベースＤＢα）は、見るべき注目対象の画像を多数格納しているデータベースである。別途、熟練者ＭＡ１と非熟練者ＭＡ２の視線の分析とヒアリングを行うことで、重要な場所の画像を抽出し格納する。

【0036】

業務実行画面２は、設計者が作業を実施するモニタ９０に表示された画面である。入力画像取得部３は、業務実行画面２に表示される画面の画像（例えばスクリーンショット）を取得する。取得した画像は知識提示制御部４に送信される。

【0037】

知識提示制御部４は、知識データベースＤＢを用いて入力画像におけるユーザが見るべき注目領域を推定する。業務実行画面中の画像から、例えば、機械学習を活用した物体検出の技術を活用し、知識データベースＤＢに格納された画像と類似の領域を推定する。物体検出とは、画像の中から定められた物体の位置や個数を特定する技術であり、スマートフォンの顔認証や自動運転の歩行者検出などに使われている。

【0038】

視線計測装置６は、業務中のユーザの業務実行画面２中の視線を計測する。視線計測装置６は、例えば近赤外のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｇ Ｄｉｏｄｅ）によって眼球の角膜上に生成された反射パターンをカメラで撮影し、光の反射点などから眼球の方向を算出する角膜反射法などを用いることができる。

【0039】

得られた結果は、視線データ分析部７に送信される。視線データ分析部７は視線の移動速度や一定の範囲の場所に留まる時間などから、ユーザが注視した場所を算出する。視線計測装置６はユーザの視線を常時計測する。知識出力部５は、ユーザの注視した場所と知識提示制御部から出力された見るべき場所を照合し、知識出力部５からユーザの業務実行画面２にユーザが未注視の場所を表示する。

【0040】

かくして、熟練者ＭＡ１と非熟練者ＭＡ２の視線の分析により、ユーザが注目した画像領域を、見るべき注目対象として知識データベースＤＢに格納し、これによりＡ社における基準知識データベースＤＢαを作成する。

【0041】

図３は流体解析結果から渦を探す業務を対象としたときに知識データベースＤＢに格納された画像（ユーザが注目した画像領域である、見るべき注目対象）の一例である。以降、流体解析結果の画像から渦を見つける作業において、熟練者ＭＡ１が注視する場所を熟練者ＭＡ１の知識として後日に装置を利用するユーザへ提示することを例とし、本発明の詳細を説明する。

【0042】

知識データベースＤＢには熟練者ＭＡ１と非熟練者ＭＡ２の視線の分析結果に基づき抽出した見るべき場所の画像が図３の１から６に例示されているように複数格納されている。この事例での画像の形状は、渦の形状に対応した楕円形状や、渦を含む矩形形状でもよい。また、見るべき場所は画像ではなく、例えば画像に相当する数値の配列などのように見るべき場所を特定することができる他のパラメータでもよい。

【0043】

図４は業務実行画面２から取得した入力画像において、知識データベースＤＢの画像を用いて見るべき場所を推定し可視化した結果の例である。図４は流体解析結果の一つである流線を可視化した図であり、複数の渦が生成されている。熟練者ＭＡ１が画像を中止することで抽出され、記録された見るべき場所（領域）３０１は、例えば知識データベースＤＢに格納された画像と同様に矩形の枠で可視化され、モニタ９０の画像に表示される。これにより、非熟練者ＭＡ２は渦を探す際にどこを見るべきかを学ぶことができ、熟練者ＭＡ１の知識を身に付けることができる。

【0044】

図５では、図２に示す設計支援装置１０が、Ｂ社における基準知識データベースＤＢαの更新プロセス１０Ｂ１で使用されることを意図して説明する。図５は、主として更新プロセス１０Ｂ１における知識提示制御部４の機能を示すブロック図である。

【0045】

ここでは既に作成したＡ社の基準知識データベースＤＢαを用いて、Ｂ社での利用に展開する場合に、見るべき場所の画像を削除、入れ替え、または追加することによりＢ社の基準知識データベースＤＢβを更新し、作成することについて説明する。これにより、注目対象が変わった場合であっても、短時間で知識データベースＤＢβを準備することができる。

【0046】

この場合に、知識提示制御部４は知識データベース更新部４Ｂ１として機能し、設計支援装置１０Ｂ１は基準知識データベースＤＢα、入力画像取得部３、業務画像中の注視領域推定部４０３、視線計測装置６、視線分析部７、データベース更新部４０６の各処理機能を備える。

【0047】

基準知識データベースＤＢαは、あらかじめ作成しておいた見るべき注目対象の画像を格納したデータベースである。但し、このときの基準知識データベースＤＢαに蓄積された見るべき注目対象の画像は、Ａ社の観点で抽出したデータであり、必ずしもＢ社の利用に適した観点の画像とは言えないものである。

【0048】

入力画像取得部３は、業務実行画面２に表示される画面の画像（例えばスクリーンショット）を取得する。業務画像中の注視領域推定部４０３は基準知識データベースＤＢαにある画像を入力とし、物体検出などの技術を活用して画像中の入力画像と類似の場所を推定する。推定した場所は、業務画像中の見るべき場所となる。

【0049】

視線計測部６は業務中のユーザの業務実行画面中の注視位置を計測する。視線分析部７は、注視するべき場所をユーザが注視したかを分析する。また、注視するべき場所ではない場所を注視したかを分析する。データベースＤＢ更新部４０６は、視線分析部７から出力された注視の有無に対応して、基準知識データベースＤＢαの画像を更新する。

【0050】

注視するべき場所が注視されていなかった場合は、基準知識データベースＤＢαを作成した業務では重要であった場所であっても、Ｂ社のユーザの業務では重要ではないとし、その場所に対応する画像を基準知識データベースＤＢαから除外する。ここで除外とは、基準知識データベースＤＢαから削除すること、あるいは削除はしないが不使用のフラッグを立てること、あるいは別のデータベースに除外データとして移すことなどを意味する。いずれにしても、Ｂ社の利用では参酌されないデータとして取り扱うことにすることを意味している。

【0051】

注視するべき場所を注視していた場合は、基準知識データベースＤＢαの画像をそのまま保持してよいが、業務画像中の注視するべき領域から、抜き出した画像と入れ替えてもよい。注視するべき場所ではない場所を注視した場合は、その場所に対応する画像を基準知識データベースＤＢαに追加格納する。なお、注視するべきではない場所を注視した場合は、ユーザに基準知識データベースＤＢαにはない場所を注視したことを画面上に表示し、注目対象かどうかをユーザが確認し、注目対象の場合はユーザが画像の範囲を指定し、基準知識データベースＤＢαに追加格納することにしてもよい。

【0052】

かくして、Ｂ社の熟練者ＭＢ１の視線の分析により、熟練者ＭＢ１が注目した画像領域を、見るべき注目対象として新たに知識データベースＤＢαに格納し、熟練者ＭＢ１が注目しなかった画像領域を知識データベースＤＢαから除外することによりＢ社における利用に適した基準知識データベースＤＢβを作成していく。

【0053】

図６は、ユーザが注視するべきではない場所を注視した場合に、ユーザの業務実行画面に提示される情報の一例である。基準知識データベースＤＢαから推定した場所以外でユーザ（熟練者ＭＢ１）が注視した場所５０１は、矩形や円形で図示される。ユーザへのコメント５０２は、基準知識データベースＤＢαから推定した場所以外でユーザが注視した場所があることと、重要な場所に合わせて矩形や円形のサイズを合わせることが記載される。

【0054】

図７は図５のブロック図に基づく知識データベースＤＢαを更新するフローチャートである。なお、知識データベースＤＢαの更新では熟練者ＭＢ１の視線を用いるのが有効である。

【0055】

図７の処理の最初の処理ステップＳ６０１では、業務実行画面に表示される業務画像を読み込む。処理ステップＳ６０２では、あらかじめ作成しておいた基準知識データベースＤＢαを用いて、業務画像中の注視すべき領域を推定する。この際、業務画像上には注視すべき領域は表示しない。

【0056】

処理ステップＳ６０３では、熟練者ＭＢ１の業務中の視線を計測する。処理ステップＳ６０４では、注視すべき領域をユーザＭＢ１が注視しなかったかを判断する。注視していない領域があった場合、処理ステップＳ６０５にて注視すべき領域のうちユーザが注視しなかった領域の画像を基準知識データベースＤＢαから除外処理する。

【0057】

注視すべき領域の全てをユーザＭＢ１が注視した場合は、処理ステップＳ６０６に進み、注視すべき領域に対応する知識データベースＤＢαの画像を保持もしくは業務画像の注視すべき領域に対応する画像に入れ替える。

【0058】

知識データベースＤＢαを作成したときの業務画像と、知識データベースＤＢα更新時の業務画像が異なる場合は、画像を入れ替えた方が更新後の知識データベースＤＢβによる注視領域の推定精度が向上する。

【0059】

処理ステップＳ６０７では、注視すべき領域にない領域をユーザＭＢ１が注視したかを判断する。注視すべき領域にない領域をユーザＭＢ１が注視した場合は、処理ステップＳ６０７にてユーザＭＢ１が注視した領域の画像を抽出し、基準知識データベースＤＢαに追加する。

【0060】

このように、基準知識データベースＤＢαを用いて推定した注視すべき領域のうち熟練者ＭＢ１が注視しなかった領域の画像を削除し、熟練者ＭＢ１が注視した領域の画像は保持、もしくは入れ替えし、注視すべき領域以外で注視した領域の画像を追加することにより基準知識データベースＤＢαを更新し、Ｂ社の利用に適した知識データベースＤＢβを構成する。

【0061】

なお、本発明装置を構成する場合に、これらの機器は同一個所に設置されていなくともよく、例えばその一部機能をクラウド上で構成することも可能である。

【実施例0062】

実施例２では、Ｂ社における知識データベースＤＢαの更新プロセス１０Ｂ１を効率よくかつ、高精度に行うための手法について説明する。

【0063】

図８は更新プロセス１０Ｂ１における知識提示制御部４（４Ｂ１）の機能を示すブロック図である。このときの設計支援装置１０は、基準知識データベースＤＢβ、入力画像取部３、業務画像中の注視領域推定部４０３、視線計測部６、視線分析部７、注視回数比較部７０６、データベースＤＢ更新部４０６を備える。

【0064】

基準知識データベースＤＢαは、Ａ社においてあらかじめ作成しておいた見るべき注目対象の画像を格納したデータベースである。入力画像取得部３は、業務実行画面に表示される画面の画像（例えばスクリーンショット）を取得する。業務画像中の注視領域推定部４０３は、基準知識データベースＤＢαにある画像を入力とし、物体検出の技術を活用して画像中の入力画像と類似の場所を推定する。推定した場所は、業務画像中の見るべき場所となる。

【0065】

視線計測装置６は、業務中のユーザ（熟練者ＭＢ１）が業務実行画面中の注視している位置を計測する。視線分析部７は、注視するべき場所をユーザが注視したかを分析する。また、注視するべき場所ではない場所を注視したかを分析する。

【0066】

注視回数比較部７０６は、複数の熟練者熟練者ＭＢ１の視線を計測した結果を格納し、注視した領域とその回数をカウントし、回数に応じて追加もしくは削除する画像を選定する。データベースＤＢ更新部４０６は、注視回数比較部７０６から注視の有無、および頻度に対応して、基準知識データベースＤＢβの画像を更新する。複数人の熟練者ＭＢ１を対象に業務画像中の視線を計測し、各領域の注視回数を比較し、その大小に応じて基準知識データベースＤＢβを更新することにより、特定の熟練者の知識に偏らないデータベースＤＢβに更新することができる。

【0067】

図９は、図８のブロック図に基づく知識データベースＤＢα更新のフローチャートである。なお、知識データベースＤＢβの更新では熟練者の視線を用いるのが有効である。処理ステップＳ８０１にて業務実行画面に表示される業務画像を読み込む。処理ステップＳ８０２にて、あらかじめ作成しておいた基準知識データベースＤＢαを用いて、業務画像中の注視するべき領域を推定する。この際、業務画像上には注視すべき領域は表示しない。処理ステップＳ８０３にて、複数人の熟練者の業務中の視線を計測する。

【0068】

処理ステップＳ８０４にて、複数人の熟練者の視線の計測結果から、注視すべき領域ごとの注視回数の頻度を分析する。また、注視すべき領域以外の注視場所の頻度を分析する。処理ステップＳ８０５にて、注視すべき領域のうち頻度が高い画像を保持、もしくは基準知識データベースＤＢαの画像と業務画像が異なる場合は業務画像の注視すべき領域の画像に入れ替える。処理ステップＳ８０６にて、注視すべき領域のうち注視の頻度が低い画像は基準知識データベースＤＢαから削除する。処理ステップＳ８０７にて、注視すべき領域以外の注視の頻度が高い領域の画像は追加する。

【0069】

このように、複数人の熟練者の視線計測結果に基づき、注視の頻度から基準知識データベースＤＢの画像を入れ替え、削除、追加を行うことにより基準知識データベースＤＢαを更新する。