特許 7605443 補正装置、補正方法、及び、補正プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】補正装置、補正方法、及び、補正プログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20241217BHJP

   G06T 7/00 20170101ALI20241217BHJP

   G06T 7/70 20170101ALI20241217BHJP

【ＦＩ】

A61B3/113

G06T7/00 660A

G06T7/70 A

【請求項の数】 10

(21)【出願番号】P 2023217104

(22)【出願日】2023-12-22

【審査請求日】2023-12-22

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、国立研究開発法人日本医療研究開発機構、「医工連携・人工知能実装研究事業」「ＡＩ技術を活用した統合失調症の早期診断医療機器プログラムの開発」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】399059049

【氏名又は名称】フューチャー株式会社

(73)【特許権者】

【識別番号】510147776

【氏名又は名称】国立研究開発法人国立精神・神経医療研究センター

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】加藤 善大

(72)【発明者】

【氏名】山本 力也

(72)【発明者】

【氏名】本多 宏充

(72)【発明者】

【氏名】小橋 昌明

(72)【発明者】

【氏名】高橋 亘

(72)【発明者】

【氏名】橋本 竜我

(72)【発明者】

【氏名】富永 樹

(72)【発明者】

【氏名】橋本 亮太

(72)【発明者】

【氏名】三浦 健一郎

【審査官】渡戸 正義

(56)【参考文献】

【文献】特開２０１７－０３７３２９（ＪＰ，Ａ）

【文献】特開２０１４－０６８９３３（ＪＰ，Ａ）

【文献】特表２０１６－５３７０６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００２９８８３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２７７５５３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

(57)【特許請求の範囲】

【請求項1】

カメラで撮影されたユーザが画面内に順次表示された複数のターゲット点をそれぞれ注視したときにコンピュータで検出された前記ユーザの各視線位置を取得し、前記カメラが前記ユーザを特定の方角から撮影したことに基づく前記ユーザの視線位置の歪を補正する補正部を備え、
前記補正部は、
所定基準に基づいて前記補正の成功と失敗を判定し、補正が失敗した視線位置がある場合、補正が成功した複数の視線位置の補正前の各視線位置を用いて、前記失敗した視線位置に係る補正前の視線位置の推定値を計算し、前記推定値を前記失敗した視線位置の新たな補正前の視線位置とし、前記新たな補正前の視線位置を用いて前記ユーザの視線位置の歪を補正する補正装置。

【請求項2】

前記補正部は、
前記複数のターゲット点と補正後の各視線位置との間の距離が最小となるように補正前の視線位置の歪を変換する変換式を生成し、前記変換式を用いて前記ユーザの視線位置の歪を補正する請求項１に記載の補正装置。

【請求項3】

前記補正部は、
前記ユーザの視線位置が所定時間継続して前記画面の閾値領域内に収まるか否かを判定し、前記閾値領域内に収まるユーザの視線位置を用いて、前記ユーザの視線位置の歪を補正する請求項１に記載の補正装置。

【請求項4】

前記補正部は、
５つ以上のターゲット点に対応する前記ユーザの視線位置の歪を補正する請求項１に記載の補正装置。

【請求項5】

前記複数のターゲット点は、
前記画面内の中央及び周縁に格子状に表示された５つ以上のターゲット点であり、中央の点が表示され、次に周縁の点が表示される請求項１に記載の補正装置。

【請求項6】

前記ユーザの視線位置の歪を補正する前に、又は、前記ユーザの視線位置の歪の補正が失敗した後に、前記コンピュータが前記ユーザの視線位置を正常に検出していたか否かを判定する判定部を備え、
前記判定部は、
前記コンピュータが検出した前記ユーザの視線位置について鏡像化が発生していたか否かを判定する請求項１に記載の補正装置。

【請求項7】

前記補正部は、
前記コンピュータが検出した前記ユーザの視線位置について鏡像化が発生している場合、前記コンピュータに前記ユーザの視線位置を検出させるのみのダミー補正を行う請求項６に記載の補正装置。

【請求項8】

前記ユーザの顔の傾きに関する教示情報、又は、前記ユーザの瞬きに関する教示情報を、前記ユーザへ通知する通知部、
を更に備える請求項１に記載の補正装置。

【請求項9】

補正装置で行う補正方法において、
カメラで撮影されたユーザが画面内に順次表示された複数のターゲット点をそれぞれ注視したときにコンピュータで検出された前記ユーザの各視線位置を取得し、前記カメラが前記ユーザを特定の方角から撮影したことに基づく前記ユーザの視線位置の歪を補正し、
所定基準に基づいて前記補正の成功と失敗を判定し、補正が失敗した視線位置がある場合、補正が成功した複数の視線位置の補正前の各視線位置を用いて、前記失敗した視線位置に係る補正前の視線位置の推定値を計算し、前記推定値を前記失敗した視線位置の新たな補正前の視線位置とし、前記新たな補正前の視線位置を用いて前記ユーザの視線位置の歪を補正する、
補正方法。

【請求項10】

請求項１乃至８のいずれかに記載の補正装置としてコンピュータを機能させる補正プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、補正装置、補正方法、及び、補正プログラムに関する。

【背景技術】

【0002】

非特許文献１は、カメラで撮影された目の動きを基にコンピュータで被験者の認知機能を検査する技術を開示する。

【先行技術文献】

【非特許文献】

【0003】

【文献】「わずか3分、目の動きの解析で認知機能を評価、認知症の早期診断に向けた新技術」、大阪大学、［online］、［2023年9月27日検索］、＜URL: https://resou.osaka-u.ac.jp/ja/research/2019/20190910_1＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１の図１に示されているように、カメラはモニタ画面の端に配置されているため、コンピュータで検出された被験者の視線位置に歪が生じる。

【0005】

本発明は、上記事情に鑑みてなされたものであり、視線位置の検出精度を改善可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様の補正装置は、カメラで撮影されたユーザが画面内に順次表示された複数のターゲット点をそれぞれ注視したときにコンピュータで検出された前記ユーザの各視線位置を取得し、前記カメラが前記ユーザを特定の方角から撮影したことに基づく前記ユーザの視線位置の歪を補正する補正部を備え、前記補正部は、所定基準に基づいて前記補正の成功と失敗を判定し、補正が失敗した視線位置がある場合、補正が成功した複数の視線位置の補正前の各視線位置を用いて、前記失敗した視線位置に係る補正前の視線位置の推定値を計算し、前記推定値を前記失敗した視線位置の新たな補正前の視線位置とする。

【0007】

本発明の一態様の補正方法は、補正装置で行う補正方法において、カメラで撮影されたユーザが画面内に順次表示された複数のターゲット点をそれぞれ注視したときにコンピュータで検出された前記ユーザの各視線位置を取得し、前記カメラが前記ユーザを特定の方角から撮影したことに基づく前記ユーザの視線位置の歪を補正し、所定基準に基づいて前記補正の成功と失敗を判定し、補正が失敗した視線位置がある場合、補正が成功した複数の視線位置の補正前の各視線位置を用いて、前記失敗した視線位置に係る補正前の視線位置の推定値を計算し、前記推定値を前記失敗した視線位置の新たな補正前の視線位置とする。

【0008】

本発明の一態様の補正プログラムは、上記補正装置としてコンピュータを機能させる。

【発明の効果】

【0009】

本発明によれば、視線位置の検出精度を向上可能な技術を提供できる。

【図面の簡単な説明】

【0010】

【図1】図１は、補正装置及びタブレット端末の構成例を示す図である。

【図2】図２は、補正装置及びタブレット端末の全体処理フローを示す図である。

【図3】図３は、視線位置の歪の補正処理フローを示す図である。

【図4】図４は、キャリブレーションの処理フローを示す図である。

【図5】図５は、ターゲット点の表示例を示す図である。

【図6】図６は、視線位置の座標の取得方法を示す図である。

【図7】図７は、注視判定方法のイメージを示す図である。

【図8】図８は、変換式の導出フローを示す図である。

【図9】図９は、バリデーションの処理フローを示す図である。

【図10】図１０は、バリデーション状態遷移を示す図である。

【図11】図１１は、視線位置の歪の補正例を示す図である。

【図12】図１２は、一点補正のイメージを示す図である。

【図13】図１３は、鏡像化のイメージを示す図である。

【図14】図１４は、鏡像化の有無の判定処理フローを示す図である。

【図15】図１５は、補正装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

【0012】

［概要］
上記課題を解決するため、本開示は、コンピュータで検出されたユーザの視線位置について、そのユーザの視線位置の歪（視線位置のずれ）を補正する。このように、ユーザの視線位置の歪を補正するので、ユーザの視線位置の検出精度を向上できる。

【0013】

［装置構成］
図１は、本実施形態に係る補正装置１及びタブレット端末２の構成例を示す図である。

【0014】

補正装置１は、タブレット端末２の内部で機能し、タブレット端末２で検出されたユーザＵの視線位置を取得し、その視線位置の歪を補正する装置である。つまり、補正装置１は、ユーザＵがターゲット点ＴＧを注視したときにタブレット端末２で検出されたユーザＵの視線位置ＡＴを、ターゲット点ＴＧに近い視線位置ＡＴ’に補正する。

【0015】

補正装置１は、ユーザＵの視線位置の歪を補正する補正部１１と、タブレット端末２がユーザＵの視線位置を正常に検出していたか否かを判定する判定部１２と、各種情報をユーザＵへ文字又は音声で通知する通知部１３と、を備える。

【0016】

タブレット端末２は、モニタ画面の端に配置されたカメラ２１と、画像を表示するモニタ画面２２と、各種情報を音声で出力するスピーカ２３と、ユーザＵの画像からユーザＵの視線位置を検出する検出部２４と、各種情報及び各種データを記憶する記憶部２５と、を備える。

【0017】

なお、タブレット端末２は、ユーザＵをカメラで撮影可能であり、ユーザＵの画像からユーザＵの視線位置を検出可能なコンピュータ（汎用計算機）の例である。そのようなコンピュータであれば、スマートフォン端末、パーソナルコンピュータ装置等でもよい。

【0018】

また、補正装置１は、タブレット端末２の検出部２４と同じ機能部を自装置で備えてもよい。この場合、補正装置１は、自装置でユーザＵの画像からユーザＵの視線位置を検出可能である。

【0019】

［補正装置１の機能］
補正部１１は、カメラ２１で撮影されたユーザＵがモニタ画面２２内に順次表示された複数のターゲット点ＴＧをそれぞれ注視したときにタブレット端末２で検出されたユーザＵの各視線位置ＡＴを取得し、カメラ２１がユーザＵをモニタ画面２２の端の方角（特定の方角）から撮影したことに基づくユーザＵの視線位置ＡＴの歪を補正する機能を備える。

【0020】

補正部１１は、ターゲット点ＴＧがモニタ画面２２に表示され所定時間（例えば５００ｍｓ）経過後に検出されたユーザＵの視線位置ＡＴを用いて、ユーザＵの視線位置ＡＴの歪を補正する機能を備える。

【0021】

補正部１１は、ユーザＵの視線位置が所定時間（例えば５００ｍｓ）継続してモニタ画面２２の閾値領域内に収まるか否かを判定し、閾値領域内に収まるユーザＵの視線位置ＡＴを用いて、ユーザＵの視線位置ＡＴの歪を補正する機能を備える。

【0022】

補正部１１は、複数のターゲット点ＴＧと補正後の各視線位置ＡＴ’との間の距離が最小となるように補正前の視線位置ＡＴの歪を変換する変換式を生成し、その変換式を用いてユーザＵの視線位置ＡＴの歪を補正する機能を備える。

【0023】

補正部１１は、所定基準に基づいて複数のターゲット点ＴＧに対する複数のユーザＵの視線位置の歪の補正が全て成功したか否かを判定し、全て成功してない場合、複数のユーザＵの視線位置ＡＴの歪の再補正を全て自動で繰り返す機能を備える。

【0024】

補正部１１は、複数のユーザＵの視線位置ＡＴの歪の再補正を所定回数（例えば最高９回）繰り返す機能を備える。

【0025】

補正部１１は、所定基準に基づいて補正の成功と失敗を判定した結果、補正が失敗した視線位置がある場合、補正が成功した複数の視線位置の補正前の各視線位置を用いて、失敗した視線位置に係る補正前の視線位置の推定値を計算し、その推定値を失敗した視線位置の新たな補正前の視線位置とする機能を備える。

【0026】

例えば、補正部１１は、再補正を所定回数繰り返した後、複数のターゲット点ＴＧに対する複数のユーザＵの視線位置ＡＴの歪の補正のうち１つの補正のみ失敗した場合、補正が成功した他の複数の視線位置の補正前の各視線位置を用いて、その１つの補正に係る補正前の視線位置の推定値を計算して新たな補正前の視線位置とする。

【0027】

判定部１２は、補正部１１がユーザＵの視線位置ＡＴの歪を補正する前に、又は、補正部１１でユーザＵの視線位置ＡＴの歪の補正が失敗した後に、タブレット端末２がユーザＵの視線位置ＡＴを正常に検出していたか否かを判定する機能を備える。例えば、判定部１２は、タブレット端末２が検出したユーザＵの視線位置ＡＴについて鏡像化が発生しているか否かを判定する機能を備える。

【0028】

判定部１２は、タブレット端末２が検出したユーザＵの視線位置ＡＴについて鏡像化が発生している場合、補正部１１にダミー補正を実行させる機能を備える。補正部１１は、鏡像化が発生している場合、タブレット端末２の検出部２４にユーザＵの視線位置を検出させるのみのダミー補正を行う機能を備える。

【0029】

通知部１３は、ユーザＵの顔の傾きに関する教示情報、又は、ユーザＵの瞬きに関する教示情報を、ユーザＵへ音声又は文字で通知する機能を備える。

【0030】

なお、ターゲット点は、例えば、モニタ画面２２内の中央及び周縁に格子状に表示される複数のターゲット点である。複数のターゲット点は、５つ以上が好ましい。例えば、モニタ画面２２内の中央を含む周縁四隅の計５つ、中央を含む周囲四辺の各辺の中点の計５つ、中央を含む周縁四隅及び周囲四辺の各辺の中点の計９つ、その計９つに中央を再度含む１０つがより好ましい。補正部１１は、例えば、５つ以上のターゲット点に係る５つ以上の視線位置の歪を補正する。ターゲット点の点数や補正する視線位置の点数を５つ以上にすることで、ユーザの視線位置の検出精度をより向上できる。

【0031】

なお、上述した補正部１１と判定部１２と通知部１３は、１つの機能部（例えば、１つの処理部）が備えてもよい。

【0032】

［補正装置１の実装例］
補正装置１は、タブレット端末２の外部に実装されてもよい。例えば、タブレット端末２に通信可能に接続されたインターネット内又はクラウド内のサーバ装置に実装可能である。また、補正装置１は、補正装置１としてタブレット端末２を機能させるソフトウェアプログラム（アプリケーション型のソフトウェアプログラムを含む）として提供可能である。

【0033】

［全体動作］
ユーザＵである被験者Ｕの眼球運動機能等を検査する際の動作を説明する。被験者Ｕは、タブレット端末２の手前に設置されたアゴ置き台に自身のアゴを乗せ、タブレット端末２のカメラ２１及びモニタ画面２２に対して自身の顔を向けている。

【0034】

図２は、補正装置１及びタブレット端末２の全体処理フローを示す図である。

【0035】

ステップＳ１０１；
被験者Ｕ又は検査者はタブレット端末２のカメラ２１を起動する。

【0036】

ステップＳ１０２；
タブレット端末２の検出部２４は、カメラ２１で撮像された被験者Ｕの顔画像から被験者Ｕの視線位置を検出する。視線位置とは、モニタ画面２２に対する被験者Ｕの注視点の位置である。

【0037】

ステップＳ１０３；
補正装置１の判定部１２は、タブレット端末２の検出部２４から被験者Ｕの目の位置と視線位置を取得し、検出部２４が被験者Ｕの視線位置を正常に検出していたか否かを判定する。例えば、判定部１２は、鏡像化の発生の有無等を判定する。検出部２４が被験者Ｕの視線位置を正常に検出していなかった場合、ステップＳ１０１へ戻り、ステップＳ１０２を自動で繰り返す。

【0038】

ステップＳ１０４；
補正装置１の補正部１１は、検出部２４が被験者Ｕの視線位置を正常に検出していた場合、被験者Ｕの視線位置の歪を補正する。視線位置の歪とは、カメラ２１が被験者Ｕをモニタ画面２２の端の方角から撮影したことに基づく視線位置のずれである。

【0039】

ステップＳ１０５；
補正装置１の補正部１１は、所定基準に基づき、被験者Ｕの視線位置の歪の補正が成功した否かを判定する。補正部１１は、被験者Ｕの視線位置の歪の補正が成功した場合、補正後の視線位置を眼球運動機能等の検査装置又はタブレット端末２内の検査部へ出力し、処理を終了する。被験者Ｕの視線位置の歪の補正が失敗した場合、ステップＳ１０３へ戻り、自動で繰り返す。

【0040】

このように、補正装置１は、タブレット端末２で検出された被験者Ｕの視線位置の歪を補正するので、被験者Ｕの視線位置の検出精度を向上できる。補正後の視線位置は、目的である被験者Ｕの眼球運動機能等の検査に利用される。

【0041】

このような補正装置１は、眼球運動機能や認知機能等の各種検査結果に基づき精神疾患等の統合失調症の可能性を示す診断医療機器に適用可能である。その他、補正装置１は、医療分野以外の分野にも適用可能である。

【0042】

なお、ステップＳ１０４及びステップＳ１０５は、ステップＳ１０３の前に実行してもよい。この場合、ステップＳ１０４で視線位置の歪の補正が１回で成功するとステップＳ１０３を行う必要がなくなるので、補正処理時間を短縮化できる。

【0043】

［視線位置の歪の補正処理］
次に、図２のステップＳ１０４で行われる視線位置の歪の補正処理を説明する。

【0044】

図３は、視線位置の歪の補正処理フローを示す図である。

【0045】

ステップＳ２０１、Ｓ２０２；
補正装置１の補正部１１は、キャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）を実行する。補正部１１は、１回目のキャリブレーションが失敗した場合、２回目のキャリブレーションを実行する。

【0046】

具体的には、補正部１１は、タブレット端末２のモニタ画面２２に複数のターゲット点（例えば１０点）を表示し、同一位置のターゲット点を除く複数のターゲット点（例えば９点）について、タブレット端末２の検出部２４で検出された被験者Ｕの各視線位置の歪を正しい視線位置に補正するための変換式を導出し、その変換式を評価する。

【0047】

ステップＳ２０３、Ｓ２０４；
補正装置１の補正部１１は、ステップＳ２０１又はステップＳ２０２でキャリブレーションに成功した場合、バリデーション（Ｖａｌｉｄａｔｉｏｎ）を実行する。補正部１１は、１回目のバリデーションが失敗した場合、２回目のバリデーションを実行する。

【0048】

具体的には、補正部１１は、キャリブレーションと同様にタブレット端末２のモニタ画面２２に複数のターゲット点を表示し、キャリブレーション時に導出された変換式を用いて被験者Ｕの各視線位置の歪を補正し、各ターゲット点との間の距離が全て閾値以下であれば補正成功と判定する。

【0049】

ステップＳ２０５；
補正装置１の補正部１１は、ステップＳ２０３又はステップＳ２０４でバリデーションに成功した場合、つまり、９点のターゲット点に対する各視線位置の歪の補正が全て成功した場合、１回目のキャリブレーションを開始してから現在までの経過時間が閾値（例えば７０秒）を超えているか否かを判定する。現在までの経過時間が閾値を超えていない場合、補正部１１は、処理を正常終了する。

【0050】

ステップＳ２０６；
補正装置１の補正部１１は、ステップＳ２０２でキャリブレーションに失敗した場合、ステップＳ２０４でバリデーションに失敗した場合（１点でも補正が成功しなかった場合）、ステップＳ２０５で現在までの経過時間が閾値を超えている場合、検査全体のリトライ回数を判定する。

【0051】

ステップＳ２０７；
補正装置１の通知部１３は、検査全体のリトライ回数が１回～８回である場合、補正に失敗したことを示すエラーメッセージをタブレット端末２のモニタ画面２２に出力し、又は当該エラーメッセージをスピーカ２３から音声で出力する。その後、ステップＳ２０１へ戻る。正確には、図２のステップＳ１０３へ戻り、検出部２４が被験者Ｕの視線位置を正常に検出していたか否かを判定する処理から再開する。

【0052】

ステップＳ２０８；
補正装置１の補正部１１は、検査全体のリトライ回数が９回である場合、９点のうち８点の補正が成功した回が１回以上あるか否かを判定する。８点の補正が成功した回が１回もない場合、補正部１１は、検査を異常終了する。

【0053】

ステップＳ２０９；
補正装置１の補正部１１は、８点の補正が成功した回が１回以上ある場合、補正に失敗していた１点について補正前の視線位置を推定（１点補正）し、当該補正前の視線位置を基に視線位置の歪を補正するための変換式を生成し、その変換式を用いて視線位置の歪を補正する。その後、補正部１１は、処理を正常終了する。

【0054】

［キャリブレーション］
次に、図３のステップＳ２０１、Ｓ２０２で行われるキャリブレーションを説明する。

【0055】

図４は、キャリブレーションの処理フローを示す図である。

【0056】

ステップＳ３０１；
補正装置１は、タブレット端末２に対して、タブレット端末２のモニタ画面２２に１０点のターゲット点を１つずつ表示させる。

【0057】

例えば、補正装置１は、図５に示すように、モニタ画面２２内の中央及び周縁に１０点のターゲット点を格子状に１つずつ表示する。１番目のターゲット点ＴＧ１を中央に表示し、１番目のターゲット点ＴＧ１を削除した後に２番目のターゲット点ＴＧ２を左上に表示する。

【0058】

同様に、３番目～９番目の各ターゲット点ＴＧ３～ＴＧ９を右上→右下→左下→上部中央→右側中央→下部中央→左側中央にその順で表示する。最後に、１０番目のターゲット点ＴＧ１０を中央に表示する。

【0059】

つまり、補正装置１は、最初に中央の点を表示し、次に周縁の点を表示し、最後に中央の点を再表示する。

【0060】

なお、ターゲット点の表示順は、ランダムでもよい。例えば、１番目のターゲット点を中央に表示し、２番目～９番目の各ターゲット点をランダムな順番で表示し、１０番目のターゲット点を中央に再表示してもよい。その他、１番目のターゲット点を左上に表示し、１０番目のターゲット点を右上に表示してもよい。

【0061】

ステップＳ３０２；
このとき、被験者Ｕは、各ターゲット点ＴＧ１～ＴＧ１０をそれぞれ順番に注視している。タブレット端末２の検出部２４は、被験者Ｕの視線位置を検出する。その後、補正装置１の補正部１１は、検出部２４から被験者Ｕの視線位置の座標（注視点の座標）を取得する。

【0062】

ここで、視線位置の座標の取得方法を説明する。

【0063】

タブレット端末２の検出部２４は、図６に示すように、ｎ番目（ｎは自然数）のターゲット点が表示されてから一定期間（例えば５００ｍｓ）が経過した後、視線位置の検出を開始する。

【0064】

そして、補正装置１の補正部１１は、被験者Ｕがｎ番目のターゲット点を注視開始してから一定期間（例えば５００ｍｓ）の注視期間内に検出された被験者Ｕの視線位置のｘｙ座標群（注視点のｘｙ座標群）を取得する。

【0065】

その後、補正部１１は、取得した視線位置のｘｙ座標群が予め設定された閾値に収まるか否かの注視判定を行う。例えば、図７に示すように、ｎ番目のターゲット点を表示してから５００ｍｓ経過後、５００ｍｓの注視期間内に検出された視線位置のｘｙ座標群について、その視線位置のｘｙ座標群に外接する長方形を計算し、その長方形の対角線ｄが閾値以下であるか否かを判定する。

【0066】

ターゲット点を表示してから５００ｍｓ経過後、１００ｍｓ毎に、５００ｍｓ毎の注視期間内の視線位置のｘｙ座標群について注視判定をそれぞれ行い、注視判定が成功するまで繰り返し継続する。長方形の対角線ｄが閾値以下であれば、注視判定は成功となる。

【0067】

最後に、補正装置１の補正部１１は、注視判定が成功した注視期間内の視線位置のｘｙ座標群の中央値を計算し、その中央値を被験者Ｕの視線位置のｘｙ座標とする。

【0068】

その結果、１０点のターゲット点に対し、１０点の視線位置のｘｙ座標（中央値）が取得される。但し、１番目と１０番目の各ターゲット点の位置は同じなので、２番目～１０番目の９点のターゲット点に係る９点の視線位置のｘｙ座標（中央値）を用いる。

【0069】

ステップＳ３０３；
ステップＳ３０２で取得した視線位置は、注視期間内における視線位置のｘｙ座標群の中央点ではあるが、タブレット端末２が検出した視線位置であり、カメラ２１が被験者Ｕをモニタ画面２２の端の方角から撮影したことに基づく視線位置の歪がある。

【0070】

具体的には、カメラ２１の向き（撮影方向）と被験者Ｕの向き（視線方向）は同一軸上ではなく、カメラ２１のレンズサイズは被験者Ｕの顔サイズよりも非常に小さいので、タブレット端末２で検出された被験者Ｕの視線位置には歪が生じている。また、カメラ２１に近い位置の視線位置よりもカメラ２１から遠い位置の視線位置の方が、歪度が大きい。

【0071】

そこで、キャリブレーション及びバリデーションでは、この被験者Ｕの視線位置の歪を多項式フィッティングにより補正する。キャリブレーションでは、その多項式としての変換式を導出する。

【0072】

補正装置１の補正部１１は、ステップＳ３０１で表示された９点のターゲット点のｘｙ座標と、変換後（補正後）の被験者Ｕの視線位置のｘｙ座標と、の間の距離が最小となるように、ステップＳ３０２で取得した９点の被験者Ｕの視線位置のｘｙ座標（中央値）を変換する変換式を導出する。

【0073】

図８は、変換式の導出フローを示す図である。

【0074】

ステップＳ３０３（１）；
補正部１１は、９点のターゲット点のそれぞれについて、注視判定が成功した注視期間内の視線位置のｘｙ座標群の中央値（ｘ，ｙ）を計算する。中央値の計算は既に説明したが、改めて記述した。このとき、補正部１１は、タブレット端末２のモニタ画面２２の中央点（ｘ＿ｃｅｎｔｅｒ，ｙ＿ｃｅｎｔｅｒ）も計算しておく。なお、中央点は、１０番目のターゲット点の座標値を用いてもよい。

【0075】

ステップＳ３０３（２）；
補正部１１は、９点の視線位置の各中央値（ｘ，ｙ）（ｒａｗ座標）を、タブレット端末２のモニタ画面２２の中央を原点とする座標系にそれぞれ変換する。具体的には、９点の各ｒａｗ座標（ｘ，ｙ）から中央点（ｘ＿ｃｅｎｔｅｒ，ｙ＿ｃｅｎｔｅｒ）を引く。

【0076】

ステップＳ３０３（３）；
補正部１１は、変換前の被験者Ｕの視線位置のｘｙ座標（座標系変換後のｒａｗ座標）をx、yとし、変換後の被験者Ｕの視線位置のｘｙ座標をX、Yとして、例えば下記の変換式（１）、（２）を定義し、最小二乗法により計算する。

【0077】

X=a00×x+a01×y+a02×x×y+a03×x²+a04×y²+a05×(x×y)²+a06 …（１）
Y=a10×x+a11×y+a12×x×y+a13×x²+a14×y²+a15×(x×y)²+a16 …（２）
変換式（１）（２）の係数a00～a06、a10～a16を、視線位置の変換が最適になるように（つまり、変換後のｘｙ座標がターゲット点のｘｙ座標に最も近くなるように）、最小二乗法により定める。x、yそれぞれ２次元の多項式でフィッティングしている。

【0078】

ステップＳ３０４；
補正部１１は、ステップＳ３０３で導出した変換式を評価する。

【0079】

具体的には、補正部１１は、ステップＳ３０２で取得した変換前の９点の視線位置の座標（x,y）をステップＳ３０３で導出した変換式に代入して変換後の９点の視線位置の座標（X,Y）を計算し、９点のターゲット点の座標からの距離（視線位置の座標からの誤差）をそれぞれ計算する。

【0080】

補正部１１は、その距離がＦａｉｒ判定用の閾値の１／２以下の場合はＧｏｏｄと判定し、その距離がＦａｉｒ判定用の閾値以下の場合はＦａｉｒと判定し、その距離がＦａｉｒ判定用の閾値を超える場合はＰｏｏｒと判定する。

【0081】

そして、補正部１１は、９点全ての誤差の判定結果がＦａｉｒ以内（Ｇｏｏｄ又はＦａｉｒ）であれば変換式ＯＫと判定してキャリブレーション成功と判定し、１点でもＰｏｏｒがあれば変換式ＮＧと判定して９点全ての再検出、再補正が必要と判定する。

【0082】

［バリデーション］
次に、図３のステップＳ２０３、Ｓ２０４で行われるバリデーションを説明する。

【0083】

図９は、バリデーションの処理フローを示す図である。

【0084】

ステップＳ４０１；
図４のステップＳ３０１と同じである。

【0085】

ステップＳ４０２；
図４のステップＳ３０２と同じである。

【0086】

ステップＳ４０３；
補正装置１の補正部１１は、図４のステップＳ３０４でキャリブレーション成功と判定された変換式を用いて、ステップＳ４０２で取得した被験者Ｕの視線位置の座標を変換する。

【0087】

ステップＳ４０４；
補正装置１の補正部１１は、ステップＳ３０４と同様に、９点のターゲット点の座標から変換後の被験者Ｕの視線位置の座標までの距離（視線位置の座標からの誤差）を計算し、その距離の長さの度合い（誤差の精度）を基にバリデーションの成否を判定する。

【0088】

図１０は、バリデーション状態遷移例を示す図である。

【0089】

バリデーション状態Ｖ０では、視線位置毎にターゲット点の座標と変換後の視線位置の座標との間の距離を計算し、９点全てのターゲット点についてＦａｉｒ以内（Ｇｏｏｄ又はＦａｉｒ）であればバリデーション成功と判定してＯＫへ遷移し、Ｐｏｏｒのターゲット点が１つでも残っていればリトライ対象としてバリデーション状態Ｖ１へ遷移する。

【0090】

バリデーション状態Ｖ１では、リトライ対象のターゲット点のみを再表示して変換後の視線位置の座標を再計算し、ターゲット点の座標と変換後の視線位置の座標との間の距離を計算し、Ｆａｉｒ以内（Ｇｏｏｄ又はＦａｉｒ）であればバリデーション成功と判定してＯＫへ遷移する。

【0091】

一方、リトライ後にバリデーション成功でないターゲット点が１つでも残っていれば、バリデーション失敗と判定してＮＧへ遷移する。このとき、９点全ての再検出、再補正が必要と判定する。

【0092】

なお、リトライ時にも各ターゲット点をランダムな順番及び位置で表示してもよい。残り１点のみ複数回リトライする場合には、次回表示前に消灯させた後に点灯させる。

【0093】

［一点補正の方法］
次に、図３のステップＳ２０９で行われる一点補正を説明する。

【0094】

図３のステップＳ２０４において、バリデーションに失敗した視線位置が１つでも残っている場合、ステップＳ２０６へ遷移する。そして、検査全体のリトライ回数が少ない場合には、ステップＳ２０７でエラーメッセージを通知した後にステップＳ２０１へ戻り（正確には、図２に示すステップＳ１０３へ戻り）、９点全ての視線位置の歪の補正を再実行する。

【0095】

一方、検査全体のリトライ回数が多くなると、視線位置の歪の補正を繰り返しても、９点全ての視線位置の歪の補正は困難と考えられる。このとき、視線位置の歪の補正を直ちに終了してもよいが、９点のうち多くの点について補正が成功していれば、その時のデータを活用することが好ましい。

【0096】

そこで、検査全体のリトライ回数が９回の場合、キャリブレーション及びバリデーションに失敗していた場合でも、１点のみが基準に満たなかった回があれば、その基準に満たない１点の視線位置を他点から推定し、変換式を生成し、その変換式を用いて視線位置の歪を補正する。

【0097】

例えば、図１１に示すように、９点のターゲット点ＴＧ２～ＴＧ１０に対する補正後の視線位置がＡＴ２’～ＡＴ１０’であり、ＡＴ３’のみＰｏｏｒと判定されたとする。

【0098】

この場合、補正装置１の補正部１１は、図１２の上段に示すように、Ｐｏｏｒと判定された補正前の視線位置ＡＴ３を削除する。

【0099】

そして、補正装置１の補正部１１は、図１２の下段に示すように、同じ行の変換前（補正前）の２つの視線位置ＡＴ２、ＡＴ６を通る直線Ｌ１を引き、同じ列の変換前の２つの視線位置ＡＴ７、ＡＴ４を通る直線Ｌ２を引き、その２つの直線Ｌ１、Ｌ２の交点を新たな変換前の視線位置ＡＴ３とする。

【0100】

その後、補正装置１の補正部１１は、図４のステップＳ３０３と同様に変換式を導出し、図９のステップＳ４０３と同様に当該変換式で補正前の視線位置ＡＴ２～ＡＴ１０の歪を補正する。

【0101】

なお、補正装置１の補正部１１は、直線Ｌ１又は直線Ｌ２に代えて、他の２つの視線位置ＡＴ５、ＡＴ１０を通る直線（Ｌ３）を用いて、新たな変換前の視線位置ＡＴ３を計算してもよい。その他、補正部１１は、直線Ｌ１と直線Ｌ２との交点と、直線Ｌ１と直線Ｌ３との交点と、直線Ｌ２と直線Ｌ３との交点と、のうちから１つを選択してもよい。

【0102】

なお、９回のリトライ回数のうち１点のみが基準に満たなかった回が複数ある場合には、最新の回のデータを利用する。

【0103】

ここまで、１点補正が失敗した場合を例に説明したが、１点補正が失敗した場合に限らず、２点補正や３点補正が失敗した場合にも応用可能である。つまり、補正が失敗した視線位置がある場合には、補正が成功した複数の視線位置の補正前の各視線位置を用いて、失敗した視線位置に係る補正前の視線位置の推定値を計算し、その推定値を失敗した視線位置の新たな補正前の視線位置とする。

【0104】

［キャリブレーション時又はバリデーション時の通知］
補正装置１の通知部１３は、キャリブレーション又はバリデーションの開始前、開始中、開始後、検査の進捗状況に応じて、タブレット端末２で検出された被験者Ｕの顔画像の検出結果を基に、次の教示情報を文字でタブレット端末２のモニタ画面２２に表示し、その教示情報をタブレット端末２のスピーカ２３から音声で出力する。

【0105】

例えば、通知部１３は、「それでは、機械の調整を始めます。画面に出てくる点を見てもらいます。頭を動かさず、次々と出てくる点を見て下さい。点を見る時には、少しの間、まばたきを止めて、点が消えるまで見続けるようにして下さい。では、始めます。真ん中の点を見て下さい。」という教示情報を出力する。

【0106】

例えば、通知部１３は、「もう一度行います。真ん中の点を見て下さい。その後、画面の端に点が出てきますので、目をつぶらず、点が消えるまで、じっと見続けるようにして下さい。では、始めます。真ん中の点を見て下さい。」という教示情報を出力する。

【0107】

例えば、通知部１３は、「もう一度行います。画面に出てくる点を見てもらいます。頭を動かさず、次々と出てくる点を見て下さい。点を見る時には、少しの間、まばたきを止めて、目をつぶらず、点が消えるまで、じっと見続けるようにして下さい。では、始めます。真ん中の点を見て下さい。」という教示情報を出力する。

【0108】

例えば、通知部１３は、「点の真ん中を、しっかりと見れていないようです。点が出ている間は、その点が消えるまで、しっかりと目を開けて、じっと見て下さい。一度リラックスして、もう一度手を机の上に置き、画面をのぞき込むようにアゴ置き台に顎をのせ、楽な姿勢をとって下さい。画面との角度は、右の図を参考にしてください。」という教示情報を出力する。

【0109】

［視線位置の正常検出の判定処理］
次に、図２のステップＳ１０３で行われる視線位置の正常検出の判定処理を説明する。

【0110】

何らかの原因によりタブレット端末２で被験者Ｕの視線位置を正常に検出できない場合がある。この場合、図２のステップＳ１０４、Ｓ１０５を適切に実行できず、その後の眼球運動機能検査等を正常に進行できない状態になる。そこで、何らかの異常が発生した場合、補正装置１は、一定の基準を用いて検査を一度中断し、再検査を行う。

【0111】

本実施形態では、何らかの異常の例として、タブレット端末２で鏡像化が発生している場合を説明する。図２のステップＳ１０４、Ｓ１０５の開始前又は開始後に鏡像化を検出した場合、その回の検査はなかったこととして検査を中断する。一度休憩を挟んだ後に、同じ回のステップＳ１０４、Ｓ１０５を再度行う。

【0112】

そして、鏡像化が連続発生回数閾値（例えば３回）連続で発生した場合、検査を異常終了する。閾値回連続で鏡像化が発生していない場合でも、鏡像化が検査全体で累計発生回数閾値（例えば累計３回）発生した場合は検査を異常終了する。

【0113】

ここで、鏡像化について説明する。

【0114】

タブレット端末２は、図１３に示すように、本来であれば被験者Ｕをタブレット端末２の表側の位置で検出する。具体的には、モニタ画面２２の奥行方向であるｚ軸上の「－」側の位置で検出する。しかし、被験者Ｕをｚ軸上の「＋」側の位置の被験者Ｕ’として検出する場合がある。この現象を鏡像化という。

【0115】

このような鏡像化が発生した場合、被験者Ｕの位置を誤認することになるので、被験者Ｕの視線位置を適切に取り扱うことが難しい。そこで、頭部等の位置を変更させ、タブレット端末２のカメラ２１を再起動させることで、鏡像化を解消させる。

【0116】

図１４は、鏡像化の有無の判定処理フローを示す図である。

【0117】

ステップＳ５０１；
被験者Ｕ又は検査者はタブレット端末２のカメラ２１を起動する。カメラ２１を既に起動している場合、ステップＳ５０１は省略する。

【0118】

ステップＳ５０２；
補正装置１の判定部１２は、タブレット端末２で鏡像化が発生しているか否かを判定する。例えば、判定部１２は、カメラ２１の起動後、タブレット端末２の検出部２４で検出されたｚ軸の目や頭の位置の値が‘０’よりも大きいか否かを判定する。

【0119】

ステップＳ５０３；
補正装置１の判定部１２は、ｚ軸の目や頭の位置の値が‘０’よりも大きい場合、鏡像化が発生していると判定し、鏡像化の連続発生回数を判定する。

【0120】

ステップＳ５０４；
補正装置１の判定部１２は、鏡像化の連続発生回数が１回である場合、検査全体の鏡像化の累計発生回数を判定する。

【0121】

ステップＳ５０５；
補正装置１の判定部１２は、鏡像化の連続発生回数が２回である場合、検査全体の鏡像化の累計発生回数が１回である場合、補正部１１に対して、被験者Ｕの視線位置の取得を指示し、被験者Ｕの視線位置の歪の補正（ダミー補正）を指示する。このとき、補正部１１は、被験者Ｕの視線位置の歪を補正（ダミー補正）する。ダミー補正については、後述する。

【0122】

このとき、補正装置１の通知部１３は、例えば、「画面に出てくる点を見てもらいます頭を動かさず次々と出てくる点を見てください。点を見るときには、少しの間まばたきをとめて点が消えるまで見続けるようにしてください。では始めます。真ん中の点を見てください。」という教示情報を文字又は音声で通知する。

【0123】

ステップＳ５０６；
ステップＳ５０５の後、補正装置１の通知部１３は、鏡像化を解消させるため、被験者Ｕに対して頭部の位置の変更を文字又は音声で指示する。

【0124】

例えば、通知部１３は、「顔が動いてしまったかもしれません。一度リラックスしてもう一度手を机の上に置き、画面をのぞき込むようにアゴ置き台にアゴを乗せ、楽な姿勢を取ってください。画面との角度は右の図を参考にしてください。」という教示情報を文字又は音声で通知する。

【0125】

その後、ステップＳ５０１へ戻る。正確には、図２のステップＳ１０１へ戻る。そして、ステップＳ５０１でカメラを再起動し、ステップＳ５０２で鏡像化が発生しているか否かを再判定する。

【0126】

ステップＳ５０７；
補正装置１の判定部１２は、鏡像化の連続発生回数が３回である場合、検査全体の鏡像化の累計発生回数が２回である場合、ステップＳ５０５と同様に被験者Ｕの視線位置の歪を補正（ダミー補正）させる。

【0127】

ステップＳ５０８；
ステップＳ５０７の後、補正装置１の判定部１２は、タブレット端末２での鏡像化を解消することは困難と確定し、検査を異常終了する。

【0128】

なお、ステップＳ５０５又はステップＳ５０７で行うダミー補正とは、実際には、所望のデータを取得しない見かけだけの視線位置の計測、つまり、タブレット端末２の検出部２４に被験者Ｕの視線位置を検出させるのみの処理である。

【0129】

鏡像化判定はすぐに終了するので、被験者Ｕに対して眼球運動機能等の検査が急に終了した印象を与えてしまうが、ステップＳ５０５やステップＳ５０７でダミー補正を行うことで、検査に対する被験者Ｕの精神的負荷を軽減できる。但し、ダミー補正において、検出した被験者Ｕの視線位置を用いて、被験者Ｕの視線位置の歪補正を積極的に実施することも可能である。

【0130】

ステップＳ５０９；
補正装置１の判定部１２は、ステップＳ５０２においてｚ軸の目や頭の位置の値が‘０’以下の場合、鏡像化が発生していないと判定し、処理を正常終了する。

【0131】

なお、上述した鏡像化の連続発生回数及び累計発生回数は、例である。例えば、連続発生回数を５回にしてもよいし、累計発生回数を７回にしてもよい。また、鏡像化の有無の判定は、例えば０．５秒の時間内に行う。

【0132】

［効果］
本実施形態によれば、補正部１１が、カメラ２１で撮影されたユーザＵがモニタ画面２２内に順次表示された複数のターゲット点ＴＧをそれぞれ注視したときにタブレット端末２で検出されたユーザＵの各視線位置ＡＴを取得し、カメラ２１がユーザＵをモニタ画面２２の端の方角から撮影したことに基づくユーザＵの視線位置ＡＴの歪を補正するので、視線位置の検出精度を向上可能な技術を提供できる。

【0133】

本実施形態によれば、補正部１１は、所定基準に基づいて補正の成功と失敗を判定し、補正が失敗した視線位置がある場合、補正が成功した複数の視線位置の補正前の各視線位置ＡＴを用いて、失敗した視線位置に係る補正前の視線位置ＡＴの推定値を計算し、推定値を失敗した視線位置の新たな補正前の視線位置ＡＴとするので、視線位置の検出精度をより向上可能な技術を提供できる。

【0134】

本実施形態によれば、補正部１１が、ターゲット点ＴＧがモニタ画面２２に表示され５００ｍｓ経過後に検出されたユーザＵの視線位置ＡＴを用いて、ユーザＵの視線位置ＡＴの歪を補正するので、視線位置の検出精度をより向上可能な技術を提供できる。

【0135】

本実施形態によれば、補正部１１が、ユーザＵの視線位置が５００ｍｓの間継続してモニタ画面２２の閾値領域内に収まるか否かを判定し、閾値領域内に収まるユーザＵの視線位置ＡＴを用いて、ユーザＵの視線位置ＡＴの歪を補正するので、視線位置の検出精度をより向上可能な技術を提供できる。

【0136】

本実施形態によれば、補正部１１が、複数のターゲット点ＴＧと補正後の各視線位置ＡＴ’との間の距離が最小となるように補正前の視線位置ＡＴの歪を変換する変換式を生成し、当該変換式を用いてユーザＵの視線位置ＡＴの歪を補正するので、視線位置の検出精度をより向上可能な技術を提供できる。

【0137】

本実施形態によれば、補正部１１は、ユーザの視線位置の歪を５つ以上補正するので、視線位置の検出精度をより向上可能な技術を提供できる。

【0138】

本実施形態によれば、複数のターゲット点は、画面内の中央及び周縁に格子状に表示された５つ以上のターゲット点であり、中央の点が表示され、次に周縁の点が表示されるので、視線位置の検出精度をより向上可能な技術を提供できる。

【0139】

本実施形態によれば、判定部１２が、補正部１１がユーザＵの視線位置ＡＴの歪を補正する前に、又は、補正部１１でユーザＵの視線位置ＡＴの歪の補正が失敗した後に、タブレット端末２がユーザＵの視線位置ＡＴを正常に検出していたか否かを判定するので、視線位置の検出精度をより向上可能な技術を提供できる。

【0140】

本実施形態によれば、補正部１１が、タブレット端末２が検出したユーザＵの視線位置について鏡像化が発生している場合、タブレット端末２にユーザＵの視線位置を検出させるのみのダミー補正を行うので、検査に対する被験者Ｕの精神的負荷を軽減できる。

【0141】

本実施形態によれば、通知部１３が、ユーザＵの顔の傾きに関する教示情報、又は、ユーザＵの瞬きに関する教示情報を、ユーザＵへ通知するので、視線位置の検出精度をより向上可能な技術を提供できる。

【0142】

［その他］
本発明は、上記実施形態に限定されない。本発明は、本発明の要旨の範囲内で数々の変形が可能である。

【0143】

上記説明した本実施形態の補正装置１は、例えば、図１５に示すように、ＣＰＵ９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６と、を備えた汎用的なコンピュータシステムを用いて実現できる。メモリ９０２及びストレージ９０３は、記憶装置である。当該コンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、補正装置１の各機能が実現される。

【0144】

補正装置１は、１つのコンピュータで実装されてもよい。補正装置１は、複数のコンピュータで実装されてもよい。補正装置１は、コンピュータに実装される仮想マシンであってもよい。補正装置１用のプログラムは、ＨＤＤ、ＳＳＤ、ＵＳＢメモリ、ＣＤ、ＤＶＤ等のコンピュータ読取り可能な記録媒体に記憶できる。コンピュータ読取り可能な記録媒体とは、例えば、非一時的な記録媒体である。補正装置１用のプログラムは、通信ネットワークを介して配信することもできる。

【符号の説明】

【0145】

１ 補正装置
１１ 補正部
１２ 判定部
１３ 通知部
２ タブレット端末
２１ カメラ
２２ モニタ画面
２３ スピーカ
２４ 検出部
２５ 記憶部
９０１…ＣＰＵ
９０２…メモリ
９０３…ストレージ
９０４…通信装置
９０５…入力装置
９０６…出力装置

【要約】

【課題】視線位置の検出精度を改善可能な技術を提供する。
【解決手段】補正装置１の補正部１１は、タブレット端末２のカメラ２１で撮影されたユーザＵがモニタ画面２２内に順次表示された複数のターゲット点ＴＧをそれぞれ注視したときにタブレット端末２で検出されたユーザＵの各視線位置ＡＴを取得し、カメラ２１がユーザＵをモニタ画面２２の端の方角から撮影したことに基づくユーザＵの視線位置ＡＴの歪（視線位置のずれ）を補正する。補正部１１は、所定基準に基づいて補正の成功と失敗を判定し、補正が失敗した視線位置がある場合、補正が成功した複数の視線位置の補正前の各視線位置ＡＴを用いて、失敗した視線位置に係る補正前の視線位置ＡＴの推定値を計算し、その推定値を失敗した視線位置の新たな補正前の視線位置ＡＴとする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】