特開 2024-122801 プロセッサ、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024122801

(43)【公開日】2024-09-09

(54)【発明の名称】プロセッサ、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240902BHJP

   G09G 5/37 20060101ALI20240902BHJP

   G02B 27/02 20060101ALI20240902BHJP

   H04N 5/66 20060101ALI20240902BHJP

   G06T 19/00 20110101ALN20240902BHJP

【ＦＩ】

G09G5/00 510A

G09G5/37 200

G09G5/00 550C

G02B27/02 Z

H04N5/66 A

G06T19/00 600

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023030563

(22)【出願日】2023-02-28

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】藤原 慎也

【テーマコード（参考）】

2H199

5B050

5C058

5C182

【Ｆターム（参考）】

2H199CA03

2H199CA12

2H199CA25

2H199CA42

2H199CA53

2H199CA77

5B050CA07

5B050EA07

5B050EA13

5B050EA19

5B050FA05

5C058AA18

5C058AB04

5C058BA35

5C058BB25

5C182AA02

5C182AA03

5C182AA04

5C182AA06

5C182AA31

5C182AB08

5C182AB35

5C182AC02

5C182AC03

5C182BA01

5C182BA03

5C182BA04

5C182BA06

5C182BA47

5C182BA57

5C182BC22

5C182BC25

5C182CB04

5C182DA19

5C182DA69

(57)【要約】      （修正有）

【課題】表示画像を仮想像として現実空間と共に全体として違和感のない状態でユーザに視認させることができるプロセッサ、画像処理方法及び画像処理プログラムを提供する。
【解決手段】ＡＲ（Augmented Reality）グラス１０及びスマートフォンを備え、表示部（導光板２４）に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置であって、スマートフォンのプロセッサは、眼鏡型情報表示装置のユーザの視覚特性を表す視覚特性情報を取得し、ＯＬＥＤ２６が投影する投影画像の画像データを取得し、東映画像に対してユーザの視覚特性に基づく画像処理を表示画像に行い、画像処理後の表示画像を表示部に表示させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、
前記ユーザの視覚特性に基づく画像処理を前記表示画像に行い、画像処理後の表示画像を表示部に表示させる
プロセッサ。

【請求項2】

前記画像処理は、前記ユーザの視覚特性を模擬した画質に前記表示画像の画質を変換する処理である
請求項１に記載のプロセッサ。

【請求項3】

予め設定されている条件に応じて、
前記視覚特性を模擬する程度を変化させる
請求項２に記載のプロセッサ。

【請求項4】

前記条件を満たした場合は、前記条件を満たさない場合に較べて、前記視覚特性を模擬する程度を低減させる
請求項３に記載のプロセッサ。

【請求項5】

前記条件は、前記表示画像の属性及びユーザの属性の少なくとも一方に基づく条件である
請求項４に記載のプロセッサ。

【請求項6】

前記属性は、表示内容及び前記表示内容に応じて予め定められた評価値の内の少なくとも１つを含む
請求項５に記載のプロセッサ。

【請求項7】

前記表示内容は、文字及び図柄のうちの少なくとも１つを含む
請求項６に記載のプロセッサ。

【請求項8】

前記視覚特性は前記ユーザの視力であり、
前記画像処理は前記表示画像をボケさせる処理である
請求項１に記載のプロセッサ。

【請求項9】

前記現実空間における前記仮想像の挿入位置までの前記ユーザからの距離と、前記視力とに基づいて、前記表示画像のボケの程度を決定する
請求項８に記載のプロセッサ。

【請求項10】

前記ユーザの視力を検出し、検出した視力に応じた画像処理を行う
請求項９に記載のプロセッサ。

【請求項11】

表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、
前記ユーザの視覚特性に基づく画像処理を前記表示画像に行い、画像処理後の表示画像を表示部に表示させる
画像処理方法。

【請求項12】

表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、
前記ユーザの視覚特性に基づく画像処理を前記表示画像に行い、画像処理後の表示画像を表示部に表示させる
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プロセッサ、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、表示画像を仮想像として現実空間と共にユーザに視認させることが可能な、拡張現実（ＡＲ：Augmented Reality）機器等の眼鏡型表示装置が知られている。

【0003】

透過型の表示装置を用いるユーザの脳内で、現実空間を視認した現実像と、表示画像を視認した表示像とが合成されることで、ユーザは現実像に表示像が重なった状態を視認する。表示画像の画質を加工して、表示させる技術が知られている。例えば、特許文献１には、現実空間の画像に重畳表示するオブジェクト（表示画像）に対して、撮像情報に基づいて予め定められたノイズを付加する画像処理を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－１７４１１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、ユーザにかかわらず、表示画像に対して画像処理を行うため、現実空間と共に表示画像を仮想像として視認するユーザにとって、違和感が生じてしまう場合があった。

【0006】

本開示は、以上の事情を鑑みて成されたものであり、表示画像を仮想像として現実空間と共に全体として違和感のない状態でユーザに視認させることができるプロセッサ、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の第１の態様のプロセッサは、表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、ユーザの視覚特性に基づく画像処理を表示画像に行い、画像処理後の表示画像を表示部に表示させる。

【0008】

本開示の第２の態様のプロセッサは、第１の態様において、画像処理は、ユーザの視覚特性を模擬した画質に表示画像の画質を変換する処理である。

【0009】

本開示の第３の態様のプロセッサは、第２の態様のプロセッサにおいて、予め設定されている条件に応じて、視覚特性を模擬する程度を変化させる。

【0010】

本開示の第４の態様のプロセッサは、第３の態様のプロセッサにおいて、条件を満たした場合は、条件を満たさない場合に較べて、視覚特性を模擬する程度を低減させる。

【0011】

本開示の第５の態様のプロセッサは、第４の態様のプロセッサにおいて、条件は、表示画像の属性及びユーザの属性の少なくとも一方に基づく条件である。

【0012】

本開示の第６の態様のプロセッサは、第５の態様のプロセッサにおいて、属性は、表示内容及び表示内容に応じて予め定められた評価値の内の少なくとも１つを含む。

【0013】

本開示の第７の態様のプロセッサは、第６の態様のプロセッサにおいて、表示内容は、文字及び図柄のうちの少なくとも１つを含む。

【0014】

本開示の第８の態様のプロセッサは、第７の態様において、視覚特性はユーザの視力であり、画像処理は表示画像をボケさせる処理である。

【0015】

本開示の第９の態様のプロセッサは、第８の態様のプロセッサにおいて、現実空間における仮想像の挿入位置までのユーザからの距離と、視力とに基づいて、表示画像のボケの程度を決定する。

【0016】

本開示の第１０の態様のプロセッサは、第９の態様において、ユーザの視力を検出し、検出した視力に応じた画像処理を行う

【0017】

上記目的を達成するために、本開示の第１１の態様の画像処理方法は、表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、ユーザの視覚特性に基づく画像処理を表示画像に行い、画像処理後の表示画像を表示部に表示させる方法である。

【0018】

上記目的を達成するために、本開示の第１２の態様の画像処理プログラムは、表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、ユーザの視覚特性に基づく画像処理を表示画像に行い、画像処理後の表示画像を表示部に表示させるためのものである。

【発明の効果】

【0019】

本開示によれば、表示画像を仮想像として現実空間と共に全体として違和感のない状態でユーザに視認させることができる。

【図面の簡単な説明】

【0020】

【図1】第１実施形態の眼鏡型情報表示装置の構成の一例を示す構成図である。

【図2】実施形態のＡＲグラスの一例を示す斜視図である。

【図3】第１実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。

【図4】第１実施形態のプロセッサの構成の一例を示すブロック図である。

【図5】ＡＲグラスのユーザと、現実空間に存在する物体及び投影画像の仮想的な挿入位置との関係の一例を示す図である。

【図6】画像処理部が投影画像に対して行う画像処理について説明するための図である。

【図7】画像処理部が投影画像に対して行う画像処理について説明するための図である。

【図8】対応関係情報の一例を説明するための図である。

【図9】第１実施形態のプロセッサで実行される画像処理の一例を示すフローチャートである。

【図10】第２実施形態のプロセッサの構成の一例を示すブロック図である。

【図11】属性と評価値との対応関係を示す評価値情報の一例を説明するための図である。

【図12】評価値と低減量との対応関係を示す低減量情報の一例を説明するための図である。

【図13】第２実施形態のプロセッサで実行される画像処理の一例を示すフローチャートである。

【図14】その他の形態のプロセッサの構成の一例を示すブロック図である。

【発明を実施するための形態】

【0021】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0022】

［第１実施形態］
図１を参照して、本実施形態の眼鏡型情報表示装置１の構成を説明する。図１に示すように、本実施形態の眼鏡型情報表示装置１は、ＡＲ（Augmented Reality）グラス１０及びスマートフォン１２を備える。

【0023】

ＡＲグラス１０は、ＯＬＥＤ（Organic Light Emitting Diode）２６から投影された投影画像を現実像に重畳させた状態でユーザによる視認を可能にする装置である。図２には、本実施形態のＡＲグラス１０の一例の斜視図が示されている。図１及び図２に示すように、ＡＲグラス１０は、一対の左眼用透過部２０Ｌ及び右眼用透過部２０Ｒと、ＯＬＥＤ２６と、を備える。

【0024】

ＯＬＥＤ２６は、右眼用透過部２０Ｒを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部２０Ｒに情報を表す投影画像を投影する。

【0025】

右眼用透過部２０Ｒは、右眼用レンズ２２Ｒ及び導光板２４を含む。導光板２４の一端には、ＯＬＥＤ２６から投影された投影画像に応じた光が入射される。導光板２４の中を伝播した光は、出射部（図示省略）において向きを変えて、ユーザの眼の方向に出射される。導光板２４から出射された投影画像に応じた光は、右眼用レンズ２２Ｒを透過し、ユーザの右眼に導かれ、投影像として右眼で視認する。また、ユーザは、右眼用レンズ２２Ｒを通した現実空間を現実像として右目で視認する。本実施形態のＡＲグラス１０の導光板２４が本開示の表示部の一例であり、本実施形態の投影画像が本開示の表示画像の一例である。

【0026】

そのため、ＯＬＥＤ２６から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ２２Ｒを通した現実空間を表す現実像と、導光板２４に投影された投影画像に応じた投影像とが重畳された状態となる。また、ＯＬＥＤ２６から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ２２Ｒ及び導光板２４を通した現実空間を表す現実像となる。

【0027】

一方、左眼用透過部２０Ｌは、左眼用レンズ２２Ｌを含む。ユーザは、左眼用レンズ２２Ｌを通した現実空間を左眼で視認する。

【0028】

一方、スマートフォン１２は、プロセッサ４１を備える。本実施形態のＣＰＵ４０は、ＯＬＥＤ２６から導光板２４に投影画像を投影させる制御を、ＯＬＥＤ２６に対して行う。

【0029】

図３には、スマートフォン１２のハードウェア構成の一例を表したブロック図が示されている。図３に示すように、スマートフォン１２は、ＣＰＵ４０、メモリ４２、Ｉ／Ｆ（InterFace）部４３、記憶部４４、ディスプレイ４６、及び入力装置４８を備える。ＣＰＵ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。

【0030】

ＣＰＵ４０は、記憶部４４に記憶された画像処理プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、ＣＰＵ４０は、ＯＬＥＤ２６による投影像の表示の制御を行う。一例として本実施形態のプロセッサ４１は、ＣＰＵ４０と画像処理プログラム４５との組合せで構成される。メモリ４２は、ＣＰＵ４０が処理を実行するためのワークメモリである。

【0031】

ＣＰＵ４０において実行される画像処理プログラム４５は、記憶部４４に記憶される。また、記憶部４４には、ＯＬＥＤ２６から投影する投影画像の画像データ（図示省略）や、その他の各種情報等も記憶される。記憶部４４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。

【0032】

Ｉ／Ｆ部４３は、無線通信または有線通信により、ＯＬＥＤ２６との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤ（Light Emitting Diode）モニタ等が挙げられる。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。

【0033】

また、本実施形態のスマートフォン１２のプロセッサ４１の機能について説明する。図４には、本実施形態のプロセッサ４１の機能に係る構成の一例を表す機能ブロック図が示されている。図４に示すようにプロセッサ４１は、視覚特性情報取得部５０、投影画像取得部５２、画像処理部５４、及び表示制御部５６を備える。一例として本実施形態のプロセッサ４１は、ＣＰＵ４０が記憶部４４に記憶されている画像処理プログラム４５を実行することにより、ＣＰＵ４０が視覚特性情報取得部５０、投影画像取得部５２、画像処理部５４、及び表示制御部５６として機能する。

【0034】

視覚特性情報取得部５０は、視覚特性情報６０を取得する機能を有する。視覚特性情報６０は、眼鏡型情報表示装置１のユーザの視覚特性を表す情報である。本実施形態では具体的な一例として、視覚特性情報６０が表す視覚特性がユーザの視力である場合について説明する。より具体的には、視覚特性情報６０は、ＡＲグラス１０の導光板２４に投影された投影画像７４を視認する眼（本実施形態では、右眼）の視力を表す数値である。

【0035】

一例として本実施形態では、ユーザが入力装置４８により入力した右眼の視力を視覚特性情報６０として記憶部４４に記憶させておき、視覚特性情報取得部５０は、記憶部４４から視覚特性情報６０を取得する。視覚特性情報取得部５０は、取得した視覚特性情報６０を画像処理部５４に出力する。

【0036】

投影画像取得部５２は、ＯＬＥＤ２６が投影する投影画像７４の画像データを取得する機能を有する。投影画像７４とは、例えば後述の画像処理等を行わない通常の画質状態では、一般的なヒトにおいて、現実空間に存在する物体を視認した場合に視認される視認像よりも綺麗な視認像が得られる画像である。投影画像７４の具体例としては、コンピュータグラフィクス（Computer Graphics）が挙げられる。本実施形態では投影画像７４による投影像の現実空間における挿入位置が定められており、挿入位置が投影画像７４に対応付けられている。投影像の現実空間における挿入位置とは、例えば、ユーザ（ＡＲグラス１０）からの距離や、グローバル座標で表される位置等で表される現実空間における位置等が挙げられる。

【0037】

一例として、本実施形態では、投影画像７４の画像データが記憶部４４に記憶されているため、投影画像取得部５２は、記憶部４４から投影画像７４の画像データを取得する。なお、本形態によらず、投影画像７４の画像データをＩ／Ｆ部４３を介して、スマートフォン１２の外部の装置から取得する形態としてもよい。投影画像取得部５２は、投影画像７４の画像データを画像処理部５４に出力する。なお、以下では、投影画像７４の画像データについて、単に投影画像７４といい、例えば、投影画像７４を取得するという。

【0038】

画像処理部５４は、ユーザの視覚特性に基づく画像処理を投影画像７４に対して行う機能を有しており、ユーザの視覚特性を模擬した画質に投影画像７４の画質を変換する画像処理を行う。換言すると、画像処理部５４は、ユーザが裸眼で視た場合に視認される視認像の画質に投影画像７４の画質を変換する画像処理を行う。

【0039】

図４に示すように、本実施形態の画像処理部５４は、ボケ程度決定部５５を有している。ボケ程度決定部５５は、視覚特性情報取得部５０に基づいて、投影画像７４に対して行う画像処理の程度、具体的には、投影画像７４をボケさせるボケの程度を決定する。画像処理部５４は、ボケ程度決定部５５が決定したボケの程度に応じて、投影画像７４に対して画像処理を行う。

【0040】

図５～８を参照して、画像処理部５４が投影画像７４に対して行う画像処理について詳細に説明する。図５には、眼鏡型情報表示装置１（ＡＲグラス１０）のユーザＵと、現実空間７０に存在する物体７２Ａ、７２Ｂ、及び投影画像７４Ａ、７４Ｂの仮想的な挿入位置との関係の一例が示されている。現実空間７０に存在する物体７２Ａは、ユーザＵに比較的、近い位置に存在する物体であり、ここでは、「家」としている。現実空間７０に存在する物体７２Ｂは、ユーザＵに比較的、遠い位置に存在する物体であり、ここでは、ビル、山、バス停、樹木、及びビル等の複数の物体であり、これら複数の物体を「背景」と総称する。なお、実際には、「背景」に含まれる複数の物体の各々は、ユーザＵとの距離が異なる場合もあるが、説明の都合上、図５に示すように、同一の位置に一様に存在するものとしている。

【0041】

一方、投影画像７４Ａは、仮想的な挿入位置がユーザＵに比較的、近い位置に存在する投影画像であり、ここでは、「パンダ」の画像としている。投影画像７４Ｂは、仮想的な挿入位置がユーザＵに比較的、遠い位置に存在する投影画像であり、ここでは、「月」の画像としている。図５に示すように、投影画像７４Ａの仮想的な挿入位置とユーザＵとの距離Ｄ１は、投影画像７４Ｂの仮想的な挿入位置とユーザＵとの距離Ｄ２よりも短い。

【0042】

図６に示すように、眼鏡型情報表示装置１では、投影画像７４Ａ、７４Ｂを仮想像である投影像８４Ａ、８４Ｂとして現実空間７０と共にユーザＵに視認させることが可能とされている。換言すると、眼鏡型情報表示装置１のユーザＵは、ＡＲグラス１０を透して、現実空間７０に存在する物体７２Ａ、７２Ｂと共に、導光板２４に投影された投影画像７４Ａ、７４Ｂを視認する。このとき、現実空間７０に存在する物体７２Ａ、７２Ｂは、裸眼で視認するため、ユーザの視覚特性に依存した現実像８２Ａ、現実像８２Ｂとなる。以下では、ユーザが近視であり、視覚特性として視力が０．５程度の場合について説明する。図６に示すように、現実空間７０を視認した視認像８０Ａには、物体７２Ａを視認したことにより得られる現実像８２Ａと、物体７２Ｂとを視認したことにより得られる現実像８２Ｂとが含まれる。物体７２Ａは、ユーザＵから比較的、近い位置に存在するため、現実像８２Ａはボケがない、クリアな画像として視認される。一方、物体７２Ｂは、ユーザＵから比較的、遠い位置に存在するため、現実像８２Ｂは、ボケが生じた画像として視認される。このように、現実空間７０に存在する物体は、ユーザＵとの距離に応じた程度のボケが生じた現実像としてユーザＵに視認される。なお、本実施形態では、現実像８２Ａのようにボケが生じていない現実像についても、生じているボケの程度が「０」の現実像として扱う。

【0043】

一方、視認像８０Ｂには投影画像７４Ａを視認したことにより得られる投影像８４Ａと、投影画像７４Ｂを視認したことにより得られる投影像８４Ｂとが含まれる。投影像８４Ａ、８４Ｂは、上述したように、通常の画質状態では、一般的なヒトにおいて、現実空間に存在する物体を視認した場合に視認される視認像よりも綺麗な視認像が得られる画像である。そのため、図６に示すように、投影像８４Ａ、８４Ｂは、ユーザＵとの距離Ｄ１、Ｄ２に係わらず、すなわち、ユーザＵの視覚特性に係わらず、高画質な、ボケが生じていない画像として視認することが可能である。

【0044】

この場合、結果として、ユーザＵが視認する視認像８０は、図６に示すように、ユーザの視覚特性に応じてボケが生じた画質の現実像８２Ａ、８２Ｂと、ユーザの視覚特性に係わらない画質の投影像８４Ａ、８４Ｂとが視認されることになる。しかしながら、投影画像７４Ｂの仮想的な挿入位置はユーザＵから比較的、遠い位置であるため、投影画像７４Ｂの仮想的な挿入位置に、物体が実際に存在したとするならば、その物体を視認した場合に得られる視認像は、物体７２Ｂに応じた現実像８２Ｂのようにボケが生じた画像となるはずである。

【0045】

図６に示した例では、現実像８２Ｂにはボケが生じている一方、投影像８４Ｂにはボケが生じていないため、視認像８０の全体としては、違和感が生じた状態でユーザＵに視認されることになる。

【0046】

そこで、本実施形態の画像処理部５４は、ユーザＵの視覚特性を模擬した画室に投影画像７４Ａ、７４Ｂの画質を変化させ、ボケを生じさせる画像処理を行う。図７に示すように、画像処理部５４は、仮想的な挿入位置がユーザＵに比較的、近い位置である投影画像７４Ａについては、ボケの程度が「０」、もしくは、比較的、軽い程度のボケを生じさせた画像とする画像処理を行う。これにより、投影像８４Ａは、ボケが生じていない、もしくはボケの程度が比較的、軽い状態でユーザＵにより視認される。一方、画像処理部５４は、仮想的な挿入位置がユーザＵに比較的、遠い位置である投影画像７４Ｂについては、ボケの程度が比較的、重い程度のボケを生じさせた画像とする画質処理を行う。これにより、投影像８４Ｂは、ボケが生じた画像としてユーザＵにより視認される。

【0047】

この場合、結果として、ユーザＵが視認する視認像８０は、図７に示すように、ユーザの視覚特性に応じてボケが生じた画質の現実像８２Ａ、８２Ｂと、ユーザの視覚特性に応じてボケが生じた画質の投影像８４Ａ、８４Ｂとが視認されることになる。従って、視認像８０の全体としては、違和感がない状態でユーザＵに視認されることになる。

【0048】

画像処理部５４のボケ程度決定部５５は、ユーザの視覚特性に応じて投影画像７４に生じさせるボケの程度を決定する。一例として本実施形態のボケ程度決定部５５は、投影画像７４による投影像の仮想的な挿入位置とユーザとの距離と、ユーザの視力と、生じさせるボケの程度との対応関係を表す対応関係情報を参照して、投影画像７４に生じさせるボケの程度を決定する。図８には、ボケ程度決定部５５が参照する対応関係情報６４の一例が示されている。図８に示した例では、ボケの程度を表す数値が大きくなるほど、ボケの程度が重くなる、すなわち、よりボケが生じた画像となることを表している。対応関係情報６４は、スマートフォン１２の記憶部４４に記憶させておいてもよいし、投影画像７４に付加されており、投影画像取得部５２が投影画像７４と共に対応関係情報６４を取得する形態であってもよい。

【0049】

画像処理部５４は、ボケ程度決定部５５が決定したボケの程度に応じて投影画像７４の画質を変換し、画質を変化した投影画像７４を表示制御部５６に出力する。なお、画像処理部５４が、ボケ程度決定部５５が決定したボケの程度に応じて投影画像７４の画質を変換する具体的な方法は特に限定されず、公知の技術を用いることができる。この場合の公知の技術を用いた画像処理としては、予め定められたルールに基づいて被写界深度を変更する画像処理を行う方法、特開２０１９－１０２８２８号公報に記載されている画質を低下させる方法、及び学習済みのニューラルネットワークを用いたボケ画像処理を行う方法等が挙げられる。

【0050】

表示制御部５６は、投影画像７４を表示させる制御を行う機能を有する。具体的には、表示制御部５６は、画像処理部５４により画像処理が行われた投影画像７４の画像データをＯＬＥＤ２６に出力し、ＯＬＥＤ２６から投影画像７４を投影させることにより、投影像を表示させる制御を行う。

【0051】

次に、本実施形態のプロセッサ４１の作用を説明する。図９には、本実施形態のプロセッサ４１による画像処理の流れの一例を表したフローチャートが示されている。一例として本実施形態のスマートフォン１２では、ユーザが入力装置４８を用いて入力した投影の開始の指示を受けた場合、プロセッサ４１のＣＰＵ４０が、記憶部４４に記憶されている画像処理プログラム４５を実行することにより、図９に一例を示した画像処理を実行する。

【0052】

図９のステップＳ１００で視覚特性情報取得部５０は、上述したように、視覚特性情報６０を取得する。具体的には、視覚特性情報取得部５０は、視覚特性情報６０として、ユーザの視力を表す値を取得する。

【0053】

次のステップＳ１０２で投影画像取得部５２は、上述したように、投影画像７４を取得する。なお、投影画像７４に対応関係情報６４が付加されている場合は、投影画像取得部５２は、投影画像７４と共に対応関係情報６４も取得する。

【0054】

次のステップＳ１０４で画像処理部５４のボケ程度決定部５５は、上述したように、画質を変換するボケの程度を決定する。具体的には、ボケ程度決定部５５は、上記ステップＳ１００で取得した視覚特性情報６０（ユーザの視力）と、ステップＳ１０２で取得した投影画像７４に対応付けられている挿入位置（ユーザとの距離）と、に基づいて、対応関係情報６４を参照して生じさせるボケの程度を決定する。

【0055】

次のステップＳ１０６で画像処理部５４は、上述したように、上記ステップＳ１０４で決定したボケの程度に応じて投影画像７４の画質を変換する画像処理を行う。これにより、投影画像７４をユーザが視認することにより得られる投影像は、ユーザの視覚特性に応じた視認像となる。

【0056】

次のステップＳ１０８で表示制御部５６は、上述したように投影画像７４の画像データをＯＬＥＤ２６に出力し、投影を開始するようＯＬＥＤ２６に指示することにより、投影画像７４を表示させる。これにより、ユーザは、現実空間と共に、ユーザの視覚特性に応じた状態で投影画像７４を視認することができる。

【0057】

次のステップＳ１１０で表示制御部５６は、投影画像７４の表示を終了するか否かを判定する。例えば、表示制御部５６は、スマートフォン１２の入力装置４８によりユーザが入力した表示終了の指示を受け付けた場合、投影画像７４の表示を終了すると判定する。投影画像７４の表示を終了しない場合、ステップＳ１１０の判定が否定判定となり、ステップＳ１１２へ移行する。

【0058】

ステップＳ１１２で表示制御部５６は、表示中の投影画像７４を変更するか否か判定する。表示する投影画像７４を変更しない場合、ステップＳ１１２の処理が否定判定となり、ステップＳ１１０に戻り、現在、表示中の投影画像７４をそのまま表示させ続ける。一方、表示する投影画像７４を変更する場合、ステップＳ１１２の判定が肯定判定となり、ステップＳ１０２に戻り、ステップＳ１０２～Ｓ１１０の処理を繰り返す。

【0059】

一方、ステップＳ１１０において投影画像７４の表示を終了する場合、判定が否定判定となり、ステップＳ１１４へ移行する。

【0060】

ステップＳ１１４で表示制御部５６は、投影画像の表示を終了させる。具体的には、投影画像７４の画像データの出力を終了する。これにより、投影画像７４の表示が終了する。ステップＳ１１４の処理が終了すると、図９に示した画像処理が終了する。

【0061】

［第２実施形態］
第１実施形態では、画像処理部５４が、ユーザの視覚特性を模擬した画質に投影画像７４の画質を変換する形態について説明した。しかしながら、ユーザの視覚特性にかかわらない画質の投影画像７４を表示させたい場合がある。そこで、本実施形態では、予め設定されている条件に応じて、投影画像７４に対して行う画像処理について、視覚特性を模擬する程度を変化させる形態について説明する。

【0062】

一例として、本実施形態では、図１０に示すように、投影画像７４に投影画像７４の属性を示す属性情報７５が付与されており、その属性に基づく条件に応じて、視覚特性を模擬する程度を変化する形態について説明する。図１０には、投影画像７４の属性としては、「文字」及び「図柄」等の表示内容や表示内容の意味が挙げられる。この場合、上述した図６に示した投影画像７４Ｂの場合、その属性は「月」となる。また、投影画像７４の属性としては、投影画像７４が表す画像に応じた危険度や重要度等が挙げられる。この場合、例えば、投影画像７４の図柄が「階段」である場合はその属性として「危険度＝１０」等、ユーザに示すべき危険度や重要度を表す数値が付与される。

【0063】

本実施形態の投影画像取得部５２は、属性情報７５が付与されている投影画像７４を取得し、属性情報７５が付与された投影画像７４を画像処理部５４に出力する。なお、属性情報７５が示す属性の数は１つに限らず、複数であってもよい。

【0064】

画像処理部５４のボケ程度決定部５５は、属性情報７５が示す属性に応じてボケの程度を変化させる。本実施形態では、属性には、ボケの程度を変化させるための評価値が対応付けられており、ボケ程度決定部５５は、評価値に応じてボケの程度を低減させる。具体的には、ボケ程度決定部５５は、属性と、ボケの程度を低減させるための評価値との対応関係を表す評価値情報６６（図１１参照）を参照し、属性情報７５が示す属性に基づいて投影画像７４の評価値を導出する。例えば、属性情報７５が示す属性が「文字」及び「バス停」の場合、ボケ程度決定部５５は、図１１に示した評価値情報６６を参照して、評価値として１５（６＋９）を導出する。なお、本実施形態に限定されず、投影画像７４の属性として、評価値そのものを採用してもよい。

【0065】

また、ボケ程度決定部５５は、導出した評価値に基づいて、ボケの程度の低減量を決定する。本実施形態では、評価値に応じてボケの程度の低減量が予め定められており、ボケ程度決定部５５は、ボケの程度と低減量との対応関係を表す低減量情報６８（図１２参照）を参照し、導出した評価値に基づいて、ボケの低減量を決定する。例えば、上述したように、評価値として「１５」を導出した場合、ボケ程度決定部５５は、図１２に示した低減量情報６８を参照して、低減量として「１０」を導出する。なお、図１２に示した低減量情報６８において低減量が「０」とは、ユーザの視覚特性に基づいて決定したボケの程度を低減せずに、そのまま用いることを示している。

【0066】

ボケ程度決定部５５は、決定した低減量に基づいて、ユーザの視覚特性に基づいて決定した投影画像７４のボケの程度を低減する。なお、ユーザの視覚特性に基づいて決定した投影画像７４のボケの程度が、決定した低減量と等しい、もしくは低減量よりも小さい場合、ユーザの視覚特性にかかわらず投影画像７４をボケさせない。ずなわち、ボケ程度決定部５５は、投影画像７４に対してボケを生じさせる画像処理を行わない。

【0067】

なお、上述した評価値情報６６及び低減量情報６８は、例えば、記憶部４４に記憶されていてもよいし、外部の装置に記憶されており、ボケ程度決定部５５が外部の装置から参照する形態であってもよい。また、例えば、評価値情報６６及び低減量情報６８は、属性情報７５のように、投影画像７４に付加されていてもよい。

【0068】

図１３には、本実施形態のプロセッサ４１による画像処理の流れの一例を表したフローチャートが示されている。本実施形態の画像処理は、第１実施形態の画像処理（図９参照）のステップＳ１０２、Ｓ１０４に代わり、ステップＳ１０１、Ｓ１０３Ａ、Ｓ１０３Ｂ、Ｓ１０５の処理を含む点が異なっている。

【0069】

図１３のステップＳ１０１で投影画像取得部５２は、上述したように、投影画像７４及び属性情報７５を取得し、取得した投影画像７４及び属性情報７５を画像処理部５４に出力する。

【0070】

次のステップＳ１０３Ａでボケ程度決定部５５は、上述したように、図１１に示した評価値情報６６を参照して、属性情報７５が示す属性に対応する評価値を導出する。

【0071】

次のステップＳ１０３Ｂでボケ程度決定部５５は、上述したように、図１２に示した低減量情報６８を参照して、上記ステップＳ１０３Ａで導出した評価値に対応する低減量を決定する。

【0072】

次のステップＳ１０５でボケ程度決定部５５は、上述したように、上記ステップＳ１０３Ｂで導出した低減量に応じてボケの程度を決定する。具体的には、ボケ程度決定部５５は、上記ステップＳ１００で取得した視覚特性情報６０（ユーザの視力）と、ステップＳ１０１で取得した投影画像７４に対応付けられている挿入位置（ユーザとの距離）と、に基づいて、対応関係情報６４を参照して生じさせるボケの程度を導出する。さらに、ボケ程度決定部５５は、導出したボケの程度を、上記ステップＳ１０３Ｂで導出した低減量に応じて低減した値を、投影画像７４に施すボケの程度として決定する。

【0073】

このように、本実施形態のスマートフォン１２は、投影画像７４の属性に基づいて、ボケの程度を変化させるため、ユーザの視覚特性に係わらず、ユーザに画像（情報）を適切に認識させることができる。

【0074】

なお、本実施形態では、投影画像７４の属性に基づく条件により、ユーザの視覚特性に応じて決定したボケの程度を低減させていたが、ボケの程度を低減させるための条件は、投影画像７４の属性に基づく条件に限定されない。例えば、ユーザの属性に基づく条件であってもよい。ユーザの属性としては、例えば、「幼年」、「成年」、及び「高齢」等のユーザの年齢に基づく属性が挙げられる。例えば、投影画像７４の属性に基づく条件とユーザの属性に基づく条件とを組み合わせる場合、上述のようにして投影画像７４の属性に基づいて導出した評価値を、ユーザの属性に応じて変化させればよい。具体例としては、ユーザの属性が「高齢」の場合、評価値を予め定められた量、増加させ、ボケの程度の低減量を大きくし、投影画像７４にボケを発生させないようにすることが挙げられる。

【0075】

以上説明したように、上記各実施形態の眼鏡型情報表示装置１は、ＡＲグラス１０の導光板２４に投影した投影画像７４を投影像として現実空間と共にユーザに視認させることが可能である。眼鏡型情報表示装置１の画像処理部５４は、ユーザの視覚特性に基づく画像処理を投影画像７４に行い、表示制御部５６は、画像処理後の投影画像７４を導光板２４により表示させる

【0076】

これにより、上記各実施形態の眼鏡型情報表示装置１では、ユーザは、現実の空間に存在する物体を視認する視覚特性と同様に、投影画像７４を視認することができる。従って、上記各実施形態の眼鏡型情報表示装置１によれば、投影画像７４を投影像として現実空間と共に全体として違和感のない状態でユーザに視認させることができる。

【0077】

なお、上記各実施形態では、ユーザの視覚特性が、ユーザの視力である場合について説明したが、ユーザの視覚特性はユーザの視力に限定されず、ユーザの視力に代えて、もしくはユーザの視力に加えて他の視覚特性を用いてもよい。他の視覚特性としては、例えば、彩度や明度等の、一般的に視覚特性といわれるものが挙げられる。また、他の視覚特性としては、人種、年齢、及び性別等のユーザ自身の属性から推測される視覚特性であってもよい。また、視覚特性としてユーザの視力を用いる場合であっても、上記各実施形態のように、視力を表す数値を用いる形態に限定されず、例えば、近視・遠視・乱視等の種類や、その程度（強弱）等を用いる形態としてもよい。

【0078】

また、上記各実施形態では。ユーザの視力として、投影画像７４を視認する方の眼の視力を用いたが、本形態に限定されず、現実空間のみを視認する眼の視力を用いてもよいし、両方の眼の視力の平均値を用いてもよい。

【0079】

また、上記各実施形態では、視覚特性情報取得部５０が視力を表す視覚特性情報６０を取得する方法として、ユーザが入力した視力を視覚特性情報６０として取得する形態について説明したが、視覚特性情報取得部５０が視力（視覚特性情報６０）を取得する方法は、本実施形態に限定されない。例えば、図１４に示すように、視覚特性情報取得部５０が視力検出部５１を有し、視力検出部５１により検出したユーザの視力を視覚特性情報６０として取得する形態としてもよい。この場合の視力検出部５１としては、ランドル環やレッドグリーンテストのための投影画像７４をＡＲグラス１０のＯＬＥＤ２６から投影させて導光板２４により表示し、入力装置４８用いてユーザが入力した、これらの視認結果に基づいて、ユーザの視力を検出する等、公知の技術を採用することができる。

【0080】

また、上記各実施形態では、投影画像７４の仮想的な挿入位置とユーザとの距離が変化しない形態について説明したが、投影画像７４の仮想的な挿入位置とユーザとの距離が変化する形態であってもよい。この場合、眼鏡型情報表示装置１がＧＰＳ（Global Positioning System, Global Positioning Satellite）機能を備え、ＡＲグラス１０（ユーザ）の位置を認識し、ボケ程度決定部５５が、ＡＲグラス１０の位置に基づいて投影画像７４の仮想的な挿入位置とユーザとの距離を算出し、算出した距離の変化に応じて、ボケの程度を変化させればよい。

【0081】

また、上記各形態の眼鏡型情報表示装置１では、表示部として導光板２４を用いるＡＲグラス１０に説明したが、表示部として網膜ディスプレイを用いるＡＲグラス１０であってもよい。

【0082】

なお、眼鏡型情報表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型情報表示装置は、単眼型でも複眼型でもよく、上記形態では、一方の眼により投影像を視認する形態について説明したが、両眼で、投影像を視認する形態であってもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない（例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示のプロセッサは膝に装着された画像処理装置に備えられる）。このような画像処理装置も、本開示の技術に含まれる。

【0083】

また、上記形態のプロセッサ４１の機能の一部、または全部を、ＡＲグラス１０が備えていてもよいし、また、眼鏡型情報表示装置１外の装置が備えていてもよい。

【0084】

また、上記形態において、例えば、視覚特性情報取得部５０、投影画像取得部５２、画像処理部５４、及び表示制御部５６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0085】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0086】

複数の処理部を１つのプロセッサで構成する例としては、第１に、上記実施形態のようにクライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0087】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0088】

また、上記各形態では、画像処理プログラム４５が記憶部４４に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム４５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム４５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0089】

以上の上記実施形態に関し、更に以下の付記を開示する。

【0090】

（付記１）
表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、
前記ユーザの視覚特性に基づく画像処理を前記表示画像に行い、画像処理後の表示画像を表示部に表示させる
プロセッサ。

【0091】

（付記２）
前記画像処理は、前記ユーザの視覚特性を模擬した画質に前記表示画像の画質を変換する処理である
付記１に記載のプロセッサ。

【0092】

（付記３）
予め設定されている条件に応じて、
前記視覚特性を模擬する程度を変化させる
付記２に記載のプロセッサ。

【0093】

（付記４）
前記条件を満たした場合は、前記条件を満たさない場合に較べて、前記視覚特性を模擬する程度を低減させる
付記３に記載のプロセッサ。

【0094】

（付記５）
前記条件は、前記表示画像の属性及びユーザの属性の少なくとも一方に基づく条件である
付記４に記載のプロセッサ。

【0095】

（付記６）
前記属性は、表示内容及び前記表示内容に応じて予め定められた評価値の内の少なくとも１つを含む
付記５に記載のプロセッサ。

【0096】

（付記７）
前記表示内容は、文字及び図柄のうちの少なくとも１つを含む
付記６に記載のプロセッサ。

【0097】

（付記８）
前記視覚特性は前記ユーザの視力であり、
前記画像処理は前記表示画像をボケさせる処理である
付記１から付記７のいずれか１つに記載のプロセッサ。

【0098】

（付記９）
前記現実空間における前記仮想像の挿入位置までの前記ユーザからの距離と、前記視力とに基づいて、前記表示画像のボケの程度を決定する
付記８に記載のプロセッサ。

【0099】

（付記１０）
前記ユーザの視力を検出し、検出した視力に応じた画像処理を行う
付記８または付記９に記載のプロセッサ。

【0100】

（付記１１）
表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置に対する画像処理装置であって、
少なくとも１つのプロセッサを備え
前記プロセッサは、
前記ユーザの視覚特性に基づく画像処理を前記表示画像に行い、画像処理後の表示画像を表示部に表示させる
画像処理装置。

【0101】

（付記１２）
表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、
前記ユーザの視覚特性に基づく画像処理を前記表示画像に行い、画像処理後の表示画像を表示部に表示させる
画像処理方法。

【0102】

（付記１３）
表示部に表示する表示画像を仮想像として現実空間と共にユーザに視認させることが可能な眼鏡型表示装置が備えるプロセッサがであって、
前記ユーザの視覚特性に基づく画像処理を前記表示画像に行い、画像処理後の表示画像を表示部に表示させる
画像処理プログラム。

【符号の説明】

【0103】

１ 眼鏡型情報表示装置
１０ ＡＲグラス
１２ スマートフォン
２０Ｌ 左眼用透過部、２０Ｒ 右眼用透過部
２２Ｌ 左眼用レンズ、２２Ｒ 右眼用レンズ
２４ 導光板
２６ ＯＬＥＤ
４１ プロセッサ
４２ メモリ
４３ Ｉ／Ｆ部
４４ 記憶部
４５ 画像処理プログラム
４６ ディスプレイ
４８ 入力装置
４９ バス
５０ 視覚特性情報取得部
５１ 視力検出部
５２ 投影画像取得部
５４ 画像処理部
５５ ボケ程度決定部
５６ 表示制御部
６０ 視覚特性情報
６４ 対応関係情報
６６ 評価値情報
６８ 低減量情報
７０ 現実空間
７２Ａ、７２Ｂ 物体
７４、７４Ａ、７４Ｂ 投影画像
７５ 属性情報
８０、８０Ａ、８０Ｂ 視認像
８２Ａ、８２Ｂ 現実像
８４Ａ、８４Ｂ 投影像
Ｄ１、Ｄ２ 距離
Ｕ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】