(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040035
(43)【公開日】2024-03-25
(54)【発明の名称】プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240315BHJP
G06T 19/00 20110101ALI20240315BHJP
G06F 3/01 20060101ALI20240315BHJP
【FI】
G06F3/0481
G06T19/00 600
G06F3/01 510
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022144849
(22)【出願日】2022-09-12
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】▲高▼橋 宏輔
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050BA07
5B050EA07
5B050EA12
5B050EA13
5B050EA19
5B050FA02
5E555AA26
5E555BA04
5E555BA38
5E555BB38
5E555BC04
5E555BE10
5E555BE17
5E555CA10
5E555CA41
5E555CB21
5E555DA08
5E555DA09
5E555DB53
5E555DC09
5E555DC19
5E555DC63
5E555EA04
5E555EA19
5E555FA00
(57)【要約】
【課題】表示画像の表示位置を適切にした、ぶれ補正を行うことができるプロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させるプロセッサ。
【選択図】
図7
【特許請求の範囲】
【請求項1】
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、
前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、
前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させる
プロセッサ。
【請求項2】
前記補正領域に対する前記表示領域の位置を、前記相対位置の変化に応じて変化させる
請求項1に記載のプロセッサ。
【請求項3】
前記表示領域に複数の前記表示画像が表示されている場合、
前記複数の表示画像の表示位置を、それぞれ独立して補正する
請求項2に記載のプロセッサ。
【請求項4】
表示位置を第3位置に変更することにより第1表示画像が第2表示画像と重畳する場合、
前記第3位置に表示位置を変更後の前記第1表示画像に応じて前記第2表示画像の表示位置を変更する制御を行う
請求項3に記載のプロセッサ。
【請求項5】
表示位置を第3位置に変更することにより第1表示画像が第2表示画像と重畳する場合、
前記第3位置に表示位置を変更後の前記第1表示画像に応じて前記第2表示画像の表示位置を変更する第1制御、前記第1表示画像と前記第2表示画像とを重畳させて表示する第2制御、及び前記第1表示画像の表示位置を前記第2位置とする第3制御のいずれかの制御を選択的に行う
請求項3に記載のプロセッサ。
【請求項6】
前記表示画像の表示が可能な表示可能範囲が、前記相対位置の変化の程度に応じて予め定められており、
前記表示可能範囲内に前記表示画像の表示位置を変更する
請求項3に記載のプロセッサ。
【請求項7】
前記ユーザの運動状態に応じた前記表示可能範囲を選択し、
選択した前記表示可能範囲内に前記表示画像の表示位置を変更する
請求項6に記載のプロセッサ。
【請求項8】
前記相対位置の変化量が、予め定められた閾値を超えた場合、前記第1位置を前記第3位置に変更するのに代えて、前記表示画像を非表示とする制御を行う
請求項3に記載のプロセッサ。
【請求項9】
前記表示画像は複数の部分領域に分割されており、
前記第3位置は、前記複数の部分領域のうち、少なくとも、予め定められた部分領域が、前記補正領域内となる位置である
請求項1に記載のプロセッサ。
【請求項10】
前記補正領域内とする面積に応じた優先度が前記表示画像に付与されており、
前記第2位置が前記補正領域を超える場合、
前記優先度に基づいて前記第3位置に変更する
請求項1に記載のプロセッサ。
【請求項11】
前記第2位置が表示位置の補正が可能な補正領域を超える場合とは、
前記表示画像の少なくとも一部が前記補正領域外となる場合である
請求項1に記載のプロセッサ。
【請求項12】
前記第2位置が表示位置の補正が可能な補正領域を超える場合とは、
前記表示画像の面積の9割以上が前記補正領域外となる場合である
請求項1に記載のプロセッサ。
【請求項13】
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、
前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、
前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させる
プロセッサ、
を備えた画像処理装置。
【請求項14】
透過型の表示装置と、
請求項1から請求項12のいずれか1項に記載のプロセッサと、
を備えた眼鏡型情報表示装置。
【請求項15】
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、
前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、
前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させる
処理をプロセッサが実行する画像処理方法。
【請求項16】
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、
前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、
前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させる
処理をプロセッサに実効させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
従来、立体的な映像を表示する表示装置として、現実空間に、画像を重ね合わせた状態で表示する、拡張現実(AR:Augmented Reality)機器等の透過型の表示装置が知られている。
【0003】
ユーザが走っている場合等、透過型の表示装置とユーザの眼との相対位置が変化した場合、表示装置に表示がされている表示画像がぶれて視認されることがある。そのため、ぶれて視認されるのを抑制するために、透視型の表示装置とユーザの眼との相対位置の変化を打ち消すように表示画像の表示位置を変更する、いわゆるぶれ補正を行う技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、ぶれ補正のために、表示画像の位置を変更させた場合、表示画像が表示できなくなる等、表示画像が適切に表示されなくなる場合がある。
【0006】
本開示は、以上の事情を鑑みて成されたものであり、表示画像の表示位置を適切にした、ぶれ補正を行うことができるプロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本開示の第1の態様のプロセッサは、透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、表示装置の表示領域に表示された表示画像の第1位置と、相対位置の変化とに応じた、第2位置を導出し、第2位置が表示位置の補正が可能な補正領域を超えない場合、第1位置を、第2位置に変更し、第2位置が補正領域を超える場合、第1位置を、第3位置に変更し、補正領域内に表示画像を表示させる。
【0008】
本開示の第2の態様のプロセッサは、第1の態様のプロセッサにおいて、補正領域に対する表示領域の位置を、相対位置の変化に応じて変化させる。
【0009】
本開示の第3の態様のプロセッサは、第2の態様のプロセッサにおいて、表示領域に複数の表示画像が表示されている場合、複数の表示画像の表示位置を、それぞれ独立して補正する。
【0010】
本開示の第4の態様のプロセッサは、第3の態様のプロセッサにおいて、表示位置を第3位置に変更することにより第1表示画像が第2表示画像と重畳する場合、第3位置に表示位置を変更後の第1表示画像に応じて第2表示画像の表示位置を変更する制御を行う。
【0011】
本開示の第5の態様のプロセッサは、第3の態様のプロセッサにおいて、表示位置を第3位置に変更することにより第1表示画像が第2表示画像と重畳する場合、第3位置に表示位置を変更後の第1表示画像に応じて第2表示画像の表示位置を変更する第1制御、第1表示画像と第2表示画像とを重畳させて表示する第2制御、及び第1表示画像の表示位置を第2位置とする第3制御のいずれかの制御を選択的に行う。
【0012】
本開示の第6の態様のプロセッサは、第3の態様のプロセッサにおいて、表示画像の表示が可能な表示可能範囲が、相対位置の変化の程度に応じて予め定められており、表示可能範囲内に表示画像の表示位置を変更する。
【0013】
本開示の第7の態様のプロセッサは、第6の態様のプロセッサにおいて、ユーザの運動状態に応じた表示可能範囲を選択し、選択した表示可能範囲内に表示画像の表示位置を変更する。
【0014】
本開示の第8の態様のプロセッサは、第3の態様のプロセッサにおいて、相対位置の変化量が、予め定められた閾値を超えた場合、第1位置を第3位置に変更するのに代えて、表示画像を非表示とする制御を行う。
【0015】
本開示の第9の態様のプロセッサは、第1の態様のプロセッサにおいて、表示画像は複数の部分領域に分割されており、第3位置は、複数の部分領域のうち、少なくとも、予め定められた部分領域が、補正領域内となる位置である。
【0016】
本開示の第10の態様のプロセッサは、第1の態様のプロセッサにおいて、補正領域内とする面積に応じた優先度が表示画像に付与されており、第2位置が補正領域を超える場合、優先度に基づいて第3位置に変更する。
【0017】
本開示の第11の態様のプロセッサは、第1の態様のプロセッサにおいて、第2位置が表示位置の補正が可能な補正領域を超える場合とは、表示画像の少なくとも一部が補正領域外となる場合である。
【0018】
本開示の第12の態様のプロセッサは、第1の態様のプロセッサにおいて、第2位置が表示位置の補正が可能な補正領域を超える場合とは、表示画像の面積の9割以上が補正領域外となる場合である。
【0019】
上記目的を達成するために本開示の第13の態様の画像処理装置は、透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、表示装置の表示領域に表示された表示画像の第1位置と、相対位置の変化とに応じた、第2位置を導出し、第2位置が表示位置の補正が可能な補正領域を超えない場合、第1位置を、第2位置に変更し、第2位置が補正領域を超える場合、第1位置を、第3位置に変更し、補正領域内に表示画像を表示させるプロセッサ、を備える。
【0020】
上記目的を達成するために本開示の第14の眼鏡型情報表示装置は、透過型の表示装置と、本開示のプロセッサと、を備える。
【0021】
上記目的を達成するために、本開示の第15の態様の画像処理方法は、透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、表示装置の表示領域に表示された表示画像の第1位置と、相対位置の変化とに応じた、第2位置を導出し、第2位置が表示位置の補正が可能な補正領域を超えない場合、第1位置を、第2位置に変更し、第2位置が補正領域を超える場合、第1位置を、第3位置に変更し、補正領域内に表示画像を表示させる処理を行う。
【0022】
上記目的を達成するために、本開示の第16の態様の画像処理プログラムは、透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、表示装置の表示領域に表示された表示画像の第1位置と、相対位置の変化とに応じた、第2位置を導出し、第2位置が表示位置の補正が可能な補正領域を超えない場合、第1位置を、第2位置に変更し、第2位置が補正領域を超える場合、第1位置を、第3位置に変更し、補正領域内に表示画像を表示させる処理をプロセッサに実効させるためのものである。
【発明の効果】
【0023】
本開示によれば、表示画像の表示位置を適切にした、ぶれ補正を行うことができる。
【図面の簡単な説明】
【0024】
【
図1】実施形態の眼鏡型情報表示装置の構成の一例を示す構成図である。
【
図2】実施形態のARグラスの一例を示す斜視図である。
【
図3】実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。
【
図4】実施形態のプロセッサの構成の一例を示すブロック図である。
【
図5A】実施形態のプロセッサによるぶれ補正について説明するための図である。
【
図5B】実施形態のプロセッサによるぶれ補正について説明するための図である。
【
図6A】基本のぶれ補正による表示位置が補正領域を超える場合の一例について説明するための図である。
【
図6B】基本のぶれ補正による表示位置が補正領域を超える場合の他の例について説明するための図である。
【
図7】第1実施形態のプロセッサで実行される画像処理の一例を示すフローチャートである。
【
図8】表示画像の表示位置を補正領域内とする一例について説明するための図である。
【
図9A】歩行状態における表示可能範囲の例について説明するための図である。
【
図9B】走行状態における表示可能範囲の例について説明するための図である。
【
図9C】乗り物に乗車している状態における表示可能範囲の例について説明するための図である。
【
図10】第2実施形態のプロセッサで実行される画像処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0025】
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
【0026】
[第1実施形態]
図1を参照して、本実施形態の眼鏡型情報表示装置1の構成を説明する。
図1に示すように、本実施形態の眼鏡型情報表示装置1は、AR(Augmented Reality)グラス10及びスマートフォン12を備える。
【0027】
ARグラス10は、OLED(Organic Light Emitting Diode)26から投影された投影画像を現実像に重畳させた状態でユーザによる視認を可能にする装置である。
図2には、本実施形態のARグラス10の一例の斜視図が示されている。
図1及び
図2に示すように、ARグラス10は、一対の左眼用透過部20L及び右眼用透過部20Rと、OLED26と、振動検出センサ29と、を備える。本実施形態のARグラス10が、本開示の透過型の表示装置の一例である。
【0028】
OLED26は、右眼用透過部20Rを通じてユーザによって視認される現実像の視野内に重畳的に情報を挿入するために、右眼用透過部20Rに情報を表す画像(投影画像)を投影する。
【0029】
右眼用透過部20Rは、右眼用レンズ22R及び導光板24を含む。導光板24の一端には、OLED26から投影された投影画像に応じた光が入射される。導光板24の中を伝播した光は、出射部(図示省略)において向きを変えて、ユーザの眼の方向に出射される。導光板24から出射された投影画像に応じた光は、右眼用レンズ22Rを透過し、ユーザの右眼に導かれ、投影像として右眼で視認する。また、ユーザは、右眼用レンズ22Rを通した現実空間を現実像として右目で視認する。
【0030】
そのため、OLED26から投影画像が投影されている間は、ユーザの右眼によって視認される視認像は、右眼用レンズ22Rを通した現実空間を表す現実像と、導光板24に投影された投影画像に応じた投影像とが重畳された状態となる。また、OLED26から投影画像が投影されていない間は、ユーザによって視認される視認像は、右眼用レンズ22R及び導光板24を通した現実空間を表す現実像となる。
【0031】
一方、左眼用透過部20Lは、左眼用レンズ22Lを含む。ユーザは、左眼用レンズ22Lを通した現実空間を左眼で視認する。
【0032】
振動検出センサ29は、ARグラス10とユーザの眼との相対位置の変化をARグラス10の振動として検出するセンサである。すなわち、振動検出センサ29は、いわゆる「ぶれ」を検出するセンサである。具体的には、振動検出センサ29は、ARグラス10が、右眼用レンズ22Rの面内方向、換言すると、ユーザの左右上下方向のいずれに移動したかを表す移動方向と、その移動方向への移動量を検出するセンサである。振動検出センサ29が検出した移動方向及び移動量は、振動を表す情報としてスマートフォン12に出力される。
【0033】
一方、スマートフォン12は、プロセッサ41を備える。本実施形態のプロセッサ41は、OLED26から導光板24に投影画像を投影させる制御を、OLED26に対して行う。また、本実施形態のプロセッサ41は、ARグラス10とユーザの眼との相対位置の変化、すなわち、ぶれの補正の制御を行う。本実施形態のスマートフォン12が、本開示の画像処理装置の一例である。
【0034】
図3には、スマートフォン12のハードウェア構成の一例を表したブロック図が示されている。
図3に示すように、スマートフォン12は、CPU(Central Processing Unit)40、メモリ42、I/F(InterFace)部43、記憶部44、ディスプレイ46、及び入力装置48を備える。CPU40、メモリ42、I/F部43、記憶部44、ディスプレイ46、及び入力装置48は、システムバスやコントロールバス等のバス49を介して相互に各種情報の授受が可能に接続されている。
【0035】
CPU40は、記憶部44に記憶された画像処理プログラム45を含む各種のプログラムをメモリ42へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、CPU40は、ぶれ補正の制御、及びOLED26による投影像の表示の制御を行う。一例として本実施形態のプロセッサ41は、CPU40と画像処理プログラム45との組合せで構成される。メモリ42は、CPU40が処理を実行するためのワークメモリである。
【0036】
CPU40において実行される画像処理プログラム45は、記憶部44に記憶される。また、記憶部44には、OLED26から投影する投影画像の画像データ(図示省略)や、その他の各種情報等も記憶される。記憶部44の具体例としては、HDD(Hard Disk Drive)やSSD(Solid State Drive)等が挙げられる。
【0037】
I/F部43は、無線通信または有線通信により、OLED26との間で各種情報の通信を行う。ディスプレイ46及び入力装置48はユーザインタフェースとして機能する。ディスプレイ46は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ46は特に限定されるものではなく、液晶モニタ及びLED(Light Emitting Diode)モニタ等が挙げられる。また、入力装置48は、投影画像の投影に関する各種の指示を入力するためにユーザによって操作される。入力装置48は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン12では、ディスプレイ46と入力装置48とを一体化したタッチパネルディスプレイを採用している。
【0038】
図4には、本実施形態のプロセッサ41の機能に係る構成の一例を表す機能ブロック図が示されている。
図4に示すようにプロセッサ41は、取得部50、ぶれ補正部52、及び表示制御部54を備える。一例として本実施形態のスマートフォン12は、CPU40が記憶部44に記憶されている画像処理プログラム45を実行することにより、CPU40が取得部50、ぶれ補正部52、及び表示制御部54として機能する。
【0039】
取得部50は、ARグラス10の振動検出センサ29から振動を表す情報を取得する。取得部50は、取得した振動を表す情報を補正部52に出力する。
【0040】
本実施形態のぶれ補正部52は、振動を表す情報に基づいて、ぶれを打ち消すように、表示画像の表示位置を補正する機能を有する。
図4に示すように、ぶれ補正部52は、表示領域位置変更部53A及び表示画像表示位置変更部53Bを含む。
図5A及び
図5Bを参照して、ぶれ補正部52による、ぶれ補正及び表示画像の表示位置の変更について説明する。
【0041】
図5Aに示すようにユーザの眼UとARグラス10とが相対している状態を、ぶれが生じていない初期状態とする。ARグラス10では、OLED26から投影画像を投影することにより表示された表示画像80を表示する表示領域70が設けられている。
図5Aでは、表示画像80の一例として、表示画像80A~80Dを示している。なお、本実施形態では、表示画像80A~80Dについて個々を区別せずに総称する場合、表示画像80という。
【0042】
また、ARグラス10では、ぶれが生じた場合に表示画像80の表示位置を補正するための補正領域72が設けられている。補正領域72の位置は、右眼用レンズ22Rに対して固定されている。一例として本実施形態では、ARグラス10において表示画像80の表示が可能な最大の領域を補正領域72としている。
図5Aに示すように、補正領域72の面積は、表示領域70の面積よりも大きい。一例として本実施形態のARグラス10では、補正領域72の内部に表示領域70が設けられており、初期状態では、表示領域70及び補正領域72の中心位置は同様としている。
【0043】
図5Bは、
図5Aに示した状態から、相対位置の変化として、ユーザの眼Uの下方向への移動、及びARグラス10の上方向の移動の少なくとも一方が生じた場合を示している。この場合、表示領域位置変更部53Aは、相対位置の変化を打ち消すように、右眼用レンズ22Rに対する表示領域70の位置を下方向に変化させるぶれ補正を行う。
図5Bに示すように、表示領域位置変更部53Aが表示領域70の位置を変化させることにより、ユーザの眼Uと、表示領域70との相対位置は、初期状態から変化しない。表示領域70の位置の変化に応じて表示画像80の表示位置も変更されるため、ユーザの眼Uと、表示画像80の表示位置との相対位置も、初期状態から変化しない。従って、ユーザは、表示画像80が動いていないように視認することができる。
【0044】
しかしながら、
図5Bに示すように、ぶれ量が大きい場合、表示領域位置変更部53Aにより位置が変化された表示領域70が、補正領域72を超えて外部にはみ出す場合がある。補正領域72の外部となった表示領域70内を表示位置とする表示画像80は、実際には、右眼用レンズ22Rに表示されなくなり、ユーザの眼Uにより視認されなくなる。
図5Bに示した例では、点線で示した表示画像80Aの表示位置が補正領域72の外部となる。そのため表示画像80Aは、実際には、右眼用レンズ22Rに表示されなくなり、ユーザの眼Uにより視認されなくなる。
【0045】
そこで、本実施形態の表示画像表示位置変更部53Bは、表示位置が補正領域72の外部となった表示画像80について、表示位置を補正領域72内に変更する。
図5Bに示した例では、点線で示した表示画像80Aの表示位置を矢印Z方向に移動させて、表示画像80Aの全体が補正領域72内となるように、表示位置を補正領域72内に変更する。
図5Bに示した例では、補正領域72内に表示位置を変更後の表示画像80Aを実線で示している。このように、表示画像80Aの表示位置を補正領域72内に変更することにより、ユーザは、表示画像80Aを視認できるようになる。
【0046】
このように、表示領域位置変更部53Aは、ARグラス10(右眼用レンズ22R)とユーザの眼Uとの相対位置の変化に基づいて、右眼用レンズ22Rに対する表示領域70の位置を変化させる、基本のぶれ補正を行う。具体的には、本実施形態の表示領域位置変更部53Aは、初期状態における表示領域70に表示された表示画像80の表示位置(以下、初期表示位置という)と、相対位置の変化とに応じて、表示画像80の表示位置(以下、基本補正表示位置という)を導出する。表示画像表示位置変更部53Bは、表示領域位置変更部53Aが導出した表示画像80の表示位置が補正領域72を超える場合、その表示画像80について、表示位置を補正領域72内の位置に変更する。本実施形態の初期表示位置が、本開示の第1位置の一例である。また、本実施形態の、基本のぶれ補正を行った場合の表示画像80の基本補正表示位置が、本開示の第2位置の一例である。さらに、本実施形態の表示画像表示位置変更部53Bが導出する表示画像80の表示位置が、本開示の第3位置の一例である。
【0047】
なお、表示画像80の表示位置が補正領域72を超える場合の具体的な状態については、特に限定されず、予め定めておけばよい。例えば、
図6Aに示すように、表示画像80の少なくとも一部が補正領域72外となる場合、換言すると、少しでも表示画像80が補正領域72外に至る場合としてもよい。また例えば、
図6Bに示すように、表示画像80の面積の9割以上が補正領域72外となる場合としてもよい。
【0048】
ぶれ補正部52は、表示領域位置変更部53A及び表示画像表示位置変更部53Bにより導出された表示画像80A~80Dの表示位置を表示制御部54に出力する。
【0049】
表示制御部54は、補正部52から入力された表示位置に、表示画像80A~80Dを表示させる機能を有する。具体的には、表示制御部54は、OLED26が投影する表示画像80A~80D各々の画像データを取得する。一例として本実施形態では、表示画像80A~80D各々の画像データが記憶部44に記憶されているため、表示制御部56は、記憶部44から表示画像80A~80D各々の画像データを取得する。なお、本形態によらず、表示画像80A~80D各々の画像データをI/F部43を介して、スマートフォン12の外部の装置から取得する形態としてもよい。なお、以下では、表示画像80A~80Dの画像データについて、単に表示画像といい、例えば、表示画像80Aを取得するという。
【0050】
次に、本実施形態のプロセッサ41の作用を説明する。
図7には、本実施形態のスマートフォン12のプロセッサ41による画像処理の流れの一例を表したフローチャートが示されている。一例として本実施形態のプロセッサ41では、OLED26による投影画像の投影が開始され、表示画像80の表示が開始された場合に、
図7に一例を示した画像処理を実行する。
【0051】
図7のステップS100で取得部50は、上述したように、振動を表す情報の取得を開始する。具体的には、振動検出センサ29から出力される振動を表す情報の取得を開始する。
【0052】
次のステップS102で表示領域位置変更部53Aは、取得部50が取得した振動を表す情報に基づいて、ARグラス10の移動量が、ぶれ閾値以上であるか否かを判定する。一例として本実施形態では、移動量が極めて小さい場合、ぶれ補正、すなわち表示領域70の位置を変化させず、表示画像80の位置も変更しない。そこで、本実施形態では、移動量がぶれ閾値以上の場合、移動量が大きいとして、ぶれ補正を行う。なお、ぶれ補正を行うか否かの基準となる、ぶれ閾値の定め方は特に限定されず、例えば、実験的に得られ値を用いてもよいし、個々のユーザにより調整可能としてもよい。
【0053】
移動量がぶれ閾値未満の場合、ステップS102の判定が否定判定となる。一方、移動量がぶれ閾値以上の場合、ステップS102の判定が肯定判定となり、ステップS104へ移行する。
【0054】
ステップS104で表示領域位置変更部53Aは、上述したように、ARグラス10とユーザの眼Uとの相対位置の変化と、初期表示位置とから、基本のぶれ補正を行う場合の表示画像80の基本補正表示位置を導出する。具体的には、表示領域位置変更部53Aは、上記ステップS100で取得した振動を表す情報に含まれるARグラス10の移動方向及び移動量に応じて、表示画像80の表示位置を導出する。例えば、移動量が5mmであり、移動方向が下方向である場合、表示画像80の表示位置として、初期表示位置から上方向に5mm移動させた表示位置を基本補正表示位置として導出する。なお、表示領域70に複数の表示画像80を表示させる場合、複数の表示画像80のそれぞれについて、基本補正表示位置を補正する。
【0055】
次のステップS106で表示画像表示位置変更部53Bは、上記ステップS104で導出した、基本補正表示位置が、補正領域72内であるか否かを判定する。基本補正表示位置が補正領域72内の場合、ステップS106の判定が肯定判定となり、ステップS112へ移行する。一方、基本補正表示位置が、補正領域72外である場合、ステップS106の判定が否定判定となり、ステップS108へ移行する。
【0056】
ステップS108で表示画像表示位置変更部53Bは、上述したように、補正領域72外であった表示位置を、補正領域72内の表示位置に変更する。なお、表示画像表示位置変更部53Bが、補正領域72外の表示位置から、補正領域72内の表示位置に変更するための、表示位置の変更量、及び変更方向については特に限定されない。例えば、変更量が最も小さくなるように、表示画像表示位置変更部53Bが表示画像80の表示位置を補正領域72内に変更させる形態としてもよい。
【0057】
なお、表示画像表示位置変更部53Bは、補正領域72外であった表示位置を、補正領域72内の表示位置に変更することにより、表示画像80がどの程度、補正領域72内となるかについては、限定されない。例えば、上述した
図5Bの表示画像80Aのように、表示画像80全体が、補正領域72内となるように表示位置を変更してもよい。また例えば、
図8に示すように、表示画像80について、部分領域81
1~81
4が定められており、予め定められた部分領域81(
図8では部分領域81
1)について少なくとも補正領域72内となるように表示位置を変更してもよい。なお、どの部分領域81について、少なくとも補正領域72内とするかについては、表示画像80の内容、及び表示画像80の表示位置等により定めてもよく、その定め方は特に限定されない。
【0058】
また、表示画像表示位置変更部53Bは、例えば、表示画像80について、補正領域72内とする面積に応じた優先度を付与しておき、表示画像80に付与されている優先度に基づいて、表示画像80の表示位置を補正領域72内の表示位置としてもよい。例えば、表示画像表示位置変更部53Bは、付与されている優先度が最も高い場合、上述した
図5Bに示したように、表示画像80の面積全体が、補正領域72内となるように表示位置とし、優先度が低くなるほど、表示画像80の面積の一部が補正領域72害となるのを許容する表示位置としてもよい。
【0059】
なお、表示領域70に複数の表示画像80を表示させる場合、上記ステップS106及びステップS108の判定は、各表示画像80について独立して行われる。すなわち、表示画像表示位置変更部53Bは、複数の表示画像80について、その表示位置をそれぞれ独立して補正する。
【0060】
次のステップS110で表示制御部54は、表示画像80を表示させる制御を行う。具体的には、上記ステップS104で導出した表示位置が、補正領域72内である表示画像80については、上記ステップS104で導出した表示位置に表示画像80を表示させる。また、表示制御部54は、上記ステップS108で補正領域72内に表示位置を変更した表示画像80については、変更後の表示位置に表示画像80を表示させる。
【0061】
次のステップS112で表示領域位置変更部53Aは、上記ステップS102と同様に、取得部50が取得した振動を表す情報に基づいて、ARグラス10の移動量が、ぶれ閾値以上であるか否かを判定する。すなわち、振動が継続しているか否かを判定する。移動量がぶれ閾値以上である場合、すなわち、振動が継続している場合、ステップS112の判定が肯定判定となり、ステップS116へ移行する。
【0062】
一方、移動量がぶれ閾値以上である場合、すなわち、振動が停止した場合、ステップS112の判定が否定判定となり、ステップS114へ移行する。ステップS114でぶれ補正部52は、表示中の表示画像80の表示位置を、初期表示位置に変更する。
【0063】
次のステップS116で取得部50は、
図7に示した画像処理、すなわち、ぶれ補正を終了するか否かを判定する。一例として本実施形態では、表示画像80の表示を行っている間は、ステップS116の判定が否定判定となり、ステップS102に戻り、ステップS102~S114の処理を繰り返す。一方、表示画像80の表示を終了する場合、ステップS116の判定が肯定判定となり、ステップS118へ移行する。
【0064】
ステップS118で取得部50は、上記ステップS100で開始した振動を表す情報の取得を終了する。ステップS118の処理が終了すると、
図7に示した画像処理が終了する。
【0065】
このように、本実施形態のプロセッサ41によれば、ARグラス10とユーザの眼Uとの相対位置の変化に応じて行うぶれ補正において、表示画像80の表示位置を適切にすることができる。
【0066】
[第2実施形態]
本実施形態では、表示画像80の初期表示位置を、ARグラス10とユーザの眼Uとの相対位置の変化に応じて予め定められた表示可能範囲内の位置に変更する形態について説明する。表示可能範囲とは、その範囲内の表示画像80については、ARグラス10とユーザの眼Uとの相対位置の変化に応じた基本補正表示位置が、補正領域72を超えないと予測される領域である。
【0067】
例えば、ユーザの運動状態に応じて、ARグラス10とユーザの眼Uとの相対位置の変化量が異なる。そのため、本実施形態では、ユーザの運動に応じた表示可能範囲を選択し、選択した評価可能範囲内に、表示画像80の初期表示位置を設ける形態について説明する。
【0068】
例えば、ユーザが歩行している場合、ユーザの上下方向にARグラス10とユーザの眼Uとの相対位置が変化しやすい。そのため、
図9Aに示すように、ユーザが歩行している場合は、表示領域70よりも上下が狭い範囲を、表示可能範囲71として表示領域70内に設ける。
【0069】
また例えば、ユーザが走行している場合、ユーザの上下方向にARグラス10とユーザの眼Uとの相対位置が変化しやすく、その変化量は、ユーザが歩行している場合よりも大きい。そのため、
図9Bに示すように、ユーザが走行している場合は、ユーザが走行している場合よりも、上下がさらに狭い範囲を、表示可能範囲71として表示領域70内に設ける。
【0070】
また例えば、ユーザが、自動車や電車等の乗り物に乗車している場合、ユーザの上下及び左右方向にARグラス10とユーザの眼Uとの相対位置が変化する可能性がある。そのため、
図9Cに示すように、ユーザが乗り物に乗車している場合は、表示領域70よりも上下及び左右が狭い範囲を、表示可能範囲71として表示領域70内に設ける。
【0071】
なお、ユーザが立ち止まっていたり、座っていたり等、停止している場合、ARグラス10とユーザの眼Uとの相対位置の変化が生じず、表示画像80の表示位置は初期表示位置のままでよいため、表示可能範囲71については特に設けていない。
【0072】
第1実施形態と異なり、本実施形態では、ぶれ補正部52の表示領域位置変更部53Aが、取得部50が取得した振動を表す情報に基づいて、ユーザの運動状態を予測し、予測結果に応じた表示可能範囲71内に、表示画像80の初期表示位置を変更する。
【0073】
図10には、本実施形態のスマートフォン12のプロセッサ41による画像処理の流れの一例を表したフローチャートが示されている。
【0074】
図10のステップS200で取得部50は、上述したように、振動を表す情報の取得を開始する。具体的には、振動検出センサ29から出力される振動を表す情報の取得を開始する。
【0075】
次のステップS202で表示領域位置変更部53Aは、上述しように、ユーザの運動状態を予測する。なお、表示領域位置変更部53Aがユーザの運動状態を予測する方法は特に限定されない。例えば、振動を表す情報と、ユーザの運動状態との対応関係を学習した機械学習モデルを用い、取得部50が取得した振動を表す情報に応じたユーザの運動状態を予測する形態としてもよい。また、振動を表す情報に加えて、または振動を表す情報に加えてその他の情報を用いてユーザの運動状態の予測を行ってもよい。例えば、ユーザの移動速度を検出し、検出結果に基づいて、ユーザの運動状態が、停止状態、歩行状態、走行状態、及び乗り物に乗車している状態のいずれであるか予測する形態としてもよい。
【0076】
次のステップS204では、予測結果が歩行状態であるか否か判定する、歩行状態である場合、ステップS204の判定が肯定判定となり、ステップS206へ移行する。ステップS206で表示領域位置変更部53Aは、表示可能範囲71として、最大の表示可能範囲71、具体的には
図9Aに示した表示可能範囲71を選択する。一方、歩行常状態ではない場合、ステップS204が否定判定となり、ステップS208へ移行する。
【0077】
ステップS208では、予測結果が走行状態であるか否か判定する。走行状態である場合、ステップS208の判定が肯定判定となり、ステップS210へ移行する。ステップS210で表示領域位置変更部53Aは、表示可能範囲71として、中間の表示可能範囲71、具体的には
図9Bに示した表示可能範囲71を選択する。一方、走行常状態ではない場合、ステップS208が否定判定となり、ステップS212へ移行する。
【0078】
ステップS212では、予測結果が乗り物に乗車中の状態であるか否か判定する。乗り物に乗車中の状態である場合、ステップS212の判定が肯定判定となり、ステップS214へ移行する。ステップS214で表示領域位置変更部53Aは、表示可能範囲71として、最小の表示可能範囲71、具体的には
図9Cに示した表示可能範囲71を選択する。一方、乗り物に乗車中の状態ではない場合、すなわち、停止状態である場合、ステップS212が否定判定となり、ステップS2102に戻る。
【0079】
ステップS216で表示領域位置変更部53Aは、表示画像80の表示位置を表示可能範囲71に変更する。具体的には、上記ステップS206、S210、S214のいずれかで選択した表示可能範囲71内に、表示画像80の表示位置を変更し、変更した表示位置を、初期表示位置とする。
【0080】
次のステップS218で表示制御部54は、上記ステップS216で変更後の初期表示位置に、表示画像80を表示させる。
【0081】
次のステップS220で表示領域位置変更部53Aは、第1実施形態の画像処理(
図7参照)のステップS112と同様に、取得部50が取得した振動を表す情報に基づいて、ARグラス10の移動量が、ぶれ閾値以上であるか否かを判定する。すなわち、振動が継続しているか否かを判定する。移動量がぶれ閾値以上である場合、すなわち、振動が継続している場合、ステップS220の判定が肯定判定となり、ステップS222へ移行する。
【0082】
ステップS222~S228の処理は、第1実施形態の画像処理(
図7参照)のステップS104~S110の処理と同様であるため、説明を省略する。本実施形態では、ステップS228の終了後、ステップS220に戻る。
【0083】
一方、移動量がぶれ閾値以上である場合、すなわち、振動が停止した場合、ステップS220の判定が否定判定となり、ステップS230へ移行する。ステップS230でぶれ補正部52は、表示中の表示画像80の表示位置を、初期表示位置に変更する。なお、ここでの初期表示位置とは、上記ステップS216で変更後の初期表示位置である。
【0084】
次のステップS232で取得部50は、
図10に示した画像処理、すなわち、ぶれ補正を終了するか否かを判定する。上述したように、表示画像80の表示を行っている間は、ステップS232の判定が否定判定となり、ステップS220に戻り、ステップS220~S230の処理を繰り返す。一方、表示画像80の表示を終了する場合、ステップS232の判定が肯定判定となり、ステップS234へ移行する。
【0085】
ステップS234で取得部50は、上記ステップS200で開始した振動を表す情報の取得を終了する。ステップS118の処理が終了すると、
図10に示した画像処理が終了する。
【0086】
このように、本実施形態のプロセッサ41によれば、ARグラス10とユーザの眼Uとの相対変化に応じて、初期表示位置を表示可能範囲71内とするため、基本補正表示位置が、補正領域72を超えてしまうのを抑制することができる。従って、表示画像80の表示位置の補正量を少なくすることができる。
【0087】
なお、上記各形態において、表示画像表示位置変更部53Bが表示画像80の表示位置を補正領域72内に変更することにより表示画像80が、他の表示画像80と重畳する場合、補正領域72内に変更した表示画像80に応じて、他の表示画像80の表示位置を変更してもよい。
【0088】
また、上記のように他の表示画像80の表示位置を変更する制御の他、表示画像80同士を重畳させて表示する形態とする制御を行ってもよい。また、補正領域72内に表示位置を変更せず基本補正表示位置のままとする制御を行ってもよい。また、これら3つの制御について、ユーザの指示等や、予め定められた設定等に基づいて、選択的に表示画像表示位置変更部53Bが実行する形態としてもよい。
【0089】
なお、眼鏡型情報表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型情報表示装置は、単眼型でも複眼型でもよく、上記形態では、一方の眼により投影像を視認する形態について説明したが、両眼で、投影像を視認する形態であってもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない(例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示の制御装置は膝に装着される)。このような制御装置も、本開示の技術に含まれる。
【0090】
また、上記形態のプロセッサ41の機能の一部、または全部を、ARグラス10が備えていてもよいし、また、眼鏡型情報表示装置1外の装置が備えていてもよい。
【0091】
また、上記形態において、例えば、取得部50、ぶれ補正部52(表示領域位置変更部53A及び表示画像表示位置変更部53B)、及び表示制御部54といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0092】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0093】
複数の処理部を1つのプロセッサで構成する例としては、第1に、上記実施形態のようにクライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0094】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
【0095】
また、上記各形態では、画像処理プログラム45が記憶部44に予め記憶(インストール)されている態様を説明したが、これに限定されない。画像処理プログラム45は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム45は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0096】
以上の上記実施形態に関し、更に以下の付記を開示する。
【0097】
(付記1)
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、
前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、
前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させる
プロセッサ。
【0098】
(付記2)
前記補正領域に対する前記表示領域の位置を、前記相対位置の変化に応じて変化させる
付記1に記載のプロセッサ。
【0099】
(付記3)
前記表示領域に複数の前記表示画像が表示されている場合、
前記複数の表示画像の表示位置を、それぞれ独立して補正する
付記1または付記2に記載のプロセッサ。
【0100】
(付記4)
表示位置を第3位置に変更することにより第1表示画像が第2表示画像と重畳する場合、
前記第3位置に表示位置を変更後の前記第1表示画像に応じて前記第2表示画像の表示位置を変更する制御を行う
付記1から付記3のいずれか1つに記載のプロセッサ。
【0101】
(付記5)
表示位置を第3位置に変更することにより第1表示画像が第2表示画像と重畳する場合、
前記第3位置に表示位置を変更後の前記第1表示画像に応じて前記第2表示画像の表示位置を変更する第1制御、前記第1表示画像と前記第2表示画像とを重畳させて表示する第2制御、及び前記第1表示画像の表示位置を前記第2位置とする第3制御のいずれかの制御を選択的に行う
付記1から付記3のいずれか1つに記載のプロセッサ。
【0102】
(付記6)
前記表示画像の表示が可能な表示可能範囲が、前記相対位置の変化の程度に応じて予め定められており、
前記表示可能範囲内に前記表示画像の表示位置を変更する
付記1から付記5のいずれか1つに記載のプロセッサ。
【0103】
(付記7)
前記ユーザの運動状態に応じた前記表示可能範囲を選択し、
選択した前記表示可能範囲内に前記表示画像の表示位置を変更する
付記6に記載のプロセッサ。
【0104】
(付記8)
前記相対位置の変化量が、予め定められた閾値を超えた場合、前記第1位置を前記第3位置に変更するのに代えて、前記表示画像を非表示とする制御を行う
付記1から付記7のいずれか1つに記載のプロセッサ。
【0105】
(付記9)
前記表示画像は複数の部分領域に分割されており、
前記第3位置は、前記複数の部分領域のうち、少なくとも、予め定められた部分領域が、前記補正領域内となる位置である
付記1から付記8のいずれか1つに記載のプロセッサ。
【0106】
(付記10)
前記補正領域内とする面積に応じた優先度が前記表示画像に付与されており、
前記第2位置が前記補正領域を超える場合、
前記優先度に基づいて前記第3位置に変更する
付記1から付記8のいずれか1つに記載のプロセッサ。
【0107】
(付記11)
前記第2位置が表示位置の補正が可能な補正領域を超える場合とは、
前記表示画像の少なくとも一部が前記補正領域外となる場合である
付記1から付記10のいずれか1つに記載のプロセッサ。
【0108】
(付記12)
前記第2位置が表示位置の補正が可能な補正領域を超える場合とは、
前記表示画像の面積の9割以上が前記補正領域外となる場合である
付記1から付記10のいずれか1つに記載のプロセッサ。
【0109】
(付記13)
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、
前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、
前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させる
プロセッサ、
を備えた画像処理装置。
【0110】
(付記14)
透過型の表示装置と、
付記1から付記12のいずれか1つに記載のプロセッサと、
を備えた眼鏡型情報表示装置。
【0111】
(付記15)
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、
前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、
前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させる
処理をプロセッサが実行する画像処理方法。
【0112】
(付記16)
透過型の表示装置と、ユーザの眼との相対位置の変化に基づいて、
前記表示装置の表示領域に表示された表示画像の第1位置と、前記相対位置の変化とに応じた、第2位置を導出し、
前記第2位置が表示位置の補正が可能な補正領域を超えない場合、前記第1位置を、前記第2位置に変更し、
前記第2位置が前記補正領域を超える場合、前記第1位置を、第3位置に変更し、前記補正領域内に前記表示画像を表示させる
処理をプロセッサに実効させるための画像処理プログラム。
【符号の説明】
【0113】
1 眼鏡型情報表示装置
10 ARグラス
12 スマートフォン
20L 左眼用透過部、20R 右眼用透過部
22L 左眼用レンズ、22R 右眼用レンズ
24 導光板
26 OLED
29 振動検出センサ
40 CPU
41 プロセッサ
42 メモリ
43 I/F部
44 記憶部
45 制御プログラム
46 ディスプレイ
48 入力装置
49 バス
50 取得部
52 ぶれ補正部、53A 表示領域位置変更部、53B 表示画像表示位置変更部
54 表示制御部
70 表示領域
72 補正領域
80A~80D 表示画像
811~814 部分領域
U ユーザの眼
Z 矢印