特許 7544914 電子機器、および、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】電子機器、および、画像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240827BHJP

   G06T 5/50 20060101ALI20240827BHJP

   G06T 7/00 20170101ALI20240827BHJP

   H04N 23/50 20230101ALI20240827BHJP

【ＦＩ】

H04N23/60 500

G06T5/50

G06T7/00 350B

H04N23/50

【請求項の数】 6

(21)【出願番号】P 2023095554

(22)【出願日】2023-06-09

【審査請求日】2023-06-09

(73)【特許権者】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100206081

【弁理士】

【氏名又は名称】片岡 央

(72)【発明者】

【氏名】塚本 泰史

(72)【発明者】

【氏名】川北 幸司

【審査官】門田 宏

(56)【参考文献】

【文献】米国特許出願公開第２０２３／０３１９４２３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２３／００８１３０２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２３／００４０１２２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２３／００２８３１５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２２／０３９４１７５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２２／０３５３４０１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２２／０３１８９７１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２２／０２７０２２５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｆ ３／１４－３／１５３

Ｇ０９Ｆ ９／００

Ｇ０９Ｆ ９／３０－９／４６

Ｇ０９Ｇ ３／００－３／３８

Ｇ０９Ｇ ５／００－５／３６

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２３／５０

(57)【特許請求の範囲】

【請求項1】

複数の画素が配列されたディスプレイと、カメラと、コントローラと、を備え、
前記カメラに前記ディスプレイの一部の領域を透過した光が入射され、
前記コントローラは、
前記カメラが撮像した撮像画像の輝度分布に基づいて輝度が一定値を超える高輝度領域を定め、
点光源に対する虚像パターンと前記高輝度領域に基づいて、虚像分布を定め、
前記ディスプレイを透過して撮像された第１画像と前記ディスプレイを透過せずに撮像された第２画像との関係を学習した機械学習モデルを用いて、前記撮像画像に基づいて補正画像を推定し、
前記虚像分布に基づいて前記補正画像の適用強度を定め、
前記適用強度に基づいて前記補正画像と前記撮像画像を合成する
電子機器。

【請求項2】

前記コントローラは、
前記撮像画像から特定の被写体を表す特定領域を定め、
前記特定領域において前記補正画像を適用せずに前記撮像画像を適用する
請求項１に記載の電子機器。

【請求項3】

前記コントローラは、
前記カメラの撮像パラメータに応じて前記虚像パターンを定める
請求項１に記載の電子機器。

【請求項4】

前記撮像パラメータは、前記カメラの露出に関するパラメータを含む
請求項３に記載の電子機器。

【請求項5】

前記カメラは、前記ディスプレイの表示面の背面に設置されている
請求項１から請求項３のいずれか一項の電子機器。

【請求項6】

複数の画素が配列されたディスプレイと、カメラと、を備え、
前記カメラに前記ディスプレイの一部の領域を透過した光が入射される電子機器の画像処理方法であって、
前記電子機器は、
前記カメラが撮像した撮像画像の輝度分布に基づいて輝度が一定値を超える高輝度領域を定め、
点光源に対する虚像パターンと前記高輝度領域に基づいて虚像分布を定め、
前記ディスプレイを透過して撮像された第１画像と前記ディスプレイを透過せずに撮像された第２画像との関係を学習した機械学習モデルを用いて、前記撮像画像に基づいて補正画像を推定し、
前記虚像分布に基づく前記補正画像の適用強度を定め、
前記適用強度に基づいて前記補正画像と前記撮像画像を合成する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、電子機器、および、画像処理方法、例えば、ディスプレイとカメラを備える電子機器に関する。

【背景技術】

【0002】

クラムシェル型ＰＣ（Personal Computer）などの電子機器には、筐体にディスプレイとカメラを備えるものがある。画面表示をできるだけ妨げないため、カメラは、ディスプレイの画面領域の周囲に設けられ、ベゼルに支持されることがある。また、画面領域が比較的小さい電子機器では、その周囲に画面領域の内部に撮像領域が設置され、撮像領域の裏面に撮像部が設けられることがある。カメラが画面領域を避けて設置されることで画面占有率が限られる。

【0003】

近年では、画面占有率の高い機器に対する要請から、ＣＵＤ（Camera Under Display）方式を採用した電子機器が提案されている。ＣＵＤ方式は、画面領域の一部をなす撮像領域の裏面にカメラが設置される構成である。カメラは、撮像領域を透過した光に表れる像を撮像する。例えば、特許文献１には、装置本体を覆い、表示領域の後方に素子領域が位置され、素子領域に表示領域を通過して集光する感光素子が含まれる表示装置について記載されている。当該感光素子には、カメラが含まれる。

【0004】

ＣＵＤ方式では、撮像の際、撮像領域に配置された画素が消灯される。被写体からの入射光の相当部分は、表示パネル上に配置された画素の表面で反射し、画素の外縁で回折する。反射ならびに回折は、光源の像の周囲に生じがちな虚像（artifact）の主因となりうる。この虚像は、一般的な画像処理、例えば、色変換、ノイズ除去、超解像、鮮明化、光沢の除去などでは消去されない。そこで、ディスプレイを透過させずに撮像した目標画像とディスプレイを透過させて撮像した撮像画像との関連を学習したＡＩ（Artificial Intelligence、人工知能）モデルを用いて、撮像画像に生ずる虚像を除去することが考えられる。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０２２－５１３５０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、目標画像との関係性が知られていない撮像画像から推定される推定画像に対しては推定精度が低下しがちである。例えば、推定画像では、目標画像において生じ得ない虚像が生じることや、光源以外の被写体の明るさの分布が顕著に変動することがある。他方、ディスプレイが組み込まれた商用の電子機器において、ディスプレイを着脱して撮像画像、その撮像画像に対応する目標画像を取得することは現実的ではない。言い換えれば、撮像画像と目標画像には、ディスプレイの有無以外の撮像条件の違いが生じるため、これらの違いがＡＩモデルでは説明できないことがあった。例えば、同一の視野を別個のカメラを用いて撮像する場合には、カメラ間の視点や部材の性状により撮像された像の明るさや色合いの分布が変動することがあった。

【課題を解決するための手段】

【0007】

本願は上記の課題を解決するためになされたものであり、本願の一態様に係る電子機器は、複数の画素が配列されたディスプレイと、カメラと、コントローラと、を備え、前記カメラに前記ディスプレイの一部の領域を透過した光が入射され、前記コントローラは、前記カメラが撮像した撮像画像の輝度分布に基づいて輝度が一定値を超える高輝度領域を定め、点光源に対する虚像パターンと前記高輝度領域に基づいて虚像分布を定め、前記ディスプレイを透過して撮像された第１画像と前記ディスプレイを透過せずに撮像された第２画像との関係を学習した機械学習モデルを用いて、前記撮像画像に基づいて補正画像を推定し、前記虚像分布に基づいて前記補正画像の適用強度を定め、前記適用強度に基づいて前記補正画像と前記撮像画像を合成する。

【0008】

上記の電子機器において、前記コントローラは、前記撮像画像から特定の被写体を表す特定領域を定め、前記特定領域において前記補正画像を適用せずに前記撮像画像を適用してもよい。

【0009】

上記の電子機器において、前記コントローラは、前記カメラの撮像パラメータに応じて前記虚像パターンを定めてもよい。

【0010】

上記の電子機器において、前記撮像パラメータは、前記カメラの露出に関するパラメータを含んでもよい。

【0011】

上記の電子機器において、前記カメラは、前記ディスプレイの表示面の背面に設置されていてもよい。

【0012】

本願の第２態様に係る画像処理方法は、複数の画素が配列されたディスプレイと、カメラと、を備え、前記カメラに前記ディスプレイの一部の領域を透過した光が入射される電子機器の画像処理方法であって、前記電子機器は、前記カメラが撮像した撮像画像の輝度分布に基づいて輝度が一定値を超える高輝度領域を定め、点光源に対する虚像パターン前記高輝度領域に基づいて虚像分布を定め、前記ディスプレイを透過して撮像された第１画像と前記ディスプレイを透過せずに撮像された第２画像との関係を学習した機械学習モデルを用いて、前記撮像画像に基づいて補正画像を推定し、前記虚像分布に基づく前記補正画像の適用強度を定め、前記適用強度に基づいて前記補正画像と前記撮像画像を合成する。

【発明の効果】

【0013】

本実施形態によれば、画質の低下を抑制しながら虚像を除去することができる。

【図面の簡単な説明】

【0014】

【図1】本実施形態に係る情報処理装置の外観構成例を示す正面図である。

【図2】本実施形態に係る情報処理装置の断面を例示する断面図である。

【図3】本実施形態に係るカメラの構成例を示す断面図である。

【図4】本実施形態に係る情報処理装置のハードウェア構成例を示す概略ブロック図である。

【図5】本実施形態に係る情報処理装置の機能構成例を示す概略ブロック図である。

【図6】本実施形態に係る機械学習モデルを例示する説明図である。

【図7】第１画像と第２画像の撮像環境を例示する図である。

【図8】本実施形態に係る画像処理方法を例示するフローチャートである。

【図9】本実施形態に係る重みフィルタ設定処理を例示するフローチャートである。

【図10】虚像パターンの一例を示す図である。

【図11】虚像パターンの他の例を示す図である。

【図12】撮像画像の一例を示す図である。

【図13】補正画像の一例を示す図である。

【図14】光源領域の一例を示す図である。

【図15】包括虚像分布の一例を示す図である。

【図16】虚像分布の一例を示す図である。

【図17】特定領域の一例を示す図である。

【図18】出力画像の一例を示す図である。

【発明を実施するための形態】

【0015】

以下、本願の実施形態に係る電子機器について、図面を参照して説明する。以下の説明では、本実施形態に係る電子機器がクラムシェル型ＰＣとして構成された情報処理装置１０である場合を例にする。図１は、本実施形態に係る情報処理装置１０の外観構成例を示す正面図である。図２は、本実施形態に係る情報処理装置１０の断面を例示する断面図である。

【0016】

情報処理装置１０は、第１筐体１０ａと第２筐体１０ｂを備える。第１筐体１０ａは第２筐体１０ｂに対して回動可能とし、第１筐体１０ａの表面と第２筐体１０ｂの表面とのなす角度（本願では、「開閉角度」、と呼ぶことがある）を可変とする。第１筐体１０ａの長辺と、第２筐体１０ｂの長辺が、ヒンジ機構１２１ａ、１２１ｂを用いて結合される。ヒンジ機構１２１ａ、１２１ｂは、回転軸ａｘ回りに第１筐体１０ａを第２筐体１０ｂに対して相対的に回動可能とする。回転軸ａｘの方向は、第１筐体１０ａの長辺と、第２筐体１０ｂの長辺のいずれにも平行である。ヒンジ機構１２１ａ、１２１ｂは、多少のトルクがかけられても任意の開閉角度θを維持することができる。

【0017】

第１筐体１０ａの内部は箱状に形成され、ディスプレイ１４とカメラ２８を搭載する。 第２筐体１０ｂの内部には、その他の部材が格納される。また、第２筐体１０ｂの表面には、キーボード１０７およびタッチパッド１０９が搭載されている。第１筐体１０ａが第２筐体１０ｂに対して開いた状態では、第１筐体１０ａの正面に対面するユーザは、ディスプレイ１４に表された表示情報を見ることができ、キーボード１０７およびタッチパッド１０９に対し入力操作を行うことができる。このとき、カメラ２８がユーザの頭部の像を撮像することができる。以下の説明では、第１筐体１０ａと第２筐体１０ｂを単に「筐体」と総称することがある。

【0018】

ディスプレイ１４は、ほぼ平板の形状を有し、ディスプレイパネルとして構成される。ディスプレイ１４は、第１筐体１０ａの表面の大部分を覆い、その外周が第１筐体１０ａにより支持されている。ディスプレイ１４は、基板１４ｂを備える。基板１４ｂには、複数の画素１４ｐが一定間隔で二次元配列されている。複数の画素１４ｐが配列されている領域が画面領域ＳＡをなす。画面領域ＳＡにおける明るさ、もしくは、色の分布により表示情報が表現される。画面領域ＳＡの一部の領域である透過領域ＴＡでは、その周囲の領域である通常領域ＮＡよりも画素１４ｐが疎らに配置されている。透過領域ＴＡでは、隣り合う画素１４ｐ同士が完全に接触せず間隙をもって配列される。透過領域ＴＡへの入射光は画素間の間隙を通過してカメラ２８の光学系に入射される。なお、透過領域ＴＡにおける画素間隔は、通常領域ＮＡにおける画素間隔と等しくてもよい。その場合、透過領域ＴＡに配置される画素の大きさを、通常領域ＮＡに配置される画素の大きさよりも小さくしてもよい。

【0019】

次に、本実施形態に係るカメラ２８の構成例について説明する。図３は、本実施形態に係るカメラ２８の構成例を示す断面図である。カメラ２８は、光学系を有し、視野内に分布した被写体から光学系への入射光に表される当該被写体の像を撮像する。カメラ２８は、対物レンズ２８ｌ、絞り２８ｄ、シャッター２８ｓ、光学フィルタ２８ｏｆ、撮像素子２８ｉｓ、自動焦点機構２８ａｆおよびカメラコントローラ２８ｃｔを備える。

【0020】

対物レンズ２８ｌには、ディスプレイ１４の透過領域ＴＡを透過した入射光が入射される。対物レンズ２８ｌは、入射光を集光し、絞り２８ｄ、シャッター２８ｓ、光学フィルタ２８ｏｆを経て撮像素子２８ｉｓの撮像面に提示させる。対物レンズ２８ｌは、自動焦点機構２８ａｆに支持され、カメラコントローラ２８ｃｔの制御に従い、自部の光学軸の方向に移動させ、対物レンズ２８ｌから撮像素子２８ｉｓまでの距離（合焦距離）を調整可能とする（合焦制御）。

【0021】

絞り２８ｄは、中心部に円形の開口部を有し、対物レンズ２８ｌを透過した入射光は開口部を通過する。絞り２８ｄは、カメラコントローラ２８ｃｔの制御に従い、開口部の周囲の絞り羽根を変位させることで開口部の有効口径を可変とする（絞り制御）。
シャッター２８ｓは、カメラコントローラ２８ｃｔの制御に従い、開閉を制御する。シャッター２８ｓの露出時間は、カメラコントローラ２８ｃｔにより制御される（露光制御）。光学フィルタ２８ｏｆは、撮像素子２８ｉｓの表面を覆い、シャッター２８ｓの開放時に対物レンズ２８ｌを透過した入射光の一部の成分を透過する。光学フィルタ２８ｏｆを透過した透過光には、光学フィルタ２８ｏｆの光学特性が付加される。光学特性として、例えば、分光特性（色）が設定される。光学フィルタ２８ｏｆは、個々の副画素に受光させる色の光を主成分として透過する。個々の画素を構成する副画素ごとに赤、緑、青のいずれかの色の光を受光させるかを予め定めておく。

【0022】

撮像素子２８ｉｓは、撮像面を有する。撮像面には複数の受光素子が二次元配列される。個々の受光素子は、副画素に対応し、光学フィルタ２８ｏｆを透過した光を検出し、検出した光の強度、即ち、輝度に応じた電圧を生ずる。１個の画素をなす副画素ごとの輝度のセットにより色が表現される。カメラコントローラ２８ｃｔは、画素ごとの色分布を示す画像データを生成し、情報処理装置１０の本体をなすホストシステム１００に出力する。画素ごとの色分布は撮像画像を表す。カメラコントローラ２８ｃｔは、ホストシステム１００からの撮像指令に応じてシャッター２８ｓを開いて、撮像画像を取得することができる。

【0023】

なお、本願では、カメラ２８が撮像パラメータを定める処理として公知の手法を用いることができる。撮像パラメータを定める処理として、例えば、合焦制御、露光制御、絞り制御などが含まれうる。合焦制御により合焦距離が定まる。露光制御により露出時間が定まる。絞り制御により絞り値（Ｆ値）が定まる。絞り値は、明るさと被写界深度のパラメータとなる。絞り値は、対物レンズ２８ｌの焦点距離を絞り２８ｄの有効口径で除算して得られる商に相当する。撮像パラメータは、視野内における被写体の空間分布、明るさ、などの視野内の環境に依存する。一般に、明るい環境ほど露出時間を短くし、絞り値を小さくすることが許容される。カメラ２８に近接した被写体が主となるほど、これらに対する合焦度（ピント）が高くなるように合焦距離が短くなるように調整される。合焦度は、例えば、撮像画像における低空間周波成分に対する高空間周波成分の比率が合焦度として用いられる。また、カメラ２８からの被写体までの距離の分散が著しいほど絞り値が大きくなるように調整される。これらの撮像パラメータは、相互に依存するため、画質が総合的に最適化されるように定められる。画質のパラメータは、一般に、合焦度、コントラストなど、複数の因子の加重和で表されてもよい。その場合、各因子に対する重み係数を、その因子に対する貢献度として予め設定しておく。なお、撮像パラメータは、ユーザ操作に応じて設定されてもよい。

【0024】

情報処理装置１０は、カメラ２８が撮像した撮像画像の輝度分布に基づいて光源を表す光源領域を推定し、予め設定した虚像パターンに基づいて、光源領域の周囲における虚像分布を定める。情報処理装置１０は、ディスプレイ１４を透過せずに撮像されたディスプレイ非透過画像とディスプレイ１４を透過して撮像されたディスプレイ透過画像との関連を予め学習した学習モデルを用いて、カメラ２８が撮像画像に基づいて補正画像を推定する。情報処理装置１０は、推定した虚像分布に基づいて補正画像の適用強度を定め、定めた適用強度に基づいて補正画像と撮像画像を合成する。

【0025】

次に、本実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図４は、本実施形態に係る情報処理装置１０のハードウェア構成例を示す概略ブロック図である。情報処理装置１０は、プロセッサ１１、メインメモリ１２、ビデオサブシステム１３、ディスプレイ１４、チップセット２１、ＲＯＭ２２、補助記憶装置２３、オーディオシステム２４、通信モジュール２５、入出力インタフェース２６、カメラ２８、ＥＣ３１、入力デバイス３２、電源回路３３、および、バッテリ３４を備える。

【0026】

プロセッサ１１は、ソフトウェア（プログラム）に記述された命令で指示される種々の演算処理を実行する中核的な処理装置である。プロセッサ１１が実行する処理には、メインメモリ１２、補助記憶装置２３などの記憶媒体とのデータの読み書き、他のデバイスとの入出力などが含まれる。プロセッサ１１には、少なくとも１個のＣＰＵが含まれる。ＣＰＵは、情報処理装置１０全体の動作を制御する。ＣＰＵは、例えば、ＯＳ（Operating System）、ファームウェア、デバイスドライバ、ユーティリティ、アプリケーションプログラム（本願では、「アプリ」と呼ぶこともある）など、プログラムに基づく処理を実行する。なお、本願では、各種のプログラムに記述された指令（コマンド）で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。

【0027】

メインメモリ１２は、プロセッサ１１の実行プログラムの読み込み領域として、または、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。プロセッサ１１とメインメモリ１２は、ホストシステム１００（後述）をなす最小限のハードウェアに相当する。ホストシステム１００は、情報処理装置１０の中核をなすコンピュータシステムである。

【0028】

ビデオサブシステム１３は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含む。ビデオコントローラは、プロセッサ１１からの描画命令を処理し、得られた描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出し、表示情報を示す表示データとしてディスプレイ１４に出力する（画像処理）。

【0029】

ディスプレイ１４は、ビデオサブシステム１３から入力される表示データに基づく表示画面を表示する。ディスプレイ１４は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode、有機発光ダイオード）ディスプレイなどのいずれであってもよい。

【0030】

チップセット２１は、複数のコントローラを備え、複数のデバイスと各種のデータを入出力できるように接続可能とする。コントローラは、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（ＡＴ Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、および、ＬＰＣ（Low Pin Count）などのバスコントローラのいずれか１個または組み合わせである。複数のデバイスとして、例えば、後述するＲＯＭ２２、補助記憶装置２３、オーディオシステム２４、通信モジュール２５、入出力インタフェース２６、カメラ２８、および、ＥＣ３１が含まれる。

【0031】

ＲＯＭ（Read Only Memory）２２は、主にシステムファームウェア、ＥＣ３１その他のデバイスの動作を制御するためのファームウェアなどを記憶する。ＲＯＭ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュＲＯＭなどのいずれでもよい。

【0032】

補助記憶装置２３は、プロセッサ１１その他のデバイスの処理に用いられる各種のデータ、または、それらの処理により取得された各種のデータ、各種のプログラムなどを記憶する。補助記憶装置２３は、例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などのいずれか１個またはいずれかの組み合わせであってもよい。

【0033】

オーディオシステム２４は、マイクロホンとスピーカ（図示せず）が接続され、音声データの記録、再生および出力を行う。なお、マイクロホンとスピーカは、情報処理装置１０に内蔵されてもよいし、情報処理装置１０とは別体であってもよい。

【0034】

通信モジュール２５は、無線または有線で通信ネットワークに接続する。通信モジュール２５は、通信ネットワークに接続される他の機器との間で各種のデータを通信する。通信モジュールは、例えば、無線ＬＡＮ（Local Area Network）を含み、所定の無線通信方式（例えば、ＩＥＥＥ８０２．１１）に従って機器間で各種のデータを送受信可能とする。無線ＬＡＮでは、機器間の通信がアクセスポイントを経由して実行される。

【0035】

入出力インタフェース２６は、周辺機器など各種のデバイスと有線または無線で接続する。入出力インタフェース２６は、例えば、ＵＳＢの規定に従って有線でデータを入出力するためのコネクタである。

【0036】

カメラ２８は、視野内に所在する被写体の像を含む画像を撮像する。カメラ２８は、撮像により得られた撮像画像を示す画像データをプロセッサ１１にチップセット２１を経由して出力する。

【0037】

ＥＣ（Embedded Controller）３１は、情報処理装置１０のシステムの動作状態に関わらず、各種デバイス（周辺装置やセンサ等）を監視し、制御するワンチップマイコン（One-Chip Microcomputer）である。ＥＣ３１は、プロセッサ１１とは別個にＣＰＵ、ＲＯＭ、ＲＡＭ、複数チャネルのＡ／Ｄ（Analog-to-Digital）入力端子、Ｄ／Ａ（Digital-to-Analog）出力端子、タイマおよびデジタル入出力端子（図示せず）を備える。ＥＣ３１の入出力端子には、例えば、入力デバイス３２、電源回路３３などが接続される。

【0038】

入力デバイス３２は、ユーザの操作を検出し、検出した操作に応じた操作信号をＥＣ３１に出力する。上記のキーボード１０７およびタッチパッド１０９が入力デバイス３２に相当する。入力デバイス３２は、タッチセンサであってもよく、ディスプレイ１４と重なり合い、タッチパネルとして構成されてもよい。

【0039】

電源回路３３は、外部電源、または、バッテリ３４から供給される直流電力の電圧を、情報処理装置１０を構成する各デバイスの動作に要する電圧に変換し、変換した電圧を有する電力を供給先のデバイスに供給する。電源回路３３は、ＥＣ３１の制御に従って、電力供給を実行する。電源回路３３は、自器に供給される電力の電圧を変換する変換器と、電圧が変換された電力をバッテリ３４に充電する給電器を備える。給電器は、外部電源から供給される電力のうち、各デバイスにおいて消費されずに残された電力をバッテリ３４に充電する。外部電源から電力が供給されない場合、または、外部電源から供給される電力が不足する場合には、バッテリ３４から放電される電力を、動作電力として各デバイスに供給する。
バッテリ３４は、電源回路３３を用いて電力を充電または放電する。バッテリ３４は、例えば、リチウムイオン電池、ナトリウムイオン電池、などのいずれでもよい。

【0040】

次に、本実施形態に係る情報処理装置１０の機能構成例について説明する。図５は、本実施形態に係る情報処理装置１０の機能構成例を示す概略ブロック図である。情報処理装置１０は、カメラ２８と、ホストシステム１００と、ディスプレイ１４と、記憶部１２０と、を備える。ホストシステム１００は、ホストシステム１００の機能の一部または全部は、プロセッサ１１がＯＳ上でアプリケーションプログラム（本願では、「アプリ」と呼ぶことがある）、その他のプログラムを実行し、メインメモリ１２、カメラ２８、ディスプレイ１４、記憶部１２０、および、その他のハードウェアと協働して実現される。

【0041】

ホストシステム１００は、撮像制御部１０２、光源領域推定部１０４、虚像分布推定部１０６、補正画像推定部１０８、特定領域推定部１１０、適用強度設定部１１２、画像合成部１１４および出力処理部１１６を備える。
撮像制御部１０２は、撮像指令を生成し、生成した撮像指令をカメラ２８に出力する。カメラコントローラ２８ｃｔは、撮像制御部１０２から撮像指令が入力されるとき、視野内に所在する被写体の像を撮像素子２８ｉｓに撮像させる。

【0042】

撮像制御部１０２が撮像指令を発行する契機として、例えば、シャッターボタン（図示せず）への押下に応じて生成された操作信号を検出したとき、入出力インタフェース２６から撮像を示す操作信号を検出したとき、他のアプリに係る処理により呼び出されるとき、などが典型的である。また、撮像制御部１０２は、撮像指令と関連付けて撮像パラメータ、例えば、合焦距離、露出時間、Ｆ値、などのいずれか１項目、もしくは、いずれかの組合せをカメラ２８に通知し、その撮像パラメータに従って、撮像させてもよい。撮像制御部１０２は、入力デバイス３２または入出力インタフェース２６から入力される操作信号により指示された撮像パラメータを採用してもよいし、他のアプリの実行により指示された撮像パラメータを採用してもよい。また、カメラコントローラ２８ｃｔが視野内の環境に応じて撮像パラメータを制御する場合には（自動制御）、自身が定めた撮像パラメータを撮像制御部１０２に通知する。撮像制御部１０２は、自部が設定した撮像パラメータをカメラ２８に通知しなくてもよい。

【0043】

光源領域推定部１０４は、カメラ２８から取得した画像データに示される撮像画像の輝度分布に基づいて被写体として光源が表される領域を光源領域として推定する。光源領域推定部１０４は、例えば、画像データを参照し、輝度値が予め定めた上限値以上となる画素の部位を明部として検出し、一定以上の大きさにわたり相互に明部が隣接した領域を光源領域として推定する。画素ごとに色信号値が与えられる場合、輝度値は、色ごとの色信号値の加重平均により与えられる。光源領域推定部１０４は、推定した光源領域を示す光源領域データを虚像分布推定部１０６に出力する。

【0044】

虚像分布推定部１０６は、光源領域推定部１０４から入力される光源領域データと虚像パターンに基づいて撮像画像における虚像分布を推定する。虚像分布推定部１０６は、光源領域データに示される光源領域に含まれる画素ごとに虚像パターンを重ね合わせて包括虚像分布を推定する。虚像パターンは、点光源の周囲の生ずる虚像分布に相当する。虚像パターンは、一種の点像分布関数とみなすこともできる。図１０の例では、虚像パターンは、点光源の位置を原点とする二次元空間における画素ごとの画素別分布値を用いて表現される。画素別分布値は、輝度値と同様に画素ごとの明るさを表現する値となる。図１０に例示される虚像パターンは、点光源から離れるほど虚像が暗くなるとともに、水平方向および垂直方向において、それらの交差方向よりも明るい領域が広がっている。虚像パターンは、予め実測されてもよいし、幾何モデルを用いて表現されてもよい。

【0045】

虚像パターンを実測する際、２種類の撮像画像をカメラ２８に撮像させる。一方の撮像画像は、径が十分に小さく、輝度が既知である光源をカメラ２８の視野内に配置した状況で撮像される光源画像である。光源の径は、カメラ２８の解像度と同等以下であることが望ましい。その場合、光源は、点光源とみなされる。他方の撮像画像は、光源をカメラ２８の視野から除外した状況で撮像される背景画像である。画素ごとに光源画像の信号値から背景画像の信号値を差し引いて得られる差分値が虚像パターンに相当する。

【0046】

図１１は、幾何モデルを用いて表現された虚像パターンを例示する。例示される幾何モデルでは、水平方向および垂直方向において、それらの交差方向よりも大きく広がる虚像が表現される。虚像パターンは、光源の位置を原点とする動径に依存する動径成分と原点からの方向に依存する指向成分を用いて表現される。動径成分は、原点からの距離が大きい位置ほどゼロに減衰する関数を用いて表される。動径成分は、例えば、ベッセル関数またはハンケル関数を用いて表される。指向成分は、空間周波数が少なくとも４周期までの方向依存性を表現する関数を用いて表される。指向成分は、例えば、正弦関数または余弦関数を用いて表される。

【0047】

図５に戻り、虚像分布推定部１０６は、画素ごとに個々の点光源による画素別分布値を累積して得られる累積値を虚像分布値として演算する。画素ごとの虚像分布値により包括虚像分布が表現される。虚像分布推定部１０６は、包括虚像分布から光源領域を除外し、光源領域の外縁に生ずる虚像分布を推定することができる。光源領域を除外する際、虚像分布推定部１０６は、包括虚像分布を表す画素ごとの虚像分布値のうち、光源領域に属する画素ごとの虚像分布値を所定の基準値（例えば、０）と設定する。虚像分布推定部１０６は、推定した虚像分布を示す虚像分布データを適用強度設定部１１２に出力する。

【0048】

補正画像推定部１０８は、学習済みの機械学習モデルを用いて、カメラ２８から取得した画像データに示される撮像画像に基づいて補正画像を推定する。機械学習モデルは、ＡＩ（Artificial Intelligence）モデルとも呼ばれ、入力に対して演算処理を行って出力を導出する手法であって、入力と出力との関係性を学習により獲得できるものである。本実施形態に係る機械学習モデルでは、他の機器におけるディスプレイを透過して撮像された画像（本願では、「第１画像」と呼ぶことがある）を入力とし、当該ディスプレイを透過せずに撮像された画像（本願では「第２画像」と呼ぶことがある）を出力とする関係性を予め学習させておく。他の機器として情報処理装置１０と同様の仕様を有する機器を学習に用いることで、補正画像において撮像画像からディスプレイ１４の透過により生ずる虚像が除去されることが期待される。補正画像推定部１０８は、推定した補正画像を示す補正画像データを画像合成部１１４に出力する。

【0049】

特定領域推定部１１０は、カメラ２８から取得した画像データに示される撮像画像のうち特定の被写体が表される領域を特定領域として推定する。特定領域推定部１１０は、例えば、撮像画像に対して公知の画像認識処理を行って、特定領域を推定することができる。特定の被写体として、例えば、人物（特に頭部）、図画、花卉、などユーザが関心を有する物体、虚像により視感上の影響が比較的著しい物体が適用されることがある。特定領域は、関心領域とみなすこともできる。特定領域推定部１１０は、推定した特定領域を示す特定領域データを適用強度設定部１１２に出力する。

【0050】

適用強度設定部１１２は、虚像分布推定部１０６から入力される虚像分布データに基づいて補正画像の適用強度を定める。適用強度は、補正画像と撮像画像とを合成する際、補正画像に適用する度合いを示す重み値である。適用強度設定部１１２は、例えば、虚像分布データに示される画素ごとの虚像分布値を最大値が１、最小値が０となるように正規化して適用強度を定める。適用強度設定部１１２は、画素ごとに定めた適用強度を示す重みフィルタを構成する。適用強度設定部１１２は、特定領域推定部１１０から入力される特定領域データに示される特定領域を、補正画像の適用を除外する適用除外領域として設定してもよい。適用除外領域を設定する際、適用強度設定部１１２は、例えば、特定領域における画素ごとの適用強度を０と設定する。
適用強度設定部１１２は、構成した重みフィルタを画像合成部１１４に出力する。

【0051】

画像合成部１１４は、カメラ２８から入力される画像データに示される撮像画像と補正画像推定部１０８から入力される補正画像データに示される補正画像を適用強度設定部１１２から入力された重みフィルタを用いて出力画像を合成する。画像合成部１１４は、画素ごとの補正画像の色信号値と撮像画像の色信号値との加重和を出力画像の色信号値として定める（ブレンディング）。加重和を算出する際、例えば、その画素に対する適用強度が補正画像の色信号値に対する重み値として用いられ、１から適用強度を差し引いて得られる差分値が撮像画像の色信号値に対する重み値として用いられる（アルファブレンディング）。光源領域の周囲において補正画像の成分が主となり、光源領域から離れるほど撮像画像の成分が増加する。そのため、虚像による影響を軽減しながら、補正画像に生ずる明るさや色合いの変動を抑制することができる。画像合成部１１４は、合成された出力画像を示す出力画像データを出力処理部１１６に出力する。
なお、補正画像と撮像画像から出力画像を合成する手法は、これには限られない。例えば、ディザー合成、乗算などのいずれの手法が用いられてもよいし、それらの手法を組み合わせ用いられてもよい。ディザー合成は、一方の画像から個々の画素の適用強度に対応する確率で、その画素の信号値を採用し、その信号値を採用しない場合には、他方の画像のその画素の信号値を採用する手法である。乗算は、一方の画像の個々の画素の信号値にその画素に対する適用強度でのべき乗値と、他方の画像のその画素に対する信号値に１から適用強度を差し引いて得られる差分値でのべき乗値との積を正規化して、その画素に対する信号値を定める手法である。

【0052】

出力処理部１１６は、画像合成部１１４から取得される出力画像データの出力に関する処理を行う。出力処理部１１６は、出力画像データをディスプレイ１４または入出力インタフェース２６を経由して他機器に出力してもよいし、記憶部１２０に記憶する。出力画像データの出力先は、入力デバイス３２または入出力インタフェース２６から入力される操作信号により指示されてもよいし、他のアプリの実行により指示されてもよい。

【0053】

次に、図６を用いて本実施形態に係る機械学習モデルについて説明する。本実施形態に係る機械学習モデルは、補正画像推定部１０８において撮像画像から補正画像を推定するために用いられる（推論）。機械学習モデルとして、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Neural Network）などのニューラルネットワークであってもよいし、ランダムフォレストなどのニューラルネットワーク以外の数理モデルであってもよい。推論を行うためには、機械学習モデルに入力となる第１画像（ディスプレイ透過画像）と出力となる第２画像（ディスプレイ非透過画像）との関係性を予め学習させておく。

【0054】

学習を行う前に、予め訓練データを準備しておく。訓練データは、入力データをなす第１画像と、その入力データに対応する出力データをなす第２画像のセットを複数組含んで構成される。学習において、入力データに対して機械学習モデルを用いて得られる推定データと、その入力データに対応する出力データとの差分が訓練データ全体として極力少なくなるように機械学習モデルのパラメータセットを再帰的に更新する。差分の大きさとして、例えば、画素ごとの色信号値の単純二乗和、加重二乗和、交差エントロピーなどの指標値が用いられる。パラメータセットの更新において、最急降下法、確率的勾配降下法、などの手法が用いられる。情報処理装置１０は、機械学習モデルを学習するモデル学習部（図示せず）を備えてもよいし、備えなくてもよい。補正画像推定部１０８には、他機器から学習により得られた機械学習モデルのパラメータが設定されてもよい。

【0055】

訓練データをなす個々のデータセットについて、第１画像と第２画像は同じ視野内の被写体を極力同じ条件で撮像させることが好適である。図７の例では、第１画像は、情報処理装置１０に備わるカメラ２８を用いて撮像される。カメラ２８の光学系にはディスプレイ１４の透過領域ＴＡを透過した入射光が入射される。第２画像は、ディスプレイ１４の上底の正面に備わるカメラ２８ｂを用いて撮像させる。カメラ２８ｂは、ディスプレイ１４の画面領域を覆わず、透過領域ＴＡに極力近接した位置に配置される。カメラ２８、２８ｂの光軸をディスプレイ１４の画面領域の法線方向に向けられる。この配置のもとで、カメラ２８、２８ｂのそれぞれの視野は、共通の被写体として正面に所在する人物の頭部と天井に設置された照明を含む。カメラ２８、２８ｂ間の位置の違いから、それぞれの撮像画像の視野は完全に一致しない。撮像画像間で共通の被写体を表す共通領域において、一方の撮像画像について共通の被写体の像が他方の撮像画像におけるその像の位置と向きが合致するように、座標変換がなされてもよい。訓練データを構成する際、撮像においてデータセットごとに被写体とその配置の少なくとも一方を違えることが望ましい。

【0056】

次に、本実施形態に係る画像処理方法の例について説明する。図８は、本実施形態に係る画像処理方法を例示するフローチャートである。
（ステップＳ１０２）撮像制御部１０２は、カメラ２８に視野内に所在する被写体の像を撮像させる。
（ステップＳ１０４）補正画像推定部１０８は、機械学習モデルを用いて、カメラ２８が撮像した撮像画像から補正画像を推定する。

【0057】

（ステップＳ１０６）適用強度設定部１１２は、撮像画像から推定された虚像分布に基づいて画素ごとに補正画像の適用強度を示す重みフィルタを生成する（重みフィルタ設定）。
（ステップＳ１０８）画像合成部１１４は、生成された重みフィルタを用いて撮像画像と補正画像を合成し、出力画像を生成する。
（ステップＳ１１０）出力処理部１１６は、生成された出力画像データをディスプレイ１４に出力する。

【0058】

次に、本実施形態に係る重みフィルタ設定処理の例について説明する。図９は、本実施形態に係る重みフィルタ設定処理を例示するフローチャートである。
（ステップＳ１０６ａ）光源領域推定部１０４は、カメラ２８が撮像した撮像画像の輝度分布から輝度値が上限値以上となる画素を含む領域を光源領域として推定する。
（ステップＳ１０６ｂ）虚像分布推定部１０６は、推定された光源領域に配置された画素ごとに虚像パターンを重ね合わせて包括虚像分布を推定する。虚像分布推定部１０６は、推定した包括虚像分布から光源領域を除外して、光源領域の外縁における虚像分布を定める。

【0059】

（ステップＳ１０６ｃ）特定領域推定部１１０は、カメラ２８が撮像した撮像画像に対して画像認識処理を行い、特定の被写体が表される領域を特定領域として推定する。
（ステップＳ１０６ｄ）適用強度設定部１１２は、虚像分布をなす虚像分布値を正規化して適用強度を定める。適用強度設定部１１２は、推定された特定領域を適用強度が有意に０以上の値をとる領域から除外して、画素ごとに補正画像の適用強度を示す重みフィルタを定める。定めた重みフィルタは、ステップＳ１０８の処理において用いられる。

【0060】

次に、撮像画像の例について説明する。図１２は、図７に例示される撮像環境においてカメラ２８により撮像された撮像画像を例示する。撮像画像の右下部分には、室内で椅子の上に腰かけている人物の上半身の像が表されている。撮像画像の背景部分には室内を覆う壁面と天井が表されている。天井に設置された照明の像がにじんで表される。照明の周囲に生ずるにじみは現実に存在しない虚像に相当する。特に中央部上方の２個の照明のにじみ部分が空間的に連なっている。

【0061】

図１３は、補正画像を例示する図である。図１３の補正画像は、図１２の撮像画像に対して、機械学習モデルを用いて推定された画像である。補正画像によれば、照明の周囲のにじみが、撮像画像よりも抑制されている。しかしながら、入力画像の照明がカメラ２８に近く、露光過多なために２個の照明が連なって形で撮像される場合がある。この現象は、ディスプレイに覆われないカメラで撮像しても発生する可能性があるが、ＣＵＤ方式ではディスプレイ１４を透過する光の光量が減少することで、しばしば発生する。この現象は自然な形で修正されるべきであるが、撮像画像の明るい領域の一部の輝度が上限を超え、機械学習モデルにより補正できる範囲を超える。そのため、不自然な形で修正されてしまっている。また、補正画像における人物の像の明るさの分布が、撮像画像のものから変動している。より具体的には全体として暗く、明暗が強調される。この変動は、ユーザに対する印象を変化させ、むしろ補正画像に対して違和感を与える可能性がある。補正画像に表れる人物の表情は、撮像画像に表れるものと異なる。これに対し、本実施形態では、補正画像の成分を光源の周囲に対して多くし、光源から離れた部位に対して少なくすることで、この現象が緩和される。

【0062】

図１４は、光源領域を例示する図である。図１４に例示される光源領域は、図１２の撮像画像の輝度に基づいて推定された領域である。白抜きの部分が光源領域を表し、黒塗りつぶされた部分が光源領域に該当しない領域である。光源領域推定部１０４によって一定の範囲に連なる明部が光源領域として検出されることで、光源領域の輪郭が画定される。

【0063】

図１５は、包括虚像分布を例示する図である。図１５に例示される包括虚像分布は、図１４に例示される光源領域をなす画素ごとに図１０に例示される虚像パターンを重ね合わせて形成される。
図１６は、虚像分布を例示する図である。図１６に例示される虚像分布は、図１５に例示される包括虚像分布から光源領域を除去して得られる。包括虚像分布から光源領域を除去することで、光源の周囲における虚像分布が抽出される。

【0064】

図１７は、特定領域を例示する図である。特定領域は、白抜きの破線で囲まれる領域である。例示される特定領域は、図１２に例示される撮像画像から画像認識処理を行って特定の被写体として人物の頭部が所在する可能性が高い領域である。適用強度設定部１１２は、図１７に例示される虚像分布において虚像の成分が顕著な領域ほど補正画像の適用強度を高くし、撮像画像に対する適用強度が低くなるように重みフィルタを定める。但し、適用強度設定部１１２は、特定領域に対しては、補正画像が適用されないように適用強度を０とする。

【0065】

図１８は、出力画像を例示する図である。例示される出力画像は、画像合成部１１４において、図１２に例示される撮像画像と図１３に例示される補正画像を、重みフィルタを用いて合成された画像である。重みフィルタは、図１７に例示される虚像分布と特定領域に基づいて定められる。光源の周囲のにじみが抑制され輪郭が鮮明に表れる。また、人物の像の領域において機械学習モデルによる不自然な輝度分布が生じない。従って、出力画像は補正画像における光源の周囲の虚像の抑制と撮像画像における輝度分布の自然さを併せ持つことで、補正画像よりも高い画質が得られる。

【0066】

なお、上記の説明では、主に虚像パターンが一定である場合を例にしたが、これには限られない。虚像パターンは、カメラ２８の撮像パラメータに応じて可変であってもよい。上記のように、撮像パラメータは撮像制御部１０２において取得される。撮像パラメータは、カメラ２８の視野内の環境に依存して定まることもあるし、ユーザの操作に応じて定まる場合もある。その場合でも、ユーザは視野内の環境を考慮して、撮像パラメータを定めることがある。

【0067】

そこで、虚像分布推定部１０６には、撮像パラメータごとに虚像パターンとの関係を示す虚像パターンデータを予め設定しておき、設定された虚像パターンデータを参照して、撮像制御部１０２から取得される撮像パターンに対応した虚像パターンデータを定める。虚像パターンデータは、撮像パラメータごとに虚像パターンを示すデータテーブルの形式を有していてもよいし、撮像パラメータを入力とし、虚像パターンを出力とする数理モデルを示してもよい。これにより、撮像パラメータに応じた虚像分布が推定される。

【0068】

虚像パターンと関係づけられる撮像パラメータには、少なくともカメラ２８の露出（exposure）に関するパラメータが含まれてもよい。より具体的には、Ｆ値または絞り２８ｄの有効口径が含まれていればよい。一般に、絞り２８ｄの有効口径が小さいほど、カメラ２８の光学系への入射光の回折が著しくなるため、虚像が顕著になりがちである。そのため、Ｆ値または絞り２８ｄの有効口径の変化により虚像パターンの変動の大部分が説明される。

【0069】

また、虚像パターンには、カメラ２８の光学系をなす対物レンズ２８ｌによる歪が含まれてもよい。歪は、画面領域の中心部よりも周辺部に表れる像ほど周辺部に拡散する現象である。歪は画素ごとに、その画素に対する虚像パターンの変位で表現される。
従って、虚像分布推定部１０６には、撮像パラメータと画素（座標）の組ごとに虚像パターンとの関係を示す虚像パターンデータを予め設定しておいてもよい。虚像分布推定部１０６は、設定された虚像パターンデータを参照して、明部に属する画素ごとに撮像制御部１０２から取得される撮像パターンに対応した虚像パターンデータを定めることができる。

【0070】

以上に説明したように、本実施形態に係る複数の画素が配列されたディスプレイ１４と、カメラ２８と、コントローラ（例えば、ホストシステム１００）と、を備える。カメラ２８にはディスプレイ１４の一部の領域を透過した光が入射される。コントローラは、カメラ２８が撮像した撮像画像の輝度分布に基づいて輝度が一定値を超える高輝度領域（例えば、光源領域）を定め、点光源に対する虚像パターンに基づいて、光源領域の周囲における虚像分布を定め、ディスプレイ１４を透過して撮像された第１画像とディスプレイ１４を透過せずに撮像された第２画像との関係を学習した機械学習モデルを用いて、撮像画像に基づいて補正画像を推定し、虚像分布に基づいて補正画像の適用強度を定め、定めた適用強度に基づいて補正画像と撮像画像を合成する。また、カメラ２８は、ディスプレイ１４の表示面の背面に設置されてもよい。
この構成によれば、機械学習モデルを用いて撮像画像に対応する補正画像が推定され、撮像画像の輝度分布に基づいて高輝度領域が定まり、虚像パターンと高輝度領域から定まる虚像分布に基づいて定まる適応強度に基づいて補正画像と撮像画像が合成される。合成される出力画像において光源領域の周囲における虚像分布に対応する重みで補正画像の成分が含まれる。光源領域の近傍において顕著な虚像が抑制され、より離れた領域における補正画像における明るさや色合いの変動が抑制される。そのため、補正画像よりも画質が高い出力画像を得ることができる。

【0071】

また、コントローラは、撮像画像から特定の被写体を表す特定領域を定め、定めた特定領域において補正画像を適用せずに撮像画像を適用してもよい。
この構成によれば、特定領域において明るさや色合いが変動した補正画像の成分が含まれずに撮像画像における特定の被写体の像が表れる。特定の被写体に対してユーザに異常な印象を与えずに済む。

【0072】

また、コントローラは、カメラ２８の撮像パラメータに応じて虚像パターンを定めてもよい。撮像パラメータにはカメラ２８の露出に関するパラメータが含まれてもよい。
この構成によれば、撮像パラメータに依存する虚像パターンに基づいて虚像分布が定まる。そのため、カメラ２８の視野内の撮像環境に応じて撮像パラメータが調整される場合において、虚像分布がより正確に推定される。推定される虚像分布に基づく適用強度を用いて補正画像と撮像画像が合成することで、より画質が高い出力画像を得ることができる。

【0073】

また、撮像パラメータにはカメラ２８の露出に関するパラメータが含まれてもよい。
虚像パターンの依存性の主要因となるカメラ２８の露出に関するパラメータに基づいて虚像パターンが調整される。虚像パターンの調整に係るパラメータ数を少なくしても、より正確に虚像分布が推定されるので、画質の低下を抑制しながら、虚像パターンの調整における処理量を低減することができる。

【0074】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

【符号の説明】

【0075】

１０…情報処理装置、１０ａ…第１筐体、１０ｂ…第２筐体、１１…プロセッサ、１２…メインメモリ、１３…ビデオサブシステム、１４…ディスプレイ、１４ｂ…基板、１４ｐ…画素、２１…チップセット、２２…ＲＯＭ、２３…補助記憶装置、２４…オーディオシステム、２５…通信モジュール、２６…入出力インタフェース、２８…カメラ、２８ａｆ…自動焦点機構、２８ｃｔ…カメラコントローラ、２８ｄ…絞り、２８ｉｓ…撮像素子、２８ｌ…対物レンズ、２８ｏｆ…光学フィルタ、２８ｓ…シャッター、３１…ＥＣ、３２…入力デバイス、３３…電源回路、３４…バッテリ、１００…ホストシステム、１０２…撮像制御部、１０４…光源領域推定部、１０６…虚像分布推定部、１０７…キーボード、１０８…補正画像推定部、１０９…タッチパッド、１１０…特定領域推定部、１１２…適用強度設定部、１１４…画像合成部、１１６…出力処理部、１２０…記憶部、１２１ａ、１２１ｂ…ヒンジ機構、ａｘ…回転軸、ＮＡ…通常領域、ＴＡ…透過領域、ＳＡ…画面領域

【要約】

【課題】画質の低下を抑制しながら虚像を除去する。
【解決手段】複数の画素が配列されたディスプレイと、カメラと、コントローラと、を備え、カメラに複数の画素が配列されたディスプレイの一部の領域を透過した光が入射され、コントローラは、カメラが撮像した撮像画像の輝度分布に基づいて輝度が一定値を超える高輝度領域を定め、点光源に対する虚像パターンと前記高輝度領域に基づいて虚像分布を定め、ディスプレイを透過して撮像された第１画像とディスプレイを透過せずに撮像された第２画像との関係を学習した機械学習モデルを用いて、撮像画像に基づいて補正画像を推定し、虚像分布に基づいて補正画像の適用強度を定め、適用強度に基づいて補正画像と撮像画像を合成する。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】