特開 2024-176767 電子機器、および、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176767

(43)【公開日】2024-12-19

(54)【発明の名称】電子機器、および、画像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241212BHJP

   H04N 23/50 20230101ALI20241212BHJP

   H04N 23/53 20230101ALI20241212BHJP

   G06F 3/14 20060101ALI20241212BHJP

   G09G 5/00 20060101ALI20241212BHJP

   G09G 5/10 20060101ALI20241212BHJP

【ＦＩ】

H04N23/60 500

H04N23/50

H04N23/53

G06F3/14 310A

G09G5/00 510A

G09G5/10 B

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023095555

(22)【出願日】2023-06-09

(11)【特許番号】

(45)【特許公報発行日】2024-08-27

(71)【出願人】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100206081

【弁理士】

【氏名又は名称】片岡 央

(72)【発明者】

【氏名】塚本 泰史

(72)【発明者】

【氏名】石神 光一朗

(72)【発明者】

【氏名】川北 幸司

(72)【発明者】

【氏名】ツェン リ

【テーマコード（参考）】

5B069

5C122

5C182

【Ｆターム（参考）】

5B069AA01

5B069BA04

5B069BB07

5B069CA02

5B069HA09

5B069JA01

5B069JA06

5C122EA12

5C122FH11

5C122FK12

5C122HA75

5C122HB01

5C182AA02

5C182AA03

5C182AB02

5C182BA14

5C182BA25

5C182CA01

(57)【要約】

【課題】画面表示を継続しながら撮像画像の画質を維持する。
【解決手段】カメラに複数の画素が配列されたディスプレイの一部の領域である透過領域を透過した光が入射され、コントローラは、透過領域に表示情報が表示されるときに取得される第１画像と、表示情報が表示されないときに取得される第２画像との差分画像を生成し、透過領域に表示情報が表示されるときに撮像される第３画像と差分画像との差分である復元画像を生成する。
【選択図】図６

【特許請求の範囲】

【請求項1】

複数の画素が配列されたディスプレイと、カメラと、コントローラと、を備え、
前記カメラに前記ディスプレイの一部の領域である透過領域を透過した光が入射され、
前記コントローラは、
前記透過領域に表示情報が表示されるときに取得される第１画像と、前記表示情報が表示されないときに取得される第２画像との差分画像を生成し、
前記透過領域に表示情報が表示されるときに撮像される第３画像と前記差分画像との差分である復元画像を生成する
電子機器。

【請求項2】

前記コントローラは、
前記表示情報が静止情報であるとき、前記カメラから前記第１画像と前記第２画像を取得する
請求項１に記載の電子機器。

【請求項3】

自器の周囲において人物を検出する検出部を備え、
前記人物が検出されないとき、
前記コントローラは、
前記第１画像と前記第２画像を取得する
請求項１に記載の電子機器。

【請求項4】

前記透過領域に配置される発光単位ごとに一定の輝度で発光させて撮像される画像である影響マップを予め設定しておき、
前記コントローラは、
前記発光単位ごとに前記表示情報を表す信号値に基づいて前記影響マップを累積して前記差分画像を生成する
請求項１に記載の電子機器。

【請求項5】

前記コントローラは、
前記第３画像の撮像パラメータに基づいて当該撮像パラメータを用いて撮像される前記差分画像を推定する
請求項４に記載の電子機器。

【請求項6】

撮像パラメータごとに前記影響マップを予め設定しておき、
前記コントローラは、
前記第３画像の撮像パラメータに対応する前記影響マップを特定し、
特定した前記影響マップを用いて前記差分画像を生成する
請求項４に記載の電子機器。

【請求項7】

前記コントローラは、
前記第３画像における前記差分画像の成分比が所定の成分比の基準値より大きい場合、
前記表示情報に対する輝度を低下させる
請求項１に記載の電子機器。

【請求項8】

複数の画素が配列されたディスプレイと、カメラと、コントローラと、を備え、
前記カメラに前記ディスプレイの一部の領域である透過領域を透過した光が入射される電子機器の画像処理方法であって、
前記電子機器が、
前記透過領域に表示情報が表示されるときに取得される第１画像と、前記表示情報が表示されないときに取得される第２画像との差分画像を生成し、
前記透過領域に表示情報が表示されるときに撮像される第３画像と前記差分画像との差分である復元画像を生成する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、電子機器、および、画像処理方法、例えば、ディスプレイとカメラを備える電子機器に関する。

【背景技術】

【0002】

クラムシェル型ＰＣ（Personal Computer）などの電子機器には、筐体にディスプレイとカメラを備えるものがある。画面表示をできるだけ妨げないように、画面領域の中央上部に開口部が設けられ、開口部にカメラが設けられることがある。開口部は画面領域外に設けられるため画面占有率が限定される。近年では画面占有率の高いＰＣが嗜好され、ＣＵＤ（Camera Under Display）方式を採用したＰＣが実用化されつつある。

【0003】

近年では、画面占有率の高い機器に対する要請から、ＣＵＤ（Camera Under Display）方式を採用した電子機器が提案されている。ＣＵＤ方式は、画面領域の一部をなす透過領域の裏面にカメラが設置される構成である。カメラは、透過領域を透過した光に表れる像を撮像する。例えば、特許文献１には、装置本体を覆い、表示領域の後方に素子領域が位置され、素子領域に表示領域を通過して集光する感光素子が含まれる表示装置について記載されている。当該感光素子には、カメラが含まれる。

【0004】

ＣＵＤ方式は、ディスプレイの画面領域の裏面にカメラが設置される構成である。カメラは、画面領域を透過した光に表れる像を撮像する。例えば、特許文献１には、装置本体を覆い、表示領域の後方に素子領域が位置され、素子領域に表示領域を通過して集光する感光素子が含まれる表示装置について記載されている。当該感光素子には、カメラが含まれる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０２２－５１３５０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、ＣＵＤ方式において、カメラによる撮像の際、画面領域のうちカメラの光学系を覆う透過領域への画面表示を維持すると、撮像画像の画質が、画面表示がなされない場合よりも顕著に低下することがある。画面表示がなされる透過領域では、その領域に配置された画素が点灯する。カメラの光学系には、画素が発光した光がカメラの光学系に入射する。撮像素子の撮像面には、被写体表面からの入射光に画素からの入射光が到来する。画面表示がなされるときに撮像される撮像画像は、画面表示がなされない場合よりも全体にコントラストが低下したり、局所的に輝度や色が異なってしまうことがある。

【課題を解決するための手段】

【0007】

本願は上記の課題を解決するためになされたものであり、本願の一態様に係る電子機器は、複数の画素が配列されたディスプレイと、カメラと、コントローラと、を備え、前記カメラに前記ディスプレイの一部の領域である透過領域を透過した光が入射され、前記コントローラは、前記透過領域に表示情報が表示されるときに取得される第１画像と、前記表示情報が表示されないときに取得される第２画像との差分画像を生成し、前記透過領域に表示情報が表示されるときに撮像される第３画像と前記差分画像との差分である復元画像を生成する。

【0008】

上記の電子機器において、前記コントローラは、前記表示情報が静止情報であるとき、前記カメラから前記第１画像と前記第２画像を取得してもよい。

【0009】

上記の電子機器において、自器の周囲において人物を検出する検出部を備え、前記人物が検出されないとき、前記コントローラは、前記第１画像と前記第２画像を取得してもよい。

【0010】

上記の電子機器において、前記透過領域に配置される発光単位ごとに一定の輝度で発光させて撮像される画像である影響マップを予め設定しておき、前記コントローラは、前記発光単位ごとに前記表示情報を表す信号値に基づいて前記影響マップを累積して前記差分画像を生成してもよい。

【0011】

上記の電子機器において、前記コントローラは、前記第３画像の撮像パラメータに基づいて当該撮像パラメータを用いて撮像される前記差分画像を推定してもよい。

【0012】

上記の電子機器において、撮像パラメータごとに前記影響マップを予め設定しておき、前記コントローラは、前記第３画像の撮像パラメータに対応する前記影響マップを特定し、特定した前記影響マップを用いて前記差分画像を生成してもよい。

【0013】

上記の電子機器において、前記コントローラは、前記第３画像における前記差分画像の成分比が所定の成分比の基準値より大きい場合、前記表示情報に対する輝度を低下させてもよい。

【0014】

本願の第２態様に係る画像処理方法は、複数の画素が配列されたディスプレイと、カメラと、コントローラと、を備え、前記カメラに前記ディスプレイの一部の領域である透過領域を透過した光が入射される電子機器の画像処理方法であって、前記電子機器が、前記透過領域に表示情報が表示されるときに取得される第１画像と、前記表示情報が表示されないときに取得される第２画像との差分画像を生成し、前記透過領域に表示情報が表示されるときに撮像される第３画像と前記差分画像との差分である復元画像を生成する。

【発明の効果】

【0015】

本実施形態によれば、画面表示を継続しながら撮像画像の画質を維持することができる。

【図面の簡単な説明】

【0016】

【図1】第１の実施形態に係る情報処理装置の外観構成例を示す正面図である。

【図2】第１の実施形態に係る情報処理装置の断面を例示する断面図である。

【図3】第１の実施形態に係る情報処理装置のハードウェア構成例を示す概略ブロック図である。

【図4】第１の実施形態に係る情報処理装置の機能構成例を示す概略ブロック図である。

【図5】第１の実施形態に係る差分画像の生成例を示す説明図である。

【図6】第１の実施形態に係る復元画像の生成例を示す説明図である。

【図7】第１の実施形態に係る撮像画像処理を例示するフローチャートである。

【図8】第１の実施形態に係る情報処理装置の機能構成例を示す概略ブロック図である。

【図9】第２の実施形態に係る影響マップの取得例を示す説明図である。

【図10】第２の実施形態に係る撮像画像処理を例示するフローチャートである。

【図11】第３の実施形態に係る撮像画像処理の一例を示すフローチャートである。

【図12】第３の実施形態に係る撮像画像処理の他の例を示すフローチャートである。

【発明を実施するための形態】

【0017】

＜第１の実施形態＞
以下、本願の実施形態に係る電子機器について、図面を参照して説明する。以下の説明では、電子機器がクラムシェル型ＰＣとして構成された情報処理装置１０である場合を主とする。クラムシェル型ＰＣは、ノートブック型ＰＣまたはノートＰＣとも呼ばれる。まず、第１の実施形態に係る情報処理装置１０について説明する。図１は、本実施形態に係る情報処理装置１０の外観構成例を示す正面図である。図２は、本実施形態に係る情報処理装置１０の断面を例示する断面図である。

【0018】

情報処理装置１０は、第１筐体１０ａと第２筐体１０ｂを備える。第１筐体１０ａは第２筐体１０ｂに対して回動可能とし、第１筐体１０ａの表面と第２筐体１０ｂの表面がなす角度（本願では、「開閉角度」、と呼ぶことがある）を可変とする。第１筐体１０ａの長辺と、第２筐体１０ｂの長辺が、ヒンジ機構１２１ａ、１２１ｂを用いて結合される。ヒンジ機構１２１ａ、１２１ｂは、回転軸ａｘ回りに第１筐体１０ａを第２筐体１０ｂに対して相対的に回動可能とする。回転軸ａｘの方向は、第１筐体１０ａの長辺と、第２筐体１０ｂの長辺のいずれにも平行である。ヒンジ機構１２１ａ、１２１ｂは、多少のトルクがかけられても任意の開閉角度θを維持することができる。

【0019】

第１筐体１０ａは箱状に形成される。第１筐体１０ａの表面には、ディスプレイ１４とカメラ２８が搭載される。第２筐体１０ｂの内部には、また、第２筐体１０ｂの表面には、キーボード１０７およびタッチパッド１０９が搭載されている。第１筐体１０ａが第２筐体１０ｂに対して開いた状態では、第１筐体１０ａの正面に対面するユーザは、ディスプレイ１４に表された表示情報を見ることができ、キーボード１０７およびタッチパッド１０９に対し入力操作を行うことができる。このとき、カメラ２８がユーザの頭部の像を撮像することができる。以下の説明では、第１筐体１０ａと第２筐体１０ｂを単に「筐体」と総称することがある。

【0020】

ディスプレイ１４は、ほぼ平板の形状を有し、ディスプレイパネルとして構成される。ディスプレイ１４は、第１筐体１０ａの表面の大部分を覆い、その外周が第１筐体１０ａにより支持されている。ディスプレイ１４は、基板１４ｂを備える。基板１４ｂには、複数の画素１４ｐが一定間隔で二次元配列されている。複数の画素１４ｐが配列されている領域が画面領域ＳＡをなす。画面領域ＳＡにおける明るさ、もしくは、色の分布により表示情報が表現される。画面領域ＳＡの一部の領域である透過領域ＴＡでは、その周囲の領域である通常領域ＮＡよりも画素１４ｐが疎らに配置されている。透過領域ＴＡでは、隣り合う画素１４ｐ同士が完全に接触せず間隙をもって配列される。透過領域ＴＡへの入射光は画素間の間隙を通過してカメラ２８の光学系に入射される。なお、透過領域ＴＡにおける画素間隔は、通常領域ＮＡにおける画素間隔と等しくてもよい。その場合、透過領域ＴＡに配置される画素の大きさを、通常領域ＮＡに配置される画素の大きさよりも小さくしてもよい。

【0021】

このように、情報処理装置１０には、ディスプレイ１４と、カメラ２８が備わる。ディスプレイ１４は、複数の画素が配列された画面領域を有する。カメラ２８には、透過領域ＴＡを透過した光が入射される。透過領域ＴＡは、ディスプレイ１４の画面領域ＳＡの一部の領域をなす。情報処理装置１０は、透過領域ＴＡに表示情報が提示されるときに取得される第１画像と、表示情報が提示されずに取得される第２画像との差分画像を生成する。情報処理装置１０は、透過領域ＴＡに表示情報が提示されるときに撮像される第３画像と差分画像との差分を復元画像として生成する。即ち、第３画像からディスプレイ１４に表示される表示情報の影響を除去して復元画像が得られる。

【0022】

次に、本実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図３は、本実施形態に係る情報処理装置１０のハードウェア構成例を示す概略ブロック図である。情報処理装置１０は、プロセッサ１１、メインメモリ１２、ビデオサブシステム１３、ディスプレイ１４、チップセット２１、ＲＯＭ２２、補助記憶装置２３、オーディオシステム２４、通信モジュール２５、入出力インタフェース２６、カメラ２８、ＥＣ３１、入力デバイス３２、電源回路３３、および、バッテリ３４を備える。

【0023】

プロセッサ１１は、ソフトウェア（プログラム）に記述された命令で指示される種々の演算処理を実行する中核的な処理装置である。プロセッサ１１が実行する処理には、メインメモリ１２、補助記憶装置２３などの記憶媒体とのデータの読み書き、他のデバイスとの入出力などが含まれる。プロセッサ１１には、少なくとも１個のＣＰＵが含まれる。ＣＰＵは、情報処理装置１０全体の動作を制御する。ＣＰＵは、例えば、ＯＳ（Operating System）、ファームウェア、デバイスドライバ、ユーティリティ、アプリケーションプログラム（本願では、「アプリ」と呼ぶこともある）など、プログラムに基づく処理を実行する。なお、本願では、各種のプログラムに記述された指令（コマンド）で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。

【0024】

メインメモリ１２は、プロセッサ１１の実行プログラムの読み込み領域として、または、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。プロセッサ１１とメインメモリ１２は、ホストシステム１００（後述）をなす最小限のハードウェアに相当する。ホストシステム１００は、情報処理装置１０の中核をなすコンピュータシステムである。

【0025】

ビデオサブシステム１３は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含む。ビデオコントローラは、プロセッサ１１からの描画命令を処理し、得られた描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出し、表示情報を示す表示データとしてディスプレイ１４に出力する（画像処理）。

【0026】

ディスプレイ１４は、ビデオサブシステム１３から入力される表示データに基づく表示画面を表示する。ディスプレイ１４は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode、有機発光ダイオード）ディスプレイなどのいずれであってもよい。

【0027】

チップセット２１は、複数のコントローラを備え、複数のデバイスと各種のデータを入出力できるように接続可能とする。コントローラは、例えば、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（ＡＴ Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、および、ＬＰＣ（Low Pin Count）などのバスコントローラのいずれか１個または組み合わせである。複数のデバイスとして、例えば、ＲＯＭ２２、補助記憶装置２３、オーディオシステム２４、通信モジュール２５、入出力インタフェース２６、および、ＥＣ３１が含まれる。

【0028】

ＲＯＭ（Read Only Memory）２２は、主にシステムファームウェア、ＥＣ３１その他のデバイスの動作を制御するためのファームウェアなどを記憶する。ＲＯＭ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュＲＯＭなどのいずれでもよい。

【0029】

補助記憶装置２３は、プロセッサ１１その他のデバイスでの処理に用いられる各種のデータ、または、それらの処理により取得された各種のデータ、各種のプログラムなどを記憶する。補助記憶装置２３は、例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などのいずれか１個またはいずれかの組み合わせであってもよい。

【0030】

オーディオシステム２４は、マイクロホンとスピーカ（図示せず）が接続され、音声データの記録、再生および出力を行う。なお、マイクロホンとスピーカは、情報処理装置１０に内蔵されてもよいし、情報処理装置１０とは別体であってもよい。

【0031】

通信モジュール２５は、無線または有線で通信ネットワークに接続する。通信モジュール２５は、通信ネットワークに接続される他の機器との間で各種のデータを通信する。通信モジュールは、例えば、無線ＬＡＮ（Local Area Network）を含み、所定の無線通信方式（例えば、ＩＥＥＥ８０２．１１）に従って機器間で各種のデータを送受信可能とする。

【0032】

入出力インタフェース２６は、周辺機器をはじめとする各種のデバイスと有線または無線で接続する。入出力インタフェース２６は、例えば、ＵＳＢの規定に従って有線でデータを入出力するためのコネクタである。

【0033】

カメラ２８は、視野内に所在する被写体の像を含む画像を撮像する。カメラ２８は、撮像により得られた撮像画像を示す撮像画像データをプロセッサ１１にチップセット２１を経由して出力する。

【0034】

ＥＣ（Embedded Controller）３１は、情報処理装置１０のシステムの動作状態に関わらず、各種デバイス（周辺装置やセンサ等）を監視し、制御するワンチップマイコン（One-Chip Microcomputer）である。ＥＣ３１は、プロセッサ１１とは別個にＣＰＵ、ＲＯＭ、ＲＡＭ、複数チャネルのＡ／Ｄ（Analog-to-Digital）入力端子、Ｄ／Ａ（Digital-to-Analog）出力端子、タイマおよびデジタル入出力端子（図示せず）を備える。ＥＣ３１の入出力端子には、例えば、入力デバイス３２、電源回路３３などが接続される。

【0035】

入力デバイス３２は、ユーザの操作を検出し、検出した操作に応じた操作信号をＥＣ３１に出力する。上記のキーボード１０７およびタッチパッド１０９が入力デバイス３２に相当する。入力デバイス３２は、タッチセンサであってもよく、ディスプレイ１４と重なり合い、タッチパネルとして構成されてもよい。

【0036】

電源回路３３は、外部電源、または、バッテリ３４から供給される直流電力の電圧を、情報処理装置１０を構成する各デバイスの動作に要する電圧に変換し、変換した電圧を有する電力を供給先のデバイスに供給する。電源回路３３は、ＥＣ３１の制御に従って、電力供給を実行する。電源回路３３は、自器に供給される電力の電圧を変換する変換器と、電圧が変換された電力をバッテリ３４に充電する給電器を備える。給電器は、外部電源から供給される電力のうち、各デバイスにおいて消費されずに残された電力をバッテリ３４に充電する。外部電源から電力が供給されない場合、または、外部電源から供給される電力が不足する場合には、バッテリ３４から放電される電力を、動作電力として各デバイスに供給する。
バッテリ３４は、電源回路３３を用いて電力を充電または放電する。バッテリ３４は、例えば、リチウムイオン電池、ナトリウムイオン電池、などのいずれでもよい。

【0037】

次に、本実施形態に係る情報処理装置１０の機能構成例について説明する。図４は、本実施形態に係る情報処理装置１０の機能構成例を示す概略ブロック図である。情報処理装置１０は、カメラ２８と、ホストシステム１００と、ディスプレイ１４と、記憶部１２０と、を備える。ホストシステム１００の機能の一部または全部は、プロセッサ１１がＯＳ上でアプリケーションプログラム（本願では、「アプリ」と呼ぶことがある）、その他のプログラムを実行し、メインメモリ１２、カメラ２８、ディスプレイ１４、記憶部１２０、および、その他のハードウェアと協働して実現される。

【0038】

ホストシステム１００は、表示制御部１０２、差分画像生成部１０４、画像復元部１０６、および、出力処理部１０８を備える。
表示制御部１０２は、ディスプレイ１４への表示データに基づく表示情報の表示を制御する。表示制御部１０２は、例えば、入力デバイス３２または入出力インタフェース２６から入力される操作信号に従って、例えば、輝度、コントラスト、表示の要否（ＯＮ／ＯＦＦ）などが制御する。表示情報は、他のプログラム（アプリを含む）の実行により取得されうる。表示情報は、文字、図形、記号、および、模様のいずれか１個またはいずれかの組み合わせに相当する。表示情報は表示画面として構成され、通例、透過領域ＴＡと通常領域ＮＡを含む画面領域ＳＡに跨って表示されうる。表示情報には、動画像が含まれることも、動画像を含まずに静止情報が含まれることがある。

【0039】

差分画像生成部１０４は、透過領域ＴＡに表示情報が表示されるとき、カメラ２８が撮像した撮像画像を示す撮像画像データを取得する。本願では、表示情報が表示されるときに取得される画像を「第１画像」と呼ぶことがある。その後、差分画像生成部１０４は、ディスプレイ１４に対し、少なくとも透過領域ＴＡへの表示情報の表示を停止させる。差分画像生成部１０４は、透過領域ＴＡに表示情報が表示されないとき、カメラ２８が撮像した撮像画像を示す撮像画像データを取得する。本願では、表示情報が表示されないときに取得される画像を「第２画像」と呼ぶことがある。但し、差分画像生成部１０４は、第１画像と共通の視野において共通の被写体の像を表す第２画像を取得する。その後、差分画像生成部１０４は、ディスプレイ１４に対し、表示情報の表示を再開させてもよい。

【0040】

差分画像生成部１０４は、第１画像と第２画像との差分を差分画像として生成する。差分画像生成部１０４は、差分画像を生成する際、第１画像を示す信号値から第２画像を示す信号値との差分値を画素ごとに算出する。差分画像生成部１０４は、画素ごとに算出した差分値を示す画像データを差分画像データとして生成し、生成した差分画像データを記憶部１２０に記憶する。従って、第１画像のうち透過領域ＴＡに配置される画素の発光に起因する成分が差分画像として抽出される。

【0041】

次に、差分画像の生成例について説明する。図５は、差分画像の生成例を示す説明図である。図５は、第１画像、第２画像および差分画像をその順に左右に示す。第１画像と第２画像は、いずれも視野内における無地の背景を表し被写体として中央部に星形を表す。但し、第１画像は第２画像よりも全体として明るく、コントラストが低下している。特に、中央部から底辺にわたる領域において他の領域よりも両画像の輝度差が著しい。差分画像には被写体の像が表れず、中央部から底辺にわたる領域において他の領域よりも明るい背景を有する。

【0042】

図４に戻り、画像復元部１０６について説明する。画像復元部１０６は、透過領域ＴＡに表示情報が表示されるとき、カメラ２８が撮像した撮像画像を示す撮像画像データを取得する。本願では、表示情報が表示されるときに画像復元部１０６により取得される画像を「第３画像」と呼ぶことがある。一般に、第３画像は第１画像および第２画像よりも後の時点で取得される。第１画像が取得される時期は、第２画像が取得される時期よりも先行してもよいし、後になってもよい。但し、透過領域ＴＡに表される表示情報は、第１画像、第２画像それぞれの撮像時における表示情報と共通であることが望ましい。

【0043】

画像復元部１０６は、記憶部１２０から差分画像信号を参照し、第３画像と差分画像との差分を復元画像として生成する。復元画像を生成する際、画像復元部１０６は、第３画像の信号値と差分画像の信号値との差分値を画素ごとに算出する。画像復元部１０６は、画素ごとに算出した差分値を示す画像データを、復元画像を示す復元画像データとして生成し、出力処理部１０８に出力する。

【0044】

次に、復元画像の生成例について説明する。図６は、復元画像の生成例を示す説明図である。図６は、第３画像、差分画像および復元画像をその順に左右に示す。第３画像は、透過領域ＴＡに表示情報が表示されるとき、第１画像もしくは第２画像とは異なる被写体として人物の頭部を表す。第３画像の背景のうち、中央部から底辺にわたる領域が、その他よりも明るい。図６に例示される差分画像は、図５に例示される差分画像と同じ画像である。復元画像には、第３画像と共通の被写体が表され、背景における輝度は、空間的に均一であり、第３画像の背景における輝度よりも全体として暗くなる。第３画像において復元中央部から底辺にわたる領域において、その周囲の領域における輝度よりも高くなる現象は、差分画像を差し引いて解消される。

【0045】

図４に戻り、出力処理部１０８について説明する。出力処理部１０８は、画像復元部１０６から取得される復元画像データの出力に関する係る処理を行う。出力処理部１０８は、復元画像データをディスプレイ１４または入出力インタフェース２６を経由して他機器に出力してもよいし、記憶部１２０に記憶してもよい。復元画像データの出力先は、入力デバイス３２または入出力インタフェース２６から入力される操作信号により指示されてもよいし、他のアプリの処理により生成される制御信号により指示されてもよい。

【0046】

次に、本実施形態に係る撮像画像処理の例について説明する。図７は、本実施形態に係る撮像画像処理を例示するフローチャートである。
（ステップＳ１０２）表示制御部１０２は、表示データを取得し、表示データに示される表示情報をディスプレイ１４に表示させる。
（ステップＳ１０４）差分画像生成部１０４は、ディスプレイ１４に表示情報を表示させているとき、カメラ２８に第１画像を撮像させ、カメラ２８から第１画像を取得する。

【0047】

（ステップＳ１０６）差分画像生成部１０４は、ディスプレイ１４の表示情報の表示を一時的に停止する。
（ステップＳ１０８）差分画像生成部１０４は、ディスプレイ１４に表示情報が表示されないとき、カメラ２８に第２画像を撮像させ、カメラ２８から第２画像を取得する。
（ステップＳ１１０）差分画像生成部１０４は、第１画像と第２画像との差分を差分画像として生成する。

【0048】

（ステップＳ１１２）差分画像生成部１０４は、ディスプレイ１４に表示情報の表示を再開させる。
（ステップＳ１１４）画像復元部１０６は、ディスプレイ１４に表示情報を表示させているとき、カメラ２８に第３画像を撮像させ、カメラ２８から第３画像を取得する。
（ステップＳ１１６）画像復元部１０６は、第３画像と差分画像との差分を復元画像として生成する。その後、図７の処理を終了する。

【0049】

なお、図７の処理では、ステップＳ１１０において差分画像が生成された後、表示情報が変更されずに維持されている間、ステップＳ１０２～Ｓ１１２の処理が省略され、ステップＳ１１４とステップＳ１１６の処理が繰り返されてもよい。
また、ステップＳ１０４において差分画像生成部１０４は、表示制御部１０２からディスプレイ１４に出力される表示データを監視（モニタ）し、ディスプレイ１４の少なくとも透過領域ＴＡに表示情報を表示させているか否かを判定してもよい。
同様に、ステップＳ１１４において、画像復元部１０６は、表示制御部１０２から出力される表示データに基づいて、少なくとも透過領域ＴＡに表示情報を表示させているか否かを判定することができる。

【0050】

ステップＳ１１４では、画像復元部１０６は、当該ステップにおいて表示制御部１０２からの表示データで通知される表示情報が、ステップＳ１０４において表示制御部１０２からの表示データで通知される表示情報と同一であるか否かを判定してもよい。画像復元部１０６は、同一と判定する場合、第３画像の撮像に進み、同一と判定しない場合、第３画像の撮像に進まず、図７の処理を終了してもよい。

【0051】

表示制御部１０２は、表示情報として静止画像をディスプレイ１４に表示させる場合、図７の処理の実行を開始してもよい。これにより、ステップＳ１１４において、ステップＳ１０４における表示情報と同一の表示情報が表示され、図７の処理を成功裏に終了する可能性を高めることができる。表示制御部１０２は、その静止画像の表示が終了するとき、図７の処理を終了させてもよい。静止画像の表示の終了は、例えば、画面消去を示す操作信号により指示されることがある。
また、表示制御部１０２は、新たな静止画像をディスプレイ１４に表示させる都度、図７の処理を開始してもよい。これにより、静止画像ごとに異なる影響を示す差分画像を用いて第３画像から復元画像が取得される。

【0052】

差分画像生成部１０４は、情報処理装置１０のユーザがディスプレイ１４に対面していないとき、ステップＳ１０４～Ｓ１１２の処理を実行してもよい。ユーザが表示情報の表示と非表示の切り替えに気づくために、違和感を与える可能性が低下する。また、ユーザがディスプレイ１４に対面しながら移動または出没するために、第１画像と第２画像の間で被写体の像が変動する可能性が低下する。

【0053】

そこで、表示制御部１０２は、ステップＳ１０４の処理に進む前、少なくともステップＳ１１２の処理が終了するまでの間、カメラ２８の視野外への退却を案内するための案内情報をディスプレイ１４に表示させてもよい。案内情報には、例えば、「ただいま画面下のカメラの設定を行います。設定終了のメッセージが表れるまで、カメラに映らないようにディスプレイ１４の左側または右側に除けてください。」とのメッセージが含まれる。表示制御部１０２は、ステップＳ１１２の処理が終了するとき、「設定終了」のメッセージをディスプレイ１４に表示させる。案内情報の表示領域には、透過領域ＴＡが含まれてもよいし、含まれなくてもよい。

【0054】

また、情報処理装置１０は、自装置の周囲において人物を検出する検出部を備えてもよい。情報処理装置１０は、検出部の一例として人感センサ（図示せず）を備え、当該センサから一定の検出範囲内に人物の所在を検出するとき、人物の所在を示す検出信号を表示制御部１０２に出力してもよい。情報処理装置１０は、人感センサに代え、または、人感センサとともに画像認識処理を備える画像認識部（図示せず）を備えてもよい。画像認識部は、カメラ２８から入力される撮像画像データに示される撮像画像に対して公知の画像認識処理を実行し、撮像画像に表れる被写体として人物を検出できるか否かを判定する。画像認識部は、人物を検出するとき、人物の所在を示す検出信号を表示制御部１０２に出力する。

【0055】

表示制御部１０２は、人感センサまたは画像認識部から検出信号が入力されるとき、図７の処理を実行せず、その検出信号が入力されないとき、図７の処理を実行する。但し、差分画像の生成後であって、表示情報が変化せずに一定に維持されているとき、その表示情報に係る差分画像を用いてステップＳ１１４とステップＳ１１６の処理が実行されてもよい。

【0056】

＜第２の実施形態＞
次に、本願の第２の実施形態について説明する。本実施形態の説明は、第１の実施形態との差分を主とし、第１の実施形態との共通点については、特に断らない限りその説明を援用する。

【0057】

図８は、本実施形態に係る情報処理装置１０の機能構成例を示す概略ブロック図である。情報処理装置１０のホストシステム１００は、表示制御部１０２、差分画像生成部１０４、画像復元部１０６、および、出力処理部１０８の他、影響マップ設定部１１０を備える。

【0058】

影響マップ設定部１１０は、ディスプレイ１４に表示情報を表示させないとき、透過領域ＴＡに配置された画素ごとに一定の輝度で発光させて一定の撮像条件のもとで得られる画像を影響マップとして取得する。撮像条件は、撮像パラメータをもって指示される。撮像パラメータには、例えば、露出値（ＥＶ：Exposure Value）などがある。影響マップ設定部１１０には、所定の露出値を予め設定しておいてもよい。露出値は、Ｆ値と露出時間との組み合わせを示す。Ｆ値は、光学系の絞りの直径に対する対物レンズの焦点距離の比に相当する。Ｆ値は、その値が大きいほど入射される光の量が減少し撮像画像が暗くなることを示す。影響マップは、画素ごとの撮像画像に対する影響の程度を表現する画像とみなすこともできる。影響マップ設定部１１０は、取得した影響マップを示す影響マップデータを記憶部１２０に記憶する。

【0059】

図９の例では、影響マップ設定部１１０は、透過領域ＴＡに配置された各１個の画素を発光させているとき、カメラ２８に影響マップを撮像させる。影響マップ設定部１１０は、カメラ２８から画素ごとに撮像した影響マップを示す影響マップデータを取得し、取得した影響マップデータを記憶部１２０に記憶する。
影響マップ設定部１１０は、遅くとも差分画像生成部１０４が差分画像を生成する前に影響マップデータを取得し、記憶部１２０に記憶させておけば。影響マップデータの取得時期は、例えば、情報処理装置１０の生産後から出荷前までの期間内であってもよい。

【0060】

差分画像生成部１０４は、予め生成した影響マップデータを参照し、ディスプレイ１４に表示させている表示情報に基づいて差分画像を推定する。より具体的には、差分画像生成部１０４は、ディスプレイ１４に表示させている表示情報を表示制御部１０２から取得する。差分画像生成部１０４は、表示情報を取得する際、例えば、ＯＳ、ブラウザなどにおいて定義されているＡＰＩ（Application Program Interface）関数（例えば、DesktopCapture APIなど）を呼び出して、その実行結果をなす返り値として表示情報を取得することができる。推定される差分画像は、表示情報の表示中に撮像される第１画像と表示情報を表示せずに撮像される第２画像との差分に相当する。

【0061】

差分画像生成部１０４は、透過領域ＴＡに配列された画素ごとの影響マップの表示情報に基づく加重和で表される画像を差分画像として合成する。より具体的には、差分画像生成部１０４は、透過領域ＴＡに配列された画素ごとに、その画素に係る表示情報の信号値に対応する重み値を、その画素に係る影響マップを表す画面領域における信号値分布に乗じて得られる重み付き分布を算出する。信号値分布は、画素ごとの信号値をもって表される。差分画像生成部１０４は、透過領域ＴＡ内の画素ごとに算出した重み付き分布の透過領域ＴＡ内の画素間の総和を信号値分布として示す差分画像データを生成する。差分画像生成部１０４は、生成された差分画像を示す差分画像データを画像復元部１０６に出力する。

【0062】

画像復元部１０６には、差分画像生成部１０４から差分画像データが入力される。画像復元部１０６は、カメラ２８が撮像した第３画像と差分画像との差分を復元画像として生成する。差分画像生成部１０４において推定される差分画像は、表示情報の表示中に撮像される第１画像と表示情報を表示せずに撮像される第２画像との差分に相当する。本実施形態では、第１画像と第２画像を撮像せずに、影響マップデータを用いて表示情報に基づいて推定された差分情報を第３画像から差し引くことで、表示情報の第３画像への影響が除去される。

【0063】

次に、本実施形態に係る撮像画像処理の例について説明する。図１０は、本実施形態に係る撮像画像処理を例示するフローチャートである。図１０の処理は、予め影響マップデータが取得され、表示情報がディスプレイ１４に表示され、カメラ２８に撮像指令が発行され、カメラ２８が撮像を開始する場合を前提とする。

【0064】

（ステップＳ１２２）カメラ２８は、撮像画像を撮像し、撮像画像を示す撮像画像データをホストシステム１００に出力する。
（ステップＳ１２４）差分画像生成部１０４は、表示制御部１０２から表示情報を取得する。その後、ループＲ０１の処理に進む。

【0065】

（ループＲ０１）差分画像生成部１０４は、差分画像の画素ごとの信号値を初期化し、透過領域ＴＡに配置された画素ごとにステップＳ１２６の処理を実行する。
（ステップＳ１２６）差分画像生成部１０４は、記憶部１２０に記憶された影響マップデータを参照し、当該画素に係る影響マップに示される各信号値に、当該画素に係る表示情報の信号値に対応する重み値を乗算して得られる乗算値を加算して、差分画像の信号値を更新する。差分画像として、画素ごとの影響マップが、当該画素の表示情報の信号値に対応する重みで順次累積される。
差分画像生成部１０４は、透過領域ＴＡに配置された全画素についてステップＳ１２６の処理を終了したとき、ループＲ０１の処理を終了する。差分画像生成部１０４は、差分画像を示す差分画像データを画像復元部１０６に出力する。

【0066】

（ステップＳ１２８）画像復元部１０６には、カメラ２８から撮像画像データが入力され、差分画像生成部１０４から差分画像データが入力される。
画像復元部１０６は、撮像画像データに示される撮像画像と差分画像データに示される差分画像との差分を復元画像として生成する。その後、図１０の処理を終了する。

【0067】

本実施形態は、ディスプレイ１４がカラーディスプレイである場合であっても適用することができる。カラーディスプレイでは、一般に透過領域ＴＡに配置される発光単位である画素ごとに発光可能とする色が予め設定される。画素ごとの色の配列として、例えば、ストライプ配列が適用されうる。ストライプ配列は、赤色光（Ｒ）を発光可能とする赤画素、緑色光（Ｇ）を発光可能とする緑画素および青色光（Ｂ）を発光可能とする青画素の画面領域内の配列パターンの一種である。このような画素配置のもとで本実施形態を適用し、影響マップの取得ならびに取得された影響マップに基づく差分画像の合成がなされてもよい。

【0068】

なお、上記の説明は、透過領域ＴＡに配置される発光単位である画素ごとに影響マップデータが設定され、設定された影響マップデータを用いて画素ごとの表示情報の信号値に対応する重み値に基づいて差分画像を生成する場合を主としたが、これには限られない。表示情報の構成要素となる発光単位は、画素よりも細分化された単位である副画素であってもよい。即ち、個々の画素が複数の副画素（サブピクセル）を有する場合に適用されてもよい。各１個の画素は、例えば、３個の副画素を有する。３個の副画素は、それぞれ赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）を発光可能とする。

【0069】

個々の画素が複数の副画素を有する場合、影響マップ設定部１１０は、副画素ごとに一定の輝度で発光させ、一定の撮像条件に従って影響マップをカメラ２８に撮像させる。影響マップデータは、副画素ごとの影響マップを示す。差分画像処理部１０４は、表示情報を構成する副画素ごとの信号値に対応する重み値を用いて、その副画素に対応する影響マップを示す信号値との乗算値を算出し、算出した乗算値の透過領域ＴＡ内の副画素を跨ぐ合計値を差分画像として生成することができる。

【0070】

ディスプレイ１４において発光色が異なる複数種類の画素または副画素が用いられる場合、適用される撮像パラメータにホワイトバランス値が含まれてもよい。ホワイトバランス値は、複数種類の色間の信号値の比で表される。差分画像生成部１０４は、第３画像の撮像に用いた撮像パラメータを用いられるならば撮像されうる影響マップと同等の色調が得られるように、画素または副画素間の影響マップの輝度の比率を調整してもよい。

【0071】

なお、第３画像の撮像の際に用いられた撮像パラメータは、影響マップの撮像の際に用いられた撮像パラメータと異なることがある。そこで、差分画像生成部１０４は、第３画像の撮像に用いられた撮像パラメータをカメラ２８から取得し、取得した撮像パラメータに基づいて当該撮像パラメータを用いて撮像される差分画像を推定してもよい。より具体的には、差分画像生成部１０４は、カメラ２８から取得した撮像パラメータが用いられるならば撮像されうる影響マップと同等の明るさが得られるように、画素ごとの影響マップの輝度を調整する。

【0072】

差分画像生成部１０４には、例えば、撮像パラメータごとの輝度の補正量を示す補正データを予め設定しておく。差分画像生成部１０４は、補正データを参照して撮像パラメータに対応する補正量を定め、定めた補正量を影響マップの信号値を画素ごとに乗じて得られる乗算値を、輝度の調整後の影響マップの信号値として定めることができる。差分画像生成部１０４は、上記の手順を実行して表示情報と調整後の影響マップに基づいて、輝度が調整された差分画像を生成することができる。

【0073】

影響マップ設定部１１０は、撮像パラメータごとに影響マップデータを生成し、生成した影響マップデータを記憶部１２０に予め記憶しておいてもよい。差分画像生成部１０４は、第３画像の撮像に用いられた撮像パラメータをカメラ２８から取得し、記憶部１２０に記憶された影響マップデータから取得した撮像パラメータに対応する影響マップデータを選択する。差分画像生成部１０４は、選択した影響マップデータを用いて上記の手順に従って差分画像を生成することができる。この場合、差分画像生成部１０４は、撮像パラメータに基づいて影響マップの輝度を調整しなくてもよい。

【0074】

＜第３の実施形態＞
次に、本願の第３の実施形態について説明する。本実施形態の説明は、第１の実施形態との差分を主とし、第１の実施形態との共通点については、特に断らない限りその説明を援用する。

【0075】

本実施形態に係る情報処理装置１０において、表示制御部１０２は、カメラ２８から撮像した第３画像を示す撮像画像データを取得し、差分画像生成部１０４から生成された差分画像を示す差分画像データを取得する。表示制御部１０２は、取得した撮像画像データと差分画像データに基づいて第３画像における差分画像に対する成分比を算出する。表示制御部１０２は、例えば、第３画像の画素ごとの信号値の二乗和を第３画像のパワーとして算出し、差分画像の画素ごとの信号値の二乗和を差分画像のパワーとして算出する。そして、表示制御部１０２は、差分画像のパワーを第３画像のパワーで除算して成分比を算出することができる。

【0076】

表示制御部１０２は、算出した成分比が予め定めた成分比の基準値（例えば、－６ｄＢ～－２０ｄＢ）よりも大きいとき、ディスプレイ１４に表示させる表示情報の輝度を低下させてもよい。表示制御部１０２は、算出した成分比と基準値が大きいほど、小さくなるようにディスプレイ１４に供給する駆動信号に対する利得を低下させる。第３画像に含まれる表示情報の影響が高いとき、表示情報の輝度が低下することで、第３画像に含まれる表示情報の影響を低下することができる。

【0077】

表示制御部１０２は、算出した成分比が予め定めた成分比の基準値よりも大きいとき、画像復元部１０６に対し、復元画像の生成停止を示す復元停止指令を出力してもよい。表示制御部１０２から復元停止指令が入力されるとき、画像復元部１０６は、復元画像の生成を停止する。表示制御部１０２は、算出した成分比が予め定めた成分比の基準値以下となるとき、画像復元部１０６に対し、復元画像の生成を示す復元指令を出力してもよい。表示制御部１０２から復元指令が入力されるとき、画像復元部１０６は、復元画像の生成を開始してもよい。これにより、第３画像への表示情報の影響が著しい場合には、復元画像の生成が阻止される。

【0078】

次に、本実施形態に係る撮像画像処理の例について説明する。図１１は、本実施形態に係る撮像画像処理の一例を示すフローチャートである。図１１の処理は、図７の処理に対して、さらにステップＳ１３２、Ｓ１３４、および、Ｓ１３６の処理を有する。ステップＳ１１４の処理の終了後、ステップＳ１３２の処理に進む。

【0079】

（ステップＳ１３２）表示制御部１０２は、カメラ２８から撮像画像データと差分画像生成部１０４から差分画像データを取得し、第３画像における差分画像に対する成分比を算出する。
（ステップＳ１３４）表示制御部１０２は、算出した成分比が予め定めた基準値よりも大きいか否かを判定する。基準値よりも大きいと判定される場合（ステップＳ１３４ ＹＥＳ）、ステップＳ１３６の処理に進む。基準値以下と判定される場合（ステップＳ１３４ ＮＯ）、ステップＳ１１６の処理に進む。
（ステップＳ１３６）表示制御部１０２は、ディスプレイ１４に表示させる表示情報の輝度を低下させる。その後、ステップＳ１０４の処理に進む。

【0080】

図１１は、表示制御部１０２による成分比に基づく表示情報の輝度調整を図７の処理に適用する場合を例示するが、これには限られない。図１２に例示されるように、表示制御部１０２による成分比に基づく表示情報の輝度調整は、図１０の処理に適用されてもよい。図１２の処理は、図１０の処理に対して、さらにステップＳ１３２、Ｓ１３４、および、Ｓ１３６の処理を有する。

【0081】

ループＲ０１の処理の終了後、ステップＳ１３２の処理に進む。ステップＳ１３４において、基準値よりも大きいと判定される場合（ステップＳ１３４ ＹＥＳ）、ステップＳ１３６の処理に進む。ステップＳ１３６の処理の終了後、ステップＳ１２２の処理に戻る。ステップＳ１３４において、基準値以下と判定される場合（ステップＳ１３４ ＮＯ）、ステップＳ１２８の処理に進む。

【0082】

以上に説明したように、本実施形態に係る電子機器（例えば、情報処理装置１０）は、複数の画素が配列されたディスプレイ１４と、カメラ２８と、コントローラ（例えば、ホストシステム１００）と、を備える。カメラ２８にディスプレイ１４の一部の領域である透過領域ＴＡを透過した光が入射される。コントローラは、透過領域ＴＡに表示情報が表示されるときに取得される第１画像と、表示情報が表示されないときに取得される第２画像との差分画像を生成し、透過領域ＴＡに表示情報が表示されるときに撮像される第３画像と差分画像との差分である復元画像を生成する。
この構成によれば、透過領域ＴＡに表示情報が表示されるときに取得される第１画像と透過領域ＴＡに表示情報が表示されないときに取得される第２画像との差分画像として、表示情報による影響を示す差分画像が得られる。透過領域ＴＡに表示情報が表示されるときに撮像される第３画像から表示情報による影響を示す差分画像を差し引いて、第３画像から表示情報による影響が取り除かれた復元画像が得られる。表示情報をディスプレイ１４の表示を継続させながら、表示情報による画質の低下を回避または緩和した復元画像を取得することができる。

【0083】

また、コントローラは、表示情報が静止情報であるとき、カメラ２８から第１画像と第２画像を取得してもよい。
この構成により、共通の静止情報が表示されているときに第１画像と第２画像が異なる時期に取得される。そのため、差分画像による表示情報の影響が正確に反映され、ひいては、第３画像における表示情報の影響をより正確に除去することができる。

【0084】

また、電子機器は、自器の周囲において人物を検出する検出部（例えば、人感センサ、画像認識部）を備え、コントローラは、人物が検出されないとき、第１画像と第２画像を取得してもよい。
この構成によれば、電子機器の周囲に人物が検出されないときに第１画像と第２画像が取得される。そのため、人物が第１画像および第２画像の被写体として含まれないため、人物の動きによる影響が差分画像に含まれない。そのため、差分画像による表示情報の影響が正確に反映され、ひいては、第３画像における表示情報の影響をより正確に除去することができる。

【0085】

また、透過領域ＴＡに配置される発光単位（例えば、画素または副画素）ごとに一定の輝度で発光させて撮像される画像である影響マップを予め設定しておき、コントローラは、発光単位ごとに前記表示情報を表す信号値に基づいて影響マップを累積して差分画像を生成してもよい。
この構成によれば、透過領域ＴＡに表示される表示情報の画素ごとの信号値に基づいて、画素ごとの影響マップを累積して表示情報による影響を示す差分画像が生成される。個々の時点での表示情報に応じた撮像画像への影響が評価されるため、表示情報が時間経過に応じて変化する場合であっても、第３画像における表示情報の影響をより正確に除去することができる。

【0086】

また、コントローラは、第３画像の撮像パラメータに基づいて当該撮像パラメータを用いて撮像される差分画像を推定してもよい。
この構成によれば、予め取得された影響マップから第３画像の撮像パラメータを用いて得られる表示情報の影響が推定される。そのため、第３画像の撮像パラメータが影響マップの取得に用いられる撮像パラメータと異なる場合でも、第３画像における表示情報の影響をより正確に除去することができる。

【0087】

また、撮像パラメータごとに影響マップを予め設定しておき、コントローラは、第３画像の撮像パラメータに対応する影響マップを特定し、特定した影響マップを用いて差分画像を生成してもよい。
この構成によれば、第３画像の撮像パラメータに対応する影響マップを用いて差分画像が生成されるので、第３画像における表示情報の影響をより正確に除去することができる。

【0088】

また、コントローラは、第３画像における差分画像の成分比が所定の成分比の基準値より大きい場合、表示情報に対する輝度を低下させてもよい。
この構成によれば、第３画像において差分画像の成分が相対的に大きい場合、表示情報の輝度が低下する。そのため、新たに撮像する第３画像において、表示情報の影響を低減し、その画質を向上させることができる。

【0089】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

【符号の説明】

【0090】

１０…情報処理装置、１０ａ…第１筐体、１０ｂ…第２筐体、１１…プロセッサ、１２…メインメモリ、１３…ビデオサブシステム、１４…ディスプレイ、１４ｂ…基板、１４ｐ…画素、２１…チップセット、２２…ＲＯＭ、２３…補助記憶装置、２４…オーディオシステム、２５…通信モジュール、２６…入出力インタフェース、２８…カメラ、３１…ＥＣ、３２…入力デバイス、３３…電源回路、３４…バッテリ、１００…ホストシステム、１０２…表示制御部、１０４…差分画像生成部、１０６…画像復元部、１０８…出力処理部、１１０…影響マップ設定部、１２０…記憶部、１２１ａ、１２１ｂ…ヒンジ機構、ａｘ…回転軸、ＮＡ…通常領域、ＴＡ…透過領域、ＳＡ…画面領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】