特許 7603105 電子機器、および、制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-11

(45)【発行日】2024-12-19

(54)【発明の名称】電子機器、および、制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241212BHJP

   G06F 3/14 20060101ALI20241212BHJP

   G09G 3/20 20060101ALI20241212BHJP

   G09G 5/00 20060101ALI20241212BHJP

   G09G 5/10 20060101ALI20241212BHJP

   H04N 7/14 20060101ALI20241212BHJP

【ＦＩ】

H04N23/60

G06F3/14 310A

G09G3/20 642E

G09G3/20 680H

G09G3/20 691G

G09G5/00 510G

G09G5/10 B

H04N7/14 120

【請求項の数】 6

(21)【出願番号】P 2023095553

(22)【出願日】2023-06-09

【審査請求日】2023-06-09

(73)【特許権者】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100206081

【弁理士】

【氏名又は名称】片岡 央

(72)【発明者】

【氏名】塚本 泰史

(72)【発明者】

【氏名】川北 幸司

(72)【発明者】

【氏名】石神 光一朗

【審査官】門田 宏

(56)【参考文献】

【文献】特許第７３４５０２２（ＪＰ，Ｂ１）

【文献】米国特許出願公開第２０２２／０３２１７５５（ＵＳ，Ａ１）

【文献】特開昭５９－０３４７７２（ＪＰ，Ａ）

【文献】特開２０２０－１１８８７９（ＪＰ，Ａ）

【文献】特開２０１８－０６７９１５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／０３２８０２０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２２／０２０８０５３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２２／０１１６５１９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｆ ３／１４－３／１５３

Ｇ０９Ｆ ９／００

Ｇ０９Ｆ ９／３０－９／４６

Ｇ０９Ｇ ３／００－３／３８

Ｇ０９Ｇ ５／００－５／３６

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１４

Ｈ０４Ｎ ２３／５０

(57)【特許請求の範囲】

【請求項1】

複数の画素が配列された画面領域を有するディスプレイと、カメラと、コントローラと、を備え、
前記カメラに前記画面領域の一部の領域である透過領域を透過した光が入射され、
前記カメラの撮像画像は動画像であり、当該撮像画像の撮像周期はフレーム周期に対する２以上の整数の逆数倍であって、
前記コントローラは、
前記カメラから前記撮像画像を取得し、撮像の開始を検出するとき、少なくとも前記透過領域における前記撮像周期ごとの表示期間と非表示期間の繰り返しを開始し、
撮像に係るフレーム同期信号に基づいて前記表示期間と前記非表示期間の繰り返しを制御し、
前記カメラの露出期間に含まれる非表示期間ごとの撮像画像の信号値を累積し、
前記撮像画像を取得しないとき、前記透過領域における表示の制限を解除する
電子機器。

【請求項2】

前記コントローラは、
前記画面領域の全体に対して前記表示期間と前記非表示期間の繰り返しを制御する
請求項１に記載の電子機器。

【請求項3】

前記コントローラは、
前記透過領域の周囲である標準領域に対して前記表示期間と前記非表示期間の繰り返しを制御せず、
前記透過領域に対する前記表示期間における輝度を、前記標準領域における輝度よりも高くする
請求項１に記載の電子機器。

【請求項4】

前記カメラは、
前記非表示期間において撮像条件を制御する
請求項１に記載の電子機器。

【請求項5】

第１筐体と、第２筐体と、前記第１筐体が前記第２筐体に対して回動可能に係合する係合具と、を備え、
前記ディスプレイは、前記第１筐体において前記第２筐体に相対する面に設置され、前記透過領域が前記画面領域の中心部に設置される
請求項１に記載の電子機器。

【請求項6】

複数の画素が配列された画面領域を有するディスプレイと、カメラと、コントローラと、を備え、前記カメラに前記画面領域の一部の領域である透過領域を透過した光が入射される電子機器における制御方法であって、
前記カメラの撮像画像は動画像であり、当該撮像画像の撮像周期はフレーム周期に対する２以上の整数の逆数倍であって、
前記電子機器は、
前記カメラから前記撮像画像を取得し、撮像の開始を検出するとき、少なくとも前記透過領域における前記撮像周期ごとの表示期間と非表示期間の繰り返しを開始し、
撮像に係るフレーム同期信号に基づいて前記表示期間と前記非表示期間の繰り返しを制御し、
前記カメラの露出期間に含まれる非表示期間ごとの撮像画像の信号値を累積し、
前記撮像画像を取得しないとき、前記透過領域における表示の制限を解除する
制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、電子機器、および、制御方法、例えば、ディスプレイとカメラを備える電子機器に関する。

【背景技術】

【0002】

クラムシェル型ＰＣ（Personal Computer）などの電子機器には、筐体にディスプレイとカメラを備えるものがある。画面表示をできるだけ妨げないように、画面領域の中央上部に開口部が設けられ、開口部にカメラが設けられることがある。開口部は画面領域外に設けられるため画面占有率が限られてしまう。近年では画面占有率の高いＰＣが好まれ、ＣＵＤ（Camera Under Display）方式を採用したＰＣが実用化されている。

【0003】

ＣＵＤ方式は、ディスプレイの画面領域の裏面にカメラが設置される構成である。カメラは、画面領域を透過した光に表れる像を撮像する。例えば、特許文献１には、装置本体を覆い、表示領域の後方に素子領域が位置され、素子領域に表示領域を通過して集光する感光素子が含まれる表示装置について記載されている。当該感光素子には、カメラが含まれる。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０２２－５１３５０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ＣＵＤ方式では、カメラによる撮像の際、画面領域のうちカメラの光学系を覆う領域（本願では、「透過領域」と呼ぶことがある）に配置された画素を消灯することが望ましい。透過領域への画面表示を維持し、画素を点灯させる場合、画素が発光した光がカメラの光学系に入射する。そのため、撮像画像の画質が画素からの入射光により著しく変化することがある。例えば、透過領域に配置された緑画素を点灯させながら撮像される撮像画像は、緑画素を点灯させない場合よりも全体に緑がかってしまうとともに、コントラストが低下して輪郭がぼやけがちになる。

【課題を解決するための手段】

【0006】

本願は上記の課題を解決するためになされたものであり、本願の一態様に係る電子機器は、複数の画素が配列された画面領域を有するディスプレイと、カメラと、コントローラと、を備え、前記カメラに前記画面領域の一部の領域である透過領域を透過した光が入射され、前記コントローラは、前記カメラから撮像画像を取得するとき、少なくとも前記透過領域における表示を制限し、前記撮像画像を取得しないとき、前記制限を解除する。

【0007】

上記の電子機器において、前記コントローラは、一定の撮像周期ごとに少なくとも前記透過領域において表示の要否を制御し、前記カメラの露出期間に含まれる非表示期間ごとの撮像画像の信号値を累積してもよい。

【0008】

上記の電子機器において、前記コントローラは、前記画面領域の全体に対して表示の要否を制御する。

【0009】

上記の電子機器において、前記コントローラは、前記透過領域の周囲である標準領域に対して表示の要否を制御せず、前記透過領域に対する表示期間における輝度を、前記標準領域における輝度よりも高くしてもよい。

【0010】

上記の電子機器において、前記カメラは、前記透過領域に対する非表示期間において撮像条件を制御してもよい。

【0011】

上記の電子機器において、第１筐体と、第２筐体と、前記第１筐体が前記第２筐体に対して回動可能に係合する係合具と、を備え、 前記ディスプレイは、前記第１筐体において前記第２筐体に相対する面に設置され、前記透過領域が前記画面領域の中心部に設置されてもよい。

【0012】

本願の第２態様に係る制御方法は、複数の画素が配列された画面領域を有するディスプレイと、カメラと、コントローラと、を備え、前記カメラに前記画面領域の一部の領域である透過領域を透過した光が入射される電子機器における制御方法であって、前記電子機器は、前記カメラから撮像画像を取得するとき、少なくとも前記透過領域における表示を制限し、前記撮像画像を取得しないとき、前記制限を解除する制御方法。

【発明の効果】

【0013】

本実施形態によれば、画面領域への画面表示を実現しながら、撮像画像の画質低下を回避することができる。

【図面の簡単な説明】

【0014】

【図1】本実施形態に係る電子機器の外観構成例を示す正面図である。

【図2】本実施形態に係る電子機器の断面を例示する断面図である。

【図3】本実施形態に係る電子機器のハードウェア構成例を示す概略ブロック図である。

【図4】本実施形態に係る電子機器の機能構成例を示す概略ブロック図である。

【図5】本実施形態に係る表示と撮像の同期制御例を示す説明図である。

【図6】本実施形態に係る出力画像の取得例を示す説明図である。

【図7】ディスプレイに配列した画素の輝度の時間変化の第１例を示す図である。

【図8】ディスプレイに配列した画素の輝度の時間変化の第２例を示す図である。

【図9】本実施形態に係る撮像制御処理を例示するフローチャートである。

【図10】本実施形態に係る電子機器の他の外観構成例を示す正面図である。

【発明を実施するための形態】

【0015】

以下、本願の実施形態に係る電子機器について、図面を参照して説明する。以下の説明では、本実施形態に係る電子機器がクラムシェル型ＰＣとして構成された情報処理装置１０である場合を例にする。クラムシェル型ＰＣは、ノートブック型ＰＣまたはノートＰＣとも呼ばれる。図１は、本実施形態に係る電子機器の外観構成例を示す正面図である。図２は、本実施形態に係る電子機器の断面を例示する断面図である。

【0016】

情報処理装置１０は、第１筐体１０ａと第２筐体１０ｂを備える。第１筐体１０ａは第２筐体１０ｂに対して回動可能とし、第１筐体１０ａの表面と第２筐体１０ｂの表面がなす角度（本願では、「開閉角度」、と呼ぶことがある）を可変とする。第１筐体１０ａの長辺と、第２筐体１０ｂの長辺が、ヒンジ機構１２１ａ、１２１ｂを用いて結合される。ヒンジ機構１２１ａ、１２１ｂは、回転軸ａｘ回りに第１筐体１０ａを第２筐体１０ｂに対して相対的に回動可能とする。回転軸ａｘの方向は、第１筐体１０ａの長辺と、第２筐体１０ｂの長辺のいずれにも平行である。ヒンジ機構１２１ａ、１２１ｂは、多少のトルクがかけられても任意の開閉角度θを維持することができる。

【0017】

第１筐体１０ａは箱状に形成される。第１筐体１０ａの表面には、ディスプレイ１４とカメラ２８が搭載される。第２筐体１０ｂの内部には、その他の部材が格納される。また、第２筐体１０ｂの表面には、キーボード１０７およびタッチパッド１０９が搭載されている。第１筐体１０ａが第２筐体１０ｂに対して開いた状態では、第１筐体１０ａの正面に対面するユーザは、ディスプレイ１４に表された表示情報を見ることができ、キーボード１０７およびタッチパッド１０９に対し入力操作を行うことができる。このとき、カメラ２８がユーザの頭部の像を撮像することができる。以下の説明では、第１筐体１０ａと第２筐体１０ｂを単に「筐体」と総称することがある。

【0018】

ディスプレイ１４は、ほぼ平板の形状を有し、ディスプレイパネルとして構成される。ディスプレイ１４は、第１筐体１０ａの表面の大部分を覆い、その外周が第１筐体１０ａにより支持されている。ディスプレイ１４は、基板１４ｂを備える。基板１４ｂには、複数の画素１４ｐが一定間隔で二次元配列されている。複数の画素１４ｐが配列されている領域が画面領域ＳＡをなす。画面領域ＳＡにおける明るさ、もしくは、色の分布により表示情報が表現される。画面領域ＳＡの一部の領域である透過領域ＴＡでは、その周囲の領域である通常領域ＮＡよりも画素１４ｐが疎らに配置されている。透過領域ＴＡでは、隣り合う画素１４ｐ同士が完全に接触せず間隙をもって配列される。透過領域ＴＡへの入射光は画素間の間隙を通過してカメラ２８の光学系に入射される。なお、透過領域ＴＡにおける画素間隔は、通常領域ＮＡにおける画素間隔と等しくてもよい。その場合、透過領域ＴＡに配置される画素の大きさを、通常領域ＮＡに配置される画素の大きさよりも小さくしてもよい。

【0019】

このように、情報処理装置１０には、ディスプレイ１４と、カメラ２８が備わる。ディスプレイ１４は、複数の画素が配列された画面領域を有する。カメラ２８には、透過領域ＴＡを透過した光が入射される。透過領域ＴＡは、ディスプレイ１４の画面領域ＳＡの一部の領域をなす。情報処理装置１０は、カメラ２８から撮像画像を取得するとき、透過領域ＴＡへの表示を制限し、カメラ２８から撮像画像を取得しないとき、透過領域ＴＡへの表示の制限を解除する。透過領域ＴＡへの表示の要否を短い周期で切り替えることでディスプレイ１４への表示情報がユーザに視認され、非表示期間において撮像された撮像画像に表示による影響を及ぼさせずに済む。

【0020】

次に、本実施形態に係る電子機器のハードウェア構成例について説明する。図３は、本実施形態に係る電子機器のハードウェア構成例を示す概略ブロック図である。情報処理装置１０は、プロセッサ１１、メインメモリ１２、ビデオサブシステム１３、ディスプレイ１４、チップセット２１、ＲＯＭ２２、補助記憶装置２３、オーディオシステム２４、通信モジュール２５、入出力インタフェース２６、カメラ２８、ＥＣ３１、入力デバイス３２、電源回路３３、および、バッテリ３４を備える。

【0021】

プロセッサ１１は、ソフトウェア（プログラム）に記述された命令で指示される種々の演算処理を実行する中核的な処理装置である。プロセッサ１１が実行する処理には、メインメモリ１２、補助記憶装置２３などの記憶媒体とのデータの読み書き、他のデバイスとの入出力などが含まれる。プロセッサ１１には、少なくとも１個のＣＰＵが含まれる。ＣＰＵは、情報処理装置１０全体の動作を制御する。ＣＰＵは、例えば、ＯＳ（Operating System）、ファームウェア、デバイスドライバ、ユーティリティ、アプリケーションプログラム（本願では、「アプリ」と呼ぶこともある）など、プログラムに基づく処理を実行する。なお、本願では、各種のプログラムに記述された指令（コマンド）で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。

【0022】

メインメモリ１２は、プロセッサ１１の実行プログラムの読み込み領域として、または、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。プロセッサ１１とメインメモリ１２は、ホストシステム１００（後述）をなす最小限のハードウェアに相当する。ホストシステム１００は、情報処理装置１０の中核をなすコンピュータシステムである。

【0023】

ビデオサブシステム１３は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含む。ビデオコントローラは、プロセッサ１１からの描画命令を処理し、得られた描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出し、表示情報を示す表示データとしてディスプレイ１４に出力する（画像処理）。

【0024】

ディスプレイ１４は、ビデオサブシステム１３から入力される表示データに基づく表示情報を表示する。ディスプレイ１４に備わる発光素子は、駆動信号に対する応答性が高い素材を有することが望ましい。ディスプレイ１４は、例えば、ＯＬＥＤ（Organic Light Emitting Diode、有機発光ダイオード）ディスプレイである。

【0025】

チップセット２１は、複数のコントローラを備え、複数のデバイスと各種のデータを入出力できるように接続可能とする。コントローラは、例えば、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（ＡＴ Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、および、ＬＰＣ（Low Pin Count）などのバスコントローラのいずれか１個または組み合わせである。複数のデバイスとして、例えば、ＲＯＭ２２、補助記憶装置２３、オーディオシステム２４、通信モジュール２５、入出力インタフェース２６、および、ＥＣ３１が含まれる。

【0026】

ＲＯＭ（Read Only Memory）２２は、主にシステムファームウェア、ＥＣ３１その他のデバイスの動作を制御するためのファームウェアなどを記憶する。ＲＯＭ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュＲＯＭなどのいずれでもよい。

【0027】

補助記憶装置２３は、プロセッサ１１その他のデバイスでの処理に用いられる各種のデータ、または、それらの処理により取得された各種のデータ、各種のプログラムなどを記憶する。補助記憶装置２３は、例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などのいずれか１個またはいずれかの組み合わせであってもよい。

【0028】

オーディオシステム２４は、マイクロホンとスピーカ（図示せず）が接続され、音声データの記録、再生および出力を行う。なお、マイクロホンとスピーカは、情報処理装置１０に内蔵されてもよいし、情報処理装置１０とは別体であってもよい。

【0029】

通信モジュール２５は、無線または有線で通信ネットワークに接続する。通信モジュール２５は、通信ネットワークに接続される他の機器との間で各種のデータを通信する。通信モジュールは、例えば、無線ＬＡＮ（Local Area Network）を含み、所定の無線通信方式（例えば、ＩＥＥＥ８０２．１１）に従って機器間で各種のデータを送受信可能とする。

【0030】

入出力インタフェース２６は、周辺機器をはじめとする各種のデバイスと有線または無線で接続する。入出力インタフェース２６は、例えば、ＵＳＢの規定に従って有線でデータを入出力するためのコネクタである。

【0031】

カメラ２８は、視野内に所在する被写体の像を含む画像を撮像する。カメラ２８は、撮像により得られた撮像画像を示す画像データをプロセッサ１１にチップセット２１を経由して出力する。

【0032】

ＥＣ（Embedded Controller）３１は、情報処理装置１０のシステムの動作状態に関わらず、各種デバイス（周辺装置やセンサ等）を監視し、制御するワンチップマイコン（One-Chip Microcomputer）である。ＥＣ３１は、プロセッサ１１とは別個にＣＰＵ、ＲＯＭ、ＲＡＭ、複数チャネルのＡ／Ｄ（Analog-to-Digital）入力端子、Ｄ／Ａ（Digital-to-Analog）出力端子、タイマおよびデジタル入出力端子（図示せず）を備える。ＥＣ３１の入出力端子には、例えば、入力デバイス３２、電源回路３３などが接続される。

【0033】

入力デバイス３２は、ユーザの操作を検出し、検出した操作に応じた操作信号をＥＣ３１に出力する。上記のキーボード１０７およびタッチパッド１０９が入力デバイス３２に相当する。入力デバイス３２は、タッチセンサであってもよく、ディスプレイ１４と重なり合い、タッチパネルとして構成されてもよい。入力デバイス３２として、専用のボタンが備わってもよい。

【0034】

電源回路３３は、外部電源、または、バッテリ３４から供給される直流電力の電圧を、情報処理装置１０を構成する各デバイスの動作に要する電圧に変換し、変換した電圧を有する電力を供給先のデバイスに供給する。電源回路３３は、ＥＣ３１の制御に従って、電力供給を実行する。電源回路３３は、自器に供給される電力の電圧を変換する変換器と、電圧が変換された電力をバッテリ３４に充電する給電器を備える。給電器は、外部電源から供給される電力のうち、各デバイスにおいて消費されずに残された電力をバッテリ３４に充電する。外部電源から電力が供給されない場合、または、外部電源から供給される電力が不足する場合には、バッテリ３４から放電される電力を、動作電力として各デバイスに供給する。
バッテリ３４は、電源回路３３を用いて電力を充電または放電する。バッテリ３４は、例えば、リチウムイオン電池、ナトリウムイオン電池、などのいずれでもよい。

【0035】

次に、本実施形態に係る電子機器の機能構成例について説明する。図４は、本実施形態に係る電子機器の機能構成例を示す概略ブロック図である。情報処理装置１０は、カメラ２８と、ホストシステム１００と、ディスプレイ１４と、記憶部１２０と、を備える。ホストシステム１００は、ホストシステム１００の機能の一部または全部は、プロセッサ１１がＯＳ上でアプリケーションプログラム（本願では、「アプリ」と呼ぶことがある）、デバイスドライバ、その他のプログラムを実行し、メインメモリ１２、カメラ２８、ディスプレイ１４、記憶部１２０、および、その他のハードウェアと協働して実現される。

【0036】

ホストシステム１００は、撮像制御部１０２、表示制御部１０４、撮像画像処理部１０６および出力処理部１０８を備える。
撮像制御部１０２は、自部に入力される撮像指令に基づいてカメラ２８に撮像させる。撮像指令は、例えば、入力デバイス３２または入出力インタフェース２６から入力される操作信号で指示される。撮像指令は、他のアプリの処理により指示されることがある。撮像指令により動画像の撮像が指示されることも、静止画像の撮像が指示されることもある。

【0037】

撮像指令には、撮像パラメータが含まれること、または、撮像指令と対応付けて入力されることがある。撮像パラメータは、例えば、合焦距離、Ｆ値、などのいずれか１項目、もしくは、いずれかの組合せである。動画像に対する撮像パラメータには、フレームレートが含まれうる。静止画像に対する撮像パラメータには、露出時間（シャッタースピード）が含まれうる。撮像制御部１０２は、操作信号で指示される撮像指令をカメラ２８と撮像画像処理部１０６に出力する。カメラ２８は、撮像制御部１０２から入力される撮像指令に従って撮像する。なお、カメラ２８は、公知の手法を用いて視野内の環境に応じて撮像パラメータを制御してもよい（自動制御）。その場合、カメラ２８は、自身が定めた撮像パラメータを用いて撮像を行い、その撮像パラメータを撮像画像処理部１０６に通知してもよい。

【0038】

表示制御部１０４は、ディスプレイ１４への表示データに基づく表示情報の表示を制御する。表示情報は、他のプログラム（アプリを含む）の実行により取得されうる。表示情報は、文字、図形、記号、および、模様のいずれか１個またはいずれかの組み合わせに相当する。表示情報は表示画面として構成され、通例、透過領域ＴＡと通常領域ＮＡに跨って表示されうる。表示制御部１０４は、カメラ２８が撮像する画像（本願では、「撮像画像」と呼ぶ）を取得するときディスプレイ１４に表示情報を表示させ、撮像画像を取得しないとき表示情報を表示させる。

【0039】

表示制御部１０４は、例えば、撮像画像処理部１０６からの撮像同期信号（トリガ）の入力を検出するとき、撮像周期をなす表示期間と非表示期間の繰り返しを開始する。また、表示制御部１０４は、撮像画像処理部１０６からの同期解除信号（トリガ解除）の入力を検出するとき、表示期間と非表示期間の繰り返しを停止し、表示情報の表示を維持する。カメラ２８の撮像期間は、表示情報を表示させる表示期間に含まれ、表示情報を非表示とする非表示期間には含まれない。

【0040】

撮像周期は、発光素子の応答時間よりも十分に長く、人間が点滅による明るさの時間変化を知覚せず、明るさが一定に維持される状態が知覚される程度に短ければよい。撮像周期は、例えば、１／３０秒以下とすればよい。撮像周期は、典型的には、１ｍｓ～１７ｍｓ程度である。撮像画像が動画像である場合、撮像周期は撮像画像のフレーム周期と等しいか、そのフレーム周期に対する整数の逆数倍であってもよい。その場合、表示制御部１０４は、撮像に係るフレーム同期信号に基づいて表示期間と非表示期間の繰り返しを制御してもよい。

【0041】

表示制御部１０４は、表示期間においてディスプレイ１４に対して表示情報を表示させる。表示情報を表示させるとき、表示制御部１０４は、例えば、個々の表示期間の開始時に表示期間の開始を示す表示開始信号をディスプレイ１４に出力する。ディスプレイ１４にタイミングコントローラ（図示せず）は、表示制御部１０４から入力される表示開始信号を検出するとき、画面領域ＳＡに配置された画素に駆動信号を出力する。表示情報を表示させないとき、表示制御部１０４は、例えば、表示期間の表示期間の終了を示す表示終了信号をディスプレイ１４に出力する。ディスプレイ１４にタイミングコントローラは、表示制御部１０４から入力される表示終了信号を検出するとき、画面領域ＳＡに配置された画素への駆動信号の出力を停止する。

【0042】

撮像画像処理部１０６は、撮像制御部１０２から撮像指令が入力されるときカメラ２８から撮像画像信号の入力を監視（モニタ）する。撮像画像処理部１０６は、撮像画像信号を検出することでカメラ２８における撮像の開始を検出する。このとき、撮像画像処理部１０６は、撮像同期信号を表示制御部１０４に出力する。また、撮像画像処理部１０６は、予め定めた撮像周期ごとに撮像期間と非撮像期間を繰り返す。

【0043】

撮像画像処理部１０６は、撮像期間においてカメラ２８のタイミングコントローラから入力される撮像画像信号を採用し（キャプチャ）、非撮像期間においてカメラ２８から入力される撮像画像信号を廃棄する。撮像画像処理部１０６は、撮像期間ごとに表示制御部１０４から入力される撮像画像信号で指示される画素ごとの信号値を、撮像期間の総和である総取得時間が露出時間に達するまで累積する。撮像画像処理部１０６は、画素ごとに信号値を累積して得られる累積値を出力画像の信号値として定める。撮像画像処理部１０６は、出力画像を示す出力画像データを生成し、出力処理部１０８に出力する。

【0044】

出力処理部１０８は、撮像画像処理部１０６から取得される出力画像データの出力に関する係る処理を行う。出力処理部１０８は、出力画像データをディスプレイ１４または入出力インタフェース２６を経由して他機器に出力してもよいし、記憶部１２０に記憶してもよい。出力画像データの出力先は、入力デバイス３２または入出力インタフェース２６から入力される操作信号により指示されてもよいし、他のアプリの実行により指示されてもよい。

【0045】

次に、本実施形態に係る表示と撮像の同期制御例について説明する。図５は、本実施形態に係る表示と撮像の同期制御例を示す説明図である。図５の例では、撮像制御部１０２に撮像指令が入力された後、撮像周期Ｔ_ｃｙｃごとに表示期間Ｔ_１と非表示期間Ｔ_２が繰り返される。表示制御部１０４は、表示期間Ｔ_１において表示情報をディスプレイ１４に表示させ、カメラ２８が撮像した撮像画像を廃棄する。

【0046】

より具体的には、表示期間Ｔ_１において、ディスプレイ１４のタイミングコントローラは、表示制御部１０４から入力される表示情報を表す画素ごとの信号値に対応する輝度に対応する電力を有する駆動信号を供給し、透過領域ＴＡ内に配置される画素を点灯させる。この表示期間Ｔ_１を非撮像期間とし、撮像画像処理部１０６は、カメラ２８から入力される撮像画像信号を廃棄する。

【0047】

表示制御部１０４は、非表示期間Ｔ_２においてディスプレイ１４への表示を行わず、カメラ２８が撮像した撮像画像を取得する。
より具体的には、非表示期間Ｔ_２において、ディスプレイ１４のタイミングコントローラは、駆動信号の画素への出力を停止し、透過領域ＴＡ内に配置される画素を消灯させる。この非表示期間Ｔ_２を撮像期間とし、撮像画像処理部１０６は、カメラ２８から取得される撮像画像信号を採用する。
なお、図５の例では、表示期間Ｔ_１と非表示期間Ｔ_２が等しいが、これには限られない。表示期間Ｔ_１は、非表示期間Ｔ_２よりも長くてもよいし、短くてもよい。

【0048】

次に、本実施形態に係る出力画像の取得例について説明する。図６は、本実施形態に係る出力画像の取得例を示す説明図である。
図６の例では、表示期間Ｔ_１において、表示情報として背景画面のほぼ中央部にデスクトップ画面が重畳した表示画面が表示される。デスクトップ画面は全体的に背景画面よりも明るく表される。表示画面の表示により透過領域ＴＡに配置された画素の光がカメラ２８に入射される。この期間に撮像される撮像画像は、全体的に明るくなるとともに、コントラストが低下し、個々の物体の輪郭がぼやけがちとなる。

【0049】

これに対し、非表示期間Ｔ_２では、ディスプレイ１４に表示情報が表示されず、黒画面が表れる。透過領域ＴＡに配置された画素は発光せず、視野内の被写体から到来する光がカメラ２８に入射される。この期間に撮像される撮像画像には、表示による影響が及ばない。但し、表示期間Ｔ_１が露出時間よりも短いため、個々の表示期間Ｔ_１において取得される撮像画像が全体的に暗くなる。本実施形態では、撮像画像処理部１０６は、撮像期間ごとに取得される撮像画像信号で指示される画素ごとの信号値を、撮像期間の総和が露出時間に達するまで累積する。信号値を累積して得られる累積値を出力画像の信号値として定めることで、ディスプレイ１４への表示の影響を受けずに十分な明るさを有する出力画像を取得することができる。

【0050】

なお、表示画像に動画像が含まれる場合、フレームごとに各フレーム周期の一部が露出時間として設定される。即ち、撮像画像処理部１０６は、各画素についてフレームごとに信号値を累積して出力画像を構成する。撮像周期は表示画像のフレーム周期と等しいか、そのフレーム周期に対する整数の逆数倍であってもよい。その場合、表示制御部１０４は、表示情報に付随するフレーム同期信号に基づいて表示期間と非表示期間の繰り返しを制御してもよい。

【0051】

ディスプレイ１４の画面領域には、ＯＬＥＤなど駆動信号に対する応答性が高い発光素子を有することが望ましい。応答性が高い発光素子によれば、応答時間を考慮せずに撮像期間と非撮像期間を、それぞれ非表示期間と表示期間として設定しても、ディスプレイ１４への表示の遅延や撮像画像に対する残像を生じさせずに済む。図７、図８は、それぞれＯＬＥＤの輝度の時間変化を例示する。図７は、時刻０において一定の輝度に対応する電圧のＯＬＥＤへの印加を開始する場合を例にする。図７の例では、温度が２０°Ｃ、４０°Ｃ、８５°Ｃのいずれについても、電圧の印加開始から０．０６ｍｓ以内に輝度が最大値に達する。図８は、時刻０において一定の輝度に対応する電圧のＯＬＥＤへの印加を停止する場合を例にする。図８の例では、温度が２０°Ｃ、４０°Ｃ、８５°Ｃのいずれについても、電圧の印加停止により直ちに輝度がほぼゼロに達する。かかる特性により、各１回の撮像期間を１ｍｓ程度の短時間に設定しても表示情報の表示の要否の切り替えに十分に追従することができる。

【0052】

次に、本実施形態に係る撮像制御の手順について説明する。図９は、本実施形態に係る撮像制御処理を例示するフローチャートである。図９は、表示情報として動画像をなすフレームごとの表示画像をディスプレイ１４に表示させる場合を例とする。撮像画像処理部１０６には、フレーム周期ごとに、その周期の一部をなす期間を露出時間として予め設定しておく。また、図９の例では、フレーム周期をなす撮像周期は、それぞれ表示期間と非表示期間がその順に含む。

【0053】

（ステップＳ１０２）撮像画像処理部１０６は、個々のフレーム周期の開始を検出する。撮像画像処理部１０６は、例えば、表示データに対応付けられた所定のフレーム同期信号を検出することによりフレーム周期の開始を判定する。また、撮像画像処理部１０６は、信号値に対する累積値および総取得時間を初期化する。
（ステップＳ１０４）撮像画像処理部１０６は、当該フレーム周期における撮像期間の総和である総取得時間が露出時間以下であるか否かを判定する。露出時間以下であると判定されるとき（ステップＳ１０４ ＹＥＳ）、ステップＳ１０６の処理に進む。露出時間を超えると判定されるとき（ステップＳ１０４ ＮＯ）、ステップＳ１１４の処理に進む。

【0054】

（ステップＳ１０６）表示期間において、表示制御部１０４は、ディスプレイ１４に対して表示情報を表示させる。撮像画像処理部１０６は、カメラ２８から入力される撮像画像信号を廃棄する。
（ステップＳ１０８）非表示期間において、表示制御部１０４は、ディスプレイ１４に対して表示情報の表示を停止させる。撮像画像処理部１０６は、カメラ２８から入力される撮像画像信号を取得する。

【0055】

（ステップＳ１１０）撮像画像処理部１０６は、取得した撮像画像信号に示される画素ごとの信号値を加算することにより累積値を更新する。
（ステップＳ１１２）撮像画像処理部１０６は、表示期間を加算することにより総取得時間を更新する。その後、ステップＳ１０４の処理に戻る。
（ステップＳ１１４）撮像画像処理部１０６は、画素ごとの累積値を信号値として有する出力画像信号を生成し、出力処理部１０８に出力する。その後、図８の処理を終了する。

【0056】

なお、上記の説明は、表示情報として動画像をディスプレイ１４に表示させる場合を主としたが、これには限られない。本実施形態は、静止画像を表示させる場合に適用されてもよい。その場合、撮像画像処理部１０６は、例えば、撮像制御部１０２から入力される撮像指令で指示される露出時間を採用する。カメラ２８が自動制御により露出時間を定める場合には、撮像画像処理部１０６は、カメラ２８が定めた露出時間を採用してもよい。

【0057】

表示制御部１０４は、撮像周期ごとの表示情報の表示と非表示の制御をディスプレイ１４の画面領域ＳＡの全体に対して実行してもよい。その場合、画面領域ＳＡの全体に対して表示期間において表示情報が表示され、非表示期間において表示情報が表示されない。点滅の繰り返しの頻度が画面領域ＳＡの全体に対して均等となる。そのため、特定の領域（例えば、透過領域ＴＡ）における点滅の偏りが生じないため、点滅に起因する画素の劣化の空間的な偏りが回避される。そのため、空間的に輝度もしくは色調が意図せず空間的に変化する焼き付きが予防される。

【0058】

表示制御部１０４は、撮像周期ごとの表示情報の表示と非表示の制御を透過領域ＴＡに限定し、その周囲である通常領域ＮＡには適用しなくてもよい。その場合、表示制御部１０４は、透過領域ＴＡに対しては表示期間における輝度を通常領域ＮＡにおける輝度よりも高くする。ここで、表示制御部１０４は、透過領域ＴＡにおける見かけ上の輝度が通常領域ＮＡにおける輝度と等しくなるように透過領域ＴＡに配置された画素をディスプレイ１４のタイミングコントローラに対して駆動させる。これにより、透過領域ＴＡにおける点滅による見かけの輝度の低下が補償される。

【0059】

カメラ２８のコントローラは、表示情報の非表示期間において撮像制御を行って露出時間をはじめとする撮像パラメータを定めてもよい。撮像制御において、表示期間における透過領域ＴＡに配置された画素の発光による影響を回避することができる。そこで、表示制御部１０４は、撮像周期ごとに表示期間の開始を示す表示開始信号をカメラ２８に出力し、表示期間の終了を示す表示終了信号をカメラ２８に出力してもよい。カメラ２８のコントローラは、表示制御部１０４から表示開始信号が入力されるとき表示期間の開始を検出し、表示終了信号が入力されるとき表示期間の終了を検出することができる。

【0060】

また、図１、図２の例では、透過領域ＴＡがディスプレイ１４の画面領域の中心部よりも長辺の一方に近い位置に配置される場合を例としたが、これには限られない。図１０に例示されるように、透過領域ＴＡの位置は、ディスプレイ１４の画面領域の中心部に配置されてもよい。この配置により、ディスプレイ１４の中心部に相対するユーザの頭部の画像がカメラ２８により撮像される。ホストシステム１００は、所定の通信アプリを実行し、取得される出力画像を他の情報処理装置に送信し、同様の構成を有する他の情報処理装置から取得された出力画像を表示情報に含めてディスプレイ１４に表示させることで、ユーザ間で視線を合わせた意思疎通を図ることができる。

【0061】

以上に説明したように、本実施形態に係る電子機器（例えば、情報処理装置１０）は、複数の画素が配列された画面領域を有するディスプレイ１４と、カメラ２８と、コントローラ（例えば、ホストシステム１００、タイミングコントローラ）とを備える。カメラ２８には、画面領域の一部の領域である透過領域ＴＡを透過した光が入射される。コントローラは、カメラ２８から撮像画像を取得するとき、少なくとも透過領域ＴＡにおける表示を制限し、撮像画像を取得しないとき、制限を解除する。
この構成によれば、カメラ２８には、撮像画像を取得するとき、少なくとも透過領域ＴＡにおける表示が制限され、透過領域ＴＡを透過する被写体からの光が入射される。撮像画像を取得しないとき、透過領域ＴＡにおける表示が制限されない。そのため、ディスプレイ１４の画面領域の有効活用を図りながら、カメラ２８による撮像画像の画質低下を回避することができる。

【0062】

また、コントローラは、少なくとも透過領域ＴＡに配置された画素を一定の撮像周期ごとに表示の要否を制御し、カメラ２８の露出期間に含まれる非表示期間ごとの撮像画像の信号値を累積してもよい。
この構成によれば、露出期間よりも細分化された撮像周期ごとに撮像された撮像画像の信号値を累積して得られる累積値により出力画像が得られる。撮像周期を細分化することで、撮像周期ごとの表示情報の点滅をユーザに気づかせずに、被写体の撮像に対して実質的に十分な露出を確保することができる。

【0063】

また、コントローラは、画面領域ＳＡの全体に対して表示の要否を制御してもよい。
この構成によれば、表示情報の表示／非表示の切り替えが透過領域ＴＡに限られず、画面領域の全体に及ぶ。画素の点滅の繰り返しの頻度が画面領域ＳＡの全体に対して均等となるため、特定の領域（例えば、透過領域ＴＡ）における画素の劣化の偏りを回避することができる。画素の劣化の偏りによる、意図しない輝度もしくは色調の空間変化を回避することができる。

【0064】

また、コントローラは、透過領域ＴＡの周囲である通常領域ＮＡに対して表示の要否を制御せず、表示情報の表示期間における透過領域ＴＡに対する輝度を、通常領域ＮＡにおける輝度よりも高くしてもよい。
この構成によれば、通常領域ＮＡに対しては表示情報の表示が継続し、透過領域ＴＡに対しては通常領域ＮＡよりも高い輝度で表示情報が点滅する。輝度の増加により表示情報の点滅による見かけの輝度の低下が補償される。そのため、ディスプレイ１４の画面領域全体における表示情報の輝度が均一となり、ユーザに対する違和感を低減または解消することができる。

【0065】

また、カメラ２８は、表示情報の非表示期間において取得される入射光に基づいて撮像条件を制御してもよい。
この構成によれば、カメラ２８は、撮像条件の制御において、表示期間における入射光を参照せず、非表示期間における入射光を参照して撮像条件を制御することができる。撮像条件を示す撮像パラメータの設定において、表示期間における透過領域ＴＡに配置された画素の発光による影響を回避することができる。

【0066】

また、電子機器は、第１筐体１０ａと、第２筐体１０ｂと、第１筐体１０ａが第２筐体１０ｂに対して回動可能に係合する係合具（例えば、ヒンジ機構１２１ａ、１２１ｂ）と、を備えてもよい。ディスプレイ１４は、第１筐体１０ａにおいて第２筐体１０ｂに相対する面に設置され、透過領域ＴＡがディスプレイ１４の画面領域の中心部に設置されてもよい。
この構成によれば、第１筐体１０ａが第２筐体１０ｂに対して開き、第１筐体１０ａの正面に対面した状態で電子機器がユーザにより使用される場合、ユーザはディスプレイ１４に表示された表示情報を見ながら、カメラ２８はユーザの頭部の画像を撮像することができる。他の電子機器との間で撮像画像を送受信し、他の電子機器から受信した撮像画像を表示情報として表示することで、他の電子機器のユーザと視線を合わせた意思疎通を実現することができる。

【0067】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

【符号の説明】

【0068】

１０…情報処理装置、１０ａ…第１筐体、１０ｂ…第２筐体、１１…プロセッサ、１２…メインメモリ、１３…ビデオサブシステム、１４…ディスプレイ、１４ｂ…基板、１４ｐ…画素、２１…チップセット、２２…ＲＯＭ、２３…補助記憶装置、２４…オーディオシステム、２５…通信モジュール、２６…入出力インタフェース、２８…カメラ、３１…ＥＣ、３２…入力デバイス、３３…電源回路、３４…バッテリ、１００…ホストシステム、１０２…撮像制御部、１０４…表示制御部、１０６…撮像画像処理部、１０７…キーボード、１０８…出力処理部、１０９…タッチパッド、１２０…記憶部、１２１ａ、１２１ｂ…ヒンジ機構、ａｘ…回転軸、ＮＡ…通常領域、ＴＡ…透過領域、ＳＡ…画面領域

【要約】

【課題】画面領域への画面表示を実現しながら、撮像画像の画質低下を回避する。
【解決手段】ディスプレイは複数の画素が配列された画面領域を有し、カメラには画面領域の一部の領域である透過領域を透過した光が入射され、コントローラは、カメラから撮像画像を取得するとき、少なくとも透過領域における表示を制限し、撮像画像を取得しないとき、制限を解除する。本実施形態は、ディスプレイ、カメラおよびコントローラを備える電子機器、および、電子機器の制御方法などのいずれでも実現することができる。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】