特開 2022-68742 携帯端末、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022068742

(43)【公開日】2022-05-10

(54)【発明の名称】携帯端末、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G03B 15/05 20210101AFI20220427BHJP

   G03B 15/00 20210101ALI20220427BHJP

   G03B 7/091 20210101ALI20220427BHJP

   G03B 15/02 20210101ALI20220427BHJP

   H04N 5/235 20060101ALI20220427BHJP

   H04N 5/243 20060101ALI20220427BHJP

【ＦＩ】

G03B15/05

G03B15/00 Q

G03B7/091

G03B15/02 F

H04N5/235 400

H04N5/243

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2020177584

(22)【出願日】2020-10-22

(71)【出願人】

【識別番号】318015781

【氏名又は名称】ジャパン・イーエム・ソリューションズ株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】特許業務法人秀和特許事務所

(72)【発明者】

【氏名】福田 克彦

【テーマコード（参考）】

2H002

2H053

5C122

【Ｆターム（参考）】

2H002CD11

2H002DB17

2H002GA31

2H002GA33

2H053AA00

2H053AD21

5C122DA09

5C122EA06

5C122EA18

5C122EA60

5C122FH02

5C122FH11

5C122GG17

5C122GG30

5C122HA13

5C122HA35

5C122HB01

5C122HB05

5C122HB09

(57)【要約】

【課題】写真撮影の補助光源として携帯端末のディスプレイを利用する場合において、光源の誤判定を抑制する。
【解決手段】本携帯端末は、ディスプレイと、ディスプレイの法線方向に撮影方向が向けられたカメラと、カメラから取得した画像を基にカメラの撮影範囲を照らす光源の色温度を判定し、判定した色温度に応じた補助光をディスプレイに出射させ、ユーザからの撮影指示に応じて補助光をディスプレイに出射させた状態でカメラに撮影を実行させるプロセッサと、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

ディスプレイと、
前記ディスプレイの法線方向に撮影方向が向けられたカメラと、
前記カメラから取得した画像を基に前記カメラの撮影範囲を照らす光源の色温度を判定し、前記色温度に応じた補助光を前記ディスプレイに出射させ、ユーザからの撮影指示に応じて前記補助光を前記ディスプレイに出射させた状態で前記カメラに撮影を実行させるプロセッサと、を備える、
携帯端末。

【請求項2】

前記プロセッサは、前記画像に含まれる被写体を特定し、特定した前記被写体に応じて前記補助光の色温度を補正する、
請求項１に記載の携帯端末。

【請求項3】

前記プロセッサは、前記カメラに撮影させた画像に対するホワイトバランスの調整を前記色温度を基に実行する、
請求項１または２に記載の携帯端末。

【請求項4】

ディスプレイと、前記ディスプレイの法線方向に撮影方向が向けられたカメラを備えた携帯端末のプロセッサが、
前記カメラから取得した画像を基に前記カメラの撮影範囲を照らす光源の色温度を判定し、
前記色温度に応じた補助光を前記ディスプレイに出射させ、
ユーザからの撮影指示に応じて前記補助光を前記ディスプレイに出射させた状態で前記カメラに撮影を実行させる、
情報処理方法。

【請求項5】

ディスプレイと、前記ディスプレイの法線方向に撮影方向が向けられたカメラを備えた携帯端末のプロセッサに、
前記カメラから取得した画像を基に前記カメラの撮影範囲を照らす光源の色温度を判定させ、
前記色温度に応じた補助光を前記ディスプレイに出射させ、
ユーザからの撮影指示に応じて前記補助光を前記ディスプレイに出射させた状態で前記カメラに撮影を実行させる、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯端末、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

近年では、カメラを備えた携帯端末が広く普及していることから、手軽に写真撮影が行われるようになってきている。そのため、好ましい写真を簡単に撮影できる技術が望まれている。

【0003】

例えば、特許文献１は、撮影室内の被写体を撮影する写真撮影装置であって、被写体の顔色と補助光の発光色との関係を示すテーブルを基に決定した発光色の補助光を照射する写真撮影装置が記載されている。また、特許文献２では、複数の携帯端末に発光させて写真撮影を行う技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１４４３２３号公報

【特許文献2】特開２０１７－１８４１０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

携帯端末のインカメラを用いた撮影において、照明や太陽等の外部光源から被写体に照射される光では光量不足となる場合がある。このような場合において、当該携帯端末のディスプレイから被写体に向けて補助光を出射させることで不足する光量を補うことが考えられる。ディスプレイから被写体に補助光を照射することで、被写体をより明るく撮影することができる。

【0006】

携帯端末では、インカメラで撮影した画像データに対してオートホワイトバランスが行われる。オートホワイトバランスでは、被写体に光を照射する光源の種類に応じて、画像データの色が好ましい色になるように（例えば、白い被写体が白く写るように）色味の調整が行われる。ここで、外部光源から被写体に照射される光の色温度とディスプレイから出射される補助光の色温度とが異なると、携帯端末が光源を誤判定しやすくなる。光源が誤判定されると、オートホワイトバランスが正常に実行されなくなるため、生成される画像データの色味が好ましいものではなくなる虞がある。

【0007】

開示の技術の１つの側面は、写真撮影の補助光源として携帯端末のディスプレイを利用する場合において、光源の誤判定を抑制できる携帯端末、情報処理方法及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

開示の技術の１つの側面は、次のような携帯端末によって例示される。本携帯端末は、ディスプレイと、ディスプレイの法線方向に撮影方向が向けられたカメラと、カメラから取得した画像を基にカメラの撮影範囲を照らす光源の色温度を判定し、当該色温度に応じた補助光をディスプレイに出射させ、ユーザからの撮影指示に応じて補助光を前記ディスプレイに出射させた状態でカメラに撮影を実行させるプロセッサと、を備える。

【発明の効果】

【0009】

開示の技術は、写真撮影の補助光源として携帯端末のディスプレイを利用する場合にお
いて、光源の誤判定を抑制することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係るスマートフォンの外観の一例を示す図である。

【図2】図２は、実施形態に係るスマートフォンを用いた写真撮影の様子を模式的に示す第１の図である。

【図3】図３は、実施形態に係るスマートフォンを用いた写真撮影の様子を模式的に示す第２の図である。

【図4】図４は、実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。

【図5】図５は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。

【図6】図６は、実施形態において補助記憶部に記憶される色温度補正テーブルの一例を示す図である。

【図7】図７は、実施形態に係るスマートフォンの処理フローの一例を示す図である。

【発明を実施するための形態】

【0011】

＜実施形態＞
以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。実施形態に係る携帯端末は、上記した課題を解決するため、以下の構成を備える。本実施形態に係る携帯端末は、ディスプレイ、ディスプレイの法線方向に撮影方向が向けられたカメラ及びプロセッサを備える。

【0012】

そして、上記プロセッサは、以下の処理を実行する。
・上記カメラから取得した画像を基に前記カメラの撮影範囲を照らす光源の色温度を判定する。
・判定した色温度に応じた補助光を上記ディスプレイに出射させる。
・ユーザからの撮影指示に応じて上記補助光を上記ディスプレイに出射させた状態で上記カメラに撮影を実行させる。

【0013】

本携帯端末は、光源の色温度を判定し、判定した色温度に応じた補助光をディスプレイに出射させることで、色温度が大幅に異なる光が被写体に照射されることを抑制できる。そのため、本携帯端末は、光源の誤判定を抑制できる。

【0014】

上記プロセッサは、上記画像に含まれる被写体を特定し、特定した上記被写体に応じて上記補助光の色温度を補正してもよい。被写体によって好ましい色合いが異なることがある。本携帯端末は、被写体に応じて補助光の色温度を補正することで、撮影によって得られる画像を被写体毎により好ましい色合いとすることができる。

【0015】

上記プロセッサは、上記カメラに撮影させた画像に対するホワイトバランスの調整を上記色温度を基に実行してもよい。本携帯端末では、ディスプレイに補助光を出射させる前に光源の色温度の判定が行われる。そのため、ホワイトバランスの調整において、補助光の影響を抑制することができる。

【0016】

本実施形態に係る技術は、情報処理方法及び情報処理プログラムの側面から把握することも可能である。

【0017】

以下、図面を参照して上記携帯端末をスマートフォンに適用した実施形態についてさらに説明する。図１は、実施形態に係るスマートフォンの外観の一例を示す図である。図１
は、スマートフォン１００の一方から見た外観（前面側の外観とする）を例示する。スマートフォン１００は、板状の筐体１１０を有する。図１で紙面に向かって上側が筐体１１０の上側であり、紙面に向かって下側が筐体１１０の下側であると仮定する。以下、本明細書において、筐体１１０の上下方向をＹ方向、Ｙ方向と直交する筐体１１０の幅方向をＸ方向とも称する。

【0018】

スマートフォン１００は、可搬型の情報処理装置である。筐体１１０の前面にはスピーカー１１１、マイクロフォン１１２、ディスプレイ１１３、タッチパネル１１４及びインカメラ１１５が設けられる。タッチパネル１１４は、ディスプレイ１１３に重畳して設けられる。タッチパネル１１４は、ディスプレイ１１３の全面を覆うように設けられることが好ましい。スピーカー１１１及びインカメラ１１５は、例えば、ディスプレイ１１３のＸ方向の中央上方に設けられる。ここで、インカメラ１１５の撮影方向は、ディスプレイ１１３の法線方向に向けられる。マイクロフォン１１２は、例えば、ディスプレイ１１３のＸ方向の中央下方に設けられる。なお、スマートフォン１００の背面にはアウトカメラが設けられてもよい。

【0019】

＜スマートフォン１００による写真撮影＞
図２及び図３は、実施形態に係るスマートフォンを用いた写真撮影の様子を模式的に示す図である。図２及び図３では、部屋５００でユーザ５０２の顔の写真撮影が行われる様子が例示される。部屋５００には、部屋５００の室内を照らす照明５０１が設置される。ユーザ５０２は、スマートフォン１００のインカメラ１１５でユーザ５０２の写真撮影を行う。ここで、照明５０１からの光５０１ａだけでは写真撮影には光量不足となる状況もあり得る。そこで、スマートフォン１００は、ディスプレイ１１３に補助光１１３ａを出射させることで、このような光量不足を補うことができる。ここで、照明５０１からの光５０１ａの色温度と補助光１１３ａの色温度とを一致させない場合、ユーザ５０２の顔には互いに異なる色温度の光が照射されることになる。

【0020】

図２では、互いに色温度が異なる光が照射されたことで、ユーザ５０２の顔に異なる色温度の光が混在したミックス光が照射される状態を例示する。図２は、ユーザ５０２の顔にミックス光が照射された状態を、ユーザ５０２の顔全体に設けた斜線によって例示する。このようなミックス光が照射された状態で光源判定が行われると、光源を誤判定する虞がある。光源を誤判定すると、オートホワイトバランスが正常に働かず、好ましい画像データを生成できなくなる虞がある。

【0021】

図３では、互いに色温度が異なる光が照射されたことで、ユーザ５０２の顔の一部（顔の一部５０２ａ）には照明５０１からの光が照射され、他の一部（顔の一部５０２ｂ）にはディスプレイ１１３からの光が照射された状態が例示される。図３は、顔の一部５０２ａに設けた縦線と、顔の一部５０２ｂに設けた波線とで、異なる色温度の光が照射された状態を例示する。このような場合、顔の一部５０２ａに照射された光を基に光源判定が行われると、画像データにおいて顔の一部５０２ｂの色合いが好ましいものとはならなくなる。また、顔の一部５０２ｂに照射された光を基に光源判定が行われると、画像データにおいて顔の一部５０２ａの色合いが好ましいものとはならなくなる。

【0022】

このように、被写体（ユーザ５０２の顔）に対して、ディスプレイ１１３からの光の色温度と照明５０１の色温度とが異なると、インカメラ１１５から取得した画像データの色合いが好ましくならなくなる。例えば、ユーザの意図に反して、画像データの色合いが赤色に偏ったり青色に偏ったりする虞がある。そこで、スマートフォン１００は、以下の処理ブロックを採用することで、被写体に対して光源の誤判定が生じることを抑制する。なお、図２及び図３では、照明５０１が設置された部屋５００がスマートフォン１００による写真撮影の撮影現場である例が示されたが、スマートフォン１００による写真撮影の撮
影現場に限定は無い。スマートフォン１００による写真撮影は、例えば、屋外で行われてもよい。

【0023】

＜スマートフォン１００のハードウェア構成＞
図４は、実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。スマートフォン１００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）１０１、主記憶部１０２、補助記憶部１０３、通信部１０４、スピーカー１１１、マイクロフォン１１２、ディスプレイ１１３及びタッチパネル１１４を備える。ＣＰＵ１０１、主記憶部１０２、補助記憶部１０３、通信部１０４、スピーカー１１１、マイクロフォン１１２、ディスプレイ１１３、タッチパネル１１４及びインカメラ１１５は、接続バスによって相互に接続される。

【0024】

ＣＰＵ１０１は、マイクロプロセッサユニット（ＭＰＵ）、プロセッサとも呼ばれる。ＣＰＵ１０１は、単一のプロセッサに限定されるわけではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１０１がマルチコア構成を有していてもよい。ＣＰＵ１０１が実行する処理のうち少なくとも一部は、ＣＰＵ１０１以外のプロセッサ、例えば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われてもよい。

【0025】

また、ＣＰＵ１０１が実行する処理のうち少なくとも一部は、集積回路（ＩＣ）、その他のデジタル回路によって実行されてもよい。また、ＣＰＵ１０１の少なくとも一部にアナログ回路が含まれてもよい。集積回路は、Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ（ＬＳＩ）、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）を含む。ＰＬＤは、例えば、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）を含む。

【0026】

ＣＰＵ１０１は、プロセッサと集積回路との組み合わせであってもよい。組み合わせは、例えば、マイクロコントローラユニット（ＭＣＵ）、Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ）、システムＬＳＩ、チップセットなどと呼ばれる。スマートフォン１００では、ＣＰＵ１０１が補助記憶部１０３に記憶されたプログラムを主記憶部１０２の作業領域に展開し、プログラムの実行を通じて周辺装置の制御を行う。これにより、スマートフォン１００は、所定の目的に合致した処理を実行することができる。主記憶部１０２及び補助記憶部１０３は、スマートフォン１００が読み取り可能な記録媒体である。ＣＰＵ１０１は、「プロセッサ」の一例である。

【0027】

主記憶部１０２は、ＣＰＵ１０１から直接アクセスされる記憶部として例示される。主記憶部１０２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）及びＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を含む。

【0028】

補助記憶部１０３は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。補助記憶部１０３は外部記憶装置とも呼ばれる。補助記憶部１０３には、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ、ＯＳ）、各種プログラム、各種テーブル等が格納される。ＯＳは、通信部１０４を介して接続される外部装置等とのデータの受け渡しを行う通信インターフェースプログラムを含む。外部装置等には、例えば、コンピュータネットワーク等で接続された、他の情報処理装置及び外部記憶装置が含まれる。なお、補助記憶部１０３は、例えば、ネットワーク上のコンピュータ群であるクラウドシステムの一部であってもよい。

【0029】

補助記憶部１０３は、例えば、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＥＰＲＯＭ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）等である。

【0030】

通信部１０４は、例えば、情報処理装置を通信可能に接続するコンピュータネットワークとのインターフェースである。通信部１０４は、コンピュータネットワークを介して外部の装置と通信を行う。

【0031】

スピーカー１１１は、音を出力する音源である。スピーカー１１１は、スマートフォン１００を用いた通話において、通話相手の音声等の音を出力する。マイクロフォン１１２は、通話や動画の音声取得に用いられるマイクロフォンである。

【0032】

ディスプレイ１１３は、ＣＰＵ１０１で処理されるデータや主記憶部１０２に記憶されるデータを表示する。また、ディスプレイ１１３は、ＣＰＵ１０１によって指定された色温度の光を出射することができる。ディスプレイ１１３は、例えば、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）、Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ（ＰＤＰ）、Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）パネル、有機ＥＬパネルである。ディスプレイ１１３は、「ディスプレイ」の一例である。

【0033】

タッチパネル１１４は、ユーザの指等によるタッチ操作を検知する。タッチパネル１１４がタッチ操作を検知する方式に限定は無い。タッチパネル１１４がタッチ操作を検知する方式としては、例えば、静電容量方式、抵抗膜方式、表面弾性波方式等を挙げることができる。スマートフォン１００は、ディスプレイ１１３にタッチパネル１１４が重畳して設けられることで、直感的な操作環境をユーザに提供することができる。

【0034】

インカメラ１１５は、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）センサやＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）センサ等のイメージセンサを備えるデジタルカメラである。インカメラ１１５は、入射する光をイメージセンサによって検知し、検知した光を基に画像データを生成する。以下、本明細書において、インカメラ１１５が生成する画像データを「ｒａｗデータ」とも称する。インカメラ１１５は、「カメラ」の一例である。

【0035】

＜スマートフォン１００の処理ブロック＞
図５は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。スマートフォン１００は、光源判定部１１、輝度検出部１２、被写体検出部１３、補助光制御部１４、調整部１５及び撮影部１６を備える。スマートフォン１００は、主記憶部１０２に実行可能に展開されたコンピュータプログラムをＣＰＵ１０１が実行することで、上記スマートフォン１００の、光源判定部１１、輝度検出部１２、被写体検出部１３、補助光制御部１４、調整部１５及び撮影部１６等の各部としての処理を実行する。

【0036】

光源判定部１１は、インカメラ１１５の撮影範囲を照らす光源（例えば、照明５０１）の色温度を判定する。光源判定部１１は、例えば、インカメラ１１５のセンサに入射する光の色温度を取得することで、光源の色温度を判定する。光源の色温度を判定する技術に限定は無く、公知の様々な技術を採用可能である。

【0037】

光源の種類と当該光源が出射する光の色温度の対応関係は既知である。例えば、ろうそくの炎の色温度は２０００Ｋであり、朝日や夕日の色温度は２０００Ｋから３０００Ｋである。また、白熱電球の色温度は３０００Ｋであり、昼白色の蛍光灯の色温度は５０００
Ｋである。さらに、日中の太陽の色温度は５５００Ｋである。くもり空の下における色温度は７０００Ｋである一方で、晴天の空の下における色温度は１２０００Ｋである。光源判定部１１は、予め補助記憶部１０３に記憶させた光源と色温度との対応を参照することで、判定した色温度を基に光源を判定することができる。

【0038】

輝度検出部１２は、インカメラ１１５のセンサに入射する光の輝度を検出する。光の輝度は、インカメラ１１５のセンサに入射する光の強度ということもできる。輝度を検出する技術に限定は無く、公知の様々な技術を採用可能である。

【0039】

被写体検出部１３は、例えば、インカメラ１１５にｒａｗデータを生成させる。被写体検出部１３は、インカメラ１１５からｒａｗデータを取得し、取得したｒａｗデータに含まれる被写体の種類を検出する。被写体の種類としては、例えば、人物、動物、花、料理等を挙げることができる。被写体検出部１３は、例えば、機械学習によって構築された学習モデルを用いて、被写体の種類を検出してもよい。

【0040】

補助光制御部１４は、光源判定部１１が判定した色温度に応じた色温度の補助光をディスプレイ１１３に出射させる。ここで、補助光制御部１４は、補助光を出射させるときは、ディスプレイ１１３の全面を同じ色温度の光で発光させればよい。補助光制御部１４は、光源判定部１１が判定した色温度に応じて補助光の色温度を決定する。補助光制御部１４は、被写体検出部１３が検出した被写体に応じて決定した補助光の色温度を補正してもよい。

【0041】

ここで、補助記憶部１０３には、被写体の種類と、補助光の色温度の補正値との対応関係が記憶されていてもよい。図６は、実施形態において補助記憶部に記憶される色温度補正テーブルの一例を示す図である。図６に例示される色温度補正テーブル１３１は、「被写体」及び「補正値」の各項目を含む。「被写体」には、被写体の種類を示す情報が格納される。「補正値」には、被写体検出部１３によって検出された被写体が「被写体」に格納された被写体の種類と一致した場合に適用される色温度に対する補正値が格納される。

【0042】

補助光制御部１４は、例えば、被写体検出部１３によって検出された被写体に対応する補正値を色温度補正テーブル１３１から取得し、取得した補正値に基づいて補助光の色温度を補正することができる。

【0043】

また、補助記憶部１０３には、輝度検出部１２によって検出される輝度と、補助光の輝度とを対応関係が記憶されてもよい。そして、補助光制御部１４は、このような対応関係を参照して、補助光の輝度を決定してもよい。そして、補助光制御部１４は、撮影部１６からの指示に応じて、決定した輝度及び補正した色温度の補助光をディスプレイ１１３に出射させればよい。なお、補助光制御部１４は、輝度検出部１２によって検出された輝度が光量が十分であることを示す閾値以上である場合には、補助光の出射を抑制してもよい。

【0044】

調整部１５は、インカメラ１１５が生成するｒａｗデータに対して、ホワイトバランスの調整を行って画像データを生成する。調整部１５によるホワイトバランスの調整では、被写体のうち白色の部分が白色として画像データで表現されるように、ｒａｗデータに対する色合いの調整が行われる。画像データのファイル形式は、例えば、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）である。調整部１５は、光源判定部１１によって判定された光源を基に、ホワイトバランスの調整を行う。

【0045】

撮影部１６は、ユーザからの撮影指示を受けると、補助光制御部１４に補助光を出射させた状態で、インカメラ１１５にｒａｗデータを生成させる。そして、撮影部１６は、生
成させたｒａｗデータに対するホワイトバランスの調整及び画像データの生成を調整部１５に実行させる。撮影部１６は、調整部１５によって生成された画像データを取得する。

【0046】

＜スマートフォン１００の処理フロー＞
図７は、実施形態に係るスマートフォンの処理フローの一例を示す図である。以下、図７を参照して、スマートフォン１００の処理フローの一例について説明する。

【0047】

Ｔ１では、撮影部１６は、ユーザからの撮影指示を受信する。撮影部１６が撮影指示を受信することで、Ｔ２以降の処理が実行される。ユーザからの撮影指示は、例えば、ディスプレイ１１３に表示されたシャッターボタンに対するタッチ操作をタッチパネル１１４によって検知することで行われる。

【0048】

Ｔ２では、光源判定部１１は、インカメラ１１５の撮影範囲を照らす光源の色温度を判定する。光源判定部１１は、判定した色温度を基に、撮影範囲を照らす光源を判定する。

【0049】

Ｔ３では、輝度検出部１２は、インカメラ１１５のイメージセンサに入射する光の輝度を検出する。Ｔ４では、被写体検出部１３は、インカメラ１１５にｒａｗデータを生成させる。被写体検出部１３は、生成させたｒａｗデータを取得し、取得したｒａｗデータに含まれる被写体を検出する。

【0050】

Ｔ５では、補助光制御部１４は、Ｔ２で判定した光源とＴ４で検出した被写体とを基に、ディスプレイ１１３に出射させる補助光の色温度を決定する。補助光制御部１４は、さらに、Ｔ３で検出した輝度を基に、ディスプレイ１１３に出射させる補助光の輝度を決定する。

【0051】

Ｔ６では、補助光制御部１４は、Ｔ５で決定した色温度及び輝度の補助光をディスプレイ１１３に出射させる。Ｔ７では、撮影部１６は、Ｔ６での補助光が出射された状態で、インカメラ１１５にｒａｗデータを生成させる。

【0052】

Ｔ８では、調整部１５は、Ｔ７で生成されたｒａｗデータに対し、Ｔ２で判定された光源を基にホワイトバランスの調整を行って、画像データを生成する。Ｔ９では、撮影部１６は、Ｔ８で生成された画像データを取得する。撮影部１６は、取得した画像データを補助記憶部１０３に記憶させてもよい。

【0053】

＜実施形態の作用効果＞
本実施形態では、光源判定部１１がインカメラ１１５の撮影範囲を照らす光源の色温度を判定し、判定した色温度を基にディスプレイ１１３に出射させる補助光の色温度が決定される。そのため、照明５０１のようなスマートフォン１００とは異なる外部の光源の色温度とディスプレイ１１３に出射させる補助光の色温度とが異ならないように制御することができる。そのため、ユーザ５０２に例示される被写体にミックス光が照射されることが抑制される。

【0054】

本実施形態では、スマートフォン１００は、ディスプレイ１１３から補助光を出射する前に、光源判定部１１による光源の判定を行う。そのため、調整部１５によるホワイトバランスの調整において、補助光の影響を抑制することができる。なお、本実施形態では、補助光の色温度は光源の色温度を基に決定される。そのため、補助光の出射前に判定した光源を基にホワイトバランスの調整が行われても、生成される画像データの色合いを好ましいものとすることができる。

【0055】

本実施形態では、補助光制御部１４は、被写体検出部１３によって検出された被写体の
種類に応じて補助光の色温度を補正する。被写体の種類によっては画像データ全体の赤色を強くしたり青色を強くしたりした方が好ましい場合がある。例えば、被写体の種類が人物である場合、赤色を強くした方が健康的な肌色に見えやすくなる。また、被写体の種類が料理である場合には、赤色を強くした方が美味しそうな料理に見えやすくなる。スマートフォン１００は、被写体の種類に応じて補助光の色温度を補正できるため、より好ましい画像データを生成することができる。

【0056】

本実施形態では、光源判定部１１は、ディスプレイ１１３に補助光を出射させる前に光源の判定を行った。そのため、スマートフォン１００は、補助光制御部１４が補助光の色温度を補正しても、光源判定において誤判定が生じることを抑制できる。

【0057】

本実施形態では、ディスプレイ１１３に補助光を出射させることで、スマートフォン１００がインカメラ１１５に対応する内蔵フラッシュを備えていない場合でも、暗所等においてインカメラ１１５で写真撮影する場合の光量不足を補うことができる。

【0058】

＜変形例＞
以上説明した実施形態では、補助光制御部１４は、被写体検出部１３によって検出された被写体の種類に応じて補助光の色温度を補正する。しかしながら、被写体検出部１３による被写体を検出する処理や補助光制御部１４による補助光の色温度を補正する処理は、省略されてもよい。このような場合、補助光制御部１４は、光源判定部１１によって判定された光源と同じ色温度の補助光をディスプレイ１１３に出射させればよい。

【0059】

以上説明した実施形態では、調整部１５は、光源判定部１１が判定した光源に基づいて、ホワイトバランスの調整を行った。しかしながら、調整部１５によるホワイトバランスの調整は、このような処理に限定されない。調整部１５は、例えば、光源判定部１１が判定した光源の色温度に基づいて、ホワイトバランスの調整を行ってもよい。

【0060】

以上で開示した実施形態や変形例はそれぞれ組み合わせることができる。

【0061】

<<コンピュータが読み取り可能な記録媒体>>
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させる情報処理プログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0062】

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅｃｏｒｄａｂｌｅ（ＣＤ－Ｒ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲｅＷｒｉｔｅｒａｂｌｅ（ＣＤ－ＲＷ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、ブルーレイディスク（ＢＤ）、Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ（ＤＡＴ）、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

【符号の説明】

【0063】

１００：スマートフォン
１０１：ＣＰＵ
１０２：主記憶部
１０３：補助記憶部
１０４：通信部
１１０：筐体
１１１：スピーカー
１１２：マイクロフォン
１１３：ディスプレイ
１１３ａ：補助光
１１４：タッチパネル
１１５：インカメラ
１１：光源判定部
１２：輝度検出部
１３：被写体検出部
１３１：色温度補正テーブル
１４：補助光制御部
１５：調整部
１６：撮影部
５００：部屋
５０１：照明
５０１ａ：光
５０２：ユーザ
５０２ａ、５０２ｂ：顔の一部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】