特許 7359283 プログラム、携帯端末の処理方法、携帯端末及びサーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-02

(45)【発行日】2023-10-11

(54)【発明の名称】プログラム、携帯端末の処理方法、携帯端末及びサーバ

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20231003BHJP

   G06F 3/16 20060101ALI20231003BHJP

   G06V 40/60 20220101ALI20231003BHJP

   H04M 1/247 20210101ALI20231003BHJP

【ＦＩ】

G06F3/0481

G06F3/16 620

G06F3/16 660

G06V40/60

H04M1/247

【請求項の数】 13

(21)【出願番号】P 2022500285

(86)(22)【出願日】2021-01-18

(86)【国際出願番号】 JP2021001485

(87)【国際公開番号】W WO2021161725

(87)【国際公開日】2021-08-19

【審査請求日】2022-08-04

(31)【優先権主張番号】P 2020020379

(32)【優先日】2020-02-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】辻 泰成

(72)【発明者】

【氏名】今西 佳子

【審査官】星野 裕

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０３３１５６９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３０２５６８（ＵＳ，Ａ１）

【文献】特開２００５－２８４５６５（ＪＰ，Ａ）

【文献】特開２０１４－２４１００５（ＪＰ，Ａ）

【文献】特開２０１１－１５０６７２（ＪＰ，Ａ）

【文献】特開２０１１－０８１５０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／１６

Ｇ０６Ｖ ４０／６０

Ｈ０４Ｍ １／２４７

(57)【特許請求の範囲】

【請求項1】

携帯端末で用いられるプログラムであって、
前記携帯端末のカメラ機能で生成されたユーザを含むユーザ画像を取得する取得手段、及び、
前記ユーザ画像に操作ボタンを重畳してタッチパネルディスプレイに表示する画面上の前記操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成手段、
として機能させるプログラム。

【請求項2】

前記画面生成手段は、前記ユーザ画像に右手が含まれる場合、前記ユーザ画像に左手が含まれる場合に比べて、前記操作ボタンの位置を左側に寄せる請求項１に記載のプログラム。

【請求項3】

携帯端末で用いられるプログラムであって、
一方の手で本人確認書類を把持したユーザを含むユーザ画像を取得する取得手段、及び、
前記ユーザ画像に前記本人確認書類の位置を案内する枠を重畳してタッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成手段、
として機能させるプログラム。

【請求項4】

前記画面生成手段は、前記ユーザ画像に、顔の位置、及び前記本人確認書類の位置を案内する枠を重畳した前記画面を生成する請求項３に記載のプログラム。

【請求項5】

前記画面生成手段は、前記本人確認書類の右側及び左側のいずれを把持しているかに基づき、前記ユーザ画像に含まれる前記本人確認書類を把持した前記ユーザの手が右手か左手かを判断する請求項３又は４に記載のプログラム。

【請求項6】

前記ユーザ画像の中から検出した前記本人確認書類の位置と、前記枠の位置とのずれを解消する音声案内を出力する音声案内手段として機能させる請求項３から５のいずれか１項に記載のプログラム。

【請求項7】

前記画面の縦方向の長さをＬとした場合、
前記画面生成手段は、Ｌ／２以上の長さの前記操作ボタンを前記画面に表示する請求項１から６のいずれか１項に記載のプログラム。

【請求項8】

携帯端末のカメラ機能で生成されたユーザを含むユーザ画像を取得し、
前記ユーザ画像に操作ボタンを重畳してタッチパネルディスプレイに表示する画面上の前記操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える、携帯端末の処理方法。

【請求項9】

一方の手で本人確認書類を把持したユーザを含むユーザ画像を取得し、
前記ユーザ画像に前記本人確認書類の位置を案内する枠を重畳してタッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える、携帯端末の処理方法。

【請求項10】

携帯端末のカメラ機能で生成されたユーザを含むユーザ画像を取得する取得部と、
前記ユーザ画像に操作ボタンを重畳してタッチパネルディスプレイに表示する画面上の前記操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成部と、
を有する携帯端末。

【請求項11】

一方の手で本人確認書類を把持したユーザを含むユーザ画像を取得する取得部と、
前記ユーザ画像に前記本人確認書類の位置を案内する枠を重畳してタッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成部と、
を有する携帯端末。

【請求項12】

携帯端末から、前記携帯端末のカメラ機能で生成されたユーザを含むユーザ画像を取得する取得手段と、
前記ユーザ画像に操作ボタンを重畳して前記携帯端末のタッチパネルディスプレイに表示する画面上の前記操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成手段と、
前記画面を前記携帯端末に送信する送信手段と、
を有するサーバ。

【請求項13】

携帯端末から、一方の手で本人確認書類を把持したユーザを含むユーザ画像を取得する取得手段と、
前記ユーザ画像に前記本人確認書類の位置を案内する枠を重畳して前記携帯端末のタッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成手段と、
前記画面を前記携帯端末に送信する送信手段と、
を有するサーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、携帯端末の処理方法及び携帯端末に関する。

【背景技術】

【0002】

特許文献１は、画像に基づいて認証を実行する認証装置を開示している。

【0003】

特許文献２は、ユーザの操作パターンが、左手把持左手入力、右手把持右手入力、左手把持右手入力、右手把持左手入力、両把持両入力の中のどれであるかを、加速度センサの検出結果に基づき認識し、その結果に基づいてタッチパネルディスプレイに表示する操作ボタンの位置等を変更する携帯端末を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１４２８５９号公報

【文献】特開２０１２－１９１４４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献２に開示の技術のように、ユーザが携帯端末を把持している手を特定し、特定結果に基づきディスプレイに表示する操作ボタンの位置等を変えることで、ユーザの操作性が向上する。しかし、加速度センサの検出結果に基づき携帯端末を把持している手を特定する特許文献２に開示の技術の場合、十分な精度で特定できないという問題がある。左手把持の時に誤って右手把持と特定し、右手把持用の位置に操作ボタンを表示してしまうと、非常に操作性が悪くなる。

【0006】

本発明は、ユーザが携帯端末を把持している手を高精度に特定し、その把持状態に適した操作性のよい画面を提供することを課題とする。

【課題を解決するための手段】

【0007】

本発明によれば、
携帯端末で用いられるプログラムであって、
ユーザを含むユーザ画像を取得する取得手段、及び、
タッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成手段、
として機能させるプログラムが提供される。

【0008】

また、本発明によれば、
ユーザを含むユーザ画像を取得し、
タッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える、携帯端末の処理方法が提供される。

【0009】

また、本発明によれば、
ユーザを含むユーザ画像を取得する取得部と、
タッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成部と、
を有する携帯端末が提供される。

【0010】

また、本発明によれば、
携帯端末から、ユーザを含むユーザ画像を取得する取得手段と、
前記携帯端末のタッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成手段と、
前記画面を前記携帯端末に送信する送信手段と、
を有するサーバが提供される。

【発明の効果】

【0011】

本発明によれば、ユーザが携帯端末を把持している手を高精度に特定し、その把持状態に適した操作性のよい画面を提供することができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態の携帯端末の機能を説明するための図である。

【図2】本実施形態の携帯端末のハードウエア構成の一例を示す図である。

【図3】本実施形態の携帯端末の機能ブロック図の一例である。

【図4】本実施形態の携帯端末の処理の流れの一例を示すフローチャートである。

【図5】本実施形態の携帯端末の機能を説明するための図である。

【図6】本実施形態の携帯端末の機能ブロック図の一例である。

【図7】本実施形態の携帯端末の処理の流れの一例を示すフローチャートである。

【図8】本実施形態の携帯端末及びサーバの機能ブロック図の一例である。

【発明を実施するための形態】

【0013】

＜第１の実施形態＞
まず、本実施形態の携帯端末の概要を説明する。前提として、携帯端末は、カメラ機能及びタッチパネルディスプレイを備え、いわゆる「自撮り撮影」が可能な構成となっている。図１に示すように、携帯端末１０は、タッチパネルディスプレイ１４と同じ面にカメラレンズＣを有する。そして、自撮り撮影では、当該カメラレンズＣで集光して生成されたユーザを含むユーザ画像がタッチパネルディスプレイ１４に表示される。ユーザは、タッチパネルディスプレイ１４に表示された自分自身を含むユーザ画像を確認しながら、タッチパネルディスプレイ１４を操作して撮影を行う。

【0014】

そして、携帯端末１０は、自撮り撮影時に生成されたユーザ画像に含まれるユーザの手を特定することで、ユーザが携帯端末１０を把持している手を高精度に特定する。携帯端末１０は、画像に含まれない方の手を、携帯端末１０を把持している手として特定する。そして、携帯端末１０は、特定した把持状態に適した操作性のよい画面を生成し、タッチパネルディスプレイ１４に表示する。

【0015】

以下、携帯端末１０の構成を詳細に説明する。まず、携帯端末１０のハードウエア構成の一例を説明する。携帯端末１０は、スマートフォン、タブレット端末、携帯電話、携帯ゲーム機等であるが、これらに限定されない。

【0016】

本実施形態の携帯端末１０が備える機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0017】

図２は、本実施形態の携帯端末１０のハードウエア構成を例示するブロック図である。図２に示すように、携帯端末１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。周辺回路４Ａは有さなくてもよい。なお、携帯端末１０は物理的及び／又は論理的に一体となった１つの装置で構成されてもよいし、物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0018】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0019】

次に、携帯端末１０の機能構成を説明する。図３に、携帯端末１０の機能ブロック図の一例を示す。図示するように、携帯端末１０は、取得部１１と、画面生成部１２と、出力部１３と、タッチパネルディスプレイ１４と、入力受付部１５とを有する。取得部１１、画面生成部１２、出力部１３及び入力受付部１５は、所定のアプリケーションを携帯端末１０にインストールすることで実現される。

【0020】

所定のアプリケーションは、所定のサービスを提供する事業体により提供されるアプリケーションである。事業体が提供する所定のサービスは、金融機関の口座開設や、クレジットカードの申請や、コード等を利用した決済サービス等であるが、これらに限定されない。所定のアプリケーションは、これらのサービスの提供を開始する前に、本人確認処理を実行する。本人確認処理では、図１に示すようなサービスを受けるユーザの顔１及び本人確認書類２を含むユーザ画像が生成され、顔１と本人確認書類２に含まれるそのユーザの顔との照合により、本人確認が行われる。

【0021】

携帯端末１０は、この本人確認処理の実行時に、ユーザ画像に操作ボタンＢを重畳した画面を生成し、タッチパネルディスプレイ１４に表示させる。そして、携帯端末１０は、ユーザ画像に基づきユーザが携帯端末１０を把持している手を高精度に特定し、その把持状態に適した操作性のよい画面を生成して、タッチパネルディスプレイ１４に表示させる。図４のフローチャートを用いて、当該画面提供の処理の流れとともに、各機能部の構成を説明する。

【0022】

まず、ユーザ操作等に応じて所定のアプリケーションが起動された後、本人確認処理が開始されると、携帯端末１０のカメラ機能がＯＮとなる。そして、携帯端末１０は、タッチパネルディスプレイ１４と同じ面にあるカメラレンズＣで集光し、ユーザを含むユーザ画像を生成する。

【0023】

すると、取得部１１は、携帯端末１０のカメラ機能で生成された当該ユーザ画像を取得する（Ｓ１０）。

【0024】

次いで、画面生成部１２は、当該ユーザ画像を解析し、ユーザ画像の中にユーザの手が含まれるか否か（Ｓ１１）、また、ユーザ画像の中に含まれるユーザの手が右手か左手かを判断する（Ｓ１２）。例えば、画面生成部１２は、ユーザの手の画像と、その画像の中の手が右手か左手かを示すラベルとを対応付けた教師データに基づく機械学習で生成された推定モデルに基づき、上記判断を行ってもよい。当該推定モデルによれば、「ユーザの手が含まれない」、「右手が含まれる」、「左手が含まれる」という推定結果が得られる。

【0025】

その他の判断手法として、例えば、画面生成部１２は、本人確認書類２を把持する手を特定し、その特定した手が本人確認書類２の右側（例えば、本人確認書類２を左右に２等分したうちの右半分）及び左側（例えば、本人確認書類２を左右に２等分したうちの左半分）のいずれを把持しているかに基づき、その把持する手が右手か左手かを判断してもよい。例えば、画面生成部１２は、本人確認書類２に接している手を、本人確認書類２を把持する手として特定してもよい。また、画面生成部１２は、ユーザから見て本人確認書類２の右側を把持している場合、本人確認書類２を把持する手は右手と判断し、ユーザから見て本人確認書類２の左側を把持している場合、本人確認書類２を把持する手は左手と判断することができる。

【0026】

その後、画面生成部１２は、図１に示すように、ユーザ画像に操作ボタンＢ、及び、顔の位置を案内する枠Ｆ１、及び、本人確認書類２の位置を案内する枠Ｆ２を重畳した画面を生成する（Ｓ１３－Ｓ１５）。そして、出力部１３は、当該画面をタッチパネルディスプレイ１４に表示させる（Ｓ１６）。本人確認書類２は、ユーザの顔画像を含む身分証明書であり、例えば、運転免許証、パスポート等が例示されるが、これらに限定されない。

【0027】

なお、画面生成部１２は、ユーザ画像にユーザの手が含まれるか否か（Ｓ１１の判断結果）に応じて、画面上の操作ボタンＢの位置を変えて画面を生成する。また、画面生成部１２は、ユーザ画像に含まれる手が右手か左手か（Ｓ１２の判断結果）に応じて、操作ボタンＢの位置を変えて画面を生成する。以下、詳細に説明する。

【0028】

ユーザ画像に手が含まれ（Ｓ１１のＹｅｓ）、かつ、その手が右手である場合（Ｓ１２のＹｅｓ）、画面生成部１２は、左手把持・操作用の位置に操作ボタンＢを表示した画面を生成する（Ｓ１３）。本人確認書類２の撮影を要求する本人確認処理においては、図１に示すように、本人確認書類２を把持した手がユーザ画像に含まれることとなる。

【0029】

例えば、図１に示すように、画面生成部１２は、ユーザ画像に右手が含まれる場合、ユーザ画像に左手が含まれる場合に比べて、操作ボタンＢの位置をユーザから見て左側に寄せる。また、例えば、画面生成部１２は、ユーザ画像に右手が含まれる場合、画面を左右２つに等分した２つのエリアのうちのユーザから見て左側のエリアに、操作ボタンＢを表示させる。

【0030】

なお、図１では、ユーザが左手で携帯端末１０を把持するとともに、左手で本人確認書類２を保持している様子がタッチパネルディスプレイ１４に示されているが、これは、ユーザ画像を左右反転した鏡像がタッチパネルディスプレイ１４に表示されているからであり、実際には、ユーザは右手で本人確認書類２を把持している。左右反転前のユーザ画像に基づきＳ１２の判断を行うことで、右手及び左手のいずれがユーザ画像に含まれるかを正しく推定することができる。

【0031】

一方、ユーザ画像に手が含まれ（Ｓ１１のＹｅｓ）、かつ、その手が左手である場合（Ｓ１２のＮｏ）、画面生成部１２は、右手把持・操作用の位置に操作ボタンＢを表示した画面を生成する（Ｓ１４）。

【0032】

例えば、画面生成部１２は、ユーザ画像に左手が含まれる場合、ユーザ画像に右手が含まれる場合に比べて、操作ボタンＢの位置をユーザから見て右側に寄せる。また、例えば、画面生成部１２は、ユーザ画像に左手が含まれる場合、画面を左右２つに等分した２つのエリアのうちのユーザから見て右側のエリアに、操作ボタンＢを表示させる。

【0033】

なお、ユーザ画像にいずれの手も含まれない場合（Ｓ１１のＮｏ）、画面生成部１２は、予め定められた所定位置に操作ボタンＢを表示した画面を生成する（Ｓ１５）。例えば、画面生成部１２は、画面の左右両端からの距離が同じとなる位置（画面の左右方向の真ん中）に操作ボタンＢを表示してもよい。

【0034】

入力受付部１５は、タッチパネルディスプレイ１４を介した入力を受付ける。例えば、入力受付部１５は、操作ボタンＢをタッチする操作を受付ける。操作ボタンＢは、所定の操作をスキップするための操作ボタンであってもよいし、静止画像の保存を実行させるための操作ボタンであってもよいし、動画像の撮影開始及び撮影終了を実行させるための操作ボタンであってもよいし、その他の処理を実行させるための操作ボタンであってもよい。

【0035】

携帯端末１０は、本人確認処理を実行している間、上述した処理を実行し、操作性のよい画面をタッチパネルディスプレイ１４に表示する。なお、携帯端末１０は、本人確認処理を実行している間、上述した処理とともに、以下のメイン処理を行う。

【0036】

メイン処理では、携帯端末１０は、ユーザ画像の中からユーザの顔１及び本人確認書類２を抽出する。携帯端末１０は、ユーザの顔１の外観の特徴量や、本人確認書類２の外観の特徴量に基づき、ユーザ画像の中からユーザの顔１及び本人確認書類２を抽出することができる。次いで、携帯端末１０は、本人確認書類２の中からユーザの顔を抽出する。そして、携帯端末１０は、ユーザ画像の中から抽出したユーザの顔１と、本人確認書類２の中から抽出したユーザの顔とを照合することで、本人確認を行う。

【0037】

また、携帯端末１０は、当該メイン処理において、生体検知を行ってもよい。携帯端末１０は、あらゆる技術を用いて、生体検知を行うことができる。例えば、図１に示すように、顔の動きを案内するマークＭを表示し、このマークＭにより、右目を閉じる、左目を閉じる、口を開く等の顔の動きを案内してもよい。そして、携帯端末１０は、ユーザ画像の解析により、案内通りの顔の動きを検出することで、生体検知を行ってもよい。この場合、操作ボタンＢは、現在要求されている顔の動きをスキップするための操作ボタンであってもよい。

【0038】

なお、本人確認や生体検知は広く知られた技術であるので、ここでの詳細な説明は省略する。

【0039】

以上説明した本実施形態の携帯端末１０によれば、ユーザが携帯端末を把持している手を特定し、その特定結果に基づき操作ボタンＢの表示位置を変えることができる。そして、ユーザ画像に含まれる手に基づきユーザが携帯端末１０を把持している手を特定する携帯端末１０によれば、高精度にユーザが携帯端末１０を把持している手を特定することができる。結果、左手把持の時に誤って右手把持と特定し、右手把持用の位置に操作ボタンＢを表示したり、右手把持の時に誤って左手把持と特定し、左手把持用の位置に操作ボタンＢを表示したりという不都合の発生を軽減できる。

【0040】

また、携帯端末１０は、ユーザの手がユーザ画像に含まれるか否かに基づき、操作ボタンＢの表示位置を変えることができる。すなわち、ユーザの手がユーザ画像に含まれ、携帯端末１０を把持している手を特定できる場合には、上述のように、特定結果各々に適した位置に操作ボタンＢを表示することができる。そして、ユーザの手がユーザ画像に含まれず、携帯端末１０を把持している手を特定できない場合には、その状況に適した位置に操作ボタンＢを表示することができる。例えば、左手把持の時に右手把持用の位置に操作ボタンＢを表示したり、右手把持の時に左手把持用の位置に操作ボタンＢを表示したりすると、操作性が極めて悪くなる。そこで、携帯端末１０を把持している手を特定できない場合には、携帯端末１０は、例えば、画面の左右方向の真ん中に操作ボタンＢを表示し、いずれの手で把持している場合でも操作性が極めて悪くなる不都合を抑制することができる。

【0041】

＜第２の実施形態＞
本実施形態の画面生成部１２は、ユーザ画像の中の一部分、具体的には、本人確認書類２の位置を案内する枠Ｆ２が重畳した部分を含む一部画像に基づき、ユーザ画像に手が含まれるか否か、また、含まれる手が右手か左手かを判断することができる。すなわち、上述した推定モデルで推定する場合、画面生成部１２は、ユーザ画像の中の上記一部分を推定モデルに入力して、ユーザ画像に手が含まれるか否か、また、含まれる手が右手か左手かを判断する。

【0042】

携帯端末１０のその他の構成は、第１の実施形態と同様である。

【0043】

本実施形態の携帯端末１０によれば、第１の実施形態と同様の作用効果が得られる。

【0044】

また、本実施形態の携帯端末１０によれば、ユーザ画像の一部分に基づき、ユーザ画像に手が含まれるか否か、また、含まれる手が右手か左手かを判断するので、処理する画像のデータ量が少なくなり、コンピュータの処理負担が軽減される。

【0045】

また、本実施形態の携帯端末１０は、本人確認書類２の位置を案内する枠Ｆ２が重畳した部分を含む一部画像を処理対象とするので、処理対象とする一部分の中に検出したいユーザの手（本人確認書類２を把持している手）が含まれる可能性が高い。このため、ユーザ画像の一部分に基づき、ユーザ画像に手が含まれるか否か、また、含まれる手が右手か左手かを判断する場合であっても、高精度に判断することができる。すなわち、本実施形態の携帯端末１０によれば、高精度な判断を維持しつつ、コンピュータの処理負担が軽減される。

【0046】

＜第３の実施形態＞
本実施形態の画面生成部１２は、タッチパネルディスプレイ１４の大きさに応じて、画面上の操作ボタンＢの位置を変えることができる。

【0047】

例えば、画面生成部１２は、タッチパネルディスプレイ１４の大きさが基準値以上である場合、画面の上下方向の真ん中よりも下側に操作ボタンＢを表示させてもよい。そして、画面生成部１２は、タッチパネルディスプレイ１４の大きさが基準値未満である場合、画面の上下方向の真ん中よりも上側に操作ボタンＢを表示させてもよい。

【0048】

また、画面生成部１２は、タッチパネルディスプレイ１４の大きさが大きいほど、操作ボタンＢの位置を画面の下側に寄せ、タッチパネルディスプレイ１４の大きさが小さいほど、操作ボタンＢの位置を画面の上側に寄せてもよい。

【0049】

予め、携帯端末１０にタッチパネルディスプレイ１４の大きさを示す情報が登録されており、画面生成部１２は、当該情報に基づき、タッチパネルディスプレイ１４の大きさを特定することができる。タッチパネルディスプレイ１４の大きさは、ピクセル数で示されてもよいし、タッチパネルディスプレイ１４の対角線の長さ（インチ等）で示されてもよいし、その他で示されてもよい。

【0050】

携帯端末１０のその他の構成は、第１及び第２の実施形態と同様である。

【0051】

本実施形態の携帯端末１０によれば、第１及び第２の実施形態と同様の作用効果が得られる。

【0052】

また、本実施形態の携帯端末１０によれば、タッチパネルディスプレイ１４の大きさに応じた適切な位置に操作ボタンＢを表示することができる。携帯端末１０の把持の仕方は、タッチパネルディスプレイ１４の大きさに応じて異なり得る。各把持の仕方に適した位置に操作ボタンＢを表示させることで、操作性が向上する。

【0053】

＜第４の実施形態＞
本実施形態の画面生成部１２は、図５に示すように、タッチパネルディスプレイ１４に表示する画面の縦方向の長さをＬとした場合、Ｌ／２以上の長さ、より好ましくは２Ｌ／３以上の長さ、より好ましくは長さＬの操作ボタンＢを画面に表示する。操作ボタンＢは、図５に示すように、Ｌ／２以上の長さとなっている延伸方向が画面の縦方向に平行に配置されるのが好ましい。

【0054】

携帯端末１０のその他の構成は、第１乃至第３の実施形態と同様である。

【0055】

本実施形態の携帯端末１０によれば、第１乃至第３の実施形態と同様の作用効果が得られる。

【0056】

また、本実施形態の携帯端末１０によれば、操作ボタンＢの長さを長くし、タッチパネルディスプレイ１４の縦方向の長さの所定割合以上の長さとなった操作ボタンＢを表示することができる。このため、携帯端末１０の上下方向のどの位置で携帯端末１０を把持しても、携帯端末１０を把持した手で容易に操作ボタンＢに対する操作を行うことができる。

【0057】

＜第５の実施形態＞
図６に、本実施形態の携帯端末１０の機能ブロック図の一例を示す。図示するように、携帯端末１０は、取得部１１と、画面生成部１２と、出力部１３と、タッチパネルディスプレイ１４と、入力受付部１５と、音声案内部１６とを有する。

【0058】

音声案内部１６は、ユーザ画像の中から検出したユーザの顔１及び本人確認書類２の位置と、ユーザ画像に重畳してタッチパネルディスプレイ１４に表示している枠Ｆ１及びＦ２の位置とのずれを解消する音声案内を出力する。音声案内部１６は、携帯端末１０が有するマイクを介して、音声案内を出力する。

【0059】

図７のフローチャートを用いて、携帯端末１０が行う音声案内の処理の流れの一例を説明する。

【0060】

まず、ユーザ操作等に応じて所定のアプリケーションが起動された後、本人確認処理が開始されると、携帯端末１０のカメラ機能がＯＮとなる。そして、携帯端末１０は、タッチパネルディスプレイ１４と同じ面にあるカメラレンズＣで集光し、画像を生成する。

【0061】

すると、取得部１１は、携帯端末１０のカメラ機能で生成された当該画像を取得する（Ｓ２０）。

【0062】

次いで、携帯端末１０は、画像からユーザの顔１を抽出する（Ｓ２１）。画像からユーザの顔１が抽出されず（Ｓ２１のＮｏ）、かつ、ユーザの顔１が抽出されない状態が所定時間以上継続している場合（Ｓ２２のＹｅｓ）、音声案内部１６は、顔１を撮影する音声案内を出力する（Ｓ２３）。音声案内は、例えば、「顔を撮影してください」等であるが、視覚障害者を想定し、「携帯端末１０の表裏をひっくり返してください。」等としてもよい。なお、画像からユーザの顔１が抽出されなくても（Ｓ２１のＮｏ）、その状態が所定時間以上継続していない場合（Ｓ２２のＮｏ）、当該音声案内は行わない。

【0063】

一方、画像からユーザの顔１が抽出された場合（Ｓ２１のＹｅｓ）、携帯端末１０は、抽出した顔１の位置と、その画像に重畳してタッチパネルディスプレイ１４に表示している枠Ｆ１（図１参照）の位置とがずれているか判断する（Ｓ２４）。ずれの判断手法は設計的事項である。例えば、顔１の一部分が枠Ｆ１の外にある場合、ずれていると判断してもよい。その他、顔１の中心と、枠Ｆ１の中心との距離が閾値以上である場合、ずれていると判断してもよい。

【0064】

顔１の位置と枠Ｆ１の位置とがずれていると判断し（Ｓ２４のＹｅｓ）、かつ、そのずれた状態が所定時間以上継続している場合（Ｓ２５のＹｅｓ）、音声案内部１６は、そのずれを解消する音声案内を出力する（Ｓ２６）。例えば、音声案内部１６は、枠Ｆ１の位置を基準にして、顔１の位置がどちら方向にずれているかを算出し、そのずれを解消する方向に顔１の位置をずらす音声案内（例：「顔を右方向にずらしてください」）を出力してもよい。なお、顔１が枠Ｆ１からずれていない場合（Ｓ２４のＮｏ）、当該音声案内は行わない。また、顔１が枠Ｆ１からずれていても（Ｓ２４のＹｅｓ）、その状態が所定時間以上継続していない場合（Ｓ２５のＮｏ）、当該音声案内は行わない。

【0065】

また、携帯端末１０は、画像から本人確認書類２を抽出する（Ｓ２７）。画像から本人確認書類２が抽出されず（Ｓ２７のＮｏ）、かつ、本人確認書類２が抽出されない状態が所定時間以上継続している場合（Ｓ２８のＹｅｓ）、音声案内部１６は、本人確認書類２を撮影する音声案内を出力する（Ｓ２９）。音声案内は、例えば、「本人確認書類２を撮影してください」等である。なお、画像から本人確認書類２が抽出されなくても（Ｓ２７のＮｏ）、その状態が所定時間以上継続していない場合（Ｓ２８のＮｏ）、当該音声案内は行わない。

【0066】

一方、ユーザ画像から本人確認書類２が抽出された場合（Ｓ２７のＹｅｓ）、携帯端末１０は、抽出した本人確認書類２の位置と、その画像に重畳してタッチパネルディスプレイ１４に表示している枠Ｆ２（図１参照）の位置とがずれているか判断する（Ｓ３０）。ずれの判断手法は設計的事項である。例えば、本人確認書類２の一部分が枠Ｆ２の外にある場合、ずれていると判断してもよい。その他、本人確認書類２の中心と、枠Ｆ２の中心との距離が閾値以上である場合、ずれていると判断してもよい。

【0067】

本人確認書類２の位置と枠Ｆ２の位置とがずれていると判断し（Ｓ３０のＹｅｓ）、かつ、そのずれた状態が所定時間以上継続している場合（Ｓ３１のＹｅｓ）、音声案内部１６は、そのずれを解消する音声案内を出力する（Ｓ３２）。例えば、音声案内部１６は、枠Ｆ２の位置を基準にして、本人確認書類２の位置がどちら方向にずれているかを算出し、そのずれを解消する方向に本人確認書類２の位置をずらす音声案内（例：「本人確認書類を右方向にずらしてください」）を出力してもよい。なお、本人確認書類２が枠Ｆ２からずれていない場合（Ｓ３０のＮｏ）、当該音声案内は行わない。また、本人確認書類２が枠Ｆ２からずれていても（Ｓ３０のＹｅｓ）、その状態が所定時間以上継続していない場合（Ｓ３１のＮｏ）、当該音声案内は行わない。

【0068】

携帯端末１０のその他の構成は、第１乃至第４の実施形態と同様である。

【0069】

本実施形態の携帯端末１０によれば、第１乃至第４の実施形態と同様の作用効果が得られる。

【0070】

また、本実施形態の携帯端末１０によれば、顔１と枠Ｆ１とのずれや、本人確認書類２と枠Ｆ２とのずれを画像解析で検出し、それを解消する音声案内を出力することができる。当該携帯端末１０によれば、視覚障害者も操作しやすくなる。

【0071】

＜第６の実施形態＞
図８に、本実施形態の携帯端末１０とサーバ２０の機能ブロック図を示す。図示するように、サーバ２０は、取得部２１と、画面生成部２２と、送信部２３と、通信部２４とを有する。

【0072】

第１乃至第５の実施形態では、携帯端末１０が図４のフローチャートで示すような画面生成処理や、ユーザ画像に基づく本人確認（ユーザ画像の中から抽出したユーザの顔１と、本人確認書類２の中から抽出したユーザの顔との照合）や、生体検知のための処理を行った。

【0073】

本実施形態では、携帯端末１０は、自端末が備えるカメラ機能で生成したユーザ画像をサーバ２０に送信する。そして、サーバ２０が、図４のフローチャートで示すような画面生成処理や、ユーザ画像に基づく本人確認（ユーザ画像の中から抽出したユーザの顔１と、本人確認書類２の中から抽出したユーザの顔との照合）や、生体検知のための処理を行う。そして、携帯端末１０は、サーバ２０から受信した画面をタッチパネルディスプレイ１４に表示する。

【0074】

サーバ２０の取得部２１は、上述した取得部１１と同様の機能を備える。サーバ２０の画面生成部２２は、上述した画面生成部１２と同様の機能を備える。通信部２４は、インターネット等の通信ネットワークを介して、携帯端末１０と通信する。取得部１１は、通信部２４を介して、携帯端末１０が生成したユーザを含むユーザ画像を取得する。送信部２３は、通信部２４を介して、画面生成部１２が生成した画面を携帯端末１０に送信する。

【0075】

なお、図示しないが、サーバ２０は、上述した音声案内部１６と同様の機能を備える音声案内部２５を有してもよい。音声案内部２５は、通信部２４を介して音声案内を携帯端末１０に送信する。

【0076】

本実施形態のサーバ２０によれば、第１乃至第５の実施形態の携帯端末１０と同様の作用効果が実現される。

【0077】

＜第７の実施形態＞
第１乃至第５の実施形態では、所定のサービスを提供する事業体により提供されるアプリケーションを携帯端末１０にインストールすることで、取得部１１、画面生成部１２、出力部１３及び入力受付部１５等が携帯端末１０上で実現された。そして、当該アプリケーションに基づき実行される本人確認処理の実行時に、ユーザを含むユーザ画像に手が含まれるか否かの判断や、その手が右手か左手かの判断を行い、判断結果に応じて操作ボタンＢの位置を最適化した。

【0078】

本実施形態の携帯端末１０は、予め携帯端末１０の出荷段階から携帯端末１０にインストールされているカメラアプリケーションにより、取得部１１、画面生成部１２、出力部１３及び入力受付部１５等が携帯端末１０上で実現される。そして、当該カメラアプリケーションを起動して自撮り撮影を行っている時に、ユーザを含むユーザ画像に手が含まれるか否かの判断や、その手が右手か左手かの判断を行い、判断結果に応じて操作ボタンＢの位置を最適化する。この場合の操作ボタンＢは、例えば、静止画像の保存を実行させるための操作ボタンであってもよいし、動画像の撮影開始及び撮影終了を実行させるための操作ボタンであってもよい。

【0079】

本実施形態の携帯端末１０によれば、第１乃至第５の実施形態と同様の作用効果が実現される。

【0080】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0081】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 携帯端末で用いられるプログラムであって、
ユーザを含むユーザ画像を取得する取得手段、及び、
タッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成手段、
として機能させるプログラム。
２． 前記取得手段は、前記携帯端末のカメラ機能で生成された前記ユーザ画像を取得し、
前記画面生成手段は、前記ユーザ画像に前記操作ボタンを重畳した前記画面を生成し、前記ユーザ画像に含まれる手が右手の場合と左手の場合とで、前記画面上の前記操作ボタンの位置を変える１に記載のプログラム。
３． 前記画面生成手段は、前記ユーザ画像に右手が含まれる場合、前記ユーザ画像に左手が含まれる場合に比べて、前記操作ボタンの位置を左側に寄せる２に記載のプログラム。
４． 前記画面生成手段は、前記ユーザ画像に、顔の位置、及び、本人確認書類の位置を案内する枠を重畳した前記画面を生成し、
前記取得手段は、一方の手で前記本人確認書類を把持した前記ユーザを含む前記ユーザ画像を取得する１から３のいずれかに記載のプログラム。
５． 前記画面生成手段は、前記本人確認書類の右側及び左側のいずれを把持しているかに基づき、前記ユーザ画像に含まれる前記本人確認書類を把持した前記ユーザの手が右手か左手かを判断する４に記載のプログラム。
６． 前記ユーザ画像の中から検出した前記ユーザの顔及び前記本人確認書類の位置と、前記枠の位置とのずれを解消する音声案内を出力する音声案内手段として機能させる４又は５に記載のプログラム。
７． 前記画面の縦方向の長さをＬとした場合、
前記画面生成手段は、Ｌ／２以上の長さの前記操作ボタンを前記画面に表示する１から６のいずれかに記載のプログラム。
８． 前記画面生成手段は、前記タッチパネルディスプレイの大きさに応じて、前記画面上の前記操作ボタンの位置を変える１から７のいずれかに記載のプログラム。
９． ユーザを含むユーザ画像を取得し、
タッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える、携帯端末の処理方法。
１０． ユーザを含むユーザ画像を取得する取得部と、
タッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成部と、
を有する携帯端末。
１１． 携帯端末から、ユーザを含むユーザ画像を取得する取得手段と、
前記携帯端末のタッチパネルディスプレイに表示する画面上の操作ボタンの位置を、前記ユーザ画像に含まれる前記ユーザの手が右手の場合と左手の場合とで変える画面生成手段と、
前記画面を前記携帯端末に送信する送信手段と、
を有するサーバ。

【0082】

この出願は、２０２０年２月１０日に出願された日本出願特願２０２０－０２０３７９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0083】

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 携帯端末
１１ 取得部
１２ 画面生成部
１３ 出力部
１４ タッチパネルディスプレイ
１５ 入力受付部
１６ 音声案内部
２０ サーバ
２１ 取得部
２２ 画面生成部
２３ 送信部
２４ 通信部
２５ 音声案内部
１ 顔
２ 本人確認書類

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】