特許 7457290 携帯電話装置、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-19

(45)【発行日】2024-03-28

(54)【発明の名称】携帯電話装置、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   H04M 1/72 20210101AFI20240321BHJP

   G08B 21/24 20060101ALI20240321BHJP

   G08B 25/00 20060101ALI20240321BHJP

【ＦＩ】

H04M1/72

G08B21/24

G08B25/00 510M

【請求項の数】 14

(21)【出願番号】P 2019162114

(22)【出願日】2019-09-05

(65)【公開番号】P2021040284

(43)【公開日】2021-03-11

【審査請求日】2022-08-29

(73)【特許権者】

【識別番号】524066085

【氏名又は名称】ＦＣＮＴ合同会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】小林 玉奈

【審査官】山岸 登

(56)【参考文献】

【文献】特開２０１５－０７６７１４（ＪＰ，Ａ）

【文献】特開２０１６－２０１６９５（ＪＰ，Ａ）

【文献】特開２０１４－１２７８２５（ＪＰ，Ａ）

【文献】特開２００５－０１２２９６（ＪＰ，Ａ）

【文献】特開２００８－１９７９３９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３０９１４９（ＵＳ，Ａ１）

【文献】特開２０１１－０９５０６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ１９／００－３１／００

Ｈ０４Ｍ１／００

１／２４－１／８２

９９／００

(57)【特許請求の範囲】

【請求項1】

カメラを備える携帯電話装置であって、
前記携帯電話装置を用いて利用者が通話を開始すると、前記通話が終了するまでの間に、前記カメラから複数の撮像データを取得する取得部と、
前記複数の撮像データそれぞれを取得したときにおける前記利用者の所在を、前記複数の撮像データそれぞれを基に推定する推定部と、
利用者の所在の時系列の変化と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして、前記推定部が推定した前記利用者の所在の時系列の変化と前記対応関係とを基に、前記利用者がおかれた状況の危険度を判定する判定部と、を備える、
携帯電話装置。

【請求項2】

前記取得部は、前記携帯電話装置が発信または着信したときに、前記カメラに静止画を撮影させて撮像データを取得する、
請求項１に記載の携帯電話装置。

【請求項3】

前記携帯電話装置が発信したときは、電話番号の入力を検知したとき、電話発信ボタンの押下を受け付けたとき、または、前記利用者と通話相手との通話接続が確立したとき、のいずれかである、
請求項２に記載の携帯電話装置。

【請求項4】

前記取得部は、前記通話の開始から終了までの間において、前記携帯電話装置が備えるマイクロフォンに前記利用者からの音声が入力されると、前記カメラに静止画を撮影させて撮像データを取得する、
請求項１から３のいずれか一項に記載の携帯電話装置。

【請求項5】

前記取得部は、前記通話の開始から終了までの間において、前記携帯電話装置が備える加速度センサが所定の閾値以上の加速度を検知したときに、前記カメラに静止画を撮影させて撮像データを取得する、
請求項１から４のいずれか一項に記載の携帯電話装置。

【請求項6】

前記推定部は、前記撮像データに対して文字認識処理を実行して前記撮像データに含まれる文字情報を取得し、取得した文字情報を基に、前記利用者の所在を推定する、
請求項１から５のいずれか一項に記載の携帯電話装置。

【請求項7】

前記推定部は、前記撮像データを基に推定した前記利用者の所在が、前記対応関係に記憶されていない場合、前記判定部による処理の実行を阻止する、
請求項１から６のいずれか一項に記載の携帯電話装置。

【請求項8】

通話内容の音声を解析して危険度を判定する音声解析部をさらに備え、
前記判定部は、利用者の所在の時系列の変化と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして、前記推定部が推定した前記利用者の所在の時系列の変化と前記対応関係とを基に判定した危険度と、前記音声解析部が判定した危険度とを基に、前記利用者がおかれた状況の危険度を判定する、
請求項１から７のいずれか一項に記載の携帯電話装置。

【請求項9】

前記危険度は、前記利用者が還付金詐欺に遭う危険度を示す、
請求項１から８のいずれか一項に記載の携帯電話装置。

【請求項10】

カメラを備える携帯電話装置が、
前記携帯電話装置を用いて利用者が通話を開始すると、前記通話が終了するまでの間に、前記カメラから複数の撮像データを取得し、
前記複数の撮像データそれぞれを取得したときにおける前記利用者の所在を、前記複数の撮像データそれぞれを基に推定し、
利用者の所在の時系列の変化と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして、推定した前記利用者の所在の時系列の変化と前記対応関係とを基に、前記利用者がおかれた状況の危険度を判定する、
情報処理方法。

【請求項11】

カメラを備える携帯電話装置に、
前記携帯電話装置を用いて利用者が通話を開始すると、前記通話が終了するまでの間に、前記カメラから複数の撮像データを取得させ、
前記複数の撮像データそれぞれを取得したときにおける前記利用者の所在を、前記複数の撮像データそれぞれを基に推定させ、
利用者の所在の時系列の変化と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして、推定した前記利用者の所在の時系列の変化と前記対応関係とを基に、前記利用者がおかれた状況の危険度を判定させる、
情報処理プログラム。

【請求項12】

カメラ及びマイクロフォンを備える携帯電話装置であって、
前記携帯電話装置を用いて利用者が通話を開始すると、前記通話が終了するまでの間に、前記カメラから撮像データを取得する取得部と、
前記撮像データを取得したときにおける前記利用者の所在を、前記撮像データを基に推定する推定部と、
前記マイクロフォンに入力される音を解析して第１の危険度を判定する音声解析部と、
利用者の所在と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして前記推定部が推定した前記利用者の所在と前記対応関係とを基に判定した第２の危険度と、前記第１の危険度と、を基に、前記利用者がおかれた状況の危険度を判定する判定部と、を備える、
携帯電話装置。

【請求項13】

カメラ及びマイクロフォンを備える携帯電話装置が、
前記携帯電話装置を用いて利用者が通話を開始すると、前記通話が終了するまでの間に、前記カメラから撮像データを取得し、
前記撮像データを取得したときにおける前記利用者の所在を、前記撮像データを基に推定し、
前記マイクロフォンに入力される音を解析して第１の危険度を判定し、
利用者の所在と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして推定した前記利用者の所在と前記対応関係とを基に判定した第２の危険度と、前記第１の危険度と、を基に、前記利用者がおかれた状況の危険度を判定する、
情報処理方法。

【請求項14】

カメラ及びマイクロフォンを備える携帯電話装置に、
前記携帯電話装置を用いて利用者が通話を開始すると、前記通話が終了するまでの間に、前記カメラから撮像データを取得させ、
前記撮像データを取得したときにおける前記利用者の所在を、前記撮像データを基に推定させ、
前記マイクロフォンに入力される音を解析して第１の危険度を判定させ、
利用者の所在と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして推定した前記利用者の所在と前記対応関係とを基に判定した第２の危険度と、前記第１の危険度と、を基に、前記利用者がおかれた状況の危険度を判定させる、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯電話装置、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

電話による通話内容を音声解析して詐欺の危険度を判定する装置が利用されている（例えば、特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１５４４７５号公報

【文献】特開２０１８－０１３５２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

通話内容を示す音声データを携帯電話装置内で音声解析して詐欺の危険度を判定する場合、携帯電話装置の処理能力上、解析精度を高めることが難しい。解析精度を高める一案として、例えば、通話内容を示す音声データをサーバにアップロードし、サーバ側で音声解析を行う方式を挙げることができる。しかしながら、音声データをサーバにアップロードする場合、アップロードに係る通信料金の負担や音声データを外部に出力することによるプライバシーの問題等の懸念点が存在する。また、音声解析において特定のキーワードの有無によって詐欺の危険度を判定する場合、詐欺に用いられる用語が変化すると詐欺の危険度を判定することが困難となる。

【0005】

このように音声解析のみでは、高い精度で詐欺を検知することは困難な場合がある。また、携帯電話装置で通話しながら移動する利用者にとっての危険な状況は、詐欺以外にも、交通事故に遭うこと、危険な地域へ立ち入ること、道に迷うこと、発生した災害によって危険に遭うこと等があり、詐欺のみに着目するのは利用者保護の観点から不十分である。

【0006】

開示の技術の１つの側面は、携帯電話装置で通話しながら移動する利用者が遭遇する危険の検知を支援できる携帯電話装置、情報処理方法および情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

開示の技術の１つの側面は、次のような携帯電話装置よって例示される。本携帯電話装置は、カメラを備える携帯電話装置である。本携帯電話装置は、前記携帯電話装置を用いて利用者が通話を開始すると、前記通話が終了するまでの間に、前記カメラから複数の撮像データを取得する取得部と、前記複数の撮像データそれぞれを取得したときにおける前記利用者の所在を、前記複数の撮像データそれぞれを基に推定する推定部と、利用者の所在の時系列の変化と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして、前記推定部が推定した前記利用者の所在の時系列の変化と前記対応関係とを基に、前記利用者がおかれた状況の危険度を判定する判定部と、を備える。

【発明の効果】

【0008】

本携帯電話装置は、携帯電話装置で通話しながら移動する利用者が遭遇する危険の検知を支援することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係るスマートフォンの外観の一例を示す図である。

【図2】図２は、実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。

【図4】図４は、実施形態において、シーン学習モデルの教師データとしたシーン画像の例を示す図である。

【図5】図５は、実施形態における時系列シーンテーブルの一例を示す図である。

【図6】図６は、実施形態に係るスマートフォンの処理フローの一例を示す図である。

【図7】図７は、第１変形例に係るスマートフォンの処理ブロックの一例を示す図である。

【図8】図８は、第１変形例に係るスマートフォンの処理フローの一例を示す図である。

【図9】図９は、第２変形例に係るスマートフォンの処理ブロックの一例を示す図である。

【図10】図１０は、第２変形例に係るスマートフォンの処理フローの一例を示す図である。

【図11】図１１は、第２変形例における除外判定処理の処理フローの一例を示す図である。

【図12】図１２は、３か所以上の場所における時系列の変化を示す情報が格納された時系列シーンテーブルの一例を示す図である。

【図13】図１３は、第３変形例に係るスマートフォンの処理ブロックの一例を示す図である。

【図14】図１４は、第３変形例におけるシーンテーブルの一例を示す図である。

【図15】図１５は、第３変形例に係るスマートフォンの処理フローの一例を示す図である。

【発明を実施するための形態】

【0010】

実施形態に係る携帯電話装置は、例えば、カメラを備える携帯電話装置であって、
前記携帯電話装置を用いて利用者が通話を開始すると、前記通話が終了するまでの間に、前記カメラから複数の撮像データを取得する取得部と、
前記複数の撮像データそれぞれを取得したときにおける前記利用者の所在を、前記複数の撮像データそれぞれを基に推定する推定部と、
利用者の所在の時系列の変化と利用者がおかれた状況の危険度との対応関係を記憶する記憶部にアクセスして、前記推定部が推定した前記利用者の所在の時系列の変化と前記対応関係とを基に、前記利用者がおかれた状況の危険度を判定する判定部と、を備える。

【0011】

携帯電話装置は、電話回線を利用した通話が可能な可搬型の電話装置である。携帯電話装置は、例えば、携帯電話（フィーチャーフォン）やスマートフォンを挙げることができる。携帯電話装置は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）やメモリを備えることで任意のプログラムを実行可能である。携帯電話装置が備えるカメラは、例えば、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）センサーやＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）センサーを有するデジタルカメラであり、利用者の周囲の状況を撮影可能である。カメラは、動画および静止画の少なくとも一方を撮影し、撮像データとして出力する。

【0012】

取得部は、利用者による携帯電話を用いた通話を検知すると、通話が終了するまでの間にカメラから複数の撮像データを取得する。取得部は、カメラに複数枚の静止画を撮影さ
せることで複数の撮像データを取得してもよいし、カメラに動画を撮影させ、撮影させた動画から複数の撮像データを取得してもよい。

【0013】

推定部は、撮像データそれぞれを取得したときにおける利用者の所在を推定する。推定部は、例えば、様々な場所を撮影した画像データを教師データとして構築された判定モデルに撮像データを入力して、利用者の所在を推定してもよい。推定部は、このような判定モデルを用いることで、利用者の所在が、銀行の入り口であるか、Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ（ＡＴＭ）の前であるか、等を判定できる。

【0014】

記憶部は、携帯電話装置内に備えてもよいし、携帯電話装置と通信可能な外部の情報処理装置に備えていてもよい。すなわち、記憶部は、携帯電話装置がアクセス可能であればよい。記憶部には、利用者の所在の時系列の変化と利用者がおかれた状況の危険度との対応関係が記憶される。利用者がおかれた状況の危険度は、例えば、詐欺の被害に遭う可能性の高さ、交通事故に遭う可能性の高さ、危険な地域への立ち入りの可能性の高さ、道に迷っている可能性の高さ、発生した災害によって危険に遭う可能性の高さ等を挙げることができる。

【0015】

例えば、電話で通話をしながら銀行の入り口からＡＴＭの前に移動した場合、詐欺行為を行おうとする加害者によってＡＴＭの前に誘導され、当該加害者の口座宛に送金を促される虞があると考えられる。そこで、記憶部が記憶する対応関係において、利用者の所在の時系列の変化が銀行の入り口からＡＴＭの前に遷移する場合の危険度を高くすることが考えられる。また、例えば、通話をしながら交通量の多い道路に向かって利用者が移動している場合、利用者の注意が通話に向いてしまい、自動車等の車両が利用者に接近することに利用者が気づかない場合が考えられる。このような危険は、交通量の少ない道路から交通量の多い道路に移動する場合に顕著であると考えられる。そこで、記憶部が記憶する対応関係において、利用者の所在の時系列の変化が交通量の少ない道路から交通量の多い道路に遷移する場合の危険度を高くすることが考えられる。

【0016】

判定部は、推定部が推定した利用者の所在の時系列の変化に対応付けられた危険度を、記憶部が記憶する対応関係を参照して取得し、取得した危険度を利用者がおかれた状況の危険度として判定する。

【0017】

実施形態に係る携帯電話装置では、利用者の周囲の状況を撮影した撮像データを基に、利用者の所在を推定し、推定した所在の時系列の変化に基づいて、利用者がおかれた状況の危険度を判定できる。そのため、本実施形態に係る携帯電話装置を用いることで、利用者が危険に遭う前に利用者に注意を促すことが可能となる。また、利用者の所在を撮像データを基に推定するため、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）等が利用できない建物内等でも、利用者の所在を推定することができる。

【0018】

実施形態に係る携帯電話装置は、前記携帯電話装置が発信または着信したときや、前記通話の開始から終了までの間において、前記携帯電話装置が備えるマイクロフォンに前記利用者からの音声が入力されたとき、前記通話の開始から終了までの間において、前記携帯電話装置が備える加速度センサが所定の閾値以上の加速度を検知したときに、カメラに静止画を撮影させて撮像データを取得してもよい。ここで、前記携帯電話装置が発信したときは、電話番号の入力を検知したとき、電話発信ボタンの押下を受け付けたとき、または、前記利用者と通話相手との通話接続が確立したとき、のいずれかであってもよい。撮影タイミングを利用者が通話相手に電話をかける契機(例えば、電話番号の入力中)からとすることで、スマートフォンを手元から耳元へ移すシーンの撮影が可能となり、利用者周囲の状況をより正確に把握することができる。また、通話接続後、無言状態が続いた後に会話が開始されるケースにおいても、マイクロフォンに利用者からの音声が入力されたこ
とを契機として撮影を開始することで早いタイミングから利用者の状況を把握することができるため、所在の時系列変化をより正確に捉えることが可能となり、精度の高い検知が可能となる。カメラが静止画を撮影するタイミングを限定することで、カメラに動画を撮影させたり静止画を連続して撮影させたりする場合よりも、携帯電話装置の消費電力を低減することができる。

【0019】

また、携帯電話装置が発信または着信したときに撮像データを取得することで、例えば、利用者が通話を開始したときにおける利用者の所在を推定することが可能となる。携帯電話装置が備えるマイクロフォンに利用者からの音声が入力されたとき、または利用者と通話相手との通話接続確立を検知したとき、または利用者が通話相手に電話をかけた（電話番号の入力を検知した、あるいは電話発信ボタンの押下を検知した）ことを検知したとき、に撮像データを取得することで、例えば、利用者が通話相手に何らかの応答をするときにおける利用者の所在を推定することが可能となる。携帯電話が備える加速度センサが所定の閾値以上の加速度を検知したときに撮像データを取得することで、例えば、利用者が体を動かしたとき（通話相手に誘導されてＡＴＭ等の何らかの装置を操作したとき等）における利用者の所在を推定することが可能となる。

【0020】

本実施形態に係る携帯電話装置において、推定部は、前記撮像データに対して文字認識処理を実行して前記撮像データに含まれる文字情報を取得し、取得した文字情報を基に、前記利用者の所在を推定してもよい。このような特徴を有することで、撮像データに場所を示す文字情報が含まれている場合に、利用者の所在の推定精度を高めることができる。

【0021】

本実施形態に係る携帯電話装置において、推定部は、前記撮像データを基に推定した前記利用者の所在が、前記対応関係に記憶されていない場合、判定部による処理の実行を阻止させてもよい。推定した利用者の所在が対応関係に記憶されていない場合、利用者は安全な場所にいると思われる。このような場合に判定部による処理の実行を阻止することで、携帯電話装置の消費電力を低減することができる。

【0022】

また、本実施形態において、上記記憶部は利用者の所在と利用者がおかれた状況の危険度との対応関係を記憶してもよい。このような構成を採用することで、利用者が移動していない場合であっても、利用者の所在に基づいて利用者がおかれた状況の危険度を算出することができる。

【0023】

以下、図面を参照して、実施形態について説明する。以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。

【0024】

＜実施形態＞
以降で説明する実施形態では、ＡＴＭを利用して加害者の口座に送金させる還付金詐欺の危険度を通知するスマートフォンが例示される。還付金詐欺の危険度は、例えば、スマートフォンのユーザが還付金詐欺に遭う可能性の高さを示す。実施形態に係るスマートフォンは、ユーザの通話中に周囲をカメラで撮影して撮像データを取得し、取得した撮像データを基にユーザの所在を推定する。実施形態に係るスマートフォンは、推定した所在の時系列の変化に基づいて、ユーザが還付金詐欺に遭っている危険度を判定する。

【0025】

図１は、実施形態に係るスマートフォンの外観の一例を示す図である。図１は、スマートフォン１の一方から見た外観（前面側の外観とする）と、他方から見た外観（背面側の外観とする）を例示する。図１では、矢印によって、スマートフォン１の前面側と背面側が入れ替えて配置され、例示される。スマートフォン１は、板状の筐体Ｈ１を有する。したがって、図１には描かれていないが、筐体Ｈ１の前面と背面との間の距離（厚み）は、前面または背面の外形寸法と比較して短い。図１で紙面に向かって上側が筐体Ｈ１の上側
であり、紙面に向かって下側が筐体Ｈ１の下側であると仮定する。以下、本明細書において、筐体Ｈ１の上下方向をＹ方向、Ｙ方向と直交する筐体Ｈ１の幅方向をＸ方向とも称する。

【0026】

スマートフォン１は、携帯電話機であるとともに、可搬型の情報処理装置でもある。スマートフォン１は、携帯電話機の通信事業者が提供する電話通信網を利用して電話による通話を可能とする。

【0027】

図１のように、筐体Ｈ１の前面には、ディスプレイ１０８が設けられる。さらに、ディスプレイ１０８の上側中央の位置にインカメラ１０５およびスピーカー１０７が設けられ、ディスプレイ１０８の下側中央の位置にはマイクロフォン１１０が設けられる。インカメラ１０５は、スマートフォン１を操作するユーザが操作中に、そのユーザ自身を撮影し、ディスプレイ１０８に表示する。

【0028】

筐体Ｈ１の背面には、アウトカメラ１０６が設けられている。アウトカメラ１０６が設けられる位置は、例えば、ユーザが筐体Ｈ１を片手で把持して、スピーカー１０７およびマイクロフォン１１０を用いた通話をするときに、当該片手によって覆われない位置である。アウトカメラ１０６は、例えば、筐体Ｈ１の上側中央の位置に設けられる。アウトカメラ１０６は筐体Ｈ１の背面方向の被写体を撮影し、ディスプレイ１０８に表示する。筐体Ｈ１の背面が筐体Ｈ１外面での背面に相当する。インカメラ１０５およびアウトカメラ１４は、例えば、ＣＣＤセンサーやＣＭＯＳセンサーを備えるデジタルカメラである。

【0029】

スピーカー１０７は、スマートフォン１が再生する動画や音楽等の音声を出力する。スピーカー１０７は、さらに、スマートフォン１を用いた通話相手からの音声を出力する。

【0030】

マイクロフォン１１０は、音声の入力を受け付ける。スマートフォン１は、マイクロフォン１１０に入力された音声を、スマートフォン１を用いた通話相手に送信する。スマートフォン１は、スピーカー１０７とマイクロフォン１１０とによって、ユーザ相手と相手の電話による通話を実現できる。

【0031】

ディスプレイ１０８は、例えば、文字や画像等を表示する表示装置である。ディスプレイ１０８は、例えば、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）、Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ（ＰＤＰ）、Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）パネル、有機ＥＬパネル等である。

【0032】

タッチパネル１０９は、ディスプレイ１０８上に重畳して配置され、ユーザのタッチ操作を検知する。ディスプレイ１０８上にタッチパネル１０９が重畳して配置されることで、スマートフォン１はユーザに対して直感的な操作を提供できる。タッチパネル１０９がタッチ操作を検出する方式には限定はない。タッチパネル１０９がタッチ操作を検出する方式としては、例えば、静電容量方式や抵抗膜方式を挙げることができる。

【0033】

図２は、実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。スマートフォン１は、ＣＰＵ１０１、主記憶部１０２、補助記憶部１０３、通信部１０４および接続バスＢ１を含む。ＣＰＵ１０１、主記憶部１０２、補助記憶部１０３および通信部１０４は、接続バスＢ１によって相互に接続されている。

【0034】

ＣＰＵ１０１は、マイクロプロセッサユニット（ＭＰＵ）、プロセッサとも呼ばれる。ＣＰＵ１０１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１０１がマルチコア構成を有していても良い。ＣＰＵ１０１が実行する処理のうち少なくとも一部は、ＣＰＵ１０１
以外のプロセッサ、例えば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われても良い。また、ＣＰＵ１０１が実行する処理のうち少なくとも一部は、集積回路（ＩＣ）、その他のディジタル回路によって実行されてもよい。また、ＣＰＵ１０１の少なくとも一部にアナログ回路が含まれても良い。集積回路は、Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ（ＬＳＩ）、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）を含む。ＰＬＤは、例えば、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）を含む。ＣＰＵ１０１は、プロセッサと集積回路との組み合わせであっても良い。組み合わせは、例えば、マイクロコントローラユニット（ＭＣＵ）、Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ）、システムＬＳＩ、チップセットなどと呼ばれる。スマートフォン１では、ＣＰＵ１０１が補助記憶部１０３に記憶されたプログラムを主記憶部１０２の作業領域に展開し、プログラムの実行を通じて周辺装置の制御を行う。これにより、スマートフォン１は、所定の目的に合致した処理を実行することができる。主記憶部１０２および補助記憶部１０３は、スマートフォン１が読み取り可能な記録媒体である。

【0035】

主記憶部１０２は、ＣＰＵ１０１から直接アクセスされる記憶部として例示される。主記憶部１０２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）およびＲｅａｄ
Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を含む。

【0036】

補助記憶部１０３は、各種のプログラムおよび各種のデータを読み書き自在に記録媒体に格納する。補助記憶部１０３は外部記憶装置とも呼ばれる。補助記憶部１０３には、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ、ＯＳ）、各種プログラム、各種テーブル等が格納される。ＯＳは、通信部１０４を介して接続される外部装置等とのデータの受け渡しを行う通信インターフェースプログラムを含む。外部装置等には、例えば、コンピュータネットワーク等で接続された、他の情報処理装置および外部記憶装置が含まれる。なお、補助記憶部１０３は、例えば、ネットワーク上のコンピュータ群であるクラウドシステムの一部であってもよい。

【0037】

補助記憶部１０３としては、例えば、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＥＰＲＯＭ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）等を挙げることができる。

【0038】

通信部１０４は、例えば、携帯電話機の通信事業者が提供する電話通信網とのインターフェースである。通信部１０４は、携帯電話の電話通信網を介して外部の装置と通信を行う。また、通信部１０４は、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等のコンピュータネットワークとのインターフェースを含んでもよい。

【0039】

＜スマートフォン１の処理ブロック＞
図３は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。スマートフォン１は、通話検知部１１、撮影部１２、シーン推定部１３、危険度判定部１４、通知部１５、シーン学習モデル１６および時系列シーンテーブル１７を備える。スマートフォン１は、主記憶部１０２に実行可能に展開されたコンピュータプログラムをＣＰＵ１０１が実行することで、上記スマートフォン１の、通話検知部１１、撮影部１２、シーン推定部１３、危険度判定部１４、通知部１５、シーン学習モデル１６および時系列シーンテーブル１７等の各部としての処理を実行する。

【0040】

シーン学習モデル１６は、詐欺に関連する特定シーンを撮影したシーン画像を教師デー
タとして生成した学習モデルである。シーン学習モデル１６は、例えば、シーン画像をサポートベクターマシン（ＳＶＭ）等の分類器に入力して構築される。シーン学習モデル１６は、後述するシーン推定部１３によるシーンの判定に用いられる。

【0041】

シーン画像は、例えば、ユーザがスマートフォン１を用いて通話をしているときにアウトカメラ１０６で撮影されることを想定した画像である。そのため、シーン画像には被写体が斜めに映り込んでいたり、被写体の全体ではなく一部が映っていたりするものが多くなる。図４は、実施形態において、シーン学習モデルの教師データとしたシーン画像の例を示す図である。図４（Ａ）、（Ｂ）では、ＡＴＭ間に配置されたパーティションが斜めに映り込んだシーン画像を例示する図である。図４（Ｃ）は、ＡＴＭのディスプレイ兼タッチパネルの一部が映り込んだシーン画像の一例である。図４（Ｄ）は、銀行の入り口の一部が映り込んだシーン画像の一例である。図４に例示されるような、ユーザがスマートフォン１で通話中にアウトカメラ１０６で撮影されることを想定した、様々な場所、様々な角度で撮影したシーン画像を教師データとして、シーン学習モデル１６は構築される。

【0042】

時系列シーンテーブル１７は、シーンの時系列の変化と詐欺被害にあう危険度との対応を管理するテーブルである。ここで、シーンは、例えば、後述する推定部１３が推定したユーザの所在である。図５は、実施形態における時系列シーンテーブルの一例を示す図である。時系列シーンテーブル１７は、「時系列シーン」および「危険度」の各項目を含む。「時系列シーン」には、シーンの時系列変化（すなわち、ユーザの所在の時系列変化）を示す情報が格納される。「危険度」には、シーンの時系列変化に対応する詐欺の危険度を示す情報が格納される。「危険度」に格納される情報は、詐欺の危険度の高低を示す情報であれば特に限定はない。「危険度」は、詐欺にあう確率を百分率で示す情報であってもよいし、詐欺にあう危険度を複数段階（例えば、「高」、「中」、「低」の３段階）で示す情報であってもよい。また、「危険度」に格納される情報は、数値が大きいほど危険度が高いことを示してもよい。

【0043】

通話検知部１１は、スマートフォン１のユーザによるスピーカー１０７およびマイクロフォン１１０を用いた通話の開始を検知する。通話検知部１１は、例えば、スマートフォン１への電話の着信を契機として、スピーカー１０７およびマイクロフォン１１０を用いた通話の開始を検知してもよい。また、通話検知部１１は、ユーザがスマートフォン１を用いて発信（電話をかける）ことを契機として、スピーカー１０７およびマイクロフォン１１０を用いた通話の開始を検知してもよい。ここで、「電話をかける」とは、例えば、電話番号の入力を検知すること、通話発信ボタンの押下を検知すること、スマートフォン１のアドレス帳から選択した通話相手への電話発信を検知すること、等を挙げることができる。また、通話検知部１１は、通話相手との接続が確立されたことを契機として通話の開始を検知してもよい。また、通話検知部１１は、通話相手との接続が確立した状態において、ユーザの音声がマイクロフォン１１０に入力されたことを契機として通話の開始を検知してもよい。また、通話検知部１１は、スマートフォン１に対する電話を切断する操作を契機として、通話の終了を検知してもよい。

【0044】

撮影部１２は、通話検知部１１が通話の開始を検知してから通話の終了を検知するまでの間に、アウトカメラ１０６に複数枚の静止画の撮影を実行させる。撮影部１２は、アウトカメラ１０６による撮影の開始をユーザに通知せずに開始してもよい。撮影部１２は、例えば、複数枚の静止画の撮影を所定間隔をあけて実行させてもよいし、複数枚の静止画の撮影を不定期に実行させてもよい。撮影部１２は、アウトカメラ１０６が撮影した撮像データをアウトカメラ１０６から取得し、撮影時刻と対応付けて補助記憶部１０３に記憶させる。

【0045】

なお、ユーザが通話している状態での撮影となることから、撮影部１２が取得する撮像
データには、手振れ等によって被写体が鮮明ではないものが含まれると考えられる。そこで、撮影部１２は、アウトカメラ１０６に複数回の撮影を連続的に実行させる（連射させる）ことで複数枚の撮像データを取得し、取得した撮像データのうち手振れの少ない撮像データを撮影時刻と対応付けて補助記憶部１０３に記憶させてもよい。撮影部１２は、「取得部」の一例である。

【0046】

シーン推定部１３は、撮影部１２が補助記憶部１０３に記憶させた撮像データがどこで撮影されたものであるか（すなわち、撮影時におけるユーザの所在）を推定する。シーン推定部１３は、例えば、補助記憶部１０３から撮像データを読み出し、読み出した撮像データをシーン学習モデル１６に入力して、撮像データが撮影された場所を推定する。シーン推定部１３は、推定したユーザの所在を示す情報を時系列にしたがって補助記憶部１０３に記憶させる。時系列にしたがって記憶させる方法には特に限定はない。時系列にしたがって記憶させる方法としては、例えば、推定したユーザの所在を示す情報を過去の所在から現在の所在に向かう順番で配列に格納して当該配列を補助記憶部１０３に記憶させる方法や、推定したユーザの所在を示す情報を撮影時刻と対応付けて補助記憶部１０３に記憶させる方法等を挙げることができる。シーン推定部１３は、「推定部」の一例である。

【0047】

危険度判定部１４は、ユーザの所在の時系列の変化に基づいて、スマートフォン１のユーザが還付金詐欺に遭う危険度を判定する。例えば還付金詐欺の場合、還付金詐欺の加害者は、通話によってスマートフォン１のユーザをＡＴＭに誘導し、加害者の口座に送金を促すことが考えらえる。このような場合、スマートフォン１のユーザは、スマートフォン１で通話しながら、銀行の入り口からＡＴＭの前に移動することが考えられる。危険度判定部１４は、このようなユーザの所在の時系列の変化を基に、ユーザが還付金詐欺に遭う危険度を判定する。

【0048】

上記のような判定を実現するため、危険度判定部１４は、シーン推定部１３が補助記憶部１０３に時系列にしたがって記憶させたユーザの所在を示す情報を取得する。危険度判定部１４は、時系列シーンテーブル１７を参照して、時系列にしたがったユーザの所在の変化に対応付けられた危険度を取得する。危険度判定部１４は、取得した危険度をユーザが還付金詐欺に遭う危険度として判定する。なお、危険度判定部１４は、時系列にしたがったユーザの所在の変化を示す情報がシーンテーブル１７に格納されていない場合、危険度を最低値（例えば、「０」）としてもよい。危険度判定部１４は、「判定部」の一例である。

【0049】

通知部１５は、危険度判定部１４が判定した危険度が閾値を超える場合に、還付金詐欺に遭う危険度が高いとして、ユーザに通知する。通知部１５は、例えば、スピーカー１０７から警告音を出力してもよいし、スマートフォン１が備えるバイブレーターを振動させてもよい。閾値は適宜決定すればよい。

【0050】

＜処理フロー＞
図６は、実施形態に係るスマートフォンの処理フローの一例を示す図である。以下、図６を参照して、実施形態に係るスマートフォン１の処理フローの一例について説明する。

【0051】

Ｔ１では、撮影条件が満たされているか否かが判定される。本実施形態では、通話中に撮影を実行するため、通話検知部１１がスマートフォン１を用いた通話が行われているか否かを判定する。撮影条件が満たされている場合、すなわち、通話中である場合（Ｔ１でＹＥＳ）、処理はＴ２に進められる。撮影条件が満たされていない場合、すなわち、通話中ではない場合（Ｔ１でＮＯ）、Ｔ１の処理が所定時間後に実行される。

【0052】

Ｔ２では、撮影部１２は、アウトカメラ１０６に撮影を実行させる。撮影部１２は、ア
ウトカメラ１０６の撮影によって取得した撮像データを、撮影時刻と対応付けて補助記憶部１０３に記憶させる。

【0053】

Ｔ３では、シーン推定部１３は、Ｔ２において撮影部１２が補助記憶部１０３に記憶させた撮像データを基に、撮影時におけるユーザの所在を推定する。シーン推定部１３は、例えば、Ｔ２で補助記憶部１０３に記憶された撮像データをシーン学習モデル１６に入力して、撮像データが撮影された場所を推定する。シーン推定部１３は、撮像データが撮影された場所を撮影時におけるユーザの所在として推定する。シーン推定部１３は、推定したユーザの所在を示す情報を時系列にしたがって補助記憶部１０３に記憶させる。例えば、シーン推定部１３は、既に補助記憶部１０３に記憶されているユーザの所在を示す情報がある場合、記憶済みのユーザの所在を示す情報の続きとなるように、今回推定したユーザの所在を示す情報を補助記憶部１０３に記憶させる。

【0054】

Ｔ４では、危険度判定部１４は、時系列シーンテーブルを参照して、Ｔ３で補助記憶部１０３に記憶されたユーザの所在を示す情報の時系列の変化に対応付けられた危険度を取得する。取得した危険度が閾値以上である場合（Ｔ５でＹＥＳ）、処理はＴ６に進められる。取得した危険度が閾値未満である場合（Ｔ５でＮＯ）、処理はＴ１に戻される。

【0055】

Ｔ６では、通知部１５は、Ｔ４で判定された危険度が閾値を超える場合に、還付金詐欺に遭う危険度が高いとして、ユーザに通知する。

【0056】

＜実施形態の作用効果＞
実施形態では、スマートフォン１を用いてユーザが通話している間に、撮影部１２がアウトカメラ１０６にユーザの周囲を撮影させ、その撮像データを取得する。シーン推定部１３が撮像データを基にユーザの所在を推定する。危険度判定部１４は、推定したユーザの所在の時系列の変化を基にユーザが還付金詐欺に遭う危険度を判定し、危険度が閾値以上である場合には、通知部１５がユーザへの通知を行う。そのため、実施形態によれば、還付金詐欺の加害者によってユーザが誘導されても、ユーザに対して還付金詐欺に対する注意を促すことができる。

【0057】

実施形態では、アウトカメラ１０６から取得した撮像データをシーン学習モデル１６に入力してユーザの所在を推定する。そのため、実施形態によれば、建物の中のように、ＧＰＳを利用することが難しい場所であっても、ユーザの所在を推定できる。また、ＡＴＭの設置場所は変更されることがあり、当該変更がＧＰＳを用いた地図アプリケーションに反映されるまでにタイムラグが生じることがある。そのため、ＧＰＳを用いてもＡＴＭ近傍にユーザがいるか否かを適切に推定できないことがある。実施形態によれば、撮像データにＡＴＭを示すデータ（画像）が含まれていればユーザがＡＴＭ近傍にいることを推定できるため、ＡＴＭの設置場所が変更されてもユーザの所在がＡＴＭ近傍か否かを好適に推定できる。

【0058】

＜第１変形例＞
実施形態では、ユーザの所在の時系列の変化に基づいて、還付金詐欺の危険度を判定する。第１変形例では、ユーザの所在の時系列の変化と、通話内容の音声解析の結果とを基に、還付金詐欺の危険度を判定する。実施形態と同一の構成については同一の符号を付し、その説明を省略する。以下、図面を参照して、第１変形例について説明する。

【0059】

図７は、第１変形例に係るスマートフォンの処理ブロックの一例を示す図である。図７に例示されるスマートフォン１ａは、音声解析部１４ａと総合危険度判定部１４ｂをさらに備える点で、実施形態に係るスマートフォン１とは異なる。

【0060】

音声解析部１４ａは、通話検知部１１が通話の開始を検知すると、マイクロフォン１１０から入力されたユーザの音声および通話相手から受信した音声（すなわち、スピーカー１０７から出力される音声）を含む通話内容の音声を解析する。音声解析部１４ａは、例えば、解析した音声に還付金詐欺に関連する特定のキーワードが含まれる頻度に応じて、スマートフォン１ａのユーザが還付金詐欺に遭う危険度の高低を判定する。なお、音声解析部１４ａが音声解析によって危険度を算出する方法に限定はなく、上記以外にも公知の様々な技術を採用可能である。

【0061】

総合危険度算出部１４ｂは、危険度判定部１４が判定した危険度と音声解析部１４ａが判定した危険度とに基づいて、ユーザが還付金詐欺に遭う危険度を算出する。総合危険度算出部１４ｂが、危険度判定部１４が判定した危険度と音声解析部１４ａが判定した危険度とに基づく危険度を算出する方法に限定はない。総合危険度判定部１４ｂは、例えば、危険度判定部１４が判定した危険度と音声解析部１４ａが判定した危険度の合計値または平均値をユーザが還付金詐欺に遭う危険度として算出してもよい。また、総合危険度判定部１４ｂは、総合危険度判定部１４が判定した危険度と音声解析部１４ａが判定した危険度のそれぞれに閾値を設け、いずれか一方の危険度が閾値以上である場合にユーザが還付金詐欺に遭う危険度が高いと判定してもよい。

【0062】

図８は、第１変形例に係るスマートフォンの処理フローの一例を示す図である。以下、図８を参照して、第１変形例に係るスマートフォン１ａの処理フローの一例について説明する。

【0063】

Ｔ１１では、音声解析部１４ａは、通話内容の音声を音声解析する。音声解析部１４ａは、例えば、通話内容に特定のキーワードが含まれる頻度に応じて、スマートフォン１ａのユーザが還付金詐欺に遭う危険度の高低を判定する。

【0064】

Ｔ１２では、総合危険度判定部１４ｂは、Ｔ４においてユーザの所在の時系列の変化に基づいて判定した危険度と、Ｔ１１において通話内容の音声解析を基に判定した危険度とに基づいて、スマートフォン１のユーザが還付金詐欺に遭う危険度を算出する。算出した危険度が閾値以上である場合（Ｔ１３でＹＥＳ）、処理はＴ６に進められ、Ｔ６における通知部１５による通知が行われる。算出した危険度が閾値未満である場合（Ｔ１３でＮＯ）、処理は次のループに進められる。

【0065】

＜第１変形例の作用効果＞
第１変形例では、通話内容の音声解析によって判定した還付金詐欺に遭う危険度と、ユーザの所在時系列の変化に基づいて判定した還付金詐欺に遭う危険度とに基づいて、ユーザが還付金詐欺に遭う危険度を算出する。すなわち、第１変形例に係るスマートフォン１ａは、音声解析のみでは還付金詐欺を高い精度で検知することは困難な場合でも、ユーザの所在の時系列の変化に基づいて判定した危険度も考慮することで、還付金詐欺に遭う危険度の判定精度をより高めることができる。

【0066】

＜第２変形例＞
スマートフォンのような携帯電話装置が還付金詐欺に遭う危険度の判定を行う場合、当該判定に係る消費電力は低い方が好ましい。第２変形例では、還付金詐欺に遭う危険度が低い場合には当該判定処理の実行を抑制することで、スマートフォンの消費電力を抑える構成について説明する。実施形態と同一の構成については同一の符号を付し、その説明を省略する。以下、図面を参照して、第２変形例について説明する。

【0067】

図９は、第２変形例に係るスマートフォンの処理ブロックの一例を示す図である。図９に例示されるスマートフォン１ｂは、除外処理部１３ａと除外シーン学習モデル１６ａを
さらに備える点で実施形態に係るスマートフォン１とは異なる。

【0068】

除外処理部１３ａは、撮影部１２が取得した撮像データが除外対象であるか否かを判定する。除外対象の撮像データとしては、例えば、当該撮像データを基に推定されるユーザの所在が還付金詐欺の危険度が低いと考えられる撮像データを挙げることができる。還付金詐欺の危険度が低い撮像データとしては、例えば、当該撮像データを基に推定されるユーザの所在が時系列シーンテーブル１７に登録されていない場合を挙げることができる。例えば、時系列シーンテーブル１７が図５に例示される状態であり、推定部１３が推定したユーザの所在が「ボーリング場」であったとする。「ボーリング場」は時系列シーンテーブル１７に登録されていないため、除外処理部１３ａは、当該撮像データを還付金詐欺の危険度が低い撮像データ（すなわち、除外対象の撮像データ）と判定する。除外処理部１３ａは、撮像データが除外対象である場合、判定停止フラグをオンにすることで、還付金詐欺の危険度を判定する処理が終了されるようにする。

【0069】

除外シーン学習モデル１６ａは、還付金詐欺の危険度を判定を中止する対象となる撮像データの判定に用いる学習モデルである。除外シーン学習モデル１６ａは、還付金詐欺の危険度を判定対象としない撮像データを教師データとしてＳＶＭ等の分類器に入力して構築される。除外処理部１３ａは、除外シーン学習モデル１６ａに撮像データを入力することで、入力した撮像データが還付金詐欺の危険度を判定を中止する対象であるか否かを判定できる。

【0070】

図１０は、第２変形例に係るスマートフォンの処理フローの一例を示す図である。以下、図１０を参照して、第２変形例に係るスマートフォン１ｂの処理フローの一例について説明する。

【0071】

Ｔ２１では、撮影部１２がアウトカメラ１０６に撮影を実行させて撮像データを取得する。除外処理部１３ａは、撮影部１２が取得した撮像データを除外学習モデル１６ａに入力して除外対象か否かを判定し、除外対象である場合には判定停止フラグをオンにする。Ｔ２１の処理の詳細は、図１１を参照して後述する。判定停止フラグがオンにされている場合（Ｔ２２でＹＥＳ）、処理は終了される。Ｔ２２でＹＥＳの場合は、「判定部による処理の実行を阻止」することの一例である。判定停止フラグがオフにされている場合（Ｔ２２でＮＯ）、処理はＴ２３の「通話開始」に進められることで、還付金詐欺の危険度を判定する処理が続行される。

【0072】

Ｔ２４では、除外処理部１３ａは、閾値未満と判定された場合において、Ｔ２で取得した撮像データを基に推定されるユーザの所在が時系列シーンテーブル１７に登録されていない場合、当該撮像データを除外シーン学習モデル１６ａの構築に用いる教師データとして採用する。すなわち、除外処理部１３ａは、既に除外シーン学習モデル１６ａの教師データとしている撮像データと、今回採用した撮像データとをＳＶＭ等の分類器に入力して、除外シーン学習モデル１６ａを更新する。

【0073】

図１１は、第２変形例における除外判定処理の処理フローの一例を示す図である。以下、図１１を参照して、第２変形例における除外判定処理の処理フローの一例について説明する。

【0074】

Ｔ３１では、除外処理部１３ａは、Ｔ２で撮影部１２が取得した撮像データを除外シーン学習モデル１６ａに入力して、除外対象となる撮像データであるか否かを判定する。除外対象である場合（Ｔ３１でＹＥＳ）、処理はＴ３２に進められる。除外対象ではない場合（Ｔ３１でＮＯ）、処理は終了される。Ｔ３２では、除外処理部１３ａは、判定停止フラグをオンにする。

【0075】

第２変形例では、取得した撮像データが除外対象である場合に、除外処理部１３ａが判定停止フラグをオンにする。判定停止フラグをオンにされることで、図１０に例示するように、還付金詐欺の危険度を判定する処理が終了するため、スマートフォン１ｂの消費電力を低減することができる。

【0076】

第２変形例では、図１０のＴ２４に例示されるように、撮像データを基に推定されるユーザの所在が時系列シーンテーブル１７に登録されていない場合に、当該撮像データを除外対象として除外シーン学習モデル１６ａが更新される。そのため、ユーザの状況に合わせて除外シーン学習モデル１６ａを更新することができる。

【0077】

＜その他の変形＞
以上説明した実施形態や各変形例はさらに変形することができる。例えば、スマートフォン１の消費電力を低減するため、撮影部１２による撮影の実行を、電話を発信するとき、電話が着信するとき、ユーザの音声がマイクロフォン１６に入力されるとき、スマートフォン１が備える加速度センサが所定値以上の加速度を検知するとき、等のケースに限定してもよい。これらのケースは、以下のような状態が想定されることで還付金詐欺におけるキーとなる場面と考えられ、撮影を行うことが好ましいと考えられる。「電話を発信するとき」は、例えば、還付金詐欺の加害者からの指示によってユーザが電話を発信する場合が想定される。「電話が着信するとき」は、例えば、還付金詐欺の加害者からの電話が着信する場合が想定される。「ユーザの音声がマイクロフォン１６に入力されるとき」は、例えば、還付金詐欺の加害者からの指示の応じてＡＴＭ等の操作を行っている場合が想定される。「スマートフォン１が備える加速度センサが所定値以上の加速度を検知するとき」は、例えば、ユーザが還付金詐欺の加害者の指示にしたがってＡＴＭを操作することによって、スマートフォン１に所定値以上の加速度が発生している場合が想定される。このように、還付金詐欺においてキーとなると想定されるケースに撮影を実行し、その他のケースでは撮影を抑制することで、スマートフォン１の消費電力を低減することができる。

【0078】

実施形態では、撮影部１２がアウトカメラ１０６に撮影を実行させる処理から還付金詐欺の危険度の判定が所定時間毎に繰り返し実行されるが、場合に応じて所定時間の長さを変動させてもよい。例えば、ユーザのおかれている状況が還付金詐欺の危険度が高い状況である場合に、所定時間を短縮することで、より短いサイクルで還付金詐欺の危険度の判定を繰り返し実行するようにしてもよい。このような処理とすることで、ユーザが還付金詐欺に遭う危険度が高い場合に、より適切なタイミングでユーザに通知を行うことができる。

【0079】

還付金詐欺の危険度が高い状況としては、例えば、シーン推定部１３が推定したユーザの所在が還付金詐欺の危険度が高いと想定される場所（例えば、ＡＴＭの前等）や、音声解析部１４ａが判定した危険度が所定の閾値以上である場合を挙げることができる。なお、シーン推定部１３が推定したユーザの所在が危険であるか否かの判定は、例えば、危険な場所をあらかじめデータベースに登録し、シーン推定部１３が推定したユーザの所在が当該データベースに登録済みの場所であるか否かを基に判定されてもよい。

【0080】

また、例えば、ユーザのおかれている状況が還付金詐欺の危険度が低い状況である場合に、所定時間を長くすることで、より長いサイクルで還付金詐欺の危険度の判定を繰り返し実行するようにしてもよい。このような処理とすることで、スマートフォン１の消費電力を抑制することができる。

【0081】

還付金詐欺の危険度が低い状況としては、例えば、推定部１３が推定したユーザの所在
が還付金詐欺に遭う危険度が低いと想定される場所（例えば、自宅）である場合や、音声解析部１４ａが判定した危険度が所定の閾値未満である場合を挙げることができる。還付金詐欺に遭う危険度が低いと想定される場所であるか否かの判定には、あらかじめ還付金詐欺に遭う危険度が低いと想定される場所を撮影して取得した撮像データを教師データとしてＳＶＭ等の分類器に入力することで安全シーン学習モデルを生成し、当該安全シーン学習モデルを用いれば良い。音声解析部１４ａが判定した危険度が所定の閾値未満である場合は、例えば、所定時間以上継続して特定のキーワードが検出されない場合を挙げることができる。

【0082】

撮影条件には、例えば、ユーザの年齢を含めてもよい。例えば、インカメラ１０５またはアウトカメラ１０６によってユーザの顔を撮影し、撮影した撮像データを基にユーザの年齢を推定する。推定した年齢が所定年齢未満である場合には、撮影条件を満たさないとしてもよい。このような構成を採用することで、年齢が若いことで還付金詐欺の被害に遭いにくいユーザに対して、還付金詐欺に遭う危険度を算出する処理が実行されることを抑制することができ、スマートフォン１の消費電力を低減できる。なお、撮像データを基にユーザの年齢を推定する技術には特に限定はなく、公知の様々な技術を採用可能である。

【0083】

実施形態において、推定部１３は、撮像データに対してＯｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ（ＯＣＲ、光学的文字認識）処理を行う処理を含んでもよい。例えば、推定部１３は、シーン学習モデル１６に撮像データを入力してもユーザの所在を推定できなかった場合に、認識した文字情報を用いてユーザの所在を推定してもよい。推定部１３は、例えば、ＯＣＲの結果、「○○銀行ＡＴＭコーナー」との文字を取得すると、ユーザの所在がＡＴＭの近傍であると推定できる。

【0084】

以上説明した実施形態では、シーン学習モデル１６および時系列シーンテーブル１７は、スマートフォン１の補助記憶部１０３に記憶されたが、シーン学習モデル１６および時系列シーンテーブル１７は、スマートフォン１と通信可能な情報処理装置に記憶されてもよい。すなわち、シーン学習モデル１６および時系列シーンテーブル１７は、スマートフォン１からアクセス可能な場所に記憶されればよい。

【0085】

以上説明した実施形態や変形例では、図５に例示されるように、時系列シーンテーブル１７の「時系列シーン」には、２か所の場所における時系列の変化を示す情報が格納されているが、３か所以上の場所における時系列の変化を示す情報が格納されてもよい。図１２は、３か所以上の場所における時系列の変化を示す情報が格納された時系列シーンテーブルの一例を示す図である。図１２に例示される時系列シーンテーブル１７では、例えば、上から４行目において、「銀行入り口」→「ＡＴＭ全体」→「ＡＴＭ正面」→「ＡＴＭ横」との時系列シーンが例示されている。このように、３か所以上の場所における時系列の変化を示す情報が時系列シーンテーブル１７に格納されてもよい。

【0086】

＜第３変形例＞
以上説明した実施形態や変形例では、ユーザの所在の時系列の変化と還付金詐欺に遭う危険度とが対応付けられる。第３変形例では、還付金詐欺に遭う危険度に対応付けられるのは、時系列の変化ではなく、推定したユーザの所在を対応付ける。第１実施形態と同一の構成には同一の符号を付し、その説明を省略する。以下、図面を参照して、第３変形例について説明する。

【0087】

第３変形例では、ユーザの所在を推定する毎に危険度を算出し、算出した危険度の合計が閾値を超えたときに通知部１５が通知を行う。図１３は、第３変形例に係るスマートフォンの処理ブロックの一例を示す図である。図１３に例示されるスマートフォン１ｃは、危険度判定部１４に代えて危険度判定部１４ｃを備え、時系列シーンテーブル１７に代え
てシーンテーブル１７ａを備える点で、実施形態に係るスマートフォン１とは異なる。

【0088】

シーンテーブル１７ｂは、シーンと詐欺被害にあう危険度との対応を管理するテーブルである。図１４は、第３変形例に係るシーンテーブル１７ｂの一例を示す図である。シーンテーブル１７ｂは、「シーン」と「危険度」の各項目を含む。「シーン」には、ユーザの所在を示す情報が格納される。「危険度」に格納される情報は、時系列シーンテーブル１７の「危険度」に格納される情報と同一であるため、その説明を省略する。

【0089】

危険度判定部１４ｃは、シーンテーブル１７ｂを参照して、推定部１３が推定したユーザの所在に対応する危険度を取得する。危険度判定部１４ｃは、例えば、通話が継続されている間、所定間隔で危険度を取得する処理を実行し、取得した危険度を累積する。

【0090】

図１５は、第３変形例に係るスマートフォンの処理フローの一例を示す図である。以下、図１５を参照して、第３変形例に係るスマートフォン１ｃの処理フローの一例について説明する。

【0091】

Ｔ４ａでは、危険度判定部１４ｃは、シーンテーブル１７ｂにおいて、Ｔ３で推定部１３が推定したユーザの所在に対応付けられた危険度を取得する。危険度判定部１４ｃは、これまで取得した危険度の累積を算出して、現時点の危険度とする。

【0092】

第３変形例に係るスマートフォン１ｃは、ユーザの所在の時系列の変化の変化ではなく、ユーザの所在と危険度とを対応付けたシーンテーブル１７ｂを用いて、ユーザの所在に基づいて還付金詐欺に遭う危険度を算出することができる。

【0093】

以上で開示した実施形態や変形例はそれぞれ組み合わせることができる。

【0094】

<<コンピュータが読み取り可能な記録媒体>>
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させる情報処理プログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0095】

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅｃｏｒｄａｂｌｅ（ＣＤ－Ｒ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲｅＷｒｉｔｅｒａｂｌｅ（ＣＤ－ＲＷ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、ブルーレイディスク（ＢＤ）、Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ（ＤＡＴ）、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

【符号の説明】

【0096】

１、１ａ、１ｂ、１ｃ・・・スマートフォン
１１・・・通話検知部
１２・・・撮影部
１３・・・シーン推定部
１３ａ・・・除外処理部
１４、１４ｃ・・・危険度判定部
１４ａ・・・音声解析部
１４ｂ・・・総合危険度判定部
１５・・・通知部
１６・・・シーン学習モデル
１６ａ・・・除外シーン学習モデル
１７・・・時系列シーンテーブル
１７ｂ・・・シーンテーブル
１０１・・・ＣＰＵ
１０２・・・主記憶部
１０３・・・補助記憶部
１０４・・・通信部
１０５・・・インカメラ
１０６・・・アウトカメラ
１０７・・・スピーカー
１０８・・・ディスプレイ
１０９・・・タッチパネル
１１０・・・マイクロフォン
Ｂ１・・・接続バス
Ｈ１・・・筐体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】