[go: up one dir, main page]

JP6963669B1 - Solution providing system and mobile terminal - Google Patents

Solution providing system and mobile terminal Download PDF

Info

Publication number
JP6963669B1
JP6963669B1 JP2020200827A JP2020200827A JP6963669B1 JP 6963669 B1 JP6963669 B1 JP 6963669B1 JP 2020200827 A JP2020200827 A JP 2020200827A JP 2020200827 A JP2020200827 A JP 2020200827A JP 6963669 B1 JP6963669 B1 JP 6963669B1
Authority
JP
Japan
Prior art keywords
user
unit
solution
mobile terminal
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020200827A
Other languages
Japanese (ja)
Other versions
JP2022088795A (en
Inventor
智紀 本川
朋美 加藤
知彦 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pola Orbis Holdings Inc
Original Assignee
Pola Chemical Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pola Chemical Industries Inc filed Critical Pola Chemical Industries Inc
Priority to JP2020200827A priority Critical patent/JP6963669B1/en
Priority to JP2021124429A priority patent/JP7061714B1/en
Application granted granted Critical
Publication of JP6963669B1 publication Critical patent/JP6963669B1/en
Priority to PCT/JP2021/044468 priority patent/WO2022118955A1/en
Publication of JP2022088795A publication Critical patent/JP2022088795A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供する。【解決手段】ユーザーが携帯可能な携帯端末を含み、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶する記憶部と、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得するユーザー情報取得部と、身体または動作から取得されたに情報に基づいてユーザー状態情報を生成するユーザー状態情報生成部と、複数のソリューションからユーザー状態情報に応じたソリューションを決定するソリューション決定部と、決定されたソリューションをユーザーに提供するソリューション提供部とを備える。【選択図】図1PROBLEM TO BE SOLVED: To provide a solution providing system capable of analyzing a user's emotion or fatigue state and easily providing an appropriate solution according to the user's emotion or fatigue state. SOLUTION: A storage unit including a mobile terminal portable to the user and storing information of a plurality of solutions for improving the user's emotional and / or fatigued state, and the user's body or movement. User status information acquisition unit that acquires user information including information obtained from, user status information generation unit that generates user status information based on information acquired from the body or movement, and user status information from multiple solutions. It has a solution decision unit that determines the corresponding solution and a solution provider that provides the determined solution to the user. [Selection diagram] Fig. 1

Description

本発明は、ユーザーの感情又は疲労状態を改善するソリューションの提供システム及び携帯端末に関する。 The present invention relates to a system and a mobile terminal for providing a solution for improving a user's emotional or fatigued state.

従来、心身状態誘導装置が知られている(特許文献1参照)。 Conventionally, a mental and physical state guidance device is known (see Patent Document 1).

特開2020-62282号公報Japanese Unexamined Patent Publication No. 2020-62282

特許文献1に記載の発明によれば、ユーザーの生体情報からユーザーの体調等を特定して、体調に応じた呼吸リズムに誘導するための刺激を発することができる。 According to the invention described in Patent Document 1, it is possible to identify the physical condition of the user from the biometric information of the user and emit a stimulus for inducing a respiratory rhythm according to the physical condition.

特許文献1に記載の発明を、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じたソリューションを提供するシステムに応用することが考えられる。 It is conceivable to apply the invention described in Patent Document 1 to a system that analyzes a user's emotion or fatigue state and provides a solution according to the user's emotion or fatigue state.

しかしながら特許文献1の装置は、生体センサ、呼吸誘導装置、HCU、操作デバイスといった複数の機器により構成されているため利用のための準備や操作が複雑であり、例えば機器の操作が不得手なユーザーにとっては適切に準備、操作等をして利用してもらうことが難しい。 However, since the device of Patent Document 1 is composed of a plurality of devices such as a biosensor, a respiratory guidance device, an HCU, and an operation device, preparation and operation for use are complicated, and for example, a user who is not good at operating the device. It is difficult for people to properly prepare and operate the system.

ユーザーが適切に利用できない場合、ユーザーの状態を適切に取得できないので、提供されるソリューションはユーザーの状態に応じた適切なソリューションとはならない。あるいは操作が複雑であれば、そもそもユーザーに利用してもらえない。 If the user cannot use it properly, the user's condition cannot be obtained properly, and the provided solution will not be the appropriate solution according to the user's condition. Or if the operation is complicated, it will not be used by the user in the first place.

発明のソリューション提供システムは、
ユーザーが携帯可能な携帯端末と、サーバーと、を含んで構成されるコンピューターシステムであって、
前記携帯端末は、撮像部と、表示制御部と、表示部と、入力部と、回答受付部と、ソリューション提供部とを備え、
前記サーバーは、ソリューション記憶部と、ユーザー状態情報生成部と、ソリューション決定部とを備え、
前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
前記入力部は、前記ユーザーが、前記表示部に表示される該ユーザーの顔の画像及び、前記質問を見ながら操作を行える位置に配置されており、
前記回答受付部は、前記顔の画像を前記表示部に表示させた状態で、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を受け付け、該回答を前記サーバーに送信し、
前記ユーザー状態情報生成部は、前記携帯端末からの前記回答に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
前記ソリューション決定部は、前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定して前記携帯端末に送信し、
前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューションを前記ユーザーに提供する
ことを特徴とする。
The solution providing system of the present invention
A computer system that includes a mobile terminal that can be carried by a user and a server.
The mobile terminal includes an imaging unit, a display control unit, a display unit, an input unit, an answer reception unit, and a solution providing unit.
The server includes a solution storage unit, a user state information generation unit, and a solution determination unit.
The solution storage unit stores information on a plurality of solutions that can be provided to the user in order to improve the user state, which is one or both of the user's emotional and fatigue states.
The display control unit displays an image of the user's face captured by the imaging unit on the display unit, and correlates with the emotion or fatigue state appearing on the user's face displayed on the display unit. A question about the condition of the face is displayed on the display unit.
The input unit is arranged at a position where the user can operate while looking at the image of the user's face displayed on the display unit and the question.
The answer receiving unit receives an input of an answer by the user to a question about the state of the user's face via the input unit in a state where the image of the face is displayed on the display unit, and receives the answer. Send to the server
The user state information generation unit generates user state information indicating the user state of the user based on the answer from the mobile terminal.
The solution determination unit determines a solution according to the user status information from the plurality of solutions and transmits the solution to the mobile terminal.
The solution providing unit is characterized in that the solution determined by the solution determining unit is provided to the user.

ユーザーが自身の状態等を改善するためのソリューションの提供を受けたいタイミングは様々である。そのため、携帯可能な端末を用いてユーザーの状態を取得して、当該端末を介して手軽にソリューションの提供を受けられることが望ましい。 There are various timings when a user wants to be provided with a solution for improving his / her condition. Therefore, it is desirable to acquire the user's status using a portable terminal and easily receive the solution via the terminal.

また、ユーザーの顔には、ユーザーの感情及び疲労状態が如実に表れる。In addition, the user's emotions and fatigue are clearly shown on the user's face.
本発明によれば、ユーザーは自身の顔を見ながら顔の状態に関する質問に回答するため、回答は容易である。なお、当該質問は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する質問である。また、自身の顔の状態を冷静に顧みる機会を得られるので、感情又は疲労状態と密接な関係を有する顔の状態についての自覚が促され、自身の顔の状態を正確に回答できる可能性が高まる。 According to the present invention, the user answers a question about the condition of the face while looking at his / her own face, so that the answer is easy. The question is a question that has a correlation with the emotion or fatigue state appearing on the user's face. In addition, since you will have the opportunity to calmly look after your own facial condition, you will be promoted to be aware of the facial condition that is closely related to your emotional or fatigued condition, and you may be able to answer your own facial condition accurately. Increase.

また本発明によれば、ユーザーは顔の画像と顔の状態に関する回答を取得させることで、自身の感情又は疲労状態に応じた個対応のソリューションの提供を簡便に受けることができる。 Further, according to the present invention, the user can easily receive an individualized solution according to his / her emotional or fatigued state by obtaining an answer regarding the facial image and the facial condition.

また、発明のように、ユーザー情報の分析とソリューションの決定がサーバーで行
われれば、その分携帯端末での処理のための負荷を下げることができる。
Further, as in the present invention, if the analysis of user information and the determination of the solution are performed on the server, the load for processing on the mobile terminal can be reduced accordingly.

このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。 As described above, according to the present invention, it is possible to analyze a user's emotion or fatigue state and easily provide an appropriate solution according to the user's emotion or fatigue state.

発明のソリューション提供システムにおいて、
前記撮像部及び前記表示部は、前記携帯端末の同一の面に備えられている
ことが好ましい。
In the solution providing system of the present invention
The imaging unit and the display unit are provided on the same surface of the mobile terminal.
Is preferable.

このような構成とすることで、確実にユーザー自身の顔を見せながら顔の状態に関する質問に回答させることができる。With such a configuration, it is possible to answer questions about the condition of the face while surely showing the user's own face.

本発明のソリューション提供システムにおいて、
前記携帯端末は、振動を発生させる振動発生部を含んで成り、
前記ソリューション記憶部は、前記ユーザー状態を改善するための振動のソリューションの情報を記憶し、
前記ソリューション決定部は、前記複数のソリューションから前記ユーザー状態情報に応じた前記振動のソリューションを決定して前記携帯端末に送信し、
前記ソリューション提供部は、前記振動発生部を介して、前記ソリューション決定部により決定された前記振動のソリューションを前記ユーザーに提供する
ことが好ましい。
In the solution providing system of the present invention
The mobile terminal includes a vibration generating unit that generates vibration .
The solution storage unit stores information on the vibration solution for improving the user state, and stores the information of the vibration solution.
The solution determination unit determines the vibration solution according to the user state information from the plurality of solutions and transmits it to the mobile terminal.
It is preferable that the solution providing unit provides the user with the vibration solution determined by the solution determining unit via the vibration generating unit.

所定の周期の振動には、人の緊張感を緩和し、疲労を解消させるなどの効果がある。 The vibration of a predetermined cycle has an effect of relieving a person's feeling of tension and relieving fatigue.

本発明によれば、前記ソリューション決定部が決定するソリューションは、ユーザーのユーザー状態に応じた所定の周期的な振動を含んでいる。 According to the present invention, the solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state of the user.

本発明によれば、ユーザーの感情又は疲労状態を効果的に改善することができる。 According to the present invention, the user's emotional or fatigued state can be effectively improved.

本発明の携帯端末は、 The mobile terminal of the present invention
ユーザーが携帯可能な携帯端末であって、 A mobile terminal that can be carried by the user
前記携帯端末は、ソリューション記憶部と、表示制御部と、撮像部と、表示部と、入力部と、回答受付部と、ユーザー状態情報生成部と、ソリューション決定部と、ソリューション提供部とを備え、 The mobile terminal includes a solution storage unit, a display control unit, an imaging unit, a display unit, an input unit, an answer reception unit, a user state information generation unit, a solution determination unit, and a solution provision unit. ,
前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、 The solution storage unit stores information on a plurality of solutions that can be provided to the user in order to improve the user state, which is one or both of the user's emotional and fatigue states.
前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、 The display control unit displays an image of the user's face captured by the imaging unit on the display unit, and correlates with the emotion or fatigue state appearing on the user's face displayed on the display unit. A question about the condition of the face is displayed on the display unit.
前記入力部は、前記ユーザーが、前記表示部に表示される該ユーザーの顔の画像及び、前記質問を見ながら操作を行える位置に配置されており、 The input unit is arranged at a position where the user can operate while looking at the image of the user's face displayed on the display unit and the question.
前記回答受付部は、前記顔の画像を前記表示部に表示させた状態で、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を受け付け、 The answer receiving unit receives the input of the answer by the user to the question about the face condition of the user via the input unit in a state where the image of the face is displayed on the display unit.
前記ユーザー状態情報生成部は、前記回答に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、 The user state information generation unit generates user state information indicating the user state of the user based on the answer.
前記ソリューション決定部は、前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定し、 The solution determination unit determines a solution according to the user state information from the plurality of solutions.
前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューションを前記ユーザーに提供する The solution providing unit provides the user with the solution determined by the solution determining unit.
ことを特徴とする。It is characterized by that.

ユーザーの顔には、ユーザーの感情及び疲労状態が如実に表れる。 The user's emotions and fatigue are clearly visible on the user's face.

本発明によれば、ユーザーは自身の顔を見ながら顔の状態に関する質問に回答するため、回答は容易である。なお、当該質問は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する質問である。また、自身の顔の状態を冷静に顧みる機会を得られるので、感情又は疲労状態と密接な関係を有する顔の状態についての自覚が促され、自身の顔の状態を正確に回答できる可能性が高まる。 According to the present invention, the user answers a question about the condition of the face while looking at his / her own face, so that the answer is easy. The question is a question that has a correlation with the emotion or fatigue state appearing on the user's face. In addition, since you will have the opportunity to calmly look after your own facial condition, you will be promoted to be aware of the facial condition that is closely related to your emotional or fatigued condition, and you may be able to answer your own facial condition accurately. Increase.

また本発明によれば、ユーザーは顔の画像と顔の状態に関する回答を取得させることで、自身の感情又は疲労状態に応じた個対応のソリューションの提供を簡便に受けることができる。 Further, according to the present invention, the user can easily receive an individualized solution according to his / her emotional or fatigued state by obtaining an answer regarding the facial image and the facial condition.

このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。
本発明の携帯端末において、
前記撮像部及び前記表示部は、前記携帯端末の同一の面に備えられている
ことが好ましい。
このような構成とすることで、確実にユーザー自身の顔を見せながら顔の状態に関する質問に回答させることができる。
また、本発明の携帯端末において、
前記携帯端末は、振動を発生させる振動発生部を含んで成り、
前記ソリューション記憶部は、前記ユーザー状態を改善するための振動のソリューションの情報を記憶し、
前記ソリューション決定部は、前記複数のソリューションから前記ユーザー状態情報に応じた前記振動のソリューションを決定して前記携帯端末に送信し、
前記ソリューション提供部は、前記振動発生部を介して、前記ソリューション決定部により決定された前記振動のソリューションを前記ユーザーに提供する
ことが好ましい。
所定の周期の振動には、人の緊張感を緩和し、疲労を解消させるなどの効果がある。
本発明によれば、前記ソリューション決定部が決定するソリューションは、ユーザー状態に応じた所定の周期的な振動を含んでいるので、ユーザーの感情又は疲労状態を効果的に改善することができる。
As described above, according to the present invention, it is possible to analyze a user's emotion or fatigue state and easily provide an appropriate solution according to the user's emotion or fatigue state.
In the mobile terminal of the present invention
The imaging unit and the display unit are provided on the same surface of the mobile terminal.
Is preferable.
With such a configuration, it is possible to answer questions about the condition of the face while surely showing the user's own face.
Further, in the mobile terminal of the present invention,
The mobile terminal includes a vibration generating unit that generates vibration.
The solution storage unit stores information on the vibration solution for improving the user state, and stores the information of the vibration solution.
The solution determination unit determines the vibration solution according to the user state information from the plurality of solutions and transmits it to the mobile terminal.
The solution providing unit provides the user with the vibration solution determined by the solution determining unit via the vibration generating unit.
Is preferable.
The vibration of a predetermined cycle has an effect of relieving a person's feeling of tension and relieving fatigue.
According to the present invention, the solution determined by the solution determination unit includes a predetermined periodic vibration according to the user state, so that the user's emotional or fatigue state can be effectively improved.

本発明のソリューション提供システムの全体像を示すブロック図。The block diagram which shows the whole picture of the solution providing system of this invention. 本発明のソリューション提供システムの処理内容を示すフローチャート。The flowchart which shows the processing content of the solution providing system of this invention. 本発明のソリューション提供システムの処理内容を示すフローチャート。The flowchart which shows the processing content of the solution providing system of this invention. 本発明のソリューション提供システムの処理内容を示すフローチャート。The flowchart which shows the processing content of the solution providing system of this invention. 本発明のソリューション提供システムの変更実施形態の一例を示すブロック図。The block diagram which shows an example of the modification embodiment of the solution providing system of this invention.

<ソリューション提供システムの構成>
まず図1を用いて、本実施形態のソリューション提供システムの構成について説明する。なお同一の構成については、同一の符号を付して説明を省略することがある。
<Configuration of solution provision system>
First, the configuration of the solution providing system of the present embodiment will be described with reference to FIG. The same components may be designated by the same reference numerals and description thereof may be omitted.

本実施形態のソリューション提供システムは、携帯端末10と、サーバー30と、を含んで構成されるコンピューターシステムである。携帯端末10とサーバー30との間は、携帯電話網などの通信ネットワーク90により相互に通信可能に接続される。なお携帯端末10とサーバー30は、いずれも複数であってよい。 The solution providing system of this embodiment is a computer system including a mobile terminal 10 and a server 30. The mobile terminal 10 and the server 30 are connected to each other so as to be able to communicate with each other by a communication network 90 such as a mobile phone network. The number of mobile terminals 10 and the number of servers 30 may be plural.

携帯端末10は、携帯端末制御部110と、出力部130とを備え、あるいはさらに撮像部150と、入力部170と、履歴記憶部190と、を含んで構成される、例えばスマートフォン、タブレット端末などの汎用的な端末である。あるいは携帯端末10は、ユーザーが携帯可能な専用端末であってもよい。 The mobile terminal 10 includes a mobile terminal control unit 110 and an output unit 130, or further includes an imaging unit 150, an input unit 170, and a history storage unit 190, for example, a smartphone, a tablet terminal, or the like. It is a general-purpose terminal. Alternatively, the mobile terminal 10 may be a dedicated terminal that can be carried by the user.

携帯端末制御部110は、CPU(Central Processing Unit)等の演算処理装置、メモリ、及びI/O(Input/Output)デバイスなどにより構成されている。携帯端末制御部110は、所定のプログラムを読み込んで実行することにより例えばユーザー情報取得部111、ソリューション提供部113として、あるいはさらに、表示制御部115、回答受付部117として機能する。 The mobile terminal control unit 110 is composed of an arithmetic processing unit such as a CPU (Central Processing Unit), a memory, an I / O (Input / Output) device, and the like. The mobile terminal control unit 110 functions as, for example, a user information acquisition unit 111 and a solution providing unit 113, or further as a display control unit 115 and a response reception unit 117 by reading and executing a predetermined program.

ユーザー情報取得部111は、例えば撮像部150、入力部170を介して、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得する。 The user information acquisition unit 111 acquires user information including information obtained from the user's body or movement via, for example, the imaging unit 150 and the input unit 170.

ソリューション提供部113は、ソリューション決定部313により決定されたソリューションを、出力部130を介してユーザーに提供する。 The solution providing unit 113 provides the solution determined by the solution determining unit 313 to the user via the output unit 130.

表示制御部115は、撮像部150により撮像されたユーザーの顔の画像を表示部133に表示すると共に、表示部133に表示されたユーザーの顔の状態についての質問を表示部133に表示するように制御する。なお、当該質問は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する質問である。 The display control unit 115 displays the image of the user's face captured by the image pickup unit 150 on the display unit 133, and displays a question about the state of the user's face displayed on the display unit 133 on the display unit 133. To control. The question is a question that has a correlation with the emotion or fatigue state appearing on the user's face.

回答受付部117は、入力部170を介してユーザーの顔の状態についての質問に対するユーザーによる回答の入力を、顔の画像を前記表示部に表示させた状態で受け付ける。 The answer reception unit 117 receives the input of the answer by the user to the question about the state of the user's face via the input unit 170 in a state where the image of the face is displayed on the display unit.

出力部130は、例えば振動発生部131と、表示部133と、音声再生部135と、香り発生部137と、を含んで構成され、ソリューション提供部113等の制御により、ユーザーにソリューションを提供する。 The output unit 130 includes, for example, a vibration generation unit 131, a display unit 133, a voice reproduction unit 135, and a scent generation unit 137, and provides a solution to the user by controlling the solution providing unit 113 and the like. ..

振動発生部131は、ソリューション決定部313が決定したソリューションに、ユーザー状態情報に応じた所定の周期的な振動が含まれる場合に、所定の周期的な振動をユーザーに提供する、例えばバイブレーターである。 The vibration generating unit 131 is, for example, a vibrator that provides the user with a predetermined periodic vibration when the solution determined by the solution determining unit 313 includes a predetermined periodic vibration according to the user state information. ..

表示部133は、ユーザー状態情報に応じた、所定の動作を促す情報又はユーザー状態を改善するための画像を含む表示情報を含む場合に、表示情報を表示してユーザーに提供する、ディスプレイである。 The display unit 133 is a display that displays the display information and provides it to the user when the display information including information for promoting a predetermined operation or an image for improving the user state is included according to the user state information. ..

音声再生部135は、ユーザー状態情報に応じた人の声、自然音又は音楽を含む音声がソリューションに含まれる場合に、音声を再生してユーザーに提供する、スピーカーである。 The voice reproduction unit 135 is a speaker that reproduces the voice and provides it to the user when the solution includes a human voice, a natural sound, or a voice including music according to the user state information.

香り発生部137は、ユーザー状態情報に応じた所定の香りがソリューションに含まれる場合に、香りを発生させてユーザーに提供する。 The scent generation unit 137 generates a scent and provides it to the user when a predetermined scent according to the user state information is included in the solution.

撮像部150は、例えばカメラであり、ユーザーの顔の画像を取得する。 The image pickup unit 150 is, for example, a camera, and acquires an image of the user's face.

入力部170は、例えばタッチパネル、キーボードなどの文字や選択結果等の入力機構であり、回答受付部117がユーザーの顔の状態についての質問に対するユーザーによる回答の入力を受け付ける際などに用いられる。なお入力部170は、表示部133に表示されたユーザーの顔の画像及び顔の状態についての質問を見ながら操作を行える位置に配置される。 The input unit 170 is, for example, an input mechanism for characters such as a touch panel and a keyboard and a selection result, and is used when the answer reception unit 117 receives an input of an answer by the user for a question about the state of the user's face. The input unit 170 is arranged at a position where the operation can be performed while looking at the user's face image and the question about the face condition displayed on the display unit 133.

履歴記憶部190は、例えばROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等の記憶装置により構成されている。履歴記憶部190は、ユーザーに提供されたソリューションの情報を、所定の期間分、又は所定の回数分記憶するほか、携帯端末の処理に必要な情報、携帯端末の処理結果などを記憶している。 The history storage unit 190 is composed of storage devices such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disk Drive). The history storage unit 190 stores the information of the solution provided to the user for a predetermined period or a predetermined number of times, and also stores the information required for the processing of the mobile terminal, the processing result of the mobile terminal, and the like. ..

なお、履歴記憶部190は例えば、ユーザー情報に含まれる顔の画像及びユーザー状態情報を記憶しないように構成される。 The history storage unit 190 is configured not to store the face image and the user state information included in the user information, for example.

サーバー30は、サーバー制御部310と、ソリューション記憶部330と、を含んで構成される、例えばコンピューターである。 The server 30 is, for example, a computer including a server control unit 310 and a solution storage unit 330.

サーバー制御部310は、CPU等の演算処理装置、メモリ、及びI/Oデバイスなどにより構成されている。サーバー制御部310は、所定のプログラムを読み込んで実行することにより例えばユーザー状態情報生成部311、ソリューション決定部313として機能する。 The server control unit 310 is composed of an arithmetic processing unit such as a CPU, a memory, an I / O device, and the like. The server control unit 310 functions as, for example, a user state information generation unit 311 and a solution determination unit 313 by reading and executing a predetermined program.

ユーザー状態情報生成部311は、ユーザー情報取得部111により取得された身体または動作から取得されたに情報に基づいてユーザーのユーザー状態を示すユーザー状態情報を生成する。 The user state information generation unit 311 generates user state information indicating the user state of the user based on the information acquired from the body or movement acquired by the user information acquisition unit 111.

ソリューション決定部313は、ソリューション記憶部330に記憶されている複数のソリューションからユーザー状態情報に応じたソリューションを決定する。 The solution determination unit 313 determines a solution according to the user status information from a plurality of solutions stored in the solution storage unit 330.

ソリューション記憶部330は、例えばROM、RAM、HDD等の記憶装置により構成されている。ソリューション記憶部330は、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、ユーザーに提供可能な複数のソリューションの情報のほか、ソリューション提供システムの処理に必要な情報、ソリューション提供システムの処理結果などを記憶している。 The solution storage unit 330 is composed of storage devices such as ROM, RAM, and HDD. The solution storage unit 330 provides information on a plurality of solutions that can be provided to the user in order to improve the user state, which is one or both of the user's emotional state and fatigue state, as well as information and solutions necessary for processing the solution providing system. It stores the processing results of the provided system.

ソリューション記憶部330に記憶されているソリューションの情報は、音楽、音声、映像、所定の周期的な振動のパターンなどのデジタルデータそのものでもよく、あるいは例えば所定の香りを特定するIDなどの符号情報であってよい。これらのソリューションが単独で、又は組み合わせてユーザーに向けて提供されることにより、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するためのソリューションとして機能する。 The solution information stored in the solution storage unit 330 may be digital data itself such as music, voice, video, a predetermined periodic vibration pattern, or code information such as an ID that identifies a predetermined scent. It may be there. When these solutions are provided to the user alone or in combination, they function as a solution for improving the user's emotional and / or fatigued state.

なおユーザーの感情とは、喜怒哀楽、又はネガティブな状態などのいわゆる心理状態のほか、興奮状態にあるかリラックス状態にあるかの指標の一つとしての自律神経バランスの状態及び、覚醒、休息、冷静、解放などのユーザー自身による自己認識の状態を含む概念である。 The user's emotions include so-called psychological states such as emotions and negative states, as well as the state of autonomic nerve balance as one of the indicators of whether the person is in an excited state or a relaxed state, and awakening and rest. It is a concept that includes the state of self-awareness by the user such as, calmness, and liberation.

<処理の概要>
次に、本実施形態のソリューション提供システムの処理内容について説明する。まず図2を参照して、ソリューション提供システムによる一連の処理について説明する。
<Outline of processing>
Next, the processing contents of the solution providing system of this embodiment will be described. First, a series of processes by the solution providing system will be described with reference to FIG.

<ユーザー情報取得処理>
一連の処理を開始すると、まず携帯端末10のユーザー情報取得部111は、ユーザー情報を取得してサーバー30に送信する(図2/S110)。
<User information acquisition process>
When a series of processes are started, the user information acquisition unit 111 of the mobile terminal 10 first acquires the user information and transmits it to the server 30 (FIG. 2 / S110).

より具体的には、例えば図3に示すようにユーザー情報取得部111は、撮像部150を介してユーザーの顔の画像を撮像する(図3/S111)。 More specifically, for example, as shown in FIG. 3, the user information acquisition unit 111 captures an image of the user's face via the image pickup unit 150 (FIG. 3 / S111).

そして表示制御部115は、撮像部150により撮像されたユーザーの顔の画像を表示部133に表示すると共に、表示部133に表示されたユーザーの顔の状態についての質問を表示部133に表示する(図3/S113)。 Then, the display control unit 115 displays the image of the user's face captured by the image pickup unit 150 on the display unit 133, and displays a question about the state of the user's face displayed on the display unit 133 on the display unit 133. (FIG. 3 / S113).

入力受付部155は、ユーザーの顔の状態についての質問に対するユーザーによる回答の入力を顔の画像を表示部133に表示させた状態で、入力部170を介して受け付ける。(図3/S115)。 The input receiving unit 155 receives the input of the answer by the user to the question about the state of the user's face via the input unit 170 in a state where the image of the face is displayed on the display unit 133. (Fig. 3 / S115).

入力受付部155は例えば、ユーザーの顔の状態についての複数の質問と回答の選択肢とを質問ごとに順番に表示して、ユーザーにより選択された選択肢を当該質問に対する回答として受け付ける。 For example, the input reception unit 155 displays a plurality of questions about the state of the user's face and answer options in order for each question, and accepts the options selected by the user as answers to the question.

ユーザー情報取得部111は、このようにして受け付けられた顔の状態についての質問に対する回答をユーザー状態情報として取得する。 The user information acquisition unit 111 acquires the answer to the question about the facial condition received in this way as the user status information.

なお顔の状態についての質問に対する回答は、例えば5段階評価のどれに該当するかをユーザーに選択させることにより入力されてもよく、音声や文字で入力されてもよい。また、当該質問は、1つであっても複数であってもよい。 The answer to the question about the facial condition may be input by, for example, letting the user select which of the five-grade evaluation corresponds to, or may be input by voice or text. In addition, the question may be one or a plurality.

そしてユーザー情報取得部111は、顔の画像を分析する(図3/S117)。すなわち例えばユーザー情報取得部111は、顔の画像から心拍に関する情報の取得に必要な情報を顔の画像の分析結果として取得する。 Then, the user information acquisition unit 111 analyzes the face image (FIG. 3 / S117). That is, for example, the user information acquisition unit 111 acquires information necessary for acquiring information on the heartbeat from the face image as an analysis result of the face image.

ユーザー情報取得部111が顔の画像から心拍に関する情報の取得に必要な情報を取得する手法としては既知の種々の手法が用いられてよいが、ユーザー情報取得部111は例えば、顔の画像である動画像又は連続的に撮像した静止画像から、RGBの各色成分の輝度の変化の情報を取得する。 Various known methods may be used as a method for the user information acquisition unit 111 to acquire information necessary for acquiring information related to the heartbeat from the face image, and the user information acquisition unit 111 is, for example, a face image. Information on changes in the brightness of each color component of RGB is acquired from a moving image or a still image continuously captured.

そしてユーザー情報取得部111は、このようにして入力を受け付けたユーザーの顔の状態についての質問に対するユーザーによる回答と、顔の画像の分析結果(例えば心拍に関する情報の取得に必要な情報であるRGBの各色成分の輝度の変化の情報。)と、をユーザー情報としてサーバー30に送信する(図3/S119)。 Then, the user information acquisition unit 111 answers the user's answer to the question about the facial condition of the user who has received the input in this way, and the analysis result of the facial image (for example, RGB, which is information necessary for acquiring information on the heartbeat). Information on changes in the brightness of each color component of the above.) And is transmitted to the server 30 as user information (FIG. 3 / S119).

<ユーザー情報分析処理>
そして、サーバー30のユーザー状態情報生成部311は、ユーザー情報を受信して(図2/S210)、ユーザーの顔の状態についての質問に対するユーザーによる回答、顔の画像の分析結果などの、ユーザー情報に含まれる情報を分析する(図2/S230)。
<User information analysis processing>
Then, the user state information generation unit 311 of the server 30 receives the user information (FIG. 2 / S210), and the user information such as the answer by the user to the question about the user's face state and the analysis result of the face image. The information contained in is analyzed (FIG. 2 / S230).

より具体的には例えばユーザー状態情報生成部311は、心拍に関する情報の取得に必要な情報であるRGBの各色成分の輝度の変化の情報から、ユーザーの心拍に関する情報を取得する(図4/S231)。 More specifically, for example, the user state information generation unit 311 acquires information on the user's heartbeat from information on changes in the brightness of each color component of RGB, which is information necessary for acquiring information on the heartbeat (FIG. 4 / S231). ).

ユーザー状態情報生成部311が心拍に関する情報の取得に必要な情報からユーザーの心拍に関する情報を取得する手法としては既知の種々の手法が用いられてよいが、ユーザー状態情報生成部311は例えば、RGBの各色成分の輝度の変化の情報に含まれる特定の色成分(例えばG(緑))の輝度の変化を所定のアルゴリズムを用いて分析することにより、ユーザーの心拍を取得する。 Various known methods may be used as a method for the user state information generation unit 311 to acquire information on the user's heartbeat from the information necessary for acquiring the information on the heartbeat. The user state information generation unit 311 may use, for example, RGB. The heartbeat of the user is acquired by analyzing the change in the brightness of a specific color component (for example, G (green)) included in the information on the change in the brightness of each color component in the above using a predetermined algorithm.

またユーザー状態情報生成部311はユーザーの心拍から例えば、心拍数、心拍間隔、あるいはこれらの情報からCVR−R、CCVTPなどの指標値を計算して取得する。 Further, the user state information generation unit 311 calculates and acquires, for example, a heart rate, a heart rate interval, or an index value such as CVR-R or CCVTP from the user's heart rate.

そしてユーザー状態情報生成部311は、例えばCVR−R、CCVTPなどの指標値から、所定のアルゴリズムを用いて0〜10の間で0.1刻みでユーザーの心拍に基づく疲労状態を示す疲労度スコアを算出する。 Then, the user state information generation unit 311 uses an index value such as CVR-R or CCVTP to indicate a fatigue state based on the user's heartbeat in 0.1 increments between 0 and 10 using a predetermined algorithm. Is calculated.

その後にユーザー状態情報生成部311は、心拍に関する情報に基づいて自律神経バランス情報を取得する(図4/S233)。 After that, the user state information generation unit 311 acquires the autonomic nerve balance information based on the information related to the heartbeat (FIG. 4 / S233).

ユーザー状態情報生成部311が自律神経バランス情報を取得する手法としては種々の手法が用いられてよい。すなわち例えばユーザー状態情報生成部311は、心拍の変動を周波数解析して、心拍の変動の低周波成分であるLF(Low Frequency)と高周波成分であるHF(High Frequency)との比(LF/HF)を、自律神経バランス情報として取得する。 Various methods may be used as the method for the user state information generation unit 311 to acquire the autonomic nerve balance information. That is, for example, the user state information generation unit 311 frequency-analyzes the fluctuation of the heartbeat, and the ratio (LF / HF) of the low frequency component LF (Low Frequency) of the heartbeat fluctuation and the high frequency component HF (High Frequency). ) Is acquired as autonomic nerve balance information.

そしてユーザー状態情報生成部311は、自律神経バランス情報から、所定のアルゴリズムを用いて0〜10の間で0.1刻みでユーザーの自律神経のバランスを示す自律神経バランススコアを算出する。 Then, the user state information generation unit 311 calculates an autonomic nerve balance score indicating the balance of the user's autonomic nerve in 0.1 increments between 0 and 10 using a predetermined algorithm from the autonomic nerve balance information.

そして、ユーザー状態情報生成部311は、ユーザー状態情報に含まれるユーザーの顔の状態についての質問に対するユーザーによる回答を分析する(図4/S235)。 Then, the user state information generation unit 311 analyzes the answer by the user to the question about the state of the user's face included in the user state information (FIG. 4 / S235).

より具体的にはユーザー状態情報生成部311は例えば、ユーザーの顔の状態についての各質問に対してユーザーが選択した各選択肢に対応付けられた値を足し合わせた値を、
ユーザーの顔に出ている疲れの兆候を数値化した疲れの兆候スコアとして数値化して、当該疲れの兆候スコアを分析結果として決定する。
More specifically, the user state information generation unit 311 obtains, for example, a value obtained by adding the values associated with each option selected by the user for each question about the state of the user's face.
The signs of tiredness appearing on the user's face are quantified as a quantified tiredness sign score, and the tiredness sign score is determined as an analysis result.

<ユーザー状態情報生成処理>
そして、ユーザー状態情報生成部311は、ユーザー情報分析処理における分析結果に基づいて、ユーザーのユーザー状態を示すユーザー状態情報を生成する(図2/S250)。
<User status information generation process>
Then, the user state information generation unit 311 generates user state information indicating the user state of the user based on the analysis result in the user information analysis process (FIG. 2 / S250).

例えばユーザー状態情報生成部311は、上記で得られた、心拍に基づく疲労度スコア、自律神経バランススコア、疲れの兆候スコアの組み合わせをユーザー状態情報とする。 For example, the user state information generation unit 311 uses the combination of the fatigue degree score based on the heartbeat, the autonomic nerve balance score, and the fatigue sign score obtained above as the user state information.

<ソリューション決定処理>
そして、ソリューション決定部313は、ユーザー状態情報に応じたソリューションを決定して携帯端末10に送信する(図3/S270)。
<Solution decision processing>
Then, the solution determination unit 313 determines the solution according to the user state information and transmits it to the mobile terminal 10 (FIG. 3 / S270).

より具体的には、例えば心拍に基づく疲労度スコア、自律神経バランススコア、疲れの兆候スコアとの組み合わせと、ソリューションとの対応テーブルを予めソリューション記憶部330に記憶しておき、ソリューション決定部313は、当該対応テーブルを参照して、上記のようにして得られた心拍に基づく疲労度スコア、自律神経バランススコア、疲れの兆候スコアの組み合わせに対応したソリューションを認識することにより、ユーザーに提供するソリューションを決定する。 More specifically, for example, the combination of the fatigue level score based on the heartbeat, the autonomic nerve balance score, and the fatigue sign score and the correspondence table with the solution are stored in the solution storage unit 330 in advance, and the solution determination unit 313 stores the combination. , A solution provided to the user by recognizing a solution corresponding to the combination of the fatigue score based on the heart rate, the autonomic nerve balance score, and the fatigue sign score obtained as described above by referring to the corresponding table. To determine.

すなわち例えば、心拍に基づく疲労度スコア又は疲れの兆候スコアが高ければ、疲労度を下げる効果を有する所定の周期的な振動、人の声、自然音又は音楽を含む音声、所定の香り、所定の動作を促す情報又は前記ユーザー状態を改善するための画像を単独で、又はユーザー状態に応じたこれらの組み合わせを、ユーザーに提供するソリューションとして決定する。 That is, for example, if the fatigue score based on the heartbeat or the sign score of fatigue is high, a predetermined periodic vibration having an effect of lowering the fatigue, a human voice, a voice including natural sound or music, a predetermined scent, and a predetermined The information for prompting the operation or the image for improving the user state is determined alone or a combination thereof according to the user state as a solution to be provided to the user.

あるいは例えば自律神経バランススコアが、交感神経又は副交感神経が過度に優位であるなど、自律神経バランスが整っていない状態を示している場合には、自律神経バランスを整える効果を有する所定の周期的な振動等を単独で、又はユーザー状態に応じたこれらの組み合わせを、ユーザーに提供するソリューションとして決定する。 Alternatively, when the autonomic nerve balance score indicates a state in which the autonomic nerve balance is not adjusted, for example, the sympathetic nerve or the parasympathetic nerve is excessively dominant, a predetermined periodic period having an effect of adjusting the autonomic nerve balance is obtained. Vibration and the like are determined alone or a combination of these according to the user's condition as a solution to be provided to the user.

<ソリューション提供処理>
そしてソリューション提供部113は、サーバー30からソリューションを受信して(図3/S310)、当該受信したソリューションをユーザーに向けて提供する(図3/S330)。
<Solution provision processing>
Then, the solution providing unit 113 receives the solution from the server 30 (FIG. 3 / S310) and provides the received solution to the user (FIG. 3 / S330).

より具体的にはソリューション提供部113は、サーバー30から受信したソリューションの内容に応じて、振動発生部131、表示部133、音声再生部135、香り発生部137を介して、所定の周期的な振動などの触覚に対する刺激、人の声、自然音(鳥の声、小川のせせらぎ等)又は音楽を含む音声などの聴覚に対する刺激、所定の香りなどの嗅覚に対する刺激、ユーザー状態を改善するための画像などの視覚に対する刺激、などの受動的な刺激や、ユーザーに所定の動作を促す情報を含む能動的な刺激、をユーザーに向けて提供する。 More specifically, the solution providing unit 113 has a predetermined periodic period via the vibration generating unit 131, the display unit 133, the sound reproducing unit 135, and the scent generating unit 137 according to the content of the solution received from the server 30. Tactile stimuli such as vibration, auditory stimuli such as human voice, natural sounds (bird's voice, stream babbling, etc.) or voice including music, odor stimuli such as predetermined scents, to improve user condition It provides the user with passive stimuli such as visual stimuli such as images, and active stimuli including information that encourages the user to perform a predetermined action.

すなわち例えば受信したソリューションが音楽のデジタルデータであれば、ソリューション提供部113は、当該音楽を音声再生部135に再生させる。あるいは例えば受信したソリューションが所定の香りを特定するIDであれば、ソリューション提供部113は、当該IDに対応する香りを香り発生部137に発生させる。あるいは例えば受信したソリューションがユーザーに所定の動作を促す情報であれば、一定間隔で変化する「振動を感じながら簡単なマインドフルネス瞑想をやってみましょう」、「背筋を伸ばし姿勢を正しましょう」、「肩の力を抜きゆっくりと鼻呼吸をしましょう」などの、所定の動作又は所定の方法での呼吸又は瞑想を促す文章の組み合わせが表示部133により表示され、又は音声再生部135により再生される。 That is, for example, if the received solution is digital data of music, the solution providing unit 113 causes the audio reproduction unit 135 to reproduce the music. Alternatively, for example, if the received solution has an ID that specifies a predetermined scent, the solution providing unit 113 generates the scent corresponding to the ID in the scent generating unit 137. Or, for example, if the received solution is information that prompts the user to perform a certain action, "Let's do a simple mindfulness meditation while feeling the vibration" that changes at regular intervals, "Stretch your back and correct your posture. The display unit 133 displays a combination of sentences that encourage breathing or meditation in a predetermined movement or a predetermined method, such as "Let's relax your shoulders and breathe slowly through your nose", or the voice reproduction unit 135. Played by.

以上説明したように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。 As described above, according to the present invention, it is possible to analyze a user's emotion or fatigue state and easily provide an appropriate solution according to the user's emotion or fatigue state.

以上、本発明の実施形態について説明したが、これに限定されない。本発明の趣旨を逸脱しない範囲で、種々の変更が可能である。 The embodiments of the present invention have been described above, but the present invention is not limited thereto. Various modifications can be made without departing from the spirit of the present invention.

すなわち例えば、ユーザー状態は、急激に改善されるのではなく緩やかに改善していくと考えられる。そのため直近の数回あるいは直近の期間のソリューションは、同じソリューションとなることが想定される。 That is, for example, it is considered that the user state does not improve rapidly but gradually improves. Therefore, it is expected that the solutions of the last few times or the most recent period will be the same solution.

このため例えば、携帯端末10は、ユーザーに提供されたソリューションを、所定の期間分、又は所定の回数分、履歴記憶部190に記憶するように構成されていてもよい。 Therefore, for example, the mobile terminal 10 may be configured to store the solution provided to the user in the history storage unit 190 for a predetermined period or a predetermined number of times.

この場合、ソリューション決定部313は、決定したソリューションが履歴記憶部190に記憶されている場合には、該決定されたソリューションを携帯端末10に送信しないように構成される。 In this case, the solution determination unit 313 is configured not to transmit the determined solution to the mobile terminal 10 when the determined solution is stored in the history storage unit 190.

そしてソリューション提供部113は、ソリューション決定部313により決定されたソリューションが履歴記憶部190に記憶されている場合には、該決定されたソリューションを履歴記憶部190から取得してユーザーに提供するように構成される。 Then, when the solution determined by the solution determination unit 313 is stored in the history storage unit 190, the solution providing unit 113 acquires the determined solution from the history storage unit 190 and provides the determined solution to the user. It is composed.

なおソリューション決定部313が、決定したソリューションが携帯端末10の履歴記憶部190に記憶されているか否かを判定する手法としては、種々の手法が採用されてよい。 As a method for the solution determination unit 313 to determine whether or not the determined solution is stored in the history storage unit 190 of the mobile terminal 10, various methods may be adopted.

すなわち例えば、ソリューション決定部313は、過去に決定したソリューションを特定する情報を、所定の期間分、又は所定の回数分、ソリューション記憶部330に記憶しておく。なお当該所定の期間又は所定の回数は、携帯端末10の履歴記憶部190に記憶されている期間又は回数と同一である。 That is, for example, the solution determination unit 313 stores information for identifying a solution determined in the past in the solution storage unit 330 for a predetermined period or a predetermined number of times. The predetermined period or the predetermined number of times is the same as the period or the number of times stored in the history storage unit 190 of the mobile terminal 10.

そしてソリューション決定部313は、今回決定したソリューションが、ソリューション記憶部330に記憶されているいずれかのソリューションと一致するか否かを判定し、一致するソリューションがソリューション記憶部330に記憶されている場合に、決定したソリューションが携帯端末10の履歴記憶部190に記憶されていると判定する。 Then, the solution determination unit 313 determines whether or not the solution determined this time matches any of the solutions stored in the solution storage unit 330, and when the matching solution is stored in the solution storage unit 330. First, it is determined that the determined solution is stored in the history storage unit 190 of the mobile terminal 10.

この場合、ソリューション決定部313は、決定したソリューションを携帯端末10に送信せず、その代わりに、今回決定したソリューションが、履歴記憶部190に記憶されているいずれのソリューションであるかを特定する情報を、携帯端末10に送信する。 In this case, the solution determination unit 313 does not transmit the determined solution to the mobile terminal 10, and instead, the information that identifies which solution the determined solution is stored in the history storage unit 190. Is transmitted to the mobile terminal 10.

そして、ソリューション提供部113は、サーバー30から今回決定したソリューションが、履歴記憶部190に記憶されているいずれのソリューションであるかを特定する情報を受信して、該当するソリューションを履歴記憶部190から取得してユーザーに提供する。 Then, the solution providing unit 113 receives information from the server 30 that identifies which solution is stored in the history storage unit 190, and obtains the corresponding solution from the history storage unit 190. Get it and provide it to the user.

あるいは例えば図5に示すように、サーバー30が省略されて、上記においてサーバー30が備えると説明した機能のすべてが、携帯端末10に備えられていてもよい。 Alternatively, for example, as shown in FIG. 5, the server 30 may be omitted, and the mobile terminal 10 may be provided with all the functions described above as the server 30.

あるいは例えばユーザー情報取得部111は、顔の画像を表示部133に表示させる代わりに、ユーザーの顔を映す鏡部に写るユーザーの顔の映像を見せた状態で、質問に対するユーザーによる回答の入力を受け付けるように構成されていてもよい。 Alternatively, for example, the user information acquisition unit 111 inputs an answer to the question by the user while showing the image of the user's face reflected in the mirror unit that reflects the user's face, instead of displaying the face image on the display unit 133. It may be configured to accept.

この場合、表示部133はユーザーが鏡部に写るユーザーの顔と同時に見ることができる位置に配置され、入力部170は鏡部に写るユーザーの顔及び表示部133に表示された質問を見ながら操作を行える位置に配置される。 In this case, the display unit 133 is arranged at a position where the user can see the user's face reflected in the mirror unit at the same time, and the input unit 170 looks at the user's face reflected in the mirror unit and the question displayed on the display unit 133. It is placed in a position where it can be operated.

あるいは例えば、ユーザー情報取得部111は、ユーザーが、手指の肌の画像を取得すべき第1状況にあるか、顔の肌の画像を取得すべき第2状況にあるか、を認識して、ユーザーが第1状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、ユーザーが第2状況にある場合にはユーザーの顔の肌の画像を含むユーザー情報を取得するように構成されてもよい。 Alternatively, for example, the user information acquisition unit 111 recognizes whether the user is in the first situation in which the image of the skin of the fingers should be acquired or in the second situation in which the image of the skin of the face should be acquired. When the user is in the first situation, the user information including the skin image of the user's finger is acquired, and when the user is in the second situation, the user information including the skin image of the user's face is acquired. It may be configured as follows.

この場合、ユーザー状態情報生成部311は、ユーザーが第1状況にある場合にはユーザー情報取得部111により取得されたユーザーの顔の画像に基づいてユーザー状態情報を生成し、ユーザーが第2状況にある場合にはユーザー情報取得部111により取得されたユーザーの顔の画像に基づいてユーザー状態情報を生成するように構成される。 In this case, the user state information generation unit 311 generates user state information based on the image of the user's face acquired by the user information acquisition unit 111 when the user is in the first situation, and the user is in the second situation. In the case of, the user state information is generated based on the image of the user's face acquired by the user information acquisition unit 111.

ユーザー情報取得部111は例えば、ユーザーが第1状況にあるか、第2状況にあるかを選択させるための選択ボタンを携帯端末10のディスプレイに表示し、ユーザーに選択させることで、ユーザーが第1状況及び第2状況のいずれの状況にあるかを認識する。あるいは例えばユーザー情報取得部111は、現在の時間帯に基づいて、ユーザーが第1状況及び第2状況のいずれの状況にあるかを認識してもよい。すなわち例えばユーザー情報取得部111は、昼間の時間帯であれば第1状況、就寝前の夜の時間帯であれば第2状況であると認識する。 For example, the user information acquisition unit 111 displays a selection button for selecting whether the user is in the first situation or the second situation on the display of the mobile terminal 10 and causes the user to select the user. Recognize whether you are in the 1st situation or the 2nd situation. Alternatively, for example, the user information acquisition unit 111 may recognize whether the user is in the first situation or the second situation based on the current time zone. That is, for example, the user information acquisition unit 111 recognizes that it is the first situation in the daytime time zone and the second situation in the night time zone before going to bed.

10…携帯端末、30…サーバー、111…ユーザー情報取得部、113…ソリューション提供部、115…表示制御部、117…回答受付部、131…振動発生部、133…表示部、135…音声再生部、137…香り発生部、150…撮像部、170…入力部、190…履歴記憶部、311…ユーザー状態情報生成部、313…ソリューション決定部、330…ソリューション記憶部。 10 ... Mobile terminal, 30 ... Server, 111 ... User information acquisition unit, 113 ... Solution provision unit, 115 ... Display control unit, 117 ... Answer reception unit, 131 ... Vibration generation unit, 133 ... Display unit, 135 ... Voice playback unit , 137 ... Fragrance generation unit, 150 ... Imaging unit, 170 ... Input unit, 190 ... History storage unit, 311 ... User status information generation unit, 313 ... Solution determination unit, 330 ... Solution storage unit.

Claims (6)

ユーザーが携帯可能な携帯端末と、サーバーと、を含んで構成されるコンピューターシステムであって、
前記携帯端末は、撮像部と、表示制御部と、表示部と、入力部と、回答受付部と、ソリューション提供部とを備え、
前記サーバーは、ソリューション記憶部と、ユーザー状態情報生成部と、ソリューション決定部とを備え、
前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
前記入力部は、前記ユーザーが、前記表示部に表示される該ユーザーの顔の画像及び、前記質問を見ながら操作を行える位置に配置されており、
前記回答受付部は、前記顔の画像を前記表示部に表示させた状態で、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を受け付け、該回答を前記サーバーに送信し、
前記ユーザー状態情報生成部は、前記携帯端末からの前記回答に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
前記ソリューション決定部は、前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定して前記携帯端末に送信し、
前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューションを前記ユーザーに提供する
ことを特徴とするソリューション提供システム。
A computer system that includes a mobile terminal that can be carried by a user and a server.
The mobile terminal includes an imaging unit, a display control unit, a display unit, an input unit, an answer reception unit, and a solution providing unit.
The server includes a solution storage unit, a user state information generation unit, and a solution determination unit.
The solution storage unit stores information on a plurality of solutions that can be provided to the user in order to improve the user state, which is one or both of the user's emotional and fatigue states.
The display control unit displays an image of the user's face captured by the imaging unit on the display unit, and correlates with the emotion or fatigue state appearing on the user's face displayed on the display unit. A question about the condition of the face is displayed on the display unit.
The input unit is arranged at a position where the user can operate while looking at the image of the user's face displayed on the display unit and the question.
The answer receiving unit receives an input of an answer by the user to a question about the state of the user's face via the input unit in a state where the image of the face is displayed on the display unit, and receives the answer. Send to the server
The user state information generation unit generates user state information indicating the user state of the user based on the answer from the mobile terminal.
The solution determination unit determines a solution according to the user status information from the plurality of solutions and transmits the solution to the mobile terminal.
The solution providing unit is a solution providing system characterized in that the solution determined by the solution determining unit is provided to the user.
請求項1に記載のソリューション提供システムにおいて、 In the solution providing system according to claim 1,
前記撮像部及び前記表示部は、前記携帯端末の同一の面に備えられている The imaging unit and the display unit are provided on the same surface of the mobile terminal.
ことを特徴とするソリューション提供システム。A solution providing system characterized by this.
請求項1又は2に記載のソリューション提供システムにおいて、
前記携帯端末は、振動を発生させる振動発生部を含んで成り、
前記ソリューション記憶部は、前記ユーザー状態を改善するための振動のソリューションの情報を記憶し、
前記ソリューション決定部は、前記複数のソリューションから前記ユーザー状態情報に応じた前記振動のソリューションを決定して前記携帯端末に送信し、
前記ソリューション提供部は、前記振動発生部を介して、前記ソリューション決定部により決定された前記振動のソリューションを前記ユーザーに提供する
ことを特徴とするソリューション提供システム。
In the solution providing system according to claim 1 or 2.
The mobile terminal includes a vibration generating unit that generates vibration .
The solution storage unit stores information on the vibration solution for improving the user state, and stores the information of the vibration solution.
The solution determination unit determines the vibration solution according to the user state information from the plurality of solutions and transmits it to the mobile terminal.
The solution providing unit is a solution providing system characterized in that the vibration solution determined by the solution determining unit is provided to the user via the vibration generating unit.
ユーザーが携帯可能な携帯端末であって
前記携帯端末は、ソリューション記憶部と、表示制御部と、撮像部と、表示部と、入力部と、回答受付部と、ユーザー状態情報生成部と、ソリューション決定部と、ソリューション提供部とを備え、
前記ソリューション記憶部は、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶し、
前記表示制御部は、前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示し、
前記入力部は、前記ユーザーが、前記表示部に表示される該ユーザーの顔の画像及び、前記質問を見ながら操作を行える位置に配置されており、
前記回答受付部は、前記顔の画像を前記表示部に表示させた状態で、前記入力部を介して前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を受け付け、
前記ユーザー状態情報生成部は、前記回答に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成し、
前記ソリューション決定部は、前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定し、
前記ソリューション提供部は、前記ソリューション決定部により決定された前記ソリューションを前記ユーザーに提供する
ことを特徴とする携帯端末
A mobile terminal that can be carried by the user
The mobile terminal includes a solution storage unit, a display control unit, an imaging unit, a display unit, an input unit, an answer reception unit, a user state information generation unit, a solution determination unit, and a solution provision unit. ,
The solution storage unit stores information on a plurality of solutions that can be provided to the user in order to improve the user state, which is one or both of the user's emotional and fatigue states .
The display control unit displays an image of the user's face captured by the imaging unit on the display unit, and correlates with the emotion or fatigue state appearing on the user's face displayed on the display unit. A question about the condition of the face is displayed on the display unit.
The input unit is arranged at a position where the user can operate while looking at the image of the user's face displayed on the display unit and the question.
The answer receiving unit receives the input of the answer by the user to the question about the face condition of the user via the input unit in a state where the image of the face is displayed on the display unit.
The user state information generation unit generates user state information indicating the user state of the user based on the answer.
The solution determination unit determines a solution according to the user state information from the plurality of solutions .
The solution providing unit is a mobile terminal characterized in that the solution determined by the solution determining unit is provided to the user.
請求項4に記載の携帯端末において、 In the mobile terminal according to claim 4,
前記撮像部及び前記表示部は、前記携帯端末の同一の面に備えられている The imaging unit and the display unit are provided on the same surface of the mobile terminal.
ことを特徴とする携帯端末。A mobile terminal characterized by that.
請求項4又は5に記載の携帯端末において、
前記携帯端末は、振動を発生させる振動発生部を含んで成り、
前記ソリューション記憶部は、前記ユーザー状態を改善するための振動のソリューションの情報を記憶し、
前記ソリューション決定部は、前記複数のソリューションから前記ユーザー状態情報に応じた前記振動のソリューションを決定して前記携帯端末に送信し、
前記ソリューション提供部は、前記振動発生部を介して、前記ソリューション決定部により決定された前記振動のソリューションを前記ユーザーに提供する
ことを特徴とする携帯端末
In the mobile terminal according to claim 4 or 5 .
The mobile terminal includes a vibration generating unit that generates vibration .
The solution storage unit stores information on the vibration solution for improving the user state, and stores the information of the vibration solution.
The solution determination unit determines the vibration solution according to the user state information from the plurality of solutions and transmits it to the mobile terminal.
The solution providing unit is a mobile terminal that provides the user with a vibration solution determined by the solution determining unit via the vibration generating unit.
JP2020200827A 2020-12-03 2020-12-03 Solution providing system and mobile terminal Active JP6963669B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020200827A JP6963669B1 (en) 2020-12-03 2020-12-03 Solution providing system and mobile terminal
JP2021124429A JP7061714B1 (en) 2020-12-03 2021-07-29 Solution provision system and mobile terminal
PCT/JP2021/044468 WO2022118955A1 (en) 2020-12-03 2021-12-03 Solution providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020200827A JP6963669B1 (en) 2020-12-03 2020-12-03 Solution providing system and mobile terminal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021124429A Division JP7061714B1 (en) 2020-12-03 2021-07-29 Solution provision system and mobile terminal

Publications (2)

Publication Number Publication Date
JP6963669B1 true JP6963669B1 (en) 2021-11-10
JP2022088795A JP2022088795A (en) 2022-06-15

Family

ID=78466154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020200827A Active JP6963669B1 (en) 2020-12-03 2020-12-03 Solution providing system and mobile terminal

Country Status (1)

Country Link
JP (1) JP6963669B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295372A (en) * 1991-03-23 1992-10-20 Namco Ltd System for diversion
JP2010187810A (en) * 2009-02-17 2010-09-02 Nissan Motor Co Ltd Apparatus and method for doze prevention
JP2018050984A (en) * 2016-09-29 2018-04-05 アイシン精機株式会社 Awakening system
WO2018163361A1 (en) * 2017-03-09 2018-09-13 株式会社資生堂 Mobile terminal, fragrance generation device, server, fragrance determination method, and program
JP2019518572A (en) * 2016-04-01 2019-07-04 ユニバーシティ オブ ピッツバーグ −オブ ザ コモンウェルス システム オブ ハイヤー エデュケイション Adjustment device and related method
JP2019528894A (en) * 2016-09-16 2019-10-17 ボーズ・コーポレーションBose Corporation Sleep system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295372A (en) * 1991-03-23 1992-10-20 Namco Ltd System for diversion
JP2010187810A (en) * 2009-02-17 2010-09-02 Nissan Motor Co Ltd Apparatus and method for doze prevention
JP2019518572A (en) * 2016-04-01 2019-07-04 ユニバーシティ オブ ピッツバーグ −オブ ザ コモンウェルス システム オブ ハイヤー エデュケイション Adjustment device and related method
JP2019528894A (en) * 2016-09-16 2019-10-17 ボーズ・コーポレーションBose Corporation Sleep system
JP2018050984A (en) * 2016-09-29 2018-04-05 アイシン精機株式会社 Awakening system
WO2018163361A1 (en) * 2017-03-09 2018-09-13 株式会社資生堂 Mobile terminal, fragrance generation device, server, fragrance determination method, and program

Also Published As

Publication number Publication date
JP2022088795A (en) 2022-06-15

Similar Documents

Publication Publication Date Title
US12029573B2 (en) System and method for associating music with brain-state data
US10901509B2 (en) Wearable computing apparatus and method
KR20210003718A (en) Social interaction applications for detection of neurophysiological conditions
KR20190101951A (en) Systems and methods for analyzing brain activity and their applications
JP6963668B1 (en) Solution provision system
JP7288064B2 (en) visual virtual agent
WO2018034113A1 (en) Content providing system, content providing method and program for content providing system
CN116578731B (en) Multimedia information processing methods, systems, computer equipment and storage media
JP6115976B1 (en) Information processing equipment, programs
US20220313110A1 (en) Method, device, electronic apparatus and system of providing information for breathing training, and storage medium
JP6963669B1 (en) Solution providing system and mobile terminal
JP7069390B1 (en) Mobile terminal
JP7061714B1 (en) Solution provision system and mobile terminal
JP7069389B1 (en) Solution provision system and mobile terminal
JP6919909B2 (en) Schedule proposal system
CN116523464A (en) Health management method, system and storage medium for virtual reality equipment
JP7300929B2 (en) Cognitive function promotion support system, learning system, estimation system, and cognitive function promotion support method
WO2022118955A1 (en) Solution providing system
JP7507674B2 (en) USER STATE ANALYSIS METHOD AND SYSTEM
JP7024136B1 (en) Analytical system
JP7095169B1 (en) Condition improvement device
JP7520314B1 (en) Information processing device and information processing method
WO2022244298A1 (en) Information processing device, information processing method, and program
US20240424246A1 (en) Systems and methods to induce sleep and other changes in user states
US20240071601A1 (en) Method and device for controlling improved cognitive function training app

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210106

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210106

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211015

R150 Certificate of patent or registration of utility model

Ref document number: 6963669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250