[go: up one dir, main page]

JP2021144353A - Voice processing device, voice processing system, voice processing method and program - Google Patents

Voice processing device, voice processing system, voice processing method and program Download PDF

Info

Publication number
JP2021144353A
JP2021144353A JP2020041361A JP2020041361A JP2021144353A JP 2021144353 A JP2021144353 A JP 2021144353A JP 2020041361 A JP2020041361 A JP 2020041361A JP 2020041361 A JP2020041361 A JP 2020041361A JP 2021144353 A JP2021144353 A JP 2021144353A
Authority
JP
Japan
Prior art keywords
voice
input
unit
data
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020041361A
Other languages
Japanese (ja)
Inventor
佳子 岩田
Yoshiko Iwata
佳子 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020041361A priority Critical patent/JP2021144353A/en
Publication of JP2021144353A publication Critical patent/JP2021144353A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

To provide a voice processing device, a voice processing system, a voice processing method and a program, with which, when inputting data by voice having been measured with respect to an object, it is possible to immediately confirm the contents of items filled by voice input, even when there is a large number of input items.SOLUTION: Provided is a voice processing device for inputting data by voice. The voice processing device comprises: a first acquisition unit for acquiring the voice data of a voice command for inputting data by voice; a transmission unit for transmitting voice data and a request for voice recognition processing to a voice recognition service; a second acquisition unit for acquiring the recognition result of the voice recognition processing; a first specification unit for specifying from the recognition result an input item that is the object of input; a data input unit for inputting data included in the recognition result to the input region of the specified input item; and a movement unit for moving input items and input regions so that the specified input item and the input region filled with input data are displayed in the display region of a display device.SELECTED DRAWING: Figure 4

Description

本発明は、音声処理装置、音声処理システム、音声処理方法およびプログラムに関する。 The present invention relates to a voice processing device, a voice processing system, a voice processing method and a program.

作業者が特定の対象物に対する測定により得たデータを、帳票または情報処理装置等に入力するデータ入力処理が各分野で行われている。例えば、近年ではセミオーダー等でスーツまたはシャツ等を採寸し、自分の体型に合ったものを購入するということが一般的になっている。この場合、採寸作業者は、採寸作業を行いながら、自分で採寸値を帳票に記載することが大変な作業となるため、現状では、他の作業者が採寸値を帳票に記載する方法を採っている。 Data input processing is performed in each field in which a worker inputs data obtained by measuring a specific object into a form or an information processing device. For example, in recent years, it has become common to measure suits or shirts on a semi-order basis and purchase one that suits one's body shape. In this case, it is difficult for the measuring worker to write the measured value on the form by himself / herself while performing the measuring work. Therefore, at present, another worker adopts the method of writing the measured value on the form. ing.

最近では、このような測定(採寸)した値を帳票等に手書きで記載する代わりに、音声認識技術を用い、採寸値を音声入力によりタブレット端末等の情報処理装置に入力する、ということが行われる。 Recently, instead of manually writing such measured (measured) values on forms, etc., voice recognition technology is used to input the measured values to information processing devices such as tablet terminals by voice input. It is said.

このような、音声認識技術を利用したデータ入力システムとして、採寸作業者の音声を取得するユーザ装置と入力支援管理装置とを含み、入力支援管理装置は、採寸項目と採寸値の発声を含む音声の音声認識結果データに基づいて採寸項目に対応する採寸情報を生成し、ユーザ装置は、複数の採寸項目と、採寸対象物の商品識別情報に紐付き、採寸箇所を示す採寸箇所オブジェクトを有する補助画像とを含む採寸情報入力支援画面を表示装置に表示すると共に、入力支援管理装置から受信した採寸情報が、採寸情報入力支援画面に表示され、ユーザ装置は、さらに、採寸対象物に取り付けられているタグを撮影して取得した画像データを文字認識処理し、タグに含まれる商品識別情報、原産国、素材等のタグ情報を生成し、生成されたタグ情報は、採寸情報と共に採寸情報入力支援画面に表示されるシステムが開示されている(例えば特許文献1)。 Such a data input system using voice recognition technology includes a user device for acquiring the voice of a measuring worker and an input support management device, and the input support management device is a voice including a measurement item and a voice of a measurement value. Generates measurement information corresponding to the measurement item based on the voice recognition result data of The measurement information input support screen including the above is displayed on the display device, the measurement information received from the input support management device is displayed on the measurement information input support screen, and the user device is further attached to the measurement object. Character recognition processing is performed on the image data acquired by shooting the tag, and tag information such as product identification information, country of origin, and material included in the tag is generated, and the generated tag information is used as a measurement information input support screen together with the measurement information. The system displayed in is disclosed (for example, Patent Document 1).

しかしながら、特許文献1に記載された技術は、音声認識の精度を向上させるものであり、音声入力を使用した際の画面の効率的な表示方法に関しては言及がない。さらに、例えばスーツをセミオーダーで作成する場合、スーツの採寸項目は複数あり、タブレット端末等の情報処理装置で表示を行うと、項目数が多いためすべての項目を画面に一度に表示することができないため、いずれかの項目に対して音声入力した場合、項目に適切に入力されたか否かを確認するためには、手でスクロール操作を行って、当該項目が表示させなければならないため、作業上の手間が発生するという問題がある。当該問題は、採寸作業の場面に限らず、作業者が特定の対象物に対する測定により得たデータを、音声入力で情報処理装置等に入力するいずれの場面においても起き得る。 However, the technique described in Patent Document 1 improves the accuracy of voice recognition, and there is no mention of an efficient display method of the screen when voice input is used. Furthermore, for example, when creating a suit in semi-order, there are multiple measurement items for the suit, and when displayed on an information processing device such as a tablet terminal, all the items can be displayed on the screen at once due to the large number of items. Because it is not possible, if you input voice for any item, you must manually scroll to display the item in order to check whether the item was input properly. There is a problem that the above trouble is generated. The problem is not limited to the measurement work scene, but may occur in any scene in which the operator inputs the data obtained by the measurement of a specific object to the information processing device or the like by voice input.

本発明は、上記に鑑みてなされたものであり、対象物に対して測ったデータを音声入力する場合において入力項目数が多いときでも、音声入力を行った項目の内容を即座に確認することができることにより作業効率を向上させることができる音声処理装置、音声処理システム、音声処理方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and it is necessary to immediately confirm the contents of the items for which voice input has been performed even when the number of input items is large when the data measured for the object is input by voice. It is an object of the present invention to provide a voice processing device, a voice processing system, a voice processing method and a program capable of improving work efficiency.

上述した課題を解決し、目的を達成するために、本発明は、データを音声入力する音声処理装置であって、前記データを音声入力するための音声コマンドの音声データを取得する第1取得部と、前記第1取得部により取得された前記音声データ、および該音声データに対する音声認識処理の要求を、音声認識サービスへ送信する送信部と、前記音声認識サービスから前記音声認識処理の認識結果を取得する第2取得部と、前記第2取得部により取得された前記認識結果から、前記データの入力対象となる入力項目を特定する第1特定部と、前記第1特定部により特定された前記入力項目の入力領域に、前記認識結果に含まれる音声認識された前記データを入力するデータ入力部と、前記第1特定部により特定された前記入力項目、および前記データ入力部により前記データが入力された前記入力領域が、表示装置の表示領域に表示されるように、該入力項目および該入力領域を移動させる移動部と、を備えたことを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the present invention is a voice processing device for inputting data by voice, and a first acquisition unit for acquiring voice data of a voice command for inputting the data by voice. And the transmission unit that transmits the voice data acquired by the first acquisition unit and the request for voice recognition processing for the voice data to the voice recognition service, and the recognition result of the voice recognition processing from the voice recognition service. The second acquisition unit to be acquired, the first specific unit that specifies an input item to be input to the data from the recognition result acquired by the second acquisition unit, and the first specific unit specified by the first specific unit. In the input area of the input item, the data input unit for inputting the voice-recognized data included in the recognition result, the input item specified by the first specific unit, and the data input by the data input unit. The input area is provided with an input item and a moving unit for moving the input area so that the input area is displayed in the display area of the display device.

本発明によれば、対象物に対して測ったデータを音声入力する場合において入力項目数が多いときでも、音声入力を行った項目の内容を即座に確認することができることにより作業効率を向上させることができる。 According to the present invention, even when the number of input items is large when the data measured for an object is input by voice, the contents of the items for which voice input is performed can be immediately confirmed, thereby improving work efficiency. be able to.

図1は、実施形態に係る音声処理システムの全体構成の一例を示す図である。FIG. 1 is a diagram showing an example of the overall configuration of the voice processing system according to the embodiment. 図2は、実施形態に係るユーザ端末のハードウェア構成の一例を示す図である。FIG. 2 is a diagram showing an example of the hardware configuration of the user terminal according to the embodiment. 図3は、実施形態に係る業務サービスのハードウェア構成の一例を示す図である。FIG. 3 is a diagram showing an example of the hardware configuration of the business service according to the embodiment. 図4は、実施形態に係る音声処理システムの機能ブロック構成の一例を示す図である。FIG. 4 is a diagram showing an example of a functional block configuration of the voice processing system according to the embodiment. 図5は、採寸対象を説明する図である。FIG. 5 is a diagram illustrating a measurement target. 図6は、音声コマンドの構成を説明する図である。FIG. 6 is a diagram illustrating a configuration of a voice command. 図7は、採寸アプリのアプリ画面の一例を示す図である。FIG. 7 is a diagram showing an example of the application screen of the measuring application. 図8は、ルール情報URLテーブルの一例を示す図である。FIG. 8 is a diagram showing an example of the rule information URL table. 図9は、ルール情報テーブルの一例を示す図である。FIG. 9 is a diagram showing an example of a rule information table. 図10は、音声コマンドから音声認識の認識結果が生成される動作を説明する図である。FIG. 10 is a diagram illustrating an operation in which a recognition result of voice recognition is generated from a voice command. 図11は、予約情報テーブルの一例を示す図である。FIG. 11 is a diagram showing an example of the reservation information table. 図12は、実施形態に係る音声処理システムの初期処理の流れの一例を示すシーケンス図である。FIG. 12 is a sequence diagram showing an example of the flow of initial processing of the voice processing system according to the embodiment. 図13は、グループID入力画面の一例を示す図である。FIG. 13 is a diagram showing an example of a group ID input screen. 図14は、実施形態に係る音声処理システムの音声入力処理の流れの一例を示すシーケンス図である。FIG. 14 is a sequence diagram showing an example of the flow of voice input processing of the voice processing system according to the embodiment. 図15は、実施形態に係る音声処理システムのデータの流れを説明する図である。FIG. 15 is a diagram illustrating a data flow of the voice processing system according to the embodiment. 図16は、実施液体に係るユーザ端末の項目入力・表示調整処理の流れの一例を示すフローチャートである。FIG. 16 is a flowchart showing an example of the flow of item input / display adjustment processing of the user terminal related to the execution liquid. 図17は、項目入力・表示調整処理により数値が入力された項目が移動する動作を説明する図である。FIG. 17 is a diagram illustrating an operation of moving an item for which a numerical value has been input by an item input / display adjustment process. 図18は、音声コマンドにより寸法補正値を入力する場合の動作を説明する図である。FIG. 18 is a diagram illustrating an operation when a dimension correction value is input by a voice command. 図19は、音声コマンドによりタブを切り替えて寸法値を入力した場合の動作を説明する図である。FIG. 19 is a diagram illustrating an operation when a tab is switched by a voice command and a dimension value is input. 図20は、変形例に係る音声処理システムのデータの流れを説明する図である。FIG. 20 is a diagram illustrating a data flow of the voice processing system according to the modified example.

以下、添付図面を参照しながら、本発明に係る音声処理装置、音声処理システム、音声処理方法およびプログラムを詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。 Hereinafter, the voice processing apparatus, the voice processing system, the voice processing method, and the program according to the present invention will be described in detail with reference to the accompanying drawings. Further, the present invention is not limited by the following embodiments, and the components in the following embodiments include those easily conceived by those skilled in the art, substantially the same, and so-called equivalent ranges. Is included. Furthermore, various omissions, substitutions, changes and combinations of components can be made without departing from the gist of the following embodiments.

また、コンピュータソフトウェアとは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものをいう(以下、コンピュータソフトウェアは、ソフトウェアという)。アプリケーションソフトとは、ソフトウェアの分類のうち、特定の作業を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム(OS)とは、コンピュータを制御し、アプリケーションソフト等がコンピュータ資源を利用可能にするためのソフトウェアのことである。オペレーティングシステムは、入出力の制御、メモリやハードディスクなどのハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションソフトウェアは、オペレーティングシステムが提供する機能を利用して動作する。以下、アプリケーションソフトウェア(アプリケーション)を、単に「アプリ」と称する場合がある。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造(データ要素間の相互関係で表される、データの有する論理的構造)がプログラムに準ずるものに該当する。 In addition, computer software refers to programs related to computer operations and other information used for processing by computers that are equivalent to programs (hereinafter, computer software is referred to as software). Application software is a general term for software used to perform a specific task in the classification of software. On the other hand, the operating system (OS) is software for controlling a computer and making computer resources available to application software and the like. The operating system performs basic computer management and control, such as input / output control, hardware management such as memory and hard disk, and process management. The application software operates by utilizing the functions provided by the operating system. Hereinafter, the application software (application) may be simply referred to as an "application". A program is a command to a computer that is combined so that one result can be obtained. In addition, a program-like thing cannot be called a program because it is not a direct command to the computer, but it has properties similar to a program in that it regulates the processing of the computer. For example, the data structure (the logical structure of data represented by the interrelationship between data elements) corresponds to a program.

なお、本実施形態に係る音声処理システムは、作業者が特定の対象物に対する測定により得たデータを、情報処理装置等に音声入力する処理について広く適用できるものであるが、以下の実施形態では、服(スーツ、ズボン、ベスト、シャツ等)に対して採寸(測定の一例)した値を音声入力する場合を例にして説明する。 The voice processing system according to the present embodiment can be widely applied to a process of inputting data obtained by a worker by measuring a specific object to an information processing device or the like by voice. , The case where the measured value (an example of measurement) is input by voice to clothes (suit, trousers, vest, shirt, etc.) will be described as an example.

(音声処理システムの全体構成)
図1は、実施形態に係る音声処理システムの全体構成の一例を示す図である。図1を参照しながら、本実施形態に係る音声処理システム1の全体構成について説明する。
(Overall configuration of voice processing system)
FIG. 1 is a diagram showing an example of the overall configuration of the voice processing system according to the embodiment. The overall configuration of the voice processing system 1 according to the present embodiment will be described with reference to FIG.

図1に示す音声処理システム1は、作業者からの音声コマンドに対する音声認識により、服について採寸した値をユーザ端末10に対して音声入力するシステムである。図1に示すように、音声処理システム1は、ユーザ端末10と、音声端末20と、業務サービス30と、通話サービス40と、音声認識サービス50と、情報管理サービス60と、を含む。 The voice processing system 1 shown in FIG. 1 is a system in which a value measured for clothes is input to the user terminal 10 by voice by voice recognition for a voice command from an operator. As shown in FIG. 1, the voice processing system 1 includes a user terminal 10, a voice terminal 20, a business service 30, a call service 40, a voice recognition service 50, and an information management service 60.

ユーザ端末10は、音声端末20に入力された音声コマンドを音声データについて、音声認識サービス50により音声認識が行われた認識結果に基づき、音声入力されたデータとしての採寸値を表示させる情報処理装置(音声処理装置の一例)である。ユーザ端末10は、図1に示すように、通話アプリ11と、ブラウザ12と、がインストールされている。なお、ユーザ端末10は、PC(Personal Computer)、ノートPC、スマートフォンまたはタブレット端末等の情報処理装置であるが、本実施形態ではタブレット端末であるものとして説明する。 The user terminal 10 is an information processing device that displays a measurement value as voice input data based on the recognition result of voice recognition performed by the voice recognition service 50 for voice data of a voice command input to the voice terminal 20. (An example of a voice processing device). As shown in FIG. 1, the user terminal 10 has the call application 11 and the browser 12 installed. The user terminal 10 is an information processing device such as a PC (Personal Computer), a notebook PC, a smartphone or a tablet terminal, but will be described as being a tablet terminal in the present embodiment.

通話アプリ11は、通話サービス40と連携してユーザ端末10を含む情報端末同士の通話を実現するためのアプリケーションである。ブラウザ12は、後述する業務サービス30のWebサーバ31からWebコンテンツ(Webページ、Webアプリ13等)を受信して解釈し、各種処理および表示処理を行うソフトウェアである。Webアプリ13は、Webサーバ31からブラウザ12へ提供されるWebコンテンツとしてのWebアプリであり、ユーザ端末10で実行するためのJavaScript(登録商標)等で作成されたスクリプトを含む。 The call application 11 is an application for realizing a call between information terminals including the user terminal 10 in cooperation with the call service 40. The browser 12 is software that receives and interprets Web contents (Web page, Web application 13, etc.) from the Web server 31 of the business service 30 described later, and performs various processing and display processing. The Web application 13 is a Web application as Web content provided from the Web server 31 to the browser 12, and includes a script created by Javascript (registered trademark) or the like for execution on the user terminal 10.

音声端末20は、作業者の音声を入力し、当該音声を音声データとしてユーザ端末10へ無線送信することができるヒアラブルデバイスである。 The voice terminal 20 is a hearable device capable of inputting a worker's voice and wirelessly transmitting the voice as voice data to the user terminal 10.

業務サービス30は、音声端末20から入力された音声データであって通話サービス40を介した当該音声データを、ユーザ端末10へ中継するサービス(例えばクラウドサービス)である。また、業務サービス30は、音声端末20から入力された音声コマンドを解釈するためのルール情報を記憶している。なお、業務サービス30は、1または複数のサーバ装置等で実現されるものであるが、本実施形態では、1のサーバ装置で実現されるものとして説明する。通話サービス40、音声認識サービス50および情報管理サービス60についても同様である。 The business service 30 is a service (for example, a cloud service) that relays the voice data input from the voice terminal 20 to the user terminal 10 via the call service 40. Further, the business service 30 stores rule information for interpreting a voice command input from the voice terminal 20. The business service 30 is realized by one or a plurality of server devices, but in the present embodiment, it will be described as being realized by one server device. The same applies to the call service 40, the voice recognition service 50, and the information management service 60.

通話サービス40は、ユーザ端末10にインストールされている通話アプリ11と連携してユーザ端末10を含む情報端末同士の通話を実現するサービス(例えばクラウドサービス)である。また、通話サービス40は、複数の情報端末同士の通話をグループ単位で実現するためのグループIDを管理している。 The call service 40 is a service (for example, a cloud service) that realizes a call between information terminals including the user terminal 10 in cooperation with the call application 11 installed on the user terminal 10. Further, the call service 40 manages a group ID for realizing a call between a plurality of information terminals in a group unit.

音声認識サービス50は、入力した音声データに対して音声認識処理を実行してテキスト化等を行うサービス(例えばクラウドサービス)である。特に本実施形態では、音声認識サービス50は、入力した音声データである音声コマンドを、業務サービス30から取得したルール情報を用いて、キーワードを識別して、キーワードに続く部分から数値を抽出してテキスト化し、当該キーワードを識別する識別情報と、テキスト化された数値とを認識結果として出力する。 The voice recognition service 50 is a service (for example, a cloud service) that executes voice recognition processing on input voice data to convert it into text. In particular, in the present embodiment, the voice recognition service 50 identifies the keyword by using the rule information acquired from the business service 30 for the voice command which is the input voice data, and extracts the numerical value from the part following the keyword. It is converted into text, and the identification information that identifies the keyword and the textualized numerical value are output as the recognition result.

情報管理サービス60は、採寸の対象となる顧客の情報、および音声入力された採寸値等を含む予約情報を管理するサービス(例えばクラウドサービス)である。 The information management service 60 is a service (for example, a cloud service) that manages reservation information including customer information to be measured and measurement values input by voice.

なお、音声処理システム1は、ユーザ端末10、音声端末20、業務サービス30、通話サービス40、音声認識サービス50および情報管理サービス60をすべて含むことに限られず、音声入力処理の中核的な処理を担う部分(例えばユーザ端末10および業務サービス30)等を含むシステムであると捉えることも可能である。 The voice processing system 1 is not limited to including all of the user terminal 10, the voice terminal 20, the business service 30, the call service 40, the voice recognition service 50, and the information management service 60, and performs the core processing of the voice input processing. It can also be regarded as a system including a responsible part (for example, a user terminal 10 and a business service 30).

(ユーザ端末のハードウェア構成)
図2は、実施形態に係るユーザ端末のハードウェア構成の一例を示す図である。図2を参照しながら、本実施形態に係るユーザ端末10のハードウェア構成について説明する。
(Hardware configuration of user terminal)
FIG. 2 is a diagram showing an example of the hardware configuration of the user terminal according to the embodiment. The hardware configuration of the user terminal 10 according to the present embodiment will be described with reference to FIG.

図2に示すように、ユーザ端末10は、CPU(Central Processing Unit)801と、ROM(Read Only Memory)802と、RAM(Random Access Memory)803と、EEPROM(Electrically Erasable Programmable ROM)804と、を備える。 As shown in FIG. 2, the user terminal 10 includes a CPU (Central Processing Unit) 801, a ROM (Read Only Memory) 802, a RAM (Random Access Memory) 803, and an EEPROM (Electrically Memory) 80 Be prepared.

CPU801は、ユーザ端末10全体の動作を制御する演算装置である。ROM802は、CPU801およびIPL(Initial Program Loader)等のCPU801の駆動に用いられるプログラムを記憶する不揮発性記憶装置である。RAM803は、CPU801のワークエリアとして使用される揮発性記憶装置である。EEPROM804は、CPU801の制御に従って、ユーザ端末10用プログラム等の各種データの読み出しまたは書き込みを行う記憶装置である。 The CPU 801 is an arithmetic unit that controls the operation of the entire user terminal 10. The ROM 802 is a non-volatile storage device that stores programs used for driving the CPU 801 such as the CPU 801 and the IPL (Initial Program Loader). The RAM 803 is a volatile storage device used as a work area of the CPU 801. The EEPROM 804 is a storage device that reads or writes various data such as a program for the user terminal 10 under the control of the CPU 801.

また、ユーザ端末10は、CMOS(Complementary Metal Oxide Semiconductor)805と、撮像素子I/F806と、加速度・方位センサ807と、メディアI/F809と、GPS(Global Positioning System)受信部811と、を備える。 Further, the user terminal 10 includes a CMOS (Complementary Metal Oxide Sensor) 805, an image sensor I / F806, an acceleration / orientation sensor 807, a media I / F809, and a GPS (Global Positioning System) receiving unit 811. ..

CMOS805は、CPU801の制御に従って、被写体を撮像して画像データを得る内蔵型のイメージセンサである。なお、CMOS805の代わりに、CCD(Charge Coupled Device)のイメージセンサを用いるものとしてもよい。撮像素子I/F806は、CMOS805の駆動を制御するインターフェース回路である。 The CMOS 805 is a built-in image sensor that captures an image of a subject and obtains image data under the control of the CPU 801. Instead of CMOS805, a CCD (Charge Coupled Device) image sensor may be used. The image sensor I / F806 is an interface circuit that controls the drive of the CMOS805.

加速度・方位センサ807は、地磁気を検知する電子磁気コンパス、ジャイロコンパス、または加速度センサ等の各種センサである。メディアI/F809は、フラッシュメモリ等の記録メディア808に対するデータの読み出しまたは書き込み(記憶)を制御するインターフェース回路である。GPS受信部811は、GPS衛星からGPS信号を受信するデバイスである。 The acceleration / orientation sensor 807 is a variety of sensors such as an electronic magnetic compass, a gyro compass, or an acceleration sensor that detects the geomagnetism. The media I / F809 is an interface circuit that controls reading or writing (storage) of data to a recording medium 808 such as a flash memory. The GPS receiving unit 811 is a device that receives GPS signals from GPS satellites.

また、ユーザ端末10は、遠距離通信回路812と、アンテナ812aと、マイク815と、スピーカ816と、音入出力I/F817と、ディスプレイ818と、外部機器接続I/F819と、近距離通信回路820と、アンテナ820aと、タッチパネル821と、を備える。 Further, the user terminal 10 includes a long-distance communication circuit 812, an antenna 812a, a microphone 815, a speaker 816, a sound input / output I / F 817, a display 818, an external device connection I / F 819, and a short-range communication circuit. It includes an 820, an antenna 820a, and a touch panel 821.

遠距離通信回路812は、通信ネットワークを介して、アンテナ812aにより他の機器と通信する回路である。マイク815は、音を電気信号に変える内蔵型の集音装置である。スピーカ816は、電気信号を物理振動に変えて音楽および音声等の音を生成する内蔵型の回路である。音入出力I/F817は、CPU801の制御に従って、マイク815およびスピーカ816との間で音声データの入出力を処理するインターフェース回路である。 The telecommunications circuit 812 is a circuit that communicates with other devices by the antenna 812a via a communication network. The microphone 815 is a built-in sound collecting device that converts sound into an electric signal. The speaker 816 is a built-in circuit that converts an electric signal into physical vibration to generate sounds such as music and voice. The sound input / output I / F 817 is an interface circuit that processes audio data input / output between the microphone 815 and the speaker 816 under the control of the CPU 801.

ディスプレイ818は、被写体の画像および各種アイコン等を表示する液晶表示装置または有機EL(Electro Luminescence)表示装置等である。外部機器接続I/F819は、各種の外部機器を接続してデータ通信を行うためのインターフェース回路である。 The display 818 is a liquid crystal display device or an organic EL (Electroluminescence) display device that displays an image of a subject, various icons, and the like. The external device connection I / F819 is an interface circuit for connecting various external devices to perform data communication.

近距離通信回路820は、NFC(Near Field Communication)またはBluetooth(登録商標)等の通信回路であり、アンテナ820aを介して外部機器と無線通信を行う。本実施形態では、近距離通信回路820は、少なくともBluetoothの通信回路を含むものとして説明する。 The short-range communication circuit 820 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark), and wirelessly communicates with an external device via the antenna 820a. In the present embodiment, the short-range communication circuit 820 will be described as including at least a Bluetooth communication circuit.

タッチパネル821は、利用者がディスプレイ818をタッチ操作することにより、ユーザ端末10を操作する入力装置の一種である。 The touch panel 821 is a kind of input device for operating the user terminal 10 by the user touching the display 818.

また、ユーザ端末10は、バス810を備えている。バス810は、図2に示すCPU801等の各構成要素を電気的に接続するためのアドレスバスおよびデータバス等である。 Further, the user terminal 10 includes a bus 810. The bus 810 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 801 shown in FIG.

なお、図2に示したユーザ端末10のハードウェア構成は一例を示すものであり、図2に示した構成要素を全て含む必要はなく、または、その他の構成要素を含むものとしてもよい。 The hardware configuration of the user terminal 10 shown in FIG. 2 is an example, and it is not necessary to include all the components shown in FIG. 2, or it may include other components.

(業務サービスのハードウェア構成)
図3は、実施形態に係る業務サービスのハードウェア構成の一例を示す図である。図3を参照しながら、本実施形態に係る業務サービス30のハードウェア構成について説明する。
(Hardware configuration of business services)
FIG. 3 is a diagram showing an example of the hardware configuration of the business service according to the embodiment. The hardware configuration of the business service 30 according to the present embodiment will be described with reference to FIG.

図3に示すように、業務サービス30は、CPU901と、ROM902と、RAM903と、補助記憶装置905と、メディアドライブ907と、ディスプレイ908と、ネットワークI/F909と、キーボード911と、マウス912と、DVD(Digital Versatile Disc)ドライブ914と、を備えている。 As shown in FIG. 3, the business service 30 includes a CPU 901, a ROM 902, a RAM 903, an auxiliary storage device 905, a media drive 907, a display 908, a network I / F 909, a keyboard 911, a mouse 912, and the like. It includes a DVD (Digital Versailles Disc) drive 914 and the like.

CPU901は、業務サービス30全体の動作を制御する演算装置である。ROM902は、業務サービス30用のプログラムを記憶している不揮発性記憶装置である。RAM903は、CPU901のワークエリアとして使用される揮発性記憶装置である。 The CPU 901 is an arithmetic unit that controls the operation of the entire business service 30. The ROM 902 is a non-volatile storage device that stores a program for the business service 30. The RAM 903 is a volatile storage device used as a work area of the CPU 901.

補助記憶装置905は、上述したように、音声端末20から入力された音声コマンドを解釈するためのルール情報等を記憶するHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の不揮発性の記憶装置である。メディアドライブ907は、CPU901の制御に従って、フラッシュメモリ等の記録メディア906に対するデータの読み出しおよび書き込みを制御する装置である。 As described above, the auxiliary storage device 905 stores non-volatile storage such as an HDD (Hard Disk Drive) or SSD (Solid State Drive) that stores rule information and the like for interpreting voice commands input from the voice terminal 20. It is a device. The media drive 907 is a device that controls reading and writing of data to a recording medium 906 such as a flash memory according to the control of the CPU 901.

ディスプレイ908は、カーソル、メニュー、ウィンドウ、文字または画像等の各種情報を表示する液晶または有機EL等によって構成された表示装置である。 The display 908 is a display device composed of a liquid crystal display, an organic EL, or the like that displays various information such as a cursor, a menu, a window, characters, or an image.

ネットワークI/F909は、ネットワークを利用してユーザ端末10、通話サービス40、音声認識サービス50および情報管理サービス60等の外部の装置またはシステムとデータ通信するためのインターフェースである。ネットワークI/F909は、例えば、イーサネット(登録商標)に対応し、TCP(Transmission Control Protocol)/IP(Internet Protocol)等に準拠した通信が可能なNIC(Network Interface Card)等である。 The network I / F 909 is an interface for data communication with an external device or system such as a user terminal 10, a call service 40, a voice recognition service 50, and an information management service 60 using a network. The network I / F909 is, for example, a NIC (Network Interface Card) or the like that supports Ethernet (registered trademark) and is capable of communication conforming to TCP (Transmission Control Protocol) / IP (Internet Protocol) or the like.

キーボード911は、文字、数字、各種指示の選択、およびカーソルの移動等を行う入力装置である。マウス912は、各種指示の選択および実行、処理対象の選択、ならびにカーソルの移動等を行うための入力装置である。 The keyboard 911 is an input device for selecting characters, numbers, various instructions, moving a cursor, and the like. The mouse 912 is an input device for selecting and executing various instructions, selecting a processing target, moving a cursor, and the like.

DVDドライブ914は、着脱自在な記憶媒体の一例としてのDVD−ROMまたはDVD−R(Digital Versatile Disk Recordable)等のDVD913に対するデータの読み出しおよび書き込みを制御する装置である。 The DVD drive 914 is a device that controls reading and writing of data to a DVD 913 such as a DVD-ROM or a DVD-R (Digital Versatile Disc Recordable) as an example of a removable storage medium.

上述のCPU901、ROM902、RAM903、補助記憶装置905、メディアドライブ907、ディスプレイ908、ネットワークI/F909、キーボード911、マウス912およびDVDドライブ914は、アドレスバスおよびデータバス等のバス910によって互いに通信可能に接続されている。 The CPU 901, ROM 902, RAM 903, auxiliary storage device 905, media drive 907, display 908, network I / F 909, keyboard 911, mouse 912 and DVD drive 914 described above can communicate with each other by a bus 910 such as an address bus and a data bus. It is connected.

なお、図3に示した業務サービス30のハードウェア構成は一例を示すものであり、図3に示した構成要素を全て含む必要はなく、または、その他の構成要素を含むものとしてもよい。例えば、業務サービス30としての処理に特化し、業務サービス30に対して入出力装置から直接データの入出力を不要とする場合、業務サービス30は、ディスプレイ908、キーボード911およびマウス912を備えていなくてもよい。また、業務サービス30は、図3に示す単一の情報処理装置(サーバ装置)で構成されていることに限定されず、複数の情報処理装置等の複数のネットワーク機器により構成されているものとしてもよい。 The hardware configuration of the business service 30 shown in FIG. 3 is an example, and it is not necessary to include all the components shown in FIG. 3, or other components may be included. For example, when specializing in processing as a business service 30 and not requiring input / output of data directly from an input / output device to the business service 30, the business service 30 does not include a display 908, a keyboard 911, and a mouse 912. You may. Further, the business service 30 is not limited to being composed of a single information processing device (server device) shown in FIG. 3, but is composed of a plurality of network devices such as a plurality of information processing devices. May be good.

また、図3に示したハードウェア構成は、業務サービス30のハードウェア構成であるものとして説明したが、通話サービス40、音声認識サービス50および情報管理サービス60のハードウェア構成についても、図3に示したハードウェア構成に準じる。 Further, the hardware configuration shown in FIG. 3 has been described as assuming that it is the hardware configuration of the business service 30, but the hardware configurations of the call service 40, the voice recognition service 50, and the information management service 60 are also shown in FIG. Follow the hardware configuration shown.

(音声処理システムの機能ブロックの構成および動作)
図4は、実施形態に係る音声処理システムの機能ブロック構成の一例を示す図である。図5は、採寸対象を説明する図である。図6は、音声コマンドの構成を説明する図である。図7は、採寸アプリのアプリ画面の一例を示す図である。図8は、ルール情報URLテーブルの一例を示す図である。図9は、ルール情報テーブルの一例を示す図である。図10は、音声コマンドから音声認識の認識結果が生成される動作を説明する図である。図11は、予約情報テーブルの一例を示す図である。図4〜図11を参照しながら、本実施形態に係る音声処理システム1の機能ブロック構成および動作について説明する。なお、図4に示すネットワーク2は、各種LAN(Local Area Network)、専用線、インターネットを含んでもよく、有線または無線を問わない。
(Configuration and operation of functional blocks of voice processing system)
FIG. 4 is a diagram showing an example of a functional block configuration of the voice processing system according to the embodiment. FIG. 5 is a diagram illustrating a measurement target. FIG. 6 is a diagram illustrating a configuration of a voice command. FIG. 7 is a diagram showing an example of the application screen of the measuring application. FIG. 8 is a diagram showing an example of the rule information URL table. FIG. 9 is a diagram showing an example of a rule information table. FIG. 10 is a diagram illustrating an operation in which a recognition result of voice recognition is generated from a voice command. FIG. 11 is a diagram showing an example of the reservation information table. The functional block configuration and operation of the voice processing system 1 according to the present embodiment will be described with reference to FIGS. 4 to 11. The network 2 shown in FIG. 4 may include various LANs (Local Area Networks), leased lines, and the Internet, and may be wired or wireless.

図4に示すように、音声端末20は、音声受信部201と、通信部202と、を有する。 As shown in FIG. 4, the voice terminal 20 has a voice receiving unit 201 and a communication unit 202.

音声受信部201は、作業者(採寸者)が服(スーツ、ズボン、ベスト、シャツ等)等に対して採寸した数値を音声入力するために発声した音声コマンドを受信して音声データに変換する機能部である。ここで、図5に採寸対象の一例としてのスーツのジャケットの採寸項目の一例を示す。図5(a)に示すように、採寸項目として、「肩幅」、両袖の付け根下の直線距離である「身幅」、袖付け根下から直角に測った距離である「袖幅」、袖の長さである「袖丈」、および、袖口の幅である「袖口幅」等がある。また、図5(b)に示すように、採寸項目として、首の後ろ側の根本の首を前に倒したときに飛び出てくる背骨の位置であるバックネックポイントから裾先端までの直線距離である「着丈」等がある。 The voice receiving unit 201 receives a voice command uttered by a worker (measurer) to input a measured value to clothes (suit, trousers, vest, shirt, etc.) by voice and converts it into voice data. It is a functional part. Here, FIG. 5 shows an example of measurement items of a suit jacket as an example of a measurement target. As shown in FIG. 5A, the measurement items include "shoulder width", "width of the body" which is the straight line distance under the bases of both sleeves, "sleeve width" which is the distance measured at right angles from the bases of the sleeves, and sleeves. There are "sleeve length" which is the length and "cuff width" which is the width of the cuffs. In addition, as shown in FIG. 5 (b), as a measurement item, the linear distance from the back neck point to the tip of the hem, which is the position of the spine that pops out when the neck at the base of the back of the neck is tilted forward, is used. There is a certain "length" etc.

また、本実施形態において、ユーザ端末10へ採寸値を音声入力するための音声コマンドの一例の構成を図6に示す。図6に示すように、音声入力するための音声コマンドは、キーワードと数値(採寸値)とを組み合わせた構成となっている。例えば、作業者が、ジャケットの右側の袖丈について採寸した値が「23」である場合、音声コマンドとして「そでたけみぎにじゅうさん」(袖丈右・23)と発声する。 Further, in the present embodiment, FIG. 6 shows an example configuration of a voice command for inputting a measurement value to the user terminal 10 by voice. As shown in FIG. 6, the voice command for voice input has a configuration in which a keyword and a numerical value (measurement value) are combined. For example, when the value measured for the sleeve length on the right side of the jacket is "23", the worker utters "Sodetake Migi Nijusan" (sleeve length right, 23) as a voice command.

なお、図6に示す音声コマンドは、採寸値を音声入力するため音声コマンドであるが、Webアプリ13である採寸アプリにおいてタブを切り替えるための音声コマンドもあり、これについては後述する。 The voice command shown in FIG. 6 is a voice command for inputting a measurement value by voice, but there is also a voice command for switching tabs in the measurement application which is the Web application 13, which will be described later.

通信部202は、音声受信部201により変換された音声コマンドの音声データを、Bluetooth等による無線通信により、ユーザ端末10へ送信する機能部である。 The communication unit 202 is a functional unit that transmits the voice data of the voice command converted by the voice reception unit 201 to the user terminal 10 by wireless communication by Bluetooth or the like.

図4に示すように、ユーザ端末10は、第1通信部101と、第2通信部102と、入力部103と、音声通信制御部104と、認証要求部105と、接続要求部106と、予約情報取得部107と、音声取得部108(第1取得部)と、表示内容特定部109(第2特定部)と、ルール情報特定部110と、音声送信部111(送信部)と、認識結果取得部112(第2取得部)と、入力項目特定部113(第1特定部)と、位置判定部114(判定部)と、表示制御部115(データ入力部、移動部、強調表示部)と、入力情報送信部116と、記憶部117と、を有する。 As shown in FIG. 4, the user terminal 10 includes a first communication unit 101, a second communication unit 102, an input unit 103, a voice communication control unit 104, an authentication request unit 105, and a connection request unit 106. Recognizing the reservation information acquisition unit 107, the voice acquisition unit 108 (first acquisition unit), the display content identification unit 109 (second specific unit), the rule information identification unit 110, and the voice transmission unit 111 (transmission unit). Result acquisition unit 112 (second acquisition unit), input item identification unit 113 (first identification unit), position determination unit 114 (determination unit), and display control unit 115 (data input unit, moving unit, highlighting unit). ), An input information transmission unit 116, and a storage unit 117.

第1通信部101は、音声端末20との間でBluetooth等の無線通信によりデータを送受信する(主に音声データを受信する)機能部である。第1通信部101は、図2に示すCPU801によるプログラムの実行、ならびに近距離通信回路820およびアンテナ820aによって実現される。 The first communication unit 101 is a functional unit that transmits / receives data (mainly receives voice data) to / from the voice terminal 20 by wireless communication such as Bluetooth. The first communication unit 101 is realized by executing a program by the CPU 801 shown in FIG. 2 and by the short-range communication circuit 820 and the antenna 820a.

第2通信部102は、ネットワーク2を介して業務サービス30、通話サービス40おおよび音声認識サービス50との間でデータ通信を行う機能部である。第2通信部102は、図2に示すCPU801によるプログラムの実行、ならびに遠距離通信回路812およびアンテナ812aによって実現される。 The second communication unit 102 is a functional unit that performs data communication with the business service 30, the call service 40, and the voice recognition service 50 via the network 2. The second communication unit 102 is realized by executing a program by the CPU 801 shown in FIG. 2 and by the telecommunications circuit 812 and the antenna 812a.

入力部103は、作業者から操作入力を受け付ける機能部である。入力部103は、図2に示すタッチパネル821によって実現される。 The input unit 103 is a functional unit that receives an operation input from an operator. The input unit 103 is realized by the touch panel 821 shown in FIG.

音声通信制御部104は、音声端末20から第1通信部101により受信された音声データを、作業者が通話を行うグループのグループIDと共に、第2通信部102を介して通話サービス40へ送信(中継)する動作を制御する機能部である。音声通信制御部104は、図2に示すCPU801によるプログラム(通話アプリ11)の実行によって実現される。 The voice communication control unit 104 transmits the voice data received from the voice terminal 20 by the first communication unit 101 to the call service 40 via the second communication unit 102 together with the group ID of the group in which the worker makes a call ( It is a functional unit that controls the operation of relaying. The voice communication control unit 104 is realized by executing a program (call application 11) by the CPU 801 shown in FIG.

認証要求部105は、作業者がユーザ端末10を利用する場合にログインするための認証処理の要求を、第2通信部102を介して業務サービス30へ送信する機能部である。認証要求部105は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The authentication request unit 105 is a functional unit that transmits a request for authentication processing for a worker to log in when using the user terminal 10 to the business service 30 via the second communication unit 102. The authentication request unit 105 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

接続要求部106は、通話アプリ11と通話サービス40との連携動作により実現される通話のために、業務サービス30を介して通話サービス40へ、作業者が通話を行うグループのグループIDを含む接続要求を送信する機能部である。接続要求部106は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The connection requesting unit 106 connects to the call service 40 via the business service 30 including the group ID of the group in which the worker makes a call for the call realized by the cooperative operation between the call application 11 and the call service 40. It is a functional part that sends a request. The connection request unit 106 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

予約情報取得部107は、採寸作業についての予約情報を、業務サービス30を介して情報管理サービス60から取得する機能部である。予約情報取得部107は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The reservation information acquisition unit 107 is a functional unit that acquires reservation information about the measuring work from the information management service 60 via the business service 30. The reservation information acquisition unit 107 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

音声取得部108は、作業者によって発声された音声の音声データを、業務サービス30から第2通信部102を介して取得する機能部である。具体的には、作業者により発声された音声は、音声端末20の音声受信部201により集音(受信)され音声データとして通信部202を介して、ユーザ端末10の第1通信部101により受信される。そして、ユーザ端末10の音声通信制御部104は、第1通信部101により受信された音声データを、第2通信部102を介して通話サービス40へ送信する。通話サービス40の通話制御部402は、通信部401によりユーザ端末10から受信された音声データを、当該通信部401を介して業務サービス30へ送信する。業務サービス30の通信部301は、通話サービス40から受信した音声データを、ユーザ端末10へ送信し、当該音声データは、第2通信部102を介して音声取得部108により取得される。音声取得部108は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The voice acquisition unit 108 is a functional unit that acquires voice data of the voice uttered by the worker from the business service 30 via the second communication unit 102. Specifically, the voice uttered by the operator is collected (received) by the voice receiving unit 201 of the voice terminal 20 and received as voice data by the first communication unit 101 of the user terminal 10 via the communication unit 202. Will be done. Then, the voice communication control unit 104 of the user terminal 10 transmits the voice data received by the first communication unit 101 to the call service 40 via the second communication unit 102. The call control unit 402 of the call service 40 transmits the voice data received from the user terminal 10 by the communication unit 401 to the business service 30 via the communication unit 401. The communication unit 301 of the business service 30 transmits the voice data received from the call service 40 to the user terminal 10, and the voice data is acquired by the voice acquisition unit 108 via the second communication unit 102. The voice acquisition unit 108 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

表示内容特定部109は、音声取得部108により音声データが取得された場合に、表示制御部115によりディスプレイ818に表示されているWebアプリ13である採寸アプリの画面において、どのタブの入力項目が表示されているのかを特定する機能部である。表示内容特定部109は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 When the voice data is acquired by the voice acquisition unit 108, the display content specifying unit 109 sets the input item of which tab on the screen of the measurement application which is the Web application 13 displayed on the display 818 by the display control unit 115. It is a functional part that identifies whether it is displayed. The display content specifying unit 109 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

ルール情報特定部110は、表示内容特定部109により特定されたタブに対応するルール情報を特定するために、記憶部117に記憶されている図8に示すようなルール情報URL(Uniform Resource Locator)テーブルを参照し、当該タブに対応するルール情報のURLを特定する機能部である。すなわち、ルール情報特定部110は、表示内容特定部109により特定されたタブに対応するルール情報のURLを特定することにより、当該ルール情報を特定する。 The rule information specifying unit 110 stores a rule information URL (Uniform Resource Locator) as shown in FIG. 8 stored in the storage unit 117 in order to specify the rule information corresponding to the tab specified by the display content specifying unit 109. It is a functional part that refers to the table and specifies the URL of the rule information corresponding to the tab. That is, the rule information specifying unit 110 specifies the rule information by specifying the URL of the rule information corresponding to the tab specified by the display content specifying unit 109.

図8に示すように、ルール情報URLテーブルは、採寸アプリにおけるタブ名と、ルール情報が格納されているURL(業務サービス30での格納場所)(ルール情報URL)と、を関連付けて管理する。図8に示すルール情報URLテーブルでは、タブ名として「組上」、「組下」および「ベスト」それぞれについて、対応するルール情報URLが関連付けられている。例えば、タブ名「組下」に対応するルール情報URLが「https://○○○/kumishita.rule」であることが示されている。 As shown in FIG. 8, the rule information URL table manages the tab name in the measuring application and the URL (storage location in the business service 30) (rule information URL) in which the rule information is stored in association with each other. In the rule information URL table shown in FIG. 8, corresponding rule information URLs are associated with each of "Kamigami", "Kumishita", and "Best" as tab names. For example, it is shown that the rule information URL corresponding to the tab name "Kumishita" is "https: // ○○○ / kumishita.rule".

ルール情報特定部110は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The rule information specifying unit 110 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

音声送信部111は、音声取得部108により取得された音声コマンドの音声データを、ルール情報特定部110により特定されたルール情報URLと共に、第2通信部102を介して音声認識サービス50へ送信する機能部である。音声送信部111は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The voice transmission unit 111 transmits the voice data of the voice command acquired by the voice acquisition unit 108 to the voice recognition service 50 via the second communication unit 102 together with the rule information URL specified by the rule information identification unit 110. It is a functional part. The voice transmission unit 111 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

認識結果取得部112は、音声認識サービス50において音声認識処理が行われた認識結果を、第2通信部102を介して取得する機能部である。 The recognition result acquisition unit 112 is a functional unit that acquires the recognition result of the voice recognition process performed by the voice recognition service 50 via the second communication unit 102.

ここで、図10に音声認識サービス50から出力された音声認識処理の認識結果の一例を示す。図10に示す例は、音声送信部111により送信された音声データの音声コマンドが「そでたけみぎにじゅうさん」である場合の認識結果を示す。認識結果は、図10に示すように、採寸アプリのどのタブのどの入力項目であるのかを識別するための識別情報(ルール名)と、音声コマンドのうちの数値(採寸値)がテキスト化された情報とを含む。 Here, FIG. 10 shows an example of the recognition result of the voice recognition process output from the voice recognition service 50. The example shown in FIG. 10 shows a recognition result when the voice command of the voice data transmitted by the voice transmission unit 111 is "Sodetake Migi Nijusan". As shown in FIG. 10, the recognition result is converted into text of identification information (rule name) for identifying which input item on which tab of the measurement application and a numerical value (measurement value) of voice commands. Includes information and information.

認識結果取得部112は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The recognition result acquisition unit 112 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

入力項目特定部113は、認識結果取得部112により取得された認識結果から、採寸アプリで表示されているタブと、当該タブの画面において数値(採寸値)が入力される対象となる入力項目とを特定する機能部である。入力項目特定部113は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The input item specifying unit 113 includes a tab displayed by the measuring application and an input item for which a numerical value (measured value) is input on the screen of the tab from the recognition result acquired by the recognition result acquisition unit 112. It is a functional part that identifies. The input item specifying unit 113 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

位置判定部114は、入力項目特定部113により特定された特定のタブの入力項目が、ディスプレイ818に表示されているアプリ画面に表示されているか否かを判定する機能部である。位置判定部114は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The position determination unit 114 is a functional unit that determines whether or not the input item of the specific tab specified by the input item identification unit 113 is displayed on the application screen displayed on the display 818. The position determination unit 114 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

表示制御部115は、ディスプレイ818における画面の表示動作を制御する機能部である。 The display control unit 115 is a functional unit that controls the display operation of the screen on the display 818.

ここで、図7に、表示制御部115によりディスプレイ818に表示される採寸アプリのアプリ画面の一例であるアプリ画面1001を示す。アプリ画面1001は、服について採寸した数値を手入力または音声入力するための画面である。アプリ画面1001は、図7に示すように、基本寸法入力部1100と、タブ1111〜1113と、ゲージ入力部1120と、寸法入力部1131〜1134(入力領域の一例)、1136と、寸法補正入力部1141〜1146(入力領域の一例)と、登録ボタン1151と、を含む。 Here, FIG. 7 shows an application screen 1001 which is an example of an application screen of a measuring application displayed on the display 818 by the display control unit 115. The application screen 1001 is a screen for manually inputting or voice inputting a numerical value measured for clothes. As shown in FIG. 7, the application screen 1001 includes a basic dimension input unit 1100, tabs 1111 to 1113, a gauge input unit 1120, dimension input units 1131 to 1134 (an example of an input area), 1136, and dimension correction input. Parts 1141 to 1146 (an example of an input area) and a registration button 1151 are included.

基本寸法入力部1100は、採寸対象者の基本的な寸法値を入力するフィールドである。図7に示す例では、基本寸法入力部1100として、「バスト」、「中動」、「OB」(オーバーバスト)、「ヒップ」、「総丈」および「P総丈」が入力可能となっている。 The basic dimension input unit 1100 is a field for inputting the basic dimension value of the person to be measured. In the example shown in FIG. 7, "bust", "middle movement", "OB" (overbust), "hip", "total length" and "P total length" can be input as the basic dimension input unit 1100. ing.

タブ1111〜1113は、それぞれ入力項目を切り替えるためのタブである。タブ1111は、「組上」用の入力項目を表示するためのタブである。タブ1112は、「組下」用の入力項目を表示するためのタブである。そして、タブ1113は、「ベスト」用の入力項目を表示するためのタブである。なお、切り替えられるタブの数および種類は、これらに限られるものではない。 Tabs 1111-1113 are tabs for switching input items, respectively. Tab 1111 is a tab for displaying input items for "combination". The tab 1112 is a tab for displaying an input item for "combination". And the tab 1113 is a tab for displaying the input item for "best". The number and types of tabs that can be switched are not limited to these.

ゲージ入力部1120は、服のデザイン等を指定するための型番、体型、および大きさを示す号数を入力するためのコンボボックスである。これらの選択入力することによって、各入力項目について、選択した型番、体型および大きさに対応する基準値(ゲージサイズ)が表示される。例えば、図7では、型番として「GM」、体型として「Y」、号数として「4」が入力された場合に、ゲージサイズとして、入力項目「着丈」について71、「袖丈右」について58.5、「袖丈左」について58.5、「肩巾」について43.4が表示された状態を示している。 The gauge input unit 1120 is a combo box for inputting a model number, a body shape, and a number indicating a size for designating clothes design and the like. By these selective inputs, the reference value (gauge size) corresponding to the selected model number, body shape and size is displayed for each input item. For example, in FIG. 7, when "GM" is input as the model number, "Y" is input as the body type, and "4" is input as the number, the input items "length" are 71 and "sleeve length right" is 58. 5. 58.5 is displayed for "sleeve length left" and 43.4 is displayed for "shoulder width".

寸法入力部1131〜1134、1136は、各入力項目に対応する採寸値を手入力または音声入力するためのフィールドである。具体的には、寸法入力部1131〜1134、1136は、それぞれ入力項目「着丈」、「袖丈右」、「袖丈左」、「肩巾」、「ウエストOW」に対応する採寸値を入力するフィールドである。 The dimension input units 1131 to 1134 and 1136 are fields for manually inputting or voice inputting measurement values corresponding to each input item. Specifically, the dimension input units 1131 to 1134 and 1136 are fields for inputting measurement values corresponding to the input items "length", "sleeve length right", "sleeve length left", "shoulder width", and "waist OW", respectively. Is.

寸法補正入力部1141〜1146は、ゲージサイズに対する差分値(補正値)を手入力または音声入力するためのフィールドである。具体的には、寸法補正入力部1141〜1146は、それぞれ入力項目「着丈」、「袖丈右」、「袖丈左」、「肩巾」、「背巾(脇)」、「ウエストOW」に対応する差分値(補正値)を入力するフィールドである。寸法補正入力部1141〜1146に差分値が入力されると、ゲージサイズとの加算が実行され、その加算結果が対応する寸法入力部に自動的に入力される。 The dimension correction input units 1141 to 1146 are fields for manually inputting or voice inputting a difference value (correction value) with respect to the gauge size. Specifically, the dimension correction input units 1141 to 1146 correspond to the input items "length", "sleeve length right", "sleeve length left", "shoulder width", "back width (side)", and "waist OW", respectively. This is a field for inputting the difference value (correction value) to be input. When a difference value is input to the dimension correction input units 1141 to 1146, addition with the gauge size is executed, and the addition result is automatically input to the corresponding dimension input unit.

上述のような入力項目、ゲージサイズ、寸法補正入力部(例えば寸法補正入力部1141〜1146)および寸法入力部(例えば寸法入力部1131〜1134、1136)が表示された表示領域は、タッチパネル821でのフリック操作(スワイプ操作)によりスクロールが可能となっている。すなわち、図7に示すアプリ画面1001での表示領域には表示されていない入力項目、ゲージサイズ、寸法補正入力部および寸法入力部が存在する。 The display area on which the input items, gauge size, dimension correction input unit (for example, dimension correction input unit 1141 to 1146) and dimension input unit (for example, dimension input unit 1131-1134, 1136) as described above are displayed is the touch panel 821. Scrolling is possible by flicking (swipe). That is, there are input items, gauge sizes, dimension correction input units, and dimension input units that are not displayed in the display area on the application screen 1001 shown in FIG. 7.

登録ボタン1151は、各寸法入力部に入力された採寸値を、情報管理サービス60へ登録させるためのボタンである。 The registration button 1151 is a button for registering the measurement value input to each dimension input unit to the information management service 60.

表示制御部115は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 The display control unit 115 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

入力情報送信部116は、採寸アプリのアプリ画面(例えば図7に示すアプリ画面1001)で登録ボタン1151が押下された場合、音声入力等により入力された各入力項目の採寸値(寸法入力部の値)を採寸情報として、第2通信部102を介して業務サービス30へ送信する機能部である。業務サービス30へ送信された採寸情報は、最終的に情報管理サービス60で登録され、保存される。入力情報送信部116は、例えば、図2に示すCPU801によるプログラム(ブラウザ12上で動くWebアプリ13)の実行によって実現される。 When the registration button 1151 is pressed on the application screen of the measurement application (for example, the application screen 1001 shown in FIG. 7), the input information transmission unit 116 measures the measurement value (dimension input unit) of each input item input by voice input or the like. It is a functional unit that transmits the value) as measurement information to the business service 30 via the second communication unit 102. The measurement information transmitted to the business service 30 is finally registered and stored in the information management service 60. The input information transmission unit 116 is realized, for example, by executing a program (Web application 13 running on the browser 12) by the CPU 801 shown in FIG.

記憶部117は、上述の図8に示したルール情報URLテーブル等を記憶する機能部である。記憶部117は、図2に示すROM802、RAM803、EEPROM804、およびメディアI/F809を介したメディア808の少なくともいずれかによって実現される。 The storage unit 117 is a functional unit that stores the rule information URL table and the like shown in FIG. 8 above. The storage unit 117 is realized by at least one of the ROM 802, the RAM 803, the EEPROM 804, and the media 808 via the media I / F809 shown in FIG.

なお、上述の認証要求部105、接続要求部106、予約情報取得部107、音声取得部108、表示内容特定部109、ルール情報特定部110、音声送信部111、認識結果取得部112、入力項目特定部113、位置判定部114、表示制御部115および入力情報送信部116は、ブラウザ12上で動くWebアプリ13の実行によって実現されるものとしたが、これに限定されるものではなく、ネイティブアプリケーション(専用アプリケーション)の実行によって実現されるものとしてもよい。また、これらの機能部のうち少なくともいずれかは専用のハードウェア回路(集積回路等)によって実現されるものとしてもよい。 The above-mentioned authentication request unit 105, connection request unit 106, reservation information acquisition unit 107, voice acquisition unit 108, display content identification unit 109, rule information specification unit 110, voice transmission unit 111, recognition result acquisition unit 112, input items. The specific unit 113, the position determination unit 114, the display control unit 115, and the input information transmission unit 116 are realized by executing the Web application 13 running on the browser 12, but are not limited to this, and are native. It may be realized by executing an application (dedicated application). Further, at least one of these functional parts may be realized by a dedicated hardware circuit (integrated circuit or the like).

また、図4に示すユーザ端末10の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図4に示すユーザ端末10で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図4に示すユーザ端末10で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。 Further, each functional unit of the user terminal 10 shown in FIG. 4 conceptually shows a function, and is not limited to such a configuration. For example, a plurality of functional units illustrated as independent functional units in the user terminal 10 shown in FIG. 4 may be configured as one functional unit. On the other hand, the function of one functional unit in the user terminal 10 shown in FIG. 4 may be divided into a plurality of functions and configured as a plurality of functional units.

図4に示すように、業務サービス30は、通信部301と、Webサーバ302と、」認証部303と、予約情報管理部304と、ルール情報管理部305と、記憶部306と、を有する。 As shown in FIG. 4, the business service 30 includes a communication unit 301, a Web server 302, an authentication unit 303, a reservation information management unit 304, a rule information management unit 305, and a storage unit 306.

通信部301は、ネットワーク2を介してユーザ端末10、通話サービス40、音声認識サービス50および情報管理サービス60との間でデータ通信を行う機能部である。通信部301は、図3に示すCPU901によるプログラムの実行、およびネットワークI/F909によって実現される。 The communication unit 301 is a functional unit that performs data communication with the user terminal 10, the call service 40, the voice recognition service 50, and the information management service 60 via the network 2. The communication unit 301 is realized by executing the program by the CPU 901 shown in FIG. 3 and the network I / F 909.

Webサーバ302は、ユーザ端末10のブラウザ12にWebアプリ等のWebコンテンツを提供する機能部である。Webサーバ302は、図1に示したWebサーバ31に対応し、図3に示すCPU901によるプログラムの実行によって実現される。 The Web server 302 is a functional unit that provides Web contents such as a Web application to the browser 12 of the user terminal 10. The Web server 302 corresponds to the Web server 31 shown in FIG. 1 and is realized by executing a program by the CPU 901 shown in FIG.

認証部303は、ユーザ端末10の認証要求部105からの認証処理の要求に従い、記憶部306に記憶された認証情報テーブルを参照して認証処理を実行する機能部である。認証情報テーブルは、例えば、個人または組織を識別するユーザIDと、パスワードとを関連付けて管理するテーブルである。認証部303は、図3に示すCPU901によるプログラムの実行によって実現される。 The authentication unit 303 is a functional unit that executes the authentication process by referring to the authentication information table stored in the storage unit 306 in accordance with the request of the authentication process from the authentication request unit 105 of the user terminal 10. The authentication information table is, for example, a table that manages a user ID that identifies an individual or an organization in association with a password. The authentication unit 303 is realized by executing the program by the CPU 901 shown in FIG.

予約情報管理部304は、ユーザ端末10からの予約情報の要求に従って、通信部301を介して、情報管理サービス60から予約情報を取得し、当該通信部301を介して、ユーザ端末10へ当該予約情報を送信する機能部である。予約情報とは、例えば採寸の予約がある顧客名、および来店予定日時等の一覧情報である。予約情報管理部304は、図3に示すCPU901によるプログラムの実行によって実現される。 The reservation information management unit 304 acquires the reservation information from the information management service 60 via the communication unit 301 in accordance with the request for the reservation information from the user terminal 10, and makes the reservation to the user terminal 10 via the communication unit 301. It is a functional unit that transmits information. The reservation information is, for example, list information such as the name of a customer who has a reservation for measurement and the scheduled visit date and time. The reservation information management unit 304 is realized by executing the program by the CPU 901 shown in FIG.

ルール情報管理部305は、音声認識サービス50からのルール情報テーブルの要求に応じて、当該要求に対応するルール情報テーブルを記憶部306から読み出し、通信部301を介して音声認識サービス50へ送信する機能部である。ルール情報管理部305は、図3に示すCPU901によるプログラムの実行によって実現される。 In response to a request from the voice recognition service 50 for the rule information table, the rule information management unit 305 reads the rule information table corresponding to the request from the storage unit 306 and transmits it to the voice recognition service 50 via the communication unit 301. It is a functional part. The rule information management unit 305 is realized by executing a program by the CPU 901 shown in FIG.

記憶部306は、図9に示すようなルール情報テーブル、および上述の認識情報テーブル等を記憶する機能部である。 The storage unit 306 is a functional unit that stores the rule information table as shown in FIG. 9, the above-mentioned recognition information table, and the like.

図9に示すように、ルール情報テーブルは、タブおよび入力項目を示すルール名と、音声コマンドの解釈方法を示す認識パターンと、音声コマンドから入力項目を識別するためのキーワードと、入力項目に入力する数値として許容される範囲を示す数値範囲と、を関連付けて管理する。図9のうち、図9(a)は、採寸アプリのアプリ画面における「組上」のタブ(タブ1111)に対応するルール情報テーブルを示す。例えば、図9(a)に示すルール情報テーブルでは、ルール名「kumiue−sodetakemigi」(組上・袖丈右)は、認識パターン「1」、キーワード「そでたけみぎ」、および数値範囲「0−999」と関連付けられている。また、図9のうち、図9(b)は、採寸アプリのアプリ画面における「組下」のタブ(タブ1112)に対応するルール情報テーブルを示す。例えば、図9(b)に示すルール情報テーブルでは、ルール名「vest−waist」(ベスト・ウエスト)は、認識パターン「1」、キーワード「うえすと」、および数値範囲「0−999」と関連付けられている。 As shown in FIG. 9, in the rule information table, a rule name indicating a tab and an input item, a recognition pattern indicating an interpretation method of a voice command, a keyword for identifying an input item from the voice command, and an input item are input. It is managed in association with a numerical range indicating an acceptable range as a numerical value to be used. Of FIGS. 9, FIG. 9A shows a rule information table corresponding to the “Assembly” tab (tab 1111) on the application screen of the measuring application. For example, in the rule information table shown in FIG. 9A, the rule name "kumiue-sodetakemigi" (set top / sleeve length right) has a recognition pattern "1", a keyword "Sodetakemigi", and a numerical range "0-". It is associated with "999". Further, in FIG. 9, FIG. 9B shows a rule information table corresponding to the tab (tab 1112) of the “grouping” on the application screen of the measuring application. For example, in the rule information table shown in FIG. 9B, the rule name "vest-waist" has the recognition pattern "1", the keyword "Uesuto", and the numerical range "0-999". Associated.

また、ルール情報テーブルにおける認識パターンは、上述のように作業者により音声として入力された音声コマンドの解釈方法を示すパターンであり、「1」の場合、図6で上述した構成の音声コマンド(すなわち、採寸値を音声入力するための音声コマンド)であると解釈され、「2」の場合、タブの切り替えを指令するための音声コマンドであると解釈される。このような認識パターンに応じた音声コマンドの解釈の動作については、音声認識サービス50における動作として後述する。 Further, the recognition pattern in the rule information table is a pattern indicating a method of interpreting a voice command input as a voice by the operator as described above, and in the case of "1", the voice command having the above-described configuration in FIG. 6 (that is, that is). , A voice command for inputting a measurement value by voice), and in the case of "2", it is interpreted as a voice command for instructing tab switching. The operation of interpreting the voice command according to such a recognition pattern will be described later as an operation of the voice recognition service 50.

記憶部306は、図3に示す補助記憶装置905によって実現される。 The storage unit 306 is realized by the auxiliary storage device 905 shown in FIG.

なお、上述の認証部303、予約情報管理部304およびルール情報管理部305は、プログラム(ソフトウェア)の実行によって実現されるものとしたが、これに限定されるものではなく、これらの機能部のうち少なくともいずれかは専用のハードウェア回路(集積回路等)によって実現されるものとしてもよい。 The above-mentioned authentication unit 303, reservation information management unit 304, and rule information management unit 305 are realized by executing a program (software), but the present invention is not limited to this, and these functional units are not limited to this. At least one of them may be realized by a dedicated hardware circuit (integrated circuit or the like).

また、図4に示す業務サービス30の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図4に示す業務サービス30で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図4に示す業務サービス30で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。 Further, each functional unit of the business service 30 shown in FIG. 4 conceptually shows a function, and is not limited to such a configuration. For example, a plurality of functional units illustrated as independent functional units in the business service 30 shown in FIG. 4 may be configured as one functional unit. On the other hand, in the business service 30 shown in FIG. 4, the function of one functional unit may be divided into a plurality of functions and configured as a plurality of functional units.

図4に示すように、通話サービス40は、通信部401と、通話制御部402と、接続管理部403と、記憶部404と、を有する。 As shown in FIG. 4, the call service 40 includes a communication unit 401, a call control unit 402, a connection management unit 403, and a storage unit 404.

通信部401は、ネットワーク2を介してユーザ端末10および業務サービス30との間でデータ通信を行う機能部である。通信部401は、図3に示すCPU901によるプログラムの実行、およびネットワークI/F909によって実現される。 The communication unit 401 is a functional unit that performs data communication between the user terminal 10 and the business service 30 via the network 2. The communication unit 401 is realized by executing the program by the CPU 901 shown in FIG. 3 and the network I / F 909.

通話制御部402は、ユーザ端末10から通信部401を介して受信した音声データを、記憶部404に記憶させると共に、当該音声データと共に受信されたグループIDに基づいて当該音声データの送信先(転送先)である業務サービス30を特定し、当該音声データを、通信部401を介して業務サービス30に中継(転送)する機能部である。通話制御部402は、図3に示すCPU901によるプログラムの実行によって実現される。 The call control unit 402 stores the voice data received from the user terminal 10 via the communication unit 401 in the storage unit 404, and transmits (transfers) the voice data based on the group ID received together with the voice data. This is a functional unit that identifies the business service 30 (destination) and relays (transfers) the voice data to the business service 30 via the communication unit 401. The call control unit 402 is realized by executing a program by the CPU 901 shown in FIG.

接続管理部403は、業務サービス30を介したユーザ端末10からのグループIDによる接続要求に応じて、記憶部404に記憶されたグループ情報を参照して接続処理を行う機能部である。グループ情報は、例えば、グループIDおよびグループに含まれる端末のアドレス等を関連付けて管理する情報である。接続管理部403は、図3に示すCPU901によるプログラムの実行によって実現される。 The connection management unit 403 is a functional unit that performs connection processing by referring to the group information stored in the storage unit 404 in response to a connection request by the group ID from the user terminal 10 via the business service 30. The group information is, for example, information that is managed by associating a group ID with an address of a terminal included in the group. The connection management unit 403 is realized by executing a program by the CPU 901 shown in FIG.

記憶部404は、上述のグループ情報等を記憶する機能部である。記憶部404は、図3に示す補助記憶装置905によって実現される。 The storage unit 404 is a functional unit that stores the above-mentioned group information and the like. The storage unit 404 is realized by the auxiliary storage device 905 shown in FIG.

なお、上述の通話制御部402および接続管理部403は、プログラム(ソフトウェア)の実行によって実現されるものとしたが、これに限定されるものではなく、これらの機能部のうち少なくともいずれかは専用のハードウェア回路(集積回路等)によって実現されるものとしてもよい。 The above-mentioned call control unit 402 and connection management unit 403 are realized by executing a program (software), but the present invention is not limited to this, and at least one of these functional units is dedicated. It may be realized by a hardware circuit (integrated circuit, etc.) of.

また、図4に示す通話サービス40の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図4に示す通話サービス40で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図4に示す通話サービス40で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。 Further, each functional unit of the call service 40 shown in FIG. 4 conceptually shows a function, and is not limited to such a configuration. For example, a plurality of functional units illustrated as independent functional units in the call service 40 shown in FIG. 4 may be configured as one functional unit. On the other hand, in the call service 40 shown in FIG. 4, the function of one functional unit may be divided into a plurality of functions and configured as a plurality of functional units.

図4に示すように、音声認識サービス50は、通信部501と、音声取得部502と、音声認識部503と、認識結果送信部504と、記憶部505と、を有する。 As shown in FIG. 4, the voice recognition service 50 includes a communication unit 501, a voice acquisition unit 502, a voice recognition unit 503, a recognition result transmission unit 504, and a storage unit 505.

通信部501は、ネットワーク2を介してユーザ端末10および業務サービス30との間でデータ通信を行う機能部である。通信部501は、図3に示すCPU901によるプログラムの実行、およびネットワークI/F909によって実現される。 The communication unit 501 is a functional unit that performs data communication between the user terminal 10 and the business service 30 via the network 2. The communication unit 501 is realized by the execution of the program by the CPU 901 shown in FIG. 3 and the network I / F 909.

音声取得部502は、ユーザ端末10から通信部501を介して、音声コマンドの音声データ、およびルール情報URLを取得する機能部である。音声取得部502は、図3に示すCPU901によるプログラムの実行によって実現される。 The voice acquisition unit 502 is a functional unit that acquires voice data of voice commands and a rule information URL from the user terminal 10 via the communication unit 501. The voice acquisition unit 502 is realized by executing a program by the CPU 901 shown in FIG.

音声認識部503は、音声取得部502により取得された音声データの音声コマンドについて、ルール情報URLにより業務サービス30から取得したルール情報テーブルに基づいて解釈を行う音声認識処理を実行する機能部である。音声認識部503は、図3に示すCPU901によるプログラムの実行によって実現される。 The voice recognition unit 503 is a functional unit that executes a voice recognition process that interprets the voice command of the voice data acquired by the voice acquisition unit 502 based on the rule information table acquired from the business service 30 by the rule information URL. .. The voice recognition unit 503 is realized by executing a program by the CPU 901 shown in FIG.

具体的には、音声認識部503は、音声取得部502により取得されたルール情報URLが示すルール情報テーブルの格納先(業務サービス30の記憶部306)から、ルール情報を取得する。次に、音声認識部503は、音声取得部502により取得された音声データをテキスト化する。次に、音声認識部503は、音声データのテキストの先頭から所定数の文字列が、取得したルール情報テーブルのいずれかのキーワードと一致するか探索を行う。次に、音声認識部503は、所定数の文字列と一致するキーワードが探索できた場合、当該キーワードに対応する認識パターンを抽出する。 Specifically, the voice recognition unit 503 acquires the rule information from the storage destination (storage unit 306 of the business service 30) of the rule information table indicated by the rule information URL acquired by the voice acquisition unit 502. Next, the voice recognition unit 503 converts the voice data acquired by the voice acquisition unit 502 into text. Next, the voice recognition unit 503 searches whether a predetermined number of character strings from the beginning of the text of the voice data matches any of the keywords in the acquired rule information table. Next, when the voice recognition unit 503 can search for a keyword that matches a predetermined number of character strings, the voice recognition unit 503 extracts a recognition pattern corresponding to the keyword.

抽出した認識パターンが「1」である場合、音声認識部503は、音声取得部502により取得された音声データの音声コマンドは、採寸値を音声入力するためのコマンドであると判断する。この場合、音声認識部503は、音声データのテキストのキーワードに対応する部分の後側のテキストを、数値(採寸値)を示すテキストであると解釈する。次に、音声認識部503は、当該数値が、ルール情報テーブルにおいて当該キーワードに対応する数値範囲に含まれるか否かを判定する。そして、音声認識部503は、ルール情報テーブルにおいて当該キーワードに対応するルール名を、採寸アプリのタブおよび入力項目を識別するための識別情報とし、当該識別情報と、上述の数値(採寸値)を示すテキストとの組み合わせを、認識結果として生成する。 When the extracted recognition pattern is "1", the voice recognition unit 503 determines that the voice command of the voice data acquired by the voice acquisition unit 502 is a command for inputting the measurement value by voice. In this case, the voice recognition unit 503 interprets the text behind the portion corresponding to the keyword of the text of the voice data as the text indicating the numerical value (measured value). Next, the voice recognition unit 503 determines whether or not the numerical value is included in the numerical range corresponding to the keyword in the rule information table. Then, the voice recognition unit 503 uses the rule name corresponding to the keyword in the rule information table as the identification information for identifying the tab and the input item of the measurement application, and uses the identification information and the above-mentioned numerical value (measurement value). A combination with the indicated text is generated as a recognition result.

例えば、音声取得部502により取得されたルール情報URLが「組上」用のルール情報テーブルの格納先を示し、同じく取得された音声データの音声コマンドが図6で示した「そでたけみぎにじゅうさん」である場合を考える。この場合、音声認識部503は、業務サービス30から「組上」用のルール情報テーブルを取得し、「そでたけみぎにじゅうさん」という音声コマンドの音声データをテキスト化する。次に、音声認識部503は、テキストの先頭から所定数の文字列が、取得した「組上」用のルール情報テーブルのいずれかのキーワードと一致するか探索を行い、「そでたけみぎ」というキーワードを含むレコードが探索される。そして、音声認識部503は、当該レコードから認識パターンとして「1」を抽出する。当該認識パターンに従い、音声認識部503は、音声データのテキストのキーワード「そでたけみぎ」に対応する部分の後側のテキストを、数値(採寸値)「23」を示すテキストであると解釈する。次に、音声認識部503は、当該数値「23」が、ルール情報テーブルにおいてキーワード「そであけみぎ」に対応する数値範囲「0−999」に含まれるものと判定する。そして、音声認識部503は、ルール情報テーブルにおいてキーワード「そでたけみぎ」に対応するルール名「kumiue−sodetakemigi」を、採寸アプリのタブ「組上」および入力項目「袖丈右」を識別するための識別情報とし、図10に示したように、当該識別情報と、上述の数値(採寸値)「23」を示すテキストとの組み合わせを、認識結果として生成する。 For example, the rule information URL acquired by the voice acquisition unit 502 indicates the storage destination of the rule information table for "combination", and the voice command of the similarly acquired voice data indicates "Sodetake Migi ni" shown in FIG. Consider the case of "Ju-san". In this case, the voice recognition unit 503 acquires the rule information table for "combination" from the business service 30, and converts the voice data of the voice command "Sodetake Migi Nijusan" into text. Next, the voice recognition unit 503 searches to see if a predetermined number of character strings from the beginning of the text match any of the keywords in the acquired rule information table for "combination", and "Sodetake Migi". Records containing the keyword are searched. Then, the voice recognition unit 503 extracts "1" as a recognition pattern from the record. According to the recognition pattern, the voice recognition unit 503 interprets the text behind the part corresponding to the keyword "Sodetakemigi" in the text of the voice data as the text indicating the numerical value (measurement value) "23". .. Next, the voice recognition unit 503 determines that the numerical value "23" is included in the numerical range "0-999" corresponding to the keyword "Sodeakemigi" in the rule information table. Then, the voice recognition unit 503 identifies the rule name "kumiue-sodetakemigi" corresponding to the keyword "sodetakemigi" in the rule information table, and identifies the tab "combination" and the input item "sleeve length right" of the measuring application. As shown in FIG. 10, a combination of the identification information and the text indicating the above-mentioned numerical value (measurement value) "23" is generated as the recognition result.

なお、数値が、ルール情報テーブルにおいて対応する数値範囲に含まれない場合には、音声認識部503は、例えば、認識結果を生成しない、あるいは、数値をNull値とした認識結果を生成するものとすればよい。 If the numerical value is not included in the corresponding numerical range in the rule information table, the voice recognition unit 503 does not generate the recognition result, or generates the recognition result with the numerical value as the Null value, for example. do it.

一方、抽出した認識パターンが「2」である場合、音声認識部503は、音声取得部502により取得された音声データの音声コマンドは、タブの切り替えを指令するためのコマンドであると判断する。この場合、音声認識部503は、音声データのテキストのキーワードに対応する部分の後側のテキストを無視する(通常は後側にはテキストは含まれない)。そして、音声認識部503は、ルール情報テーブルにおいて当該キーワードに対応するルール名を、切り替え先のタブを識別するための識別情報とし、当該識別情報を含む認識結果を生成する。 On the other hand, when the extracted recognition pattern is "2", the voice recognition unit 503 determines that the voice command of the voice data acquired by the voice acquisition unit 502 is a command for instructing tab switching. In this case, the voice recognition unit 503 ignores the text behind the part corresponding to the keyword of the text of the voice data (usually, the text is not included in the back side). Then, the voice recognition unit 503 uses the rule name corresponding to the keyword in the rule information table as the identification information for identifying the tab to be switched to, and generates the recognition result including the identification information.

例えば、音声取得部502により取得されたルール情報URLが「組上」用のルール情報テーブルの格納先を示し、同じく取得された音声データの音声コマンドが「くみした」である場合を考える。この場合、音声認識部503は、業務サービス30から「組上」用のルール情報テーブルを取得し、「くみした」という音声コマンドの音声データをテキスト化する。次に、音声認識部503は、テキストの先頭から所定数の文字列が、取得した「組上」用のルール情報テーブルのいずれかのキーワードと一致するか探索を行い、「くみした」というキーワードを含むレコードが探索される。そして、音声認識部503は、当該レコードから認識パターンとして「2」を抽出する。当該認識パターンに従い、音声認識部503は、音声データのテキストのキーワード「くみした」に対応する部分の後側のテキストを無視する。そして、音声認識部503は、ルール情報テーブルにおいてキーワード「くみした」に対応するルール名「kumiue−tab−kumishita」を、切り替え先のタブを識別するための識別情報とし、当該識別情報を含む認識結果を生成する。 For example, consider a case where the rule information URL acquired by the voice acquisition unit 502 indicates the storage destination of the rule information table for "combination", and the voice command of the similarly acquired voice data is "Kumi". In this case, the voice recognition unit 503 acquires the rule information table for "combination" from the business service 30, and converts the voice data of the voice command "Kumi" into text. Next, the voice recognition unit 503 searches to see if a predetermined number of character strings from the beginning of the text match any of the keywords in the acquired rule information table for "combination", and the keyword "kumi" Records containing are searched. Then, the voice recognition unit 503 extracts "2" as a recognition pattern from the record. According to the recognition pattern, the voice recognition unit 503 ignores the text behind the part corresponding to the keyword "Kumi" in the text of the voice data. Then, the voice recognition unit 503 uses the rule name "kumiue-tab-kumisita" corresponding to the keyword "Kumita" in the rule information table as identification information for identifying the tab to be switched to, and recognizes including the identification information. Generate results.

図4に戻り説明を続ける。 The explanation will be continued by returning to FIG.

認識結果送信部504は、音声認識部503による音声認識処理により生成された認識結果を、通信部501を介してユーザ端末10へ送信する機能部である。認識結果送信部504は、図3に示すCPU901によるプログラムの実行によって実現される。 The recognition result transmission unit 504 is a functional unit that transmits the recognition result generated by the voice recognition process by the voice recognition unit 503 to the user terminal 10 via the communication unit 501. The recognition result transmission unit 504 is realized by executing the program by the CPU 901 shown in FIG.

記憶部505は、例えば、音声認識部503により業務サービス30から取得されたルール情報テーブルをキャッシュするため等の機能部である。すなわち、音声認識部503は、業務サービス30から取得したルール情報テーブルを記憶部505にキャッシュしておき、次回、音声取得部502により音声コマンドの音声データが取得された場合、業務サービス30から新たにルール情報テーブルを取得するのではなく、記憶部505にキャッシュされたルール情報テーブルを用いるものとしてもよい。記憶部505は、図3に示す補助記憶装置905によって実現される。 The storage unit 505 is, for example, a functional unit for caching the rule information table acquired from the business service 30 by the voice recognition unit 503. That is, the voice recognition unit 503 caches the rule information table acquired from the business service 30 in the storage unit 505, and the next time the voice acquisition unit 502 acquires the voice data of the voice command, the voice recognition unit 503 newly acquires the voice data from the business service 30. Instead of acquiring the rule information table, the rule information table cached in the storage unit 505 may be used. The storage unit 505 is realized by the auxiliary storage device 905 shown in FIG.

なお、上述の音声取得部502、音声認識部503および認識結果送信部504は、プログラム(ソフトウェア)の実行によって実現されるものとしたが、これに限定されるものではなく、これらの機能部のうち少なくともいずれかは専用のハードウェア回路(集積回路等)によって実現されるものとしてもよい。 The above-mentioned voice acquisition unit 502, voice recognition unit 503, and recognition result transmission unit 504 are realized by executing a program (software), but the present invention is not limited to this, and these functional units are not limited to this. At least one of them may be realized by a dedicated hardware circuit (integrated circuit or the like).

また、図4に示す音声認識サービス50の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図4に示す音声認識サービス50で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図4に示す音声認識サービス50で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。 Further, each functional unit of the voice recognition service 50 shown in FIG. 4 conceptually shows a function, and is not limited to such a configuration. For example, a plurality of functional units illustrated as independent functional units in the voice recognition service 50 shown in FIG. 4 may be configured as one functional unit. On the other hand, in the voice recognition service 50 shown in FIG. 4, the function of one functional unit may be divided into a plurality of functions and configured as a plurality of functional units.

図4に示すように、情報管理サービス60は、通信部601と、予約情報管理部602と、記憶部603と、を有する。 As shown in FIG. 4, the information management service 60 includes a communication unit 601, a reservation information management unit 602, and a storage unit 603.

通信部601は、ネットワーク2を介して業務サービス30との間でデータ通信を行う機能部である。通信部601は、図3に示すCPU901によるプログラムの実行、およびネットワークI/F909によって実現される。 The communication unit 601 is a functional unit that performs data communication with the business service 30 via the network 2. The communication unit 601 is realized by executing the program by the CPU 901 shown in FIG. 3 and the network I / F 909.

予約情報管理部602は、業務サービス30からの予約情報の要求に従って、記憶部603に記憶された予約情報テーブルから、例えば採寸の予約がある顧客名、および来店予定日時等の一覧情報である予約情報を読み出して、通信部601を介して業務サービス30へ送信する機能部である。予約情報管理部602は、図3に示すCPU901によるプログラムの実行によって実現される。 The reservation information management unit 602 receives a request for reservation information from the business service 30, and from the reservation information table stored in the storage unit 603, for example, a reservation that is list information such as a customer name having a measurement reservation and a scheduled visit date and time. It is a functional unit that reads out information and transmits it to the business service 30 via the communication unit 601. The reservation information management unit 602 is realized by executing the program by the CPU 901 shown in FIG.

記憶部603は、図11に示すような予約情報テーブル等を記憶する機能部である。 The storage unit 603 is a functional unit that stores a reservation information table or the like as shown in FIG.

図11に示すように、予約情報テーブルは、採寸の予約を受け付けた顧客名と、来店予定日時と、実際に採寸が行われた採寸日時と、採寸された数値群である採寸結果と、採寸時に入力された基本情報と、を関連付けて管理する。例えば、図11に示す予約情報テーブルでは、顧客名「採寸太郎」と、来店予定日時「2020/02/27 15:30:00」と、採寸日時「2020/02/27 15:56:00」と、組上の採寸結果「着丈:72 袖丈右:23 ・・・」等と、が関連付けられている。 As shown in FIG. 11, the reservation information table shows the customer name that received the measurement reservation, the scheduled visit date and time, the measurement date and time when the measurement was actually performed, the measurement result which is a measured numerical group, and the measurement. Manage by associating with the basic information entered at the time. For example, in the reservation information table shown in FIG. 11, the customer name "Measuring Taro", the scheduled visit date and time "2020/02/27 15:30", and the measuring date and time "2020/02/27 15:56:00" And the measurement result of the assembly "length: 72 sleeve length right: 23 ..." and the like are associated with each other.

記憶部603は、図3に示す補助記憶装置905によって実現される。 The storage unit 603 is realized by the auxiliary storage device 905 shown in FIG.

なお、上述の予約情報管理部602は、プログラム(ソフトウェア)の実行によって実現されるものとしたが、これに限定されるものではなく、専用のハードウェア回路(集積回路等)によって実現されるものとしてもよい。 The reservation information management unit 602 described above is realized by executing a program (software), but is not limited to this, and is realized by a dedicated hardware circuit (integrated circuit, etc.). May be.

また、図4に示す情報管理サービス60の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図4に示す情報管理サービス60で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図4に示す情報管理サービス60で1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。 Further, each functional unit of the information management service 60 shown in FIG. 4 conceptually shows a function, and is not limited to such a configuration. For example, a plurality of functional units illustrated as independent functional units in the information management service 60 shown in FIG. 4 may be configured as one functional unit. On the other hand, in the information management service 60 shown in FIG. 4, the function of one functional unit may be divided into a plurality of functions and configured as a plurality of functional units.

また、上述のルール情報URLテーブル(図8参照)、ルール情報テーブル(図9参照)、認証情報テーブル、および予約情報テーブル(図11参照)は、テーブル形式の情報であるものとしたが、これに限定されるものではない。例えば、少なくともいずれかのテーブルは、テーブルの各カラムの値が互いに関連付けて管理することができれば、どのような形式(例えばCSV(Comma−Separated Values)形式)の情報であってもよい。 Further, the above-mentioned rule information URL table (see FIG. 8), rule information table (see FIG. 9), authentication information table, and reservation information table (see FIG. 11) are assumed to be table-format information. It is not limited to. For example, at least one of the tables may be information in any format (for example, CSV (Comma-Separated Values) format) as long as the values of each column of the table can be managed in association with each other.

(音声処理システムの初期処理)
図12は、実施形態に係る音声処理システムの初期処理の流れの一例を示すシーケンス図である。図13は、グループID入力画面の一例を示す図である。図12および図13を参照しながら、本実施形態に係る音声処理システム1の初期処理の流れについて説明する。
(Initial processing of voice processing system)
FIG. 12 is a sequence diagram showing an example of the flow of initial processing of the voice processing system according to the embodiment. FIG. 13 is a diagram showing an example of a group ID input screen. The flow of the initial processing of the voice processing system 1 according to the present embodiment will be described with reference to FIGS. 12 and 13.

<ステップS11>
作業者(ユーザ)は、ユーザ端末10の入力部103を介して、Webアプリ13である採寸アプリを起動する操作を行う。
<Step S11>
The worker (user) performs an operation of starting the measuring application, which is the Web application 13, via the input unit 103 of the user terminal 10.

<ステップS12、S13>
すると、ユーザ端末10の第2通信部102は、Webアプリ読込要求を、ネットワーク2を介して業務サービス30へ送信する。業務サービス30の通信部301により当該Webアプリ読込要求が受信されると、Webサーバ302は、Webアプリ13等のWebコンテンツ(HTML(HyperText Markup Language)データ、JavaScript等)を、通信部301を介してユーザ端末10へ送信する(後述する図15の「(1)Webコンテンツ」)。
<Steps S12, S13>
Then, the second communication unit 102 of the user terminal 10 transmits the Web application reading request to the business service 30 via the network 2. When the communication unit 301 of the business service 30 receives the Web application reading request, the Web server 302 transmits the Web content (HTML (HyperText Markup Language) data, JavaScript, etc.) of the Web application 13 or the like via the communication unit 301. Is transmitted to the user terminal 10 (“(1) Web content” in FIG. 15 described later).

<ステップS14、S15>
ユーザ端末10の第2通信部102によりWebアプリ13等のWebコンテンツが受信されると、表示制御部115は、Webアプリ13である採寸アプリのアプリ画面をディスプレイ818に表示させると共に、ログイン画面を表示させる。
<Steps S14, S15>
When the second communication unit 102 of the user terminal 10 receives the Web content such as the Web application 13, the display control unit 115 displays the application screen of the measuring application, which is the Web application 13, on the display 818, and displays the login screen. Display it.

<ステップS16、S17>
作業者は、ログイン画面において、入力部103を介して、例えばユーザ名およびパスワード等のログインに必要な認証情報の入力するログイン操作を行う。すると、ユーザ端末10の認証要求部105は、入力された認証情報を含む認証処理の要求を、第2通信部102を介して業務サービス30へ送信する。
<Steps S16, S17>
On the login screen, the operator performs a login operation for inputting authentication information necessary for login, such as a user name and a password, via the input unit 103. Then, the authentication request unit 105 of the user terminal 10 transmits a request for authentication processing including the input authentication information to the business service 30 via the second communication unit 102.

<ステップS18、S19>
業務サービス30の通信部301によって認証処理の要求が受信されると、認証部303は、当該認証処理の要求に従い、記憶部306に記憶された認証情報テーブルを参照して認証処理を実行して、認証結果を通信部301を介してユーザ端末10へ送信する。ここでは、認証部303による認証処理により認証が正常に行われたものとして説明する。
<Steps S18, S19>
When the communication unit 301 of the business service 30 receives the request for the authentication process, the authentication unit 303 executes the authentication process by referring to the authentication information table stored in the storage unit 306 in accordance with the request for the authentication process. , The authentication result is transmitted to the user terminal 10 via the communication unit 301. Here, it is assumed that the authentication is normally performed by the authentication process by the authentication unit 303.

<ステップS20、S21>
認証が正常に行われると、ユーザ端末10の表示制御部115は、図13に示すようなグループID入力画面1200をディスプレイ818に表示させる。
<Steps S20, S21>
When the authentication is normally performed, the display control unit 115 of the user terminal 10 displays the group ID input screen 1200 as shown in FIG. 13 on the display 818.

図13に示すグループID入力画面1200は、作業者が通話を行うグループのグループIDによりユーザ端末10と通話サービス40との間で音声データを送受信するためのセッションを確立する接続処理を行うための画面である。図13に示すように、グループID入力画面1200は、グループID入力部1201と、接続ボタン1202と、キャンセルボタン1203と、を含む。 The group ID input screen 1200 shown in FIG. 13 is for performing a connection process for establishing a session for transmitting and receiving voice data between the user terminal 10 and the call service 40 by the group ID of the group in which the worker makes a call. It is a screen. As shown in FIG. 13, the group ID input screen 1200 includes a group ID input unit 1201, a connection button 1202, and a cancel button 1203.

グループID入力部1201は、作業者が通話を行うグループを識別するグループIDを入力するためのフィールドである。接続ボタン1202は、グループID入力部1201に入力されたグループIDを用いて上述の接続処理を実行するためのボタンである。キャンセルボタン1203は、当該グループIDを用いた接続処理をキャンセルするためのボタンである。 The group ID input unit 1201 is a field for inputting a group ID for identifying a group in which the worker makes a call. The connection button 1202 is a button for executing the above-mentioned connection process using the group ID input to the group ID input unit 1201. The cancel button 1203 is a button for canceling the connection process using the group ID.

<ステップS22〜S24>
作業者は、グループID入力画面1200において、入力部103を介して、グループID入力部1201にグループIDを入力し、接続ボタン1202の押下(タップ操作)を行う。すると、ユーザ端末10の接続要求部106は、通話アプリ11と通話サービス40との連携動作により実現される通話のために、第2通信部102を介して、作業者が通話を行うグループのグループIDを含む接続要求を業務サービス30へ送信する。業務サービス30の通信部301は、ユーザ端末10からグループIDを含む接続要求を受信すると、当該接続要求を通話サービス40へ送信する。
<Steps S22 to S24>
On the group ID input screen 1200, the operator inputs the group ID to the group ID input unit 1201 via the input unit 103, and presses the connection button 1202 (tap operation). Then, the connection request unit 106 of the user terminal 10 is a group of groups in which the worker makes a call via the second communication unit 102 for the call realized by the cooperative operation between the call application 11 and the call service 40. A connection request including an ID is transmitted to the business service 30. When the communication unit 301 of the business service 30 receives the connection request including the group ID from the user terminal 10, the communication unit 301 transmits the connection request to the call service 40.

<ステップS25〜S27>
通話サービス40の通話サービス401によって接続要求が受信されると、接続管理部403は、当該接続要求に応じて、記憶部404に記憶されたグループ情報を参照して接続処理を行い、接続OKの旨を示す接続結果を、通信部401を介して業務サービス30へ送信する。業務サービス30の通信部301は、接続OKの旨を示す接続結果が受信すると、当該接続結果をユーザ端末10へ送信する。また、接続管理部403は、ユーザ端末10の通話アプリ11との間で接続を行う(後述する図15の「(2)接続確認」)。
<Steps S25 to S27>
When the connection request is received by the call service 401 of the call service 40, the connection management unit 403 performs a connection process with reference to the group information stored in the storage unit 404 in response to the connection request, and the connection is OK. A connection result indicating that effect is transmitted to the business service 30 via the communication unit 401. When the communication unit 301 of the business service 30 receives the connection result indicating that the connection is OK, the communication unit 301 transmits the connection result to the user terminal 10. Further, the connection management unit 403 makes a connection with the call application 11 of the user terminal 10 (“(2) Connection confirmation” in FIG. 15 described later).

<ステップS28、S29>
ユーザ端末10の音声通信制御部104は、ユーザ端末10と通話サービス40との間で接続(セッション)が確立すると、ディスプレイ818を介して接続完了の旨を作業者に通知する。
<Steps S28, S29>
When the connection (session) between the user terminal 10 and the call service 40 is established, the voice communication control unit 104 of the user terminal 10 notifies the operator of the completion of the connection via the display 818.

<ステップS30、S31>
ユーザ端末10の予約情報取得部107は、採寸作業についての予約情報を取得するための予約情報の要求を、第2通信部102を介して業務サービス30へ送信する。業務サービス30の通信部301によって予約情報の要求が受信されると、予約情報管理部304は、当該予約情報の要求を通信部301を介して情報管理サービス60へ送信する。
<Steps S30, S31>
The reservation information acquisition unit 107 of the user terminal 10 transmits a request for reservation information for acquiring reservation information for the measuring work to the business service 30 via the second communication unit 102. When the request for reservation information is received by the communication unit 301 of the business service 30, the reservation information management unit 304 transmits the request for the reservation information to the information management service 60 via the communication unit 301.

<ステップS32、S33>
情報管理サービス60の通信部601によって予約情報の要求が受信されると、予約情報管理部602は、当該予約情報の要求に従って、記憶部603に記憶された予約情報テーブルから、例えば採寸の予約がある顧客名、および来店予定日時等の一覧(リスト)情報である予約情報を読み出して、通信部601を介して業務サービス30へ送信する。業務サービス30の通信部301によって予約情報が受信されると、予約情報管理部304は、当該予約情報を通信部301を介してユーザ端末10へ送信する(後述する図15の「(3)予約情報取得」)。
<Steps S32 and S33>
When the request for reservation information is received by the communication unit 601 of the information management service 60, the reservation information management unit 602 makes a reservation for measurement, for example, from the reservation information table stored in the storage unit 603 in accordance with the request for the reservation information. Reservation information, which is list information such as a certain customer name and scheduled visit date and time, is read out and transmitted to the business service 30 via the communication unit 601. When the reservation information is received by the communication unit 301 of the business service 30, the reservation information management unit 304 transmits the reservation information to the user terminal 10 via the communication unit 301 (“(3) Reservation” in FIG. 15 described later. Information acquisition").

<ステップS34〜S36>
ユーザ端末10の予約情報取得部107は、第2通信部102を介して予約情報を取得する。そして、ユーザ端末10の表示制御部115は、当該予約情報をディスプレイ818に表示させる。作業者は、ディスプレイ818に表示された予約情報の中から、目的の顧客の予約を入力部103を介して選択操作する。
<Steps S34 to S36>
The reservation information acquisition unit 107 of the user terminal 10 acquires reservation information via the second communication unit 102. Then, the display control unit 115 of the user terminal 10 displays the reservation information on the display 818. The operator selects and operates the reservation of the target customer from the reservation information displayed on the display 818 via the input unit 103.

<ステップS37〜S39>
さらに、作業者は、ディスプレイ818に表示されている採寸アプリのアプリ画面(例えば図7に示したアプリ画面1001)において、基本情報(例えば基本寸法入力部1100およびゲージ入力部1120の情報等)を入力する。
<Steps S37 to S39>
Further, the operator displays basic information (for example, information of the basic dimension input unit 1100 and the gauge input unit 1120) on the application screen of the measuring application displayed on the display 818 (for example, the application screen 1001 shown in FIG. 7). input.

以上のステップS11〜S39の流れによって、音声処理システム1の初期処理が行われる。 The initial processing of the voice processing system 1 is performed according to the flow of the above steps S11 to S39.

(音声処理システムの音声入力処理)
図14は、実施形態に係る音声処理システムの音声入力処理の流れの一例を示すシーケンス図である。図15は、実施形態に係る音声処理システムのデータの流れを説明する図である。図16は、実施液体に係るユーザ端末の項目入力・表示調整処理の流れの一例を示すフローチャートである。図17は、項目入力・表示調整処理により数値が入力された項目が移動する動作を説明する図である。図18は、音声コマンドにより寸法補正値を入力する場合の動作を説明する図である。図19は、音声コマンドによりタブを切り替えて寸法値を入力した場合の動作を説明する図である。図14〜図19を参照しながら、本実施形態に係る音声処理システム1の音声入力処理の流れについて説明する。なお、以下の説明では、上位術の音声処理システム1の初期処理後、アプリ画面1001において「組上」のタブ1111が選択されているものとして説明する。
(Voice input processing of voice processing system)
FIG. 14 is a sequence diagram showing an example of the flow of voice input processing of the voice processing system according to the embodiment. FIG. 15 is a diagram illustrating a data flow of the voice processing system according to the embodiment. FIG. 16 is a flowchart showing an example of the flow of item input / display adjustment processing of the user terminal related to the execution liquid. FIG. 17 is a diagram illustrating an operation of moving an item for which a numerical value has been input by an item input / display adjustment process. FIG. 18 is a diagram illustrating an operation when a dimension correction value is input by a voice command. FIG. 19 is a diagram illustrating an operation when a tab is switched by a voice command and a dimension value is input. The flow of the voice input processing of the voice processing system 1 according to the present embodiment will be described with reference to FIGS. 14 to 19. In the following description, it is assumed that the tab 1111 of "Assembly" is selected on the application screen 1001 after the initial processing of the voice processing system 1 of the higher-level technique.

<ステップS51>
音声端末20を装着した作業者(ユーザ)は、採寸対象となる服についてオーバーウエストを採寸し、その採寸値(データの一例)が「88」である場合、音声コマンドとして「うえすとおーだぶりゅはちじゅうはち」と発声する。音声端末20の音声受信部201は、音声コマンドの音声を受信して音声データに変換する。そして、音声端末20の通信部202は、変換された音声コマンドの音声データをユーザ端末10へ無線通信によって送信する。
<Step S51>
The worker (user) wearing the voice terminal 20 measures the over waist of the clothes to be measured, and when the measured value (an example of data) is "88", the voice command is "Uesuto Odaburi". "Yuhachijuhachi" is uttered. The voice receiving unit 201 of the voice terminal 20 receives the voice of the voice command and converts it into voice data. Then, the communication unit 202 of the voice terminal 20 transmits the converted voice command voice data to the user terminal 10 by wireless communication.

<ステップS52>
ユーザ端末10の第1通信部101によって無線通信により音声コマンドの音声データが受信されると、音声通信制御部104は、当該音声データを、作業者が通話を行うグループのグループIDと共に、第2通信部102を介して通話サービス40へ送信(中継)する(図15の「(4)音声データ」)。
<Step S52>
When the voice data of the voice command is received by the first communication unit 101 of the user terminal 10 by wireless communication, the voice communication control unit 104 transfers the voice data together with the group ID of the group in which the worker makes a call. It is transmitted (relayed) to the call service 40 via the communication unit 102 (“(4) voice data” in FIG. 15).

<ステップS53〜S55>
通話サービス40の通信部401によって音声データおよびグループIDが受信されると、通話制御部402は、当該音声データを、記憶部404に記憶させると共に、当該音声データと共に受信されたグループIDに基づいて当該音声データの送信先(転送先)である業務サービス30を特定し、当該音声データを、通信部401を介して業務サービス30に中継(転送)する。業務サービス30の通信部301は、音声データを受信すると、当該音声データをユーザ端末10へ送信する(図15の「(5)音声データ」)。
<Steps S53 to S55>
When the voice data and the group ID are received by the communication unit 401 of the call service 40, the call control unit 402 stores the voice data in the storage unit 404 and based on the group ID received together with the voice data. The business service 30 that is the transmission destination (transfer destination) of the voice data is specified, and the voice data is relayed (transferred) to the business service 30 via the communication unit 401. When the communication unit 301 of the business service 30 receives the voice data, the communication unit 301 transmits the voice data to the user terminal 10 (“(5) voice data” in FIG. 15).

<ステップS56>
ユーザ端末10の音声取得部108は、業務サービス30から第2通信部102を介して音声コマンドの音声データを取得する。次に、表示内容特定部109は、音声取得部108により音声データが取得された場合に、表示制御部115によりディスプレイ818に表示されているWebアプリ13である採寸アプリのアプリ画面1001において、どのタブの入力項目が表示されているのか(どのタブが選択されているのか)を特定する。そして、ルール情報特定部110は、表示内容特定部109により特定されたタブ(ここでは「組上」タブであるタブ1111)に対応するルール情報テーブルを特定するために、記憶部117に記憶されているルール情報URLテーブル(図8参照)を参照し、当該タブに対応するルール情報URL(ここでは「組上」用のルール情報テーブルを示すURL)を特定する。すなわち、ルール情報特定部110は、表示内容特定部109により特定されたタブに対応するルール情報URLを特定することにより、当該ルール情報テーブルを特定する。
<Step S56>
The voice acquisition unit 108 of the user terminal 10 acquires voice data of a voice command from the business service 30 via the second communication unit 102. Next, when the voice data is acquired by the voice acquisition unit 108, the display content specifying unit 109 is displayed on the display 818 by the display control unit 115 on the application screen 1001 of the measuring application which is the Web application 13. Identify whether the tab input items are displayed (which tab is selected). Then, the rule information specifying unit 110 is stored in the storage unit 117 in order to specify the rule information table corresponding to the tab specified by the display content specifying unit 109 (here, the tab 1111 which is the "combination" tab). With reference to the rule information URL table (see FIG. 8), the rule information URL corresponding to the tab (here, the URL indicating the rule information table for "assembly") is specified. That is, the rule information specifying unit 110 specifies the rule information table by specifying the rule information URL corresponding to the tab specified by the display content specifying unit 109.

<ステップS57>
ユーザ端末10の音声送信部111は、音声認識の要求として、音声取得部108により取得された音声コマンドの音声データを、ルール情報特定部110により特定されたルール情報URLと共に、第2通信部102を介して音声認識サービス50へ送信する(図15の「(6)音声認識要求」)。
<Step S57>
As a voice recognition request, the voice transmission unit 111 of the user terminal 10 uses the voice data of the voice command acquired by the voice acquisition unit 108 together with the rule information URL specified by the rule information identification unit 110, and the second communication unit 102. It is transmitted to the voice recognition service 50 via the above (“(6) Voice recognition request” in FIG. 15).

<ステップS58、S59>
音声認識サービス50の音声取得部502は、ユーザ端末10から通信部501を介して、音声コマンドの音声データ、およびルール情報URLを取得する。次に、音声認識サービス50の音声認識部503は、音声取得部502により取得されたルール情報URLが示すルール情報テーブルの格納先(業務サービス30の記憶部306)から、ルール情報テーブルを取得するための要求を、通信部501を介して業務サービス30へ送信する。業務サービス30の通信部301によってルール情報テーブルの要求が受信されると、ルール情報管理部305は、当該要求に応じて、当該要求に対応するルール情報テーブル(ここでは図9(a)に示す「組上」用のルール情報テーブル)を記憶部306から読み出し、通信部301を介して音声認識サービス50へ送信する(図15の「(7)ルール情報取得」)。
<Steps S58 and S59>
The voice acquisition unit 502 of the voice recognition service 50 acquires the voice data of the voice command and the rule information URL from the user terminal 10 via the communication unit 501. Next, the voice recognition unit 503 of the voice recognition service 50 acquires the rule information table from the storage destination (storage unit 306 of the business service 30) of the rule information table indicated by the rule information URL acquired by the voice acquisition unit 502. The request for this is transmitted to the business service 30 via the communication unit 501. When a request for the rule information table is received by the communication unit 301 of the business service 30, the rule information management unit 305 responds to the request and responds to the request with the rule information table (here, FIG. 9A). The rule information table for "assembly") is read from the storage unit 306 and transmitted to the voice recognition service 50 via the communication unit 301 ("(7) rule information acquisition" in FIG. 15).

<ステップS60、S61>
音声認識サービス50の通信部501により「組上」用のルール情報テーブルが受信されると、音声認識部503は、音声取得部502により取得された音声データをテキスト化する。次に、音声認識部503は、音声データのテキストの先頭から所定数の文字列が、取得した「組上」用のルール情報テーブルのいずれかのキーワードと一致するか探索を行う。ここでは、音声認識部503は、音声データのでキストの文字列「うえすとおーだぶりゅ」と一致するキーワードが探索されたものとし、当該キーワードに対応する認識パターンとして「1」を抽出する。当該認識パターンに従い、音声認識部503は、音声データのテキストのキーワード「うえすとおーだぶりゅ」に対応する部分の後側のテキストを、数値(採寸値)「88」を示すテキストであると解釈する。次に、音声認識部503は、当該数値「88」が、「組上」用のルール情報テーブルにおいてキーワード「うえすとおーだぶりゅ」に対応する数値範囲「0−999」に含まれるものと判定する。そして、音声認識部503は、「組上」用のルール情報テーブルにおいてキーワード「うえすとおーだびゅりゅ」に対応するルール名「kumiue−waistow」を、採寸アプリのタブ「組上」および入力項目「ウエストOW」を識別するための識別情報とし、当該識別情報と、上述の数値(採寸値)「88」を示すテキストとの組み合わせを、認識結果として生成する。そして、音声認識サービス50の認識結果送信部504は、音声認識部503による音声認識処理により生成された認識結果を、通信部501を介してユーザ端末10へ送信する(図15の「(8)認識結果」)。
<Steps S60, S61>
When the communication unit 501 of the voice recognition service 50 receives the rule information table for "combination", the voice recognition unit 503 converts the voice data acquired by the voice acquisition unit 502 into text. Next, the voice recognition unit 503 searches whether a predetermined number of character strings from the beginning of the text of the voice data match any of the keywords in the acquired rule information table for "combination". Here, it is assumed that the voice recognition unit 503 has searched for a keyword that matches the character string "Uesuto Odaburyu" in the voice data, and extracts "1" as a recognition pattern corresponding to the keyword. According to the recognition pattern, the voice recognition unit 503 determines that the text behind the part corresponding to the keyword "Uesuto Odaburyu" in the text of the voice data is a text indicating a numerical value (measurement value) "88". Interpret. Next, the voice recognition unit 503 assumes that the numerical value "88" is included in the numerical range "0-999" corresponding to the keyword "Uesuto Odaburyu" in the rule information table for "combination". judge. Then, the voice recognition unit 503 sets the rule name "kumiue-waitow" corresponding to the keyword "Uesutoodaburyu" in the rule information table for "Kumigami" to the tab "Kumigami" of the measuring application and The identification information for identifying the input item "waist OW" is used, and a combination of the identification information and the text indicating the above-mentioned numerical value (measurement value) "88" is generated as a recognition result. Then, the recognition result transmission unit 504 of the voice recognition service 50 transmits the recognition result generated by the voice recognition process by the voice recognition unit 503 to the user terminal 10 via the communication unit 501 (“(8)) in FIG. Recognition result ").

<ステップS62>
ユーザ端末10の第2通信部102によって認識結果が受信されると、図16に示す認識結果取得部112、入力項目特定部113、位置判定部114および表示制御部115による項目入力・表示調整処理が実行される。項目入力・表示調整処理について、図16を参照しながら説明する。
<Step S62>
When the recognition result is received by the second communication unit 102 of the user terminal 10, the item input / display adjustment process by the recognition result acquisition unit 112, the input item identification unit 113, the position determination unit 114, and the display control unit 115 shown in FIG. Is executed. The item input / display adjustment process will be described with reference to FIG.

<<ステップS621>>
ユーザ端末10の認識結果取得部112は、音声認識サービス50において音声認識処理が行われた認識結果を、第2通信部102を介して取得する。そして、ユーザ端末10の入力項目特定部113は、認識結果取得部112により取得された認識結果から識別情報を取得する。そして、ステップS622へ移行する。
<< Step S621 >>
The recognition result acquisition unit 112 of the user terminal 10 acquires the recognition result of the voice recognition process performed by the voice recognition service 50 via the second communication unit 102. Then, the input item identification unit 113 of the user terminal 10 acquires the identification information from the recognition result acquired by the recognition result acquisition unit 112. Then, the process proceeds to step S622.

<<ステップS622>>
入力項目特定部113は、取得した識別情報から、採寸アプリで表示されているタブと、当該タブの画面において数値(採寸値)が入力される対象となる入力項目とを特定する。具体的には、入力項目特定部113は、「組上」タブであるタブ1111を特定し、入力対象として「ウエストOW」の入力項目を特定する。そして、ステップS623へ移行する。
<< Step S622 >>
The input item specifying unit 113 identifies the tab displayed by the measuring application and the input item to which the numerical value (measured value) is input on the screen of the tab from the acquired identification information. Specifically, the input item specifying unit 113 specifies the tab 1111 which is the "assembly" tab, and specifies the input item of "waist OW" as an input target. Then, the process proceeds to step S623.

<<ステップS623>>
また、入力項目特定部113は、認識結果から数値(採寸値)のテキスト「88」を取得する。そして、ステップS624へ移行する。
<< Step S623 >>
Further, the input item specifying unit 113 acquires the text “88” of the numerical value (measured value) from the recognition result. Then, the process proceeds to step S624.

<<ステップS624>>
そして、ユーザ端末10の表示制御部115は、入力項目特定部113により特定された入力項目「ウエストOW」の寸法入力部(フィールド)(入力領域)に、入力項目特定部113により取得されたテキスト「88」を入力する。この時点では、図17(a)に示すアプリ画面1001のように、入力項目「ウエストOW」、ゲージサイズ、寸法補正入力部、および「88」が入力された寸法入力部(フィールド)は、表示領域に表示されていない。そして、ステップ625へ移行する。
<< Step S624 >>
Then, the display control unit 115 of the user terminal 10 enters the text acquired by the input item specifying unit 113 in the dimension input unit (field) (input area) of the input item "waist OW" specified by the input item specifying unit 113. Enter "88". At this point, as in the application screen 1001 shown in FIG. 17A, the input item "waist OW", the gauge size, the dimension correction input unit, and the dimension input unit (field) in which "88" is input are displayed. Not displayed in the area. Then, the process proceeds to step 625.

<<ステップS625>>
そして、ユーザ端末10の位置判定部114は、入力項目特定部113により特定された「組上」タブの少なくとも入力項目「ウエストOW」および寸法入力部(フィールド)が、ディスプレイ818に表示されているアプリ画面の表示領域に完全に表示されているか否かを判定する。入力項目「ウエストOW」および寸法入力部(フィールド)が表示領域に完全に表示されている場合(ステップS625:Yes)、ステップS627へ移行し、完全には表示されていない(すなわち、一部のみが表示、または完全に表示されていない)場合(ステップS625:No)、ステップS626へ移行する。
<< Step S625 >>
Then, in the position determination unit 114 of the user terminal 10, at least the input item "waist OW" and the dimension input unit (field) of the "assembly" tab specified by the input item identification unit 113 are displayed on the display 818. Determine if it is completely displayed in the display area of the application screen. When the input item "waist OW" and the dimension input part (field) are completely displayed in the display area (step S625: Yes), the process proceeds to step S627 and the input item is not completely displayed (that is, only a part). Is displayed or not completely displayed) (step S625: No), the process proceeds to step S626.

<<ステップS626>>
表示制御部115は、少なくとも入力項目「ウエストOW」および「88」が入力された寸法入力部(フィールド)が表示領域に完全に表示されるように、当該表示領域において自動的にスクロールさせる。例えば、表示制御部115は、図17(a)に示すアプリ画面1001のように、入力項目「ウエストOW」および「88」が入力された寸法入力部(フィールド)が表示領域に完全には表示されていない状態から、当該表示領域の内容を上方向に自動的にスクロール(移動)させ、図17(b)に示すように、入力項目「ウエストOW」および「88」が入力された寸法入力部(フィールド)(寸法入力部1136)を表示領域において完全に表示させるようにする。また、可能であれば、表示制御部115は、入力項目「ウエストOW」および「88」が入力された寸法入力部(フィールド)(寸法入力部1136)を表示領域の中央に位置するようにスクロールさせることが望ましい。そして、ステップS627へ移行する。
<< Step S626 >>
The display control unit 115 automatically scrolls in the display area so that the dimension input unit (field) in which at least the input items "waist OW" and "88" are input is completely displayed in the display area. For example, in the display control unit 115, as in the application screen 1001 shown in FIG. 17A, the dimension input unit (field) in which the input items “waist OW” and “88” are input is completely displayed in the display area. The contents of the display area are automatically scrolled (moved) upward from the state where the display area is not set, and as shown in FIG. 17 (b), the dimension input in which the input items "waist OW" and "88" are input. The part (field) (dimension input part 1136) is completely displayed in the display area. If possible, the display control unit 115 scrolls the dimension input unit (field) (dimension input unit 1136) into which the input items "waist OW" and "88" are input so as to be located at the center of the display area. It is desirable to let it. Then, the process proceeds to step S627.

<<ステップS627>>
さらに、表示制御部115は、図17(b)に示すように、入力項目「ウエストOW」および「88」が入力された寸法入力部(フィールド)の部分(これらを含む行の部分等)を、ハイライト表示等によって強調表示する。なお、強調表示は、ハイライト表示に限られず、例えば、入力項目、および寸法入力部に入力された数値を太字にしたり、色を変更したりすることによって強調表示するものとしてもよい。また、強調表示に加えて、適正に数値(採寸値)が音声入力されたことを作業者に通知するための音をスピーカ816によって出力させるものとしてもよい。そして、図14におけるステップS63へ移行する。
<< Step S627 >>
Further, as shown in FIG. 17B, the display control unit 115 inputs a portion of the dimension input unit (field) into which the input items “waist OW” and “88” are input (a portion of a line including these). , Highlight by highlighting, etc. The highlighting is not limited to the highlighting, and may be highlighted by, for example, making the input items and the numerical values input to the dimension input unit bold or changing the color. Further, in addition to the highlighting, the speaker 816 may output a sound for notifying the operator that a numerical value (measured value) has been properly input by voice. Then, the process proceeds to step S63 in FIG.

なお、ステップS625において位置判定部114により少なくとも入力項目および寸法入力部(フィールド)が、アプリ画面の表示領域に完全に表示されているか否かが判定されるものとしているが、当該判定処理はスキップするものとしてもよい。この場合、ステップS626での表示制御部115によるスクロール動作が必ず行われることになる。 In step S625, the position determination unit 114 determines whether or not at least the input item and the dimension input unit (field) are completely displayed in the display area of the application screen, but the determination process is skipped. It may be the one to do. In this case, the scroll operation by the display control unit 115 in step S626 is always performed.

<ステップS63>
作業者は、音声コマンドの発声による採寸値の音声入力の結果、採寸アプリのアプリ画面1001において、手でスクロール操作等をせずに、表示制御部115により表示領域に完全に表示されるように自動的にスクロールがされた結果、入力項目「ウエストOW」のフィールド(寸法入力部1136)に、発声した「88」が入力されていることを確認することができる。さらに、表示制御部115により入力項目「ウエストOW」および「88」が入力された寸法入力部(フィールド)の部分が強調表示されるので、入力項目「ウエストOW」、および寸法入力部1136に「88」が入力されていることを、迅速に確認することができる。
<Step S63>
As a result of voice input of the measurement value by uttering a voice command, the operator can completely display the measurement value on the application screen 1001 of the measurement application in the display area by the display control unit 115 without scrolling by hand. As a result of automatic scrolling, it can be confirmed that the uttered "88" is input in the field (dimension input unit 1136) of the input item "waist OW". Further, since the display control unit 115 highlights the part of the dimension input unit (field) in which the input items "waist OW" and "88" are input, the input item "waist OW" and the dimension input unit 1136 have "" It can be quickly confirmed that "88" is input.

以上のステップS51〜S63の処理を、作業者による音声入力が必要とされる入力項目の数だけ繰り返す。 The above steps S51 to S63 are repeated for the number of input items that require voice input by the operator.

なお、上述のステップS51〜S63では、アプリ画面1001において寸法入力部について採寸値を直接、音声入力する動作について説明したが、これに限定されるものではなく、寸法補正入力部についてゲージサイズからの差分値(補正値)を音声入力するものとしてもよい。この場合の音声認識動作およびアプリ画面1001における自動的なスクロール動作等は、上述のステップS51〜S63と同様である。図18には、アプリ画面1001において、入力項目「着丈」の寸法補正入力部に差分値(補正値)「−1」が音声入力された場合の表示状態が示されている。この場合、入力項目「着丈」の寸法補正入力部に差分値「−1」が入力されると、ゲージサイズ「71」との加算が実行され、その加算結果「70」が対応する寸法入力部に自動的に入力される。そして、図18に示すように、入力項目「着丈」、および「−1」が入力された寸法補正入力部(フィールド)が表示領域に完全に表示されるように自動的にスクロールされ、かつ、強調表示される。 In steps S51 to S63 described above, the operation of directly inputting the measurement value by voice to the dimension input unit on the application screen 1001 has been described, but the present invention is not limited to this, and the dimension correction input unit is from the gauge size. The difference value (correction value) may be input by voice. The voice recognition operation and the automatic scrolling operation on the application screen 1001 in this case are the same as those in steps S51 to S63 described above. FIG. 18 shows a display state when a difference value (correction value) “-1” is input by voice in the dimension correction input unit of the input item “length” on the application screen 1001. In this case, when the difference value "-1" is input to the dimension correction input section of the input item "length", the addition with the gauge size "71" is executed, and the addition result "70" corresponds to the dimension input section. Is automatically entered in. Then, as shown in FIG. 18, the dimension correction input unit (field) in which the input items "length" and "-1" are input is automatically scrolled so as to be completely displayed in the display area, and It will be highlighted.

<ステップS64>
作業者は、必要な入力項目についての採寸値をすべて音声入力し終わった後、登録ボタン1151を押下する。
<Step S64>
The operator presses the registration button 1151 after completing the voice input of all the measurement values for the necessary input items.

<ステップS65、S66>
すると、ユーザ端末10の入力情報送信部116は、音声入力等により入力された各入力項目の採寸値(寸法入力部の値)を採寸情報として、基本情報および採寸日時と共に、第2通信部102を介して業務サービス30へ送信する。そして、業務サービス30の通信部301により採寸情報、基本情報および採寸日時が受信された場合、予約情報管理部304は、通信部301を介して、これらの情報を情報管理サービス60へ送信する。
<Steps S65, S66>
Then, the input information transmission unit 116 of the user terminal 10 uses the measurement value (value of the dimension input unit) of each input item input by voice input or the like as the measurement information, together with the basic information and the measurement date and time, and the second communication unit 102. It is transmitted to the business service 30 via. Then, when the measurement information, the basic information, and the measurement date and time are received by the communication unit 301 of the business service 30, the reservation information management unit 304 transmits these information to the information management service 60 via the communication unit 301.

<ステップS67〜S69>
情報管理サービス60の通信部601によって採寸情報、基本情報および採寸日時が受信されると、情報管理サービス60の予約情報管理部602は、記憶部603の予約情報テーブル(図11参照)において、対応する顧客名のレコードの採寸結果、基本情報および採寸日時の各カラムに、受信された採寸情報、基本情報および採寸日時を登録する。そして、予約情報管理部602は、登録完了の旨を、通信部601を介して業務サービス30へ送信する。業務サービス30の通信部301によって登録完了の旨が受信された場合、予約情報管理部304は、当該登録完了の旨を通信部301を介してユーザ端末10へ送信する。
<Steps S67 to S69>
When the measurement information, the basic information, and the measurement date and time are received by the communication unit 601 of the information management service 60, the reservation information management unit 602 of the information management service 60 responds in the reservation information table (see FIG. 11) of the storage unit 603. Register the received measurement information, basic information, and measurement date and time in each column of the measurement result, basic information, and measurement date and time of the customer name record. Then, the reservation information management unit 602 transmits the fact that the registration is completed to the business service 30 via the communication unit 601. When the communication unit 301 of the business service 30 receives the notification of registration completion, the reservation information management unit 304 transmits the registration completion to the user terminal 10 via the communication unit 301.

<ステップS70、S71>
ユーザ端末10の第2通信部102によって登録完了の旨が受信された場合、音声通信制御部104は、ディスプレイ818を介して当該登録完了の旨を作業者に通知する。
<Steps S70, S71>
When the second communication unit 102 of the user terminal 10 receives the notification of registration completion, the voice communication control unit 104 notifies the operator of the registration completion via the display 818.

以上のステップS51〜S71の流れによって、音声処理システム1の音声入力処理が行われる。 According to the flow of steps S51 to S71 described above, the voice input process of the voice processing system 1 is performed.

なお、上述したように、タブの切り替えを指令するための音声コマンドである場合も、処理は図14のステップS51〜S63と同様であり、ステップS62では、ユーザ端末10の認識結果取得部112は、認識結果からタブを識別するための識別情報を取得する。そして、表示制御部115は、取得された識別情報が示すタブの表示に切り替える。例えば、取得された識別情報が「組下」タブを示す場合、表示制御部115は、図19に示すように、「組下」タブ(タブ1112)に対応する入力項目、ゲージサイズ、寸法補正入力部(図19では寸法補正入力部1175)、および寸法入力部(図19では寸法入力部1161〜1164)の表示に切り替える。そして、当該「組下」タブが表示されている状態において、対象となる入力項目に対する採寸値の音声コマンドが発声されると、図14のステップS51〜S63の処理が実行される。例えば、入力項目「ヒップ上り」の採寸値を音声入力するための音声コマンドが発声された場合、表示制御部115は、図19に示すように、少なくとも入力項目「ヒップ上り」および採寸値が入力された寸法入力部(フィールド)が表示領域に完全に表示されるように、当該表示領域において自動的にスクロールさせる。そして、表示制御部115は、図19に示すように、入力項目「ヒップ上り」および採寸値が入力された寸法入力部(フィールド)の部分(これらを含む行の部分等)を、ハイライト表示等によって強調表示する。 As described above, even in the case of a voice command for instructing tab switching, the processing is the same as in steps S51 to S63 of FIG. 14, and in step S62, the recognition result acquisition unit 112 of the user terminal 10 , Acquire the identification information for identifying the tab from the recognition result. Then, the display control unit 115 switches to the display of the tab indicated by the acquired identification information. For example, when the acquired identification information indicates the "Assembly" tab, the display control unit 115 sets the input items, the gauge size, and the dimensional correction corresponding to the "Assembly" tab (tab 1112) as shown in FIG. The display is switched to the input unit (dimension correction input unit 1175 in FIG. 19) and the dimension input unit (dimension input unit 1161 to 1164 in FIG. 19). Then, when the voice command of the measurement value for the target input item is uttered in the state where the "Assembly" tab is displayed, the processes of steps S51 to S63 of FIG. 14 are executed. For example, when a voice command for inputting the measurement value of the input item "hip up" by voice is uttered, the display control unit 115 inputs at least the input item "hip up" and the measurement value as shown in FIG. Automatically scroll in the display area so that the dimension input section (field) is completely displayed in the display area. Then, as shown in FIG. 19, the display control unit 115 highlights the input item “hip up” and the dimension input unit (field) in which the measurement value is input (the part of the line including these). Highlight by etc.

また、上述のステップS64における登録ボタン1151の手動による押下操作に代えて、登録を指令するための音声コマンドにより登録処理が実行可能であるものとしてもよい。この場合、例えば、ルール情報テーブルにおいて、認識パターン「2」(キーワードのみ識別)として、登録処理をするためのルール名が登録されていれば、ステップS51〜S63の流れで同様に処理が可能である。 Further, instead of the manual pressing operation of the registration button 1151 in step S64 described above, the registration process may be executed by a voice command for instructing registration. In this case, for example, if the rule name for the registration process is registered as the recognition pattern "2" (identifying only the keyword) in the rule information table, the same process can be performed in the flow of steps S51 to S63. be.

以上のように、本実施形態に係る音声処理システム1では、表示されているタブの入力項目に対して、音声コマンドにより測ったデータ(採寸値)を音声入力した場合、音声入力されたデータの入力項目、および当該データが入力された入力部(フィールド)が少なくとも完全には表示されていない場合、表示領域を自動的にスクロールし、少なくとも当該入力項目、およびデータが入力された入力部が表示領域に完全に表示されるようにする。これによって、対象物に対して測ったデータを音声入力する場合において入力項目数が多いときでも、音声入力を行った項目の内容を即座に確認することができることにより作業効率を向上させることができる。 As described above, in the voice processing system 1 according to the present embodiment, when the data (measurement value) measured by the voice command is input by voice to the input item of the displayed tab, the data input by voice is input. If the input item and the input part (field) where the data is input are not displayed at least completely, the display area is automatically scrolled to display at least the input item and the input part where the data is input. Make it completely visible in the area. As a result, even when the number of input items is large when the data measured for the object is input by voice, the contents of the items for which the voice input is performed can be immediately confirmed, so that the work efficiency can be improved. ..

また、音声処理システム1では、少なくとも当該入力項目、およびデータが入力された入力部が表示領域に完全に表示されるように自動的にスクロールされた場合、当該入力項目およびデータが入力された入力部(フィールド)の部分(これらを含む行の部分等)を、ハイライト表示等によって強調表示する。これによって、入力項目、および入力部にデータが入力されていることを、迅速に確認することができる。 Further, in the voice processing system 1, at least when the input item and the input unit in which the data is input are automatically scrolled so as to be completely displayed in the display area, the input item and the input in which the data is input are input. The part (field) part (the part of the line including these) is highlighted by highlighting or the like. As a result, it is possible to quickly confirm that data has been input to the input item and the input unit.

なお、本実施形態では、選択されているタブに応じて、ユーザ端末10により音声認識処理で用いるルール情報テーブルが切り替えられる(特定される)ものとしていたが、これに限定されない。上述の実施形態では、同じアプリ画面(アプリ画面1001等)上でタブを切り替えているものとしているが、例えば、「組上」用の画面、「組下」用の画面等、画面自体を切り替える場合も考えらえる。この場合、現在表示されている画面に応じて、ユーザ端末10によりルール情報テーブルが切り替えられる(特定される)ものとしてもよい。また、例えば、同じアプリ画面において、「組上」、「組下」および「ベスト」の各入力項目が含まれる場合も考えられる。この場合、現在画面に表示されている入力項目のスクロール位置に応じて、ユーザ端末10によりルール情報テーブルが切り替えられる(特定される)ものとしてもよい。すなわち、上述のような、選択されたタブ、切り替えられた画面、および入力項目のスクロール位置は、「組上」、「組下」および「ベスト」等のように測定対象(採寸対象)を特定することになる。 In the present embodiment, the rule information table used in the voice recognition process is switched (specified) by the user terminal 10 according to the selected tab, but the present invention is not limited to this. In the above-described embodiment, it is assumed that the tabs are switched on the same application screen (application screen 1001 or the like), but for example, the screen itself is switched such as a screen for "combination" and a screen for "combination". You can think of a case. In this case, the rule information table may be switched (specified) by the user terminal 10 according to the currently displayed screen. Further, for example, on the same application screen, it is conceivable that each input item of "combination", "combination" and "best" is included. In this case, the rule information table may be switched (specified) by the user terminal 10 according to the scroll position of the input item currently displayed on the screen. That is, as described above, the selected tab, the switched screen, and the scroll position of the input item specify the measurement target (measurement target) such as "set up", "set down", and "best". Will be done.

また、図12におけるステップS13において、ユーザ端末10は、業務サービス30からWebコンテンツのみを受信するだけでなく、記憶部306に記憶されている各ルール情報テーブルも予め受信しておくものとしてもよい。この場合、図14におけるステップS57において、ユーザ端末10は、選択されているタブに対応したルール情報テーブルのURLではなく、ルール情報テーブルそのものを音声認識サービス50に送信するものとすればよい。 Further, in step S13 in FIG. 12, the user terminal 10 may not only receive only the Web content from the business service 30, but also receive each rule information table stored in the storage unit 306 in advance. .. In this case, in step S57 in FIG. 14, the user terminal 10 may transmit the rule information table itself to the voice recognition service 50 instead of the URL of the rule information table corresponding to the selected tab.

また、図1に示したシステムの構成上、音声端末20からユーザ端末10に受信された作業者の音声データは、通話サービス40および業務サービス30を介して、再びユーザ端末10に受信されているものとしているが、これに限定されない。すなわち、音声端末20からユーザ端末10に受信された作業者の音声データは、例えば、通話サービス40のみを介して、再びユーザ端末10に受信されるものとしてもよく、または、音声端末20からユーザ端末10に受信された音声データを、そのまま音声認識サービス50へ送信して音声認識処理に用いられるものとしてもよい。 Further, due to the system configuration shown in FIG. 1, the voice data of the worker received from the voice terminal 20 to the user terminal 10 is received again by the user terminal 10 via the call service 40 and the business service 30. However, it is not limited to this. That is, the voice data of the worker received from the voice terminal 20 to the user terminal 10 may be received again to the user terminal 10 via, for example, only the call service 40, or the user from the voice terminal 20. The voice data received by the terminal 10 may be transmitted to the voice recognition service 50 as it is and used for the voice recognition process.

また、ユーザ端末10は、通話を中継する通話アプリ11がインストールされた端末として、かつ、音声入力された採寸値を表示する端末としての双方の役割を担っているがこれに限定されない。すなわち、通話を中継する通話アプリ11がインストールされた端末と、音声入力された採寸値を表示する端末とが、別の情報処理装置であってもよい。 Further, the user terminal 10 plays both a role as a terminal on which the call application 11 for relaying a call is installed and as a terminal for displaying a measured value input by voice, but is not limited thereto. That is, the terminal on which the call application 11 that relays the call is installed and the terminal that displays the measured value input by voice may be different information processing devices.

また、作業者が発声した音声コマンドは、音声端末20で受信され音声データとしてユーザ端末10へ送信されているが、これに限定されない。すなわち、ユーザ端末10のマイク815による音声入力機能を利用して、ユーザ端末10が、作業者が発声した音声コマンドを直接受信するものとしてもよい。 Further, the voice command uttered by the worker is received by the voice terminal 20 and transmitted as voice data to the user terminal 10, but the present invention is not limited to this. That is, the user terminal 10 may directly receive the voice command uttered by the operator by using the voice input function by the microphone 815 of the user terminal 10.

また、上述の実施形態では、アプリ画面(アプリ画面1001等)において、各入力項目に対して採寸値を音声入力する動作を説明したが、タッチパネル821を介して直接、採寸値を手入力することも可能である。この場合、採寸値を手入力する場合、対象となる入力項目は、当然アプリ画面の表示領域に表示されているので、図14で上述したようなスクロール移動、および強調表示(ハイライト表示等)の措置は必要ない。このように、音声入力および手入力の双方を可能とすることにより、データ入力について多様性を持たせることができ、採寸作業のシチュエーションによって、データの入力方法を切り替えることができる。 Further, in the above-described embodiment, the operation of inputting the measurement value by voice for each input item on the application screen (application screen 1001 or the like) has been described, but the measurement value is manually input directly via the touch panel 821. Is also possible. In this case, when manually inputting the measurement value, the target input item is naturally displayed in the display area of the application screen, so that the scroll movement and highlighting (highlight display, etc.) as described above in FIG. 14 are performed. No action is required. By enabling both voice input and manual input in this way, it is possible to give diversity to data input, and it is possible to switch the data input method depending on the situation of the measuring work.

(変形例)
本変形例に係る音声処理システム1について、上述の実施形態に係る音声処理システム1との相違点を中心に説明する。
(Modification example)
The voice processing system 1 according to this modification will be described focusing on the differences from the voice processing system 1 according to the above-described embodiment.

図20は、変形例に係る音声処理システムのデータの流れを説明する図である。図20を参照しながら、本変形例に係る音声処理システム1について説明する。 FIG. 20 is a diagram illustrating a data flow of the voice processing system according to the modified example. The voice processing system 1 according to this modification will be described with reference to FIG.

上述の実施形態に係る音声処理システム1では、ユーザ端末10が音声データを取得し(図15の「(5)音声データ」)、業務サービス30へ音声データおよびルール情報URLを音声認識サービス50へ送信することにより音声認識要求を行い(図15の「(6)音声認識要求」)、音声認識サービス50が業務サービス30からルール情報テーブルを取得し(図15の「(7)ルール情報取得」)、音声認識処理の認識結果をユーザ端末10へ送信するものとしている(図15の「(8)認識結果」)。しかし、このような動作に限られず、例えば、図20に示すような動作としてもよい。 In the voice processing system 1 according to the above-described embodiment, the user terminal 10 acquires voice data (“(5) voice data” in FIG. 15), and sends the voice data and the rule information URL to the business service 30 to the voice recognition service 50. A voice recognition request is made by transmitting (“(6) voice recognition request” in FIG. 15), and the voice recognition service 50 acquires a rule information table from the business service 30 (“(7) rule information acquisition” in FIG. 15). ), The recognition result of the voice recognition process is transmitted to the user terminal 10 (“(8) recognition result” in FIG. 15). However, the operation is not limited to such an operation, and may be an operation as shown in FIG. 20, for example.

図20に示すように、業務サービス30が通話サービス40から音声データを受信した後(図20の「(5)音声データ」)、当該音声データ、および自身が記憶しているルール情報テーブルを音声認識サービス50へ送信することにより音声認識要求を行う(図20の「(6)音声認識要求」)。そして、音声認識サービス50は、音声認識処理の認識結果を業務サービス30へ送信し(図20の「(7)認識結果」)、業務サービス30は、認識結果から識別情報および数値を取得してアプリ画面の識別情報が示す寸法入力部(フィールド)に入力し、スクロール移動および強調表示を行ったアプリ画面のWebページをユーザ端末10へ送信する(図20の「(8)画面更新情報」)。 As shown in FIG. 20, after the business service 30 receives the voice data from the call service 40 (“(5) voice data” in FIG. 20), the voice data and the rule information table stored by itself are voiced. A voice recognition request is made by transmitting to the recognition service 50 (“(6) Voice recognition request” in FIG. 20). Then, the voice recognition service 50 transmits the recognition result of the voice recognition process to the business service 30 (“(7) recognition result” in FIG. 20), and the business service 30 acquires the identification information and the numerical value from the recognition result. The web page of the application screen that has been scrolled and highlighted by inputting into the dimension input section (field) indicated by the identification information of the application screen is transmitted to the user terminal 10 (“(8) Screen update information” in FIG. 20). ..

以上のような動作によっても、上述の実施形態に係る音声処理システム1と同様の効果を奏することができる。 Even with the above operation, the same effect as that of the voice processing system 1 according to the above-described embodiment can be obtained.

なお、上述の実施形態および変形例に係る音声処理システム1は、上述したように、採寸作業において得られた採寸値を音声入力する場合に限られず、作業者が特定の対象物に対する測定により得たデータを、情報処理装置等に音声入力する処理について広く適用できるものである。例えば、製品または農作物の品質検査において、測定機器を操作することにより測定された測定データを音声入力するような場面にも適用可能である。また、例えば、道路、橋梁およびトンネル等の構造物に対する検査において、検査機器を操作することによって得られたデータを音声入力するような場面にも適用可能である。 As described above, the voice processing system 1 according to the above-described embodiment and modification is not limited to the case where the measurement value obtained in the measurement work is input by voice, and the operator obtains it by measuring a specific object. It can be widely applied to the process of inputting the data to an information processing device or the like by voice. For example, in the quality inspection of a product or an agricultural product, it can be applied to a situation where measurement data measured by operating a measuring device is input by voice. Further, for example, in the inspection of structures such as roads, bridges and tunnels, it can be applied to a situation where data obtained by operating an inspection device is input by voice.

また、上述の実施形態および変形例の各機能は、一または複数の処理回路によって実現することが可能である。ここで、「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field−Programmable Gate Array)、SoC(System on a Chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。 Further, each function of the above-described embodiment and modification can be realized by one or a plurality of processing circuits. Here, the "processing circuit" is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or an ASIC (Application Special Integrated) designed to execute each function described above. Devices including devices such as Circuits, DSPs (Digital Signal Processors), FPGAs (Field-Programmable Gate Arrays), SoCs (System on a Chips), GPUs (Graphics Processing Units), and conventional circuit modules.

また、上述の実施形態および変形例において、ユーザ端末10または業務サービス30の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の実施形態および変形例に係るユーザ端末10および業務サービス30で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk−Recordable)、DVDまたはSD(Secure Digital)カード等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態および変形例に係るユーザ端末10および業務サービス30で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および変形例に係るユーザ端末10および業務サービス30で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態および変形例に係るユーザ端末10および業務サービス30で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。 Further, in the above-described embodiments and modifications, when at least one of the functional units of the user terminal 10 or the business service 30 is realized by executing a program, the program is provided by being incorporated in a ROM or the like in advance. .. Further, the program executed by the user terminal 10 and the business service 30 according to the above-described embodiment and modification is a CD-ROM (Compact Disc Read Only Memory) or a flexible disk in an installable format or an executable format file. It may be configured to be recorded and provided on a computer-readable recording medium such as (FD), CD-R (Compact Disk-Recordable), DVD or SD (Secure Digital) card. Further, the program executed by the user terminal 10 and the business service 30 according to the above-described embodiment and modification is stored on a computer connected to a network such as the Internet and provided by downloading via the network. It may be configured. Further, the program executed by the user terminal 10 and the business service 30 according to the above-described embodiment and modification may be configured to be provided or distributed via a network such as the Internet. Further, the program executed by the user terminal 10 and the business service 30 according to the above-described embodiment and modification has a module configuration including at least one of the above-mentioned functional units, and is actually hardware. When the CPU reads a program from the above-mentioned storage device and executes it, each of the above-mentioned functional units is loaded on the main storage device and generated.

1 音声処理システム
2 ネットワーク
10 ユーザ端末
11 通話アプリ
12 ブラウザ
13 Webアプリ
20 音声端末
30 業務サービス
31 Webサーバ
40 通話サービス
50 音声認識サービス
60 情報管理サービス
101 第1通信部
102 第2通信部
103 入力部
104 音声通信制御部
105 認証要求部
106 接続要求部
107 予約情報取得部
108 音声取得部
109 表示内容特定部
110 ルール情報特定部
111 音声送信部
112 認識結果取得部
113 入力項目特定部
114 位置判定部
115 表示制御部
116 入力情報送信部
117 記憶部
201 音声受信部
202 通信部
301 通信部
302 Webサーバ
303 認証部
304 予約情報管理部
305 ルール情報管理部
306 記憶部
401 通信部
402 通話制御部
403 接続管理部
404 記憶部
501 通信部
502 音声取得部
503 音声認識部
504 認識結果送信部
505 記憶部
601 通信部
602 予約情報管理部
603 記憶部
801 CPU
802 ROM
803 RAM
804 EEPROM
805 CMOS
806 撮像素子I/F
807 加速度・方位センサ
808 メディア
809 メディアI/F
810 バス
811 GPS受信部
812 遠距離通信回路
812a アンテナ
815 マイク
816 スピーカ
817 音入出力I/F
818 ディスプレイ
819 外部機器接続I/F
820 近距離通信回路
820a アンテナ
821 タッチパネル
901 CPU
902 ROM
903 RAM
905 補助記憶装置
906 記録メディア
907 メディアドライブ
908 ディスプレイ
909 ネットワークI/F
910 バス
911 キーボード
912 マウス
913 DVD
914 DVDドライブ
1001、1002 アプリ画面
1100 基本寸法入力部
1111〜1113 タブ
1120 ゲージ入力部
1131〜1134、1136 寸法入力部
1141〜1146 寸法補正入力部
1151 登録ボタン
1161〜1164 寸法入力部
1175 寸法補正入力部
1200 グループID入力画面
1201 グループID入力部
1202 接続ボタン
1203 キャンセルボタン
1 Voice processing system 2 Network 10 User terminal 11 Call application 12 Browser 13 Web application 20 Voice terminal 30 Business service 31 Web server 40 Call service 50 Voice recognition service 60 Information management service 101 1st communication unit 102 2nd communication unit 103 Input unit 104 Voice communication control unit 105 Authentication request unit 106 Connection request unit 107 Reservation information acquisition unit 108 Voice acquisition unit 109 Display content specification unit 110 Rule information specification unit 111 Voice transmission unit 112 Recognition result acquisition unit 113 Input item specification unit 114 Position determination unit 115 Display control unit 116 Input information transmission unit 117 Storage unit 201 Voice reception unit 202 Communication unit 301 Communication unit 302 Web server 303 Authentication unit 304 Reservation information management unit 305 Rule information management unit 306 Storage unit 401 Communication unit 402 Call control unit 403 Connection Management unit 404 Storage unit 501 Communication unit 502 Voice acquisition unit 503 Voice recognition unit 504 Recognition result transmission unit 505 Storage unit 601 Communication unit 602 Reservation information management unit 603 Storage unit 801 CPU
802 ROM
803 RAM
804 EEPROM
805 CMOS
806 Image sensor I / F
807 Acceleration / Direction Sensor 808 Media 809 Media I / F
810 Bus 811 GPS receiver 812 telecommunications circuit 812a Antenna 815 Microphone 816 Speaker 817 Sound input / output I / F
818 Display 819 External device connection I / F
820 Near field communication circuit 820a Antenna 821 Touch panel 901 CPU
902 ROM
903 RAM
905 Auxiliary storage device 906 Recording media 907 Media drive 908 Display 909 Network I / F
910 Bus 911 Keyboard 912 Mouse 913 DVD
914 DVD drive 1001, 1002 App screen 1100 Basic dimension input section 1111-1113 Tab 1120 Gauge input section 1131-1134, 1136 Dimension input section 1141-1146 Dimension correction input section 1151 Registration button 1161-1164 Dimension input section 1175 Dimension correction input section 1200 Group ID input screen 1201 Group ID input unit 1202 Connection button 1203 Cancel button

特開2019−099960号公報Japanese Unexamined Patent Publication No. 2019-09960

Claims (10)

測定されたデータを音声入力する音声処理装置であって、
前記データを音声入力するための音声コマンドの音声データを取得する第1取得部と、
前記第1取得部により取得された前記音声データ、および該音声データに対する音声認識処理の要求を、音声認識サービスへ送信する送信部と、
前記音声認識サービスから前記音声認識処理の認識結果を取得する第2取得部と、
前記第2取得部により取得された前記認識結果から、前記データの入力対象となる入力項目を特定する第1特定部と、
前記第1特定部により特定された前記入力項目の入力領域に、前記認識結果に含まれる音声認識された前記データを入力するデータ入力部と、
前記第1特定部により特定された前記入力項目、および前記データ入力部により前記データが入力された前記入力領域が、表示装置の表示領域に表示されるように、該入力項目および該入力領域を移動させる移動部と、
を備えた音声処理装置。
A voice processing device that inputs measured data by voice.
The first acquisition unit that acquires the voice data of the voice command for inputting the data by voice, and
A transmission unit that transmits the voice data acquired by the first acquisition unit and a request for voice recognition processing for the voice data to the voice recognition service.
A second acquisition unit that acquires the recognition result of the voice recognition process from the voice recognition service, and
From the recognition result acquired by the second acquisition unit, a first specific unit that specifies an input item to be input to the data, and a first specific unit.
A data input unit for inputting the voice-recognized data included in the recognition result into the input area of the input item specified by the first specific unit.
The input item and the input area are displayed so that the input item specified by the first specific unit and the input area in which the data is input by the data input unit are displayed in the display area of the display device. The moving part to move and
A voice processing device equipped with.
前記移動部により移動された前記入力項目および前記入力領域について強調表示をする強調表示部を、さらに備えた請求項1に記載の音声処理装置。 The voice processing apparatus according to claim 1, further comprising a highlighting unit that highlights the input item and the input area moved by the moving unit. 手動による操作によって、前記データを直接、前記入力領域に入力する入力部を、さらに備えた請求項1または2に記載の音声処理装置。 The voice processing device according to claim 1 or 2, further comprising an input unit for directly inputting the data into the input area by a manual operation. 前記第1特定部により特定された前記入力項目、および前記データが入力された前記入力領域が、前記表示領域に完全に表示されているか否かを判定する判定部を、さらに備え、
前記移動部は、前記判定部により前記入力項目および前記入力領域が、前記表示領域に完全には表示されていないと判定された場合、該入力項目および該入力領域を、該表示領域において完全に表示されるように移動させる請求項1〜3のいずれか一項に記載の音声処理装置。
A determination unit for determining whether or not the input item specified by the first specific unit and the input area into which the data is input is completely displayed in the display area is further provided.
When the determination unit determines that the input item and the input area are not completely displayed in the display area, the moving unit completely displays the input item and the input area in the display area. The voice processing device according to any one of claims 1 to 3, which is moved so as to be displayed.
前記移動部は、前記第1特定部により特定された前記入力項目、および前記データ入力部により前記データが入力された前記入力領域が、前記表示領域の中央に位置するように、該入力項目および該入力領域を移動させる請求項1〜4のいずれか一項に記載の音声処理装置。 The moving unit is such that the input item specified by the first specific unit and the input area in which the data is input by the data input unit are located in the center of the display area. The voice processing device according to any one of claims 1 to 4, wherein the input area is moved. 前記表示装置においてどの測定対象の入力項目が表示されているかを特定する第2特定部を、さらに備え、
前記送信部は、前記音声データと、前記第2特定部により特定された前記測定対象に対応する前記音声コマンドの解釈方法を規定した規定情報を特定する情報と、を前記音声認識サービスへ送信する請求項1〜5のいずれか一項に記載の音声処理装置。
A second specific unit for specifying which input item to be measured is displayed on the display device is further provided.
The transmission unit transmits the voice data and information that specifies the specified information that defines the interpretation method of the voice command corresponding to the measurement target specified by the second specific unit to the voice recognition service. The voice processing device according to any one of claims 1 to 5.
前記第2特定部は、前記表示装置に表示された画面上で選択されたタブ、該表示装置に表示されている画面、または、該表示装置に表示されている入力項目のスクロール位置に応じて、どの測定対象の入力項目が表示されているかを特定する請求項6に記載の音声処理装置。 The second specific unit corresponds to a tab selected on the screen displayed on the display device, a screen displayed on the display device, or a scroll position of an input item displayed on the display device. The voice processing device according to claim 6, wherein an input item to be measured is specified. 測定されたデータを音声入力する音声処理システムであって、
前記データを音声入力するための音声コマンドの音声データを取得する第1取得部と、
前記第1取得部により取得された前記音声データ、および該音声データに対する音声認識処理の要求を、音声認識サービスへ送信する送信部と、
前記音声認識サービスから前記音声認識処理の認識結果を取得する第2取得部と、
前記第2取得部により取得された前記認識結果から、前記データの入力対象となる入力項目を特定する第1特定部と、
前記第1特定部により特定された前記入力項目の入力領域に、前記認識結果に含まれる音声認識された前記データを入力するデータ入力部と、
前記第1特定部により特定された前記入力項目、および前記データ入力部により前記データが入力された前記入力領域が、表示装置の表示領域に表示されるように、該入力項目および該入力領域を移動させる移動部と、
を備えた音声処理システム。
A voice processing system that inputs measured data by voice.
The first acquisition unit that acquires the voice data of the voice command for inputting the data by voice, and
A transmission unit that transmits the voice data acquired by the first acquisition unit and a request for voice recognition processing for the voice data to the voice recognition service.
A second acquisition unit that acquires the recognition result of the voice recognition process from the voice recognition service, and
From the recognition result acquired by the second acquisition unit, a first specific unit that specifies an input item to be input to the data, and a first specific unit.
A data input unit for inputting the voice-recognized data included in the recognition result into the input area of the input item specified by the first specific unit.
The input item and the input area are displayed so that the input item specified by the first specific unit and the input area in which the data is input by the data input unit are displayed in the display area of the display device. The moving part to move and
A voice processing system equipped with.
測定されたデータを音声入力する音声処理方法であって、
前記データを音声入力するための音声コマンドの音声データを取得する第1取得ステップと、
取得した前記音声データ、および該音声データに対する音声認識処理の要求を、音声認識サービスへ送信する送信ステップと、
前記音声認識サービスから前記音声認識処理の認識結果を取得する第2取得ステップと、
取得した前記認識結果から、前記データの入力対象となる入力項目を特定する特定ステップと、
特定した前記入力項目の入力領域に、前記認識結果に含まれる音声認識された前記データを入力するデータ入力ステップと、
特定した前記入力項目、および前記データを入力した前記入力領域が、表示装置の表示領域に表示されるように、該入力項目および該入力領域を移動させる移動ステップと、
を有する音声処理方法。
It is a voice processing method that inputs the measured data by voice.
The first acquisition step of acquiring the voice data of the voice command for inputting the data by voice, and
A transmission step of transmitting the acquired voice data and a request for voice recognition processing for the voice data to the voice recognition service, and
A second acquisition step of acquiring the recognition result of the voice recognition process from the voice recognition service, and
From the acquired recognition result, a specific step for specifying an input item to be input to the data, and
A data input step of inputting the voice-recognized data included in the recognition result into the input area of the specified input item, and
A moving step of moving the input item and the input area so that the specified input item and the input area into which the data is input are displayed in the display area of the display device.
A voice processing method having.
コンピュータに、
測定されたデータを音声入力するための音声コマンドの音声データを取得する第1取得ステップと、
取得した前記音声データ、および該音声データに対する音声認識処理の要求を、音声認識サービスへ送信する送信ステップと、
前記音声認識サービスから前記音声認識処理の認識結果を取得する第2取得ステップと、
取得した前記認識結果から、前記データの入力対象となる入力項目を特定する特定ステップと、
特定した前記入力項目の入力領域に、前記認識結果に含まれる音声認識された前記データを入力するデータ入力ステップと、
特定した前記入力項目、および前記データを入力した前記入力領域が、表示装置の表示領域に表示されるように、該入力項目および該入力領域を移動させる移動ステップと、
を実行させるためのプログラム。
On the computer
The first acquisition step of acquiring the voice data of the voice command for inputting the measured data by voice, and
A transmission step of transmitting the acquired voice data and a request for voice recognition processing for the voice data to the voice recognition service, and
A second acquisition step of acquiring the recognition result of the voice recognition process from the voice recognition service, and
From the acquired recognition result, a specific step for specifying an input item to be input to the data, and
A data input step of inputting the voice-recognized data included in the recognition result into the input area of the specified input item, and
A moving step of moving the input item and the input area so that the specified input item and the input area into which the data is input are displayed in the display area of the display device.
A program to execute.
JP2020041361A 2020-03-10 2020-03-10 Voice processing device, voice processing system, voice processing method and program Pending JP2021144353A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020041361A JP2021144353A (en) 2020-03-10 2020-03-10 Voice processing device, voice processing system, voice processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020041361A JP2021144353A (en) 2020-03-10 2020-03-10 Voice processing device, voice processing system, voice processing method and program

Publications (1)

Publication Number Publication Date
JP2021144353A true JP2021144353A (en) 2021-09-24

Family

ID=77766630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020041361A Pending JP2021144353A (en) 2020-03-10 2020-03-10 Voice processing device, voice processing system, voice processing method and program

Country Status (1)

Country Link
JP (1) JP2021144353A (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306293A (en) * 2000-04-20 2001-11-02 Canon Inc Method and device for inputting information, and storage medium
JP2002091650A (en) * 2001-08-29 2002-03-29 Aesop Ltd Method for inputting data
WO2014069120A1 (en) * 2012-10-31 2014-05-08 日本電気株式会社 Analysis object determination device and analysis object determination method
JP2015035013A (en) * 2013-08-07 2015-02-19 サンユー株式会社 Size measurement supporting device
JP2017076030A (en) * 2015-10-14 2017-04-20 凸版印刷株式会社 Information processing apparatus and information processing program
US20190051298A1 (en) * 2017-08-11 2019-02-14 Lg Electronics Inc. Mobile terminal and method for controlling mobile terminal using machine learning
JP2019070915A (en) * 2017-10-06 2019-05-09 国立大学法人京都工芸繊維大学 Translation display device
JP2019099960A (en) * 2017-12-06 2019-06-24 東芝デジタルソリューションズ株式会社 Measurement information input support system
JP2019144903A (en) * 2018-02-21 2019-08-29 ヤフー株式会社 Input program, input method, and terminal device
JP2021144099A (en) * 2020-03-10 2021-09-24 株式会社リコー Voice processing device, voice processing system, voice processing method and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306293A (en) * 2000-04-20 2001-11-02 Canon Inc Method and device for inputting information, and storage medium
JP2002091650A (en) * 2001-08-29 2002-03-29 Aesop Ltd Method for inputting data
WO2014069120A1 (en) * 2012-10-31 2014-05-08 日本電気株式会社 Analysis object determination device and analysis object determination method
JP2015035013A (en) * 2013-08-07 2015-02-19 サンユー株式会社 Size measurement supporting device
JP2017076030A (en) * 2015-10-14 2017-04-20 凸版印刷株式会社 Information processing apparatus and information processing program
US20190051298A1 (en) * 2017-08-11 2019-02-14 Lg Electronics Inc. Mobile terminal and method for controlling mobile terminal using machine learning
JP2019070915A (en) * 2017-10-06 2019-05-09 国立大学法人京都工芸繊維大学 Translation display device
JP2019099960A (en) * 2017-12-06 2019-06-24 東芝デジタルソリューションズ株式会社 Measurement information input support system
JP2019144903A (en) * 2018-02-21 2019-08-29 ヤフー株式会社 Input program, input method, and terminal device
JP2021144099A (en) * 2020-03-10 2021-09-24 株式会社リコー Voice processing device, voice processing system, voice processing method and program

Similar Documents

Publication Publication Date Title
US10890451B2 (en) Place of interest recommendation
CN101790002B (en) Method, system and device for managing mobile device images and geographic location data
WO2007100228A1 (en) A system and method for contents upload using a mobile terminal
CN107977248B (en) Display method and mobile terminal of a desktop pendant
US11366848B2 (en) Information processing system, information processing method, and operator terminal
US9977661B2 (en) Method and system for generating a user interface
CN108958634A (en) Express delivery information acquisition method, device, mobile terminal and storage medium
KR20140106887A (en) A method for displaying program and an electronic device thereof
JP7468003B2 (en) Audio processing device, audio processing system, audio processing method and program
JP5595252B2 (en) Cooperation support apparatus, program, cooperation support method, cooperation support system, and communication apparatus
CN106708967A (en) Page display method and device
JP2021144353A (en) Voice processing device, voice processing system, voice processing method and program
CN109086113A (en) Screenshotss method, apparatus and mobile terminal
JP2005031916A (en) Situation adaptive service utilizing device, method, program, and storage medium recording the program
CN109219044A (en) Switching method, mobile terminal and the computer readable storage medium of wireless network
JP6175668B2 (en) Message sharing system, terminal device, intermediate server, message server, message sharing method and program
JP2003303152A (en) Content transmission system
KR20200026391A (en) Method for providing recommend service and apparatus therefor
JP6288308B2 (en) Information processing apparatus, route registration method, and route registration program
JP2013122627A (en) Information processing terminal, server device, system, and program
JP2002334013A (en) Information display device and recording medium with recorded information display program
JP6275218B1 (en) Information processing program, information processing apparatus, and information processing method
KR100661224B1 (en) Ubiagent method and system for realizing ubiquitous computing in wireless network
JP7002818B2 (en) Route guidance system, mobile terminal and route guidance method
KR101582445B1 (en) Command execution method based on user key input

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231012

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231024