CN116149476A - 音乐响应控制方法、智能眼镜及计算机可读存储介质 - Google Patents
音乐响应控制方法、智能眼镜及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116149476A CN116149476A CN202310100596.1A CN202310100596A CN116149476A CN 116149476 A CN116149476 A CN 116149476A CN 202310100596 A CN202310100596 A CN 202310100596A CN 116149476 A CN116149476 A CN 116149476A
- Authority
- CN
- China
- Prior art keywords
- music
- audio information
- audio
- rhythm
- glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0091—Means for obtaining special acoustic effects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/036—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal of musical genre, i.e. analysing the style of musical pieces, usually for selection, filtering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种音乐响应控制方法、智能眼镜及计算机可读存储介质,所述音乐响应控制方法应用于智能眼镜,智能眼镜包括眼镜架、麦克风和显示屏,显示屏铺设于眼镜架的表面,该方法包括:通过麦克风动态拾取当前声场下的音频信息;将动态拾取的音频信息转换为音频信息对应的律动图谱,其中,律动图谱包括跟随音频信息的音频节奏进行律动的轮廓线;通过显示屏动态显示律动图谱。本发明能够通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果。
Description
技术领域
本发明涉及头戴显示设备技术领域,尤其涉及一种音乐响应控制方法、智能眼镜及计算机可读存储介质。
背景技术
在演唱会、舞会或者夜店现场,用户听到音乐会想要跟着一起哼唱、挥手,或打节拍。但在这种场景下,仍然存在着一些不便之处。例如,响应音乐节奏的形式单一,听众只能挥舞手中的荧光棒或闪光灯,而闪光灯并没有跟随音乐节奏闪动。由于没有明确的节奏提示信息,用户的音乐互动效果可能节奏不对,反而得到了适得其反的效果。简而言之,现有的音乐响应形式比较单调乏味,与现场音乐的联系不够紧密,导致音乐互动效果不佳。
而随着我国经济的发展,生活水平的提高,以及观念的改变,现在人们佩戴眼镜已经不仅仅是为了矫正视力的需求,还需要满足对各种不同音乐场景的互动需求,而如何通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果,已成为亟待解决的技术问题。
发明内容
本发明的主要目的在于提供一种音乐响应控制方法、智能眼镜及计算机可读存储介质,旨在解决如何通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果的技术问题。
为实现上述目的,本发明提供一种音乐响应控制方法,所述音乐响应控制方法应用于智能眼镜,所述智能眼镜包括眼镜架、麦克风和显示屏,所述显示屏铺设于所述眼镜架的表面,所述方法包括:
通过所述麦克风动态拾取当前声场下的音频信息;
将动态拾取的音频信息转换为所述音频信息对应的律动图谱,其中,所述律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线;
通过所述显示屏动态显示所述律动图谱。
可选地,所述显示屏为墨水屏,所述眼镜架包括镜框,以及沿所述镜框两端向外延伸的两镜腿,所述墨水屏铺设于所述镜腿的外侧表面。
可选地,在所述通过所述显示屏动态显示所述律动图谱的步骤之前,所述方法还包括:
识别所述音频信息对应的音乐风格类型,将所述音频信息对应的音乐风格类型作为目标音乐风格;
从预设的映射关系表中确定所述目标音乐风格映射的渲染元素,其中,所述渲染元素包括所述律动图谱的背景渲染颜色、背景渲染图案和背景渲染特效中的至少一种;
根据映射的渲染元素,对所述律动图谱进行渲染;
所述通过所述显示屏动态显示所述律动图谱的步骤包括:
通过所述显示屏动态显示渲染后的律动图谱。
可选地,在所述通过所述显示屏动态显示所述律动图谱的步骤之前,所述方法包括:
识别所述音频信息对应的音乐风格类型,将所述音频信息对应的音乐风格类型作为目标音乐风格;
从预设的关联关系表中确定所述目标音乐风格关联的律动元素,其中,所述律动元素跟随所述音频信息的音频节奏进行律动形成所述轮廓线。
可选地,所述识别所述音频信息对应的音乐风格类型的步骤包括:
将所述音频信息输入至预先训练好的音乐识别神经网络模型,识别得到所述音频信息对应的音乐风格类型。
可选地,所述智能眼镜包括扬声器,所述通过所述麦克风动态拾取当前声场下的音频信息的步骤包括:
在检测到触发进入聆听模式的第一预设触发操作时,通过麦克风检测所述扬声器播放的音频,得到近场音频,并将所述近场音频作为当前声场下的音频信息;
在检测到触发进入派对模式的第二预设触发操作时,通过麦克风检测所述智能眼镜所处环境中传播的音频,得到远场音频,并将所述远场音频作为当前声场下的音频信息。
可选地,所述麦克风包括近场麦克风和远场麦克风,所述近场麦克风设于相对靠近所述扬声器处的位置,所述远场麦克风设于相对远离所述扬声器处的位置,其中,所述近场音频通过所述近场麦克风进行检测得到,所述远场音频通过所述远场麦克风进行检测得到。
可选地,在所述通过所述麦克风动态拾取当前声场下的音频信息的步骤之前,所述方法还包括:
检测触发进行音乐响应的第三预设触发操作;
若检测到所述第三预设触发操作,则执行:所述通过所述麦克风动态拾取当前声场下的音频信息的步骤。
此外,为实现上述目的,本发明还提供一种智能眼镜,所述智能眼镜包括存储器、处理器及存储在存储器上并可在处理器上运行的音乐响应程序,所述音乐响应程序被处理器执行时实现如上述的音乐响应控制方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有音乐响应程序,所述音乐响应程序被处理器执行时实现如上述的音乐响应控制方法的步骤。
智能眼镜越来越成为人们生活中不可或缺的必需品,而眼镜自发明以来,从只被当作协助人类矫正视力的工具,而如今智能眼镜早已慢慢朝向取代手机银幕,成为未来人类的随身显示。
而本申请提供一种音乐响应控制方法,该音乐响应控制方法应用于智能眼镜,所述智能眼镜包括眼镜架、麦克风和显示屏,所述显示屏铺设于所述眼镜架的,该音乐响应控制方法包括:通过麦克风动态拾取当前声场下的音频信息,并将动态拾取的音频信息转换为该音频信息对应的律动图谱,其中,该律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线,再通过该显示屏动态显示该律动图谱,从而提供一种智能眼镜在声学上与环境周遭交互的方式,通过铺设于眼镜架上的显示屏实现音乐可视化交互,将音乐进行可视化展示,实现视听结合,从而达到提升听众听音乐时的视觉感官体验和眼镜系统可玩性的技术效果。同时对音乐现场的音乐响应形式将更加新颖多样,使得听众与现场音乐的联系更加紧密,将音乐律动转化成视觉显示,提供一种智能眼镜在音乐环境的新型态交互体验方式,有效满足了音乐现场的音乐互动需求,进而解决了如何通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请音乐响应控制方法第一实施例的流程示意图;
图2为本申请音乐响应控制方法第二实施例的流程示意图;
图3为本申请实施例中智能眼镜进入聆听模式时进行音乐响应的场景示意图;
图4为本申请实施例中智能眼镜进入派对模式时进行音乐响应的场景示意图;
图5为本申请实施例中智能眼镜的音乐响应示意图;
图6为本申请实施例中智能眼镜针对两种拾音模式的音乐响应流程图;
图7是本申请实施例方案涉及硬件运行环境的智能眼镜的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S100、S200等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S200后执行S100等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本实施例中,本申请的智能眼镜可以是例如混合现实(Mixed Reality)—MR眼镜、增强现实(Augmented Reality)—AR眼镜、虚拟现实-(Virtual Reality)—VR眼镜、扩展现实(Extended Reality)—XR眼镜或其某种组合。
现有的音乐响应形式比较单调乏味,与现场音乐的联系不够紧密,导致音乐互动效果不佳。而随着我国经济的发展,生活水平的提高,以及观念的改变,现在人们佩戴眼镜已经不仅仅是为了矫正视力的需求,还需要满足对各种不同音乐场景的互动需求,而如何通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果,已成为亟待解决的技术问题。
基于此,本发明提供一种音乐响应控制方法,请参照图1,在音乐响应控制方法的第一实施例中,所述音乐响应控制方法应用于智能眼镜,所述智能眼镜包括眼镜架、麦克风和显示屏,所述显示屏铺设于所述眼镜架的表面,所述方法包括:
步骤S100,通过所述麦克风动态拾取当前声场下的音频信息;
本实施例中,该显示屏可为柔性OLED(OrganicLight-Emitting Diode,有机发光二极管)显示屏、墨水屏、LED(LightEmitting Diode,发光二极管)显示屏和液晶显示屏等,本实施例对此不作具体的限定。
在本实施例中,当前声场可以理解为智能眼镜所处的声场,当前声场下的音频信息具体可包括近场音频和远场音频。其中,近场音频是指智能眼镜自身的扬声器所播放的音频,例如在安静环境下,用户聆听智能眼镜自身所播放的音乐信息。远场音频是指智能眼镜所处环境由其他声源产生的音频(非智能眼镜自身的扬声器所播放的音频),例如演唱会、舞会、夜店的环境所传播的音乐信息。
在本实施例中,该音频信息可以是歌曲、舞曲、轻音乐、交响乐等音频,本实施例对此不作具体限定。
可以理解的是,由于当前声场下的音频信息是随着时间产生动态变化的,因此,当前声场下的音频信息也应该是动态拾取的(或者称为周期性地持续拾取)。
步骤S200,将动态拾取的音频信息转换为所述音频信息对应的律动图谱,其中,所述律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线;
在本实施例中,该律动图谱包含跟随当前音频信息的音频节奏进行律动的轮廓线。容易理解的是,由于当前声场下的音频信息往往是随着时间产生动态变化的,因此该律动图谱也是动态变化的。为了助于理解本申请实施例的律动图谱,请参照图3,图3为本申请实施例中对近场音频进行音乐响应的场景示意图(或者称为智能眼镜进入聆听模式时进行音乐响应的场景示意图),其中,墨水屏铺设于眼镜架的镜腿的外侧表面,该墨水屏正在显示随着节拍或音调变化而变化的律动图谱。智能眼镜自身的扬声器正在播放音乐,
通过分析智能眼镜自身播放的音乐(即近场音频),转化成视觉律动波型(即律动图谱),并由墨水屏显示于镜腿的外观上,将用户的音乐体验共享给周遭的人。具体地,在对近场音频进行音乐响应时,图3中的上节图为智能眼镜在一视角中的示意图,图3中的中节图为律动图谱的示意图,图3中的下节图为智能眼镜在另一视角中的示意图。
步骤S300,通过所述显示屏动态显示所述律动图谱。
在本实施例中,为了助于理解,例举一音乐场景进行说明,在该音乐场景中,用户佩戴智能眼镜在演唱会上,歌手播放的声音或者乐器弹奏的声音通过扩音器传递在演唱会现场,然后智能眼镜的麦克风拾取当前声场(演唱会现场)下传播的现场音乐信息(即音频信息),然后将拾取的现场音乐信息转换为对应的律动图谱,再通过该显示屏动态显示该律动图谱,从而使得在演唱会的场景下,用户佩戴的智能眼镜可以通过在眼镜外观上显示演唱会的现场音乐对应的律动图谱,对演唱会现场的音乐节奏进行独特地响应,歌迷可以更加沉浸在音乐中,也能与歌手相呼应互动,互动效果和音乐响应效果更佳,由于该律动图谱实际上具有明确的节奏提示信息,听众可以挥舞手中的荧光棒或闪光灯,跟随用户所佩戴智能眼镜的眼镜外观所显示的音乐节奏进行闪动,由于该律动图谱包括跟随该现场音乐的音频节奏进行律动的轮廓线,因此有效改善了音乐互动效果。也即,演唱会现场的音乐响应形式将更加新颖多样,使得听众与现场音乐的联系更加紧密,将智能眼镜的实时反馈与现场音乐联系起来,形成了一种更具节奏感、互动性更强的临场效果,提高了演唱会现场的音乐互动体验,进而解决了如何通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果的技术问题。需要说明的是,在本实施例中,音乐场景为演唱会现场,该音乐场景还可以替换为舞会现场或者夜店现场等,本实施例不作具体的限定。
在另一音乐场景中,用户佩戴智能眼镜在钢琴演奏现场,琴手弹奏的钢琴声传播在钢琴演奏现场,然后智能眼镜的麦克风拾取当前声场(钢琴演奏现场)下传播的现场音乐信息(即音频信息),然后将拾取的现场音乐信息转换为对应的律动图谱,其中,该律动图谱包括跟随该现场音乐的音频节奏进行律动的轮廓线,再通过该显示屏动态显示该律动图谱,从而使得在钢琴演奏现场的场景下,用户佩戴的智能眼镜可以通过在眼镜外观上显示钢琴演奏现场的音乐对应的律动图谱,对钢琴演奏现场的音乐节奏进行独特地响应,使得现场音乐可视化,听众可以更加沉浸在音乐中,智能眼镜的外观装饰能与听众相呼应互动,互动效果和音乐响应效果更佳,本实施例提供一种智能眼镜在声学上与环境周遭交互的方式,通过铺设于智能眼镜的眼镜架上的显示屏实现声音可视化交互,音乐进行可视化展示,实现视听结合,从而达到提升听众听音乐时的视觉感官体验和系统可玩性的技术效果。也即,演唱会现场的音乐响应形式将更加新颖多样,使得听众与现场音乐的联系更加紧密,有效提高了钢琴演奏现场的音乐互动效果,进而解决了如何通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果的技术问题。
智能眼镜越来越成为人们生活中不可或缺的必需品,而眼镜自发明以来,从只被当作协助人类矫正视力的工具,而如今智能眼镜早已慢慢朝向取代手机银幕,成为未来人类的随身显示。
而本申请实施例提供一种音乐响应控制方法,该音乐响应控制方法应用于智能眼镜,所述智能眼镜包括眼镜架、麦克风和显示屏,所述显示屏铺设于所述眼镜架的,该音乐响应控制方法包括:通过麦克风动态拾取当前声场下的音频信息,并将动态拾取的音频信息转换为该音频信息对应的律动图谱,其中,该律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线,再通过该显示屏动态显示该律动图谱,从而提供一种智能眼镜在声学上与环境周遭交互的方式,通过铺设于眼镜架上的显示屏实现音乐可视化交互,将音乐进行可视化展示,实现视听结合,从而达到提升听众听音乐时的视觉感官体验和眼镜系统可玩性的技术效果。同时对音乐现场的音乐响应形式将更加新颖多样,使得听众与现场音乐的联系更加紧密,将音乐律动转化成视觉显示,提供一种智能眼镜在音乐环境的新型态交互体验方式,有效满足了音乐现场的音乐互动需求,进而解决了如何通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果的技术问题。
在一种可实施的方式中,所述显示屏为墨水屏,所述眼镜架包括镜框,以及沿所述镜框两端向外延伸的两镜腿,所述墨水屏铺设于所述镜腿的外侧表面。
本领域技术人员可以理解的是,该眼镜架包括镜框,以及沿该镜框两端向外延伸的两镜腿,当然还可包括安装于镜框上的光学镜片。
在本实施例中,镜腿的外侧表面是指镜腿在远离佩戴者皮肤一侧的表面。对应地,镜腿的内侧表面是指镜腿在靠近佩戴者皮肤一侧的表面。
本领域技术人员可知的是,由于镜框的中心需要镂空以安装镜片,其表面积较小(考虑美观和鼻翼的舒适,镜框的结构需要设计较为纤细),且镜框的轮廓形状多呈曲形设置,而镜腿的轮廓形状可设置成扁宽状,因此镜腿位置,相对于镜框位置更利于墨水屏的铺设,降低了在眼镜架进行墨水屏布设的布设难度和布设成本。
另外,对于镜腿而言,用户在佩戴眼镜时,人们往往只能看到镜腿的外侧表面,而对于镜腿内侧由于邻接佩戴者的皮肤,属于视角盲区,对镜腿的装饰外观起关键作用的是镜腿的外侧表面,因此将墨水屏铺设于镜腿的外侧表面,便于在满足人们在音乐视觉方面的响应需求,提高音乐互动效果的同时,降低智能眼镜的硬件成本。
在本实施例中,由于LED(LightEmitting Diode,发光二极管)显示屏和液晶显示屏等常规显示屏不便于铺设在包含曲面的结构表面上,因此,相比于这些常规显示屏,墨水屏和柔性OLED屏更容易贴附在眼镜架表面,铺设在眼镜架表面的铺设难度低。
另外,需要说明的是,将本申请实施例的墨水屏替换为柔性OLED(Organic LightEmitting Display,有机发光显示器)屏,并采用本申请上述S100至S300的方法步骤,也同样能够实现将音乐律动转化成视觉显示,满足音乐现场的音乐互动需求,解决了如何通过眼镜满足人们在音乐视觉方面的响应需求,提高音乐互动效果的技术问题。但是由于相比于墨水屏,柔性OLED屏造价高。另外,墨水屏只有切换图片时才会耗电,更换后可以长时间显示内容,由于长时间显示完全不耗电,因此墨水屏进行眼镜外观装饰的功耗低以及实用性强。而柔性OLED屏只要开启进行图像的显示,便会持续耗电,也即柔性OLED屏进行外观装饰的耗电成本高。因此,相比于柔性OLED屏而言,本申请实施例通过在眼镜架铺设墨水屏,能够降低智能眼镜的硬件成本,以及降低智能眼镜的功耗,提高智能眼镜的续航能力。
在一种可能的实施方式中,在所述通过所述显示屏动态显示所述律动图谱的步骤之前,所述方法还包括:
步骤A10,识别所述音频信息对应的音乐风格类型,将所述音频信息对应的音乐风格类型作为目标音乐风格;
需要说明的是,音乐风格类型可按音乐流派或者音乐情绪进行分类。其中,按音乐流派分类可将音乐风格划分为流行、摇滚、金属、爵士、嘻哈说唱、民谣、轻音乐和古典等类型。按音乐情绪可分为激昂、和谐、愉悦和悲伤等类型。
在本实施例中,可根据音频信息的音频特征(例如可为音程特征或者音符),识别音频信息当前所表达的音乐情绪。具体地,可根据音频信息的音程特征,识别音频信息当前的情绪类型,其中,所述情绪类型与所述音程中大三度和/或小三度的占比相关;和/或根据音频信息的音符,识别音频信息当前的情绪类型,其中,每个音符对应有一个情绪增量,音频信息当前的情绪类型与音乐已播放部分的音符的情绪增量的叠加值相关。本实施例,音乐中大三度有一种朝气蓬勃的感觉,小三度有一种阴郁哀伤的感觉,如果一个音乐片段的旋律里包含很多小三度的实例,则可以认为这些音乐片断应该是表达出“难以接受的”或者是“悲伤的”情感。而大三度是代表“和谐的”或者“愉悦的”情感。通过应用这种音频信息的音程特征,系统可识别出现场音乐所表达的情绪类型。或者,也可以分配相应的意义值到每一个歌唱音符,例如每个音符分别对应一个情绪增量,该情绪增强可以为正值、也可以为负值或0,音乐当前的情绪类型与所述音乐已播放部分的音符的情绪增量的叠加值相关。具体的,可以提前为每个情绪类型分配一个数值区间,当所述叠加值落在某个所述数值区间时,则确定当前音频信息(即当前音乐)的情绪类型为所述数值区间所对应的情绪类型。所述情绪强度可以与以下至少一个音乐特征相关:音高、振幅、音调、频率、速度、节拍。一般来讲,在所述音乐当前的音高较高、振幅较大、音调较高、频率较快、速度较快和/或节拍较快时,所述音乐情绪的强烈程度较高,例如,在当前音频信息的音乐情绪的情绪类别为激昂时,当前音频信息的节拍越快,则当前音频信息的激昂情绪越高。
本领域技术人员可以理解的是,智能眼镜可以根据音频信息的音频特征,对按音乐流派进行分类的音乐风格类型进行识别,例如是流行音乐风格、摇滚音乐风格、金属音乐风格、爵士音乐风格、嘻哈说唱音乐风格、民谣音乐风格、轻音乐音乐风格或者古典音乐风格。其中,该音频特征可包括音高、振幅、音调、频率、速度、音频节奏(组织起来的音的长短关系)、音频节拍(相同时值的强拍与弱拍循环出现的规律)中的一种或多种。当然,还可以包括近来提出的一些新的音频特征,如能量、过零率、频谱矩、频谱流、带宽、带周期、噪音帧率等,本实施例对此不作具体的限定。
步骤A20,从预设的映射关系表中确定所述目标音乐风格映射的渲染元素,其中,所述渲染元素包括所述律动图谱的背景渲染颜色、背景渲染图案和背景渲染特效中的至少一种;
在本实施例中,该预设的映射关系表中存储有多种音乐风格类型,以及各种音乐风格类型映射的渲染元素,因此可通过从预设的映射关系表中查询得到该目标音乐风格映射的渲染元素。需要说明的是,该渲染元素包括律动图谱的背景渲染颜色、背景渲染图案和背景渲染特效中的至少一种。其中,该背景渲染特效可为动态特效,也可为静态特效,例如背景渲染特效可包括特效视频、特效动画或者特效贴图(不同音乐风格的背景渲染特效不同),本实施例对此不作具体的限定。
为了助于理解,列举示例进行说明,在一音乐识别场景中,智能眼镜识别到音频信息对应的音乐风格类型属于音乐情绪为激昂的音乐风格时,背景渲染颜色为红色,背景渲染图案为火焰状图案,背景渲染特效为火焰燃烧的动态特效。当智能眼镜识别到音频信息对应的音乐风格类型属于音乐情绪为愉悦的音乐风格时,背景渲染颜色为绿色,背景渲染图案为蒲公英、落叶或者花瓣,背景渲染特效为随风飘荡的蒲公英、落叶或者花瓣的动态特效。本实施例能够将音频信息的音乐情绪与律动图谱的播放效果进行实时关联,将音乐的音乐情绪实时的以视觉方式展现给听众,大大提升了提升听众听音乐时的视觉感官体验。
在另一音乐识别场景中,智能眼镜识别到音频信息对应的音乐风格类型属于摇滚音乐风格时,背景渲染颜色为红色,背景渲染图案为打击乐器,背景渲染特效为打击乐器在敲打的动态特效。智能眼镜识别到音频信息对应的音乐风格类型属于轻音乐的音乐风格时,背景渲染颜色为绿色,背景渲染图案为青花瓷图案,背景渲染特效为旋转青花瓷以展示瓶身描绘纹饰的动态特效。本实施例能够将音频信息的音乐风格与律动图谱的播放效果进行实时关联,将音乐风格对应的背景渲染元素实时以视觉方式展现给听众,大大提升了提升听众听音乐时的视觉感官体验。需要说明的是,上述示出的渲染元素的具体体现形式,仅助于理解本申请实施例,并不构成对本申请渲染元素的限定。
步骤A30,根据映射的渲染元素,对所述律动图谱进行渲染;
所述通过所述显示屏动态显示所述律动图谱的步骤包括:
步骤A40,通过所述显示屏动态显示渲染后的律动图谱。
本实施例通过识别音频信息对应的音乐风格类型,将该音频信息对应的音乐风格类型作为目标音乐风格,然后从预设的映射关系表中确定该目标音乐风格映射的渲染元素,其中,所述渲染元素包括律动图谱的背景渲染颜色、背景渲染图案和背景渲染特效中的至少一种,并根据映射的渲染元素,对动图谱进行渲染,再通过显示屏动态显示渲染后的律动图谱,从而使得演唱会现场的音乐响应形式将更加新颖多样,更加逼真的将音乐进行可视化展示,实现视听结合,通过将与音频信息的音乐风格对应的特效信息叠加展示在音乐律动波形上,提高了用户的视听体验,同时也提高了律动图谱的时尚感或科技感,满足用户对于眼镜外观需要体现个性、追求时尚的需求。
在一种可实施的方式中,在所述通过所述显示屏动态显示所述律动图谱的步骤之前,所述方法包括:
步骤B10,识别所述音频信息对应的音乐风格类型,将所述音频信息对应的音乐风格类型作为目标音乐风格;
步骤B20,从预设的关联关系表中确定所述目标音乐风格关联的律动元素,其中,所述律动元素跟随所述音频信息的音频节奏进行律动形成所述轮廓线。
在本实施例中,该预设的关联关系表中存储有多种音乐风格类型,以及各种音乐风格类型映射的律动元素,因此可通过从预设的关联关系表中查询得到该目标音乐风格关联的律动元素。需要说明的是,该律动元素跟随所述音频信息的音频节奏进行律动形成所述轮廓线。其中,该律动元素的外观形状种类可呈音符状、气泡状、爱心状、鲜花状或五角星状等,本实施例对此不作具体的限定。
本实施例通过识别该音频信息对应的音乐风格类型,将该音频信息对应的音乐风格类型作为目标音乐风格,并从预设的关联关系表中确定该目标音乐风格关联的律动元素,其中,该律动元素跟随音频信息的音频节奏进行律动形成轮廓线,从而使得演唱会现场的音乐响应形式将更加新颖多样,更加逼真的将音乐进行可视化展示,实现视听结合,进一步提升了听众听音乐时的视觉感官体验和智能眼镜系统可玩性的技术效果。
在一种可能的实施方式中,所述识别所述音频信息对应的音乐风格类型的步骤包括:
步骤C10,将所述音频信息输入至预先训练好的音乐识别神经网络模型,识别得到所述音频信息对应的音乐风格类型。
在本实施例中,可通过采集大量不同的音频信息,然后人工识别这些音频信息对应的音乐风格类型,再将各个音频信息与其关联的音乐风格类型进行标签绑定,得到多个训练样本,并通过各个训练样本对音乐识别神经网络模型进行训练,直至该音乐识别神经网络模型对音频信息的音乐风格类型的识别准确率大于预设阈值,确认该音乐识别神经网络模型收敛(即确认该音乐识别神经网络模型已训练好)。
本实施例通过将音频信息输入至预先训练好的音乐识别神经网络模型,识别得到音频信息对应的音乐风格类型,从而可以高效、准确地对音频信息的音乐风格类型进行识别。
请参照图2,基于上述实施例,在音乐响应控制方法的第二实施例中,所述智能眼镜包括扬声器,所述通过所述麦克风动态拾取当前声场下的音频信息的步骤包括:
步骤S110,在检测到触发进入聆听模式的第一预设触发操作时,通过麦克风检测所述扬声器播放的音频,得到近场音频,并将所述近场音频作为当前声场下的音频信息;
步骤S120,在检测到触发进入派对模式的第二预设触发操作时,通过麦克风检测所述智能眼镜所处环境中传播的音频,得到远场音频,并将所述远场音频作为当前声场下的音频信息。
在本实施例中,该第一预设触发操作和第二预设触发操作,可为对智能眼镜上的特定按键(例如物理按键或者触屏按键)进行的按压操作,也可以为预设的声纹识别触发操作,还可以为预设的手势识别触发操作。其中,当该第一预设触发操作或第二预设触发操作属于声纹识别触发操作时,具体可为通过智能眼镜的麦克风采集用户的语音信息,例如当采集的语音信息中包括“聆听模式”的关键声纹信息时,确认检测到触发进入聆听模式的第一预设触发操作,而当采集的语音信息中包括“派对模式”的关键声纹信息时,确认检测到触发进入派对模式的第二预设触发操作。当第一预设触发操作或第二预设触发操作属于手势识别触发操作时,具体可为智能眼镜的摄像头采集用户的手势动作,当采集的手势动作与预设的第一目标手势相匹配时,确认检测到触发进入聆听模式的第一预设触发操作,而当采集的手势动作与预设的第二目标手势相匹配时,确认检测到触发进入派对模式的第二预设触发操作,其中,第一目标手势和第二目标手势不同。
在本实施例中,当前声场可以理解为智能眼镜所处的声场,当前声场下的音频信息具体可包括近场音频和远场音频。其中,近场音频是指智能眼镜自身的扬声器所播放的音频,例如在安静环境下,用户聆听智能眼镜自身所播放的音乐信息。远场音频是指智能眼镜所处环境由其他声源产生的音频(非智能眼镜自身的扬声器所播放的音频),例如演唱会、舞会、夜店的环境中所传播的音乐信息。
示例性地,所述麦克风包括近场麦克风和远场麦克风,所述近场麦克风设于相对靠近所述扬声器处的位置,所述远场麦克风设于相对远离所述扬声器处的位置,其中,所述近场音频通过所述近场麦克风进行检测得到,所述远场音频通过所述远场麦克风进行检测得到。
本实施例智能眼镜的拾音模式包括聆听模式和派对模式。其中,通过在检测到触发进入聆听模式的第一预设触发操作时,通过麦克风检测扬声器播放的音频,得到近场音频,并将该近场音频作为当前声场下的音频信息,而在检测到触发进入派对模式的第二预设触发操作时,通过麦克风检测该智能眼镜所处环境中传播的音频,得到远场音频,并将该远场音频作为当前声场下的音频信息,从而可实现根据用户意图开启进入不同的拾音模式,为用户匹配最佳的拾音方式,以适合智能眼镜在不同音乐场景下的音乐可视化需求,进而实现针对不同音乐场景下,有效满足人们在音乐视觉方面的响应需求,进一步提高了音乐互动效果。
为了助于理解本申请的技术构思或技术原理,列举一具体实施例:
在该具体实施例中,请参照图3,图3为本申请实施例中智能眼镜进入聆听模式时进行音乐响应的场景示意图。其中,墨水屏(一种显示屏)铺设于眼镜架的镜腿的外侧表面,该墨水屏正在显示随着节拍或音调变化而变化的律动图谱。智能眼镜自身的扬声器正在播放音乐,通过分析智能眼镜自身播放的音乐(即近场音频),转化成视觉律动波型(即律动图谱),并由墨水屏显示于镜腿的外观上,将用户的音乐体验共享给周遭的人。
另外,请参照图4,图4为本申请实施例中智能眼镜进入派对模式时进行音乐响应的场景示意图。在图4中,通过智能眼镜内嵌麦克风,可以将用户所在现场的音乐律动,通过AI(ArtificialIntelligence,人工智能)算法分析,将其转化呈现于铺设于眼镜架的墨水屏上,增加音乐沉浸感,提升娱乐氛围,例如演唱会、舞会或夜店的现场环境中传播的音频等(即远场音频),通过麦克风侦测,远场拾音一般在5公尺以内。
其中,请参照图5,图5为本申请实施例中智能眼镜的音乐响应示意图。该智能眼镜通过微型麦克风1拾音,智能眼镜提供二款模式,聆听模式(近场拾音)与派对模式(远场拾音),并由AI智能分析,随着当前音频信息的音乐节奏变化,勾勒出音乐节奏的轮廓线,生成动态变化的律动图谱,并将该律动图谱显示于铺设于镜腿上的墨水屏2。
进一步地,请参照图6,图6为本申请实施例中智能眼镜针对两种拾音模式的音乐响应流程图。图6中,当智能眼镜开启进入“聆听模式”时,通过智能眼镜内建的AI算法实现声学可视化,侦测用户当下聆听的音乐内容,将音乐内容的律动转化成动态变化的律动图谱(该律动图谱跟随音律高低做变化),并由墨水屏显示于镜腿的外观上,将用户的音乐体验共享给周遭的人。而当智能眼镜开启进入“派对模式”时,通过智能眼镜内建的微型麦克风,拾取用户当下所在空间传播的音乐,并由智能眼镜内建的AI算法,将音乐律动转化成视觉律动波型(即律动图谱),显示在铺设于镜腿上的墨水屏上,将智能眼镜的实时反馈与现场音乐联系起来,形成了一种更具节奏感、互动性更强的临场效果。
在本实施例中,智能眼镜可通过内建微型麦克风,侦测用户当下所聆听的音乐或所在空间传播的音乐,并由AI算法,将音乐律动转化成动态变化的律动图谱(该律动图谱跟随音律高低做变化),并将该律动图谱显示在铺设于眼镜架表面的墨水屏上。值得一提的是,由于墨水屏只有切换图片时才会耗电,更换后可以长时间显示完全不耗电,因此可增加电池续航。
需要说明的是,上述具体实施例,仅助于理解本申请,并不构成对本申请保护范围的限定,基于本申请的技术构思或技术原理进行更多形式的简单变换,均在本申请的保护范围内。
在一种可能的实施方式中,在所述通过所述麦克风动态拾取当前声场下的音频信息的步骤之前,所述方法还包括:
步骤D10,检测触发进行音乐响应的第三预设触发操作;
步骤D20,若检测到所述第三预设触发操作,则执行:所述通过所述麦克风动态拾取当前声场下的音频信息的步骤。
在本实施例中,对应地,该第三预设触发操作,可为对智能眼镜上的特定按键(例如物理按键或者触屏按键)进行的按压操作,也可以为预设的声纹识别触发操作,还可以为预设的手势识别触发操作。
本实施例通过检测触发进行音乐响应的第三预设触发操作;若检测到所述第三预设触发操作,从而再执行后续的:通过所述麦克风动态拾取当前声场下的音频信息的步骤,从而提高避免在用户无需进行音乐可视化响应的情况下,盲目开启麦克风进行当前声场下音频信息的采集,以及将动态拾取的音频信息转换为该音频信息对应的律动图谱等操作。
在一种可能的实施方式中,所述眼镜架包括镜框,以及沿所述镜框两端向外延伸的两镜腿,所述显示屏包括第一显示屏和第二显示屏,所述第三预设触发操作包括第一音乐响应触发操作和第二音乐响应触发操作,所述第一显示屏铺设于所述镜腿的外侧表面,所述第二显示屏铺设于所述镜框的外侧表面,所述方法还包括:
步骤E10,若检测到所述第一音乐响应触发操作,则通过所述麦克风动态拾取当前声场下的音频信息;将动态拾取的音频信息转换为所述音频信息对应的律动图谱,其中,所述律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线;通过所述第一显示屏动态显示所述律动图谱;
步骤E20,若检测到所述第二音乐响应触发操作,则通过所述麦克风动态拾取当前声场下的音频信息;将动态拾取的音频信息转换为所述音频信息对应的律动图谱,其中,所述律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线;通过所述第二显示屏动态显示所述律动图谱。
在本实施例中,镜框的外侧表面是指镜框在远离佩戴者皮肤一侧的表面。对应地,镜框的内侧表面是指镜框在靠近佩戴者皮肤一侧的表面。容易理解的是,用户在佩戴眼镜时,人们往往只能看到镜框的外侧表面,而对于镜框内侧由于邻接佩戴者的皮肤,属于视角盲区,对镜框的装饰外观起关键作用的是属于镜框的外侧表面,因此将显示屏铺设于镜框的外侧表面,便于在满足用户对于音乐可视化展示的个性化需求的同时,降低智能眼镜的硬件成本。
需要说明的是,该第一音乐响应触发操作区别于第二音乐响应触发操作。
本实施例通过在检测到第一音乐响应触发操作时,将铺设于镜腿的外侧表面的显示屏动态显示该律动图谱,而在检测到第二音乐响应触发操作时,将铺设于镜框的外侧表面的显示屏动态显示该律动图谱,从而可实现根据用户的实际需求,来精准的在智能眼镜的某个特定部位的外观上进行音乐可视化展示,使得音乐响应形式更加多样新颖,进而满足人们在音乐视觉方面的响应需求,提高音乐互动效果。
进一步地,所述第三预设触发操作还包括第三音乐响应触发操作,所述方法还包括:
步骤F10,若检测到所述第三音乐响应触发操作,则通过所述麦克风动态拾取当前声场下的音频信息;将动态拾取的音频信息转换为所述音频信息对应的律动图谱,其中,所述律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线;通过所述第一显示屏和所述第二显示屏均动态显示所述律动图谱。
在本实施例中,该第三音乐响应触发操作同样区别于第一音乐响应触发操作和第二音乐响应触发操作。
本实施例通过在检测到第三音乐响应触发操作时,将第一显示屏和第二显示屏当前显示的外观图案均进行律动图谱的动态显示,从而使得在用户希望将智能眼镜的整体外观均显示为该目标外观图案时,可通过该第三音乐响应触发操作,对智能眼镜在所有部位(镜腿部位和镜框部位)的外观均进行律动图谱的动态显示,进一步满足人们在音乐视觉方面的响应需求,提高音乐互动效果。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
如图7所示,图7是本申请实施例方案涉及硬件运行环境的智能眼镜的结构示意图。
如图7所示,智能眼镜可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,智能眼镜还可以包括RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如振动传感器等。当然,智能眼镜还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图7中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图7所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及音乐响应程序。
在图7所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的音乐响应程序,并执行以下操作:
通过所述麦克风动态拾取当前声场下的音频信息;
将动态拾取的音频信息转换为所述音频信息对应的律动图谱,其中,所述律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线;
通过所述显示屏动态显示所述律动图谱。
在一些实施例中,所述显示屏为墨水屏,所述眼镜架包括镜框,以及沿所述镜框两端向外延伸的两镜腿,所述墨水屏铺设于所述镜腿的外侧表面。
在一些实施例中,处理器1001可以调用存储器1005中存储的音乐响应程序,还执行以下操作:
识别所述音频信息对应的音乐风格类型,将所述音频信息对应的音乐风格类型作为目标音乐风格;
从预设的映射关系表中确定所述目标音乐风格映射的渲染元素,其中,所述渲染元素包括所述律动图谱的背景渲染颜色、背景渲染图案和背景渲染特效中的至少一种;
根据映射的渲染元素,对所述律动图谱进行渲染;
所述通过所述显示屏动态显示所述律动图谱的步骤包括:
通过所述显示屏动态显示渲染后的律动图谱。
在一些实施例中,处理器1001可以调用存储器1005中存储的音乐响应程序,还执行以下操作:
识别所述音频信息对应的音乐风格类型,将所述音频信息对应的音乐风格类型作为目标音乐风格;
从预设的关联关系表中确定所述目标音乐风格关联的律动元素,其中,所述律动元素跟随所述音频信息的音频节奏进行律动形成所述轮廓线。
在一些实施例中,处理器1001可以调用存储器1005中存储的音乐响应程序,还执行以下操作:
将所述音频信息输入至预先训练好的音乐识别神经网络模型,识别得到所述音频信息对应的音乐风格类型。
在一些实施例中,处理器1001可以调用存储器1005中存储的音乐响应程序,还执行以下操作:
在检测到触发进入聆听模式的第一预设触发操作时,通过麦克风检测所述扬声器播放的音频,得到近场音频,并将所述近场音频作为当前声场下的音频信息;
在检测到触发进入派对模式的第二预设触发操作时,通过麦克风检测所述智能眼镜所处环境中传播的音频,得到远场音频,并将所述远场音频作为当前声场下的音频信息。
在一些实施例中,所述麦克风包括近场麦克风和远场麦克风,所述近场麦克风设于相对靠近所述扬声器处的位置,所述远场麦克风设于相对远离所述扬声器处的位置,其中,所述近场音频通过所述近场麦克风进行检测得到,所述远场音频通过所述远场麦克风进行检测得到。
在一些实施例中,处理器1001可以调用存储器1005中存储的音乐响应程序,还执行以下操作:
检测触发进行音乐响应的第三预设触发操作;
若检测到所述第三预设触发操作,则执行:所述通过所述麦克风动态拾取当前声场下的音频信息的步骤。
此外,本发明还提供一种智能眼镜,所述智能眼镜包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音乐响应程序,所述音乐响应程序被所述处理器执行时实现如上述的音乐响应控制方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有音乐响应程序,所述音乐响应程序被处理器执行时实现如上述的音乐响应控制方法的步骤。
本发明计算机可读存储介质具体实施方式与上述音乐响应控制方法各实施例基本相同,在此不再赘述。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如光学、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk (SSD))等。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种音乐响应控制方法,其特征在于,所述音乐响应控制方法应用于智能眼镜,所述智能眼镜包括眼镜架、麦克风和显示屏,所述显示屏铺设于所述眼镜架的表面,所述方法包括:
通过所述麦克风动态拾取当前声场下的音频信息;
将动态拾取的音频信息转换为所述音频信息对应的律动图谱,其中,所述律动图谱包括跟随所述音频信息的音频节奏进行律动的轮廓线;
通过所述显示屏动态显示所述律动图谱。
2.如权利要求1所述的音乐响应控制方法,其特征在于,所述显示屏为墨水屏,所述眼镜架包括镜框,以及沿所述镜框两端向外延伸的两镜腿,所述墨水屏铺设于所述镜腿的外侧表面。
3.如权利要求1所述的音乐响应控制方法,其特征在于,在所述通过所述显示屏动态显示所述律动图谱的步骤之前,所述方法还包括:
识别所述音频信息对应的音乐风格类型,将所述音频信息对应的音乐风格类型作为目标音乐风格;
从预设的映射关系表中确定所述目标音乐风格映射的渲染元素,其中,所述渲染元素包括所述律动图谱的背景渲染颜色、背景渲染图案和背景渲染特效中的至少一种;
根据映射的渲染元素,对所述律动图谱进行渲染;
所述通过所述显示屏动态显示所述律动图谱的步骤包括:
通过所述显示屏动态显示渲染后的律动图谱。
4.如权利要求1所述的音乐响应控制方法,其特征在于,在所述通过所述显示屏动态显示所述律动图谱的步骤之前,所述方法包括:
识别所述音频信息对应的音乐风格类型,将所述音频信息对应的音乐风格类型作为目标音乐风格;
从预设的关联关系表中确定所述目标音乐风格关联的律动元素,其中,所述律动元素跟随所述音频信息的音频节奏进行律动形成所述轮廓线。
5.如权利要求3或4所述的音乐响应控制方法,其特征在于,所述识别所述音频信息对应的音乐风格类型的步骤包括:
将所述音频信息输入至预先训练好的音乐识别神经网络模型,识别得到所述音频信息对应的音乐风格类型。
6.如权利要求1所述的音乐响应控制方法,其特征在于,所述智能眼镜包括扬声器,所述通过所述麦克风动态拾取当前声场下的音频信息的步骤包括:
在检测到触发进入聆听模式的第一预设触发操作时,通过麦克风检测所述扬声器播放的音频,得到近场音频,并将所述近场音频作为当前声场下的音频信息;
在检测到触发进入派对模式的第二预设触发操作时,通过麦克风检测所述智能眼镜所处环境中传播的音频,得到远场音频,并将所述远场音频作为当前声场下的音频信息。
7.如权利要求6所述的音乐响应控制方法,其特征在于,所述麦克风包括近场麦克风和远场麦克风,所述近场麦克风设于相对靠近所述扬声器处的位置,所述远场麦克风设于相对远离所述扬声器处的位置,其中,所述近场音频通过所述近场麦克风进行检测得到,所述远场音频通过所述远场麦克风进行检测得到。
8.如权利要求1所述的音乐响应控制方法,其特征在于,在所述通过所述麦克风动态拾取当前声场下的音频信息的步骤之前,所述方法还包括:
检测触发进行音乐响应的第三预设触发操作;
若检测到所述第三预设触发操作,则执行:所述通过所述麦克风动态拾取当前声场下的音频信息的步骤。
9.一种智能眼镜,其特征在于,所述智能眼镜包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音乐响应程序,所述音乐响应程序被所述处理器执行时实现如权利要求1至8中任一项所述的音乐响应控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有音乐响应程序,所述音乐响应程序被处理器执行时实现如权利要求1至8中任一项所述的音乐响应控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310100596.1A CN116149476A (zh) | 2023-02-07 | 2023-02-07 | 音乐响应控制方法、智能眼镜及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310100596.1A CN116149476A (zh) | 2023-02-07 | 2023-02-07 | 音乐响应控制方法、智能眼镜及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116149476A true CN116149476A (zh) | 2023-05-23 |
Family
ID=86338634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310100596.1A Pending CN116149476A (zh) | 2023-02-07 | 2023-02-07 | 音乐响应控制方法、智能眼镜及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116149476A (zh) |
-
2023
- 2023-02-07 CN CN202310100596.1A patent/CN116149476A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11609603B2 (en) | Electronic device with sensors and display devices | |
CN111326132B (zh) | 音频处理方法、装置、存储介质及电子设备 | |
US10290291B2 (en) | Information processing apparatus, method, and program for controlling output of a processing pattern in association with reproduced content | |
US9467673B2 (en) | Method, system, and computer-readable memory for rhythm visualization | |
CN108292320A (zh) | 信息处理装置、信息处理方法和程序 | |
US11893898B2 (en) | Method and apparatus for an adaptive and interactive teaching of playing a musical instrument | |
CN104574453A (zh) | 用图像表达音乐的软件 | |
US11899899B2 (en) | Techniques for adjusting a detachable display capsule of a wrist-wearable device to operationally complement a wearable-structure attachment, and wearable devices and systems for performing those techniques | |
CN104811829A (zh) | 卡拉ok互动多功能特效系统 | |
CN106383676A (zh) | 用于声音的即时光色渲染系统及其应用 | |
WO2017094326A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Fels et al. | Musikalscope: A graphical musical instrument | |
Krzyzaniak et al. | Six types of audio that DEFY reality! A taxonomy of audio augmented reality with examples | |
JP7204984B1 (ja) | プログラム、方法、情報処理装置 | |
WO2015008756A1 (ja) | 投影装置、制御装置、制御プログラム、および投影制御方法 | |
CN108495036A (zh) | 一种图像处理方法及移动终端 | |
CN116149476A (zh) | 音乐响应控制方法、智能眼镜及计算机可读存储介质 | |
WO2025016144A1 (zh) | 场景调整方法、装置、设备和存储介质 | |
CN111596841B (zh) | 图像显示方法及电子设备 | |
CN113573143A (zh) | 音频播放方法和电子设备 | |
JP7339420B1 (ja) | プログラム、方法、情報処理装置 | |
WO2024125478A1 (zh) | 音频呈现方法和设备 | |
CN116320222B (zh) | 音频处理方法、装置及存储介质 | |
US20240414408A1 (en) | Audio or lighting adjustment based on images | |
CN117573245A (zh) | 用户界面自适应调整方法、介质以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |