[go: up one dir, main page]

CN119225539B - 一种数字孪生交互方法、装置、设备及介质 - Google Patents

一种数字孪生交互方法、装置、设备及介质 Download PDF

Info

Publication number
CN119225539B
CN119225539B CN202411774567.4A CN202411774567A CN119225539B CN 119225539 B CN119225539 B CN 119225539B CN 202411774567 A CN202411774567 A CN 202411774567A CN 119225539 B CN119225539 B CN 119225539B
Authority
CN
China
Prior art keywords
force
estimated
feedback force
feedback
hysteresis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411774567.4A
Other languages
English (en)
Other versions
CN119225539A (zh
Inventor
刘元
佘莹莹
郭嵩
刘恒岭
丁小军
谢天奇
李强
熊瑞涛
徐侃
刘刚
梁兆伟
刘承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
719th Research Institute Of China State Shipbuilding Corp
Original Assignee
719th Research Institute Of China State Shipbuilding Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 719th Research Institute Of China State Shipbuilding Corp filed Critical 719th Research Institute Of China State Shipbuilding Corp
Priority to CN202411774567.4A priority Critical patent/CN119225539B/zh
Publication of CN119225539A publication Critical patent/CN119225539A/zh
Application granted granted Critical
Publication of CN119225539B publication Critical patent/CN119225539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/08—Thermal analysis or thermal optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Geometry (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及人工智能技术领域，公开了一种数字孪生交互方法、装置、设备及介质，应用于数字孪生交互系统，所述系统包括触觉设备、虚拟对象、动力学解算伺服和力反馈输出伺服；包括：获取所述触觉设备在采样周期中与所述虚拟对象交互的位置变化量；基于所述位置变化量、所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，生成所述触觉设备的预估位置；确定所述预估位置对应的预估反馈力；对所述预估反馈力进行误差判断，并根据判断结果确定过渡反馈力；根据预设的映射系数对所述过渡反馈力进行转换得到所述虚拟对象对所述触觉设备的目标反馈力。其有益效果是实现伺服之间的耦合与同步，提升交互效果的连贯性。

Description

一种数字孪生交互方法、装置、设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种数字孪生交互方法、装置、设备及介质。
背景技术
数字孪生技术在船用机电设备健康管理中的应用，成为了提升设备维护效率和安全性的关键手段。通过构建与现实设备相对应的虚拟模型，可以实现对设备状态的实时监测、故障预测与管理。以下是背景技术的详细分析和要解决的技术问题。
在数字孪生技术的实现过程中，涉及多个伺服系统，包括动力学求解伺服、力反馈输出伺服等，在实际应用中，系统中的不同伺服具有不同的更新频率。例如，动力学求解可能需要较高的更新率以保证实时响应，而力反馈输出可能因计算复杂性而更新频率较低。这种不一致性会导致系统响应延迟或不准确，进而影响用户体验和安全性。在仿真过程中，各个伺服的更新率会受到多种因素的影响（如计算负载、网络延迟等），导致其更新频率出现波动。这会使得一些实时交互操作的反馈不够流畅，降低系统的整体性能。
为此，在数字孪生交互过程中如何有效处理多更新率伺服之间的耦合与同步问题，为船用机电设备的数字孪生应用提供稳定和高效的支持，从而提升管理效率与安全性，是当前亟待解决的问题。
发明内容
本申请提供一种数字孪生交互方法、装置、设备及介质，其解决了在数字孪生交互过程中如何有效处理多更新率伺服之间的耦合与同步的技术问题，达到了伺服之间的耦合与同步，提升交互效果的连贯性的技术效果。
为了达到上述目的，本申请采用的主要技术方案包括：
第一方面，本申请实施例提供一种数字孪生交互方法，应用于数字孪生交互系统，所述系统包括触觉设备、虚拟对象、动力学解算伺服和力反馈输出伺服；所述方法包括：
获取所述触觉设备在采样周期中与所述虚拟对象交互的位置变化量；
基于所述位置变化量、所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，生成所述触觉设备的预估位置；
确定所述预估位置对应的预估反馈力；
对所述预估反馈力进行误差判断，并根据判断结果确定过渡反馈力；
根据预设的映射系数对所述过渡反馈力进行转换得到所述虚拟对象对所述触觉设备的目标反馈力。
本实施例提供的一种数字孪生交互方法，通过获取触觉设备与虚拟对象交互期间的位置变化量，能够实时了解用户的操作动态。在此基础上，结合滞后时间和平滑时间，计算出触觉设备的预估位置，从而确保交互更加流畅，减少响应延迟。接着，基于预估位置确定相应的预估反馈力，确保用户在虚拟环境中的感知一致性。通过对预估反馈力进行误差判断，自动调整反馈力，提高触觉反馈的准确性，避免力反馈延迟或错位。最后，将过渡反馈力转换为目标反馈力，通过预设的映射系数实现对虚拟对象的精准反馈，增强用户的沉浸感和参与感。整个过程实现了高效且准确的力反馈，提升了虚拟现实或增强现实应用的可用性。
可选地，所述位置变化量的获取包括所述触觉设备的起始位置；所述基于所述位置变化量、所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，生成所述触觉设备的预估位置，包括：
根据所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，确定总误差时间；
根据所述起始位置、所述总误差时间和所述位置变化量，确定所述预估位置。
本实施例通过计算动力学解算伺服的滞后时间和力反馈输出伺服的平滑时间来确定总误差时间，从而提高对信号传输和处理延迟的补偿能力，增强响应精度。接着，利用起始位置、总误差时间和位置变化量来计算预估位置，能够实时预测触觉设备的实际位置。这种预估能力确保了反馈力的及时调整，使用户在与虚拟对象交互时感受到更加一致和自然的反馈。
可选地，所述确定所述预估位置对应的预估反馈力，包括：
利用广义-阻尼-质点模型构建用于所述触觉设备与所述虚拟对象交互的绘制模型；
根据所述绘制模型确定所述预估位置对应的预估反馈力。
本实施例利用广义-阻尼-质点模型构建触觉设备与虚拟对象交互的绘制模型。这一模型的应用能够更加真实地模拟物理现象，从而提供更为精确的交互体验。通过这一模型，能够考虑到多个因素，如阻尼和质点之间的相互作用，提升了对虚拟对象动态特性的理解。接着，根据该绘制模型确定预估位置对应的预估反馈力，确保了反馈力与用户操作的实际情况紧密相关，使得用户在交互过程中体验到更自然、更一致的触觉反馈。
可选地，所述对所述预估反馈力进行误差判断，并根据判断结果确定过渡反馈力，包括：
获取所述触觉设备在所述滞后时间时的滞后实际位置，以及基于所述位置变化量和所述滞后时间得到的所述触觉设备的滞后预估位置；
基于所述滞后预估位置和所述滞后实际位置，确定所述触觉设备对应的位置误差率；
在所述位置误差率小于等于预设误差阈值的情况下，将所述预估反馈力确定为所述过渡反馈力；
在所述位置误差率大于预设误差阈值的情况下，对所述预估反馈力进行误差修正，得到所述过渡反馈力。
本实施例通过实时监测触觉设备的滞后实际位置与滞后预估位置，确保能够动态检测位置误差率。在位置误差率小于等于预设阈值时，直接将预估反馈力作为过渡反馈力输出，从而提供顺畅自然的用户体验；而当误差率大于阈值时，则进行误差修正，提升触觉反馈的准确性，显著改善虚拟交互中的用户体验。
可选地，所述在所述位置误差率大于预设误差阈值的情况下，对所述预估反馈力进行误差修正，得到所述过渡反馈力，包括：
获取所述触觉设备在所述滞后预估位置的滞后预估操作力、所述滞后实际位置的滞后实际操作力；
根据所述滞后预估操作力进行动力学求解得到滞后拟合反馈力，以及根据所述滞后实际操作力进行动力学求解得到滞后实际反馈力；
基于所述滞后预估操作力、所述滞后实际操作力、所述滞后拟合反馈力和所述滞后实际反馈力，利用预设的动力学模型求解得到反馈力误差补偿量；
根据所述反馈力误差补偿量对所述预估反馈力进行修正，得到所述过渡反馈力。
本实施例首先获取触觉设备在滞后预估位置和滞后实际位置的操作力，在此基础上，通过动力学求解分别得到滞后拟合反馈力和滞后实际反馈力，确保对设备反馈状态的准确建模。接着，利用预设的动力学模型，根据所获取的一些操作力和反馈力，计算出反馈力误差补偿量。这一补偿量能够有效修正预估反馈力，最终得到更为准确的过渡反馈力。综上所述，该过程实现了触觉反馈的精确调整，提高了用户体验，减少了因位置误差导致的触觉反馈延迟或不一致的问题。
可选地，所述根据所述反馈力误差补偿量对所述预估反馈力进行修正，得到所述过渡反馈力，包括：
根据所述误差补偿量和所述预估反馈力，生成待修正反馈力；
对所述待修正反馈力进行三次参数样条曲线拟合，得到所述过渡反馈力。
本实施例通过结合误差补偿量和预估反馈力，生成待修正反馈力。接着，对待修正反馈力进行三次参数样条曲线拟合，有助于平滑过渡反馈力的变化，减少突兀感和不自然的反馈。通过这种拟合方式，可以实现更流畅的触觉反馈，使用户在交互时感受到更自然和真实的体验。
可选地，所述动力学模型为：
其中，F操作为触觉设备在滞后预估位置p(K+1)T的滞后预估操作力；F输入为触觉设备在滞后实际位置的滞后实际操作力；Fδ为滞后实际操作力与滞后预估操作力的操作力误差补偿量；f预估为根据滞后预估操作力F操作进行动力学求解得到的滞后拟合反馈力；f反馈为根据滞后实际操作力进行动力学求解得到的滞后实际反馈力；fδ为滞后实际反馈力与滞后预估操作力的反馈力误差补偿量；M为质量矩阵；B为阻尼矩阵；G为刚度矩阵；q为虚拟对象的实际位移，为虚拟对象的实际速度；为虚拟对象的实际加速度；为虚拟对象的预估位移，为虚拟对象的预估速度；为虚拟对象的预估加速度；K为滞后时间；u为平滑时间；T为采样周期；t为采样时刻。
第二方面，本申请实施例提供一种数字孪生交互装置，应用于数字孪生交互系统，所述系统包括触觉设备、虚拟对象、动力学解算伺服和力反馈输出伺服；所述装置包括：
位置变化获取模块，用于获取所述触觉设备在采样周期中与所述虚拟对象交互的位置变化量；
预估位置生成模块，用于基于所述位置变化量、所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，生成所述触觉设备的预估位置；
预估反馈力确定模块，用于确定所述预估位置对应的预估反馈力；
误差判断模块，用于对所述预估反馈力进行误差判断，并根据判断结果确定过渡反馈力；
目标反馈力确定模块，用于根据预设的映射系数对所述过渡反馈力进行转换得到所述虚拟对象对所述触觉设备的目标反馈力。
第三方面，本申请实施例提供一种计算机设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述所述的数字孪生交互方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行上述所述的数字孪生交互方法。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数字孪生交互方法的流程图；
图2为本申请实施例提供的绘制模型；
图3为本申请实施例提供的步骤S3的流程图；
图4为本申请实施例提供的步骤S5的流程图；
图5为本申请实施例提供的步骤S7的流程图；
图6为本申请实施例提供的步骤S77的流程图；
图7为本申请实施例提供的步骤S777的流程图；
图8为本申请实施例提供的一种多更新率伺服的同步方法的示意图；
图9为本申请实施例提供的三维空间骨骼关节绕定点旋转示意图；
图10为本申请实施例提供的人体骨骼关节链区分示意图；
图11为本申请实施例提供的三维空间骨骼关节旋转分析示意图；
图12为本申请实施例提供的虚拟环境中设备作业的动作姿态交互分类图；
图13为本申请实施例提供的虚拟环境中可视化交互操作示意图；
图14为本申请实施例提供的一种数字孪生交互装置的框图；
图15为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
数字孪生技术在船用机电设备健康管理中的应用，成为了提升设备维护效率和安全性的关键手段。通过构建与现实设备相对应的虚拟模型，即虚拟对象，可以实现对设备状态的实时监测、故障预测与管理。在数字孪生技术的实现过程中，涉及多个伺服系统，包括动力学求解伺服、力反馈输出伺服等，存在以下技术问题：
多更新率的耦合与同步：在实际应用中，系统中的不同伺服具有不同的更新频率。例如，动力学求解可能需要较高的更新率以保证实时响应，而力反馈输出可能因计算复杂性而更新频率较低。这种不一致性会导致系统响应延迟或不准确，进而影响用户体验和安全性。
波动性问题：在仿真过程中，各个伺服的更新率会受到多种因素的影响（如计算负载、网络延迟等），导致其更新频率出现波动。这会使得一些实时交互操作的反馈不够流畅，降低系统的整体性能。
根据本申请实施例，提供了一种数字孪生交互方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种数字孪生交互方法，应用于数字孪生交互系统，系统包括触觉设备、虚拟对象、动力学解算伺服和力反馈输出伺服，图1为本申请实施例提供的一种数字孪生交互方法的流程图，如图1所示，该流程包括如下步骤：
步骤S1，获取触觉设备在采样周期中与虚拟对象交互的位置变化量。
具体地，触觉设备是一种能够提供触觉反馈的设备，通过模拟真实的触觉感受，如压力、振动、温度等，使用户能够在虚拟环境中感受到触摸和力的反馈。虚拟对象则是指在虚拟环境中创建的物体或实体，在本申请实施例中为船用机电设备的零件模型。通过传感器检测并获取触觉设备与虚拟对象交互过程中位置、角度等力学数据，通过这些数据能够计算得到触觉设备的位置变化量。
步骤S3，基于位置变化量、动力学解算伺服的滞后时间以及力反馈输出伺服的平滑时间，生成触觉设备的预估位置。
由于触觉设备与虚拟对象的交互仿真过程中会出现动力学解算伺服和力反馈输出伺服的更新频率不一致以及波动，因此需要对动力学解算伺服和力反馈输出伺服进行耦合和同步。
具体地，动力学解算伺服的滞后时间是指从发出控制指令到响应所需的时间。这个时间延迟会影响触觉设备对虚拟对象的实时反应。力反馈输出伺服的平滑时间是指触觉设备在输出力反馈时，力的变化从开始到稳定所需的时间，需要将这个平滑时间考虑在内，以确保触觉反馈的流畅性。在周期T内，触觉设备的位置从p0变动到pt，位置变化量为；考虑动力学解算伺服的滞后时间KT和力反馈输出伺服的平滑时间uT，在时刻(K+u+1)T时，触觉设备的预估位置为：。
步骤S5，确定预估位置对应的预估反馈力。
利用广义-阻尼-质点模型构建用于触觉设备与虚拟对象交互的绘制模型，请参阅图2：
其中，为绘制模型的线位移；为绘制模型的角位移；λs为触觉设备与绘制模型的线位移映射系数；λr为触觉设备与绘制模型的角位移映射系数；x1为触觉设备的当前位置；x0为触觉设备的上一时刻位置；θ1为触觉设备的当前角度；θ0为触觉设备的上一时刻角度；Ks、Kt为广义刚度矩阵；Cs为速度矩阵；br为广义阻尼矩阵；为绘制模型的线速度；为绘制模型的角速度；Fs为操作力；z为虚拟对象的广义质量矩阵；为加速度；μ为拉格朗日乘子；Φ为虚拟对象的约束方程；Ft为反馈力；m为虚拟对象的广义质量矩阵；为虚拟对象的速度；qi为虚拟对象的位移。
具体地，可以根据预估位置，利用绘制模型求解得到对应的预估反馈力。
步骤S7，对预估反馈力进行误差判断，并根据判断结果确定过渡反馈力。
具体地，对预估反馈力进行误差判断通常涉及到将预估反馈力与实际反馈力进行比较，以确定误差的大小。误差可能由多种因素引起，包括动力学解算伺服的滞后时间、力反馈输出伺服的平滑时间、以及触觉设备与虚拟对象交互的复杂性等。根据误差判断的结果，可以确定过渡反馈力。过渡反馈力是指在当前预估反馈力和最终反馈力之间进行平滑过渡的力。这个过渡过程通过使用插值等方法。过渡反馈力的确定旨在减少因误差引起的突然变化，从而提供更自然和连贯的触觉交互体验。
步骤S9，根据预设的映射系数对过渡反馈力进行转换得到虚拟对象对触觉设备的目标反馈力。
具体地，映射系数是预先设定的参数，用于将触觉设备的反馈力转换为适合用户感知的力。针对不同的虚拟环境，映射系数不同，映射系数的值根据虚拟对象的特性设定，或者由虚拟对象以及触觉设备的供应商提供。根据得到的过渡反馈力，将其乘以对应的映射系数，得到目标反馈力。最终将该目标反馈力输出到触觉设备，以产生用户可以感知的触觉反馈。
本实施例提供的一种数字孪生交互方法，通过获取触觉设备与虚拟对象交互期间的位置变化量，能够实时了解用户的操作动态。在此基础上，结合滞后时间和平滑时间，计算出触觉设备的预估位置，从而确保交互更加流畅，减少响应延迟。接着，基于预估位置确定相应的预估反馈力，确保用户在虚拟环境中的感知一致性。通过对预估反馈力进行误差判断，自动调整反馈力，提高触觉反馈的准确性，避免力反馈延迟或错位。最后，将过渡反馈力转换为目标反馈力，通过预设的映射系数实现对虚拟对象的精准反馈，增强用户的沉浸感和参与感。整个过程实现了高效且准确的力反馈，提升了虚拟现实或增强现实应用的可用性。
图3为本申请实施例提供的步骤S3的流程图，位置变化量的获取包括触觉设备的起始位置；该流程可以包括如下步骤：
步骤S31，根据动力学解算伺服的滞后时间以及力反馈输出伺服的平滑时间，确定总误差时间。
具体地，在采样周期T内，滞后时间为KT，平滑时间为uT，总误差时间是滞后时间和平滑时间的总和，再加上一个额外的采样周期T，以考虑当前采样周期内的整体延迟。因此，总误差时间为(K+u+1)T。
步骤S33，根据起始位置、总误差时间和位置变化量，确定预估位置。
具体地，在周期T内，触觉设备的位置从起始位置p0变动到终止位置pt，位置变化量为；考虑动力学解算伺服的滞后时间KT和力反馈输出伺服的平滑时间uT，在时刻(K+u+1)T时，触觉设备的预估位置为：。
与图1所示的实施例相比，本实施例通过计算动力学解算伺服的滞后时间和力反馈输出伺服的平滑时间来确定总误差时间，从而提高对信号传输和处理延迟的补偿能力，增强响应精度。接着，利用起始位置、总误差时间和位置变化量来计算预估位置，能够实时预测触觉设备的实际位置。这种预估能力确保了反馈力的及时调整，使用户在与虚拟对象交互时感受到更加一致和自然的反馈。
图4为本申请实施例提供的步骤S5的流程图，该流程可以包括如下步骤：
步骤S51，利用广义-阻尼-质点模型构建用于触觉设备与虚拟对象交互的绘制模型。
绘制模型为：
其中，为绘制模型的线位移；为绘制模型的角位移；λs为触觉设备与绘制模型的线位移映射系数；λr为触觉设备与绘制模型的角位移映射系数；x1为触觉设备的当前位置；x0为触觉设备的上一时刻位置；θ1为触觉设备的当前角度；θ0为触觉设备的上一时刻角度；Ks、Kt为广义刚度矩阵；Cs为速度矩阵；br为广义阻尼矩阵；为绘制模型的线速度；为绘制模型的角速度；Fs为操作力；z为虚拟对象的广义质量矩阵；为加速度；μ为拉格朗日乘子；Φ为虚拟对象的约束方程；Ft为反馈力；m为虚拟对象的广义质量矩阵；为虚拟对象的速度；qi为虚拟对象的位移。
步骤S53，根据绘制模型确定预估位置对应的预估反馈力。
具体地，可以根据预估位置，利用绘制模型求解得到对应的预估反馈力。
与图1所示的实施例相比，本实施例利用广义-阻尼-质点模型构建触觉设备与虚拟对象交互的绘制模型。这一模型的应用能够更加真实地模拟物理现象，从而提供更为精确的交互体验。通过这一模型，能够考虑到多个因素，如阻尼和质点之间的相互作用，提升了对虚拟对象动态特性的理解。接着，根据该绘制模型确定预估位置对应的预估反馈力，确保了反馈力与用户操作的实际情况紧密相关，使得用户在交互过程中体验到更自然、更一致的触觉反馈。
图5为本申请实施例提供的步骤S7的流程图，该流程可以包括如下步骤：
步骤S71，获取触觉设备在滞后时间时的滞后实际位置，以及基于位置变化量和滞后时间得到的触觉设备的滞后预估位置。
具体地，获取时刻t0+(K+1)T时触觉设备的实际位置。在周期T内，触觉设备的位置从起始位置p0变动到终止位置pt，位置变化量为；根据位置变化量以及滞后时间KT，计算得到在时刻t0+(K+1)T时的滞后预估位置。
步骤S73，基于滞后预估位置和滞后实际位置，确定触觉设备对应的位置误差率。
具体地，计算滞后预估位置和滞后实际位置的差值；
根据差值计算时刻t0+(K+u+1)T时触觉设备的位置误差率。
步骤S75，在位置误差率小于等于预设误差阈值的情况下，将预估反馈力确定为过渡反馈力。
具体地，位置误差率δ是衡量预估位置与实际位置之间差异的指标。当位置误差率小于或等于预设的误差阈值时，表明触觉设备的预估位置足够接近实际位置，因此可以认为预估反馈力是准确的，并且可以作为过渡反馈力使用。这里的预设误差阈值优选为5%。
步骤S77，在位置误差率大于预设误差阈值的情况下，对预估反馈力进行误差修正，得到过渡反馈力。
具体地，当位置误差率大于预设误差阈值时，表明触觉设备的预估位置与实际位置之间存在较大的偏差，需要对预估反馈力进行修正以确保触觉交互的准确性。可以采用最小二乘法进行插值拟合，获得各时刻的离散值，得到过渡反馈力输出给触觉设备。
与图1所示的实施例相比，本实施例通过实时监测触觉设备的滞后实际位置与滞后预估位置，确保能够动态检测位置误差率。在位置误差率小于等于预设阈值时，直接将预估反馈力作为过渡反馈力输出，从而提供顺畅自然的用户体验；而当误差率大于阈值时，则进行误差修正，提升触觉反馈的准确性，显著改善虚拟交互中的用户体验。
图6为本申请实施例提供的步骤S77的流程图，该流程可以包括如下步骤：
步骤S771，获取触觉设备在滞后预估位置的滞后预估操作力、滞后实际位置的滞后实际操作力。
具体地，根据滞后预估位置，通过绘制模型中的求解得到对应的滞后预估操作力；根据滞后实际位置，通过绘制模型中的求解得到对应的滞后实际操作力。
步骤S773，根据滞后预估操作力进行动力学求解得到滞后拟合反馈力，以及根据滞后实际操作力进行动力学求解得到滞后实际反馈力。
具体地，可以通过绘制模型求解得到对应的滞后拟合反馈力和滞后实际反馈力。
步骤S775，基于滞后预估操作力、滞后实际操作力、滞后拟合反馈力和滞后实际反馈力，利用预设的动力学模型求解得到反馈力误差补偿量。
具体地，利用预设的动力学模型求解得到t0+(K+u+1)T时刻反馈力误差补偿量。
在一些实施例中，动力学模型为：
其中，F操作为触觉设备在滞后预估位置p(K+1)T的滞后预估操作力；F输入为触觉设备在滞后实际位置的滞后实际操作力；Fδ为滞后实际操作力与滞后预估操作力的操作力误差补偿量；f预估为根据滞后预估操作力F操作进行动力学求解得到的滞后拟合反馈力；f反馈为根据滞后实际操作力进行动力学求解得到的滞后实际反馈力；fδ为滞后实际反馈力与滞后预估操作力的反馈力误差补偿量；M为质量矩阵；B为阻尼矩阵；G为刚度矩阵；q为虚拟对象的实际位移，为虚拟对象的实际速度；为虚拟对象的实际加速度；为虚拟对象的预估位移，为虚拟对象的预估速度；为虚拟对象的预估加速度；K为滞后时间；u为平滑时间；T为采样周期；t为采样时刻。
步骤S777，根据反馈力误差补偿量对预估反馈力进行修正，得到过渡反馈力。
具体地，根据反馈力误差补偿量生成待修正反馈力：
然后对待修正反馈力进行修正，采用插值等方法在t0+(K+1)T到t0+(K+u+1)T的每个时刻生成过渡反馈力。
与图5所示的实施例相比，本实施例首先获取触觉设备在滞后预估位置和滞后实际位置的操作力，在此基础上，通过动力学求解分别得到滞后拟合反馈力和滞后实际反馈力，确保对设备反馈状态的准确建模。接着，利用预设的动力学模型，根据所获取的一些操作力和反馈力，计算出反馈力误差补偿量。这一补偿量能够有效修正预估反馈力，最终得到更为准确的过渡反馈力。综上所述，该过程实现了触觉反馈的精确调整，提高了用户体验，减少了因位置误差导致的触觉反馈延迟或不一致的问题。
图7为本申请实施例提供的步骤S777的流程图，该流程可以包括如下步骤：
步骤S7771，根据误差补偿量和预估反馈力，生成待修正反馈力。
具体地，待修正反馈力：
步骤S7773，对待修正反馈力进行三次参数样条曲线拟合，得到过渡反馈力。
具体地，三次参数样条曲线拟合的曲线参数方程为：
根据边界条件求解三次样条曲线的参数a，b，和c，在t0+(K+1)T到t0+(K+u+1)T的每个时刻，使用参数方程求出过渡反馈力。然后可以将过渡反馈力根据预设的映射系数进行转换得到虚拟对象对触觉设备的目标反馈力，输入至触觉设备。需要说明的是，当力反馈伺服输出t0+(K+u+1)T时刻的后，将此刻获得的动力学状态参数作为各伺服耦合下一循环的初始值。
与图6所示的实施例相比，本实施例通过结合误差补偿量和预估反馈力，生成待修正反馈力。接着，对待修正反馈力进行三次参数样条曲线拟合，有助于平滑过渡反馈力的变化，减少突兀感和不自然的反馈。通过这种拟合方式，可以实现更流畅的触觉反馈，使用户在交互时感受到更自然和真实的体验。
图8为本申请实施例提供的一种多更新率伺服的同步方法的示意图，如图8所示，随着交互仿真的运行，参与场景绘制和动力学仿真的零部件模型数量可能会不断变化，动力学解算伺服与图形刷新伺服的速率也不是恒定不变的。因此，需要对不同更新率的伺服进行同步，以确保操作人员的视觉感受和触觉感受一致。
1、图形刷新伺服：场景中的多边形面片数量是决定刷新帧频的关键因素。在每个刷新循环中，统计需要显示的多边形面片数，并与前几次循环的数据进行比较：
若多边形数目明显增加：采用层次细节模型（LOD）简化次要零部件的显示，以降低多边形数量，提高刷新频率。
若多边形数目明显减少：按比例提高图形伺服线程的休眠时间，将更多资源分配给动力学解算伺服和力反馈伺服。
通过动态调整，保持场景刷新的间隔时间在稳定范围内波动。
2、动力学解算伺服：积分步长越小，求解结果的精度越高，但过小的步长会导致迭代次数过多，影响实时性；若步长过大，则可能产生矩阵奇异，影响计算精度。
通过计算负载平衡模型优化动力学积分步长，确保计算实时性和仿真结果的精确性。在求解完成后，评估当前仿真模型的效率，记录积分迭代次数和计算所需时间：
效率明显降低：适当增大积分步长，并提交资源申请信号以缩短动力学伺服的休眠时间。
效率有所提高：按比例缩短积分步长，以获得更精确的力反馈输出。
3、力反馈输出伺服：力反馈伺服通常设置为最高优先级，休眠时间极短，消耗大量计算资源。
为满足仿真实时性，计算负载平衡模型动态调整力反馈伺服的频率。当图形刷新和动力学解算伺服提交资源申请信号时，根据信号强度降低力反馈伺服的频率，但保持不小于800 Hz，以释放资源给其他两个伺服。
通过上述方法，动态切换图形刷新伺服的模型绘制细节、优化动力学解算伺服的积分步长，并实时调整力反馈伺服的刷新频率，以满足动力学交互仿真的实时性要求。
需要注意的是，在场景图形刷新时，需根据动力学解算结果更新虚拟对象即各零部件的位置。同时，力反馈伺服输出相应的反馈力，使操作人员感受到将零件模型从上一个位置状态拖动到当前状态所需的力。为确保图形显示和力反馈输出在视觉和触觉上达成一致，动力学解算不能横跨前后两个场景刷新。因此，在场景刷新完成时，需强制同步各伺服。具体步骤如下：
动态调整方法确保图形刷新、动力学解算和力反馈伺服同时结束。
将动力学解算伺服得出的反馈力数据传递给力反馈伺服，同时将零部件的位置和姿态数据传递给图形刷新伺服。
保持恒定等待图形刷新完成后，重新开启新的图形刷新、动力学计算和力反馈伺服，进行下一循环的交互仿真。
为实现动力学解算与图形刷新伺服的同步，利用计算负载平衡模型统计获得的图形刷新周期(JT)，通过调整最后一次动力学解算的运动趋势预估时间(kn)和反馈力平衡过渡时间μn，使两者的时间大致相同，如下式所示：nT+k1T+μ1T+…+knT+μnT≤JT。由于力反馈伺服的频率远高于场景刷新频率，因此仅需保持在刷新前几个步长的反馈力数值恒定不变，即可实现同步。
本申请实施例还提供了基于人体骨骼姿态识别的装备虚拟现实交互技术，根据虚拟环境中设备作业流程仿真的需求，交互的自然性和友好性显得尤为重要。为了使虚拟仿真更加贴近现实中的设备作业流程，引入了虚拟人作为交互媒介。这些虚拟人通过现实中人的交互语义表达，赋予其更丰富的交互操作，从而实现更加全面和真实的用户体验。
具体地，虚拟人骨骼映射和多链式关节运动学模型建立：
在设备作业的三维环境中，为了使作业仿真流程更加接近现实中的人类操作，加入了具有多自由度的虚拟人体模型。虚拟人体模型的交互作业通过Kinect采集的骨骼数据和彩色、深度图像数据进行处理和分析，实现关节绑定驱动和相应指令模式的映射。Kinect提供的骨骼信息包含25个关节点，而虚拟人模型则有55个关节。这些关节包括主躯干、左右手臂和左右腿各4个，以及头部5个和左右手各15个关节驱动点。考虑到Kinect的拇指和指尖关节的估计不稳定，最终选择将人体主要躯干的16个关节点进行一一映射。如表1所示：
表1骨骼节点与Unity3d虚拟人关节映射表
定义一个骨骼数据集C=[c1,c2,cn-1,cn]，以此数据集作为输入，驱动虚拟人体运动，并在数字孪生环境中建立虚拟人体关节的运动学模型。虚拟人体的关节在空间中围绕其关节点做定点转动。为每个转动关节设定一组独立的欧拉角参数。参阅图9，从位置A0旋转到位置A1的变换可表示为：，其中，R、A1、N、A0是转动算子，分别为：
通过矩阵相乘，可以得到最终的旋转矩阵：
其中，A0点坐标为(x0,y0,z0)，A1点坐标为(x1,y1,z1)，其坐标变换关系为：
根据人体骨骼的结构，运动可分为主体躯干、左右手臂和左右腿的运动，具体为5条关节链的运动。请参阅图10-图11，对于每条关节链的旋转，不是简单的点绕定点旋转，而是可以抽象为多关节连接的骨骼链的旋转运动。例如，骨骼节点在旋转前表现为绿色骨骼链OA0B0C0，旋转后表现为粉色骨骼链OA1B1C1。所需的变换可表示为：R=RA·RB·RC。
通过式子，可以得到：
上式所代表的是A0绕定点旋转到A1，绕点A1旋转到B1，绕点B1旋转到C1，这里的是B0跟随A0旋转得到的新位置，是在第一次跟随A0旋转，接着第二次跟随旋转得到的新位置，最终得到C1。
设备作业中的虚拟人动作姿态映射和动作库建立：
在虚拟环境的设备作业流程中，操控者通常会采取一定的基本固定姿态。这些姿态动作在设备作业仿真交互中是必不可少的，它们代表着特定的交互语义。操作者执行这些交互动作的目的是推进设备运行流程或调整设备运行参数。同时，虚拟人接收到交互语义后，会进行相应的虚拟交互反馈。
根据不同的交互目的，将虚拟设备作业流程中的动作姿态分为两大类，请参阅图12。
移动型动作姿态：指操作者在前后左右方向进行移动。由于骨骼信息直接驱动虚拟人，因此移动型动作姿态无需特别区分，呈现为虚拟人实时跟随操作者的动作变化。
操作型动作姿态：指操作者在设备作业中对流程运转所需操作配件的一类动作。这类交互主要用于改变配件或物料在设备中的空间位置，或者推动设备的运转流程。
基于上述交互动作姿态的分类与定义，建立了一个虚拟环境中设备作业的交互动作姿态库。该库包括每种动作姿态的以下内容：动作标签、动作名称、动作要领、动作简图。构建完成的动作姿态库便于利用人体动作骨骼姿态识别算法进行训练识别，从而计算出交互语义类别，并触发虚拟人的相应姿态动作反馈。表2中列出了部分操作型动作姿态的库。需要注意的是，移动型姿态由于是实时稳定地跟随操作者的行走动作，因此在表格库中不作特殊说明。
表2 5个动作姿态的分析简化及其基础要领
下面结合一具体应用场景对本发明的数字孪生仿真中CAE数据的可视化交互进行描述。
在数字孪生仿真环境中，零件可以被配备力反馈手套的虚拟手抓取，并具有不同的约束状态。这些约束分为三种情况：自由状态下的无约束、部分自由度约束（沿着约束零件运动的有向曲线）、全自由度约束（在设备上定位位置）。
1.部分自由度约束
a.当零件未被抓取时：零件允许凭借惯性自主运动。每帧检查零件的线位移和角位移。若零件因线位移偏离约束曲线，则将其重新放置在约束曲线上的投影点，并保留其速度。零件的角位置始终与约束曲线的切线方向一致。
b.当零件被抓取时：零件的位姿由虚拟手决定，与虚拟手保持相对静止。虚拟手的位姿由VR跟踪器决定，VR跟踪器保持自由。
具体步骤：
步骤1：记录手到VR跟踪器的相对位姿：向量：、四元数：。
步骤2：当手抓取零件时，记录手到零件的相对位姿：向量：、四元数：。
步骤3：将零件约束到有向曲线上，更新新位姿：向量和四元数，保持VR跟踪器的自由运动，获得跟踪器的新位姿：向量和四元数。
步骤4：计算手的新位姿（若手抓取零件）：向量：、四元数：。
步骤5：若手松开零件，恢复原始相对位姿：向量：、四元数：。
2.全自由度约束
当零件处于定位位置时，允许在特定条件下被移动。
a.当零件未被抓取时：零件保持全部自由度的约束。
b.当零件被抓取时：需要超出一定速度限度才能移动零件。在每帧检查手的位移是否超出阈值，未超出则移动有效。当零件从约束曲线末端滑落，会转入自由状态。若零件在自由状态且其轴点与约束曲线末端相近且旋转方向一致，则会被捕捉回定位状态。
请参阅图13，在数字孪生仿真场景中，对具有时变应力场的零件进行剖切，步骤如下：
步骤1001：在数字孪生仿真场景中，右手使用力反馈手套拾取该零件。
步骤1002：在数字孪生仿真场景中，左手使用虚拟现实设备的手柄绘制剖切平面，并将剖切平面变换到零件模型所在坐标空间。
步骤1002-1：当按下手柄的操作按钮时，进入剖切平面绘制状态，此时的帧称为初始帧，并记录手柄的位置和姿态。
步骤1002-2：在剖切平面绘制状态下，手柄前端在数字孪生仿真场景的空间中保持投射出固定长度的一段直线型指示光线，并在每帧更新该光线的位置，使其与手柄保持相对静止。
步骤1002-3：在剖切平面绘制状态下，根据手柄在初始帧的位置和姿态，以及手柄在当前帧的位置和姿态，处理获得当前帧的全局坐标系平面Q，并以半透明方式可视化。通过调整零件和手柄的姿态，可以将剖切平面放置在期望的位置。
步骤1002-3-1：将手柄初始位置的投射光线起点定为P1，终点定位为P2；将手柄当前帧位置的投射光线起点定为P3，终点定位为P4。
步骤1002-3-2：以点P1、P3和P4三点确定平面Q，然后将点P2投射到平面Q上的点记为点。
步骤1002-3-3：点P1、点、点P4构成的三角形，以及点、点P4、点P3构成的三角形具有公共边且位于平面Q上。使用它们对平面Q进行可视化。
步骤1002-4：当松开手柄的操作按钮时，接受最后一次的全局坐标系平面作为剖切平面，退出剖切平面绘制状态。
步骤1003：将带有时变场数据的零件模型及变换后的剖切平面参数传递到剖切处理模块，使用VTK的ClipDataSet滤镜进行剖切。具体步骤如下：
步骤1003-1：读入带有时变场数据的零件模型，生成多个时间步的vtkUnstructuredGrid类型数据。
步骤1003-2：根据对关键帧数量的要求，对多个时间步的非结构网格类型数据进行重新均匀采样，得到每个关键帧的数据。
步骤1003-3：对所有关键帧，分别使用ClipDataSet滤镜进行剖切，获得所有关键帧剖切后的vtkUnstructuredGrid类型数据。
步骤1004：提取剖切后的零件模型表面及表面数据，并将其传递回数字孪生仿真场景中，更新待剖切模型。具体操作如下：
利用vtkGeometry滤镜和vtkTriangleFilter滤镜提取剖切后各个模型部分的vtkUnstructuredGrid类型数据的几何及场数据的外表面，生成vtkPolyData类型数据。再经过转换，生成可视化场景所支持的三角形网格及顶点数据，以更新可视化场景中的原零件模型外表面。
步骤1005：可以先后加入多个剖切平面。针对上次零件模型的剖切结果，重复上述步骤1002至步骤1003，对剖切后数据进行串联处理。
相应地，请参考图14为本申请实施例提供的一种数字孪生交互装置的框图，应用于数字孪生交互系统，系统包括触觉设备、虚拟对象、动力学解算伺服和力反馈输出伺服，该装置包括：
位置变化获取模块S101，用于获取触觉设备在采样周期中与虚拟对象交互的位置变化量；
预估位置生成模块S103，用于基于位置变化量、动力学解算伺服的滞后时间以及力反馈输出伺服的平滑时间，生成触觉设备的预估位置；
预估反馈力确定模块S105，用于确定预估位置对应的预估反馈力；
误差判断模块S107，用于对预估反馈力进行误差判断，并根据判断结果确定过渡反馈力；
目标反馈力确定模块S109，用于根据预设的映射系数对过渡反馈力进行转换得到虚拟对象对触觉设备的目标反馈力。
在一些可选的实施方式中，位置变化量的获取包括触觉设备的起始位置；预估位置生成模块S103包括：
根据动力学解算伺服的滞后时间以及力反馈输出伺服的平滑时间，确定总误差时间；
根据起始位置、总误差时间和位置变化量，确定预估位置。
在一些可选的实施方式中，预估反馈力确定模块S105包括：
利用广义-阻尼-质点模型构建用于触觉设备与虚拟对象交互的绘制模型；
根据绘制模型确定预估位置对应的预估反馈力。
在一些可选的实施方式中，误差判断模块S107包括：
获取触觉设备在滞后时间时的滞后实际位置，以及基于位置变化量和滞后时间得到的触觉设备的滞后预估位置；
基于滞后预估位置和滞后实际位置，确定触觉设备对应的位置误差率；
在位置误差率小于等于预设误差阈值的情况下，将预估反馈力确定为过渡反馈力；
在位置误差率大于预设误差阈值的情况下，对预估反馈力进行误差修正，得到过渡反馈力。
在一些可选的实施方式中，在位置误差率大于预设误差阈值的情况下，对预估反馈力进行误差修正，得到过渡反馈力，包括：
获取触觉设备在滞后预估位置的滞后预估操作力、滞后实际位置的滞后实际操作力；
根据滞后预估操作力进行动力学求解得到滞后拟合反馈力，以及根据滞后实际操作力进行动力学求解得到滞后实际反馈力；
基于滞后预估操作力、滞后实际操作力、滞后拟合反馈力和滞后实际反馈力，利用预设的动力学模型求解得到反馈力误差补偿量；
根据反馈力误差补偿量对预估反馈力进行修正，得到过渡反馈力。
在一些可选的实施方式中，根据反馈力误差补偿量对预估反馈力进行修正，得到过渡反馈力，包括：
根据误差补偿量和预估反馈力，生成待修正反馈力；
对待修正反馈力进行三次参数样条曲线拟合，得到过渡反馈力。
在一些可选的实施方式中，动力学模型为：
其中，F操作为触觉设备在滞后预估位置p(K+1)T的滞后预估操作力；F输入为触觉设备在滞后实际位置的滞后实际操作力；Fδ为滞后实际操作力与滞后预估操作力的操作力误差补偿量；f预估为根据滞后预估操作力F操作进行动力学求解得到的滞后拟合反馈力；f反馈为根据滞后实际操作力进行动力学求解得到的滞后实际反馈力；fδ为滞后实际反馈力与滞后预估操作力的反馈力误差补偿量；M为质量矩阵；B为阻尼矩阵；G为刚度矩阵；q为虚拟对象的实际位移，为虚拟对象的实际速度；为虚拟对象的实际加速度；为虚拟对象的预估位移，为虚拟对象的预估速度；为虚拟对象的预估加速度；K为滞后时间；u为平滑时间；T为采样周期；t为采样时刻。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的一种数字孪生交互装置是以功能模块的形式来呈现，这里的模块是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
请参阅图15，图15为本申请实施例提供的一种计算机设备的结构示意图，如图15所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图15中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。
本申请实施例还提供了一种计算机可读存储介质，上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
虽然结合附图描述了本申请的实施例，但是本领域技术人员可以在不脱离本申请的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种数字孪生交互方法，其特征在于，应用于数字孪生交互系统，所述系统包括触觉设备、虚拟对象、动力学解算伺服和力反馈输出伺服；所述方法包括：
获取所述触觉设备在采样周期中与所述虚拟对象交互的位置变化量；
基于所述位置变化量、所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，生成所述触觉设备的预估位置；
确定所述预估位置对应的预估反馈力；
对所述预估反馈力进行误差判断，并根据判断结果确定过渡反馈力；
其中，所述对所述预估反馈力进行误差判断，并根据判断结果确定过渡反馈力，包括：
获取所述触觉设备在所述滞后时间时的滞后实际位置，以及基于所述位置变化量和所述滞后时间得到的所述触觉设备的滞后预估位置；
基于所述滞后预估位置和所述滞后实际位置，确定所述触觉设备对应的位置误差率；
在所述位置误差率小于等于预设误差阈值的情况下，将所述预估反馈力确定为所述过渡反馈力；
在所述位置误差率大于预设误差阈值的情况下，对所述预估反馈力进行误差修正，得到所述过渡反馈力；
其中，所述在所述位置误差率大于预设误差阈值的情况下，对所述预估反馈力进行误差修正，得到所述过渡反馈力，包括：
获取所述触觉设备在所述滞后预估位置的滞后预估操作力、所述滞后实际位置的滞后实际操作力；
根据所述滞后预估操作力进行动力学求解得到滞后拟合反馈力，以及根据所述滞后实际操作力进行动力学求解得到滞后实际反馈力；
基于所述滞后预估操作力、所述滞后实际操作力、所述滞后拟合反馈力和所述滞后实际反馈力，利用预设的动力学模型求解得到反馈力误差补偿量；
根据所述反馈力误差补偿量对所述预估反馈力进行修正，得到所述过渡反馈力；
根据预设的映射系数对所述过渡反馈力进行转换得到所述虚拟对象对所述触觉设备的目标反馈力。
2.根据权利要求1所述的方法，其特征在于，所述位置变化量的获取包括所述触觉设备的起始位置；所述基于所述位置变化量、所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，生成所述触觉设备的预估位置，包括：
根据所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，确定总误差时间；
根据所述起始位置、所述总误差时间和所述位置变化量，确定所述预估位置。
3.根据权利要求1所述的方法，其特征在于，所述确定所述预估位置对应的预估反馈力，包括：
利用广义-阻尼-质点模型构建用于所述触觉设备与所述虚拟对象交互的绘制模型；
根据所述绘制模型确定所述预估位置对应的预估反馈力。
4.根据权利要求1所述的方法，其特征在于，所述根据所述反馈力误差补偿量对所述预估反馈力进行修正，得到所述过渡反馈力，包括：
根据所述误差补偿量和所述预估反馈力，生成待修正反馈力；
对所述待修正反馈力进行三次参数样条曲线拟合，得到所述过渡反馈力。
5.根据权利要求1所述的方法，其特征在于，所述动力学模型为：
其中，F操作为触觉设备在滞后预估位置p(K+1)T的滞后预估操作力；F输入为触觉设备在滞后实际位置的滞后实际操作力；Fδ为滞后实际操作力与滞后预估操作力的操作力误差补偿量；f预估为根据滞后预估操作力F操作进行动力学求解得到的滞后拟合反馈力；f反馈为根据滞后实际操作力进行动力学求解得到的滞后实际反馈力；fδ为滞后实际反馈力与滞后预估操作力的反馈力误差补偿量；M为质量矩阵；B为阻尼矩阵；G为刚度矩阵；q为虚拟对象的实际位移，为虚拟对象的实际速度；为虚拟对象的实际加速度；为虚拟对象的预估位移，为虚拟对象的预估速度；为虚拟对象的预估加速度；K为滞后时间；u为平滑时间；T为采样周期；t为采样时刻。
6.一种数字孪生交互装置，其特征在于，应用于数字孪生交互系统，所述系统包括触觉设备、虚拟对象、动力学解算伺服和力反馈输出伺服；所述装置包括：
位置变化获取模块，用于获取所述触觉设备在采样周期中与所述虚拟对象交互的位置变化量；
预估位置生成模块，用于基于所述位置变化量、所述动力学解算伺服的滞后时间以及所述力反馈输出伺服的平滑时间，生成所述触觉设备的预估位置；
预估反馈力确定模块，用于确定所述预估位置对应的预估反馈力；
误差判断模块，用于对所述预估反馈力进行误差判断，并根据判断结果确定过渡反馈力；
其中，所述对所述预估反馈力进行误差判断，并根据判断结果确定过渡反馈力，包括：
获取所述触觉设备在所述滞后时间时的滞后实际位置，以及基于所述位置变化量和所述滞后时间得到的所述触觉设备的滞后预估位置；
基于所述滞后预估位置和所述滞后实际位置，确定所述触觉设备对应的位置误差率；
在所述位置误差率小于等于预设误差阈值的情况下，将所述预估反馈力确定为所述过渡反馈力；
在所述位置误差率大于预设误差阈值的情况下，对所述预估反馈力进行误差修正，得到所述过渡反馈力；
其中，所述在所述位置误差率大于预设误差阈值的情况下，对所述预估反馈力进行误差修正，得到所述过渡反馈力，包括：
获取所述触觉设备在所述滞后预估位置的滞后预估操作力、所述滞后实际位置的滞后实际操作力；
根据所述滞后预估操作力进行动力学求解得到滞后拟合反馈力，以及根据所述滞后实际操作力进行动力学求解得到滞后实际反馈力；
基于所述滞后预估操作力、所述滞后实际操作力、所述滞后拟合反馈力和所述滞后实际反馈力，利用预设的动力学模型求解得到反馈力误差补偿量；
根据所述反馈力误差补偿量对所述预估反馈力进行修正，得到所述过渡反馈力；
目标反馈力确定模块，用于根据预设的映射系数对所述过渡反馈力进行转换得到所述虚拟对象对所述触觉设备的目标反馈力。
7.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至5中任一项所述的数字孪生交互方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至5中任一项所述的数字孪生交互方法。
CN202411774567.4A 2024-12-05 2024-12-05 一种数字孪生交互方法、装置、设备及介质 Active CN119225539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411774567.4A CN119225539B (zh) 2024-12-05 2024-12-05 一种数字孪生交互方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411774567.4A CN119225539B (zh) 2024-12-05 2024-12-05 一种数字孪生交互方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN119225539A CN119225539A (zh) 2024-12-31
CN119225539B true CN119225539B (zh) 2025-03-14

Family

ID=93943942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411774567.4A Active CN119225539B (zh) 2024-12-05 2024-12-05 一种数字孪生交互方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN119225539B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022109353A1 (en) * 2020-11-20 2022-05-27 The Board Of Trustees Of The Leland Stanford Junior University Local autonomy-based haptic robot interaction with dual proxy model

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210173485A1 (en) * 2016-07-12 2021-06-10 Korea University Of Technology And Education Industry -University Cooperation Foundation Haptic interaction device and control method therefor
CN115097782B (zh) * 2022-06-23 2024-05-03 山东大学 一种数字孪生增强的复杂装备检测补偿方法与系统
EP4565341A2 (en) * 2022-08-05 2025-06-11 Haptx, Inc. Haptic platform and ecosystem for immersive computer mediated environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022109353A1 (en) * 2020-11-20 2022-05-27 The Board Of Trustees Of The Leland Stanford Junior University Local autonomy-based haptic robot interaction with dual proxy model

Also Published As

Publication number Publication date
CN119225539A (zh) 2024-12-31

Similar Documents

Publication Publication Date Title
Borst et al. Realistic virtual grasping
CN110930483B (zh) 一种角色控制的方法、模型训练的方法以及相关装置
Borst et al. A spring model for whole-hand virtual grasping
CN112634419B (zh) 一种运动重定向方法、装置、电子设备及存储介质
CN113450903B (zh) 一种人体动作映射方法、装置、计算机设备和存储介质
JP7299414B2 (ja) 画像処理方法、装置、電子機器及びコンピュータプログラム
Verschoor et al. Soft hand simulation for smooth and robust natural interaction
US20200341538A1 (en) Systems and methods for creating haptic proxies for use in virtual reality
CN108369478A (zh) 用于交互反馈的手部跟踪
RU2308764C2 (ru) Перемещение виртуального сочлененного объекта в виртуальном пространстве с предотвращением столкновений сочлененного объекта с элементами окружающего пространства
Dyck et al. Mixed mock-up–development of an interactive augmented reality system for assembly planning
US11093037B2 (en) Computer-implemented method, system and computer program product for simulating the behaviour of a hand that interacts with objects in a virtual environment
Roach et al. Computer aided drafting virtual reality interface
CN119225539B (zh) 一种数字孪生交互方法、装置、设备及介质
KR20240055025A (ko) 실용 3d 에셋을 위한 추론된 골격 구조
Camporesi et al. Interactive motion modeling and parameterization by direct demonstration
Humberston et al. Hands on: Interactive animation of precision manipulation and contact
CN117414580A (zh) 策略神经网络的训练与角色控制方法、装置、电子设备
Çetinaslan Position manipulation techniques for facial animation
US8704828B1 (en) Inverse kinematic melting for posing models
Hou et al. A prediction method using interpolation for smooth six-DOF haptic rendering in multirate simulation
CN116468827B (zh) 数据处理方法及相关产品
US12293466B2 (en) Systems and methods for generating a model database with blendshape representation
CN117289796B (zh) 基于触觉手套的复杂装备高交互混合现实系统与方法
HK40024180A (zh) 圖像處理方法、裝置、電子設備及存儲介質

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant