[go: up one dir, main page]

TWI827974B - 虛擬功能效能分析系統及其分析方法 - Google Patents

虛擬功能效能分析系統及其分析方法 Download PDF

Info

Publication number
TWI827974B
TWI827974B TW110133368A TW110133368A TWI827974B TW I827974 B TWI827974 B TW I827974B TW 110133368 A TW110133368 A TW 110133368A TW 110133368 A TW110133368 A TW 110133368A TW I827974 B TWI827974 B TW I827974B
Authority
TW
Taiwan
Prior art keywords
virtual
function
performance
resource
physical
Prior art date
Application number
TW110133368A
Other languages
English (en)
Other versions
TW202311943A (zh
Inventor
李育緯
許名宏
顏至寬
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW110133368A priority Critical patent/TWI827974B/zh
Priority to JP2021185129A priority patent/JP2023039385A/ja
Priority to US17/540,537 priority patent/US20230071976A1/en
Priority to EP21212546.2A priority patent/EP4148582A1/en
Priority to CN202210001353.8A priority patent/CN115776448A/zh
Priority to PH1/2022/050077A priority patent/PH12022050077A1/en
Publication of TW202311943A publication Critical patent/TW202311943A/zh
Application granted granted Critical
Publication of TWI827974B publication Critical patent/TWI827974B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/091—Measuring contribution of individual network components to actual service level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3428—Benchmarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5032—Generating service level reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/815—Virtual

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

係揭示一種虛擬功能效能分析系統及其分析方法。虛擬功能效能分析方法包括以下。在虛擬平台監測虛擬網路功能應用程式之至少一虛擬功能函式，虛擬平台具有至少一實體資源及至少一虛擬資源。監測並記錄各實體資源，各虛擬資源以及各虛擬功能函式之至少一效能指標之實際值。並且，比較各效能指標之實際值與各自對應之預期值及/或閥值以得到一比較結果，並據以分析系統效能。

Description

虛擬功能效能分析系統及其分析方法
本案係關於一種虛擬功能效能分析系統及其分析方法，特別有關於一種在虛擬平台的架構下分析虛擬功能函式的執行效能之分析系統及其分析方法。
隨著網路通訊架構及軟體技術之演進，各種實體計算資源或儲存資源能藉由虛擬化形式而操作於虛擬平台架構中。藉由虛擬化之架構，使用者之終端程式(虛擬網路功能應用程式)可靈活存取虛擬平台架構中的虛擬計算資源或儲存資源。
然而，在虛擬平台的環境中，對於虛擬網路功能應用程式之執行以及虛擬資源之存取使用而言，虛擬平台的環境遠複雜於實體環境。並且，虛擬網路功能應用程式可能為免費取得之開源軟體或第三方提供之程式套件。若虛擬網路功能應用程式發生運作異常而導致虛擬平台之整體效能下降，使用者難以確認出虛擬網路功能應用程式內部發生運作異常之特定函式。
因此，本技術領域之相關產業之技術人員係致力於分析虛擬網路功能應用程式內部之函式(虛擬功能函式)之效能表現，期能更 精確的剖析可能造成虛擬平台效能下降之原因，且確認出可能造成虛擬平台效能瓶頸之問題點。
本案之一實施例提供一種虛擬功能效能分析系統，包括監控單元、效能分析單元以及資源調整單元。監控單元用於在虛擬平台監測虛擬網路功能應用程式之至少一虛擬功能函式的效能表現，該虛擬平台具有至少一實體資源及至少一虛擬資源，各該實體資源、各該虛擬資源及各該虛擬功能函式各自具有至少一效能指標，各效能指標各自具有預期值及/或閥值，該監控單元係監測並記錄各效能指標之實際值。效能分析單元用於比較各效能指標之實際值與各自對應之預期值及/或閥值以得到各效能指標之比較結果並據以分析系統效能。
本案之另一實施例提供一種虛擬功能效能分析方法，包括以下步驟。在一虛擬平台監測一虛擬網路功能的應用程式之至少一虛擬功能函式，該虛擬平台具有至少一實體資源及至少一虛擬資源，各該實體資源、各該虛擬資源及各該虛擬功能函式各自具有至少一效能指標，各效能指標各自具有預期值及/或閥值。在該虛擬平台監測並記錄各效能指標之實際值。比較各效能指標之實際值與各自對應之預期值及/或閥值以得到比較結果並據以分析系統效能。
透過閱讀以下圖式、各種實施例詳細說明以及申請專利範圍，可見本案之其他方面以及優點。
100A(或100B):虛擬功能效能分析系統
102:測試單元
104:監控單元
106:效能分析單元
108:資源調整單元
200,230,260:虛擬網路功能應用程式
202,204,206,302:虛擬功能函式
t1:初始時間點
t2:結束時間點
202a,204a:佇列
T_02,T_04,T_06:執行時間
300:測試平台
400:虛擬平台
402:實體中央處理器
404:實體記憶體
406:實體網路頻寬
408:實體磁碟輸入/輸出
410:虛擬層
412:虛擬中央處理器
412a,412b,412c:虛擬資源
414:虛擬記憶體
416:虛擬網路頻寬
418:虛擬磁碟輸入/輸出
600,600B,700,800,900:虛擬功能效能分析方法實施例
602~628:步驟
第1A圖為依據本案揭示之虛擬功能效能分析系統一實施例之方塊圖。
第1B圖為依據本案揭示之虛擬功能效能分析系統另一實施例之方塊圖。
第2圖為依據本案揭示之虛擬功能函式之一效能指標實施例之示意圖。
第3A圖為依據本案揭示之測試單元之一運作實施例示意圖。
第3B圖為依據本案揭示之虛擬功能函式之一效能指標實施例之示意圖。
第4A圖為依據本案揭示之虛擬平台的實體資源及虛擬資源一實施例之示意圖。
第4B圖為依據本案揭示之虛擬平台的虛擬資源配置一實施例之示意圖。
第5圖為依據本案揭示之監控單元之一運作實施例之示意圖。
第6A~6C圖為依據本案揭示之虛擬功能效能分析方法一實施例之流程圖。
第7圖為依據本案揭示之虛擬功能效能分析方法另一實施例之流程圖。
第8圖為依據本案揭示之虛擬功能效能分析方法再一實施例之流程圖。
第9圖為依據本案揭示之虛擬功能效能分析方法又一實施例之流程圖。
本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合
第1A圖為依據本案揭示之虛擬功能效能分析系統一實施例100A之方塊圖。參見第1A圖，虛擬功能效能分析系統100A包括監控單元104、效能分析單元106、以及資源調整單元108。虛擬功能效能分析系統100A係對於虛擬網路功能(Virtual Network Function，VNF)的應用程式(application)以及各虛擬功能函式執行於網路功能虛擬平台(Network Function Virtualization Infrastructure,NFVI)的效能表現進行分析監測。
在虛擬網路功能應用程式所實際執行的實際場域環境的虛擬平台中，監控單元104可監測虛擬網路功能應用程式內部的至少一虛擬功能函式的效能表現。更具體而言，虛擬網路功能應用程式以及各虛擬功能函式具有一或多個效能指標，各效能指 標可反映虛擬網路功能應用程式以及各虛擬功能函式執行於虛擬平台的效能表現。各效能指標具有預期值，預期值可以是系統預設值，或由使用者定義。另外，亦可透過機器學習的方式觀察分析各虛擬功能函式在虛擬平台的長期運行狀況，據以建立各效能指標的預期值。並且，虛擬網路功能應用程式對於虛擬平台的實體資源以及虛擬資源的使用狀況亦為虛擬功能效能分析系統100A分析的效能指標。
監控單元104監測該些虛擬功能函式的執行，據以記錄各虛擬功能函式在虛擬平台中的實際效能表現，進而收集取得各虛擬功能函式的各效能指標的實際值。並且，監控單元104亦可監測各虛擬網路功能應用程式對於虛擬平台中的各虛擬資源與各實體資源的使用狀況，據以記錄各虛擬資源與各實體資源的各效能指標的實際值。
效能分析單元106可對於各虛擬資源、各實體資源以及各虛擬功能函式的各效能指標的實際值與對應之預期值進行分析比較、並分析比較各虛擬網路功能應用程式對於各虛擬資源及各實體資源的使用狀況以得到一比較結果，且根據比較結果分析系統效能，進而判斷虛擬網路功能應用程式及各虛擬功能函式的是否運作異常而導致虛擬平台的整體效能下降。效能分析單元106並可精確定位出導致效能下降的特定虛擬功能函式、虛擬資源或實體資源，以指出造成系統效能瓶頸可能的異常原因。
根據所指出的異常原因，可運用資源調整單元108對 於虛擬網路功能應用程式或各虛擬功能函式的執行狀況進行系統資源調整，例如：擴展虛擬網路功能應用程式的服務，以減輕造成效能瓶頸之虛擬功能函式的工作負荷。或者，資源調整單元108可對於虛擬平台的實體資源或虛擬資源之配置進行調整，例如：擴充設置實體資源、或調整虛擬資源之配置，以將足夠的實體資源或虛擬資源配置予造成效能瓶頸之虛擬功能函式所屬的虛擬網路功能應用程式。
第1B圖為依據本案揭示之虛擬功能效能分析系統另一實施例100B之方塊圖。請參見第1B圖，相較於第1A圖之虛擬功能效能分析系統100A，本實施例之虛擬功能效能分析系統100B更可包括一測試單元102。測試單元102可預先在測試平台中對於虛擬網路功能應用程式中的各虛擬功能函式進行測試，以評估各虛擬功能函式之預期效能表現(即：在實體或虛擬資源足夠的狀況下，各虛擬功能函式符合預期的正常效能表現)，並據以建立各虛擬功能函式的各效能指標的預期值。
換言之，相異於虛擬功能效能分析系統100A的各效能指標的預期值是可由系統預設或由使用者定義的，在虛擬功能效能分析系統實施例100B中各效能指標的預期值是由測試單元102在測試平台中預先建立，或經由機器學習而預先建立。
上文係配合第1A、1B圖對於本案揭示之虛擬功能效能分析系統100A或100B進行概述，下文係配合第2、3A、3B、4及5圖對於虛擬功能效能分析系統100A或100B的各單元之具體實 施方式進行詳細說明。
第2圖為依據本案揭示之虛擬功能函式之一效能指標實施例之示意圖。請參見第2圖，虛擬網路功能應用程式200為虛擬功能效能分析系統100A(或100B)主要監測分析之目標，虛擬網路功能應用程式200可稱為「目標虛擬網路功能應用程式」。虛擬網路功能應用程式200例如為在虛擬平台中執行的一個程序(process)或虛擬機器(virtual machine)。虛擬網路功能應用程式200可包括多個虛擬功能函式，例如，至少包括虛擬功能函式202、虛擬功能函式204、及虛擬功能函式206。虛擬功能函式202、204、206的每一者可具有一或多個效能指標，此些效能指標可反映虛擬功能函式202、204、206在虛擬平台中的各執行層面的效能表現。虛擬功能函式202、204、206的效能指標可例如包括：虛擬功能函式202、204、206之「執行時間」、「執行頻率」、「錯誤發生率」及佇列(queue)的「佇列長度」等等，但並不限於此。
首先，以虛擬功能函式202、204、206的效能指標「執行時間」為例說明。執行時間係直接反映虛擬功能函式202、204、206的效能表現，若執行時間過長表示可能發生以下狀況：虛擬功能函式202、204、206之執行受到阻礙(block)、虛擬功能函式202、204、206的工作量超過負荷、虛擬平台的實體資源之使用上發生競爭、或配置予虛擬功能函式202、204、206所屬的虛擬網路功能應用程式200的實體資源及/或虛擬資源不足。
更具體而言，以虛擬功能函式202為例，虛擬功能函式202的執行時間T_02係為執行虛擬功能函式202的初始時間點t1與結束時間點t2之間的時間間隔。初始時間點t1例如為虛擬功能函式202被呼叫(call)的時間點，結束時間點t2例如為虛擬功能函式202回傳(return)結果的時間點。在另一種態樣之示例中，虛擬功能函式202可執行於多個執行緒(multi-thread)的環境，則虛擬功能函式202的執行時間T_02係為虛擬功能函式202對應每一個執行緒各自的執行時間。
如前所述，在第1B圖所示之虛擬功能效能分析系統100B中，虛擬功能函式的各效能指標的預期值可預先由測試單元102建立，而第3A圖為依據本案揭示之測試單元102之一運作實施例示意圖。參見第3A圖，測試單元102預先於測試平台300中對於虛擬網路功能應用程式200的虛擬功能函式202、204、206進行測試。測試平台300係為具有潔淨室(clean room)環境之平台，例如為實驗室環境的平台。測試平台300的潔淨室環境係為單純化的環境，係將可能影響虛擬功能函式202、204、206執行的環境變數或外部因素最小化。因此，虛擬功能函式202、204、206在測試平台300的效能表現大致符合使用者預期。在測試平台300中，測試單元102所收集的虛擬功能函式202、204、206之各效能指標的數據值可作為各效能指標的預期值(或可稱為「基準值」，baseline)。例如，虛擬功能函式202、204、206在測試 平台300中的執行時間T_02、T_04、T_06之數據值可分別作為虛擬功能函式202、204、206的執行時間之預期值。
更具體而言，以虛擬功能函式202之執行時間T_02為例，測試單元102可藉由eBPF等工具以觀測執行時間T_02。或者，在另一種態樣之示例中，使用者在編寫虛擬功能函式202之程式碼時，可在虛擬功能函式202之程式碼中建立觀測點以記錄虛擬功能函式202被呼叫的時間點(初始時間點t1)與回傳結果的時間點(結束時間點t2)，並根據程式碼的觀測點之歷程記錄(log)而計算出執行時間T_02。
在不同的環境因素下，虛擬功能函式202、204、206的執行時間T_02、T_04、T_06可能變動。因此，測試單元102可對於虛擬功能函式202、204、206在不同環境因素下的執行時間T_02、T_04、T_06進行統計，以得到執行時間T_02、T_04、T06的最小值、平均值及最大值。例如，如表1所示，在測試平台300中，測試單元102所建立的虛擬功能函式202、204、206的執行時間T_02、T_04、T_06之預期值分別為：虛擬功能函式202之執行時間T_02的最小值為50us、平均值為100us、最大值為200us。虛擬功能函式204之執行時間T_04之最小值為30us、平均值為50us、最大值為150us。並且，虛擬功能函式206之執行時間T_06之最小值為100us、平均值為130us、最大值為250us。
Figure 110133368-A0305-02-0012-1
另一方面，參見第3B圖，虛擬功能函式202、204、206的程式邏輯可具有佇列形式，例如：虛擬功能函式202之輸入端(輸入機制)可具有佇列202a，而虛擬功能函式204之輸出端(輸出機制)亦可具有佇列204a。虛擬功能函式202、204的佇列202a、204a的「佇列長度」亦為另一重要的效能指標。
虛擬功能效能分析系統100A(或100B)可針對佇列202a與佇列204a的佇列長度設定閥值，該閥值可以是系統預設值或可由使用者定義。例如，使用者(虛擬功能函式的開發者)可根據過去使用經驗的數據資料以統計並評估佇列202a與佇列204a的合理佇列長度，並將此合理佇列長度設定為效能指標「佇列長度」的閥值。如表1所示，虛擬功能函式202輸入端之佇列202a的佇列長度之閥值例如設定為200。若實際執行虛擬功能函式202時，佇列202a的佇列長度超過閥值，表示虛擬功能函式202運作異常。另一方面，對於虛擬功能函式204輸出端的佇列 204a而言，若佇列204a的佇列長度過長，則表示以佇列204a作為輸入端的另一個虛擬功能函式302可能發生運作異常。
並且，虛擬功能函式202、204、206更可具有其他效能指標，例如：「執行頻率」及「錯誤發生率」。其中，虛擬功能函式202、204、206的「執行頻率」係為單位時間內虛擬功能函式202、204、206的執行次數。此外，若虛擬功能函式202、204、206執行於多個執行緒的環境，則上述效能指標「佇列長度」、「執行頻率」及「錯誤發生率」係為虛擬功能函式202、204、206對應每一個執行緒各自的佇列長度、執行頻率及錯誤發生率。
虛擬功能函式202、204、206的各效能指標之預期值或閥值除了可藉由測試單元102在測試平台300中測試評估來預測、由使用者定義或採用系統預設值，亦可藉由機器學習來建立。例如，可長時間記錄虛擬功能函式202、204、206各效能指標之實際運行的數據值，再藉由機器學習方式來分析統計出各效能指標之預期值或閥值。
除了虛擬功能函式202、204、206的「執行時間」、「佇列長度」、「執行頻率」及「錯誤發生率」等效能指標之外，另一方面，虛擬功能函式202、204、206所屬的虛擬網路功能應用程式200對於虛擬平台的實體資源或虛擬資源的「使用狀況」亦可反映出虛擬網路功能應用程式200的效能表現。因此，虛擬網路功能應用程式200對於實體資源或虛擬資源的「使用狀況」亦為虛擬功能效能分析系統100A(或100B)欲分析的效能指標。 第4A圖為根據本案揭示之虛擬平台400的實體資源及虛擬資源一實施例之示意圖。參見第4A圖，虛擬平台400係為虛擬網路功能應用程式200實際執行的場域環境。虛擬平台400的實體資源至少包括：實體中央處理器(CPU)402、實體記憶體(memory)404、實體網路頻寬(network bandwidth)406、以及實體磁碟輸入/輸出(disk I/O)408。
另一方面，在虛擬平台400之架構下，可經由虛擬層410將上述實體資源虛擬化而成為對應的虛擬資源。實體中央處理器402、實體記憶體404、實體網路頻寬406、實體磁碟輸入/輸出408分別對應的虛擬資源係為：虛擬中央處理器412、虛擬記憶體414、虛擬網路頻寬416、虛擬磁碟輸入/輸出418。並且，虛擬平台400可將上述虛擬資源配置予虛擬網路功能應用程式200以及其他的虛擬網路功能應用程式。請同時參見第4B圖，其繪示根據本案揭示之虛擬平台400的虛擬資源配置一實施例之示意圖。以虛擬資源中的虛擬中央處理器412為例說明，虛擬中央處理器412可至少包括虛擬資源412a、虛擬資源412b及虛擬資源412c。可將虛擬資源412a配置予虛擬網路功能應用程式200，將虛擬資源412b配置予虛擬網路功能應用程式230，並將虛擬資源412c配置予虛擬網路功能應用程式260。
請同時參見表2，其例舉相關於虛擬平台400的實體資源及虛擬資源的「使用狀況」的多個效能指標。廣義而言，實體資源及虛擬資源之廣義的效能指標係為實體資源及虛擬資源 的「使用狀況」。更特定而言，相關於實體資源及虛擬資源的「使用狀況」的效能指標類型可包括：實體資源及虛擬資源的「使用量」、「錯誤事件」及「資源飽和」等。以效能指標類型「使用量」為例，實體資源及虛擬資源的「使用量」的效能指標細項可包括：單一中央處理器/記憶體/磁碟之各自使用量、整體系統之平均使用量、網路介面所接收或傳送的流量及頻寬等。
Figure 110133368-A0305-02-0015-2
針對於表2所例舉之此些效能指標，虛擬功能效能分析系統100A(或100B)可根據系統預設值或使用者定義來建立此些效能指標的預期值及/或閥值。例如，參見表2-1所示：虛擬網路功能應用程式200對於所配置的虛擬中央處理器412之虛擬 資源412a的「使用量」之預期值為22%，虛擬網路功能應用程式230對於所配置的虛擬中央處理器412之虛擬資源412b的「使用量」之預期值為25%，虛擬網路功能應用程式260對於所配置的虛擬中央處理器412之虛擬資源412c的「使用量」之預期值為15%。並且，虛擬網路功能應用程式200、230、260對於實體中央處理器402的總使用量之預期值為62%。
Figure 110133368-A0305-02-0016-3
第5圖為依據本案揭示之監控單元104之一運作實施例示意圖。參見第5圖，當虛擬網路功能應用程式200的虛擬功能函式202、204、206實際執行於虛擬平台400時，監控單元104監測並收集虛擬功能函式202、204、206的各效能指標的實際值。以效能指標「執行時間」為例，虛擬功能函式202、204、206的執行時間T_02、T_04、T_06之實際值分別如表3所示：虛擬功能函式202之執行時間T_02的實際值的最小值為55us、 平均值為103us、最大值為205us。虛擬功能函式204之執行時間T_04的實際值的之最小值為27us、平均值為49us、最大值為130us。虛擬功能函式206之執行時間T_06的實際值的之最小值為110us、平均值為135us、最大值為270us。另一方面，以效能指標「佇列長度」為例，監控單元104監測的虛擬功能函式202的佇列202a之佇列長度之實際值為250，虛擬功能函式204的佇列204a之佇列長度之實際值為250。
Figure 110133368-A0305-02-0017-4
另一方面，如前所述，監控單元104亦在虛擬平台400中實際監測並記錄虛擬網路功能應用程式200(即：目標虛擬網路功能應用程式)以及其他的虛擬網路功能應用程式230、260對於虛擬平台400的各虛擬資源及各實體資源的實際使用狀況，以得到各實體資源及各虛擬資源的各效能指標的實際值。以效能指標「使用量」為例，表4所示為監控單元104所記錄之虛擬網 路功能應用程式200、230、260對於虛擬中央處理器412以及實體中央處理器402的使用量的實際值。
Figure 110133368-A0305-02-0018-5
在表4中，虛擬網路功能應用程式200對於所配置或分配到的虛擬中央處理器412(虛擬資源412a)的實際使用量為20%，虛擬網路功能應用程式230對於所配置或分配到的虛擬中央處理器412(虛擬資源412b)的實際使用量為22%，並且虛擬網路功能應用程式260對於所配置或分配到的虛擬中央處理器412(虛擬資源412c)的實際使用量為18%。此外，虛擬網路功能應用程式200、230、260對於實體中央處理器402的實際總使用量為60%。
綜上所述，監控單元104可監測記錄虛擬網路功能應用程式200(目標虛擬網路功能應用程式)內部的各虛擬功能函 式202、204、206的各效能指標(「執行時間」、「佇列長度」、「執行頻率」、或「錯誤發生率」，等等)之實際值。並且，監控單元104亦可監測記錄虛擬網路功能應用程式200以及其他的虛擬網路功能應用程式230、260對於虛擬平台400之各實體資源與各虛擬資源的使用狀況，以記錄各實體資源與各虛擬資源的各效能指標(「使用量」、「錯誤事件」、或「資源飽和」，等等)之實際值。
據此，效能分析單元106對於虛擬網路功能應用程式200的虛擬功能函式202、204、206之各效能指標及虛擬平台400的各實體資源及各虛擬資源的各效能指標進行分析，比較各效能指標的實際值與預期值及/或閥值，以判斷虛擬網路功能應用程式200之虛擬功能函式202、204、206是否運作異常，或各實體資源/各虛擬資源的使用狀況異常，並可進一步分析導致異常的效能瓶頸以及原因。而後，資源調整單元108可調整虛擬網路功能應用程式200或虛擬功能函式202、204、206之服務、調整配置予虛擬網路功能應用程式200及/或其他的虛擬網路功能應用程式230、260之虛擬資源、或擴充設置虛擬平台400的實體資源。效能分析單元106與資源調整單元108的詳細運作方式係配合參見下文揭示之虛擬功能效能分析方法之各實施例。
第6A~6C圖為依據本案揭示之虛擬功能效能分析方法一實施例600之流程圖。請先參見第6A圖：首先，在步驟601，根據系統預設值定義或根據使用者定義，對於欲監測分析的主要 目標的虛擬網路功能應用程式200(即：目標虛擬網路功能應用程式)內部的虛擬功能函式202、204、206的各效能指標的預期值及/或閥值進行設定，並設定虛擬平台400中的各實體資源(實體中央處理器402、實體記憶體404、實體網路頻寬406、實體磁碟輸入/輸出408)與各虛擬資源(虛擬中央處理器412、虛擬記憶體414、虛擬網路頻寬416、虛擬磁碟輸入/輸出418)的各效能指標的預期值及/或閥值。其中，虛擬功能函式202、204、206的效能指標例如包括：「執行時間」、「佇列長度」、「執行頻率」及「錯誤發生率」，等等。虛擬平台400中的各實體資源及各虛擬資源的效能指標例如包括：「使用量」、「錯誤事件」、「資源飽和」，等等。
接著，在步驟606，在虛擬平台400的實際場域環境中實際監測虛擬網路功能應用程式200的虛擬功能函式202、204、206。虛擬網路功能應用程式200係使用虛擬平台400的各虛擬資源及各實體資源。
接著，在步驟608，藉由虛擬功能效能分析系統100A(或100B)之監控單元104在虛擬平台400中監測並記錄各虛擬功能函式202、204、206之各效能指標之實際值。
接著，在步驟610，藉由監控單元104在虛擬平台400中監測並記錄虛擬網路功能應用程式200與其他的虛擬網路功能應用程式230、260對於虛擬平台400的各實體資源及各虛 擬資源之實際使用狀況(例如：使用量)，以建立各實體資源及各虛擬資源之各效能指標之實際值。而後，執行第6C圖的步驟613。
上文所述之第6A圖的方法實施例600中，對於各實體資源及各虛擬資源的各效能指標的預期值，以及虛擬功能函式202、204、206的各效能指標的預期值及/或閥值而言，係根據系統預設值或使用者定義而預先設定。然而，在第6B圖所示之方法實施例600B中，虛擬功能函式202、204、206的各效能指標的預期值亦可由測試單元102在測試平台300中預先建立。如第6B圖所示，在步驟606之前，可先執行步驟602與步驟604。在步驟602中，在潔淨室環境的測試平台300執行目標虛擬網路功能應用程式200的虛擬功能函式202、204、206。而後，在步驟604中，測試單元102根據虛擬功能函式202、204、206在測試平台300之執行結果，收集取得虛擬功能函式202、204、206的各效能指標的數據值，並根據此些數據值建立各效能指標的預期值。至於第6B圖之方法實施例600B的步驟606至步驟610完全相同於第6A圖之方法實施例600，於此不再重述。
接著，參見第6C圖，在步驟613中，藉由虛擬功能效能分析系統100A(或100B)之效能分析單元106，對於各實體資源、各虛擬資源之各效能指標(例如：「使用量」)及虛擬功能函式202、204、206之各效能指標(例如：「執行時間」、「佇列長度」等)之實際值與對應之預期值及/或閥值進行比較而得到一 比較結果，並根據上述之各比較結果判斷虛擬功能函式202、204、206之運作是否發生異常。
例如，在接下來的步驟614中，效能指標之實際值與預期值及/或閥值的比較結果係為：虛擬功能函式202、204、206之其中一項效能指標「執行時間」之實際值大致符合預期值，此些實際值並沒有遠大於預期值。可同時參見表3，例如：虛擬功能函式202、204、206之執行時間的實際值(包括最小值、平均值及最大值)大致符合表1所示之執行時間的預期值，表示虛擬功能函式202、204、206在虛擬平台400的執行時間的實際值大致符合預期值。因此，判斷虛擬功能函式202、204、206的工作量未超出負荷。此時，可接著執行步驟616以進一步分析其他的效能指標的實際值是否超過預期值及/或閥值。
在步驟616中，效能分析單元106可對於另一效能指標「佇列長度」之實際值與閥值進行比較。步驟616所得到的比較結果係為：「佇列長度」之實際值遠大於閥值(可參見表3所示：虛擬功能函式202的佇列長度之實際值為250，其遠超過表1所示之佇列長度之閥值200)。根據上述比較結果，可確認虛擬功能函式202的運作異常，並可將虛擬平台400之運作效能之瓶頸定位於佇列長度之實際值遠大於閥值的虛擬功能函式202。
接著，在步驟618中，效能分析單元106確認佇列長度大於閥值的虛擬功能函式202的工作量超過負荷，因此資源調整單元108可能選擇採取以下方案以克服虛擬功能函式202之 異常運作：調整虛擬網路功能應用程式200的服務、或調整虛擬平台400的實體資源或虛擬資源之配置。
在本實施例中，資源調整單元108係調整虛擬網路功能應用程式200的服務，例如：可擴充執行具有相同功能的其他虛擬網路功能應用程式，以分擔虛擬網路功能應用程式200的虛擬功能函式202之工作負荷。。
第7圖為依據本案揭示之虛擬功能效能分析方法另一實施例700之流程圖，本方法實施例700承續實施例600之步驟601至步驟613，因此第7圖省略步驟601至步驟613。
參見第7圖，在本實施例700之步驟614中，各效能指標之實際值與預期值及/或閥值的比較結果為：其中一項效能指標「執行時間」之實際值遠大於預期值(可參見表5所示：虛擬功能函式204的執行時間T_04的實際值的平均值238us與最大值2530us，其遠大於表1所示之的執行時間T_04的預期值的平均值50us與最大值150us)。因此，效能分析單元106判斷虛擬功能函式204的運作異常，虛擬功能函式204係被定位為導致效能表現下降的瓶頸。
虛擬功能函式204成為瓶頸的原因可能是實體資源或虛擬資源的使用量已逼近配置量之上限或可能趨向於超載。例如：配置予虛擬功能函式204所屬的虛擬網路功能應用程式200的實體資源及/或虛擬資源不足導致使用量可能趨向於超載；或者，譬如於多個執行緒的狀況時，虛擬網路功能應用程式200內部的其 他的虛擬功能函式202或206與虛擬功能函式204競爭使用虛擬資源；或者，其他的虛擬網路功能應用程式230、260與虛擬網路功能應用程式200(目標虛擬網路功能應用程式)競爭使用實體資源。此時，可執行步驟620進一步釐清原因。
Figure 110133368-A0305-02-0024-6
在步驟620中，效能分析單元106可根據記錄各實體資源及各虛擬資源的各效能指標的實際值以評估各實體資源及/或各虛擬資源的使用量是否逼近配置量之上限或可能趨向於超載。分析結果如表6所示：虛擬功能函式204所屬的虛擬網路功能應用程式200(即：目標虛擬網路功能應用程式)對於虛擬中央處理器412之實際使用量為54%，其遠超過表2-1所示之預期值20%，表示虛擬網路功能應用程式200對於虛擬中央處理器412的使用量已逼近配置予虛擬網路功能應用程式200之虛擬資源412a的配置量上限、或使用量可能將趨向於超載。因此，可釐清虛擬功能 函式204成為效能瓶頸的可能原因在於：虛擬平台400配置予虛擬功能函式204所屬之虛擬網路功能應用程式200的虛擬中央處理器412之資源(虛擬資源412a)不足。
Figure 110133368-A0305-02-0025-7
接著，在步驟622中，資源調整單元108調整虛擬網路功能應用程式200之虛擬資源配置，例如：可調整虛擬中央處理器412的配置以將虛擬中央處理器412之中較多的虛擬資源412a配置予虛擬網路功能應用程式200。或者，資源調整單元108可擴充虛擬平台400的實體資源及/或虛擬資源。或者，資源調整單元108亦可調整虛擬網路功能應用程式200之服務，例如：另外擴充執行具有相同功能的其他虛擬網路功能應用程式以分擔虛擬網路功能應用程式200的工作負荷。
第8圖為依據本案揭示之虛擬功能效能分析方法另一實施例800之流程圖，本方法實施例800承續實施例600之步 驟601至步驟613以及實施例700之步驟614，因此第8圖省略步驟601至步驟614。
參見第8圖，在本方法實施例800的步驟620中，效能分析單元106分析出虛擬網路功能應用程式200對於各虛擬資源的使用量皆落入正常範圍(例如表7所示：虛擬網路功能應用程式200對於虛擬中央處理器412的實際使用量為25%，其僅稍大於表2-1所示之預期值22%，而並未遠超過預期值22%)，因而判斷虛擬網路功能應用程式200的虛擬資源的使用量並未逼近配置量之上限或趨向於超載。
接下來，可執行步驟624以進一步分析虛擬平台400的所有虛擬網路功能應用程式200、230、260對於實體資源的總使用量是否趨向於超載。
Figure 110133368-A0305-02-0026-8
在步驟624中，效能分析單元106記錄的分析結果如表7所示：實體中央處理器402的總使用量的實際值為95%，其逼近配置量之上限而幾乎超載，因而判斷虛擬網路功能應用程式200以外的其他虛擬網路功能應用程式230、260可能正在競爭使用此實體中央處理器402，並且其他的虛擬網路功能應用程式230、260對於此實體中央處理器402的使用量過高而導致超載。表7示出虛擬網路功能應用程式230對於虛擬中央處理器資源的使用量為52%(52%之使用量為偏高的數值)，表示虛擬網路功能應用程式230正在競爭使用實體中央處理器402的資源。
接著，在步驟626中，資源調整單元108調整虛擬網路功能應用程式200之虛擬資源配置，例如：可調整虛擬中央處理器412的配置以將虛擬中央處理器412之中較多的虛擬資源412a配置予虛擬網路功能應用程式200，使虛擬網路功能應用程式200具有足夠之虛擬資源配置量。或者，對於使用量逼近配置量之上限或趨向於超載的實體中央處理器402進行調整，例如：可擴充虛擬平台400的實體資源及/或虛擬資源以擴充設置更多的實體中央處理器。
第9圖為依據本案揭示之虛擬功能效能分析方法另一實施例900之流程圖，虛擬功能效能分析方法實施例900承續實施例600之步驟601至步驟610、實施例700之步驟614、以及實施例800之步驟620，因此第9圖省略步驟601至步驟620。
參見第9圖，在本方法實施例900之步驟624中，若效能分析單元106的分析結果為：虛擬網路功能應用程式200對於各虛擬資源的使用量皆未逼近配置量之上限或趨向於超載，且各實體資源的總使用量亦未逼近配置量之上限或趨向於超載(例如表4所示：虛擬網路功能應用程式200對於虛擬中央處理器412的實際使用量為20%，其低於表2-1所示之預期值22%；且實體中央處理器402的實際總使用量為60%，其低於表2-1所示之預期值62%)，則可判斷並未發生其他的虛擬網路功能應用程式230、260競爭使用實體資源，或虛擬網路功能應用程式200內部的虛擬功能函式202、204、206之間競爭使用虛擬資源的狀況。因此，效能分析單元106係判斷：虛擬功能函式204的執行時間嚴重超過預期值而成為效能瓶頸的原因與實體資源及/或虛擬資源的配置無關。
接著，在步驟628中，效能分析單元106係判斷虛擬功能函式204成為效能瓶頸的原因可能為：虛擬功能函式204本身的程式碼的程式邏輯發生錯誤，例如：虛擬功能函式204的程式碼中的鎖定(lock)機制發生錯誤。或者，是封包處理異常，例如：虛擬功能函式204的封包遺失導致軟體協定的重新傳輸機制必須重新傳遞封包，造成相關於虛擬功能函式204的服務的延遲時間過長。
綜上所述，根據以上所述之不同態樣之實施例，本案揭示之技術方案係以虛擬功能效能分析系統100A(或100B)對 於虛擬網路功能應用程式200(即：目標虛擬網路功能應用程式)的虛擬功能函式202、204、206的多個效能指標(例如「執行時間」、「執行頻率」、「佇列長度及「錯誤發生率」)進行分析，並對於虛擬平台400的各實體資源及各虛擬資源的多個效能指標(例如「使用量」、「錯誤事件」及「資源飽和」)進行分析。並且，可在實際場域環境的虛擬平台400實際監測虛擬網路功能應用程式200的虛擬功能函式202、204、206，的各效能指標以及各實體資源及虛擬資源的各效能指標的實際值。而後，分析比較上述各效能指標的實際值是否遠大於預期值及/或閥值，若上述各效能指標的實際值遠大於對應之預期值及/或閥值，表示此一虛擬功能函式(例如：虛擬功能函式202)的工作量負荷過重，或者配置予此一虛擬功能函式所屬的虛擬網路功能應用程式200的實體資源及/或虛擬資源不足，或其他的虛擬網路功能應用程式230、260競爭使用實體資源，或虛擬網路功能應用程式200內的虛擬功能函式202、204、206之間競爭使用虛擬資源。虛擬功能效能分析系統100A(或100B)將此一「虛擬功能函式」、或使用量逼近配置量之上限或趨向於超載的「實體資源」或「虛擬資源」自動定位為造成虛擬網路功能應用程式200效能下降的問題瓶頸。
相較於習知技術中藉由虛擬平台之維運人員以人工方式蒐集各效能數據，本案揭示之虛擬功能效能分析系統100A(或100B)係以自動化方式收集分析各效能指標的數據而具有時效與速度上的優勢。在習知技術中，虛擬平台的維運人員並未針對虛 擬功能函式之效能指標「執行時間」進行分析，因此無法精確分析出運作異常的原因；而本揭示之虛擬功能效能分析系統100A(或100B)能夠精確的分析各虛擬功能函式之執行時間。並且，相較於習知技術僅止於將效能下降之瓶頸定位至虛擬網路功能應用程式，本案揭示之虛擬功能效能分析系統100A(或100B)能更精確的將問題瓶頸定位至虛擬網路功能應用程式中的之特定函式，並能夠精確分析出虛擬平台400效能降低之原因。
此外，針對虛擬平台效能下降的原因，本案揭示之虛擬功能效能分析系統100A(或100B)亦能夠自動化的調整虛擬網路功能應用程式200及/或虛擬功能函式202、204、206的服務，或自動化擴充或調整虛擬平台400的實體資源及/或虛擬資源之配置，以自動化改善虛擬平台400的效能。
雖然本發明已以實施例及範例詳細揭露如上，可理解的是，此些範例意指說明而非限制之意義。可預期的是，所屬技術領域中具有通常知識者可想到多種修改及組合，其多種修改及組合落在本發明之精神以及後附之申請專利範圍之範圍內。
104:監控單元
200:虛擬網路功能應用程式
202,204,206:虛擬功能函式
202a,204a:佇列
T_02,T_04,T_06:執行時間
400:虛擬平台

Claims (16)

  1. 一種虛擬功能效能分析系統，包括：一監控單元，用於在一虛擬平台監測一虛擬網路功能應用程式之至少一虛擬功能函式的效能表現，該虛擬平台具有至少一實體資源及至少一虛擬資源，各該實體資源、各該虛擬資源及各該虛擬功能函式各自具有至少一效能指標，各該效能指標各自具有一預期值及/或一閥值，該監控單元係在該虛擬平台監測並記錄各該效能指標之一實際值；以及一效能分析單元，用於比較各該效能指標之實際值與各自對應之預期值及/或閥值以得到各該效能指標之一比較結果並據以分析系統效能，若該比較結果係為各該效能指標之實際值高於各自對應之該預期值及/或該閥值，則該效能分析單元判斷前述各該效能指標所屬的各該實體資源、各該虛擬資源或各該虛擬功能函式係為該虛擬平台之效能瓶頸。
  2. 如請求項1所述之虛擬功能效能分析系統，更包括：一測試單元，用於在一測試平台監測該虛擬網路功能應用程式之各該虛擬功能函式，並建立各該虛擬功能函式之各該效能指標之該預期值及/或該閥值。
  3. 如請求項1所述之虛擬功能效能分析系統，更包括：一資源調整單元，若該比較結果係為各該效能指標之實際值高於各自對應之該預期值及/或該閥值，則該資源調整單元依據該比較結果進行以下至少其中一者：調整該虛擬網路功能應用程式之服務、調整各該實體資源之配置、或調整該虛擬網路功能應用程式之各該虛擬資源之配置。
  4. 如請求項1所述之虛擬功能效能分析系統，其中，各該虛擬功能函式之效能指標係為各該虛擬功能函式之一執行時間、一執行頻率、一錯誤發生率或一佇列長度至少其中一者，各該實體資源以及各該虛擬資源之效能指標係為各自之一使用量。
  5. 如請求項4所述之虛擬功能效能分析系統，其中，若各該虛擬功能函式係執行於多個執行緒的環境時，則該執行時間、該執行頻率、該錯誤發生率或該佇列長度係為各該虛擬功能函式對應每個執行緒各自的執行時間、執行頻率、錯誤發生率或佇列長度。
  6. 如請求項4所述之虛擬功能效能分析系統，其中，若該比較結果係為各該實體資源及/或各該虛擬資源至少其中一 者之該使用量係為已逼近配置量之上限或可能趨向於超載，則該資源調整單元依據該比較結果進行以下至少其中一者：擴充可能超載的各該實體資源之配置、或調整該虛擬網路功能應用程式之各該虛擬資源之配置，以使該虛擬網路功能應用程式及各該虛擬功能函式有足夠之資源配置量。
  7. 如請求項4所述之虛擬功能效能分析系統，其中，若該比較結果係為各該實體資源之該使用量及各該虛擬資源之該使用量皆未逼近配置量之上限亦未趨向於超載，則該效能分析單元判斷各該效能指標所屬的各該虛擬功能函式具有程式邏輯錯誤或封包處理異常的狀況。
  8. 如請求項1所述之虛擬功能效能分析系統，其中，該虛擬平台之該些實體資源至少包括一實體中央處理器、一實體記憶體、一實體網路頻寬、以及一實體磁碟輸入/輸出，上述至少其中一者，並且該虛擬平台之該些虛擬資源至少包括一虛擬中央處理器、一虛擬記憶體、一虛擬網路頻寬、以及一虛擬磁碟輸入/輸出，上述至少其中一者。
  9. 一種虛擬功能效能分析方法，包括：在一虛擬平台監測一虛擬網路功能應用程式之至少一虛擬功能函式的效能表現，該虛擬平台具有至少一實體資源及至少一虛 擬資源，各該實體資源、各該虛擬資源及各該虛擬功能函式各自具有至少一效能指標，各該效能指標各自具有一預期值及/或一閥值；在該虛擬平台監測並記錄各該效能指標之一實際值；比較各該效能指標之實際值與各自對應之預期值及/或閥值以得到各該效能指標之一比較結果並據以分析系統效能；以及若該比較結果係為各該效能指標之實際值高於各自對應之該預期值及/或該閥值，判斷前述各該效能指標所屬的各該實體資源、各該虛擬資源或各該虛擬功能函式係為該虛擬平台之效能瓶頸。
  10. 如請求項9所述之虛擬功能效能分析方法，更包括：在一測試平台監測該虛擬網路功能應用程式之各該虛擬功能函式；以及在該測試平台建立各該虛擬功能函式之各該效能指標之該預期值及/或該閥值。
  11. 如請求項9所述之虛擬功能效能分析方法，其中，若該比較結果係為各該效能指標之實際值高於各自對應之該預期值及/或該閥值，則該虛擬功能效能分析方法更包括： 依據該比較結果調整該虛擬網路功能應用程式之服務、調整各該實體資源之配置、或調整該虛擬網路功能應用程式之各該虛擬資源之配置。
  12. 如請求項9所述之虛擬功能效能分析方法，其中，各該虛擬功能函式之效能指標係為各該虛擬功能函式之一執行時間、一執行頻率、一錯誤發生率或一佇列長度至少其中一者，各該實體資源以及各該虛擬資源之效能指標係為各自之一使用量。
  13. 如請求項12所述之虛擬功能效能分析方法，其中，若各該虛擬功能函式係執行於多個執行緒的環境時，則該執行時間、該執行頻率、該錯誤發生率或該佇列長度係為各該虛擬功能函式對應每個執行緒各自的執行時間、執行頻率、錯誤發生率或佇列長度。
  14. 如請求項12所述之虛擬功能效能分析方法，其中，若該比較結果係為各該實體資源及/或各該虛擬資源至少其中一者之該使用量係為已逼近配置量之上限或可能趨向於超載，則該虛擬功能效能分析方法更包括： 依據該比較結果擴充可能超載的各該實體資源之配置、或調整該虛擬網路功能應用程式之各該虛擬資源之配置，以使該虛擬網路功能應用程式及各該虛擬功能函式有足夠之資源配置量。
  15. 如請求項12所述之虛擬功能效能分析方法，其中，若該比較結果係為各該實體資源之該使用量及各該虛擬資源之該使用量皆未逼近配置量之上限亦未趨向於超載，則該虛擬功能效能分析方法更包括：判斷各該效能指標所屬的各該虛擬功能函式具有程式邏輯錯誤或封包處理異常的狀況。
  16. 如請求項9所述之虛擬功能效能分析方法，其中，該虛擬平台之該些實體資源至少包括一實體中央處理器、一實體記憶體、一實體網路頻寬、以及一實體磁碟輸入/輸出，上述至少其中一者，並且該虛擬平台之該些虛擬資源至少包括一虛擬中央處理器、一虛擬記憶體、一虛擬網路頻寬、以及一虛擬磁碟輸入/輸出，上述至少其中一者。
TW110133368A 2021-09-08 2021-09-08 虛擬功能效能分析系統及其分析方法 TWI827974B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
TW110133368A TWI827974B (zh) 2021-09-08 2021-09-08 虛擬功能效能分析系統及其分析方法
JP2021185129A JP2023039385A (ja) 2021-09-08 2021-11-12 仮想機能性能分析システムおよびその分析方法
US17/540,537 US20230071976A1 (en) 2021-09-08 2021-12-02 Virtual function performance analysis system and analysis method thereof
EP21212546.2A EP4148582A1 (en) 2021-09-08 2021-12-06 Virtual function performance analysis system and analysis method thereof
CN202210001353.8A CN115776448A (zh) 2021-09-08 2022-01-04 虚拟功能效能分析系统及其分析方法
PH1/2022/050077A PH12022050077A1 (en) 2021-09-08 2022-02-28 Virtual function performance analysis system and analysis method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110133368A TWI827974B (zh) 2021-09-08 2021-09-08 虛擬功能效能分析系統及其分析方法

Publications (2)

Publication Number Publication Date
TW202311943A TW202311943A (zh) 2023-03-16
TWI827974B true TWI827974B (zh) 2024-01-01

Family

ID=79231127

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110133368A TWI827974B (zh) 2021-09-08 2021-09-08 虛擬功能效能分析系統及其分析方法

Country Status (6)

Country Link
US (1) US20230071976A1 (zh)
EP (1) EP4148582A1 (zh)
JP (1) JP2023039385A (zh)
CN (1) CN115776448A (zh)
PH (1) PH12022050077A1 (zh)
TW (1) TWI827974B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060005184A1 (en) * 2004-06-30 2006-01-05 Vijay Tewari Virtualizing management hardware for a virtual machine
CN102156665A (zh) * 2011-04-13 2011-08-17 杭州电子科技大学 一种虚拟化系统竞争资源差异化服务方法
TW201214119A (en) * 2010-09-28 2012-04-01 Diskeeper Corp Data storage optimization for a virtual platform
CN102495784A (zh) * 2011-11-16 2012-06-13 浪潮(北京)电子信息产业有限公司 硬盘监控管理方法和系统
US20140189248A1 (en) * 2010-11-09 2014-07-03 Vmware, Inc. Efficient online construction of miss rate curves
CN104899095A (zh) * 2014-03-03 2015-09-09 广达电脑股份有限公司 虚拟机器的资源调整方法及系统

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020698B2 (en) * 2000-05-31 2006-03-28 Lucent Technologies Inc. System and method for locating a closest server in response to a client domain name request
JP2004302751A (ja) * 2003-03-31 2004-10-28 Hitachi Ltd 計算機システムの性能管理方法、および、記憶装置の性能を管理する計算機システム
JP4071668B2 (ja) * 2003-04-16 2008-04-02 富士通株式会社 システムの使用資源を調整する装置および方法
JP2006178374A (ja) * 2004-12-24 2006-07-06 Brother Ind Ltd 画像形成装置
TW200826086A (en) * 2005-12-21 2008-06-16 Koninkl Philips Electronics Nv A method of operating a data recording device
EP2023245B1 (en) * 2006-04-26 2016-02-17 Nippon Telegraph And Telephone Corporation Load control device and its method
JP4872615B2 (ja) * 2006-11-14 2012-02-08 株式会社デンソー 内燃機関の診断装置
CN101247277A (zh) * 2007-02-15 2008-08-20 华为技术有限公司 一种告警的方法及装置
JP2011522621A (ja) * 2008-06-06 2011-08-04 ネルコー ピューリタン ベネット エルエルシー 患者の努力に比例した換気のためのシステムおよび方法
JP5458308B2 (ja) * 2010-06-11 2014-04-02 株式会社日立製作所 仮想計算機システム、仮想計算機システムの監視方法及びネットワーク装置
US9357021B2 (en) * 2013-03-14 2016-05-31 Comcast Cable Communications, Llc Delivery of content
JP6248560B2 (ja) * 2013-11-13 2017-12-20 富士通株式会社 管理プログラム、管理方法、および管理装置
US9800651B2 (en) * 2014-04-04 2017-10-24 Ca, Inc. Application-specific assessment of cloud hosting suitability
JP2017528967A (ja) * 2014-08-07 2017-09-28 インテル アイピー コーポレイション 仮想化ネットワーク機能管理
JP2016062506A (ja) * 2014-09-19 2016-04-25 株式会社東芝 監視システム、監視装置及び監視方法
US20160179582A1 (en) * 2014-12-23 2016-06-23 Intel Corporation Techniques to dynamically allocate resources for local service chains of configurable computing resources
JP6500489B2 (ja) * 2015-02-24 2019-04-17 日本電気株式会社 表示システム、表示方法、表示プログラムおよび仮想システム
JP6403621B2 (ja) * 2015-03-31 2018-10-10 株式会社日立製作所 ネットワークシステム、リソース管理方法、及び制御装置
CN107534570B (zh) * 2015-06-16 2021-08-24 慧与发展有限责任合伙企业 用于虚拟化网络功能监控的计算机系统、方法和介质
JP2017049643A (ja) * 2015-08-31 2017-03-09 富士通株式会社 情報処理装置、ライセンス管理プログラム、及び、ライセンス管理方法
JP6440203B2 (ja) * 2015-09-02 2018-12-19 Kddi株式会社 ネットワーク監視システム、ネットワーク監視方法およびプログラム
US10938895B2 (en) * 2015-10-19 2021-03-02 Nokia Solutions And Networks Oy Instantiating a virtual network function comprising at least one virtual network function component
WO2017092823A1 (en) * 2015-12-04 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Technique for optimizing the scaling of an application having a set of virtual machines
JP2017184168A (ja) * 2016-03-31 2017-10-05 日本電気株式会社 通信システムと制御装置と通信制御方法並びにプログラム
CN109074280B (zh) * 2016-04-29 2023-11-17 苹果公司 网络功能虚拟化
WO2017222613A1 (en) * 2016-06-20 2017-12-28 Intel IP Corporation End-to-end techniques to create pm (performance measurement) thresholds at nfv (network function virtualization) infrastructure
US20190253930A1 (en) * 2016-07-21 2019-08-15 Nec Corporation Resource management apparatus, resource management method, and program
US20180069749A1 (en) * 2016-09-07 2018-03-08 Netscout Systems, Inc Systems and methods for performing computer network service chain analytics
US11063844B2 (en) * 2017-02-10 2021-07-13 Apple Inc. Systems, methods and devices for virtual resource metric management
JP2018180773A (ja) * 2017-04-07 2018-11-15 富士通株式会社 管理装置及び管理方法
US10977575B2 (en) * 2017-05-04 2021-04-13 Servicenow, Inc. Machine learning auto completion of fields
US11010205B2 (en) * 2017-05-30 2021-05-18 Hewlett Packard Enterprise Development Lp Virtual network function resource allocation
US20190095796A1 (en) * 2017-09-22 2019-03-28 Intel Corporation Methods and arrangements to determine physical resource assignments
FR3074542B1 (fr) * 2017-12-06 2019-12-20 IFP Energies Nouvelles Procede de commande d'un moteur a combustion interne a allumage commande au moyen d'un estimateur de cliquetis
JP7140410B2 (ja) * 2018-03-30 2022-09-21 Ｎｅｃソリューションイノベータ株式会社 予測システム、予測方法および予測プログラム
EP3788570A1 (en) * 2018-04-30 2021-03-10 Telefonaktiebolaget LM Ericsson (publ) Automated augmented reality rendering platform for providing remote expert assistance
JP6973300B2 (ja) * 2018-06-04 2021-11-24 日本電信電話株式会社 サービスチェイン設計装置、サービスチェイン設計方法、および、サービスチェイン設計プログラム
CN119485764A (zh) * 2018-08-07 2025-02-18 交互数字专利控股公司 用于拥塞控制的nr v2x方法
US11550606B2 (en) * 2018-09-13 2023-01-10 Intel Corporation Technologies for deploying virtual machines in a virtual network function infrastructure
US10826789B2 (en) * 2018-12-27 2020-11-03 At&T Intellectual Property I, L.P. Adjusting triggers for automatic scaling of virtual network functions
US11490366B2 (en) * 2019-05-07 2022-11-01 Hewlett Packard Enterprise Development Lp Network function virtualisation
US10992542B2 (en) * 2019-06-25 2021-04-27 Sciencelogic, Inc. System and method for the collection, generation, and distribution of synthetic metrics for computer system management
US11719451B2 (en) * 2019-12-23 2023-08-08 Johnson Controls Tyco IP Holdings LLP Building system with early fault detection
US11556791B2 (en) * 2020-04-01 2023-01-17 Sas Institute Inc. Predicting and managing requests for computing resources or other resources
US11057274B1 (en) * 2020-04-09 2021-07-06 Verizon Patent And Licensing Inc. Systems and methods for validation of virtualized network functions
US20200287813A1 (en) * 2020-04-16 2020-09-10 Patrick KUTCH Method and apparatus for workload feedback mechanism facilitating a closed loop architecture
US12242475B2 (en) * 2020-09-30 2025-03-04 Snowflake Inc. Autoscaling external function requests

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060005184A1 (en) * 2004-06-30 2006-01-05 Vijay Tewari Virtualizing management hardware for a virtual machine
TW201214119A (en) * 2010-09-28 2012-04-01 Diskeeper Corp Data storage optimization for a virtual platform
US20140189248A1 (en) * 2010-11-09 2014-07-03 Vmware, Inc. Efficient online construction of miss rate curves
CN102156665A (zh) * 2011-04-13 2011-08-17 杭州电子科技大学 一种虚拟化系统竞争资源差异化服务方法
CN102495784A (zh) * 2011-11-16 2012-06-13 浪潮(北京)电子信息产业有限公司 硬盘监控管理方法和系统
CN104899095A (zh) * 2014-03-03 2015-09-09 广达电脑股份有限公司 虚拟机器的资源调整方法及系统

Also Published As

Publication number Publication date
CN115776448A (zh) 2023-03-10
PH12022050077A1 (en) 2024-06-19
TW202311943A (zh) 2023-03-16
JP2023039385A (ja) 2023-03-20
US20230071976A1 (en) 2023-03-09
EP4148582A1 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
US10911328B2 (en) Quality of service policy based load adaption
US10951488B2 (en) Rule-based performance class access management for storage cluster performance guarantees
US8209684B2 (en) Monitoring system for virtual application environments
US7979857B2 (en) Method and apparatus for dynamic memory resource management
US9300523B2 (en) System and method for performance management in a multi-tier computing environment
US20050154576A1 (en) Policy simulator for analyzing autonomic system management policy of a computer system
US20100058352A1 (en) System and Method for Dynamic Resource Provisioning for Job Placement
EP2798488B1 (en) Proportional quality of service based on client usage and system metrics
US20140089735A1 (en) Computer System Input/Output Management
US20100268816A1 (en) Performance monitoring system, bottleneck detection method and management server for virtual machine system
US20140215077A1 (en) Methods and systems for detecting, locating and remediating a congested resource or flow in a virtual infrastructure
JP2012503826A (ja) 選択的に軽減を使用してエラーを低減するメモリー管理技術の有効性の評価
US9588799B1 (en) Managing test services in a distributed production service environment
CN111930493B (zh) 集群中NodeManager状态管理方法、装置及计算设备
KR102456150B1 (ko) 실제 환경에서 대용량 시스템에 대한 포괄적 성능평가를 수행하는 방법 및 이를 지원하는 장치
US8954563B2 (en) Event enrichment using data correlation
JP5694170B2 (ja) 選択的に軽減を使用してエラーを低減するメモリー管理技術
TWI827974B (zh) 虛擬功能效能分析系統及其分析方法
Liu et al. A trend detection-based auto-scaling method for containers in high-concurrency scenarios
Fe et al. Stochastic model of performance and cost for auto-scaling planning in public cloud
US20120290264A1 (en) Method and apparatus for dynamically adjusting data acquisition rate in an apm system
JP2020035297A (ja) 機器状態監視装置及びプログラム
WO2009014493A1 (en) Monitoring system for virtual application environments
TWI712880B (zh) 資訊服務可用性管理方法及系統
Lo et al. An architecture for cloud service testing and real time management