─兼談在使用性能度量時如何避免誤區(qū)

　　今天的用戶在選用平臺時面對的是一個繽紛繁雜的世界。用戶希望有一 種度量標(biāo)準(zhǔn),能夠量化計算機系統(tǒng)的性能，以此作為選型的依據(jù)。作者曾在美國從 事過數(shù)年計算機性能評價工作，深深體會到，計算機的性能很難用一兩種度量來 評價，而且，任何度量都有其優(yōu)缺點，尤其是當(dāng)使用者對性能度量了解不深時，很 容易被引入一些誤區(qū)，甚至推演出錯誤的結(jié)論。本文以tpc基準(zhǔn)程序為例，給出一 些實際建議，以幫助用戶避免進(jìn)入這些誤區(qū)。

一、什么是tpc和tpmc?

　　tpmc值在國內(nèi)外被廣 泛用于衡量計算機系統(tǒng)的事務(wù)處理能力。但究竟什么是tpmc值呢?作者曾向一些 用戶、推銷人員乃至某些國外大公司的技術(shù)人員問過這個問題，但回答的精確度 與tpmc值的流行程度遠(yuǎn)非相稱。tpmc這一度量也常被誤寫為tpm或tpmc。

1、tpc

　　tpc(transactionprocessing performancecouncil，事務(wù)處理性能委員會)是由數(shù)10家會員公司創(chuàng)建的非盈 利組織，總部設(shè)在美國。該組織對全世界開放，但迄今為止，絕大多數(shù)會員都是美、 日、西歐的大公司。tpc的成員主要是計算機軟硬件廠家，而非計算機用戶，它的功 能是制定商務(wù)應(yīng)用基準(zhǔn)程序(benchmark)的標(biāo)準(zhǔn)規(guī)范、性能和價格度量，并管理測 試結(jié)果的發(fā)布。

　　tpc的出版物是開放 的，可以通過網(wǎng)絡(luò)獲取。tpc不給出基準(zhǔn)程序的代碼，而只 給出基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范(standardspecification)。任何廠家或其它測試者都 可以根據(jù)規(guī)范，最優(yōu)地構(gòu)造出自己的系統(tǒng)(測試平臺和測試程序)。為保證測試結(jié) 果的客觀性，被測試者(通常是廠家)必須提交給tpc一套完整的報告(fulldisclosure report)，包括被測系統(tǒng)的詳細(xì)配置、分類價格和包含五年維護(hù)費用在內(nèi)的總價 格。該報告必須由tpc授權(quán)的審核員核實(tpc本身并不做審計)�，F(xiàn)在全球只有幾 個審核員，全部在美國。

2、tpmc

　　tpc已經(jīng)推出了四套 基準(zhǔn)程序，被稱為tpc－a、tpc－b、tpc－c和tpc－d。其中a和b已經(jīng)過時，不再使 用了。tpc－c是在線事務(wù)處理(oltp)的基準(zhǔn)程序，tpc－d是決策支持(decisionsupport) 的基準(zhǔn)程序。tpc即將推出tpc－e，作為大型企業(yè)(enterprise)信息服務(wù)的基準(zhǔn)程 序。

　　tpc－c模擬一個批發(fā) 商的貨物管理環(huán)境。該批發(fā)公司有n個倉庫，每個倉庫供應(yīng)10個地區(qū)，其中每個地 區(qū)為3000名顧客服務(wù)。在每個倉庫中有10個終端，每一個終端用于一個地區(qū)。在運 行時，10×n個終端操作員向公司的數(shù)據(jù)庫發(fā)出5類請求。由于一個倉庫中不可能 存儲公司所有的貨物，有一些請求必須發(fā)往其它倉庫，因此，數(shù)據(jù)庫在邏輯上是 分布的。n是一個可變參數(shù)，測試者可以隨意改變n，以獲得最佳測試效果。

　　tpc－c使用三種性能 和價格度量，其中性能由tpc－c吞吐率衡量，單位是tpmc。tpm是transactionsper minute的簡稱；c指tpc中的c基準(zhǔn)程序。它的定義是每分鐘內(nèi)系統(tǒng)處理的新訂單 個數(shù)。要注意的是，在處理新訂單的同時，系統(tǒng)還要按表1的要求處理其它4類事務(wù) 請求。從表1可以看出，新訂單請求不可能超出全部事務(wù)請求的45％，因此，當(dāng)一個 系統(tǒng)的性能為1000tpmc時，它每分鐘實際處理的請求數(shù)是2000多個。價格是指系 統(tǒng)的總價格，單位是美元，而價格性能比則定義為總價格÷性能，單位是＄/tpmc。

二、如何衡量計算機系統(tǒng)的性能和價格

　　在系統(tǒng)選型時，我們一 定不要忘記我們是為特定用戶環(huán)境中的特定應(yīng)用選擇系統(tǒng)。切忌為了“與國際接 軌”而盲目套用“國際通用”的東西。在性能評價領(lǐng)域，越是通用的度量常常越是不 準(zhǔn)確的。據(jù)我所知，美國的一些大用戶從不相信任何“國際通用”的度量，而是花相 當(dāng)精力，比如預(yù)算的5％，使用自己的應(yīng)用來測試系統(tǒng)，決定選型。在使用任何一種 性能和價格度量時，一定要弄明白該度量的定義，以及它是在什么系統(tǒng)配置和運 行環(huán)境下得到的，如何解釋它的意義等。下面我們由好到差討論三種方式。

1、在真實環(huán)境中運行 實際應(yīng)用

　　最理想的方式是搞一 個試點，要求制造商或系統(tǒng)集成商配合將系統(tǒng)(含平臺、軟件和操作流程)在一個 實際用戶點真正試運行一段時間。這樣，用戶不僅能看到實際性能，也能觀察到系 統(tǒng)是否穩(wěn)定可靠、使用是否方便、服務(wù)是否周到、配置是否足夠、全部價格是否合 理。如果一個部門需要購買一批同類的系統(tǒng)，這種方式應(yīng)列為首選，因為它不僅最 精確、穩(wěn)妥，也常常最有效率，用戶還可先租一套系統(tǒng)作為試點。用這種方式得到 的度量值常常具有很明確和實際的含義。

2、使用用戶定義的基 準(zhǔn)程序

　　如果由于某種原因第 一種方式不可行，用戶可以定義一組含有自己實際應(yīng)用環(huán)境特征的應(yīng)用基準(zhǔn)程序。 我舉兩個例子：近年來，由于r/3軟件是應(yīng)用層軟件，sap公司的基準(zhǔn)程序獲得了越 來越多國外企業(yè)的認(rèn)可；中國稅務(wù)總局最近也開發(fā)了自己的基準(zhǔn)程序，以幫助稅 務(wù)系統(tǒng)進(jìn)行計算機選型。這種方式在中國尤其重要，因為中國的信息系統(tǒng)有其特 殊性。

3、使用通用基準(zhǔn)程序

　　如果第1種和第2種方 式都不行，則使用如tpc－c之類的通用基準(zhǔn)程序，這是不得已的一種近似方法。因 此，tpmc值只能用作參考。我們應(yīng)當(dāng)注意以下幾點：

(1)實際應(yīng)用是否與基準(zhǔn)程序相符

　　絕大多數(shù)基準(zhǔn)程序都 是在美國制訂的，而中國的企事業(yè)單位與美國的運作方式常常不一樣(恐怕也不 應(yīng)該或不可能一樣)。在使用tpc－c時，我們應(yīng)該清楚地知道：我的應(yīng)用是否符合 批發(fā)商模式?事務(wù)請求是否與表1近似?對響應(yīng)時間的要求是否滿足表1?如果都不 是，則tpmc值的參考價值就不太大了。

(2)tpc度量的解釋

　　tpc基準(zhǔn)程序是用來 測系統(tǒng)而不是測主機的，廠家肯定要充分優(yōu)化他們的被測系統(tǒng)。此處的“系統(tǒng)”包 括主機、外設(shè)(如硬盤或raid)、主機端操作系統(tǒng)、數(shù)據(jù)庫軟件、客戶端計算機及其 操作系統(tǒng)、數(shù)據(jù)庫軟件和網(wǎng)絡(luò)連接等。在很多廠家的tpc測試系統(tǒng)中，主機的價格 只是系統(tǒng)總價格的1/4或更小，而硬盤的價格有可能占到總價格的1/3以上，因為tpc －c要求被測系統(tǒng)必須保存180天的事務(wù)記錄。如果同樣的主機被用到用戶的環(huán)境 中，廠家報的tpmc值就意義不大，因為用戶的實際系統(tǒng)與廠家原來用于tpc測試 的系統(tǒng)大不一樣。當(dāng)同樣的主機用在不同的系統(tǒng)中時，tpmc值可能有相當(dāng)大的變 化，現(xiàn)在很多用戶還沒有意識到這一點。

　　我舉一個例子。假設(shè)用 戶希望購買一批同類系統(tǒng)，每一系統(tǒng)至少需要1gb的內(nèi)存和50gb的硬盤。廠家a、b、c 各報了三個價格相當(dāng)?shù)南到y(tǒng)，tpmc值分別為3000、2800、2600。用戶是否應(yīng)該選廠 家a的產(chǎn)品呢?答案是：不一定。廠家用于測試tpmc值的系統(tǒng)與實際提供給用戶的 系統(tǒng)配置大不一樣。tpmc最低的廠家c提供給用戶的系統(tǒng)反而有可能性能最好，不 論是以實際系統(tǒng)的tpmc值還是以用戶的實際應(yīng)用性能來衡量。

(3)tpc測試的成本

　　tpc－c和tpc－d都是 很復(fù)雜的基準(zhǔn)程序，做一個嚴(yán)格的測試是很消耗資源的，廠家當(dāng)然不會說出他們 花費了多少錢和時間。但據(jù)國外知情人士透露，一個廠家做第一個tpc－c測試需 要幾十萬到上百萬美元的資金和半年左右的時間投入。因此，很多tpc的度量值都 是估計的。由于計算機系統(tǒng)換代頻繁，如果用戶一定要用通過審核的度量值，就必 須多等待半年時間，因此而不能用最先進(jìn)的系統(tǒng)。中國的廠家通過審核的時間則 更長。

　　綜上所述，我們對中國 用戶(尤其是大用戶)在計算機系統(tǒng)的選型方面有如下建議：

最好建立一個真實的試點，因為實際應(yīng)用環(huán)境是檢驗計算機系統(tǒng)的最好標(biāo)準(zhǔn)。

中國的行業(yè)應(yīng)該建立符合自己實際應(yīng)用的基準(zhǔn)程序和測試標(biāo)準(zhǔn)。中國稅務(wù)總局的做法值得提倡。國家有關(guān)部門應(yīng)該建立獨立的測試中心，制定跨行業(yè)、符合中國企事業(yè)運作模式的性能測試標(biāo)準(zhǔn)。

“國際通用”的度量可以作為參考值，而不應(yīng)作為必要條件。尤其是一定要弄清這些流行度量有什么含義，是在什么樣的系統(tǒng)環(huán)境中測得的，以及基準(zhǔn)程序是否符合企業(yè)真實的業(yè)務(wù)流程和運作模式。