時間:2023-03-13 11:28:32
導(dǎo)言:作為寫作愛好者,不可錯過為您精心挑選的10篇數(shù)據(jù)機(jī)房解決方案,它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內(nèi)容能為您提供靈感和參考。
一、背景綜述
在實際的工作中,一旦數(shù)據(jù)中心機(jī)房的設(shè)備出現(xiàn)絲毫的故障,就會對計算機(jī)系統(tǒng)的運行造成很大的消極影響,鑒于這樣情況,我們必須制定一系列的有效措施,既能保證及時的發(fā)現(xiàn)問題和解決問題,同時又能夠減少工作量,提高工作效率。①機(jī)房的設(shè)備經(jīng)常被盜竊,導(dǎo)致計算機(jī)系統(tǒng)沒有辦法正常的工作,另一方面,報警和監(jiān)控以及記錄功能的缺失,也導(dǎo)致了犯罪分子的作案活動更加猖獗;②維修人員在巡檢的過程中,并沒有良好的進(jìn)行規(guī)范化管理措施,導(dǎo)致很多的工作出現(xiàn)了較大的漏洞;③供電系統(tǒng)有時候沒有監(jiān)控,一旦發(fā)生停電或者市電異常的情況,就沒有辦法及時的掌握數(shù)據(jù)中心機(jī)房的情況,更嚴(yán)重的情況就是,停電后若未及時切換到油機(jī)供電,后備電池也會因為過度放電而出現(xiàn)較大的損壞。
二、解決方案
2.1系統(tǒng)組成
從嚴(yán)格的角度來說,數(shù)據(jù)中心機(jī)房的綜合監(jiān)控系統(tǒng)包含兩個部分,一個是數(shù)據(jù)中心機(jī)房周圍環(huán)境和動力監(jiān)控系統(tǒng);另一個就是數(shù)據(jù)中心機(jī)房的IT監(jiān)測系統(tǒng),這兩個系統(tǒng)都具有非常重要的作用,在實際的工作中,絕對不能發(fā)生人為加強某一系統(tǒng),忽略另一個系統(tǒng)的情況。
數(shù)據(jù)中心機(jī)房環(huán)境動力監(jiān)控系統(tǒng)監(jiān)控的主要內(nèi)容為:①UPS設(shè)備監(jiān)控,此項設(shè)備監(jiān)控對數(shù)據(jù)中心機(jī)房環(huán)境而言,具有決定性的影響;柴油發(fā)電機(jī)組設(shè)備監(jiān)控,柴油發(fā)電機(jī)作為設(shè)備的核心部分,一旦發(fā)生問題,必須得到及時、有效的處理,否則會影響供電,在根本上對數(shù)據(jù)中心機(jī)房環(huán)境造成惡劣的影響;②空調(diào)設(shè)備監(jiān)控,空調(diào)設(shè)備能夠良好的調(diào)節(jié)數(shù)據(jù)中心機(jī)房環(huán)境的溫度,對每一個設(shè)備都是非常重要的,在任何一個季節(jié),都需要對溫度有一個良好的掌控,否則會影響設(shè)備的運行,在硬件方面造成很大的損害,為以后設(shè)備的正常運行埋下隱患;③溫濕度監(jiān)測,溫濕度是考量數(shù)據(jù)中心機(jī)房環(huán)境好壞的重要標(biāo)準(zhǔn)之一,溫度和濕度都必須保持在一個合理的范圍之內(nèi),這樣才能保證數(shù)據(jù)中心機(jī)房的穩(wěn)定性和安全性;
數(shù)據(jù)中心機(jī)房IT監(jiān)測系統(tǒng)監(jiān)控的主要內(nèi)容為:①硬件方面―――網(wǎng)絡(luò)設(shè)備以及服務(wù)器的監(jiān)測,兩項設(shè)備都是數(shù)據(jù)中心機(jī)房的重要組成部分,對客戶具有非常重要的作用;②軟件方面―――主要包括數(shù)據(jù)庫的軟件以及中間軟件等等,在日常的工作中,這些軟件能夠及時的處理數(shù)據(jù),同時提供客戶最優(yōu)質(zhì)的服務(wù),因此需要得到有效的監(jiān)測。
2.2系統(tǒng)實現(xiàn)方式
2.2.1數(shù)據(jù)中心機(jī)房環(huán)境動力監(jiān)控系統(tǒng)監(jiān)控的實施方式
UPS設(shè)備監(jiān)控的實施方法:UPS電源是UPS設(shè)備的重要組成部分,在實際的監(jiān)控當(dāng)中,需要通過智能協(xié)議轉(zhuǎn)換器來進(jìn)行監(jiān)控,科研人員經(jīng)過研究發(fā)現(xiàn),如果用軟件的方式和通信數(shù)據(jù)集中器進(jìn)行通信,能夠達(dá)到一個較好的效果,并且能夠有效的實現(xiàn)UPS狀態(tài)的全面診斷以及對UPS各項參數(shù)的監(jiān)視。
如果機(jī)房的網(wǎng)絡(luò)設(shè)備出現(xiàn)了異常的情況,那么監(jiān)測系統(tǒng)可以實現(xiàn)以下幾種管理功能,有效的控制異常情況:①能夠?qū)Ω婢录M(jìn)行詳細(xì)的記錄,同時由管理人員根據(jù)不同的需求,對每一種事件進(jìn)行詳細(xì)的分類,良好的實現(xiàn)對事件的過濾,這樣做的好處是能夠及時的找到事件的原因,制定處理辦法的時候也具有一定的針對性;②能夠通過不同的定義,比方說事件的來源或者類型等等,實現(xiàn)對事件的分析,在實際的工作中按照實踐的關(guān)聯(lián)設(shè)置功能,自動、高效的區(qū)分重復(fù)事件,如此一來,就能大幅度的減少系統(tǒng)負(fù)載,提升系統(tǒng)的性能。
2.2.2服務(wù)器監(jiān)測的實施方法以及服務(wù)器監(jiān)測應(yīng)該包括以下的內(nèi)容
(1)監(jiān)測服務(wù)器能否有效的運行,監(jiān)測的系統(tǒng)需要廣泛一些,雖然現(xiàn)階段應(yīng)用windows系統(tǒng)較多,但仍然需要對UNIX一類的主流系統(tǒng)進(jìn)行有效的監(jiān)測;(2)監(jiān)測主流系統(tǒng)的平臺上運行的相關(guān)進(jìn)程以及服務(wù)的運行狀況,這樣有助于系統(tǒng)上的各種進(jìn)程減少沖突,提高性能。
三、結(jié)束語
綜上所述,完善的數(shù)據(jù)中心機(jī)房綜合監(jiān)控系統(tǒng)應(yīng)該具備三大特點:能夠?qū)崿F(xiàn)從設(shè)備運行情況到機(jī)柜微環(huán)境,再到機(jī)房整體環(huán)境的多層次監(jiān)控;有豐富的閾值設(shè)置以便監(jiān)測出危機(jī)的存在,且有豐富的預(yù)警方式和預(yù)警流程以保證相關(guān)人員能夠收到警訊。
目前海量數(shù)據(jù)處理還是一個比較新的研究方向,大多數(shù)都是各公司或者是組織各自研究自己的處理方法,國際上沒有通用的標(biāo)準(zhǔn),研究的方式和結(jié)果也都是各有千秋。針對項目中帶有復(fù)雜業(yè)務(wù)邏輯的海量數(shù)據(jù)存儲,主要從容量擴(kuò)展和并行處理兩個方面考慮。前文己論述過NoSQL分布式數(shù)據(jù)庫由于其數(shù)據(jù)結(jié)構(gòu)簡單、不善于做JOIN連接等復(fù)雜操作,存在數(shù)據(jù)遷移問題,并不適用于本項目,所以本解決方案依舊從關(guān)系型數(shù)據(jù)庫入手。其次為了支持多樣的切分策略,本論文將實現(xiàn)range、list、consis
tent-hash模式。最后系統(tǒng)借鑒MPP并行處理架構(gòu),使得整個項目能部署在便宜的PC集群上,不僅能保證穩(wěn)定性,還節(jié)省項目成本。
物理設(shè)施包含數(shù)據(jù)庫服務(wù)器的基礎(chǔ)架構(gòu)、web服務(wù)器的選擇,以及資源分配管理服務(wù)器的選擇。這三者分別負(fù)責(zé)數(shù)據(jù)的存取、數(shù)據(jù)的分析處理以及資源工作的均衡分配,它們協(xié)同合作,共同搭建一個高效的協(xié)同的后端服務(wù)管理,使存儲系統(tǒng)均衡工作、高效運行。
作為解決海量數(shù)據(jù)的存儲方案,首要必須考慮是存放海量數(shù)據(jù)的需求。根據(jù)前文可知,分布式數(shù)據(jù)庫的出現(xiàn)其根本原因是解決存放不下數(shù)據(jù)的問題,故而將數(shù)據(jù)依照策略存放在不同的數(shù)據(jù)庫服務(wù)器上,存放數(shù)據(jù)的策略以及數(shù)據(jù)之間的并行查詢處理是研究的重點。第二個問題是分布式處理方案,現(xiàn)有技術(shù)從各個方面進(jìn)行過嘗試,有的基于關(guān)系型數(shù)據(jù)庫提出了多種shard
ing方案。將關(guān)系型數(shù)據(jù)庫遷移到非關(guān)系型數(shù)據(jù)庫上代價太大,所以本解決方案基于關(guān)系型數(shù)據(jù)庫的系統(tǒng)。
根據(jù)以上的設(shè)計思路與實現(xiàn)目標(biāo),設(shè)計出分布式海量數(shù)據(jù)存儲解決方案。該系統(tǒng)主要包含以下四個模塊:
SQL解析模塊。SQL語句復(fù)雜、格式多樣、形式多變,解析結(jié)果作為數(shù)據(jù)切分的依據(jù)。解析SQL語句的方法是編譯成字節(jié)碼,生成語法樹,這種方式的優(yōu)點是準(zhǔn)確率高、數(shù)據(jù)層次清晰、結(jié)構(gòu)正確,但設(shè)計到相關(guān)語法樹知識,比解析字符串更難以理解。
數(shù)據(jù)分發(fā)模塊。如果集群系統(tǒng)中沒有進(jìn)行數(shù)據(jù)切分,則多臺數(shù)據(jù)庫服務(wù)器存儲的是完全一樣的數(shù)據(jù),這實際上是對硬件資源的浪費,也在同步數(shù)據(jù)保持一致上浪費了更多的時間和效能。而且一旦數(shù)據(jù)再上升一個等級,很可能一臺服務(wù)器就無法存儲下大量數(shù)據(jù)。所以合適的數(shù)據(jù)切分策略是遲早的,本解決方案將結(jié)合現(xiàn)有的數(shù)據(jù)切分策略,結(jié)合業(yè)務(wù)邏輯,提供多樣的切分策略,并且預(yù)留切分接口使用戶靈活地自定義自實現(xiàn),系統(tǒng)的可用性更高。
并行處理模塊。由分發(fā)服務(wù)器和多臺數(shù)據(jù)庫服務(wù)器構(gòu)成。相對于集中式數(shù)據(jù)庫來說,分布式詢代價需要考慮以下因素:
CPU處理時間,I/O消耗時間,還有數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸時間。在設(shè)計系統(tǒng)的時候,應(yīng)該根據(jù)分布式數(shù)據(jù)庫中各個數(shù)據(jù)庫的地理位置的不同情況來設(shè)計。在局域網(wǎng)且傳輸率高的系統(tǒng)中,通信代價和局部處理的開銷差別不大,在優(yōu)化中則應(yīng)平等對待;在數(shù)據(jù)傳輸率較低和通信網(wǎng)速度較慢的系統(tǒng)中,網(wǎng)絡(luò)傳輸可能會比花費在查詢中的CPU及I/O的開銷更大,則應(yīng)首要考慮優(yōu)化網(wǎng)絡(luò)通信。
匯總處理塊。結(jié)果匯總大致分為兩種情況:單機(jī)單庫情況下,直接返回結(jié)果;多機(jī)多庫的情況則需要在轉(zhuǎn)發(fā)節(jié)點處進(jìn)行一個匯總。
基于架構(gòu)的工作流程大致如下:首先,轉(zhuǎn)發(fā)節(jié)點收到客戶端發(fā)來的SQL語句,將依據(jù)各個解析節(jié)點當(dāng)前工作量、預(yù)計完成解析工作的時間、本條查詢語句預(yù)估需要時間、歷史響應(yīng)需求時間等因素,將SQL語句轉(zhuǎn)發(fā)給各個解析節(jié)點,對其進(jìn)行語法解析。當(dāng)所有的工作量都經(jīng)過這個轉(zhuǎn)發(fā)節(jié)點的時候,必然會產(chǎn)生高并發(fā)的問題。在存在多個分發(fā)節(jié)點的情形下,為了消除單個轉(zhuǎn)發(fā)節(jié)點的性能瓶頸,本文設(shè)計多個分發(fā)節(jié)點,每個節(jié)點都可以將任務(wù)轉(zhuǎn)發(fā)到不同的解析節(jié)點。采用RoundRobin策略將任務(wù)依次分發(fā)給每個解析節(jié)點,讓工作量保持均衡。其次,解析節(jié)點解析本次查詢的SQL語句,生成便于理解的SQL對象,通過調(diào)用相應(yīng)的接口方法可以實現(xiàn)對SQL語句的操作。最后,各個數(shù)據(jù)庫服務(wù)器執(zhí)行了 SQL語句,便對查詢結(jié)果進(jìn)行一個匯總并返回,劃分倘若是單機(jī)查詢,那么處理的結(jié)果可直接返回給客戶端。
SQL解析、數(shù)據(jù)切分以及轉(zhuǎn)發(fā)歸并的工作都由以上四個模塊協(xié)同完成。
基于MPP架構(gòu)的設(shè)計了關(guān)系型數(shù)據(jù)庫的海量數(shù)據(jù)分布式存儲解決方案。本章采用解析SQL語句、分發(fā)SQL語句,并行處理、歸并匯總處理結(jié)果的方式完成整個框架。與MySQL
Cluster的區(qū)別在于采用的存儲引擎就是MySQL,適應(yīng)于本身就用MySQL進(jìn)行存儲的集中式數(shù)據(jù)庫的改造,或是業(yè)務(wù)邏輯復(fù)雜的報表展示等,無論是業(yè)務(wù)的擴(kuò)展,遷移都十分方便。
隨著信息技術(shù)的發(fā)展,網(wǎng)絡(luò)應(yīng)用越加廣泛,更多的企業(yè)開始使用OA系統(tǒng)進(jìn)行辦公,財務(wù)、ERP等線上系統(tǒng)更加普及。隨著經(jīng)濟(jì)的發(fā)展,更多的企業(yè)選擇在不同地區(qū)設(shè)立更多分部,各分部間的生產(chǎn)網(wǎng)、視頻會議系統(tǒng)都依托于運營商的通信網(wǎng)絡(luò)支撐,市政交通等部門的監(jiān)控系統(tǒng)分布區(qū)域及其廣泛,也更多是依賴IP網(wǎng)絡(luò)運行。這些跨地區(qū)的資源調(diào)配就產(chǎn)生了大量的數(shù)據(jù)專線需求。
雖然數(shù)據(jù)專線業(yè)務(wù)并不是新型業(yè)務(wù),但隨著移動網(wǎng)絡(luò)的發(fā)展,如何能更好的建設(shè)通信網(wǎng)絡(luò)滿足客戶需求仍是值得研究的問題。
一、概述
集團(tuán)客戶專線是指通信運營商利用自有或租用通信資源,為集團(tuán)客戶提供互聯(lián)網(wǎng)訪問、語音業(yè)務(wù)、或為其機(jī)構(gòu)各網(wǎng)點間提供點到點或點到多點的專用鏈路,從而實現(xiàn)集團(tuán)客戶專享的高質(zhì)量網(wǎng)絡(luò)通信及各種定制的綜合業(yè)務(wù)信息化服務(wù)。
集團(tuán)客戶專線按業(yè)務(wù)類型分主要有語音專線、互聯(lián)網(wǎng)專線和數(shù)據(jù)專線三類。
(一)語音專線:通過運營商的傳輸網(wǎng)絡(luò)將集團(tuán)客戶語音交換機(jī)接入到運營商的交換網(wǎng)絡(luò),為用戶提供固定電話及企業(yè)彩鈴等各種增值語音服務(wù)。
(二)互聯(lián)網(wǎng)專線:為集團(tuán)客戶提供各種速率的專用鏈路,鏈接至公用互聯(lián)網(wǎng)骨干網(wǎng)絡(luò),從而為客戶提供方便快捷的高速互聯(lián)網(wǎng)訪問服務(wù)。
(三)數(shù)據(jù)專線:為集團(tuán)客戶提供透明的數(shù)據(jù)傳輸通道,通道為“純透明的”,用戶自己組網(wǎng),用戶承載語音、數(shù)據(jù)、視頻等多種業(yè)務(wù)。
二、業(yè)務(wù)需求
運營商提供的透明的傳輸鏈路,為集團(tuán)客戶提供從總部到各分部之間的數(shù)據(jù)傳輸通道??蔀楦鹘鹑跈C(jī)構(gòu)提供各分支網(wǎng)點的生產(chǎn)網(wǎng)絡(luò),企事業(yè)單位各分支機(jī)構(gòu)間的視頻會議系統(tǒng)及辦公自動化系統(tǒng),公安交通等視頻監(jiān)控系統(tǒng)提供安全穩(wěn)定的傳輸鏈路。集團(tuán)客戶由于其性質(zhì)、業(yè)務(wù)、覆蓋區(qū)域需要,對傳輸電路通常有以下要求:
(一)安全性:數(shù)據(jù)專線業(yè)務(wù)對安全性要求很高,要求運營商提供專用的內(nèi)網(wǎng)電路供集團(tuán)客戶內(nèi)部使用,并與互聯(lián)網(wǎng)隔離。保證信息在邊界接入過程中不被非法獲取,一旦出現(xiàn)數(shù)據(jù)失密將導(dǎo)致嚴(yán)重后果。需要從物理層、網(wǎng)絡(luò)層、應(yīng)用層等各個層面實施數(shù)據(jù)保密性工作。
(二)可靠性:需提供電信級的業(yè)務(wù)可靠性,專線業(yè)務(wù)要求高QoS保障,依客戶需求提供備用電路并在規(guī)定時間內(nèi)完成故障修復(fù)。使用標(biāo)準(zhǔn)化的協(xié)議,達(dá)到互聯(lián)互通。
(三)可擴(kuò)展性:考慮客戶后期發(fā)展及業(yè)務(wù)拓展,需預(yù)留一定量的傳輸資源及設(shè)備升級空間。
(四)覆蓋性:大型企事業(yè)單位各地分支網(wǎng)點較多,運營商提供的傳輸鏈路應(yīng)能覆蓋到各分支網(wǎng)點,為其提供快速接入。
(五)需求多樣化:需按客戶需求,提供不同速率的帶寬,并針對客戶設(shè)備接口不同提供相應(yīng)的接口。
三、解決方案
(一)SDH方式
從90年代起移動開始建設(shè)SDH傳輸網(wǎng),核心層以10Gb/s和2.5Gb/s設(shè)備為主,匯聚層已2.5Gb/s設(shè)備為主,接入層以622Mb/s設(shè)備為主。SDH傳輸網(wǎng)覆蓋范圍廣、自愈性能強,可靠性高,但現(xiàn)階段集團(tuán)不再新增SDH傳輸網(wǎng)的投資,現(xiàn)網(wǎng)資源比較緊張。
金融類客戶一般對系統(tǒng)安全性可靠性要求較高,部分客戶明確要求以SDH方式實現(xiàn)。以某銀行地市分行到各支行、ATM網(wǎng)點的傳輸電路為例:在銀行分行總部部署一臺華為OSN3500光端機(jī),根據(jù)客戶需求配置相應(yīng)板卡,用于匯聚所在分部的數(shù)據(jù),電路鏈接至分行客戶路由器。在每個網(wǎng)點部署1端華為Metro 100光端機(jī),為客戶設(shè)備提供FE接口或2M接口,新建光纜與運營商SDH接入網(wǎng)對接??紤]銀行系統(tǒng)對安全性和可靠性要求較高,銀行總部的SDH設(shè)備上聯(lián)至運營商的匯聚機(jī)房OSN7500,并提供雙路由保護(hù)。在每個網(wǎng)點都提供光端機(jī)下沉。拓?fù)鋱D示意如下:
采用SDH方式組網(wǎng),技術(shù)成熟穩(wěn)定,系統(tǒng)安全性高,符合金融類系統(tǒng)對高可靠性的要求,但現(xiàn)網(wǎng)SDH接入環(huán)傳輸資源利用率已經(jīng)很高,部分接入環(huán)時隙不足,接入該部分接入環(huán)的客戶點,需提前將SDH傳輸網(wǎng)上的大顆粒數(shù)據(jù)業(yè)務(wù)遷移到PTN網(wǎng)絡(luò)或GPON上,或提前對接入環(huán)進(jìn)行拆組環(huán),需要增加額外的投資及工期時間。
(二)PTN方式
PTN是面向分組業(yè)務(wù)和傳送網(wǎng)絡(luò)的技術(shù),以分組交換為核心并提供多業(yè)務(wù)支持,能在保證網(wǎng)絡(luò)質(zhì)量的前提下答復(fù)提高網(wǎng)絡(luò)帶寬。但PTN傳輸網(wǎng)現(xiàn)階段覆蓋率還未達(dá)到100%。部分集團(tuán)客戶接入點不具備PTN接入條件。因SDH資源比較緊張,集團(tuán)客戶需求帶寬較大時建議采用PTN方式實現(xiàn),以某縣政府視頻會議系統(tǒng)為例,運營商為其提供該縣政府到所轄10個鄉(xiāng)鎮(zhèn)視頻會議系統(tǒng)所需傳輸電路,每條電路帶寬為6M,客戶設(shè)備接口為以太網(wǎng)接口。在該縣政府新增一臺三層交換機(jī),用于匯聚數(shù)據(jù),在每個分支機(jī)構(gòu)提供1臺多端口PTN光纖收發(fā)器,通過FE口上聯(lián)至最近的PTN基站,通過PTN傳送網(wǎng)連接至該縣縣政府,完成數(shù)據(jù)傳輸。PTN傳輸網(wǎng)資源豐富,可為集團(tuán)客戶提供高速數(shù)據(jù)傳輸,后期可為客戶提供帶寬擴(kuò)容。在各接入點預(yù)留空余設(shè)備端口,可用于開通其他業(yè)務(wù)。拓?fù)浣Y(jié)構(gòu)示意如下:
現(xiàn)階段還有少數(shù)區(qū)域PTN未完成全部覆蓋,可考慮暫時使用SDH和PTN混合組網(wǎng)方式,待PTN開通后進(jìn)行割接。
(三)GPON方式
GPON網(wǎng)絡(luò)系統(tǒng)是構(gòu)建于無源光分配網(wǎng)絡(luò)上的寬帶接入技術(shù),由光線路終端OLT、無源分光器POS和光網(wǎng)絡(luò)單元ONU組成??梢蕴峁└邘挾鄻I(yè)務(wù)的承載方式。近兩年移動綜合業(yè)務(wù)網(wǎng)市區(qū)和縣城已基本完成覆蓋,集團(tuán)客戶接入點位于綜合業(yè)務(wù)區(qū)覆蓋區(qū)域可利用綜合業(yè)務(wù)網(wǎng)資源完成快速接入。以某單位市局至各縣局間數(shù)據(jù)傳輸電路為例,在市局和各縣局接入點新增1臺符合客戶設(shè)備接口需求的ONU,布放光纜至最近的綜合業(yè)務(wù)網(wǎng)光纜交接箱,光交箱中新增1:16或1:32分光器,上聯(lián)至綜合業(yè)務(wù)網(wǎng)機(jī)房OLT設(shè)備,OLT上聯(lián)至城域網(wǎng)匯聚交換機(jī),由城域網(wǎng)匯聚交換機(jī)上聯(lián)至MSG路由器,通過路由器完成數(shù)據(jù)傳輸。
四、方案比較和建議
【中圖分類號】G250.74【文獻(xiàn)標(biāo)識碼】A【文章編號】1672-5158(2013)07-0213-02
引言:近年來,隨著經(jīng)濟(jì)改革的不斷深入,企業(yè)的各項業(yè)務(wù)也有了長足發(fā)展,計算機(jī)應(yīng)用水平得到迅速的提高。目前,開放平臺加客戶/服務(wù)器的雙機(jī)熱備份應(yīng)用模式已經(jīng)被我國中小型企業(yè)廣泛采用。
通常這種應(yīng)用模式是以兩臺小型機(jī)做互為備份的兩個節(jié)點,同時聯(lián)到一個共享磁盤柜上,構(gòu)成一個Client/Server方式下的Server端服務(wù)器系統(tǒng)。這種服務(wù)器系統(tǒng)在考慮系統(tǒng)的高連續(xù)可用性時,一般從主機(jī)、網(wǎng)絡(luò)到UPS電源都是一主一備,存放數(shù)據(jù)的磁盤選擇磁盤鏡像技術(shù)或選擇磁盤冗余陣列5技術(shù)(RAID5)。
從硬件角度看,這種配置已經(jīng)考慮了各組成部分的冗余,然而從應(yīng)用的角度來看,這樣的服務(wù)器系統(tǒng)還是有缺陷的。
對應(yīng)用系統(tǒng)而言,數(shù)據(jù)庫是非常重要的,而在這種服務(wù)器系統(tǒng)中數(shù)據(jù)庫只有一個,一旦出現(xiàn)故障,不但整個系統(tǒng)會癱瘓,甚至還會給銀行帶來很大的經(jīng)濟(jì)損失。對于這個問題,雙機(jī)熱備份模式是無能為力的。在實際應(yīng)用系統(tǒng)的運行過程中,由于參數(shù)設(shè)置不當(dāng)或數(shù)據(jù)庫本身存在的缺陷,使得數(shù)據(jù)庫出現(xiàn)的問題在故障率中所占比重還是比較大的,因而給應(yīng)用系統(tǒng)的可靠運行帶來了較大的影響。本文針對這一問題,介紹我單位的一種解決方案。
一、系統(tǒng)的改進(jìn)方案
為了解決Oracle數(shù)據(jù)庫無備份的問題,必須另建一套服務(wù)器系統(tǒng)。然而對中小型企業(yè)來講,另外投資一套小型服務(wù)器系統(tǒng),經(jīng)濟(jì)上往往不允許??紤]到現(xiàn)在的PC服務(wù)器在性能上已經(jīng)足可以充當(dāng)企業(yè)級服務(wù)器,投資較小,所以我們選擇了用PC服務(wù)器備份的方案,如圖1所示:
根據(jù)對IBM System X服務(wù)器的壓力測試結(jié)果,我們認(rèn)為它具有處理日交易3萬筆的能力,符合我單位目前業(yè)務(wù)的情況,因此我們選用了IBM System X服務(wù)器做備份Oracle數(shù)據(jù)庫。
PC服務(wù)器硬件配置:
(1)CPU 4×Pentium Pro
(2)內(nèi)存 8G
(3)硬盤 320G
軟件環(huán)境:
(1)操作系統(tǒng) Windows server 2003
(2)數(shù)據(jù)庫 Oracle 10g
(3)應(yīng)用軟件 ERP軟件
二、 RAID系統(tǒng)
RAID (Redundant Array of Inexpensive Dins),廉價冗余磁盤陣列。RAID是一種使用磁盤驅(qū)動器的方法,它將一組磁盤驅(qū)動器用某種邏輯方式聯(lián)系起來,作為邏輯上的一個磁盤驅(qū)動器來使用,使RAID一般是在SCSI磁盤驅(qū)動路上實現(xiàn)的。它的優(yōu)點在于:
通過將多個物理磁盤編織(weaving)進(jìn)一個單獨的邏輯卷來使用,使RAID相對傳統(tǒng)的磁盤驅(qū)動器,在同樣的容量下,價格要低許多。
通過將數(shù)據(jù)按條塊(blocks)寫入不同的磁盤來并行地讀寫幾個磁盤,進(jìn)而提升磁盤訪向速度。帶有多個磁盤控制器的RAID系統(tǒng),存取速度提高很快。
RAID的具體實現(xiàn)可以靠硬件也可以靠軟件,通過硬件實現(xiàn)RAID的產(chǎn)品有磁盤陣列柜,陣列柜中安裝有磁盤陣列控制卡,可以直接將柜中的硬盤配置成為邏輯盤陣。磁盤陣列柜通過SCSI電纜與服務(wù)器上普通SCSI卡相連,系統(tǒng)管理員需直接在磁盤柜上配置磁盤陣列。
磁盤陣列控制器一般都支持多種RAID級別、磁盤的熱插拔、在線平滑擴(kuò)容和雙冗余電源。
三、備份數(shù)據(jù)庫工作原理
由于PC服務(wù)器中的操作系統(tǒng)、數(shù)據(jù)庫與生產(chǎn)機(jī)中的版本不同,所以必須先將生產(chǎn)機(jī)中的數(shù)據(jù)庫數(shù)據(jù)卸出來,以文本文件的形式傳到PC服務(wù)器上,然后將此文本文件再裝入PC服務(wù)器的數(shù)據(jù)庫中,從而使兩個數(shù)據(jù)庫中的數(shù)據(jù)一致。慎重起見,還可以對重要表的有關(guān)字段進(jìn)行求和,并將兩個數(shù)據(jù)庫的求和結(jié)果進(jìn)行比較,若一致則可以放心,不一致則說明上述操作過程有問題,需要排除后重做。
1.日間備份
將每天晚上軋帳后的數(shù)據(jù)卸出并裝載到PC服務(wù)器上,使得生產(chǎn)機(jī)和PC服務(wù)器中的數(shù)據(jù)在每天業(yè)務(wù)開始前保持一致。正常開機(jī)后,當(dāng)生產(chǎn)機(jī)上的數(shù)據(jù)庫出現(xiàn)問題不能正常使用時,可以通過修改PC服務(wù)器的網(wǎng)絡(luò)地址,使上傳的交易傳到PC服務(wù)器,從而實現(xiàn)數(shù)據(jù)庫的切換。
但應(yīng)注意,切換后的數(shù)據(jù)庫狀態(tài)是每天業(yè)務(wù)開始時的狀態(tài),所以還應(yīng)有一個追帳的過程,直到追帳完成,才算完成整個切換過程。這種切換所需的時間仍遠(yuǎn)遠(yuǎn)少于磁帶恢復(fù)后再追帳的時間。一般磁帶備份只做軋帳前的數(shù)據(jù)備份,這樣磁帶恢復(fù)后還要再做一個軋帳過程,才能恢復(fù)到開業(yè)時的數(shù)據(jù)庫狀態(tài)。
2.查找隔日數(shù)據(jù)
有時根據(jù)業(yè)務(wù)的需要,要求恢復(fù)前一天的有關(guān)數(shù)據(jù),由于白天業(yè)務(wù)運轉(zhuǎn)不允許生產(chǎn)數(shù)據(jù)庫停下來恢復(fù)數(shù)據(jù),有了PC服務(wù)器,可以將一些數(shù)據(jù)表在軋帳前卸出來,傳到PC服務(wù)器上,需要時在PC服務(wù)器上恢復(fù)出來,進(jìn)行數(shù)據(jù)的查找。
3.磁帶備份的補充
服務(wù)器上的數(shù)據(jù)還起到異種介質(zhì)備份的作用,提高了備份數(shù)據(jù)的可靠性。PC服務(wù)器可放在辦公環(huán)境下使用,這樣可使服務(wù)器與生產(chǎn)機(jī)保持適當(dāng)?shù)木嚯x,一定程度上提高了整個系統(tǒng)的抗災(zāi)能力。
在雙機(jī)熱備份應(yīng)用模式下,采用PC服務(wù)器作數(shù)據(jù)庫的備份,提高了整個應(yīng)用系統(tǒng)的連續(xù)可用性和數(shù)據(jù)備份的可靠性,由于該方案投資省、易實施,對中小型企業(yè)有一定的借鑒價值。
四、系統(tǒng)特點與總結(jié)
雙機(jī)與磁盤陣列柜互聯(lián)結(jié)構(gòu)的特點是:
硬軟結(jié)合實現(xiàn)真正意義上的數(shù)據(jù)與系統(tǒng)分離。
對硬件配置要求不高,服務(wù)器可采用不同或相差較大的配置。
系統(tǒng)切換時間段,平均切換時間為60秒。
切換過程對應(yīng)用程序無影響,無需重新啟動或登陸。
系統(tǒng)效率高。因為整個系統(tǒng)中數(shù)據(jù)讀寫、管理及容錯由磁盤陣列來完成。而系統(tǒng)服務(wù)器故障糾錯處理由HA軟件來完成,而這兩個都是相對獨立的子系統(tǒng)。雙機(jī)容錯監(jiān)控路徑為SCSI線路(80M/S)和RS232線路或10/ 100MB自適應(yīng)網(wǎng)卡線路,既不占用主機(jī)CPU資源,也不產(chǎn)用基礎(chǔ)網(wǎng)絡(luò)寬帶,因此系統(tǒng)效率高。
雙機(jī)與磁盤陣列柜互聯(lián)結(jié)構(gòu)不采用內(nèi)存鏡像技術(shù),因此需要有一定的切換時間(通常為60-180秒),它可以有效地避免由于應(yīng)用程序自身的缺陷導(dǎo)致系統(tǒng)全部宕機(jī),同時由于所有的數(shù)據(jù)全部存貯在中置的磁盤陣列柜中,當(dāng)工作機(jī)出現(xiàn)故障時,備份機(jī)接替工作機(jī),從磁盤陣列中讀取數(shù)據(jù),所以不會產(chǎn)生數(shù)據(jù)不同步的問題,由于這種方案不需要網(wǎng)絡(luò)鏡像同步,因此這種集群方案服務(wù)器的性能要比鏡像服務(wù)器結(jié)構(gòu)高出很多。
雙機(jī)與磁盤陣列柜互聯(lián)結(jié)構(gòu)的缺點是在系統(tǒng)當(dāng)中存在單點錯的缺陷,所謂單點錯是指當(dāng)系統(tǒng)中某個部件或某個應(yīng)用程序出現(xiàn)故障時,導(dǎo)致所有系統(tǒng)全部宕機(jī)。在這個系統(tǒng)中磁盤陣列柜會導(dǎo)致單點錯,當(dāng)磁盤陣列柜出現(xiàn)邏輯或物理故障時,所有存貯的數(shù)據(jù)會全部丟失,因此在選配這種方案時,需要選用一個品質(zhì)與售后服務(wù)較好的產(chǎn)品。
五、結(jié)束語
計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用,使企業(yè)運作效率大大提高。同時也使現(xiàn)代企業(yè)對計算機(jī)系統(tǒng)的依賴性進(jìn)一步增加。如何保證核心應(yīng)用永不停止,關(guān)鍵數(shù)據(jù)不會丟失?越來越多的企業(yè)采用雙機(jī)熱備份或多機(jī)集群技術(shù)來解決這一問題,其中雙機(jī)熱備份技術(shù)以其技術(shù)成熟,成本相對較低,獲得了廣泛的應(yīng)用。
典型的雙機(jī)熱備份系統(tǒng)通過在兩臺服務(wù)器上運行雙機(jī)熱備份軟件和共用RAID磁盤陣列來實現(xiàn)。這種方案在電信,金觸、證券、政府等部門和行業(yè)的成功應(yīng)用,業(yè)己證明其可靠性和成熟性。
中圖分類號:TP311 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(2017)05-0009-02
1 問題的提出
隨著大數(shù)據(jù)時代的來臨,結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)已廣泛存在于各個軟件應(yīng)用中。任何移動應(yīng)用和系統(tǒng)都離不開數(shù)據(jù)庫進(jìn)行存儲數(shù)據(jù),而數(shù)據(jù)的復(fù)雜性給它們的開發(fā)帶來了困難和挑戰(zhàn)。
在現(xiàn)實生活中,社會現(xiàn)實中的萬事成物都是一個動態(tài)系統(tǒng)。隨著時間的推移和事情的發(fā)展,各種實體都會發(fā)展變化,具體體現(xiàn)在實體屬性的變化上,因此,我們稱之為實體的動態(tài)屬性[1]。例如,在一款銀行績效考核系統(tǒng)中的客戶經(jīng)理實體,隨著業(yè)務(wù)的發(fā)展,客戶經(jīng)理的其考核內(nèi)容也會發(fā)生變化,會有存款業(yè)績、貸款業(yè)務(wù)、基金業(yè)績、是否投訴等不斷增加,也會產(chǎn)生相對應(yīng)的業(yè)績數(shù)值,這些不斷業(yè)績都稱為該客戶經(jīng)理實體的動態(tài)性,詳情如表1客戶經(jīng)理實體2017年1月份業(yè)務(wù)需求表所示。
在實際的項目開發(fā)中,固定數(shù)量的、明確的實體屬性,有利于軟件設(shè)計與開發(fā)人員進(jìn)行項目開發(fā)。但是,動態(tài)屬性的實體,由于實體屬性的個數(shù)未知,屬性名稱未知,在系統(tǒng)運行過程中,根據(jù)業(yè)務(wù)的需要,隨時增添新的屬性,因此,給項目開發(fā)人員帶來了困難和挑戰(zhàn)。筆者在數(shù)據(jù)庫設(shè)計方面經(jīng)過長期的實踐,探索出了針對該問題的實體的動態(tài)屬性在數(shù)據(jù)庫設(shè)計中的解決方法,希望對有相同需要的數(shù)據(jù)庫設(shè)計人員或軟件開發(fā)人提供一點參考價值。
2 定義相關(guān)數(shù)據(jù)結(jié)構(gòu)
數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)對象的數(shù)據(jù)類型、內(nèi)容、性質(zhì)有關(guān)的,是對數(shù)據(jù)對象的一個靜態(tài)描述。為了便于說明,還以上述績效考核系統(tǒng)中的客戶經(jīng)理實體為例進(jìn)行描述。該客戶經(jīng)理實體包括存款業(yè)績、貸款業(yè)務(wù)、基金業(yè)績、是否投訴等屬性,其在關(guān)系數(shù)據(jù)庫中可以定義成相關(guān)字段,具體詳細(xì)結(jié)構(gòu)描述如下:
Create Table ClientManager(
CName nvarchar(50), //姓名字段
CDeposit decimal(18, 2), //存款業(yè)績字段
CLoan decimal(18, 2), //貸款業(yè)績字段
CFund decimal(18, 2), //基金業(yè)績字段
CIsComplain nvarchar(2), //是否投訴字段
... //未知屬性字段
)
很顯然,由于實體未知屬性的存在,上述結(jié)構(gòu)中的字段不明確,這樣的設(shè)計在目前的數(shù)據(jù)庫技術(shù)中不能得以實現(xiàn)。
3 關(guān)系數(shù)據(jù)庫中實體的設(shè)計方法
目前,市場要流行的關(guān)系型數(shù)據(jù)庫門類眾多,有甲骨文公司的Oracle、MySQL,有微軟公司的SQL Server,還有針對移動應(yīng)用的SQLite。下面針對上述實體的動態(tài)屬性問題,給出兩種關(guān)系型數(shù)據(jù)庫的解決方法。
3.1 采用改行為列
為了改變上述字段不明確的問題,從表1中可以看出是二維表中的字段不明確,采用以行來代替列的形式,就可以把未知的列的值作為一條記錄存儲于表中,這樣,就可以根據(jù)需求動態(tài)滿足字段的增加或減少,解決該問題。但是,這樣需要解決兩個問題,一個是屬性名的問題和另一個屬性值的問題。因此,行轉(zhuǎn)為列的形式中,二維表中需要屬性名和屬性值兩列。具體的在客戶經(jīng)理實體中,定義為經(jīng)理姓名、業(yè)績名稱和業(yè)績額,具體詳細(xì)結(jié)構(gòu)描述如下:
Create Table ClientManager(
CName nvarchar(50), //經(jīng)理姓名
CAchieveName nvarchar(50), //業(yè)績名稱字段
CAchieveValue nvarchar(50) //業(yè)績額字段
)
在關(guān)系數(shù)據(jù)庫中,客戶經(jīng)理的實體二維表中的業(yè)績和業(yè)績額從以行的形式轉(zhuǎn)為以列的形式,但是,表中的記錄數(shù)據(jù)增加,其具體形式如表2客戶經(jīng)理實體行轉(zhuǎn)成列后的樣式表所示。
3.2 采用兩個關(guān)系實體
采用行轉(zhuǎn)為列的方式能夠適應(yīng)簡單屬性值全都一個數(shù)據(jù)類型的動態(tài)屬性的問題,比如,例子中的業(yè)績額全為數(shù)值類型,開發(fā)人員在進(jìn)行開發(fā)實現(xiàn)功能時可以進(jìn)行統(tǒng)一計算。但是,如果屬性不是一個統(tǒng)一的類型,比如例子中的業(yè)績額有數(shù)值類型的,還有字符類型的。這種情況下,程序開發(fā)人員,在進(jìn)行數(shù)據(jù)取值時,要有目的的進(jìn)行運算,而在例子中屬性值的數(shù)據(jù)類型不明確,給開發(fā)人員帶來了麻煩。解決這種復(fù)雜的情況,可以增加一個實體表對屬性值的取值詳細(xì)信息進(jìn)行描述,而將在該實體中將上一個實體的屬性名作為外鍵,這樣,就能夠保證數(shù)據(jù)的一致性。在例子中,在客戶經(jīng)理實體的基礎(chǔ)上,增加一個業(yè)績設(shè)置實體,其字段有業(yè)績名稱、業(yè)績額的取值類型、業(yè)績額的取值長度、業(yè)績額的取值精度,具體表述所下:
Create Table AchieveSet(
AchieveName nvarchar(50), //業(yè)績名稱字段
AValueDataType nvarchar(50), //業(yè)績額的取值類型
AValueLength int, //業(yè)績額的取值長度
AValuePrecision int //業(yè)績額的取值精度
)
綜上所述,通過行轉(zhuǎn)列的方式,解決屬性值同一類型的動態(tài)屬性問題;通過兩個實體來解決屬性值非同一類型的復(fù)雜的動態(tài)屬性問題。程序開發(fā)人員可以根據(jù)不同的需求,采用不同的方法對系統(tǒng)進(jìn)行開發(fā)。
4 非關(guān)系數(shù)據(jù)庫實體的設(shè)計方法
隨著技術(shù)的發(fā)展,對半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行處理,出現(xiàn)了NoSQL數(shù)據(jù)管理技術(shù)的發(fā)展。下面結(jié)合非關(guān)系數(shù)據(jù)技術(shù),給出兩種解決動態(tài)屬性問題的解決方法。
4.1 采用HBase模型
HBase是一個分布式的,面向列族進(jìn)行存儲的數(shù)據(jù)庫[4]。在HBase數(shù)據(jù)庫中,動態(tài)屬性可以采用它的數(shù)據(jù)模型來進(jìn)行實現(xiàn)。定義一個屬性列族,而在該列族中根據(jù)需要可以任意動態(tài)放入子列即可。具體操作是定義一個客戶經(jīng)理實體,在該實體中創(chuàng)建一個業(yè)績列族,通過行鍵來存儲客戶經(jīng)理實體記錄中的經(jīng)理名稱,具體描述如下:
create ‘ClientManager’,'CAchieve'
其中,ClientManager’是客戶經(jīng)理實體,'CAchieve'是客戶經(jīng)理的業(yè)績。
實體表創(chuàng)建完成后,可以進(jìn)行操作,進(jìn)行存儲記錄數(shù)據(jù),其操作如下:
put 'ClientManager','張三','CAchieve:存款業(yè)績','10000'
put 'ClientManager','張三','CAchieve:是否投訴','是'
put 'ClientManager','李四','CAchieve:基金業(yè)績','10500'
...
其中,張三、李四列使用的是HBase行鍵,'CAchieve'冒號后面是動態(tài)屬性。
4.2 采用MongoDB模型
MongoDB稻菘饈遣捎夢牡?、己虾蛿?shù)據(jù)庫三部分來對數(shù)據(jù)進(jìn)行組織[5]。在MongoDB數(shù)據(jù)庫中,動態(tài)屬性可以采用它的數(shù)據(jù)模型來實現(xiàn),根據(jù)其文檔的機(jī)制來進(jìn)行實現(xiàn)。在例子中,采用定義一個客戶經(jīng)理實體的集合,在集合中插入定義好的記錄文檔,具體操作如下:
db.createCollection("'ClientManager'"); //定義客戶經(jīng)理集合
db.ClientManager.insert({"name":"李四","存款業(yè)績":10000",是否投訴":是})
db.ClientManager.insert({"name":"李四","基金業(yè)績":11000,"是否投訴":是})
其中,大括號{}內(nèi)的數(shù)據(jù)是文檔信息,存儲客戶經(jīng)理信息,而每一鍵值對記錄該客戶經(jīng)理實體的績效信息,比如,"存款業(yè)績":10000"等。每個文檔內(nèi)中的鍵值對中的鍵可以不相同,這樣,就達(dá)到了實現(xiàn)動態(tài)屬性的要求。
5 總結(jié)
截止到目前為止,關(guān)系型數(shù)據(jù)庫理論和非關(guān)系型數(shù)據(jù)庫理論并存,而且他們都已經(jīng)發(fā)展得很成熟,在市場上廣泛應(yīng)用。作者從實際開發(fā)一款績效考核系統(tǒng)中,考核指標(biāo)不斷變化的實際需求出發(fā),調(diào)研和總結(jié)當(dāng)前市場上幾種處理實體屬性不斷變化的解決方案。根據(jù)不同的方案可選擇不同的數(shù)據(jù)庫技術(shù),在開發(fā)實施過程中需要相應(yīng)的技術(shù)條件和設(shè)備條件??傊Mo后來者的學(xué)習(xí)和工作提供一些建議和幫助。
參考文獻(xiàn):
[1] 唐小剛,譚石強.一種實體屬性非確定的關(guān)系數(shù)據(jù)庫設(shè)計方法[J]. 湘南學(xué)院學(xué)報,2006(4).
[2] 李華娟.關(guān)系型數(shù)據(jù)庫設(shè)計之實踐技巧[J].電子技術(shù)與軟件工程,2016(1).
一、系統(tǒng)設(shè)計及解決方案實現(xiàn)的背景
縱觀券商IT發(fā)展現(xiàn)狀,首先企業(yè)級業(yè)務(wù)應(yīng)用越來越多,分工也越來越細(xì),而企業(yè)級的業(yè)務(wù)應(yīng)用需求和要求都越來越高,單個業(yè)務(wù)產(chǎn)品滿足不了企業(yè)級應(yīng)用需求,以下是目前券商主要面臨的企業(yè)級應(yīng)用需求:
1.面向上級監(jiān)管部門的數(shù)據(jù)報送
2.企業(yè)級合規(guī)管理和風(fēng)險控制要求越來越高
3.實時動態(tài)業(yè)務(wù)風(fēng)險監(jiān)控
4.企業(yè)決策支持平臺
5.客戶營銷管理
二、數(shù)據(jù)中心目標(biāo)定位
概括而言,數(shù)據(jù)中心一方面是現(xiàn)有營業(yè)部柜臺交易系統(tǒng)、總部清算系統(tǒng)、稽核系統(tǒng)等業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采集者和管理者,同時也是營銷管理、稽核監(jiān)控、風(fēng)險管理、數(shù)據(jù)挖掘和多維分析系統(tǒng)的數(shù)據(jù)提供者。
(一)產(chǎn)品定位。企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)中心,據(jù)交換中心,據(jù)服務(wù)中心。
(二)功能定位。致力于企業(yè)業(yè)務(wù)數(shù)據(jù)的管理方法和管理工具研發(fā),包括業(yè)務(wù)數(shù)據(jù)組織架構(gòu)規(guī)劃、數(shù)據(jù)規(guī)范管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)管理以及數(shù)據(jù)的復(fù)用性管理等方面的系統(tǒng)性工程。
(三)存貯設(shè)計定位
既要考慮高并發(fā)高效率的OLTP服務(wù)處理,也要考慮大數(shù)據(jù)量訪問的OLAP統(tǒng)計分析要求, 基于未來5年到10年的數(shù)據(jù)存貯容量測算,以此來考慮系統(tǒng)的主機(jī)、存儲架構(gòu)設(shè)計以及數(shù)據(jù)處理技術(shù)應(yīng)用等技術(shù)研究工作的方向。
三、系統(tǒng)設(shè)計原則
數(shù)據(jù)中心項目技術(shù)解決方案的設(shè)計原則體現(xiàn)在以下六個方面,使得有限的資源以較有效的協(xié)作方式共同發(fā)揮效用:
(一)可擴(kuò)展性
數(shù)據(jù)模型:設(shè)計模型時,盡可能滿足未來可能要上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型,同時還需制定一套合理的模型設(shè)計規(guī)范。
數(shù)據(jù)分發(fā)平臺:在設(shè)計時應(yīng)考慮,隨著分發(fā)數(shù)據(jù)規(guī)模的擴(kuò)大和分發(fā)節(jié)點的增多,對分發(fā)處理和傳輸處理的性能要求會越來越高。
(二)高性能
分發(fā)平臺:需考慮大數(shù)據(jù)量條件下的文件傳輸效率,主要體現(xiàn)在特殊日期及特殊情況下的全量文件傳輸。數(shù)據(jù)庫設(shè)計:同時要考慮分析類型的大批量數(shù)據(jù)或頻繁訪問需求,還要滿足實時監(jiān)控類的高并發(fā)訪問要求。。
(三)可管理性
數(shù)據(jù)質(zhì)量管理:報告的可讀性,標(biāo)準(zhǔn)的可維護(hù)性,問題處理流程的可操作性。數(shù)據(jù)分發(fā)平臺:需要充分考慮數(shù)據(jù)分發(fā)任務(wù)易于配置,傳輸結(jié)果易于監(jiān)控。
(四)高可用性
數(shù)據(jù)模型的可用性:能屏蔽源系統(tǒng)結(jié)構(gòu)的變化對數(shù)據(jù)中心系統(tǒng)帶來影響。局部數(shù)據(jù)模型的擴(kuò)展不會對其它數(shù)據(jù)模型產(chǎn)生大的影響。系統(tǒng)備份:生產(chǎn)系統(tǒng)出現(xiàn)異常時,備份恢復(fù)機(jī)制及時恢復(fù)處理。
(五)安全性。一是防止數(shù)據(jù)中心系統(tǒng)的數(shù)據(jù)資源被惡意修改和盜取;二是防止數(shù)據(jù)在傳輸過程中被截留和篡改。
(六)可重用性??芍赜眯允侵副M可能避免數(shù)據(jù)中心項目的重復(fù)投入,應(yīng)盡可能考慮包括物理設(shè)備、系統(tǒng)軟件、框架組件、規(guī)范方法以及業(yè)務(wù)應(yīng)用等多個層面上的復(fù)用。
四、數(shù)據(jù)庫存貯方案設(shè)計
1.1 數(shù)據(jù)各邏輯層級劃分。為保證數(shù)據(jù)中心能提供多層次、多粒度、多特征的數(shù)據(jù)服務(wù),并保證ETL過程的清晰、可控、完整、準(zhǔn)確,數(shù)據(jù)中心根據(jù)數(shù)據(jù)性質(zhì)、處理階段以及數(shù)據(jù)質(zhì)量的不同分為原始層、標(biāo)準(zhǔn)層、模型層、數(shù)據(jù)集市層4個數(shù)據(jù)層,具體如下:
1.2 數(shù)據(jù)庫系統(tǒng)的硬件架構(gòu)設(shè)計。根據(jù)系統(tǒng)分析得出的各項數(shù)據(jù),即可得到相應(yīng)的硬件配置要求。
1.2.1 存儲設(shè)備容量評估。本節(jié)提出的“存儲容量規(guī)劃”將支持過去5年以上的歷史數(shù)據(jù)和未來10年的新增業(yè)務(wù)數(shù)據(jù)的存儲空間要求。
1.2.1.1 基礎(chǔ)數(shù)據(jù)規(guī)模評估。根據(jù)調(diào)查,某券商2002年以來(至2012年)的歷史數(shù)據(jù)規(guī)??砂?.5T計算。
我們以此次配置的存儲“滿足未來3-4年(從2012年算起)的業(yè)務(wù)正常運行”、“將考慮未來10年的業(yè)務(wù)運行的擴(kuò)展能力”這兩個條件來評估,得出的基礎(chǔ)數(shù)據(jù)規(guī)模為:
A2015=1.5T+(7G×25%×236)×(1.05+1.1025+1.1576)
約=2.9T
A2022=1.5T+(7G×25%×236)×(1.05+1.1025...+1.05^10)
約=6.8T
注:公式中的25%是增量數(shù)據(jù)因子。每次進(jìn)行清洗時,通過一定的方法,將部分非增量數(shù)據(jù)丟棄(這75%的數(shù)據(jù),我們通過比對法發(fā)現(xiàn)其與歷史數(shù)據(jù)或存量數(shù)據(jù)有重復(fù)取值,將其載入后暫存待查或去除)的結(jié)果。
1.2.1.2 邏輯數(shù)據(jù)存儲規(guī)模評估。上節(jié)評估出的“基礎(chǔ)數(shù)據(jù)規(guī)模(后稱A)”,將是本系統(tǒng)進(jìn)行邏輯數(shù)據(jù)存儲規(guī)模(后稱B)的依據(jù)。原始層數(shù)據(jù)的規(guī)模B1:按最后年度的1倍采集數(shù)據(jù)量計算。ODS層數(shù)據(jù)的規(guī)模B2:考慮到原始數(shù)據(jù)被處理后的部分業(yè)務(wù)數(shù)據(jù)的重新組織和重定義,且會生成一定的聚集數(shù)據(jù),應(yīng)給予適當(dāng)?shù)娜哂?,此處的冗余因子設(shè)定為1.2。
EDW層數(shù)據(jù)的規(guī)模B3:考慮ODS數(shù)據(jù)將經(jīng)過較大規(guī)模的重新組織和聚集處理(初步設(shè)計按10大主題進(jìn)行分析)進(jìn)入此層,需要考慮較大的冗余度,按業(yè)務(wù)特點初步設(shè)定此處的冗余因子設(shè)定為1.2×1.3=1.56。
1.3 備份環(huán)境設(shè)計。根據(jù)證監(jiān)會的相關(guān)要求,系統(tǒng)需要建設(shè)本地“備份和應(yīng)用測試機(jī)”環(huán)境。但如果我們只是刻板的將“生產(chǎn)環(huán)境”克隆一下,將極不經(jīng)濟(jì)。我們需要按照應(yīng)用特點、數(shù)據(jù)處理要求,來定制備機(jī)架構(gòu)。本地“備份和應(yīng)用測試機(jī)”需兼顧“數(shù)據(jù)備份和本地容災(zāi)”雙重職能。
1.4 數(shù)據(jù)備份需求評估。數(shù)據(jù)中心的稻荼匭虢立可靠有效的備份機(jī)制,避免由于數(shù)據(jù)丟失。初步規(guī)劃:將數(shù)據(jù)中心管理的數(shù)據(jù)分成3類并分別制定備份策略。這3類數(shù)據(jù)可以使用用戶隔離、表空間隔離相結(jié)合的方式,增強備份調(diào)度的可操作性。靜態(tài)數(shù)據(jù)、配置信息表(/領(lǐng)域表):可以每日備份,并可覆蓋性備份,保留最近3日或者5日的備份即可。
2.蔬菜產(chǎn)銷價格存在巨幅價差。以春天蔬菜價格為100,夏天則為76,秋天則為73,冬天則為80。今年春節(jié)過后,受雨雪天氣影響,本地葉菜類蔬菜有一定漲幅,但由于各地提前做好的保供給預(yù)案,加上海南、山東等省份調(diào)入量增加,茄果、根莖類等蔬菜價格不升反降。當(dāng)前江西省蔬菜集中上市,辣椒等本地主打蔬菜品種價格下跌明顯,據(jù)報道,永豐縣坑田鎮(zhèn)3500畝、700萬公斤辣椒平均價格僅1元/公斤,而去年為10元/公斤。
從江西省農(nóng)業(yè)廳市場處開展的生產(chǎn)者價格(農(nóng)民出售價)調(diào)查和縣級農(nóng)貿(mào)市場價格監(jiān)測情況看,兩者平均價差為289%。市場價格僅是20家縣城農(nóng)貿(mào)市場平均價,如果以大中城市菜場價算,價差還要大的多。
關(guān)于蔬菜巨幅價差原因探究
1.產(chǎn)地蔬菜市場發(fā)展緩慢。蔬菜產(chǎn)銷最佳模式是存得住、運得掉、賣得好、賺得到。首先是要存得住,由于產(chǎn)地市場投入不足、發(fā)育遲緩。蔬菜往往一上市就面臨市場沖擊,幾乎無話語權(quán)。
2.蔬菜采后商品化處理程度低。冷鏈設(shè)施匱乏、貯運保鮮加工技術(shù)落后,帶來蔬菜商品質(zhì)量差、運耗大、食用不便等諸多問題,全省每年因蔬菜腐爛造成的損失約占產(chǎn)值的25%-30%。2013年江西省人均蔬菜供應(yīng)量278公斤,而城鎮(zhèn)每人年均蔬菜購買量僅120公斤。
3.銷售中間加價環(huán)節(jié)過多且不規(guī)范。這也是為什么農(nóng)民種菜賣不出去,而城市蔬菜依然價高的癥結(jié)之一,特別是2008年冰凍災(zāi)害天氣期間反應(yīng)特別強烈。
解決或緩解巨幅價差的建議
1.大力發(fā)展產(chǎn)地批發(fā)市場或田頭市場。產(chǎn)地市場(另有中轉(zhuǎn)和銷地市場)應(yīng)是公益性的,以政府投入為主。國外產(chǎn)地市場大都以配送中心、分揀中心等形式出現(xiàn)。此外要加大對家庭農(nóng)場、合作社、龍頭企業(yè)貯運能力的培育。
2.減少流通環(huán)節(jié),規(guī)范中間商利潤。推行農(nóng)超對接、產(chǎn)銷直供等新型流通方式,大力推進(jìn)農(nóng)產(chǎn)品經(jīng)營網(wǎng)絡(luò)化,探索開展農(nóng)產(chǎn)品電子商務(wù)試點。支持涉農(nóng)企業(yè)、農(nóng)民合作社發(fā)展線上線下交易,充分利用信息技術(shù),創(chuàng)建最快速度、最短距離、最少環(huán)節(jié)的新型農(nóng)產(chǎn)品流通方式。
3.加大對政策落實情況的督導(dǎo)。2012年國務(wù)院出臺了《關(guān)于深化流通體制改革加快流通產(chǎn)業(yè)發(fā)展的意見》,今年商務(wù)部等13部門出臺了《關(guān)于進(jìn)一步加強農(nóng)產(chǎn)品市場體系建設(shè)的指導(dǎo)意見》,對農(nóng)產(chǎn)品批發(fā)市場的財政支持、金融支持、用地支持和用水、用電支持都進(jìn)行了明確。據(jù)了解,江西省有些地區(qū)農(nóng)產(chǎn)品批發(fā)市場在用地方面、水電方面的優(yōu)惠政策難以落實,建議相關(guān)部門要加大督導(dǎo)力度。
此外,很多這樣的應(yīng)用都有很嚴(yán)格的功率預(yù)算,因為它們采用電池供電,或者無法耐受自身電子元件發(fā)熱導(dǎo)致的額外升溫。因此,需要用到可以在溫度范圍內(nèi)保持高精度,并且可以輕松用于各種場景的低功耗模數(shù)轉(zhuǎn)換器(ADC)信號鏈。這類信號鏈見圖1,該圖描繪了一個井下鉆探儀器。
雖然額定溫度為175℃的商用IC數(shù)量依然較少,但近年來這一數(shù)量正在增加,尤其是諸如信號調(diào)理和數(shù)據(jù)轉(zhuǎn)換等核心功能。這便促使電子工程師快速可靠地設(shè)計用于高溫應(yīng)用的產(chǎn)品,并完成過去無法實現(xiàn)的性能。雖然很多這類IC在溫度范圍內(nèi)具有良好的特性化,但也僅限于該器件的功能。顯然,這些元件缺少電路級信息,使其無法在現(xiàn)實系統(tǒng)中實現(xiàn)極佳性能。
本文中,我們提供了一個新的高溫數(shù)據(jù)采集參考設(shè)計,該設(shè)計在室溫至175℃溫度范圍內(nèi)進(jìn)行特征化。該電路旨在提供一個完整的數(shù)據(jù)采集電路構(gòu)建塊,可獲取模擬傳感器輸入、對其進(jìn)行調(diào)理,并將其特征化為SPI串行數(shù)據(jù)流。該設(shè)計功能非常豐富,可用作單通道應(yīng)用,也可擴(kuò)展為多通道同步采樣應(yīng)用。由于認(rèn)識到低功耗的重要性,該ADC的功耗與采樣速率成線性比例關(guān)系。
該ADC還可由基準(zhǔn)電壓源直接供電,無須額外的電源軌,從而不存在功率轉(zhuǎn)換相關(guān)的低效率。這款參考設(shè)計是現(xiàn)成的,可方便設(shè)計人員進(jìn)行測試,包含全部原理圖、物料清單、PCB布局圖和測試軟件。
電路概覽
圖1所示電路是一個1 6位、600kSPS逐次逼近型模數(shù)轉(zhuǎn)換器系統(tǒng),其所用器件的額定溫度、特性測試溫度和性能保證溫度為175℃。很多惡劣環(huán)境應(yīng)用都采用電池供電,因此該信號鏈針對低功耗而設(shè)計,同時仍然保持高性能。
本電路使用低功耗(600kSPS時為4.65mW)、耐高溫PulSAR ADCAD7981,它直接從耐高溫、低功耗運算放大器AD8634驅(qū)動。AD7981ADC需要2.4-5.1V的外部基準(zhǔn)電壓源,本應(yīng)用選擇的基準(zhǔn)電壓源為微功耗2.5V精密基準(zhǔn)源ADR225,后者也通過了高溫工作認(rèn)證,并具有非常低的靜態(tài)電流(210℃時最大值為60μA)。本設(shè)計中的所有IC封裝都是專門針對高溫環(huán)境而設(shè)計的,包括單金屬線焊。
模數(shù)轉(zhuǎn)換器
本電路的核心是16位、低功耗、單電源ADC AD7981,它采用逐次逼近架構(gòu),最高支持600kSPS的采樣速率。如圖2所示,AD7981使用兩個電源引腳:內(nèi)核電源(VDD)和數(shù)字輸入/輸出接口電源(VIO)。VIO引腳可以與1.8~5.OV的任何邏輯直接接口。VDD和VIO引腳也可以連在一起以節(jié)省系統(tǒng)所需的電源數(shù)量,并且它們與電源時序無關(guān)。圖3給出了連接示意圖。
AD7981在600 kSPS時功耗典型值僅為4.65mW,并能在兩次轉(zhuǎn)換之間自動關(guān)斷,以節(jié)省功耗。因此,功耗與采樣速率成線性比例關(guān)系,使得該ADC對高低采樣速率——甚至低至數(shù)Hz——均適合,并且可實現(xiàn)非常低的功耗,支持電池供電系統(tǒng)。此外,可以使用過采樣技術(shù)來提高低速信號的有效分辨率。
AD7981有一個偽差分模擬輸入結(jié)構(gòu),可對IN+與IN-輸入之間的真差分信號進(jìn)行采樣,并抑制這兩個輸入共有的信號。IN+輸入支持OV至VREF的單極性、單端輸入信號,IN-輸入的范圍受限,為GND至lOOmV。AD7981的偽差分輸入簡化了ADC驅(qū)動器要求并降低了功耗。AD7981采用10引腳MSOP封裝,額定溫度為175℃,
ADC驅(qū)動器
AD7981的輸入可直接從低阻抗信號源驅(qū)動;然而,高源阻抗會顯著降低性能,尤其是總諧波失真(THD)。因此,推薦使用ADC驅(qū)動器或運算放大器(如AD8634)來驅(qū)動AD7981輸入,如圖4所示。在采集時間開始時,開關(guān)閉合,容性DAC在ADC輸入端注入一個電壓毛刺(反沖)。ADC驅(qū)動器幫助此反沖穩(wěn)定下來,并將其與信號源相隔離。
低功耗(ImA/放大器)雙通道精密運算放大器AD8634適合此任務(wù),因為其出色的直流和交流特性對傳感器信號調(diào)理和信號鏈的其他部分非常有利。雖然AD8634具有軌到軌輸出,但輸入要求從正供電軌到負(fù)供電軌具有300mV裕量。這就使得負(fù)電源成為必要,所選負(fù)電源為2.5V。AD8634提供額定溫度為175℃的8引腳SOIC封裝和額定溫度為210℃的8引腳FLATPACK封裝。
ADC驅(qū)動器與AD7981之間的RC濾波器衰減AD7981輸入端注入的反沖,并限制進(jìn)入此輸入端的噪聲帶寬。不過,過大的限帶可能會增加建立時間和失真。因此,為該濾波器找到最優(yōu)RC值很重要。其計算主要基于輸入頻率和吞吐速率。
由AD7981數(shù)據(jù)手冊可知,內(nèi)部采樣電容CIN=30pF且tCONV=900ns,因此正如所描述的,對于lOkHz輸入信號而言,假定ADC工作在600kSPS且CFXT=2.7nF,則用于2.5V基準(zhǔn)電壓源的電壓步進(jìn)為:
因此,在16位處建立至1/2 LSB所需的時間常數(shù)數(shù)量為: AD7981的采集時間為:
通過下式可計算RC濾波器的帶寬:
這是一個理論值,其一階近似應(yīng)當(dāng)在實驗室中進(jìn)行驗證。通過測試可知最優(yōu)值為R EXT=85 Q和CEXT=2. 7nF(f_3dB_693. 48kHz),此時在高達(dá)l75℃的擴(kuò)展溫度范圍內(nèi)具有出色的性能。
在參考設(shè)計中,ADC驅(qū)動器采用單位增益緩沖器配置。增加ADC驅(qū)動器增益會降低驅(qū)動器帶寬,延長建立時間。這種情況下可能需要降低ADC吞吐速率,或者在增益級之后再使用一個緩沖器作為驅(qū)動器。
基準(zhǔn)電壓源
ADR225 2.5V基準(zhǔn)電壓源在時210℃僅消耗最大60μA的靜態(tài)電流,并具有典型值40×10-6/℃的超低漂移特性,因而非常適合用于該低功耗數(shù)據(jù)采集電路。該器件的初始精度為±0.4%,可在3.3-16V的寬電源范圍內(nèi)工作?!∠衿渌鸖AR ADC-樣,AD7981的基準(zhǔn)電壓輸入具有動態(tài)輸入阻抗,因此必須利用低阻抗源驅(qū)動,REF引腳與GND之間應(yīng)有效去耦,如圖5所示。除了ADC驅(qū)動器應(yīng)用,AD8634同樣適合用作基準(zhǔn)電壓緩沖器。
使用基準(zhǔn)電壓緩沖器的另一個好處是,基準(zhǔn)電壓輸出端噪聲可通過增加一個低通RC濾波器來進(jìn)一步降低,如圖5所示。在該電路中,49.9Ω電阻和47μ電容提供大約67Hz的截止頻率。
轉(zhuǎn)換期間,AD7981基準(zhǔn)電壓輸入端可能出現(xiàn)高達(dá)2.5mA的電流尖峰。在盡可能靠近基準(zhǔn)電壓輸入端的地方放置一個大容值儲能電容,以便提供該電流并使基準(zhǔn)電壓輸入端噪聲保持較低水平。一般而言,采用低ESR-10μ或更高——陶瓷電容,但對于高溫應(yīng)用來說會有問題,因為缺少可用的高數(shù)值、高溫陶瓷電容。因此,選擇一個低ESR、47μF鉭電容,其對電路性能的影響極小。
數(shù)字接口
AD7981提供一個兼容SPI、QSPI和其他數(shù)字主機(jī)的靈活串行數(shù)字接口。該接口既可配置為簡單的3線模式以實現(xiàn)最少的I/O數(shù),也可配置為4線模式以提供鏈回讀和繁忙指示選項。4線模式還支持CNV(轉(zhuǎn)換輸入)的獨立回讀時序,使得多個轉(zhuǎn)換器可實現(xiàn)同步采樣。
本參考設(shè)計使用的PMOD兼容接口實現(xiàn)了簡單的3線模式,SDI接高電平VIO。VIO電壓是由SDPPMOD轉(zhuǎn)接板從外部提供。轉(zhuǎn)接板將參考設(shè)計板與ADI系統(tǒng)開發(fā)平臺(SDP)板相連,并可通過USB連接PC,以便運行軟件、評估性能。
電源
本參考設(shè)計的+5V和-2.5V供電軌需要外部低噪聲電源。由于AD7981是低功耗器件,因此可通過基準(zhǔn)電壓緩沖器直接供電。這樣便不再需要額外的供電軌——節(jié)省電源和電路板空間。通過基準(zhǔn)電壓緩沖器為ADC供電的正確配置如圖6所示。如果邏輯電平兼容,那么還可以使用VIO。就參考設(shè)計板而言,VIO通過PMOD兼容接口由外部供電,以實現(xiàn)最高的靈活性。
IC封裝和可靠性
ADI公司高溫系列中的器件要經(jīng)歷特殊的工藝流程,包括設(shè)計、特性測試、可靠性認(rèn)證和生產(chǎn)測試。專門針對極端溫度設(shè)計特殊封裝是該流程的一部分。本電路中的175℃塑料封裝采用一種特殊材料。
耐高溫封裝的一個主要失效機(jī)制是焊線與焊墊界面失效,尤其是金(Au)和鋁(Al)混合時(塑料封裝通常如此)。高溫會加速AuAl金屬間化合物的生長。正是這些金屬間化合物引起焊接失效,如易脆焊接和空洞等,這些故障可能在幾百小時之后就會發(fā)生,如圖7所示。
為了避免失效,ADI公司利用焊盤金屬化(OPM)工藝產(chǎn)生一個金焊墊表面以供金焊線連接。這種單金屬系統(tǒng)不會形成金屬間化合物,經(jīng)過195℃、6000小時的浸泡式認(rèn)證測試,已被證明非??煽?,如圖8所示。
雖然ADI公司已證明焊接在195℃時仍然可靠,但受限于塑封材料的玻璃轉(zhuǎn)化溫度,塑料封裝的額定最高工作溫度僅為175℃。除了本電路所用的額定175℃產(chǎn)品,還有采用陶瓷FLATPACK封裝的額定210℃型號可用。同時有已知良品裸片(KGD)可供需要定制封裝的系統(tǒng)使用。無源元件
應(yīng)當(dāng)選擇耐高溫的無源元件。本設(shè)計使用175℃以上的薄膜型低TCR電阻。COG/NPO電容容值較低常用于濾波器和去耦應(yīng)用,其溫度系數(shù)非常平坦。耐高溫鉭電容有比陶瓷電容更大的容值,常用于電源濾波。本電路板所用SMA連接器的額定溫度為165℃,因此,在高溫下進(jìn)行長時間測試時,應(yīng)當(dāng)將其移除。同樣,0.1英寸接頭連接器(J2和P3)上的絕緣材料在高溫時只能持續(xù)較短時間,因而在長時間高溫測試中也應(yīng)當(dāng)予以移除。對于生產(chǎn)組裝而言,有多個供應(yīng)商提供用于HT額定連接器的多個選項,例如MicroD類連接器。
PCB布局和裝配
在本電路的PCB設(shè)計中,模擬信號和數(shù)字接口位于ADC的相對兩側(cè),ADC IC之下或模擬信號路徑附近無開關(guān)信號。這種設(shè)計可以最大程度地降低耦合到ADC芯片和輔助模擬信號鏈中的噪聲。AD7981的所有模擬信號位于左側(cè),所有數(shù)字信號位于右側(cè),這種引腳排列可以簡化設(shè)計?;鶞?zhǔn)電壓輸入REF具有動態(tài)輸入阻抗,應(yīng)當(dāng)用極小的寄生電感去耦,為此須將基準(zhǔn)電壓去耦電容放在盡量靠近REF和GND引腳的地方,并用低阻抗的寬走線連接該引腳。本電路板的元器件故意全都放在正面,以方便從背面加熱進(jìn)行溫度測試。完整的組件如圖9所示。
針對高溫電路,應(yīng)當(dāng)采用特殊電路材料和裝配技術(shù)來確保可靠性。FR4是PCB疊層常用的材料,但商用FR4的典型玻璃轉(zhuǎn)化溫度約為140℃。超過140℃時,PCB便開始破裂、分層,并對元器件造成壓力。高溫裝配廣泛使用的替代材料是聚酰亞胺,其典型玻璃轉(zhuǎn)化溫度大于240℃。本設(shè)計使用4層聚酰亞胺PCB。
PCB表面也需要注意,特別是配合含錫的焊料使用時,因為這種焊料易于與銅走線形成銅金屬間化合物。常常采用鎳金表面處理,其中鎳提供一個壁壘,金則為接頭焊接提供一個良好的表面。此外,應(yīng)當(dāng)使用高熔點焊料,熔點與系統(tǒng)最高工作溫度之間應(yīng)有合適的裕量。本裝配選擇SAC305無鉛焊料,其熔點為217℃,相對于175℃的最高工作溫度有42℃的裕量。
性能預(yù)期
采用lkHz輸入正弦信號和5V基準(zhǔn)電壓時,AD7981的額定SNR典型值為9ldB。然而,當(dāng)使用較低基準(zhǔn)電壓(例如2.5V,低功耗/低電壓系統(tǒng)常常如此),SNR性能會有所下降。我們可以根據(jù)電路中使用的元件規(guī)格計算理論SNR。由AD8634放大器數(shù)據(jù)手冊可知,其輸入電壓噪聲密度為4.2nV/ ,電流噪聲密度為0.6pA/ 。由于緩沖器配置中的AD8634噪聲增益為1,并且假定電流噪聲計算時可忽略串聯(lián)輸入電阻,則AD8634的等效輸出噪聲貢獻(xiàn)為:
RC濾波( )器之后的ADC輸入端總積分噪聲為: AD7981的均方根噪聲可根據(jù)數(shù)據(jù)手冊中的2.5V基準(zhǔn)電壓源典型信噪比(SNR,86dB)計算得到。
整個數(shù)據(jù)采集系統(tǒng)的總均方根噪聲可通過AD8634和AD7981噪聲源的方和根(RSS)計算:
因此,室溫(25℃)時的數(shù)據(jù)采集系統(tǒng)理論SNR可根據(jù)下式近似計算:
測試結(jié)果
電路的交流性能在25~185℃溫度范圍內(nèi)進(jìn)行評估。使用低失真信號發(fā)生器對性能進(jìn)行特性化很重要。本測試使用Audio Precision SYS-2522。為了便于在烤箱中測試,使用了延長線,以便僅有參考設(shè)計電路暴露在高溫下。測試設(shè)置的功能框圖如圖10所不。
由前文設(shè)置中的計算可知,室溫下期望能達(dá)到大約86dB的SNR。該值與我們在室溫下測出的86.2dB SNR相當(dāng),如圖11中的FFT摘要所示。
評估電路溫度性能時,175℃時的SNR性能僅降低至約84dB,如圖12所示。THD仍然優(yōu)于-100dB,如圖13所示。本電路在175℃時的FFT摘要如圖14所示。
小結(jié)
雖然這些行業(yè)的最終應(yīng)用不盡相同,但某些信號調(diào)理需求卻是共同的。這些系統(tǒng)的主要部分要求對多個傳感器進(jìn)行精確數(shù)據(jù)采集,或者要求高采樣速率。 此外,很多這樣的應(yīng)用都有很嚴(yán)格的功率預(yù)算,因為它們采用電池供電,或者無法耐受自身電子元件發(fā)熱導(dǎo)致的額外升溫。因此,需要用到可以在溫度范圍內(nèi)保持高精度,并且可以輕松用于各種場景的低功耗模數(shù)轉(zhuǎn)換器(ADC)信號鏈。這類信號鏈見圖1,該圖描繪了一個井下鉆探儀器。
雖然額定溫度為175℃的商用IC數(shù)量依然較少,但近年來這一數(shù)量正在增加,尤其是諸如信號調(diào)理和數(shù)據(jù)轉(zhuǎn)換等核心功能。這便促使電子工程師快速可靠地設(shè)計用于高溫應(yīng)用的產(chǎn)品,并完成過去無法實現(xiàn)的性能。雖然很多這類IC在溫度范圍內(nèi)具有良好的特性化,但也僅限于該器件的功能。顯然,這些元件缺少電路級信息,使其無法在現(xiàn)實系統(tǒng)中實現(xiàn)極佳性能。
本文中,我們提供了一個新的高溫數(shù)據(jù)采集參考設(shè)計,該設(shè)計在室溫至175℃溫度范圍內(nèi)進(jìn)行特征化。該電路旨在提供一個完整的數(shù)據(jù)采集電路構(gòu)建塊,可獲取模擬傳感器輸入、對其進(jìn)行調(diào)理,并將其特征化為SPI串行數(shù)據(jù)流。該設(shè)計功能非常豐富,可用作單通道應(yīng)用,也可擴(kuò)展為多通道同步采樣應(yīng)用。由于認(rèn)識到低功耗的重要性,該ADC的功耗與采樣速率成線性比例關(guān)系。該ADC還可由基準(zhǔn)電壓源直接供電,無須額外的電源軌,從而不存在功率轉(zhuǎn)換相關(guān)的低效率。這款參考設(shè)計是現(xiàn)成的,可方便設(shè)計人員進(jìn)行測試,包含全部原理圖、物料清單、PCB布局圖和測試軟件。
電路概覽
圖1所示電路是一個1 6位、600kSPS逐次逼近型模數(shù)轉(zhuǎn)換器系統(tǒng),其所用器件的額定溫度、特性測試溫度和性能保證溫度為175℃。很多惡劣環(huán)境應(yīng)用都采用電池供電,因此該信號鏈針對低功耗而設(shè)計,同時仍然保持高性能。
本電路使用低功耗(600kSPS時為4.65mW)、耐高溫PulSAR ADCAD7981,它直接從耐高溫、低功耗運算放大器AD8634驅(qū)動。AD7981ADC需要2.4-5.1V的外部基準(zhǔn)電壓源,本應(yīng)用選擇的基準(zhǔn)電壓源為微功耗2.5V精密基準(zhǔn)源ADR225,后者也通過了高溫工作認(rèn)證,并具有非常低的靜態(tài)電流(210℃時最大值為60μA)。本設(shè)計中的所有IC封裝都是專門針對高溫環(huán)境而設(shè)計的,包括單金屬線焊。
模數(shù)轉(zhuǎn)換器
本電路的核心是16位、低功耗、單電源ADC AD7981,它采用逐次逼近架構(gòu),最高支持600kSPS的采樣速率。如圖2所示,AD7981使用兩個電源引腳:內(nèi)核電源(VDD)和數(shù)字輸入/輸出接口電源(VIO)。VIO引腳可以與1.8~5.OV的任何邏輯直接接口。VDD和VIO引腳也可以連在一起以節(jié)省系統(tǒng)所需的電源數(shù)量,并且它們與電源時序無關(guān)。圖3給出了連接示意圖。
AD7981在600 kSPS時功耗典型值僅為4.65mW,并能在兩次轉(zhuǎn)換之間自動關(guān)斷,以節(jié)省功耗。因此,功耗與采樣速率成線性比例關(guān)系,使得該ADC對高低采樣速率——甚至低至數(shù)Hz——均適合,并且可實現(xiàn)非常低的功耗,支持電池供電系統(tǒng)。此外,可以使用過采樣技術(shù)來提高低速信號的有效分辨率。
AD7981有一個偽差分模擬輸入結(jié)構(gòu),可對IN+與IN-輸入之間的真差分信號進(jìn)行采樣,并抑制這兩個輸入共有的信號。IN+輸入支持OV至VREF的單極性、單端輸入信號,IN-輸入的范圍受限,為GND至lOOmV。AD7981的偽差分輸入簡化了ADC驅(qū)動器要求并降低了功耗。AD7981采用10引腳MSOP封裝,額定溫度為175℃,
ADC驅(qū)動器
AD7981的輸入可直接從低阻抗信號源驅(qū)動;然而,高源阻抗會顯著降低性能,尤其是總諧波失真(THD)。因此,推薦使用ADC驅(qū)動器或運算放大器(如AD8634)來驅(qū)動AD7981輸入,如圖4所示。在采集時間開始時,開關(guān)閉合,容性DAC在ADC輸入端注入一個電壓毛刺(反沖)。ADC驅(qū)動器幫助此反沖穩(wěn)定下來,并將其與信號源相隔離。
低功耗(ImA/放大器)雙通道精密運算放大器AD8634適合此任務(wù),因為其出色的直流和交流特性對傳感器信號調(diào)理和信號鏈的其他部分非常有利。雖然AD8634具有軌到軌輸出,但輸入要求從正供電軌到負(fù)供電軌具有300mV裕量。這就使得負(fù)電源成為必要,所選負(fù)電源為2.5V。AD8634提供額定溫度為175℃的8引腳SOIC封裝和額定溫度為210℃的8引腳FLATPACK封裝。
ADC驅(qū)動器與AD7981之間的RC濾波器衰減AD7981輸入端注入的反沖,并限制進(jìn)入此輸入端的噪聲帶寬。不過,過大的限帶可能會增加建立時間和失真。因此,為該濾波器找到最優(yōu)RC值很重要。其計算主要基于輸入頻率和吞吐速率。
由AD7981數(shù)據(jù)手冊可知,內(nèi)部采樣電容CIN=30pF且tCONV=900ns,因此正如所描述的,對于lOkHz輸入信號而言,假定ADC工作在600kSPS且CFXT=2.7nF,則用于2.5V基準(zhǔn)電壓源的電壓步進(jìn)為:
因此,在16位處建立至1/2 LSB所需的時間常數(shù)數(shù)量為: AD7981的采集時間為:
通過下式可計算RC濾波器的帶寬:
這是一個理論值,其一階近似應(yīng)當(dāng)在實驗室中進(jìn)行驗證。通過測試可知最優(yōu)值為R EXT=85 Q和CEXT=2. 7nF(f_3dB_693. 48kHz),此時在高達(dá)l75℃的擴(kuò)展溫度范圍內(nèi)具有出色的性能。
在參考設(shè)計中,ADC驅(qū)動器采用單位增益緩沖器配置。增加ADC驅(qū)動器增益會降低驅(qū)動器帶寬,延長建立時間。這種情況下可能需要降低ADC吞吐速率,或者在增益級之后再使用一個緩沖器作為驅(qū)動器。
基準(zhǔn)電壓源
ADR225 2.5V基準(zhǔn)電壓源在時210℃僅消耗最大60μA的靜態(tài)電流,并具有典型值40×10-6/℃的超低漂移特性,因而非常適合用于該低功耗數(shù)據(jù)采集電路。該器件的初始精度為±0.4%,可在3.3-16V的寬電源范圍內(nèi)工作。像其他SAR ADC-樣,AD7981的基準(zhǔn)電壓輸入具有動態(tài)輸入阻抗,因此必須利用低阻抗源驅(qū)動,REF引腳與GND之間應(yīng)有效去耦,如圖5所示。除了ADC驅(qū)動器應(yīng)用,AD8634同樣適合用作基準(zhǔn)電壓緩沖器。
使用基準(zhǔn)電壓緩沖器的另一個好處是,基準(zhǔn)電壓輸出端噪聲可通過增加一個低通RC濾波器來進(jìn)一步降低,如圖5所示。在該電路中,49.9Ω電阻和47μ電容提供大約67Hz的截止頻率。
轉(zhuǎn)換期間,AD7981基準(zhǔn)電壓輸入端可能出現(xiàn)高達(dá)2.5mA的電流尖峰。在盡可能靠近基準(zhǔn)電壓輸入端的地方放置一個大容值儲能電容,以便提供該電流并使基準(zhǔn)電壓輸入端噪聲保持較低水平。一般而言,采用低ESR-10μ或更高——陶瓷電容,但對于高溫應(yīng)用來說會有問題,因為缺少可用的高數(shù)值、高溫陶瓷電容。因此,選擇一個低ESR、47μF鉭電容,其對電路性能的影響極小。
數(shù)字接口
AD7981提供一個兼容SPI、QSPI和其他數(shù)字主機(jī)的靈活串行數(shù)字接口。該接口既可配置為簡單的3線模式以實現(xiàn)最少的I/O數(shù),也可配置為4線模式以提供鏈回讀和繁忙指示選項。4線模式還支持CNV(轉(zhuǎn)換輸入)的獨立回讀時序,使得多個轉(zhuǎn)換器可實現(xiàn)同步采樣。
本參考設(shè)計使用的PMOD兼容接口實現(xiàn)了簡單的3線模式,SDI接高電平VIO。VIO電壓是由SDPPMOD轉(zhuǎn)接板從外部提供。轉(zhuǎn)接板將參考設(shè)計板與ADI系統(tǒng)開發(fā)平臺(SDP)板相連,并可通過USB連接PC,以便運行軟件、評估性能。
電源
本參考設(shè)計的+5V和-2.5V供電軌需要外部低噪聲電源。由于AD7981是低功耗器件,因此可通過基準(zhǔn)電壓緩沖器直接供電。這樣便不再需要額外的供電軌——節(jié)省電源和電路板空間。通過基準(zhǔn)電壓緩沖器為ADC供電的正確配置如圖6所示。如果邏輯電平兼容,那么還可以使用VIO。就參考設(shè)計板而言,VIO通過PMOD兼容接口由外部供電,以實現(xiàn)最高的靈活性。
IC封裝和可靠性
ADI公司高溫系列中的器件要經(jīng)歷特殊的工藝流程,包括設(shè)計、特性測試、可靠性認(rèn)證和生產(chǎn)測試。專門針對極端溫度設(shè)計特殊封裝是該流程的一部分。本電路中的175℃塑料封裝采用一種特殊材料。
耐高溫封裝的一個主要失效機(jī)制是焊線與焊墊界面失效,尤其是金(Au)和鋁(Al)混合時(塑料封裝通常如此)。高溫會加速AuAl金屬間化合物的生長。正是這些金屬間化合物引起焊接失效,如易脆焊接和空洞等,這些故障可能在幾百小時之后就會發(fā)生,如圖7所示。
為了避免失效,ADI公司利用焊盤金屬化(OPM)工藝產(chǎn)生一個金焊墊表面以供金焊線連接。這種單金屬系統(tǒng)不會形成金屬間化合物,經(jīng)過195℃、6000小時的浸泡式認(rèn)證測試,已被證明非常可靠,如圖8所示。
雖然ADI公司已證明焊接在195℃時仍然可靠,但受限于塑封材料的玻璃轉(zhuǎn)化溫度,塑料封裝的額定最高工作溫度僅為175℃。除了本電路所用的額定175℃產(chǎn)品,還有采用陶瓷FLATPACK封裝的額定210℃型號可用。同時有已知良品裸片(KGD)可供需要定制封裝的系統(tǒng)使用。無源元件
應(yīng)當(dāng)選擇耐高溫的無源元件。本設(shè)計使用175℃以上的薄膜型低TCR電阻。COG/NPO電容容值較低常用于濾波器和去耦應(yīng)用,其溫度系數(shù)非常平坦。耐高溫鉭電容有比陶瓷電容更大的容值,常用于電源濾波。本電路板所用SMA連接器的額定溫度為165℃,因此,在高溫下進(jìn)行長時間測試時,應(yīng)當(dāng)將其移除。同樣,0.1英寸接頭連接器(J2和P3)上的絕緣材料在高溫時只能持續(xù)較短時間,因而在長時間高溫測試中也應(yīng)當(dāng)予以移除。對于生產(chǎn)組裝而言,有多個供應(yīng)商提供用于HT額定連接器的多個選項,例如MicroD類連接器。
PCB布局和裝配
在本電路的PCB設(shè)計中,模擬信號和數(shù)字接口位于ADC的相對兩側(cè),ADC IC之下或模擬信號路徑附近無開關(guān)信號。這種設(shè)計可以最大程度地降低耦合到ADC芯片和輔助模擬信號鏈中的噪聲。AD7981的所有模擬信號位于左側(cè),所有數(shù)字信號位于右側(cè),這種引腳排列可以簡化設(shè)計。基準(zhǔn)電壓輸入REF具有動態(tài)輸入阻抗,應(yīng)當(dāng)用極小的寄生電感去耦,為此須將基準(zhǔn)電壓去耦電容放在盡量靠近REF和GND引腳的地方,并用低阻抗的寬走線連接該引腳。本電路板的元器件故意全都放在正面,以方便從背面加熱進(jìn)行溫度測試。完整的組件如圖9所示。
針對高溫電路,應(yīng)當(dāng)采用特殊電路材料和裝配技術(shù)來確??煽啃浴R4是PCB疊層常用的材料,但商用FR4的典型玻璃轉(zhuǎn)化溫度約為140℃。超過140℃時,PCB便開始破裂、分層,并對元器件造成壓力。高溫裝配廣泛使用的替代材料是聚酰亞胺,其典型玻璃轉(zhuǎn)化溫度大于240℃。本設(shè)計使用4層聚酰亞胺PCB。
PCB表面也需要注意,特別是配合含錫的焊料使用時,因為這種焊料易于與銅走線形成銅金屬間化合物。常常采用鎳金表面處理,其中鎳提供一個壁壘,金則為接頭焊接提供一個良好的表面。此外,應(yīng)當(dāng)使用高熔點焊料,熔點與系統(tǒng)最高工作溫度之間應(yīng)有合適的裕量。本裝配選擇SAC305無鉛焊料,其熔點為217℃,相對于175℃的最高工作溫度有42℃的裕量。
性能預(yù)期
采用lkHz輸入正弦信號和5V基準(zhǔn)電壓時,AD7981的額定SNR典型值為9ldB。然而,當(dāng)使用較低基準(zhǔn)電壓(例如2.5V,低功耗/低電壓系統(tǒng)常常如此),SNR性能會有所下降。我們可以根據(jù)電路中使用的元件規(guī)格計算理論SNR。由AD8634放大器數(shù)據(jù)手冊可知,其輸入電壓噪聲密度為4.2nV/ ,電流噪聲密度為0.6pA/ 。由于緩沖器配置中的AD8634噪聲增益為1,并且假定電流噪聲計算時可忽略串聯(lián)輸入電阻,則AD8634的等效輸出噪聲貢獻(xiàn)為:
RC濾波( )器之后的ADC輸入端總積分噪聲為: AD7981的均方根噪聲可根據(jù)數(shù)據(jù)手冊中的2.5V基準(zhǔn)電壓源典型信噪比(SNR,86dB)計算得到。
整個數(shù)據(jù)采集系統(tǒng)的總均方根噪聲可通過AD8634和AD7981噪聲源的方和根(RSS)計算:
因此,室溫(25℃)時的數(shù)據(jù)采集系統(tǒng)理論SNR可根據(jù)下式近似計算:
測試結(jié)果
電路的交流性能在25~185℃溫度范圍內(nèi)進(jìn)行評估。使用低失真信號發(fā)生器對性能進(jìn)行特性化很重要。本測試使用Audio Precision SYS-2522。為了便于在烤箱中測試,使用了延長線,以便僅有參考設(shè)計電路暴露在高溫下。測試設(shè)置的功能框圖如圖10所不。
由前文設(shè)置中的計算可知,室溫下期望能達(dá)到大約86dB的SNR。該值與我們在室溫下測出的86.2dB SNR相當(dāng),如圖11中的FFT摘要所示。
評估電路溫度性能時,175℃時的SNR性能僅降低至約84dB,如圖12所示。THD仍然優(yōu)于-100dB,如圖13所示。本電路在175℃時的FFT摘要如圖14所示。
小結(jié)
關(guān)鍵詞:會員制 數(shù)據(jù)挖掘 RFM聚類分析 關(guān)聯(lián)規(guī)則
現(xiàn)階段,國內(nèi)廣大中小型企業(yè)正面臨著自身發(fā)展的瓶頸。在圍繞增加銷售收入所設(shè)計的營銷策略中,企業(yè)傾向于把重點放在開發(fā)新客戶方面,而忽略了對舊客戶的維護(hù)。這種情況導(dǎo)致企業(yè)難以培養(yǎng)有忠誠度的顧客,大量流失潛在的優(yōu)質(zhì)客戶,從而陷入對客戶不斷開發(fā)、不斷流失的惡性循環(huán)。部分企業(yè)借鑒外國同行經(jīng)驗,采取會員制策略,但其數(shù)據(jù)庫只收集最基本的會員資料,營銷手段單一,如分發(fā)廣告信息、消費打折等活動,而忽略了對會員本身的分析,如人口和心理特征、消費行為等,造成了浪費企業(yè)執(zhí)行成本、不恰當(dāng)?shù)男畔⒘铑櫩团c企業(yè)關(guān)系惡化等后果。同樣利用會員制收集信息的便利性,在北美和歐洲,基于數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)庫營銷已經(jīng)發(fā)展日趨成熟,大小企業(yè)都先后加入到這一行列中(羅茂初等,2007)。
本文提出一套基于會員制的數(shù)據(jù)挖掘系統(tǒng)解決方案,通過運用相應(yīng)的數(shù)據(jù)挖掘技術(shù)解決營銷活動中的四個基本問題,加深企業(yè)對顧客的認(rèn)識,從而有針對性地制定營銷策略。
會員制信息的數(shù)據(jù)挖掘方案
(一)營銷活動的四個基本問題
在為會員制定營銷手段的過程中,必須回答以下四個基本問題:
一是什么是影響會員對營銷手段做出回應(yīng)的顯著因子?如何尋找出最可能對營銷手段做出回應(yīng)的會員?二是企業(yè)所擁有的會員可以分為哪幾類?每個種類的會員的特征有什么不同?三是哪些事件(或日子)能聯(lián)系會員與企業(yè)的產(chǎn)品,成為營銷活動開始的契機(jī)?四是會員的消費習(xí)慣和購物次序如何?
只有完整回答以上問題,企業(yè)才算得上了解自己的會員,營銷手段才能做到有的放矢,切實地提高企業(yè)的營銷能力。
(二)系統(tǒng)實現(xiàn)框架
為了解決上述問題,系統(tǒng)由四種數(shù)據(jù)挖掘技術(shù)構(gòu)成。其中Logistic回歸模型用于尋找影響回應(yīng)率的顯著因子。RFM聚類分析通過提取會員新鮮度、消費頻率和消費金額三個指標(biāo)值進(jìn)行聚類分析,劃分會員種類。而事件觸發(fā)模型是企業(yè)尋找特殊營銷事件開展的重要工具。關(guān)聯(lián)規(guī)則挖掘通過分析會員的購物籃尋找出各商品之間潛在的關(guān)系。企業(yè)可以據(jù)此決定商品的擺設(shè)、捆綁銷售策略和優(yōu)惠銷售策略等營銷手段等。系統(tǒng)框架結(jié)構(gòu)如圖1所示。
(三)建模方法
1.Logistic回歸模型。由于Logistic回歸分析所建立的預(yù)測模型是根據(jù)過去的營銷數(shù)據(jù)記錄計算獲得,因此有一定的滯后性。具體做法是:從上一次營銷活動記錄中選取出所有可能影響會員做出回應(yīng)的變量為自變量,用會員是否回應(yīng)的結(jié)果作為因變量,用0表示沒有回應(yīng),1表示有回應(yīng)。這樣通過Logistic回歸計算所得的結(jié)果是一個會員對于營銷活動做出回應(yīng)的概率。篩選出通過顯著性檢驗的變量,所獲得的預(yù)測模型則可用于實踐。
2.RFM聚類分析。RFM具體定義:R―新鮮度,指會員最近一次交易是在多久以前。時間距離越近,企業(yè)和會員的關(guān)系就越“新鮮”。通常按天數(shù)劃分最近一次交易時間。F―消費頻率,指會員在一定時間間隔內(nèi)和企業(yè)交易次數(shù)。時間間隔一般取半年或一年。M―消費金額,指會員每次平均消費金額。
RFM的指標(biāo)各項數(shù)據(jù)通過營銷記錄表定期(如每半年)自動生成。然后應(yīng)用于聚類分析。此處選擇K-Mean clustering,即直接聚類,該聚類分析算法如下(辛愛莉、衣龍海、張林,2008):
設(shè)要把數(shù)據(jù)庫中所有會員分為K組。
第一步為任意選擇K位成員,以他們指標(biāo)下的各項數(shù)據(jù)作為每一組的中心;第二步為計算其他成員指標(biāo)下的各項數(shù)據(jù)與每個組的中心的合成距離。合成距離的計算取幾何距離公式:,一個會員離Ki組的中心越近,他就屬于該組。第三步為將所有成員根據(jù)距離分配到各個組后,重新計算各組的中心。方法為取每個組所有成員的特征平均值。重復(fù)第二步。重復(fù)第三步。
循環(huán)以上步驟,一直到計算出的中心與上一次計算的中心完全相等,則循環(huán)結(jié)束。所獲得的結(jié)果就是最后分類,每組的中心代表這個組的特點。
3.事件觸發(fā)模型。該模型主要作用是增進(jìn)會員對企業(yè)的感情和提醒會員于特殊時間購買本企業(yè)相關(guān)產(chǎn)品。
事件分成兩類:常規(guī)事件和突發(fā)事件。常規(guī)事件包括會員生日和有營銷機(jī)會的節(jié)日。突發(fā)事件是指事前無法預(yù)料的,能為企業(yè)進(jìn)行營銷所用的特殊事件。
部分參考節(jié)日:元旦,農(nóng)歷新年,情人節(jié),三八婦女節(jié),清明節(jié),勞動節(jié),兒童節(jié),端午節(jié),父親節(jié),母親節(jié),七夕,中秋節(jié),國慶,重陽,冬至,圣誕節(jié)等。
部分參考事件:開學(xué),企業(yè)新品推薦,運動會或重大比賽,商業(yè)演出,募捐活動等。
實施方法:為根據(jù)RFM聚類分析所劃分的會員群設(shè)計各自對應(yīng)的宣傳文案和營銷策略,在事件發(fā)生的倒數(shù)第三日通過電子郵件發(fā)送,倒數(shù)第二日通過手機(jī)短信發(fā)送,以確保有效到達(dá)率。適當(dāng)環(huán)境可考慮使用直郵。統(tǒng)計回應(yīng)記錄及會員的反饋意見。事后分析,作為本次營銷活動的總結(jié)和下次策劃的參考。
此外,特定行業(yè)應(yīng)針對其顧客的消費和行為的規(guī)律事先制訂相應(yīng)的觸發(fā)模型。
4.關(guān)聯(lián)規(guī)則。在關(guān)聯(lián)規(guī)則的挖掘算法中,以Agrawal等人提出的Apriori算法最具有影響力和最為常用。Apriori算法利用了頻繁項集的基本原理:若項集X是頻繁項集,則X的任意子集也必定是頻繁項集;反之,若X有一子集不是頻繁項集,則X也必然不是頻繁項集。
設(shè)產(chǎn)品集C={Cj,j=1,2,……,n},每次交易事件Ti=i1C1+i2C2+……+inCn,其中ij取值為0或1。此處的加號是和的意思,并非直接相加。
交易集為U={Ti|i=1,2,……,m},所以可抽象出矩陣:
設(shè)support(Cj)=/m,若support(Cj)≥min_support_1,將Cj加入到集合Z中。重復(fù)上述步驟,直到Z包含所有符合條件的Cj。假設(shè)共有k個符合條件,重新編號為D1,D2……Dk。其對應(yīng)的ij亦同時跟隨變化。兩兩交叉組合,共計k(k-1)/2個。
設(shè)support(DpDq)=ipiq/m,若support(DpDq)min_support_2,令Mpq=DpDq,輸出到關(guān)聯(lián)候選集A和集合Z中。
重復(fù)上述步驟,直到Z包含所有符合條件的Mpq,并刪除集合中所有的Cj。把Z內(nèi)的項兩兩交叉組合,并循環(huán)以上方法,直到集合Z為空集。
此時開始用置信度排除出重要的關(guān)聯(lián)規(guī)則:由A,B兩個項生成的關(guān)聯(lián)規(guī)則有兩個:AB和BA ;由A,B和C三個項生成的關(guān)聯(lián)規(guī)則有三個:A,BC;B,CA和C,AB。如此類推,N個項可以生成N個關(guān)聯(lián)規(guī)則。當(dāng)檢驗只有兩個項DpDq的關(guān)聯(lián)規(guī)則時,設(shè)confidence(DpDq)=iqip/iq,confidence(DqDp)=iqip/ip,若confidence()≥min_confidence,則把該關(guān)聯(lián)規(guī)則輸出,否則刪除。
為簡化計,可把min_support和min_confidence先設(shè)定為一固定值。特殊情況下再作調(diào)整。同理檢驗由更多項生成的關(guān)聯(lián)規(guī)則。其中confidence(AB)=P(AB)/P(B),此時A為由一個以上的單項組成的復(fù)合項目,B依然為單項。
若需要進(jìn)行多層關(guān)聯(lián)規(guī)則分析,只需擴(kuò)充C集,其他仍然按以上步驟分析。多層關(guān)聯(lián)規(guī)則(孫景、李峰,2008)有助于發(fā)掘出特定商品與品類之間的潛在關(guān)系。
應(yīng)用示例
設(shè)某運動用品店收集到26位會員的消費記錄。其中性別是1代表男性,0代表女性的虛擬變量,回應(yīng)項中1代表有回應(yīng),0代表沒有回應(yīng)?,F(xiàn)抽取性別、新鮮度、消費頻率和消費金額作Logistic回歸,結(jié)果如表1所示。
由表1可知,消費頻率是影響會員是否做出回應(yīng)的重要因子,消費頻率越高,回應(yīng)的可能性越大。因此,應(yīng)該按此思路設(shè)計營銷手段,爭取顧客多次回頭,如積分升級計劃,每周(月)的優(yōu)惠活動等,務(wù)求通過增加顧客的消費頻率提高銷售收入。
提取新鮮度、消費頻率和消費金額三個變量項作直接聚類分析,在置信度為90%的條件下,獲得表2。
以消費頻率和消費金額為主要劃分標(biāo)準(zhǔn),把26位會員分成普通組和重點組。普通組成員的特征是消費頻率較低,消費金額較小,因此營銷的主要目的是增加此組人群對企業(yè)的好感以及依賴,培養(yǎng)忠誠度,使其轉(zhuǎn)為重點組成員;重點組成員的特征是消費頻率較高,消費金額是普通組的2倍以上。因此,提供最優(yōu)質(zhì)的服務(wù)與適當(dāng)?shù)淖尷麅?yōu)惠是維系此組成員必不可少的手段。
會員生日、學(xué)生假期、重大比賽或者明星活動是有利于運動店啟動事件營銷的契機(jī)。
產(chǎn)品集={球服,籃球,球襪,紀(jì)念品,其他裝備},又收集到如下的會員交易集
U=T
根據(jù)前部分的計算公式,假設(shè)min_Support_1=30%,則A={(球服,籃球),(球服,球襪),(球服,紀(jì)念品),(籃球,其他裝備)},同時生成Z={(球服,籃球,球襪),(球服,籃球,其他裝備),(球服,籃球,紀(jì)念品),(球服,球襪,紀(jì)念品)}。繼續(xù)計算,假設(shè)min_Support_2=20%,則(球服,球襪,紀(jì)念品)加入到A集中。此時A={(球服,籃球),(球服,球襪),(球服,紀(jì)念品),(籃球,其他裝備),(球服,球襪,紀(jì)念品)}。
通過置信度篩選出強關(guān)聯(lián)規(guī)則。假設(shè)min_Confidence_1=60%,保留(球服球襪),(球服紀(jì)念品),(籃球其他裝備),(其他裝備籃球)為強關(guān)聯(lián)規(guī)則。綜上所述,我們發(fā)現(xiàn)了六個可供使用的強關(guān)聯(lián)規(guī)則:A={(球服球襪),(球服紀(jì)念品),(籃球其他裝備),(其他裝備籃球),(球服,球襪紀(jì)念品),(球服,紀(jì)念品球襪)}。
針對這些關(guān)聯(lián)規(guī)則,可以設(shè)計如下營銷手段:球服擺放于顯眼處,球襪擺放在其相近位置,并且可用優(yōu)惠價購買球服與相對應(yīng)的球襪;開發(fā)對應(yīng)球服的紀(jì)念品,如運動手表、背包、水壺及相應(yīng)隊伍的明星人物模型等;籃球與其他裝備打包搭配銷售。
討論與結(jié)語
針對各個企業(yè)的特殊性,在本解決方案基礎(chǔ)上應(yīng)相應(yīng)增加原始數(shù)據(jù)庫的資料,以確保企業(yè)可以掌握足夠多的信息進(jìn)行數(shù)據(jù)挖掘。同時要及時做事后測評和總結(jié),不斷累積應(yīng)用數(shù)據(jù)挖掘技術(shù)的經(jīng)驗。此外,必須結(jié)合過往經(jīng)營活動的經(jīng)驗,以篩選不合理的挖掘結(jié)果。最后,在企業(yè)有一定條件時,應(yīng)該增加本系統(tǒng)的挖掘功能,通過建立更多不同種類的數(shù)學(xué)模型來更深入了解顧客群的情況。
本文從現(xiàn)實的可行性出發(fā),提出了一套基于會員制的數(shù)據(jù)挖掘系統(tǒng)解決方案,希望能有助于中小企業(yè)合理地運用會員制進(jìn)行數(shù)據(jù)挖掘。本方案以四種數(shù)據(jù)挖掘技術(shù)為核心,通過對四個基本問題的解答獲取有效的數(shù)據(jù)挖掘信息,設(shè)計有針對性的營銷手段,從而切實地提升企業(yè)的營銷水平。
參考文獻(xiàn):
1.羅茂初等.數(shù)據(jù)庫營銷[M].經(jīng)濟(jì)管理出版社,2007
2.辛愛莉,衣龍海,張林.聚類算法在電子商務(wù)客戶細(xì)分中的應(yīng)用[J].商場現(xiàn)代化,2008(530)