DQZHAN技術訊：智能配用電大數據關鍵技術研究概述
隨著智能電網的建設，積累了大量的配用電數據，對大數據技術也產生強烈的需求。智能配用電大數據應用關鍵技術具體包括：配用電網大數據體系架構及共性基礎技術;用戶用電負荷數據存儲分析與修正技術;用電預測等智能配用電業務應用大數據分析技術;智能配用電大數據示范應用方案設計。
0.引言
近年來，大數據(big data)技術得到了各國政府和全球學術界、工業界的高度關注和重視，在各行業領域的應用迅猛發展。2012年3月，美國政府發布了“大數據研究發展**計劃”，我國政府、學術界和工業界對大數據也予以了高度關注。就電力行業而言，近年來數據資源開始急劇增長并形成了一定的規模，對大數據技術也產生強烈的需求。具體表現為數據量由TB級向PB級發展，數據高性能存儲和高可擴展性面臨挑戰;業務向智能化、精益化方向發展，對復雜數據處理和實時性提出更高要求;跨業務、跨平臺的數據處理和分析能力需要進一步提升。
配用電網大數據體系架構方面，大數據軟件體系結構可分為數據采集與預處理、數據存儲和管理、數據分析和挖掘等幾個方面。在大數據存儲和管理方面，當前普遍采用的是分布式文件系統和分布式數據庫。由于大數據處理的多樣性和復雜性，學術界和工業界不斷研究和推出新的大數據計算模式和平臺;重要的發展趨勢包括Hadoop平臺與其他計算模式的融合、多樣性混合計算模式、基于內存的大數據處理技術。可視化是大數據分析的重要手段，同時大數據也對可視化技術提出了新的挑戰。實際應用中存在大量高速時序數據，而且這些數據的維度都很高，如何對這樣的數據進行可視化還沒有得到很好的解決，也是亟需研究的問題。
用戶用電負荷數據的存儲處理方面，用電負荷數據存在著多種形態、頻度，如何構建合理的存儲結構以滿足用電負荷數據的需求，已成為新的研究熱點。當前，存儲、索引的統籌設計也是適應海量高維時序數據的方向之一。另外，用電負荷數據通常可以從不同層面進行聚類：時間層面上，針對不同時間范疇的負荷序列進行聚類;用戶層面上，對不同用戶的用電負荷數據和其他信息聚類，實現用戶群體的劃分。關聯分析是在聚類等手段的基礎上分析信息內在關聯的手段。特別是對用電負荷大數據如何結合具體業務進行聚類和關聯分析還亟待研究。
本文研究智能配用電大數據應用關鍵技術，具體包括：①配用電網大數據體系架構及共性基礎技術;②用戶用電負荷數據存儲分析與修正技術;③用電預測等智能配用電業務應用大數據分析技術;④智能配用電大數據示范應用方案設計。
1.技術現狀
1.1智能配用電業務分析的國內外研究現狀
近年來，智能配用電得到了重點關注和快速發展，其資源優化配置能力強，運行穩定高效，適應新能源的發展。
1)節電方面，國內外學術界對配用電的節電分析主要從配電和用電兩個方面開展了研究。在配電側，主要研究通過無功優化、*優潮流、網絡重構、分布式電源接入等方法降低配電網絡損耗達到節電目的。
2)用電預測方面，國內外研究主要集中在預測數據預處理、影響因素屬性約簡、構建用電預測模型等方面。如采用基于粗糙集理論的屬性約簡算法，能夠挖掘出與待預測用戶相關性大的屬性作為預測模型的輸入量。
3)配用電網架優化方面，國內外對配電網網架優化或規劃問題已有較多研究，也開始在配電網優化中考慮分布式供電的影響，模型求解多采用數學規劃法、啟發式算法、智能優化算法等。
4)錯峰調度方面，文獻分析了“錯峰用電”的地位和作用，闡述了“錯峰用電”對提高供電質量、減少線路損耗、增加設備的輸送能力和延長設備的使用壽命等都具有重要的現實意義和應用價值。
1.2智能配用電大數據應用的國內外研究現狀
智能電網的目標是建設覆蓋電力系統生產全過程的實時系統，而對這個系統提供**性、可靠性、堅強性支撐的則是電網的全景、實時數據，以及對這些數據的快速分析和對分析結果的應用。因此在本質上，智能電網是大數據在電力上的應用。
2012年IBM公司提出，電力能源由單向的電力流動擴展到電力與數據信息的多向流動，這將為傳統的電力行業價值鏈帶來突破性的變化。世界各地的電力公司也陸續開展了電力數據應用實踐。例如美國SGD&E為客戶提供一個可選的“空調負荷循環項目”，通過這個項目顧客可以讓電力公司在用電高峰期替他們管理空調。美國加州大學洛杉磯分校的研究者根據大數據理論，將人口調查信息、電力企業提供的用戶實時用電信息和地理、氣象等信息全部整合，設計了一款“電力地圖”。國內各界也已積極投入電力大數據的應用研究。
2.智能配用電大數據總體框架
配用電大數據應用系統總體架構分數據資源、數據處理、公共服務、業務應用4個層次，見圖1。數據資源層為數據處理提供數據源輸入，數據處理層為公共服務層提供數據及計算服務功能，公共服務層為業務應用層提供業務應用的交互操作。
圖1 智能配用電大數據應用總體架構圖
數據資源層主要實現從歷史、實時數據中心或相關業務系統獲取電網內外部數據，如配電自動化系統、用電信息采集系統等內部數據，氣象信息等外部數據。
數據處理層采用混合型的大數據存儲和處理架構實現對多源異構配用電大數據的多樣性存儲和處理功能。混合存儲可適應分布式文件系統、列式數據庫、內存數據庫等多種數據存儲和管理形式，以滿足不同應用的需求;處理架構分別面向離線分析、實時計算、計算密集型數據分析等場景采用分布式批處理、內存計算、高性能計算等技術實現。
公共服務層實現應用系統的基礎功能，如數據模型管理、業務流程控制、服務總線、業務權限管理等功能。在公共服務層和數據處理層之間采用支持高并發、低延時事務操作的分布式內存數據緩存技術，降低業務應用操作與數據處理層之間的耦合性，提高應用服務響應效率。
業務應用層構建節電、用電預測、網架優化、錯峰調度4項業務，實現配用電大數據應用系統的典型業務功能。采用模塊化軟件設計方法實現4個模塊功能的即插即用，并在充分考慮模塊之間的信息聯絡及功能聯合的基礎上，遵循規范的接口，實現模塊之間的功能融合，從而實現4個業務模塊之間既可獨立運行，又可協作互補。
3.智能配用電大數據關鍵技術
目前，國內外對智能配用電大數據的研究大部分處在研究和探索階段，隨著研究的深入和技術的發展，對智能配用電關鍵技術的研究將著重從以下方面進行。
3.1智能配用電大數據體系架構及數據集成技術
智能配用電大數據體系架構及數據集成技術研究包括3個方面：配用電大數據體系架構、多源異構配用電數據集成及存儲處理技術、大數據可視化技術，智能配用電大數據體系架構及數據集成技術圖見圖2。
圖2 智能配用電大數據體系架構及數據集成技術圖
3.1.1 配用電大數據體系架構
配用電大數據體系架構包括硬件架構、評估方法、技術標準和**體系。具體包括：①分布式大數據采集、存儲和處理硬件體系架構的集群節點規模、硬件優化配置、網絡拓撲結構及系統可靠性和可擴展性;②面向數據密集型配用電大數據應用的批處理、圖計算和內存計算架構;③面向計算密集型配用電大數據應用的高性能計算架構;④配用電大數據體系結構評估方法;⑤配用電大數據元數據、數據交換等技術標準規范;⑥配用電大數據訪問認證、數據存儲和隱私加密等**技術。
3.1.2 多源異構配用電數據集成及存儲處理技術
多源異構配用電數據集成及存儲處理技術包括多源數據特性、信息模型、融合方法和標準。具體包括：①對電網企業內部的配電自動化、用電信息采集系統、負荷控制系統等和外部的氣象、社會經濟等多源數據特性進行分析;②抽象和構建智能配用電大數據環境下包含結構化、非結構化數據的信息模型;③建立智能配用電多業務數據融合方法和信息交換標準，實現智能配用電跨平臺數據的遷移與信息交換。
3.1.3 大數據可視化技術
大數據可視化技術包括可視化信息模型構建及信息壓縮、動態高維數據的可視化。具體包括：①配用電數據可視化基礎信息模型、數據映射方式和信息交換;②兼顧節點關系的清晰表達和大容量節點的展示需求的超大圖布局方法;③歷史數據、實時數據以及未來規劃數據的動態展示及降維分析。
3.2用戶用電負荷數據存儲分析與修正技術
用戶用電負荷數據存儲分析與修正技術內容包括2個方面：用電負荷數據存儲分析技術、用戶用電負荷數據分析與修正技術。用電大數據存儲分析圖見圖3。
圖3 用電大數據存儲分析圖
3.2.1 用電負荷數據存儲分析技術
用電負荷數據存儲分析技術包括數據索引、高效存儲。具體包括：①負荷均衡的高維時序數據分布式索引;②針對用戶用電負荷數據不同維度剖面特征的多級索引;③面向配用電網多源數據的行列融合的索引機制;④基于列存儲的用戶用電負荷時間序列數據的存儲模型;⑤基于分布式文件系統的多結構用電負荷數據的存儲模型;⑥支持大規模時序數據的數據壓縮存儲及支持用戶用電負荷數據分析的高效行列混合存儲技術。
3.2.2 用戶用電負荷數據分析與修正技術
用戶用電負荷數據分析與修正技術包括大數據的清洗與修正、聚類分析、關聯與演化分析。具體包括：①基于時間序列分析的卡爾曼濾波用電負荷數據修正方法;②基于用戶用電數據關聯性的分布式海量數據清洗、修正算法;③基于用電負荷數據時序性的并行聚類算法，結合異構數據源的協同聚類分析方法;④面向用電負荷數據的多源用戶關聯分析方法;⑤基于分布式計算框架的分布式關聯規則挖掘算法;⑥基于社會公共信息分析的用電用戶關聯挖掘算法。
3.3 智能配用電典型業務大數據分析技術
智能配用電典型業務大數據分析技術研究內容包括4個方面內容：節電技術、用電預測技術、配用電網架優化技術、錯峰調度技術。智能配用電大數據分析圖見圖4。
3.3.1 節電技術
基于智能配用電大數據的節電技術包括典型電力用戶用電特性聚類分析、電價、激勵機制、用戶用電行為、環境感知等多因素用戶節電關聯分析方法。具體包括：①典型電力用戶用電特性局部敏感性相似分析技術;②綜合考慮用戶社會經濟、氣候等因素對電力用戶用電特性的影響并研究量化不同因素對電力用戶用電特性的關聯度;③智能配電網中分布式電源的配置和運行策略對電力用戶用電特性的關聯度;④計及電價、激勵機制、用戶行為、環境感知等因素的用戶用電數據分析模型;⑤與大數據分析相結合的多因素用戶節電關聯分析方法;⑥面向用戶用電、網架結構特性的配電網節電降損分析方法。
3.3.2 用電預測技術
基于智能配用電大數據的用電預測技術包括用電預測影響因素識別方法、多類型用電預測模型。具體包括：①分布式電源、電動汽車充換(放)電等的用戶個體、群體多時態數據的量值特征及規范化方法;②基于用戶用電歷史數據挖掘的用電預測模型與參數影響因素;③用電預測模型、參數與用戶用電行為特征、用戶社會經濟特征等諸多因素的關聯性;④用戶用電預測關鍵因素關聯度矩陣構建方法;研究用電預測關鍵因素關聯度的屬性約簡方法;⑤面向多類型用戶的短期和中長期參數自校正時間序列用電預測模型;⑥基于用戶多種聚類方法的用戶群體短期和中長期參數自校正時間序列用電預測模型。
3.3.3 配用電網架優化技術
基于智能配用電大數據的配用電網架優化技術包括數據并行聚類及關聯分析、可行網架集構建方法。具體包括：①設備負荷率等參數和用戶用電規律的并行聚類及關聯分析方法;②負荷密度及負荷變化趨勢與網架結構的關聯分析方法;③研究網架結構與供電可靠性和線路功率損耗等的并行聚類及關聯分析方法;④與智能配用電網架構建相關的分層分類數據關聯模型;⑤融合社會經濟發展趨勢、城鎮規劃與建設、分布式電源和電動汽車充電站接入，以及基于大數據的用電預測和用戶用電特征挖掘等多個方面的基于分層分類數據關聯模型生成可行網架集的方法。
3.3.4 錯峰調度技術
基于智能配用電大數據的錯峰調度技術包括聚類分析技術、自動分配算法。具體包括：①配用電錯峰調度資源多源數據融合規則和方法;②滿足配用電**性、經濟性及用戶多樣化用電需求的用戶用電特性等多因素的錯峰資源大數據層次化聚類分析方法;③考慮經濟性和**性等約束邊界，構造配用電側可調度錯峰資源分配指標權重系數矩陣;④綜合配電、用電和社會經濟等多維可調度資源，建立配用電側錯峰指標分配體系和遞階層次模型。
3.4智能配用電大數據示范應用方案設計
在示范工程建設與實施上，結合上海浦東新區配用電業務的具體需求，兼顧工程建設的經濟成本的考慮，配置適應配用電業務發展要求的、滿足研究性能要求的包含高性能計算機、中低端服務器混合配置的配用電大數據應用系統硬件;在軟件配置上，構建大數據統一數據處理平臺，構建包含并行計算、高速檢索、處理結果緩存等組件的大數據軟件處理環境，為多源異構數據的高速處理提供支撐。在充分考慮信息**要求的基礎上，通過國網上海市電力公司已有的海量歷史/準實時綜合數據平臺，按照電力系統“專網專用、**分區、橫向隔離、縱向加密”的**防護要求通過**III區接入能量管理系統、配用電自動化系統、電能質量監測系統、生產管理系統、用電信息采集系統、營銷應用系統、客戶服務系統7個電力行業內的信息系統，實現對配電和用電的實時數據、業務數據的**接入;遵循國家信息**防護的規定接入氣象信息系統、社會經濟數據2個電力行業外數據，共接入包含電力行業內和行業外的9個信息系統，為大數據配用電應用系統提供多源可靠的綜合數據。在基于大數據技術的信息融合與數據挖掘的基礎上，部署節電、用電預測、網架優化、錯峰調度等**應用，實現基于大數據技術的智能配用電應用深化與性能提升，推動上海市智能配用電業務的綜合智能化、精益化發展。
4.結語
智能配用電大數據是充分發掘智能電網價值的重要方面，而且是一個在國內外都剛剛起步，具有很大研究空間的領域。主要結論為：
1)提出了配用電體系架構，設計先進適用架構，解決多源異構配用電數據的多源集成、統一存儲、高效處理的難題。
2)詳細分析了智能配用電大數據典型業務場景和關鍵技術，提出了大規模配用電數據存儲、處理、修正及應用解決方法。
3)設計智能配用電大數據應用方案，為示范工程建設提供支撐。
