|
|
|
| 發布者： 發布時間：2025-3-18 閱讀：82次 |
數據集是一組相關數據的集合，通常以結構化形式（如表格、數據庫）或非結構化形式（如文本、圖像、音頻）存在，是數據分析、機器學習和數據挖掘的基礎。而科研數據集是指在科學研究中用于分析、實驗和驗證假設的數據集合，通常經過精心收集、整理和標注，以支持特定研究領域的問題探索和解決。電力數據涉及生產、運行、維護和經營管理等多個領域。構建電力科研數據集為算法研究和模型驗證提供了統一的基準，可支持負荷預測、需求響應優化、分布式能源管理、電力市場分析等相關任務，助力電力領域科學研究。在我國，隨著用能需求的不斷增長以及可再生能源的快速發展，電力系統正面臨前所未有的挑戰。人工智能技術可推動構建新型電力系統，而海量數據是人工智能模型擁有強大能力的關鍵要素。依靠人工智能技術開展模擬、訓練、推演和驗證等工作，需要大量完整、真實的數據集來檢驗方法和模型的有效性。2024年12月，國家數據局等部門印發的《關于促進企業數據資源開發利用的意見》提出，支持企業面向人工智能發展，開發高質量數據集。在科研、制造、農業、能源、交通、金融、通信、廣電、醫療、教育、商貿流通、文化旅游等重點行業領域，打造一批示范帶動性強的人工智能創新應用，深化“人工智能+”應用賦能千行百業。電力科研數據集應具備高質量、多維度和高時效性等特性，能夠覆蓋輸電、變電、配電及調度等多個領域，并確保數據的全面性和可用性。同時，電力科研數據集應支持多種應用場景，如模型開發、系統優化、故障診斷、仿真模擬和應用評測等，還需具備動態更新、標準化管理、跨平臺兼容及隱私保護等功能，以確保數據的時效性、安全性和復用性。結合我國電力行業發展實際情況，借鑒國外電力科研數據集構建經驗，本文認為國內電力科研數據集構建存在以下需求：高效的多源數據融合與數據治理體系。電力科研數據源自多個領域，且數據形式多樣。不同來源的數據維度不統一，跨源數據之間語義不一致，增加了數據融合的難度。數據治理缺乏標準化流程，數據清洗、標注、增廣等操作不統一，導致數據集治理周期長、效率低，影響數據有效集成與分析。因此，需要開展數據融合，構建完善的治理體系。適應快速變化的數據平臺管理機制。科研數據集往往滯后于實際需求。在快速變化的實驗環境中，如果數據集缺乏動態更新機制，就難以及時反映最新的實驗條件和設備狀態，影響模型訓練和實驗分析的效果。鑒于以上情況，需要及時更新數據集，并構建多層級數據管理機制與版本控制機制，以滿足電力科研實驗按數據粒度提取樣本、回溯問題版本的需求。安全可控與高效復用的數據統一管理機制。科研數據集通常由不同的研究團隊獨立構建。在分散式的管理模式下，每個數據集的構建標準、數據格式、采集頻率、數據質量控制等方面的差異較大，導致數據整合和復用困難。因此，需要開展數據統一管理，構建數據安全共享和快速復用機制。可覆蓋電力行業各類場景的稀缺數據采集方式。某些關鍵工況或極端條件下的稀缺數據在電力科研實驗過程中難以獲得，且受氣候、地理、設備狀態等因素影響，這些數據的質量和完整性參差不齊。此類數據的缺少將影響在特殊場景下對模型的評估，并影響模型的應用效果。所以，需要拓展稀缺數據采集方式，快速歸集電力行業全場景科研數據，為電力科研打好數據基礎。從數據融合、更新、共享等方面提升科研數據集構建能力針對現階段我國電力科研對數據集的需求，建議通過探索多源數據融合方法、建立動態更新機制、構建統一數據共享平臺、利用仿真技術與實驗模擬彌補稀缺數據等方式提升科研數據集構建能力。在多源數據融合和數據治理體系方面，建議建立統一的數據治理框架并推行標準化的數據清洗與預處理流程。針對電力科研數據的多樣性，制訂統一的數據格式和數據結構規范，使不同來源的數據能夠無縫對接和集成。建立跨團隊的數據治理協作機制，確保數據標注、清洗、增廣等操作規范化、標準化，提高數據處理的效率和一致性。建立基于元數據的管理系統，使各個環節的數據處理流程透明化和可追溯，提升數據的質量和可靠性。在數據更新和數據平臺管理方面，建立自動化的數據更新系統，依據設備狀態變化、實驗進程等動態因素，自動采集并上傳最新的數據，確保數據集反映現實情況。設計基于云平臺的多層級數據管理體系，按照數據的不同粒度進行管理，實現數據集的分層存儲和按需提取。建立數據版本控制機制，記錄和管理每次數據更新的歷史，以便科研人員根據實際需要提取最合適的數據集，建立數據異常時的回滾及容災機制。在數據共享與復用方面，建立統一的數據共享平臺管理科研數據集，推動跨領域、跨團隊的數據協作。依托數據共享平臺，科研人員可獲取各類電力科研數據。同時，數據共享平臺應引入嚴格的權限控制機制，對用戶進行訪問控制，確保特殊數據的隱私性與安全性。在稀缺數據采集方面，通過加強仿真數據生成與實驗模擬來彌補現實數據的不足。可利用高性能計算和物理模型，結合氣候、地理等因素開展多場景、多工況的仿真實驗，生成極端條件下的稀缺數據。探索與設備供應商、氣象機構等合作，推動現場數據的采集與共享。采用數據增強技術，將已有數據生成不同的變種，進一步擴展數據覆蓋范圍，確保模型訓練的全面性和準確性。
本文來源：國家電網報；作者單位：國家電網有限公司大數據中心；作者：陳振宇，杜建光，楊詩語 |
|
|
|
|
