編者按:生態環境部部長黃潤秋指出“良好的生態環境是最普惠的民生福祉”。生態環境好不好,關鍵還是要看質量,看百姓對藍天白云、清水綠岸的滿意度和獲得感。通過大數據、人工智能等先進技術,可深入挖掘公眾對生態環境的滿意度,保障公眾環境保護知情權、參與權、表達權和監督權。
針對當前公眾環境滿意度與環境質量的關聯分析需求,百分點數據科學實驗室基于機器學習、文本分析等建模技術,從環境質量公眾感受評價、敏感變化關聯分析、生態環境質量改善成效評估三個角度進行了深入分析,為加強生態環境公眾參與、提高生態環境管理決策能力提供技術支撐。
一、項目背景
近年來,環境污染事件對社會經濟可持續發展和公眾個人的生活產生的影響一直存在,而公眾的環境意識也在不斷提升。生態環境保護既需要政府治理,也需要公眾參與,從公眾實際感受和反饋中提取意見有助于改進和提高環境治理能力。
目前,環保部門僅通過環境監測設備對能夠影響環境質量的一些因素進行測定,利用得到的具體數值,來評價環境質量(或污染程度) 及其變化的趨勢,缺少了公眾參與。
為提升生態環境保護公眾參與程度,提高生態環境管理決策能力,重點關注生態環境質量與公眾感受“兩張皮”現象,2021年5月,百分點科技通過環境質量監測大數據,結合在線問卷調查及互聯網輿情數據,形成大小數據融合,分析公眾環境空氣質量滿意度、改善成效、政府治理措施等情況,為加強生態環境公眾參與、提高生態環境管理決策能力提供技術支撐。
二、解決方案
1. 模型數據
(1)生態環境監測數據
中國環境監測總站(以下簡稱總站)提供的2020-2021年至今環境空氣質量監測數據,監測指標包括PM2.5、PM10、SO2、NO2、CO、O3等,共5000+個環境空氣質量監測站點。
(2)在線問卷調查數據
樣本來自全國400萬在線調研樣本庫隨機抽樣,面向全國339個地級以上城市,問卷調查結果共收集31個省的317個城市10,500個樣本,在對象選取上考慮了年齡性別、教育水平、行業職業等因素,盡量保證受訪對象的隨機性、均勻性。
(3)網絡輿情數據
本次研究選取2021年5月的網絡輿情數據,包括各地生態環境主管部門官網、中國環境報、中國環境新聞網和微博等主流媒體網站數據。研究重點覆蓋26個關鍵詞,包括7個空氣相關關鍵詞、8個水相關關鍵詞、7個改善措施相關關鍵詞和4個其他關鍵詞,涉及微博1,309,188條、相關新聞網站15,026條數據。
2. 模型選擇
通過環境監測數據與在線問卷調查數據、主流媒體相關輿情數據進行對比分析,利用文本分析技術分析挖掘公眾感受與環境空氣質量監測結果存在偏差的原因,分析公眾不同時期對環保關注的重點、環境關注的熱詞、環境狀況的情感。
文本分析是指對文本的表示及其特征項的選取,它把從文本中抽取出的特征詞進行量化來表示文本信息,文本分類的流程:文本預處理、特征提取、文本表示和分類器。
文本預處理:
(1)分詞
分詞就是將連續的字序列按照一定的規范重新組合成詞序列的過程。
“結巴”(jieba)分詞是Python語言的一個中文分詞包,它有如下三種模式:精確模式,試圖將句子最精確地切開,適合文本分析;全模式,把句子中所有的可以成詞的詞語都掃描出來, 速度非常快,但是不能解決歧義;搜索引擎模式,在精確模式的基礎上,對長詞再次切分,提高召回率,適合用于搜索引擎分詞。
LTP是哈工大開源的一套中文語言處理系統,提供包括中文分詞、詞性標注、命名實體識別、依存句法分析、語義角色標注等豐富、高效、精準的自然語言處理技術。LTP 已經成為國內外最具影響力的中文處理基礎平臺。
(2)去除停用詞
停用詞是指在信息檢索中,為節省存儲空間和提高搜索效率,在處理自然語言數據(或文本)之前或之后會自動過濾掉某些字或詞,這些字或詞即被稱為停用詞。停用詞主要包括一些副詞、形容詞及其一些連接詞。通過維護一個停用詞表,實際上是一個特征提取的過程,本質上是特征選擇的一部分。
特征提取:
a. 詞袋模型
建立一個詞典庫,該詞典庫包含訓練語料庫的所有詞語,每個詞語對應一個唯一識別的編號,利用One-Hot文本表示。文檔的詞向量維度與單詞向量的維度相同,每個位置的值是對應位置詞語在文檔中出現的次數,即詞袋模型。通過Scikit-learn的CountVectorizer類來完成,這個類可以幫我們完成文本的詞頻統計與向量化。
CountVectorizer特征提取
b. TF-IDF文本特征提取
利用TF和IDF兩個參數來表示詞語在文本中的重要程度。TF指的是一個詞語在一個文檔中出現的頻率,一般情況下,每一個文檔中出現的詞語的次數越多詞語的重要性更大,IDF是體現詞語在文檔間的重要性。即如果某個詞語出現在極少數的文檔中,說明該詞語對于文檔的區別性強,對應的特征值高,IDF值高。
當計算出TF和IDF值后,兩數相乘即為TF-IDF:某詞的TF-IDF值越高,說明其在這篇文章中的重要性越高,越有可能是文章的關鍵詞。
TF-IDF文本特征提取
(3)建模分析
利用先構建好的情感詞典,對預處理好的文本進行字符串匹配,從而挖掘正面和負面信息。情感詞典包含正面詞語詞典、負面詞語詞典、否定詞語詞典、程度副詞詞典等四部分。情感詞典在整個情感分析中至關重要,所幸現在有很多開源的情感詞典,如BosonNLP情感詞典,它是基于微博、新聞、論壇等數據來源構建的情感詞典,以及知網情感詞典等。
逐個遍歷分詞后的語句中的詞語,如果詞語命中詞典,則進行相應權重的處理。正面詞權重為加法,負面詞權重為減法,否定詞權重取相反數,程度副詞權重則和它修飾的詞語權重相乘。利用最終輸出的權重值,就可以區分是正面、負面還是中性情感了。
基于情感詞典的文本分類
三、分析思路
1. 公眾環境質量滿意度評價
運用在線問卷調查結果,構建公眾環境質量滿意度評價體系,以空氣為重點、以城市為單位,分析公眾對于目前環境質量滿意度情況,并與環境質量狀況進行對比分析。
2. 敏感變化關聯分析
利用各城市環境監測數據,分析環境監測數據驟升/驟降的開始時間、維持天數及平均變化值,并利用在線問卷調查數據和主流媒體相關輿情數據進行關聯分析,通過挖掘監測數據和公眾感受存在顯著偏差的現象,研判各城市敏感變化的原因。
3. 輿情分析
運用在線問卷調查結果和政府官網、主流媒體相關輿情信息,以空氣為重點、以城市為單位,分析公眾環保關注的重點領域,通過輿情數據收集環境不滿意的原因,提出針對性的改善建議。
四、成果展示
1. 社會公眾感受評價總體概覽
在本次全國范圍公眾滿意度調查問卷中,近九成受訪者對環境空氣質量感到滿意。通過區域及省市層面對比發現,公眾感受與環境監測結果基本保持一致。
2. 敏感變化分析
針對各地市AQI敏感變化,將該區域群眾的反饋信息及網絡輿情信息進行關聯,就可以分析敏感變化原因。比如,對全國339個城市當月AQI進行分析,采集來自中國環境報、中國環境新聞網、微博的新聞,篩選出有關生態環境的新聞,并對應上述AQI驟升的城市,就可以從新聞報道中發現部分地區AQI敏感變化的原因與影響公眾感受的霧霾,沙塵有關。
3. 輿情分析助力政府環保措施完善
選取各地生態環境主管部門官網及中國環境報、中國環境新聞網、微博等主流媒體網站,采集了與環保相關數據,對數據進行處理分析后從中得到的主要關鍵詞云如下:
輿情采集關鍵詞的詞云圖
從上圖可以看出,當月公眾對環保比較關注的點為:霧霾、沙塵、惡臭、噪聲、水污染等。生態環境主管部門可從公眾關注的方向入手,解決環保工作中較為突出的問題,由此來提高公眾的環保滿意度。
案例分析
空氣質量:A市5月份AQI在全國339個城市中排名305位,盡管排名靠后,但是和3月相比,在全國改善排名中上升至第13位,空氣質量有較為突出的改善。
滿意度得到提升:A市5月份公眾環境空氣質量滿意度77.8分,全國排名285名,3月份滿意度76.6分,全國排名310名,5月比3月提升1.2分,上升25名。
新聞輿情:5月份A市生態環境局對市各區揚塵污染問題進行檢查,并對12起典型揚塵問題予以公開曝光。
五、研究和現實意義
近些年政府環保投入和治理力度不斷增強,生態環境改善取得了明顯成效。然而政府環保監測數據不足以全面反映環境質量問題,需通過問卷、輿情數據挖掘監測數據無法體現的問題。
與此同時,問卷及輿情數據也包含公眾對當地政府環境治理成果的評價,充分利用好問卷及輿情數據去了解公眾對環境的滿意度,能夠更好地捕捉他們的感受、需求、期待。
從公眾的角度反映環保工作的重點和難點,以及主要影響因素,為環境監測工作提供數據支撐、為生態文明建設提供決策依據,具有重要的理論和現實意義。
六、未來研究方向
未來可以通過融合企業用電數據、污染源數據、交通數據等更多維度的數據,進一步提升環境治理水平、改善環境質量、提高公眾滿意度。
(1)建立常態化環境與輿情關聯機制
探索建立業務化機制,及時發現環境治理工作落實滯后、治理效果不到位等問題,并發出預警信號;直觀體現地方環境治理工作成效,并進一步加強環境治理經驗宣傳和推廣。建立生態環境質量公眾滿意調查問卷定期更新機制,圍繞生態環境重大政策行動設置專題,堅持小切口,不搞大而全,切實反映環境管理關心的問題與信息。
(2)建立環境質量輿情應對機制
加強環保政策的正面宣傳和公眾輿情的正面引導。收集公眾意見反饋、個人訴求等,定期總結、及時反應,提高政府服務質量。當產生階段性環境治理成果等正面輿情時,及時展開環保政策宣傳、科普活動;當發現公眾感受與環境質量出現長期異常偏離的現象,將開展專項調查,及時查找問題,避免對政府形象造成負面影響。
