利用pandas輕松處理txt文件數據
在數據分析和處理中，常遇到從txt文件讀入的數據需要進行處理的情況。比如數據格式混亂，需要清洗；某些列無效，需要刪除；某些列需要轉換類型等。這些工作可能帶來很大的工作量和時間花費，但是我們可以通過pandas這個Python庫來輕松地完成這些操作。
本文將結合代碼示例，教你如何使用pandas處理txt文件數據。
- 引入pandas庫
在使用pandas庫前，我們需要先引入它。在Python腳本中，一般約定將pandas庫重命名為pd，方便后續調用。
import pandas as pd
登錄后復制
- 讀取txt文件
首先，我們需要讀取txt文件中的數據。在pandas中，我們使用pd.read_csv()函數來讀入數據。雖然函數名中包含了csv，但是該函數同樣適用于讀入txt文件。
data = pd.read_csv('data.txt', sep=' ', header=None)
登錄后復制
該函數參數解釋如下：
‘data.txt’: 表示我們需要讀取的txt文件的路徑和文件名。sep: 表示數據分隔符，此處使用’ ‘表示數據之間由tab隔開，也可以換成其他符號。header: 表示文件中是否包含列名，若不包含則設置為None。
讀入數據后，我們可以通過打印輸出data來查看數據的內容和形式。
print(data)
登錄后復制
輸出結果：
0 1 2 0 A 123 1.0 1 B 321 2.0 2 C 231 NaN 3 D 213 4.0 4 E 132 3.0
登錄后復制
可以看出，讀入的數據已經以DataFrame的形式存儲在了data中。
- 清洗數據
讀入的數據可能存在很多格式不規范或錯誤的地方，需要我們進行數據清洗。比如，有些行或列中可能存在缺失值，我們需要將其填充或刪除；有些列的數據類型可能不符合我們的需求，我們需要將其轉換為數值或字符串類型等。
a. 刪除含有缺失值的行
我們可以使用dropna()函數來刪除含有缺失值的行。
data_clean = data.dropna()
登錄后復制
該函數會刪除數據中任意含有缺失值的行，返回只有完整數據的DataFrame。
b. 填充缺失值
如果不能刪除含有缺失值的行，我們可以選擇填充這些缺失值。使用fillna()函數即可。
data_fill = data.fillna(0)
登錄后復制
該函數將缺失值填充為0，如果想以其他值進行填充，可以在括號內傳入相應的值。
c. 轉換數據類型
在數據分析中，需要將某些數據類型轉換為數值型或字符型以便后續計算或處理。在pandas中，可以使用astype()函數進行類型轉換。
data_conversion = data_clean.astype({'1': 'int', '2': 'str'})
登錄后復制
該函數可以將data_clean中第1列的類型轉換為整型（int），第2列的類型轉換為字符串型（str）。
- 保存新數據
最后，我們需要將經過清洗和處理后的數據保存到新的txt文件中。在pandas中，我們可以使用to_csv()函數來實現。
data_clean.to_csv('data_clean.txt', index=False, header=False, sep=' ')
登錄后復制
該函數參數解釋如下：
‘data_clean.txt’: 表示保存文件的路徑和文件名。index: 表示是否保留行索引，此處選擇False不保留。header: 表示文件中是否包含列名，此處選擇False不包含。sep: 表示分隔符，此處使用’ ‘表示以tab作為分隔符。
代碼示例
下面是完整的代碼示例，你可以將其復制到Python腳本中并運行。
import pandas as pd
# 讀入數據
data = pd.read_csv('data.txt', sep=' ', header=None)
print('原始數據：
', data)
# 刪除含有缺失值的行
data_clean = data.dropna()
print('處理后數據（刪除缺失值）：
', data_clean)
# 填充缺失值
data_fill = data.fillna(0)
print('處理后數據（填充缺失值）：
', data_fill)
# 轉換數據類型
data_conversion = data_clean.astype({'1': 'int', '2': 'str'})
print('處理后數據（類型轉換）：
', data_conversion)
# 保存新數據
data_clean.to_csv('data_clean.txt', index=False, header=False, sep=' ')
登錄后復制
本文介紹了如何使用pandas輕松處理txt文件數據，包括讀取、清洗、轉換和保存數據。pandas作為Python中重要的數據處理工具之一，可以幫助我們更加高效地完成數據挖掘和分析任務。
