Pandas去重方法簡介：學(xué)會使用這些技巧，讓數(shù)據(jù)更干凈，需要具體代碼示例

概述：
在數(shù)據(jù)分析和處理中，我們經(jīng)常會遇到需要處理重復(fù)數(shù)據(jù)的情況。重復(fù)數(shù)據(jù)的存在可能會導(dǎo)致分析結(jié)果的偏倚，因此去重是一個非常重要且基礎(chǔ)的數(shù)據(jù)處理操作。Pandas提供了多種去重方法，本文將簡要介紹其中常用的技巧，并提供一些具體的代碼示例。

方法一：drop_duplicates()
Pandas的drop_duplicates()方法是最常用的去重方法之一。它可以根據(jù)指定的列來刪除數(shù)據(jù)中的重復(fù)行。默認(rèn)情況下，該方法會保留第一次出現(xiàn)的重復(fù)值，而將后續(xù)出現(xiàn)的重復(fù)值刪除。以下是一個代碼示例：

import pandas as pd

創(chuàng)建一個包含重復(fù)數(shù)據(jù)的DataFrame

data = {‘A’: [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}

登錄后復(fù)制登錄后復(fù)制登錄后復(fù)制

df = pd.DataFrame(data)

使用drop_duplicates()方法去除重復(fù)行

df.drop_duplicates(inplace=True)

print(df)

運行以上代碼，將得到一個去除了重復(fù)行的DataFrame。

方法二：duplicated()和~操作符
除了drop_duplicates()方法，我們還可以使用duplicated()方法來判斷每一行是否是重復(fù)行，然后利用~操作符取反來選取非重復(fù)行。以下是一個代碼示例：

import pandas as pd

創(chuàng)建一個包含重復(fù)數(shù)據(jù)的DataFrame

data = {‘A’: [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}

登錄后復(fù)制登錄后復(fù)制登錄后復(fù)制

df = pd.DataFrame(data)

使用duplicated()和~操作符去除重復(fù)行

df = df[~df.duplicated()]

print(df)

運行以上代碼，將得到與前面方法一相同的結(jié)果。

方法三：subset參數(shù)
drop_duplicates()方法還提供了subset參數(shù)，它可以指定一個或多個列來確定重復(fù)行。以下是一個代碼示例：

import pandas as pd

創(chuàng)建一個包含重復(fù)數(shù)據(jù)的DataFrame

data = {‘A’: [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f'],
    'C': ['x', 'y', 'y', 'z', 'z', 'y', 'z']}

登錄后復(fù)制登錄后復(fù)制

df = pd.DataFrame(data)

使用subset參數(shù)去除特定列的重復(fù)行

df.drop_duplicates(subset=[‘A’, ‘B’], inplace=True)

print(df)

運行以上代碼，將得到根據(jù)’A’和’B’列去除重復(fù)行的結(jié)果。

方法四：keep參數(shù)
drop_duplicates()方法的keep參數(shù)可以設(shè)置為’last’，從而保留重復(fù)值中的最后一個。以下是一個代碼示例：

import pandas as pd

創(chuàng)建一個包含重復(fù)數(shù)據(jù)的DataFrame

data = {‘A’: [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}

登錄后復(fù)制登錄后復(fù)制登錄后復(fù)制

df = pd.DataFrame(data)

使用keep參數(shù)保留重復(fù)值的最后一個

df.drop_duplicates(keep=’last’, inplace=True)

print(df)

運行以上代碼，將得到保留重復(fù)值的最后一個的結(jié)果。

方法五：使用主鍵去重
當(dāng)處理包含多個列的DataFrame時，我們可以使用set_index()方法設(shè)置一個或多個列為主鍵，然后使用drop_duplicates()方法去除重復(fù)行。以下是一個代碼示例：

import pandas as pd

創(chuàng)建一個包含重復(fù)數(shù)據(jù)的DataFrame

data = {‘A’: [1, 2, 3, 4, 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f'],
    'C': ['x', 'y', 'y', 'z', 'z', 'y', 'z']}

登錄后復(fù)制登錄后復(fù)制

df = pd.DataFrame(data)

使用set_index()方法設(shè)置’A’和’B’列為主鍵，然后使用drop_duplicates()方法去除重復(fù)行

df.set_index([‘A’, ‘B’], inplace=True)
df = df[~df.index.duplicated()]

print(df)

運行以上代碼，將得到根據(jù)’A’和’B’列去除重復(fù)行的結(jié)果。

總結(jié)：
本文簡要介紹了Pandas中幾種常用的去重方法，包括drop_duplicates()方法、duplicated()和~操作符、subset參數(shù)、keep參數(shù)以及使用主鍵去重的方法。通過學(xué)習(xí)并靈活運用這些技巧，我們可以更加方便地處理重復(fù)數(shù)據(jù)，使數(shù)據(jù)更干凈，為后續(xù)的數(shù)據(jù)分析和處理提供可靠的基礎(chǔ)。希望本文對你在學(xué)習(xí)Pandas的過程中有所幫助。