作者：俊欣
來源：關于數據分析與可視化
大家好，又是新的一周，也是2021年的最后一周，今天小編來和大家說一說怎么從DataFrame數據集中篩選符合指定條件的數據，希望會對讀者朋友有所幫助。
導入數據集和模塊
我們先導入pandas模塊，并且讀取數據，代碼如下
import pandas as pd
df = pd.read_csv("netflix_titles.csv")
df.head()
根據文本內容來篩選
首先我們可以根據文本內容直接來篩選，返回的是True如果文本內容是相匹配的，False如果文本內容是不匹配的，代碼如下
mask = df['type'].isin(['TV Show'])
mask.head()
output
0 False
1 True
2 True
3 True
4 True
Name: type, dtype: bool
然后我們將這個mask作用到整個數據集當中，返回的則是滿足與True條件的數據
df[mask].head()
output
當然我們也可以和.loc方法來相結合，只挑選少數的幾個指定的列名，代碼如下
df.loc[mask, ['title','country','duration']].head()
output
title country duration
1 Blood & Water South Africa 2 Seasons
2 Ganglands NaN 1 Season
3 Jailbirds New Orleans NaN 1 Season
4 Kota Factory India 2 Seasons
5 Midnight Mass NaN 1 Season
當然要是我們所要篩選的文本內容并不僅僅只有1個，就可以這么來操作，代碼如下
mask = df['type'].isin(['Movie','TV Show'])
結果返回的是True，要是文本內容全部都匹配，要是出現一個不匹配的現象則返回的是False
根據關鍵字來篩選
我們可以根據某個關鍵字來篩選數據，數據集當中的listed-in包含的是每部電影的種類，當然很多電影并不只有一個種類，而是同時涉及到很多個種類，例如某一部電影既有“科幻”元素，也有“愛情”元素同時還包含了部分“動作片”的元素。
我們按照某個關鍵字來篩選，例如篩選出包含了“horror”這個關鍵字的影片，代碼如下
mask = df['listed_in'].str.contains('horror', case=False, na=False)
其中的case=False表明的是忽略字母的大小寫問題，na=False表明的是對于缺失值返回的是False，
df[mask].head()
output
而要是文本數據當中包含了一些特殊符號，例如+、^以及=等符號時，我們可以將regex參數設置成False（默認的是True），這樣就不會被當做是正則表達式的符號，代碼如下
df['a'].str.contains('^', regex=False)
#或者是
df['a'].str.contains('^')
根據多個關鍵字來篩選
當關鍵字不僅僅只有一個的時候，就可以這么來操作
pattern = 'horror|stand-up'
mask = df['listed_in'].str.contains(pattern, case=False, na=False)
df[mask].sample(5)
output
我們用了|來表示“或”的意思，將電影類別包含“horror”或者是“stand-up”這兩類的電影篩選出來
除此之外，我們還可以這么來做
mask1 = df['listed_in'].str.contains("horror", case=False)
mask2 = df['listed_in'].str.contains("stand-up", case=False)
df[mask1 | mask2].sample(5)
出來的結果和上述一樣，只不過過程可能稍加繁瑣，除了|表示的是“或”之外，也有表示的是和，也就是&標識符，意味著條件全部都需要滿足即可，例如
mask1 = (df['listed_in'].str.contains('horror', case=False, na=False))
mask2 = (df['type'].isin(['TV Show']))
df[mask1 & mask2].head(3)
output
我們可以添加多個條件在其中，多個條件同時滿足，例如
mask1 = df['rating'].str.contains('tv', case=False, na=False)
mask2 = df['listed_in'].str.contains('tv', case=False, na=False)
mask3 = df['type'].str.contains('tv', case=False, na=False)
df[mask1 & mask2 & mask3].head()
output
正則表達式在pandas篩選數據中的應用
我們同時也可以將正則表達式應用在如下的數據篩選當中，例如str.contains('str1.*str2')代表的是文本數據是否以上面的順序呈現，
pattern = 'states.*mexico'
mask = data['country'].str.contains(pattern, case=False, na=False)
data[mask].head()
output
其中.*在正則表達式當中表示匹配除換行符之外的所有字符，我們需要篩選出來包含states以及mexico結尾的文本數據，我們再來看下面的例子
pattern = 'states.*mexico|mexico.*states'
mask = data['country'].str.contains(pattern, case=False, na=False)
data[mask].head()
output
我們篩選出來的文本數據滿足兩個條件當中的一個即可
lambda方法來篩選文本數據中的應用
有一些篩選數據的方式可能稍顯復雜，因此需要lambda方法的介入，例如
cols_to_check = ['rating','listed_in','type']
pattern = 'tv'
mask = data[cols_to_check].Apply(
lambda col:col.str.contains(
pattern, na=False, case=False)).all(axis=1)
我們需要在rating、listed_in以及type這三列當中篩選出包含tv的數據，我們來看一下結果如何
df[mask].head()
output
我們再來看下面的這個例子，
mask = df.apply(
lambda x: str(x['director']) in str(x['cast']),
axis=1)
上面的例子當中是來查看director這一列是否被包含在了cast這一列當中，結果如下
df[mask].head()
output
filter方法
我們還可以通過filter方法來篩選文本的數據，例如篩選出列名包含in的數據，代碼如下
df.filter(like='in', axis=1).head(5)
output
當然我們也可以用.loc方法來實現，代碼如下
df.loc[:, df.columns.str.contains('in')]
出來的結果和上述的一樣
要是我們將axis改成0，就意味著是針對行方向的，例如篩選出行索引中包含Love的影片，代碼如下
df_1 = df.set_index('title')
df_1.filter(like='Love', axis=0).head(5)
output
當然我們也可以通過.loc方法來實現，代碼如下
df_1.loc[df_1.index.str.contains('Love'), :].head()
篩選文本數據的其他方法
我們可以使用query方法，例如我們篩選出國家是韓國的影片
df.query('country == "South Korea"').head(5)
output
例如篩選出影片的添加時間是11月的，代碼如下
mask = df["date_added"].str.startswith("Nov")
df[mask].head()
output
那既然用到了startswith方法，那么就會有endswith方法，例如
df['col_name'].str.endswith('2019')
除此之外還有這些方法可以用來篩選文本數據
- df['col_name'].str.len()>10
- df['col_name'].str.isnumeric()
- df[col_name].str.isupper()
- df[col_name].str.islower()
