linux下進行文件的解壓、復制、移動應該是最常見的操作了。尤其是我們在項目中使用大量的數據集文件(比如機器學習)時。然而使用這些命令時一不留神就會掉進坑里,這篇文章我們就來細數用Shell進行文件操作的這些坑。
將文件單個地進行壓縮與解壓
Linux下壓縮文件的常見擴展名包括.gz,.tar,.tar.gz, .zip等。這些壓縮格式都能夠跨平臺(windows/mac/Linux)使用。下面我們以.zip文件為例子來講解。我們已知一個文本文件壓縮包test.zip,想把它解壓,很簡單,運行unzip命令即可:
orion-orion@MacBook-Pro Learn-Linux % unzip test.zip
Archive: test.zip
inflating: test.txt
如果我們想要將test.txt重新壓縮呢?你可能情不自禁會執行zip test.txt,然后我們發現提示:
orion-orion@MacBook-Pro Learn-Linux % zip test.txt
zip warning: missing end signature--probably not a zip file (did you
zip warning: remember to use binary mode when you transferred it?)
zip warning: (if you are trying to read a damaged archive try -F)
zip error: Zip file structure invalid (test.txt)
其實是傳參數傳錯了,導致zip誤把test.txt當成壓縮后的文件名了,這當然不是合法的。我們看zip的參數構成:
zip [-options] [-b path] [-t mmddyyyy] [-n suffixes] [zipfile list] [-xi list]
[-b path]是壓縮后的.zip文件的路徑,zipfile list是待壓縮的文件列表。于是,我們這樣寫即可成功壓縮:
orion-orion@MacBook-Pro Learn-Linux % zip test2.zip test.txt
adding: test.txt (stored 0%)
當然,zip也支持將多個文件壓縮:
orion-orion@MacBook-Pro Learn-Linux % zip test3.zip test.txt test2.txt
adding: test.txt (stored 0%)
adding: test2.txt (stored 0%)
此時我們發現再解壓test3.zip會發現重新得到了兩個原始文件:
orion-orion@MacBook-Pro Learn-Linux % unzip test3.zip
Archive: test3.zip
extracting: test.txt
extracting: test2.txt
zip也支持對目錄壓縮,如我們嘗試壓縮test目錄:
orion-orion@MacBook-Pro Learn-Linux % zip test4.zip test
adding: test/ (stored 0%)
此時再解壓test4.zip則會重新生成test目錄:
orion-orion@MacBook-Pro Learn-Linux % unzip test4.zip
Archive: test4.zip
creating: test/
不過,zip是將輸入的文件列表分別進行壓縮的操作,即是對目錄來進行壓縮也是對目錄內的所有文件one-by-one的操作。那我們需要將很多文件先打包成一個文件,然后再壓縮呢?此時就要用到tar了。
tar:打包命令
很多人誤解tar是個壓縮命令,其實壓縮命令是gzip、xz以及我們上文提到的zip這些。tar是個打包命令,只不過附帶壓縮與解壓的功能。tar的選項多如牛毛,為了減輕大家的記憶負擔,我們只介紹下面兩個選項:
-c: 建立打包文件(可搭配-v將過程中打包的文件可視化);
-x:解包或解壓縮的功能(可搭配-C在特定目錄解壓);
(其實還有表示通過gzip進行壓縮/解壓縮的-z,通過bzip2的支持進行壓縮/解壓縮的-j,通過xz的支持進行壓縮解壓縮的-J等,但我們這里統一用.zip示范,就省去這些參數了)
那么,我們只需要記住下面的命令即可:
壓縮: tar -cv -f filename.zip 要被壓縮的文件或目錄名稱
解壓縮:tar -xv -f filename.zip -C 欲解壓的目錄(這個目錄必須已經存在)
注意,壓縮傳參順序是壓縮后的.zip文件在前,壓縮前的文件在后,別搞錯了。(讓人聯想到gcc編譯器,不過gcc傳參時規定是-o output_file.out的形式來指定輸出的可執行文件,就回避了這個順序問題)
比如,我們要將test文件夾(該文件夾下有一個test.txt文件)壓縮,可以運行如下命令:
orion-orion@MacBook-Pro Learn-Linux % tar -cv -f test4.zip test
a test
a test/test.txt
然后將其解壓到當前目錄,可運行如下命令:
orion-orion@MacBook-Pro Learn-Linux % tar -xv -f test4.zip -C .
x test/
x test/test.txt
對多個文件壓縮:
orion-orion@MacBook-Pro Learn-Linux % tar -cv -f test3.zip test.txt test2.txt
a test.txt
a test2.txt
然后將其解壓到當前目錄:
orion-orion@MacBook-Pro Learn-Linux % tar -xv -f test3.zip -C .
x test.txt
x test2.txt
由上面所說,zip/unzip和tar都是壓縮什么解壓出來就是什么,原來是目錄就是目錄,原來沒目錄不會幫你自動生成一個目錄,但Linux或Mac系統的可視化壓縮工具就不一樣了(在Mac中被稱為「歸檔實用工具」)。Mac中對目錄壓縮時壓縮命令和tar命令是等效的,比如我們想用Mac自帶的壓縮工具壓縮test文件夾:
會生成對應的歸檔文件:
再解壓會得到同樣的文件夾(會自動幫我們重命名),不會幫我們生成多余的目錄:
然而,如果我們嘗試用Mac自帶的壓縮工具壓縮多個文件:
它會自動幫我們生成一個名為歸檔.zip的文件:
然后,如果此時我們嘗試對歸檔.zip文件進行解壓,會發現系統會自動幫我們生成一個名為歸檔 的文件夾:
這個文件夾內部才是我們需要的文件:
這在對大量文件操作時需要額外注意,否則會白白開銷你一次拷貝文件的時間!
文件拷貝
我們緊接上面的情景。假設我們當前的目錄為項目目錄,而我們手滑使用了系統自帶的可視化解壓工具生成了一個多余的目錄。我們接下來要把系統生成的多余的歸檔文件夾里的文件拷貝到當前目錄,那么我們可以使用帶r參數的cp命令:
orion-orion@MacBook-Pro Learn-Linux % cp -r 歸檔/ .
orion-orion@MacBook-Pro Learn-Linux % ls
test.txt test2.txt 歸檔
這里-r參數表示遞歸復制命令,用于目錄的遞歸復制。注意命令中的歸檔/表示歸檔目錄下的所有文件,意思和歸檔/*相同:
orion-orion@MacBook-Pro Learn-Linux % cp -r 歸檔/* .
orion-orion@MacBook-Pro Learn-Linux % ls
test.txt test2.txt 歸檔
選項參數-r寫成-R是等效的:
orion-orion@MacBook-Pro Learn-Linux % cp -R 歸檔/* .
orion-orion@MacBook-Pro Learn-Linux % ls
test.txt test2.txt 歸檔
但如果直接傳入參數歸檔,則表示將這個目錄整個地復制:
orion-orion@MacBook-Pro Learn-Linux % cp -r 歸檔 .
cp: ./歸檔 and 歸檔 are identical (not copied).
同一個目錄下不可能有兩個相同名稱的子目錄,這當然就會出錯,當然我們可以將其復制到另外一個目錄里:
orion-orion@MacBook-Pro Learn-Linux % cp -r 歸檔 /tmp
orion-orion@MacBook-Pro Learn-Linux % ls /tmp |grep 歸檔
歸檔
你可能要問,加r和不加r有啥區別?如果不加r,則默認是跳過目錄的,也就是說只能copy文件:
orion-orion@MacBook-Pro Learn-Linux % cp 歸檔/ .
cp: 歸檔/ is a directory (not copied).
orion-orion@MacBook-Pro Learn-Linux % cp 歸檔 /tmp
cp: 歸檔 is a directory (not copied).
文件移動
我們還是緊接著上面的場景。假定我們已經將歸檔文件夾中的test.txt、test2.txt成功拷貝到當前項目目錄了。現在我們有了個新的需求:我們在項目目錄中建了一個data子目錄,現在需要將項目目錄中的test.txt、test2.txt移動到data子目錄中。這就需要如下命令:
orion-orion@MacBook-Pro Learn-Linux % mv test2.txt test.txt data
orion-orion@MacBook-Pro Learn-Linux % ls data
test.txt test2.txt
注意,如果有多個源文件或目錄,則最后一個目標文件(也就是這里的data)一定是目錄。當我們只移動一個文件時,就有潛在的二義性。這里因為data目錄本身存在,我們移動test.txt到data目錄還能正常執行:
orion-orion@MacBook-Pro Learn-Linux % mv test.txt data
orion-orion@MacBook-Pro Learn-Linux % ls data
test.txt
但是如果data目錄不存在,就會將mv解釋為重命名的意思,比如如果我們將data目錄刪除再執行:
orion-orion@MacBook-Pro Learn-Linux % mv test.txt data
此時就等效于把test.txt更名為data文件:
orion-orion@MacBook-Pro Learn-Linux % ls -l|grep data
-rw-r--r-- 1 orion-orion staff 0 4 20 22:01 data
可以看出,第一個字母是-,也就意味著data是普通文件,不是目錄(是目錄的話第一個字母是d)。
因此,使用mv語句時要格外小心,因為它既有移動到目錄的作用,也有重命名的作用,一不注意就可能出錯!