我們在開始一個Python/ target=_blank class=infotextkey>Python項目,而不是幾行簡單的代碼時,我們傾向于開始使用第三方的dependencies.當項目越來越大時,我們需要考慮如何有效的管理這些第三方庫。當安裝第三方庫時,我們肯定是想安裝在虛擬環境中。幫助我們保持我們實際系統環境的干凈,避免打亂整個系統python環境。
我們為什么需要python的虛擬環境?
我們可以使用pip把第三方庫安裝到python項目中。一個項目中往往要安裝多個,鑒于安裝的第三方庫的各種版本,可能會導致一些兼容和運行的問題。
當我們在python項目中使用pip install <package name> ,我們是安裝到全局python下的,將會根據現有的python版本安裝第三方包。
我們可以通過以下命令來查找python的安裝目錄:
python -c "import sys;print('n'.join(sys.path))"
輸出:
C:UsersAdministrator.*AppDataLocalProgramsPythonPython36python36.zip
C:UsersAdministrator.*AppDataLocalProgramsPythonPython36DLLs
C:UsersAdministrator.*AppDataLocalProgramsPythonPython36lib
C:UsersAdministrator.*AppDataLocalProgramsPythonPython36
C:UsersAdministrator.*AppDataLocalProgramsPythonPython36libsite-packages
如果我們使用pip3 install <package name>,將會安裝到python3安裝目錄的單獨的目錄下。我們可以用以下命令來覆蓋pip3這個命令:
python2.7 -m pip install <package name>
但是這仍然解決不了我們在全局python下安裝第三方庫的問題,將會出現下列的問題:
- 不同python項目之間會使用不同版本的第三方庫,可能會導致互相沖突
- 項目的依賴庫和操作系統的依賴庫會產生沖突,導致出現項目錯誤或系統錯誤。
- 多用戶項目將很難實現。
- 不同版本python和庫的代碼測試將會是一個挑戰
為了避免以上的問題,python開發者使用虛擬環境。這個虛擬環境把安裝的這些第三方庫在一個隔離的環境中(目錄內)保存。
如何創建一個虛擬環境
確保你的系統上已經安裝python
python --version
然后看一下pip是否也能正常調用
pip --version
我們需要一個工具來創建python的虛擬環境,venv。它是封裝在python3.3+版本以上的python中的。
如果我們使用python2,我們需要手動安裝一個工具。這是為數不多的一個我們需要全局安裝的第三方庫。
python2 -m pip install virtualenv
注意:我們將會在文章中討論很多venv和python3,操作系統環境不同,可能會導致某些命令的些許不同,某些工具的工作原理也些許不同。
如果你的系統上沒有安裝pip:
sudo apt-get install python-pip
然后安裝virtualenv
pip install virtualenv
我們首先要為項目創建一個文件夾,并進入這個文件夾:
mkdir my-python-project && cd my-python-project
然后我們再創建虛擬環境:
python3 -m venv virtualenv
#創建一個名為virtualenv的虛擬環境給,可以是任何名字
這將會創建一個名為virtualenv的目錄,這個目錄將會包含bin、lib、include文件夾,還有一個環境配置文件。
所有的文件都是為了確保,所有的代碼都運行在當前的虛擬環境下。這會幫我們把工作環境和操作系統環境隔離開來,避免我們之前提到的問題。
為了使用這個虛擬環境,我們需要激活它。激活以后,還會更改我們的命令提示符標志。這個標志也是為了表明虛擬環境已經激活,python的代碼都是在這個環境下執行。
#UBUNTU linux系統激活虛擬環境
$ source env/bin/activate
(virtualenv) $
#windows激活虛擬環境
E:my-python-projectvirtualenvScripts>activate
(virtualenv)E:my-python-projectvirtualenvScripts>activate
在虛擬環境下,無法訪問使用全局的第三方庫,在虛擬環境內安裝的庫也無法在外部使用。
在虛擬環境中,只有pip和setuptools是默認安裝的。
激活虛擬環境后,變量path也會相應地發生改變,以達到虛擬環境的目的。
當我們完成工作,想切換回操作系統的全局環境,我們需要使用deactivate退出虛擬環境。
#linux ubuntu下
(virtualenv) $ deactivate
$
#windows系統下
(virtualenv) E:my-python-projectvirtualenvScripts>deactivate
E:my-python-projectvirtualenvScripts>
如何管理虛擬環境下的第三方庫
我們配置了虛擬環境并激活以后,我們不想在分享項目時,連同使用pip install命令安裝的第三方庫也一起分享。我們想去除我們的虛擬環境文件夾,但仍然可以在其他的電腦或系統上重新運行我們的工作。
為實現這個目的,我們可以在項目根目錄下創建一個requirement文件。假設我們在虛擬環境下安裝flask,安裝完成后我們使用pip freeze命令。它將會列出我們已經安裝過的庫名和版本號。
(virtualenv) $ pip freeze
click==8.0.3
colorama==0.4.4
dataclasses==0.8
Flask==2.0.2
importlib-metadata==4.8.1
itsdangerous==2.0.1
Jinja2==3.0.2
MarkupSafe==2.0.1
typing-extensions==3.10.0.2
Werkzeug==2.0.2
zipp==3.6.0
我們可以將這個列表寫到requirement文件中,上傳到git保存,或以任何形式跟他人分享。
(virtualenv) $ pip freeze > requirements.txt
這個命令也可以更新這個requirements.txt文件,所以在每次安裝一個新的第三方庫時,我們都習慣性的運行一下這個命令,來更新我們的安裝列表。
然后,如果任何人想在他們的電腦上運行我們的項目,他們只需要做:
$ cd copied-project/
$ python3 -m venv virtualenv/
$ python3 -m pip install -r requirements.txt
所有的一切都如在我們電腦上運行的一樣。
使用pipenv來創建python虛擬環境
安裝pipenv
pip install pipenv
pipenv基本上是pip的一個替代工具。它引入了兩個文件,pipfile用來替換requirements.txt,Pipfile lock(which enables deterministic builds,確定第三方庫的子依賴庫版本的更新的解決方案)
pipenv在機理上是運行pip和virtualenv,但使用一個命令來簡化操作。
$ cd project_folder
pipenv shell
#如果當前目錄沒有虛擬環境給,會自動創建一個新的虛擬環境。
#你可以指定使用python3或python2的版本 --two或--three
#前提是操作系統上也要安裝相應版本的python
pipenv shell --two 或 --three
安裝第三方庫,如flask,或numpy
pipenv install flask==0.12.1
pipenv install numpy #也可以不指定版本號
也可以從Version Control system比如git來安裝第三方庫
pipenv install -e git+https://github.com/requests/requests.git#egg=requests
需要注意上面的-e參數可以使安裝editable,目前對于pipenv來說是必須的。
如果你需要使用pytest來測試項目,但在上線后不需要這個庫,你可以指定這個庫僅僅作用于開發模式 --dev.
pipenv install pytest --dev
--dev將會把第三庫放到pipfile的一個單獨的地方【dev-packages】。
如果你現在完成了開發,本地運行正常,你想鎖定你的開發環境,并轉至線上。使用如下命令確保開發環境:
pipenv lock
這個代碼將會創建或更新你的環境,你無需手動更改編輯。我們也應該一直使用自動生成的文件。
lock以后,在production環境,你需要安裝最新的成功的運行環境。
pipenv install --ignore-pipfile
這個命令是告訴pipenv,安裝時忽略pipfile,用pipfile.lock里的列表。pipenv將會創建一模一樣的環境,包括子依賴庫。
現在,另一個人想要對代碼做些更改,這種情況下,他得到代碼,包括pipfile,運行如下命令
pipenv install --dev
這個命令將會安裝開發所需的所有的第三方庫,包括普通的install以及--dev安裝的。
如果沒有指定版本號,install命令就會給第三方包括子依賴庫一個機會去升級它們的版本
舉例,現在你開發用到的一個第三庫有了版本升級,因為你不需要一個特定的版本,所以你在install的時候沒有指定版本號。當你運行pipenv install時,最新版本的第三方庫會安裝到你的開發環境內。
然后你對代碼做了一些更改,結果如預期一樣。然后你再重復上面的步驟lock你的環境。并更新至Production.
pipenv常用的一些命令
#打開一個第三方庫
pipenv open flask
將會使用默認的editor打開第三方庫的代碼。
無需shell運行某個命令
pipenv run <command>
檢查環境安全性
pipenv check
刪除某個庫
pipenv uninstall numpy
刪除所有庫
pipenv uninstall --all
刪除所有開發時用到的庫
pipenv uninstall --all-dev