目錄
- 0 本地ide式開發
- 1.0 局域網下遠程終端開發
- 1.1 局域網下遠程ide式開發
- 1.2 公網下遠程ide式開發
- 1、購買一個阿里云服務器
- 2、阿里云服務器終端內
- 2.1、先開放端口
- 2.2、接下來配置frp
- 2.3、設置自啟動
- 3、內網linux服務器配置
- 4、Win端ssh連接中介
- 4.1 局域網下遠程容器的ide式開發
- 4.2 公網下遠程容器的ide式開發
本文將介紹“局域網下遠程ide式開發”、“公網下遠程ide式開發”、“局域網下遠程容器的ide式開發”、“公網下遠程容器的ide式開發”這四種開發流程,讓你無論在工位上還是在家中,都可以像打開本地ide那樣進行遠程的項目開發。
0 本地ide式開發
最方便、最開始的開發方式當然是在本地ide中,比如初學者在Windows電腦上使用pycharm來學習python、深度學習,或者使用devc++、visual studio等來編寫c++項目。在本地ide中,可以瀏覽文件夾、查看文本和圖片等,進一步還可以運行調試python、C++等項目。這樣的開發過程稱為“ide式開發”,初學者會覺得這些都是理所當然的。
1.0 局域網下遠程終端開發
但是隨著能力的提升、需求的擴大,我們需要使用Linux系統來進行開發,甚至是純服務器形式的linux,連顯示屏都沒有。此時我們會初步接觸ssh,連上linux服務器的終端,然后通過敲命令的方式來執行一些程序的運行,查看結果。注意只連終端是不可能進行代碼編寫、調試等步驟的,更別說看圖片啥的。此時的做法應為在本地機寫好代碼,再通過ftp傳輸到服務器上運行。不過這也算入門linux中的項目開發了。
1.1 局域網下遠程ide式開發
但是這種方式太low了,就不能實現windows里ide式開發的效果嗎?可以的!借助強大的vscode的remote-ssh插件,同樣是ssh連接服務器的22端口,卻可以實現ide式開發,這樣就可以愉快的點來點去和調試代碼了。想實現這個功能請搜索“vscode遠程連接linux”,或“vscode remote-ssh連接linux”等教程。
在這個環節,我們應該對ssh的原理、公鑰私鑰的概念與使用有所了解,還需要了解sshd_config中各項配置的含義。
1.2 公網下遠程ide式開發
再進一步,我們會有居家辦公的需求,比如現在疫情比較頻繁,在家里沒有了公司wifi,脫離了局域網環境,我們是無法像以前那樣連接linux服務器的,因為ip是內網中的,而我們處在家中的話還去連那個ip,肯定就不對了。此時需要借助“端口轉發”,或者說“內網穿透”工具來把處在公司內網的linux服務器的22端口暴露在公網環境中。對于計算機網絡不太好的同學來說不論是理解還是實現這一功能都是比較困難的。
所謂內網穿透,就是借助處在公網中的服務器作為中介,讓公司的linux服務器和家里的windows電腦都連接上公網服務器,windows向中介發送“sudo apt install vim”命令,中介就把這句話轉發給公司linux服務器,公司linux服務器就會執行這個命令,然后返回“successfully installed vim.”信息給中介,然后中介再把這條信息傳遞給windows電腦,于是整體效果就是win端輸入sudo apt install vim,接著顯示successfully installed vim.這就是內網穿透。在內網穿透基礎上,通過vscode的remote-ssh配置一下,就能實現公網下遠程ide式開發。
內網穿透要注意的細節是比較多的,為了方便大家實現,也為了以后自己在新設備上復現,我做一些詳細的說明。
整個內網穿透流程如下
在具體實施上,有3個環節要做:
1、購買并設置好擁有公網ip的阿里云服務器,在控制臺的安全組中(并非在服務器內部,而是在阿里云控制臺中)開放相應端口
2、在阿里云服務器上安裝ssh, 安裝frp,完成frps.ini的配置,開啟防火墻,開放相應端口,frps服務添加至自啟動并開啟
3、在公司內網服務器上安裝frp,完成frpc.ini的配置,開放相應端口,開啟ssh,frpc服務添加至自啟動并開啟。
具體說明:
1、購買一個阿里云服務器
我買的是1核2g cpu,1Mbps帶寬,100G容量的ecs.n4.small服務器,1年84元,服務器會提供一個公網ip(無論在哪個網絡環境下都可以憑借公網ip訪問云服務器,假設此ip為89.67.45.200)。在阿里云控制臺的安全組的出和入里面添加服務端的反向代理監聽端口(7000),映射端口(6000),為了后續的別的設備的端口轉發,可以多開幾個端口
?
2、阿里云服務器終端內
2.1、先開放端口
具體可參考這里
apt install openssh-server systemctl start firewalld firewall-cmd --add-port=7000/tcp --permanent firewall-cmd --add-port=6000/tcp --permanent firewall-cmd --add-port=6001/tcp --permanent firewall-cmd --reload
2.2、接下來配置frp
mkdir /root/apps && cd /root/apps wget https://github.com/fatedier/frp/releases/download/v0.34.3/frp_0.34.3_linux_amd64.tar.gz tar -xvf frp_0.34.3_linux_amd64.tar.gz cd frp_0.34.3_linux_amd64
將frps.ini內容改為
[common] bind_addr = 0.0.0.0 bind_port = 7000 token = 1234
frps表示server端的frp,同理frpc表示client端的frp。
其中bind_port表示監聽端口。一個中介服務器可以同時完成多個設備的端口轉發,但是監聽端口只能有一個。
token表示密碼,別的設備想讓中介轉發端口,得有這個密碼
2.3、設置自啟動
將sysytemd下的frps.service內容改為
[Unit] Description=Frp Server Service After=network.target [Service] Restart=on-failure RestartSec=5s ExecStart=/root/apps/frp_0.34.3_linux_amd64/frps -c /root/apps/frp_0.34.3_linux_amd64/frps.ini [Install] WantedBy=multi-user.target
然后執行
cp ./systemd/frps.service /etc/systemd/system/ systemctl daemon-reload systemctl enable frps systemctl start frps
這樣的話中介就配置好了
3、內網linux服務器配置
apt install openssh-server mkdir /home/user/apps && cd /home/user/apps wget https://github.com/fatedier/frp/releases/download/v0.34.3/frp_0.34.3_linux_amd64.tar.gz tar -xvf frp_0.34.3_linux_amd64.tar.gz cd frp_0.34.3_linux_amd64
將frpc.ini內容改為
[common] server_addr = 89.67.45.200 server_port = 7000 token=1234 [linux_in_company] type = tcp local_ip = 127.0.0.1 local_port = 22 remote_port = 6000
server_addr表示中介的公網ip,server_port 是中介的監聽端口,linux_in_company是這臺linux服務器在中介那里的命名,如果有多個設備要用中介來轉發端口,這個命名不可以重復
local_port 表示Linux服務器中要轉發出去的端口,22表示終端
remote_port 是中介上的映射端口。win電腦訪問中介的6000端口就能起到訪問Linux服務器22端口的效果
然后做自啟動,修改systemd下的frpc.service
[Unit] Description=Frp Client Service After=network.target Wants=network.target [Service] Restart=on-failure RestartSec=5s ExecStart=/home/user/apps/frp_0.34.3_linux_amd64/frpc -c /home/user/apps/frp_0.34.3_linux_amd64/frpc.ini ExecReload=/home/user/apps/frp_0.34.3_linux_amd64/frpc reload -c /home/user/apps/frp_0.34.3_linux_amd64/frpc.ini [Install] WantedBy=multi-user.target
再
cp ./systemd/frpc.service /etc/systemd/system/ systemctl daemon-reload systemctl enable frpc systemctl start frpc
4、Win端ssh連接中介
到這一步就很簡單了。
ssh user@89.67.45.200 -p 6000即可,想登root就改成ssh root@89.67.45.200 -p 6000,后面相應的輸root的密碼即可。有時記得sudo的密碼卻忘了su的密碼咋整?sudo passwd root重置root密碼即可
此外,還可以通過密鑰對來進行免密登陸,這里不做贅述
4.1 局域網下遠程容器的ide式開發
隨著能力的進一步提升,我們不得不面臨越來越困難、復雜的環境配置過程,比如cuda,tesnorrt的安裝與更換版本等。很多時候,目的是C,但是為了做C要先把A和B這兩個配置環境的環節給踩一遍,隨著這種情況的增多,我們就會發現原先簡單的linux服務器變得越來越龐大復雜,里面配置了各種各樣的環境,復雜到,嘗試更新顯卡驅動失敗了,導致很多東西都得跟著完蛋,最后連pytorch模型都跑不起來。
所以,我們直接在服務器本體上進行各種環境的配置與項目的開發有兩個缺點:其一是耗時間,有的東西的確沒必要搞這么清楚,如果有現成的直接用當然最好;其二是環境間容易相互影響產生依賴,一個出問題了其他都得完蛋。
在這種問題的驅動下,容器內的項目開發流程應運而生:我們打開Linux服務器,并不直接在其上面進行環境配置與代碼編寫調試,而是再在linux中創建容器并進入,在容器中去進行開發。一進容器,各種需要的環境已經為你準備好了,比如英偉達官方的pytorch容器,里面就配好了cuda,cudnn,pytorch,tensorrt等等,這就為我們節省了大量寶貴的時間。再者,在容器里面不管你怎么折騰,只要別把掛載文件夾里的東西亂刪,那都沒事,絲毫不影響容器外部的linux服務器。不小心把容器搞壞了,再run一個,一切照常。
而想要實現遠程容器的ide式開發也很簡單,只要在創建容器時增加端口映射即可,比如docker run … -p 6666:22 …,然后在容器中安裝好ssh,開啟服務,這樣的話訪問linux服務器(稱為host)中的6666端口就等同于訪問容器的22端口了。
所以只需把“1.1 局域網下遠程ide式開發”中的ssh指令的用戶名改為root,端口改為6666,即可在vscode中通過局域網來實現遠程容器的ide式開發。
4.2 公網下遠程容器的ide式開發
有了“1.2 公網下遠程ide式開發”和“2.1 局域網下遠程容器的ide式開發”的基礎,公網下遠程容器的ide式開發就變得非常簡單:在公司linux服務器中的frpc.ini中增加一個端口轉發請求,把6666端口轉發到中介的6001端口,這樣的話ssh root@89.67.45.200 -p 6001就會先轉到linux服務器的6666端口,再轉到容器的22端口,成功在家中進行公司服務器中容器的ide開發
不過要注意,ssh連之前要先在linux服務器中運行該容器,并通過/etc/init.d/ssh start開啟ssh服務。這個環節可以使用容器的初始腳本來完成,首先在linux服務器上找個地方寫一個腳本~/code/start.sh
#! /bin/bash if [ -f "/etc/init.d/ssh" ]; then echo "ssh OK" /etc/init.d/ssh start else echo "ssh not installed. Start intallation." /code/install_ssh.sh fi /bin/bash
然后chmod 777 ~/code/start.sh
其中安裝ssh的腳本如下,沒個容器情況不同,所以僅供參考
#! /bin/bash cd / echo -e "deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse\n" >> sources.list cp sources.list /etc/apt/sources.list apt update apt install -y --allow-downgrades openssh-client=1:7.2p2-4ubuntu2.10 apt install -y openssh-server echo "ssh installed. Now you need to configure it."
然后chmod 777 ~/code/install_ssh.sh
接下來創建容器!
docker run --gpus all -it -p 6666:22 --name trt -v ~/code:/code nvcr.io/nvidia/tensorrt:21.10-py3 /bin/bash /code/start.sh
我來詳細解讀一下這條指令:
run就是從鏡像創建容器,–gpus all就是把host的所有gpu都開放使用權利,-it就是以交互模式運行容器并為其分配一個終端命令行,-p 6666:22就是把容器的終端端口22映射到host的6666端口,–name trt就是給這個容器命名為trt,-v ~ /code:/code就是把host的~/code文件夾掛載到容器中的/code文件夾。nvcr.io/nvidia/tensorrt:21.10-py3就是鏡像的名字,/bin/bash /code/start.sh表示一創建容器就用bash執行這條start.sh腳本,而且start.sh腳本末尾還有一行“/bin/bash”就是說執行完安裝或開啟ssh腳本后,執行bash,留著終端這個程序,不然容器會自動退出。
這樣就可以做到一開啟容器,就能自動開啟ssh啦