云服务器深度学习环境搭建

在ubuntu 18.04.1系统上配置深度学习环境的步骤如下:

系统初始化环境

操作系统: Ubuntu 18.04.1内存: 20GCPU: Intel Xeon Sliver 4110 (2.1 GHz) 4核GPU: Tesla P4 1颗

安装Linux下的CUDA驱动

登录NVIDIA驱动下载页面或打开链接 https://www.php.cn/link/8c7c866a13f952e17395811408d2fd1b。

选择对应的支持DEB包的操作系统(Ubuntu 18.04), 得到下载链接:

wget http://us.download.nvidia.com/tesla/418.67/nvidia-diag-driver-local-repo-ubuntu1804-418.67_1.0-1_amd64.deb

安装软件包:

sudo dpkg -i nvidia-diag-driver-local-repo-ubuntu1804-418.67_1.0-1_amd64.deb

添加key:

立即进入“豆包AI人工智官网入口”;

立即学习“豆包AI人工智能在线问答入口”;

sudo apt-key add /var/nvidia-diag-driver-local-repo-/7fa2af80.pub

使用apt-get命令更新软件包:

sudo apt-get update

运行apt-get命令安装驱动:

sudo apt-get install cuda-drivers

运行reboot指令重启

运行nvidia-smi能输出正确信息代表驱动安装成功

其中步骤2-6来源于NVIDIA官网教程。此外,rufile安装、rpm包安装、Windows系统安装等方式也可参见PHP中文网文档。

安装Anaconda

注意:建议在普通用户状态下安装,而非root用户下安装。

进入anaconda官网选择安装包下载:此处选择Linux系统下的Python3.7版本

wget https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh

执行安装文件:

bash Anaconda3-2019.07-Linux-x86_64.sh

重启shell(或者直接输入bash指令), 即可使用anaconda3,输入conda指令即可。

此时控制台输入python,已不再是系统自带的2.7版本,而是anaconda中的python版本。

当在root用户下输入conda提示无指令/python版本仍为2.7时, 执行以下操作:

sudo gedit ~/.bashrcexport PATH="/home/ubuntu/anaconda3/bin:$PATH"

若要删除anaconda, 直接将anaconda的安装目录整体删除即可:

rm -rf /root/anaconda3

关于安装anaconda后,Linux的终端shell界面前面出现(base)字样

原因:在打开终端后,自动执行了conda activate base。

解决:输入conda deactivate即可。要想再次激活,输入conda activate base即可。

云服务器深度学习环境搭建

创建虚拟环境

创建python=3.7的名字为keras的虚拟环境:

conda create --name keras python=3.7

激活keras环境:

conda activate keras

如果想检查现有所有的虚拟环境, 可利用conda指令:

conda env list

在虚拟环境中安装TensorFlow-GPU

利用conda指令安装tensorflow-gpu:

conda install tensorflow-gpu

利用代码测试检查TensorFlow是否安装成功, 正确输出即安装成功。

import tensorflow as tfhello = tf.constant('Hello, TensorFlow!')sess = tf.Session()print(sess.run(hello))

在虚拟环境中安装Keras

利用pip指令安装keras:

pip install keras

利用代码测试检查keras是否安装成功, 无报错即安装成功。

import keras

在虚拟环境中安装Jupyter

在虚拟环境中输入jupyter指令, 提示失败。因为并未安装。

可以使用conda list指令查看已安装的包。

云服务器深度学习环境搭建

利用conda安装jupyter:

conda install jupyter

打开jupyter:

jupyter notebook

为防止网断导致notebook挂掉,利用screen指令,新开一个screen,以便在后台运行notebook。screen指令的使用,参见附录。

# 开启screenscreen# 激活环境conda activate keras# 运行notebookjupyter notebook# 在网页访问notebook,需要输入token,查看token的方法是jupyter notebook list

访问远程环境

在本地远程访问虚拟环境中的notebook

在本地利用ssh指令实现本地端口转发:

ssh -L8008:localhost:8888 

利用MobaxTerm建立隧道连接虚拟环境中的notebook

点击Tools, 点击Network下的MobaSSHTunnel(Port forwarding)

云服务器深度学习环境搭建

点击New SSH tunnel

选择Local port forwarding, 并输入对应内容,点击Save。

云服务器深度学习环境搭建云服务器深度学习环境搭建

输入Name, 点击开始箭头即可。

云服务器深度学习环境搭建

此时完成隧道建立, 本地浏览器访问127.0.0.1:8008即可访问远程的Jupyter。

配置Windows本地Spyder(3.3.0及以上)连接远程服务器

服务器端在虚拟环境中, 利用conda/pip指令安装spyer-kernels

conda install spyder-kernels

服务器端在虚拟环境中, 利用命令python -m spyder-kernels.console,开启一个kernel,并生成kernel-.json文件

python -m spyder_kernels.console

服务器端在虚拟环境中, 用命令jupyter –runtime-dir找到kernel文件的路径

jupyter --runtime-dir#输出举例:/home/ubuntu/.local/share/jupyter/runtime/

在上述路径中找到kernel-.json文件, 并拷贝到本地端。

在本地的spyder中, 在ipython console右上侧的设置中找到connect to an existing kernel

云服务器深度学习环境搭建

选中刚刚拷贝好的kernel文件, 选中this is a remote kernel, 并输入host name与密码。(SSH Keyfile不用管)

云服务器深度学习环境搭建

点击Ok后, 报错如下“Could not open ssh tunnul. The error was: Paramiko not available”:

云服务器深度学习环境搭建

解决办法为:运行Spyder,在SpyderIPython控制台中输入指令:

   !pip install paramiko

之后,重启spyder,即可。

此时,就可以让spyder连接到服务器了!可以欢快地查看变量了。

云服务器深度学习环境搭建

配置Windows本地Pycharm连接远程服务器

用pycharm打开一个项目, File -youjiankuohaophpcn Settings -> 搜索Project Interpreter -> 在Project Interpreter栏目右侧点击设置图标 -> 选择Add…

云服务器深度学习环境搭建

点击SSH Interpreter -> 输入远程主机的IP(*..*.)和登录用户名(ubuntu)**

云服务器深度学习环境搭建

点击后, 输入远程连接的服务器密码

云服务器深度学习环境搭建

选择远程Interpreter. 点击文件夹图标 -> 选择远程虚拟环境中的python解释器。

eg:/home/ubuntu/anaconda3/envs/keras/bin/python

这样虚拟环境就可以使用了。

云服务器深度学习环境搭建

问题1:Pycharm的Python Console控制台出现中文乱码

【问题描述】

Pycharm默认打开时,python console中如果用到windows下cmd里的命令时,会输出乱码。

【问题原因】

cmd默认的编码是gbk(代码页:936),而python console 里面的编码是utf-8(代码页:65001),由于编码不一致,所以输出时会出现乱码。

【解决办法】

File-Setting-Search-console-python console

添加以下代码

!chcp 65001

云服务器深度学习环境搭建

注:file encoding中的编码设置保持默认即可,不要被网上其他博客所误导而乱改,正常如下:

云服务器深度学习环境搭建

重启python console即可, 效果如下:

云服务器深度学习环境搭建

附录:screen指令使用

常用参数

screen -S yourname -> 新建一个叫yourname的sessionscreen -ls -> 列出当前所有的sessionscreen -r yourname -> 回到yourname这个sessionscreen -d yourname -> 远程detach某个sessionscreen -d -r yourname -> 结束当前session并回到yourname这个sessionscreen -S yourname -X quit ->删除当前screen

快捷键

在每个screen session 下,所有命令都以 ctrl+a(C-a) 开始。

C-a ? -> 显示所有键绑定信息C-a c -> 创建一个新的运行shell的窗口并切换到该窗口C-a n -> Next,切换到下一个 windowC-a p -> Previous,切换到前一个 windowC-a 0..9 -> 切换到第 0..9 个 windowCtrl+a [Space] -> 由视窗0循序切换到视窗9C-a C-a -> 在两个最近使用的 window 间切换C-a x -> 锁住当前的 window,需用用户密码解锁C-a d -> detach,暂时离开当前session,将目前的 screen session (可能含有多个 windows) 丢到后台执行,并会回到还没进 screen 时的状态,此时在 screen session 里,每个 window 内运行的 process (无论是前台/后台)都在继续执行,即使 logout 也不影响。C-a z -> 把当前session放到后台执行,用 shell 的 fg 命令则可回去。C-a w -> 显示所有窗口列表C-a t -> Time,显示当前时间,和系统的 loadC-a k -> kill window,强行关闭当前的 windowC-a [ -> 进入 copy mode,在 copy mode 下可以回滚、搜索、复制就像用使用 vi 一样C-b Backward,PageUpC-f Forward,PageDownH(大写) High,将光标移至左上角L Low,将光标移至左下角0 移到行首$ 行末w forward one word,以字为单位往前移b backward one word,以字为单位往后移Space 第一次按为标记区起点,第二次按为终点Esc 结束 copy modeC-a ] -> Paste,把刚刚在 copy mode 选定的内容贴上

重点问题

screen的三种状态

Attached:有用户登录状态。Detached:暂时离开当前session,将目前的 screen session (可能含有多个 windows) 丢到后台执行,并会回到还没进 screen 时的状态,此时在 screen session 里,每个 window 内运行的 process (无论是前台/后台)都在继续执行,即使 logout 也不影响。输入screen -d 到此状态。通过screen -r 再次进入。Dead:被kill了该screen。

如何正常退出screen?在screen中输入exit指令即可。

当screen状态为Attached时,如何重新登入该screen?

screen -lsscreen -D -r 解释:-D -r 先踢掉前一用户,再登陆screen其中,-D也可用-d替换。

以上就是云服务器深度学习环境搭建的详细内容,更多请关注php中文网其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/96939.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月20日 01:24:20
下一篇 2025年11月20日 01:54:50

相关推荐

发表回复

登录后才能评论
关注微信