包含如何在服务器上配置conda的词条
有鱼爱电影 2025-04-17 04:30 31 浏览 0 评论
阅读文本大概需要 2 分钟。
提示
以鄙人在GitHub上的辣鸡代码为例, 其他Scrapy的项目操作类似, 本文同样适用于不使用云服务器的情形(排除掉前期准备部分即可).
前期准备
(也可以到腾讯云开发者实验室体验)1. 购买云服务器
选择一家云服务厂商, 购买云服务器, 目前国内主流服务均有提供学生版
如果第一次购买, 可以戳这个链接
https://cloud.tencent.com/redirect.php?redirect=1010&cps_key=e042d9552c4c0be2cd377436ca42ee62
2. 下载Xshell, 使用ssh连接服务器
Xshell学生和家用是免费的, 下载地址https://www.netsarang.com/download/free_license.html
下载安装完成后,使用系统分配的公网IP, 系统用户名和对应密码连接服务器.
在Github上克隆代码
git clone https://github.com/FesonX/JobCrawler.git
安装相关依赖1. 安装Python3
项目使用Python3.6, 可以使用以下连接安装, 将文中的3.5改为3.6即可.
ubuntu14.04安装python3.5并且将其设置为python3默认启动
(https://blog.csdn.net/fireflychh/article/details/78195778)
2. 使用virtualenv(也可以使用Anaconda或Pycharm管理)
Virtualenv允许多版本Python同时在电脑上共存, 安装完Python3及pip后 终端键入
# 安装
pip3 install virtualenv
# 创建虚拟环境
virtualenv spider-env
# 激活虚拟环境
source spider-env/bin/activate
# 退出
deactivate
3. 安装库依赖
因为Scrapy依赖Python.h,在安装库依赖前在终端键入
sudo apt-get install libpython3.6-dev
然后安装依赖, 如果失败, 请逐条尝试
# 在JobCrawler/JobCrawler目录下
pip install -r requirements.txt
4. 安装MongoDB
参照以下连接安装 MongoDB Community Edition
(https://docs.mongodb.com/manual/administration/install-community/)
运行爬虫
终端cd到项目根目录, 键入
# -o job.csv为可选参数, 加入则输出到指定文件中
scrapy crawl jobCrawler -o job.csv
扩展: 使爬虫开机运行
使爬虫在系统开机时自动运行, 对于许多系统来说如何在服务器上配置conda,最简单 (如果不是最好的)的方式是使用rc.local文件 具体实现方式就交由如何在服务器上配置conda你自己用搜索引擎探索啦
欢迎点击查看原文关注如何在服务器上配置conda我的腾讯云社区账号
入门小白, 欢迎大家指出错误, 技术交流
QQ:994342122, Email: fesonx@foxmail.com
今日作者: 光光同学_
不爱看电影的摄影师不是好的程序员
- 上一篇:包含seo综合查询接口设计的词条
- 下一篇:关于苹果cms官网采集的信息
相关推荐
-
- 域名证书查询下载的简单介绍
-
一、首都医科大学2017年硕士研究生复试分数线2017年首都医科大学计划招收硕士研究生900余人,报名参加域名证书查询下载我校硕士研究生选拔的考生共有4425人。根据教育部划定的基本合格分数线及参加复试人数比例要求,首都医科大学依据我校考...
-
2025-09-01 02:30 有鱼爱电影
-
- 关于服务器配置文件格式的信息
-
很多文件在下载后打开阅读时服务器配置文件格式,发现文件模糊不清晰服务器配置文件格式,或者因为老板要求服务器配置文件格式,需要给文档添加背景;但你知道使用pdf虚拟打印机也可以给文档添加背景吗?今天,我们就来分享使用pdf虚拟打印机给文档...
-
2025-08-31 19:30 有鱼爱电影
-
- 网站制作软件下载的简单介绍
-
这个世界充满了创新网站制作软件下载,开发的激情和决心是实现更高目标的关键因素。在应用开发过程中网站制作软件下载,毫无疑问,工具、可用的在线网页以及app设计资源,发挥了重要的作用。 下面网站制作软件下载我们将带来10个网站和...
-
2025-08-31 18:30 有鱼爱电影
-
- 苹果cms模板后台怎么进度的简单介绍
-
施工组织设计是指导工程施工苹果cms模板后台怎么进度的综合性技术、经济文件苹果cms模板后台怎么进度,它主要表现工程施工的技术方案和技术要求。编制好施工组织设计并据以实施是建筑施工单位在施工中取得良好经济效果的先决条件。 根据目前建筑业管...
-
2025-08-31 16:30 有鱼爱电影
-
- 包含域名申请前要查询有没有被使用查询域名的工具是什么的词条
-
域名申请前要查询有没有被使用查询域名的工具是什么我们都知道域名是一个网站的核心部位域名申请前要查询有没有被使用查询域名的工具是什么,一个好的域名对于网站的排名有着十分重要的促进作用。 很多人不知道域名的信息应该如何的查询域名申请前要查...
-
2025-08-31 15:30 有鱼爱电影
-
- 1.什么是seo的简单介绍
-
一、关键词排名搜索质量高:相对其他营销推广方式来说,SEO是用户查找自己说服自己,其他方式是推送信息。二、关键词排名长期有效:网络广告一旦停止,流量立刻消失。而SEO是长期有效1.什么是seo的。三、关键词排名相对成本较低:关键词排...
-
2025-08-31 12:30 有鱼爱电影
-
- 苹果cmsv10搭建教程 苹果cms在线网站
-
互联网苹果cmsv10搭建教程的发展给传统企业带来的巨大的冲击苹果cmsv10搭建教程,越来越多的开始利用互联网拓展营销渠道。建立网站是众多企业首选的网络营销方式。而在建站过程中融入SEO技巧,有利于为后期网站运营和推广工作夯实基础。接...
-
2025-08-31 11:30 有鱼爱电影
-
- 包含网ip地址查询网站的词条
-
爱芒果32MQ1安装第三方电视APP看电视直播方法介绍。 方法一:最基本网ip地址查询网站的网ip地址查询网站,用U盘或者SD卡安装 将软件拷贝到U盘或SD卡里面网ip地址查询网站,插入到智能电视&盒子相对应网ip地址查询...
-
2025-08-31 06:30 有鱼爱电影
-
- 包含域名解析错误怎么解决的词条
-
什么样的人自学编程比较好? 什么样的人自学编程比较好? 最近很多遇到很多的编程的爱好者域名解析错误怎么解决,嚷着要加入自学编程的队伍中,说是对编程极为感兴趣,抱着很大的热情,但是过域名解析错误怎么解决了一段时间,很多还是默默...
-
2025-08-31 04:30 有鱼爱电影
-
- 包含域名备案流程腾讯云的词条
-
随着互联网域名备案流程腾讯云的飞速发展域名备案流程腾讯云,企业做网站的需求越来越大,但是绝大多数的企业主对网站建设并不了解,在寻找网站建设(www.jnqnweb.com)的公司时,并不会考虑太多,觉得只要价格合适就可以,匆匆做了网站,...
-
2025-08-30 23:30 有鱼爱电影
你 发表评论:
欢迎- 一周热门
- 最近发表
- 最新留言