skycaiji-蓝天采集器

No.112136MB

  • 应用详情

蓝天采集器介绍

蓝天采集器是一款免费无限制的爬虫系统,采用php+mysql开发可部署在云端服务器,实现电脑端、移动端使用浏览器即可采集数据,可对接任何cms系统,免登录实时发布数据,是大数据、云时代实现网站数据自动化采集发布的最佳云端爬虫软件。


蓝天采集器特点

1、数据采集

支持多级、多页、分页采集,自定义采集规则(支持正则、XPATH、JSON等)精准匹配任意信息流,几乎能采集所有类型的网页,绝大多数文章类型页面内容可实现智能识别

2、内容发布

无缝对接各类CMS建站程序,实现免登陆导入数据,支持自定义数据发布插件,也可以直接导入数据库、存储为Excel文件、生成API接口等

3、自动化及云平台

软件实现定时定量全自动采集发布,无需人工干预!内置云平台,用户可分享及下载采集规则,发布供求信息以及社区求助、交流等


蓝天采集器使用方法

蓝天采集器安装完成后,通过浏览器访问http://网址/,按指引完成网站数据初始化。


URLOS为你免费提供蓝天采集器一键安装,你可以在此快速安装蓝天采集器,还有蓝天采集器下载、蓝天采集器安装教程、蓝天采集器配置方法和蓝天采集器使用教程等相关内容,同时你还可以通过URLOS应用市场搜索与蓝天采集器同类或相关的应用。

一键安装“skycaiji-蓝天采集器”的方法:
export domains="website-112.com"
export ports="80 8080"
export dbPassword="dbPass1^" 
export sftpPassword="sftpPass1^" 
export appId="112"
export nodeId="1"
curl -O https://www.urlos.com/uai && sh uai

提示:双击修改安装脚本,然后复制到SSH客户端中安装即可!

1. 安装提示:请在纯净的或已安装URLOS的操作系统上安装此应用,支持Ubuntu-14.04以上、CentOS-7.0以上、Debian-8X以上的64位系统。如果已经安装了URLOS,请登录URLOS后在应用市场搜索并安装此应用!

2. 变量解释:domains为你的域名,ports为网站端口,dbPassword为数据库密码,sftpPassword为SFTP的密码(留空则不开通SFTP上传功能),appId为应用ID(请勿修改),nodeId为主机ID(一般不需修改);

3. 密码强度:必须含有小写字母,大写字母,数字和特殊字符(建议用^或#);

4. 域名证书:当ports的值为“80 443”时可自动申请并续签SSL证书!请先确保你的域名的A记录解析正确,否则会导致证书申请失败;

5. 数据信息:部署完成后,请打开www同级目录下的database-info.json文件查看数据库连接信息!

6. 更大惊喜:URLOS与其它应用一样运行在Docker容器中,可以在安装完应用后停止并删除,操作方法:使用SSH登录主机执行“docker stop urlos && docker rm urlos”即可删除URLOS,需要时再安装一下即可,超省资源!