登录
Pholcus(幽灵蛛)爬虫软件
分类:Golang源码 访问:367 下载量:0

软件介绍

更新时间:2023-02-21

Pholcus(幽灵蛛)是一款纯Go语言编写的支持分布式的高并发、重量级爬虫软件,定位于互联网数据采集,为具备一定Go或JS编程基础的人提供一个只需关注规则定制的功能强大的爬虫工具。

它支持单机、服务端、客户端三种运行模式,拥有Web、GUI、命令行三种操作界面;规则简单灵活、批量任务并发、输出方式丰富(mysql/mongodb/csv/excel等)、有大量Demo共享;另外它还支持横纵向两种抓取模式,支持模拟登录和任务暂停、取消等一系列高级功能。

框架特点:
1、为具备一定Go或JS编程基础的用户提供只需关注规则定制、功能完备的重量级爬虫工具;
2、支持单机、服务端、客户端三种运行模式;
3、GUI(Windows)、Web、Cmd 三种操作界面,可通过参数控制打开方式;
4、支持状态控制,如暂停、恢复、停止等;
5、可控制采集量;
6、可控制并发协程数;
7、支持多采集任务并发执行;
8、支持代理IP列表,可控制更换频率;
9、支持采集过程随机停歇,模拟人工行为;
10、根据规则需求,提供自定义配置输入接口
11、有mysql、mongodb、csv、excel、原文件下载共五种输出方式;
12、支持分批输出,且每批数量可控;
13、支持静态Go和动态JS两种采集规则,支持横纵向两种抓取模式,且有大量Demo;
14、持久化成功记录,便于自动去重;
15、序列化失败请求,支持反序列化自动重载处理;
16、采用surfer高并发下载器,支持 GET/POST/HEAD 方法及 http/https 协议,同时支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式,高度模拟浏览器行为,可实现模拟登录等功能;
17、服务器/客户端模式采用Teleport高并发SocketAPI框架,全双工长连接通信,内部数据传输格式为JSON。

本站所有资源都是由网友投稿发布,或转载各大下载站, 请自行检测软件的完整性!

本站所有资源仅供学习与参考,请勿用于商业用途,否则 产生的一切后果将由您自己承担!

如有侵权请联系我们删除下架,联系方式:study_golang@163.com

最新教程

查看更多
  • Vue.js 微实战--十天技能课堂
    Vue.js 微实战--十天技能课堂
    咨询微信:ycku_com;该课程是一门实战性质的课程,重点围绕Vue.js框架展开。课程中包含了四个小实战项目:计算器、打卡、史今查询和手机归属地。学习者将通过这些实际的小项目,学会如何使用Vue.js框架构建各种类型的应用。从简单的计算器到更复杂的打卡系统、查询功能和API调用,学习者将掌握Vue.js的核心概念、组件化开发、状态管理以及与后端API的交互。通过这些实战项目,学习者将能够获得丰
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让学生了解MySQL如何与客户端进行通信。此外,课程还将介绍如何优化MySQL的网络通信性能,包括连接池、网络压缩、SSL加密等高级技术。学生将通过实践项目,亲手
  • golang socket 编程
    golang socket 编程
    如有问题加微信:Le-studyg;本课程从基础概念讲起,涵盖了socket编程的核心概念、Golang的socket编程接口、常见协议和案例实战等内容。通过系统地学习,学员将掌握如何使用Golang进行高效的socket编程,从而为开发高性能的网络应用打下坚实的基础。
  • Golang云原生架构师课程
    Golang云原生架构师课程
    Go是一门并发支持、垃圾回收的编译型系统编程语言;本课程转载自哔哩哔哩:https://www.bilibili.com/video/BV1Mh411M7A
  • Golang深入理解GPM模型
    Golang深入理解GPM模型
    Golang深入理解GPM调度器模型及全场景分析,希望您看完这套视频有所收获;包括调度器的由来和分析、GMP模型简介、以及11个场景总结。
  • Go语言课程Gin框架实战
    Go语言课程Gin框架实战
    Gin是一个用Go(Golang)编写的HTTPweb框架。它是一个类似于 martini 但拥有更好性能的API框架,由于 httprouter,速度提高了近40倍。如果你需要极好的性能,使用Gin吧。