登录
LetsScrapeData
分类:工具软件 访问:35 下载量:0

软件介绍

更新时间:2025-05-24

LetsScrapeData扩展:全面解析模板管理与数据抓取

LetsScrapeData扩展为用户提供了高效管理模板XML和相关语言配置的工具。无论您是新手还是专业用户,都可以通过快速入门指南或YouTube视频教程深入了解该扩展的使用方法。

概念简介

在LetsScrapeData中,模板(通过templateId或tid标识)定义了如何从特定域名(domainId)的网站上抓取数据,并将这些数据保存到指定的表(tabname)中。一个完整的模板由两部分组成:模板配置(template config)和模板语言(template lang)。

  • 模板配置:一个XML文件,定义了数据抓取的具体动作,同时包含主要的语言配置。
  • 模板语言:用于高级语言配置的部分。

主要功能

  • 添加模板配置:创建新的XML文件(tid=0),输入并添加“lsd”块(默认快捷键:Ctrl Alt S)。
  • 保存模板配置:编辑XML文件(tid>0)并保存模板(默认快捷键:Ctrl Alt S)。
  • 保存模板语言:根据XML/JSON/HTML文件生成并保存语言配置,详细信息请参考相关文档(默认快捷键:Ctrl Alt L)。
  • 提交模板配置与语言:验证模板和语言配置,如果正确则提交(此命令不保存配置!)(默认快捷键:Ctrl Alt C)。
  • 获取新表名:获取用于保存域名数据的新表名。
  • 搜索域名:根据部分域名搜索域名。
  • 搜索模板:搜索特定domainId的模板,如果domainId为空,则搜索所有domainId的模板。
  • 搜索表名:搜索特定domainId的表名,如果domainId为空,则搜索所有domainId的表名。
  • 获取模板配置:通过tid获取模板的XML。
  • 获取模板语言:获取当前模板的语言配置(XML)。
  • 执行模板:使用参数字符串(paras)执行模板。
    • 执行所有动作:执行模板的所有动作(默认快捷键:Ctrl Alt A)。
    • 执行部分动作:执行模板的部分动作(默认快捷键:Ctrl Alt P)。
    • 提取特定列:提取选定的列(默认快捷键:Ctrl Alt F,vim正常模式下Shift F)。
  • 编辑元素标签的loc属性时的自动完成(仅支持CSS选择器):loc属性支持CSS选择器和Xpath。
    • ID选择器:触发字符“#”,如loc="div#"。
    • 类选择器:触发字符“%”,如loc="div%"。
    • 属性选择器(属性名):触发字符“[”,如loc="div["。
    • 属性选择器(属性值):触发字符“!”,如loc="a[href=!"。
  • 显示第一个选定元素的外部XML
    • 在聚焦于列行时显示第一个元素的外部XML(参考“提取特定列”)。
    • 在聚焦于元素行或其他行(父元素)时显示第一个元素的外部XML(命令“显示父XML”,默认快捷键:Ctrl Alt T,或vim正常模式下Shift T)。

相关扩展

  • 依赖扩展:由Red Hat提供的“XML”。
  • 建议扩展:如果您想在vim正常模式下使用键盘快捷键(Shift T,Shift F),建议使用由vscodevim提供的“Vim”扩展。

如何添加/更新模板

  1. 首先,您必须决定模板的domainId和tabname(s)。模板和tabname(s)必须具有相同的domainId。您可以通过“搜索域名”命令获取domainName的domainId。
  2. 如果需要,获取相关domainId的新tabname(s),或者如果它们保存相同的数据,可以重用与其他模板的tabname(s)。
  3. 创建或更新模板和语言配置。
  4. 通过执行模板测试模板。
  5. 添加/保存模板:如果tid为0,则添加;如果tid>0,则保存模板。
  6. 保存模板语言配置。
  7. 如果需要,重复步骤3至6。
  8. 提交模板和语言配置。

本站所有资源都是由网友投稿发布,或转载各大下载站, 请自行检测软件的完整性!

本站所有资源仅供学习与参考,请勿用于商业用途,否则 产生的一切后果将由您自己承担!

如有侵权请联系我们删除下架,联系方式:study_golang@163.com

最新教程

查看更多
  • Golang云原生架构师课程
    Golang云原生架构师课程
    Go是一门并发支持、垃圾回收的编译型系统编程语言;本课程转载自哔哩哔哩:https://www.bilibili.com/video/BV1Mh411M7A
  • MySQL数据管理之备份恢复案例解析视频教程
    MySQL数据管理之备份恢复案例解析视频教程
    《MySQL数据管理之备份恢复案例解析视频教程》MySQL是一个开放源码的小型关联式数据库管理系统,目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。
  • MySQL索引优化解决方案
    MySQL索引优化解决方案
    本套课程是根据MySQL索引的设计理念与数据结构、索引使用场景、索引分类、索引运用场景、索引性能分析、查询优化、MySQL索引的慢查询等组成,主要讲述了MySQL索引优化的解决方案,非常适合有MySQL使用基础或者有一定工作经验的同学。课程讲解了解决大数量查询慢的问题、如何编写一个高效的SQL、查询语句应该如何优化、索引的实现原理是什么、索引又应该如何优化...等诸多SQL索引优化的难点和面试点。
  • 极客学院Docker视频教程
    极客学院Docker视频教程
    Docker是PaaS提供商dotCloud开源的一个基于LXC的高级容器引擎,源代码托管在Github上,基于go语言并遵从Apache2.0协议开源。Docker自2013年以来非常火热,无论是从github上的代码活跃度,还是各大厂商的支持,都使Docker成为了时下最受关注的技术,甚至微软都声称在下一代WindowsServer中集成对Docker的支持。所以我们收集了《极客学院Docke
  • Golang进阶实战编程
    Golang进阶实战编程
    本课程是在《Go语言基础视频》基础之上录制的,是Go语言基础的后半部分。包括包的管理,IO操作,Go语言最大的亮点:高并发,goroutine,channel,反射等。本视频主要为了帮助Go语言的初学者,从零到一的快速入门。学完本套课程,可以学会如果通过包管理Go项目,并发模型,以及并发实现,channel通道如何传递数据,反射等等。
  • JavaScript极速入门
    JavaScript极速入门
    本套课程将帮助大家迅速掌握JavaScript这门高端的、动态的、弱类型编程语言。知识点简单明了,让你学习0压力,适合新手观看学习......