LetsScrapeData扩展:全面解析模板管理与数据抓取
LetsScrapeData扩展为用户提供了高效管理模板XML和相关语言配置的工具。无论您是新手还是专业用户,都可以通过快速入门指南或YouTube视频教程深入了解该扩展的使用方法。
概念简介
在LetsScrapeData中,模板(通过templateId或tid标识)定义了如何从特定域名(domainId)的网站上抓取数据,并将这些数据保存到指定的表(tabname)中。一个完整的模板由两部分组成:模板配置(template config)和模板语言(template lang)。
- 模板配置:一个XML文件,定义了数据抓取的具体动作,同时包含主要的语言配置。
- 模板语言:用于高级语言配置的部分。
主要功能
- 添加模板配置:创建新的XML文件(tid=0),输入并添加“lsd”块(默认快捷键:Ctrl Alt S)。
- 保存模板配置:编辑XML文件(tid>0)并保存模板(默认快捷键:Ctrl Alt S)。
- 保存模板语言:根据XML/JSON/HTML文件生成并保存语言配置,详细信息请参考相关文档(默认快捷键:Ctrl Alt L)。
- 提交模板配置与语言:验证模板和语言配置,如果正确则提交(此命令不保存配置!)(默认快捷键:Ctrl Alt C)。
- 获取新表名:获取用于保存域名数据的新表名。
- 搜索域名:根据部分域名搜索域名。
- 搜索模板:搜索特定domainId的模板,如果domainId为空,则搜索所有domainId的模板。
- 搜索表名:搜索特定domainId的表名,如果domainId为空,则搜索所有domainId的表名。
- 获取模板配置:通过tid获取模板的XML。
- 获取模板语言:获取当前模板的语言配置(XML)。
- 执行模板:使用参数字符串(paras)执行模板。
- 执行所有动作:执行模板的所有动作(默认快捷键:Ctrl Alt A)。
- 执行部分动作:执行模板的部分动作(默认快捷键:Ctrl Alt P)。
- 提取特定列:提取选定的列(默认快捷键:Ctrl Alt F,vim正常模式下Shift F)。
- 编辑元素标签的loc属性时的自动完成(仅支持CSS选择器):loc属性支持CSS选择器和Xpath。
- ID选择器:触发字符“#”,如loc="div#"。
- 类选择器:触发字符“%”,如loc="div%"。
- 属性选择器(属性名):触发字符“[”,如loc="div["。
- 属性选择器(属性值):触发字符“!”,如loc="a[href=!"。
- 显示第一个选定元素的外部XML:
- 在聚焦于列行时显示第一个元素的外部XML(参考“提取特定列”)。
- 在聚焦于元素行或其他行(父元素)时显示第一个元素的外部XML(命令“显示父XML”,默认快捷键:Ctrl Alt T,或vim正常模式下Shift T)。
相关扩展
- 依赖扩展:由Red Hat提供的“XML”。
- 建议扩展:如果您想在vim正常模式下使用键盘快捷键(Shift T,Shift F),建议使用由vscodevim提供的“Vim”扩展。
如何添加/更新模板
- 首先,您必须决定模板的domainId和tabname(s)。模板和tabname(s)必须具有相同的domainId。您可以通过“搜索域名”命令获取domainName的domainId。
- 如果需要,获取相关domainId的新tabname(s),或者如果它们保存相同的数据,可以重用与其他模板的tabname(s)。
- 创建或更新模板和语言配置。
- 通过执行模板测试模板。
- 添加/保存模板:如果tid为0,则添加;如果tid>0,则保存模板。
- 保存模板语言配置。
- 如果需要,重复步骤3至6。
- 提交模板和语言配置。
本站所有资源都是由网友投稿发布,或转载各大下载站,
请自行检测软件的完整性!
本站所有资源仅供学习与参考,请勿用于商业用途,否则
产生的一切后果将由您自己承担!
如有侵权请联系我们删除下架,联系方式:study_golang@163.com