基于设计原则的重构：数据采集爬虫系统示例
来源：dev.to
时间：2024-07-20 08:15:46 387浏览 收藏
亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《基于设计原则的重构：数据采集爬虫系统示例》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下，希望所有认真读完的童鞋们，都有实质性的提高。
介绍
提高代码质量始终是软件开发中的一个重要问题。在本文中，我们以数据收集爬虫系统为例，具体讲解如何通过逐步重构来应用设计原则和最佳实践。
改进前的代码
首先，我们从一个非常简单的网络抓取工具开始，所有功能都集成到一个类中。
由 deepl.com 翻译（免费版）
project_root/ ├── web_scraper.py ├── main.py └── requirements.txt
web_scraper.py
import requests
import json
import sqlite3
class webscraper:
def __init__(self, url):
self.url = url
def fetch_data(self):
response = requests.get(self.url)
data = response.text
parsed_data = self.parse_data(data)
enriched_data = self.enrich_data(parsed_data)
self.save_data(enriched_data)
return enriched_data
def parse_data(self, data):
return json.loads(data)
def enrich_data(self, data):
# apply business logic here
# example: extract only data containing specific keywords
return {k: v for k, v in data.items() if 'important' in v.lower()}
def save_data(self, data):
conn = sqlite3.connect('test.db')
cursor = conn.cursor()
cursor.execute('insert into data (json_data) values (?)', (json.dumps(data),))
conn.commit()
conn.close()
main.py
from web_scraper import webscraper
def main():
scraper = webscraper('https://example.com/api/data')
data = scraper.fetch_data()
print(data)
if __name__ == "__main__":
main()
需要改进的地方
- 违反了单一职责原则：一个类负责所有数据采集、分析、丰富和存储
- 业务逻辑不清晰：业务逻辑嵌入在enrich_data方法中，但与其他处理混合在一起
- 缺乏可重用性：功能紧密耦合，导致单独重用困难
- 测试难点：难以独立测试各个功能
- 配置刚性：数据库路径和其他设置直接嵌入代码中
重构阶段
1、职责分离：数据采集、分析、存储分离
- 重大变化：将数据采集、分析和存储的职责分离到不同的类中
- 目标：应用单一责任原则，引入环境变量
目录结构
project_root/ ├── data_fetcher.py ├── data_parser.py ├── data_saver.py ├── data_enricher.py ├── web_scraper.py ├── main.py └── requirements.txt
data_enricher.py
class dataenricher:
def enrich(self, data):
return {k: v for k, v in data.items() if 'important' in v.lower()}
web_scraper.py
from data_fetcher import datafetcher
from data_parser import dataparser
from data_enricher import dataenricher
from data_saver import datasaver
class webscraper:
def __init__(self, url):
self.url = url
self.fetcher = datafetcher()
self.parser = dataparser()
self.enricher = dataenricher()
self.saver = datasaver()
def fetch_data(self):
raw_data = self.fetcher.fetch(self.url)
parsed_data = self.parser.parse(raw_data)
enriched_data = self.enricher.enrich(parsed_data)
self.saver.save(enriched_data)
return enriched_data
此更改明确了每个类的职责并提高了可重用性和可测试性。然而，业务逻辑仍然嵌入在 dataenricher 类中。
2.接口介绍和依赖注入
- 主要变化：引入接口并实现依赖注入。
- 目的：增加灵活性和可扩展性，扩展环境变量，抽象业务逻辑
目录结构
project_root/ ├── interfaces/ │ ├── __init__.py │ ├── data_fetcher_interface.py │ ├── data_parser_interface.py │ ├── data_enricher_interface.py │ └── data_saver_interface.py ├── implementations/ │ ├── __init__.py │ ├── http_data_fetcher.py │ ├── json_data_parser.py │ ├── keyword_data_enricher.py │ └── sqlite_data_saver.py ├── web_scraper.py ├── main.py └── requirements.txt
接口/data_fetcher_interface.py
from abc import abc, abstractmethod
class datafetcherinterface(abc):
@abstractmethod
def fetch(self, url: str) -> str:
pass
接口/data_parser_interface.py
from abc import abc, abstractmethod
from typing import dict, any
class dataparserinterface(abc):
@abstractmethod
def parse(self, raw_data: str) -> dict[str, any]:
pass
接口/data_enricher_interface.py
from abc import abc, abstractmethod
from typing import dict, any
class dataenricherinterface(abc):
@abstractmethod
def enrich(self, data: dict[str, any]) -> dict[str, any]:
pass
接口/data_saver_interface.py
from abc import abc, abstractmethod
from typing import dict, any
class datasaverinterface(abc):
@abstractmethod
def save(self, data: dict[str, any]) -> none:
pass
实现/keyword_data_enricher.py
import os
from interfaces.data_enricher_interface import dataenricherinterface
class keyworddataenricher(dataenricherinterface):
def __init__(self):
self.keyword = os.getenv('important_keyword', 'important')
def enrich(self, data):
return {k: v for k, v in data.items() if self.keyword in str(v).lower()}
web_scraper.py
from interfaces.data_fetcher_interface import datafetcherinterface
from interfaces.data_parser_interface import dataparserinterface
from interfaces.data_enricher_interface import dataenricherinterface
from interfaces.data_saver_interface import datasaverinterface
class webscraper:
def __init__(self, fetcher: datafetcherinterface, parser: dataparserinterface,
enricher: dataenricherinterface, saver: datasaverinterface):
self.fetcher = fetcher
self.parser = parser
self.enricher = enricher
self.saver = saver
def fetch_data(self, url):
raw_data = self.fetcher.fetch(url)
parsed_data = self.parser.parse(raw_data)
enriched_data = self.enricher.enrich(parsed_data)
self.saver.save(enriched_data)
return enriched_data
现阶段主要变化是
- 引入接口以方便切换到不同的实现
- 依赖注入让webscraper类更加灵活
- fetch_data 方法已更改为以 url 作为参数，使 url 规范更加灵活。
- 业务逻辑被抽象为dataenricherinterface并实现为keyworddataenricher。
- 允许使用环境变量设置关键字，使业务逻辑更加灵活。
这些改变极大地提高了系统的灵活性和可扩展性。然而，业务逻辑仍然嵌入在 dataenricherinterface 及其实现中。下一步是进一步分离这个业务逻辑，并将其明确定义为领域层。
3.领域层的引入和业务逻辑的分离
上一步中，接口的引入增加了系统的灵活性。但是，业务逻辑（在本例中为数据重要性确定和过滤）仍然被视为数据层的一部分。基于领域驱动设计的理念，将此业务逻辑视为系统的中心概念，并将其实现为独立的领域层，可以带来以下好处
- 业务逻辑集中管理
- 通过领域模型更具表现力的代码
- 更改业务规则具有更大的灵活性
- 易于测试
更新了目录结构：
project_root/ ├── domain/ │ ├── __init__.py │ ├── scraped_data.py │ └── data_enrichment_service.py ├── data/ │ ├── __init__.py │ ├── interfaces/ │ │ ├── __init__.py │ │ ├── data_fetcher_interface.py │ │ ├── data_parser_interface.py │ │ └── data_saver_interface.py │ ├── implementations/ │ │ ├── __init__.py │ │ ├── http_data_fetcher.py │ │ ├── json_data_parser.py │ │ └── sqlite_data_saver.py ├── application/ │ ├── __init__.py │ └── web_scraper.py ├── main.py └── requirements.txt
现阶段，dataenricherinterface 和 keyworddataenricher 的角色将转移到领域层的 scrapeddata 模型和 dataenrichmentservice 中。下面提供了此更改的详细信息。
变更前（第 2 部分）
class dataenricherinterface(abc):
@abstractmethod
def enrich(self, data: dict[str, any]) -> dict[str, any]:
pass
class keyworddataenricher(dataenricherinterface):
def __init__(self):
self.keyword = os.getenv('important_keyword', 'important')
def enrich(self, data):
return {k: v for k, v in data.items() if self.keyword in str(v).lower()}
修改后（第3部分）
@dataclass
class scrapeddata:
content: dict[str, any]
source_url: str
def is_important(self) -> bool:
important_keyword = os.getenv('important_keyword', 'important')
return any(important_keyword in str(v).lower() for v in self.content.values())
class dataenrichmentservice:
def __init__(self):
self.important_keyword = os.getenv('important_keyword', 'important')
def enrich(self, data: scrapeddata) -> scrapeddata:
if data.is_important():
enriched_content = {k: v for k, v in data.content.items() if self.important_keyword in str(v).lower()}
return scrapeddata(content=enriched_content, source_url=data.source_url)
return data
此更改改进了以下内容。
业务逻辑已移至领域层，消除了对 dataenricherinterface 的需求。
keyworddataenricher 功能已合并到 dataenrichmentservice 中，将业务逻辑集中在一处。
scrapeddata 模型中添加了 is_important 方法。这使得领域模型本身负责确定数据的重要性，并使领域概念更加清晰。
dataenrichmentservice 现在直接处理 scrapeddata 对象，提高类型安全性。
webscraper 类也将更新以反映此更改。
from data.interfaces.data_fetcher_interface import DataFetcherInterface
from data.interfaces.data_parser_interface import DataParserInterface
from data.interfaces.data_saver_interface import DataSaverInterface
from domain.scraped_data import ScrapedData
from domain.data_enrichment_service import DataEnrichmentService
class WebScraper:
def __init__(self, fetcher: DataFetcherInterface, parser: DataParserInterface,
saver: DataSaverInterface, enrichment_service: DataEnrichmentService):
self.fetcher = fetcher
self.parser = parser
self.saver = saver
self.enrichment_service = enrichment_service
def fetch_data(self, url: str) -> ScrapedData:
raw_data = self.fetcher.fetch(url)
parsed_data = self.parser.parse(raw_data)
scraped_data = ScrapedData(content=parsed_data, source_url=url)
enriched_data = self.enrichment_service.enrich(scraped_data)
self.saver.save(enriched_data)
return enriched_data
这一改变将业务逻辑从数据层完全转移到了领域层，使系统的结构更加清晰。删除 dataenricherinterface 并引入 dataenrichmentservice 不仅仅是接口替换，而是业务逻辑处理方式的根本性改变。
概括
本文演示了如何通过数据收集爬虫系统的逐步重构过程来提高代码质量并应用设计原则。主要改进的地方如下。
- 职责分离：应用单一职责原则，我们将数据获取、解析、丰富和存储分离到不同的类中。
- 接口和依赖注入的引入：大大增加了系统的灵活性和可扩展性，更容易切换不同的实现。
- 引入领域模型和服务：清晰分离业务逻辑，定义系统核心概念。
- 采用分层架构：明确分离领域、数据和应用层，并定义各层的职责。 5.维护接口：维护数据层的抽象，以确保实现的灵活性。
这些改进极大地增强了系统的模块化、可复用性、可测试性、可维护性和可扩展性。特别是，通过应用领域驱动设计的一些概念，业务逻辑变得更加清晰，结构更加灵活，以适应未来需求的变化。同时，通过维护接口，我们确保了轻松更改和扩展数据层实现的灵活性。
需要注意的是，这个重构过程不是一次性的，而是持续改进过程的一部分。根据项目的规模和复杂程度，在适当的级别采用设计原则和 ddd 概念并进行渐进式改进非常重要。
最后，本文介绍的方法可以应用于各种软件项目，而不仅仅是数据收集爬虫。我们鼓励您在提高代码质量和设计时将它们用作参考。
到这里，我们也就讲完了《基于设计原则的重构：数据采集爬虫系统示例》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！
声明：本文转载于：dev.to 如有侵犯，请联系study_golang@163.com删除
相关阅读
更多>
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
最新阅读
更多>
-
123 收藏
-
189 收藏
-
492 收藏
-
192 收藏
-
201 收藏
-
272 收藏
课程推荐
更多>
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 立即学习 541次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 立即学习 506次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 立即学习 484次学习