案例(一)-KisFlow-Golang流实时计算-快速入门指南
来源:dev.to
时间:2024-07-09 19:42:55 260浏览 收藏
今日不肯埋头,明日何以抬头!每日一句努力自己的话哈哈~哈喽,今天我将给大家带来一篇《案例(一)-KisFlow-Golang流实时计算-快速入门指南》,主要内容是讲解等等,感兴趣的朋友可以收藏或者有更好的建议在评论提出,我都会认真看的!大家一起进步,一起学习!

Github:https://github.com/aceld/kis-flow
文档:https://github.com/aceld/kis-flow/wiki
第 1 部分-概览
Part2.1-项目构建/基础模块
Part2.2-项目构建/基础模块
第三部分-数据流
Part4-功能调度
第5部分-连接器
Part6-配置导入导出
Part7-KisFlow 动作
Part8-Cache/Params 数据缓存和数据参数
Part9-流程的多份副本
Part10-Prometheus Metrics 统计
Part11-基于反射的FaaS参数类型自适应注册
案例1-快速入门
Case2-流程并行操作
Case3-KisFlow在多Goroutine中的应用
下载 KisFlow 源代码
$前往 github.com/aceld/kis-flow
KisFlow 开发者文档
- KisFlow 快速入门(使用配置文件) 源代码示例: kis-flow-usage/2-quick_start_with_config 位于 main · acld/kis-flow-usage
首先,让我们创建一个具有以下文件结构的项目:
项目目录
├── Makefile ├── 会议 │ ├── flow-CalStuAvgScore.yml │ ├── func-AvgStuScore.yml │ └── func-PrintStuAvgScore.yml ├── faas_stu_score_avg.go ├── faas_stu_score_avg_print.go └── main.go
流动
定义当前Flow。目前的Flow名为“CalStuAvgScore”,是一个计算学生平均成绩的数据流。
定义两个函数。 Function1是Calculate,是计算学生平均成绩的逻辑,Function2是Expand,是打印最终结果
配置
Flow 和 Functions 的配置文件如下:
(1) 流程配置
conf/flow-CalStuAvgScore.yml
kistype:流动 状态:1 flow_name:CalStuAvgScore 流量: - 文件名称:AvgStuScore - 文件名称:PrintStuAvgScore
(2) 功能1配置
conf/func-AvgStuScore.yml
kistype:功能 文件名称:AvgStuScore fmode:计算 来源: 名称: 学生成绩 必须: - 学生ID
(3)功能2配置
conf/func-PrintStuAvgScore.yml
kistype:功能 文件名称:PrintStuAvgScore fmode:展开 来源: 名称: 学生成绩 必须: - 学生ID
主要的
接下来是主要逻辑,分为三步:
- 加载配置文件并获取Flow实例。
- 提交数据。
- 运行流程。
main.go
包主
进口 (
“语境”
“FMMT”
“github.com/aceld/kis-flow/file”
“github.com/aceld/kis-flow/kis”
)
函数主() {
ctx := context.Background()
// 从文件加载配置
if err := file.ConfigImportYaml("conf/");错误!=零{
恐慌(错误)
}
// 获取流量
flow1 := kis.Pool().GetFlow("CalStuAvgScore")
如果流 1 == nil {
恐慌(“流1为零”)
}
// 提交字符串
_ = flow1.CommitRow(`{"stu_id":101, "score_1":100, "score_2":90, "score_3":80}`)
// 提交字符串
_ = flow1.CommitRow(`{"stu_id":102, "score_1":100, "score_2":70, "score_3":60}`)
// 运行流程
if err := flow1.Run(ctx);错误!=零{
fmt.Println("错误:",错误)
}
返回
}
功能1
第一个计算过程的实现逻辑如下。 AvgStuScoreIn 是输入数据类型,目前包含三个分数,AvgStuScoreOut 是输出数据类型,是平均分数。
faas_stu_score_avg.go
包主
进口 (
“语境”
“github.com/aceld/kis-flow/kis”
“github.com/aceld/kis-flow/serialize”
)
类型 AvgStuScoreIn 结构体 {
序列化.DefaultSerialize
StuId int `json:"stu_id"`
Score1 int `json:"score_1"`
Score2 int `json:"score_2"`
Score3 int `json:"score_3"`
}
类型 AvgStuScoreOut 结构体 {
序列化.DefaultSerialize
StuId int `json:"stu_id"`
AvgScore float64 `json:"avg_score"`
}
// AvgStuScore(FaaS) 计算学生的平均成绩
func AvgStuScore(ctx context.Context, flow kis.Flow, rows []*AvgStuScoreIn) error {
对于 _, row := 范围行 {
输出 := AvgStuScoreOut{
StuId:行.StuId,
平均得分:float64(行.得分1+行.得分2+行.得分3) / 3,
}
// 提交结果数据
_ = flow.CommitRow(out)
}
返回零
}
功能2
打印的逻辑是直接打印数据,如下
faas_stu_score_avg_print.go
包主
进口 (
“语境”
“FMMT”
“github.com/aceld/kis-flow/kis”
“github.com/aceld/kis-flow/serialize”
)
类型 PrintStuAvgScoreIn 结构体 {
序列化.DefaultSerialize
StuId int `json:"stu_id"`
AvgScore float64 `json:"avg_score"`
}
类型 PrintStuAvgScoreOut 结构体 {
序列化.DefaultSerialize
}
func PrintStuAvgScore(ctx context.Context, flow kis.Flow, rows []*PrintStuAvgScoreIn) error {
对于 _, row := 范围行 {
fmt.Printf("stuid: [%+v], 平均成绩: [%+v]n", row.StuId, row.AvgScore)
}
返回零
}
输出
最后运行程序,得到如下结果:
添加 KisPool FuncName=AvgStuScore 添加 KisPool FuncName=PrintStuAvgScore 添加 FlowRouter FlowName=CalStuAvgScore 学生:[101],平均分数:[90] 学习:[102],平均分数:[76.66666666666667]
2.KisFlow快速入门(使用原生接口,动态配置)
源代码示例:kis-flow-usage/1-quick_start at main · acld/kis-flow-usage
项目目录
├── faas_stu_score_avg.go ├── faas_stu_score_avg_print.go └── main.go
流动
主要的
main.go
包主
进口 (
“语境”
“FMMT”
“github.com/aceld/kis-flow/common”
“github.com/aceld/kis-flow/config”
“github.com/aceld/kis-flow/flow”
“github.com/aceld/kis-flow/kis”
)
函数主() {
ctx := context.Background()
// 创建新的流配置
myFlowConfig1 := config.NewFlowConfig("CalStuAvgScore", common.FlowEnable)
// 创建新的函数配置
avgStuScoreConfig := config.NewFuncConfig("AvgStuScore", common.C, nil, nil)
printStuScoreConfig := config.NewFuncConfig("PrintStuAvgScore", common.E, nil, nil)
// 创建一个新流
flow1 := flow.NewKisFlow(myFlowConfig1)
// 将函数链接到流程
_ = flow1.Link(avgStuScoreConfig, nil)
_ = flow1.Link(printStuScoreConfig, nil)
// 提交字符串
_ = flow1.CommitRow(`{"stu_id":101, "score_1":100, "score_2":90, "score_3":80}`)
// 提交字符串
_ = flow1.CommitRow(`{"stu_id":102, "score_1":100, "score_2":70, "score_3":60}`)
// 运行流程
if err := flow1.Run(ctx);错误!=零{
fmt.Println("错误:",错误)
}
返回
}
函数初始化(){
// 注册函数
kis.Pool().FaaS("AvgStuScore", AvgStuScore)
kis.Pool().FaaS("PrintStuAvgScore", PrintStuAvgScore)
}
功能1
faas_stu_score_avg.go
包主
进口 (
“语境”
“github.com/aceld/kis-flow/kis”
“github.com/aceld/kis-flow/serialize”
)
类型 AvgStuScoreIn 结构体 {
序列化.DefaultSerialize
StuId int `json:"stu_id"`
Score1 int `json:"score_1"`
Score2 int `json:"score_2"`
Score3 int `json:"score_3"`
}
类型 AvgStuScoreOut 结构体 {
序列化.DefaultSerialize
StuId int `json:"stu_id"`
AvgScore float64 `json:"avg_score"`
}
// AvgStuScore(FaaS) 计算学生的平均成绩
func AvgStuScore(ctx context.Context, flow kis.Flow, rows []*AvgStuScoreIn) error {
对于 _, row := 范围行 {
输出 := AvgStuScoreOut{
StuId:行.StuId,
平均得分:float64(行.得分1+行.得分2+行.得分3) / 3,
}
// 提交结果数据
_ = flow.CommitRow(out)
}
返回零
}
功能2
faas_stu_score_avg_print.go
包主
进口 (
“语境”
“FMMT”
“github.com/aceld/kis-flow/kis”
“github.com/aceld/kis-flow/serialize”
)
类型 PrintStuAvgScoreIn 结构 {
序列化.DefaultSerialize
StuId int `json:"stu_id"`
AvgScore float64 `json:"avg_score"`
}
类型 PrintStuAvgScoreOut 结构体 {
序列化.DefaultSerialize
}
func PrintStuAvgScore(ctx context.Context, flow kis.Flow, rows []*PrintStuAvgScoreIn) error {
对于 _, row := 范围行 {
fmt.Printf("stuid: [%+v], 平均成绩: [%+v]n", row.StuId, row.AvgScore)
}
返回零
}
输出
添加 KisPool FuncName=AvgStuScore 添加 KisPool FuncName=PrintStuAvgScore funcName NewConfig 源为零,funcName = AvgStuScore,使用默认的未命名源。 funcName NewConfig 源为零,funcName = PrintStuAvgScore,使用默认的未命名源。 学生:[101],平均分数:[90] 学习:[102],平均分数:[76.66666666666667]
作者:Aceld
GitHub:https://github.com/aceld
KisFlow 开源项目地址:https://github.com/aceld/kis-flow
文档:https://github.com/aceld/kis-flow/wiki
第 1 部分-概览
Part2.1-项目构建/基础模块
Part2.2-项目构建/基础模块
第三部分-数据流
Part4-功能调度
第5部分-连接器
Part6-配置导入导出
Part7-KisFlow 动作
Part8-Cache/Params 数据缓存和数据参数
Part9-流程的多份副本
Part10-Prometheus Metrics 统计
Part11-基于反射的FaaS参数类型自适应注册
案例1-快速入门
Case2-Flow并行运行
Case3-KisFlow在多Goroutine中的应用
以上就是《案例(一)-KisFlow-Golang流实时计算-快速入门指南》的详细内容,更多关于的资料请关注golang学习网公众号!
-
505 收藏
-
503 收藏
-
502 收藏
-
502 收藏
-
502 收藏
-
397 收藏
-
375 收藏
-
456 收藏
-
473 收藏
-
296 收藏
-
231 收藏
-
172 收藏
-
470 收藏
-
463 收藏
-
254 收藏
-
401 收藏
-
380 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习