使用 golang 脚本从 clickhouse 查询超出 max_query_size 时出现问题

小伙伴们对Golang编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《使用 golang 脚本从 clickhouse 查询超出 max_query_size 时出现问题》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

从 clickhouse 查询时出现问题，出现错误。 我一口气传递了超过 20 万条信息，但从 clickhouse 收到错误

*语法错误：在位置 262140 (''suleuha.net'') 处失败：'suleuha.net'、'diagonsys.com'、'scala.com'、'omegahns.com'、'jagrannewmedia .com'、'7ty7.com'、'bitseducampus.ac.in'、'creationspo.com'、'mafoirandstod.com'、'c。超出最大查询大小：''suleuha.net''

func errorLog(err error){
 log.Errorf(err)
}
func connect(host, port) (*sql.DB, error){
connect, err := sql.Open("clickhouse", "tcp://"+host+":"+port+ "?debug=false")
    connect.SetMaxOpenConns(5)
    connect.SetMaxIdleConns(5)
    return connect, err
}

func query() *sql.Rows{
query := fmt.Sprint("SELECT entry FROM db.suppressdomains WHERE entry IN ('" + domains + "') and scat != 'ignore'")
    result, err := clickdb.Query(query)
    errorLog(err)
    return result
}

正确答案

我在 Java Clickhouse 驱动程序上遇到了同样的问题。 我不知道Go驱动是如何制作的，但很可能你达到了HTTP协议的限制。

这是因为 Clickhouse HTTP 接口正在从 HTTP 请求的 URL 部分读取请求。标头有最大尺寸。

就我而言，我试图将 INSERT INTO ... (..) 与数千列。 Clickhouse Java 驱动程序中的修复允许将整个请求放入 HTTP 正文而不是 HTTP 标头中。 HTTP POST 正文没有限制。

在你的情况下，我建议改变你的方法，每次发送所有这些字符串似乎是一个糟糕的设计。 您可以将这些值插入 Clickhouse 的表中。

而且还要在 Go 项目的 github 上创建一个票证。请求必须位于正文中，而不是标头中。

示例：https://clickhouse.com/docs/en/interfaces/http/#:~:text=%24%20echo%20%27SELECT%201%27%20%7C%20curl%20%27http%3A//localhost%3A8123/%27%20%2D%2Ddata%2Dbinary%20%40%2D%0A1%0A%0A%24%20echo%20%27SELECT%201%27%20%7C%20curl%20%27http%3A//localhost%3A8123/%3Fquery%3D%27%20%2D%2Ddata%2Dbinary%20%40%2D%0A1%0A%0A%24%20echo%20%271%27%20%7C%20curl%20%27http%3A//localhost%3A8123/%3Fquery%3DSELECT%27%20%2D%2Ddata%2Dbinary%20%40%2D%0A1

到这里，我们也就讲完了《使用 golang 脚本从 clickhouse 查询超出 max_query_size 时出现问题》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！