首页 > Golang > Go教程

Golang高效统计大文件单词频率方法

时间：2025-11-19 20:42:26 228浏览收藏

本文旨在介绍如何使用 Golang 高效统计大文件中的单词频率。针对GB级别的大型文本文件，我们提供了一种内存友好的解决方案，避免一次性加载整个文件。该方法利用 `bufio.Scanner` 逐行读取文件，并通过正则表达式提取单词，再使用 `map` 结构统计词频。程序会将所有单词转换为小写，实现大小写不敏感的统计。最后，程序会按词频降序输出出现频率最高的前20个单词，方便用户快速了解文本内容。文章还提供了完整的 Golang 代码示例、详细的程序特点说明以及使用方法，并针对性能优化提出了建议，助力开发者轻松应对大文件词频统计任务。

答案：使用Go语言编写程序，通过bufio逐行读取大文件，结合正则提取单词并用map统计频率，最后按频次降序输出前20个单词。

编写一个Golang程序来计算一个大型文本文件中单词出现的频率

要编写一个 Go 程序来高效计算大型文本文件中单词的出现频率，可以使用 bufio.Scanner 逐行读取文件，避免将整个文件加载到内存中。同时，使用正则表达式提取单词，并通过 map 统计频率。

完整代码示例

以下是一个完整的 Golang 程序，用于统计大型文本文件中单词的频率：

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "regexp"
    "strings"
)

// wordPattern 定义单词匹配的正则表达式（只保留字母和数字）
var wordPattern = regexp.MustCompile(`[a-zA-Z0-9]+`)

// countWords 读取文件并返回单词频率映射
func countWords(filename string) (map[string]int, error) {
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    wordCount := make(map[string]int)
    scanner := bufio.NewScanner(file)
    scanner.Buffer(nil, 64*1024*1024) // 设置大缓冲区以支持大行

    for scanner.Scan() {
        line := scanner.Text()
        words := wordPattern.FindAllString(line, -1)
        for _, word := range words {
            word = strings.ToLower(word)
            wordCount[word]++
        }
    }

    if err := scanner.Err(); err != nil && err != io.EOF {
        return nil, err
    }

return wordCount, nil
}

func main() {
    if len(os.Args) != 2 {
        fmt.Println("用法: go run wordfreq.go <文件名>")
        os.Exit(1)
    }

    filename := os.Args[1]
    wordCount, err := countWords(filename)
    if err != nil {
        fmt.Printf("读取文件失败: %v\n", err)
        os.Exit(1)
    }

    // 打印最常见的前20个单词
    type kv struct {
        Key string
        Value int
    }
    var ss []kv
    for k, v := range wordCount {
        ss = append(ss, kv{k, v})
    }
    // 按频率降序排序
    for i := 0; i < len(ss); i++ {
        for j := i + 1; j < len(ss); j++ {
            if ss[i].Value < ss[j].Value {
                ss[i], ss[j] = ss[j], ss[i]
            }
        }
    }
    fmt.Println("出现频率最高的前20个单词：")
    for i := 0; i < len(ss) && i < 20; i++ {
        fmt.Printf("%s: %d\n", ss[i].Key, ss[i].Value)
    }
}