首页 > Golang > Go教程

Golang高效统计大文件单词频率方法

时间：2025-09-20 18:57:47 483浏览收藏

本文主要介绍如何使用 Golang 高效统计大文件中的单词频率，提供了一种优化的解决方案，适用于处理 GB 级别的文本文件。[**Golang统计大文件单词频率方法**] 采用 `bufio.Scanner` 逐行读取文件，避免一次性加载整个文件到内存，显著提升内存使用效率。通过正则表达式提取单词，并使用 `map` 数据结构统计单词出现的频率。程序还实现了将所有单词转换为小写，确保统计结果的准确性，并对文件读取过程中的错误进行处理，保证程序的稳定性。最后，程序按频率降序输出前 20 个最常见的单词，方便用户快速了解文本内容。文章提供了完整的代码示例，方便读者直接使用和学习。

答案：使用Go语言编写程序，通过bufio逐行读取大文件，结合正则提取单词并用map统计频率，最后按频次降序输出前20个单词。

编写一个Golang程序来计算一个大型文本文件中单词出现的频率

要编写一个 Go 程序来高效计算大型文本文件中单词的出现频率，可以使用 bufio.Scanner 逐行读取文件，避免将整个文件加载到内存中。同时，使用正则表达式提取单词，并通过 map 统计频率。

完整代码示例

以下是一个完整的 Golang 程序，用于统计大型文本文件中单词的频率：

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "regexp"
    "strings"
)

// wordPattern 定义单词匹配的正则表达式（只保留字母和数字）
var wordPattern = regexp.MustCompile(`[a-zA-Z0-9]+`)

// countWords 读取文件并返回单词频率映射
func countWords(filename string) (map[string]int, error) {
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    wordCount := make(map[string]int)
    scanner := bufio.NewScanner(file)
    scanner.Buffer(nil, 64*1024*1024) // 设置大缓冲区以支持大行

    for scanner.Scan() {
        line := scanner.Text()
        words := wordPattern.FindAllString(line, -1)
        for _, word := range words {
            word = strings.ToLower(word)
            wordCount[word]++
        }
    }

    if err := scanner.Err(); err != nil && err != io.EOF {
        return nil, err
    }

return wordCount, nil
}

func main() {
    if len(os.Args) != 2 {
        fmt.Println("用法: go run wordfreq.go <文件名>")
        os.Exit(1)
    }

    filename := os.Args[1]
    wordCount, err := countWords(filename)
    if err != nil {
        fmt.Printf("读取文件失败: %v\n", err)
        os.Exit(1)
    }

    // 打印最常见的前20个单词
    type kv struct {
        Key string
        Value int
    }
    var ss []kv
    for k, v := range wordCount {
        ss = append(ss, kv{k, v})
    }
    // 按频率降序排序
    for i := 0; i < len(ss); i++ {
        for j := i + 1; j < len(ss); j++ {
            if ss[i].Value < ss[j].Value {
                ss[i], ss[j] = ss[j], ss[i]
            }
        }
    }
    fmt.Println("出现频率最高的前20个单词：")
    for i := 0; i < len(ss) && i < 20; i++ {
        fmt.Printf("%s: %d\n", ss[i].Key, ss[i].Value)
    }
}