Python文本分词与逐行写入教程

本文详细介绍了如何使用Python编写函数，实现文本文件的分词处理，并将每个单词逐行写入新的文件。针对文本拆分需求，本文提供了一个高效、可靠的解决方案。文章深入讲解了`words_from_file(filename1, filename2)`函数的实现，该函数能够从指定输入文件读取内容，利用`split()`方法将文本拆分为独立的单词，并逐行写入到指定的输出文件中。教程还涵盖了文件操作的注意事项、错误处理的最佳实践，以及针对原始代码的改进，旨在帮助读者掌握Python文本处理的核心技巧，从而在实际应用中编写出更健壮、高效的代码。通过学习本文，开发者可以轻松实现文本数据的提取和整理，为后续的自然语言处理任务打下坚实的基础。

核心功能：单词提取与写入

在文本处理任务中，将一段文本拆分为独立的单词是常见的操作。本节将介绍如何实现一个Python函数 words_from_file(filename1, filename2)，该函数接收两个文件名作为参数：filename1 是输入文件的路径，filename2 是输出文件的路径。函数的目标是将 filename1 中的所有文本内容按单词拆分，并将每个单词单独写入 filename2 的一行。

以下是实现此功能的优化代码：

def words_from_file(filename1, filename2):
    """
    读取指定文件中的文本，将其拆分为单词，并将每个单词逐行写入到另一个新文件。

    Args:
        filename1 (str): 输入文件的路径。
        filename2 (str): 输出文件的路径。
    """
    try:
        # 以只读模式打开输入文件
        with open(filename1, 'r') as f_input:
            # 以写入模式打开输出文件。注意：'w' 模式会覆盖现有文件。
            with open(filename2, 'w') as f_output:
                # 逐行读取输入文件
                for line in f_input:
                    # 使用 split() 方法将当前行拆分为单词列表
                    # 默认情况下，split() 会按任意空白符（空格、制表符、换行符等）分割字符串，
                    # 并移除空字符串（例如，多个连续空格只会产生一个分隔符）。
                    words = line.split()
                    # 遍历当前行的所有单词
                    for word in words:
                        # 将每个单词写入输出文件，并在其后添加一个换行符
                        f_output.write(word + '\n')
    except FileNotFoundError:
        print(f"错误：文件 '{filename1}' 未找到。请检查文件路径是否正确。")
    except Exception as e:
        print(f"发生未知错误：{e}")

代码解析

1. 函数定义: def words_from_file(filename1, filename2): 定义了一个接受两个字符串参数（文件路径）的函数。
2. 异常处理: try...except FileNotFoundError: 结构用于捕获文件未找到的常见错误，增强了程序的健壮性。同时添加了 except Exception as e 以捕获其他潜在的运行时错误。
3. 文件打开与关闭:
   • with open(filename1, 'r') as f_input: 以只读模式（'r'）打开输入文件。
   • with open(filename2, 'w') as f_output: 以写入模式（'w'）打开输出文件。重要提示： w 模式会清空文件内容，如果文件不存在则创建新文件。如果需要追加内容而不是覆盖，应使用 'a' 模式。
   • with 语句确保文件在使用完毕后（无论是否发生异常）都会被正确关闭，避免资源泄露。
4. 逐行读取: for line in f_input: 循环遍历输入文件的每一行。
5. 单词拆分: words = line.split() 是关键一步。str.split() 方法用于将字符串按指定分隔符（默认为任意空白字符）拆分为一个单词列表。例如，"Hello world\n".split() 会得到 ['Hello', 'world']。
6. 逐词写入: for word in words: 循环遍历当前行拆分出的每个单词。
   • f_output.write(word + '\n') 将每个单词写入输出文件，并在单词后添加一个换行符（\n），确保每个单词占据一行。

原代码分析与改进点

原始代码中存在几个关键问题，导致其无法正确实现预期功能：

1. 输出文件重复打开与覆盖:

   • 原代码在处理输入文件的每一行时，都会重新打开输出文件 filename2 (with open(filename2, 'w') as g:). 由于 'w' 模式会清空文件内容，这意味着每次循环都会清空之前写入的内容，最终 filename2 只会包含输入文件最后一行拆分出的单词。
   • 改进: 优化后的代码将输出文件的打开操作 (with open(filename2, 'w') as f_output:) 放在了读取输入文件循环的外部，确保输出文件只被打开和清空一次，之后所有单词都连续写入。

2. 误将行迭代为字符:

   • 原代码中的 for word in lines: 实际上是遍历字符串 lines 中的每一个字符，而不是单词。例如，如果 lines 是 "Hello World", word 会依次是 'H', 'e', 'l', 'l', 'o', ' ', 'W', 'o', 'r', 'l', 'd'。
   • 改进: 优化后的代码使用 words = line.split() 将一行文本正确地拆分为单词列表，然后 for word in words: 循环遍历的是真正的单词。

3. 写入时未添加换行符:

   • 原代码使用 g.writelines(word)。writelines() 方法通常用于写入一个字符串列表，每个字符串会直接连接。如果 word 是一个字符（如原代码中那样），它会一个接一个地写入，而不会自动添加换行符。
   • 改进: 优化后的代码使用 f_output.write(word + '\n')，显式地在每个单词后添加 \n，确保每个单词独占一行。

使用示例

为了演示 words_from_file 函数的用法，我们创建一个示例输入文件，并调用该函数。

1. 创建示例输入文件 (input.txt)

这是一个示例文本文件。
它包含多行内容，
用于测试单词提取功能。

将上述内容保存为 input.txt。

2. 调用函数

# 假设你的Python脚本和 input.txt 在同一个目录下
input_file = "input.txt"
output_file = "output_words.txt"

words_from_file(input_file, output_file)
print(f"单词已成功从 '{input_file}' 提取并写入到 '{output_file}'。")

# 验证输出内容（可选，手动检查 output_words.txt 文件）
# with open(output_file, 'r', encoding='utf-8') as f:
#     print("\n--- 输出文件内容 ---")
#     print(f.read())

3. 检查输出文件 (output_words.txt)

运行上述代码后，output_words.txt 文件将被创建（或覆盖），其内容应如下所示：

这是一个
示例文本文件。
它包含
多行内容，
用于测试
单词提取功能。

注意事项与最佳实践

• 文件模式: 确保正确选择文件打开模式。'r' (读取), 'w' (写入，会覆盖), 'a' (追加), 'b' (二进制模式) 等。
• with 语句: 始终使用 with open(...) 语句处理文件，它能确保文件在使用完毕后自动关闭，即使在处理过程中发生错误也能正确释放资源。
• 编码: 在处理包含非ASCII字符（如中文）的文本文件时，建议在 open() 函数中明确指定 encoding 参数，例如 encoding='utf-8'，以避免乱码问题。
• split() 的灵活性: str.split() 默认按空白符分割。如果需要按特定字符（如逗号、分号）分割，可以将其作为参数传递，例如 line.split(',')。
• 错误处理: 除了 FileNotFoundError，还可以考虑捕获其他潜在的 IOError 或 PermissionError，以使程序更加健壮。
• 大文件处理: 对于非常大的文件，逐行读取（如 for line in f_input:）是内存效率较高的方法，因为它不会一次性将整个文件加载到内存中。

总结

本文详细阐述了如何通过Python编写一个高效且健壮的函数，实现从文本文件中提取单词并将其逐行写入新文件的功能。通过对原始代码问题的分析与改进，我们强调了正确的文件操作模式、with 语句的使用、str.split() 方法的正确应用以及必要的错误处理机制。掌握这些基本的文件处理技巧，将有助于你在日常的文本数据处理任务中编写出更加可靠和高效的Python代码。

本篇关于《Python文本分词与逐行写入教程》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！