Python如何计算分位数？quantile方法全解析

想要精准计算Python中的数据分位数？本文为你详细解读如何利用NumPy的`numpy.quantile()`函数和Pandas的`.quantile()`方法，轻松实现分位数计算。文章不仅提供了代码示例，展示了如何处理包含缺失值的数据，还深入探讨了分位数在数据分析中的实际应用，例如理解数据分布、异常值检测、A/B测试分析等。此外，还特别强调了插值方法对分位数计算结果的影响，帮助读者在不同场景下选择最合适的插值策略，确保数据分析的准确性和有效性。无论是数据分析新手还是经验丰富的从业者，都能从中获益。

在Python中计算数据分位数，最直接的方法是使用NumPy的numpy.quantile()函数或Pandas的.quantile()方法。1. NumPy适用于数值型数组，可使用np.quantile()并可通过np.nanquantile()处理缺失值；2. Pandas更适用于表格数据，其Series和DataFrame对象的.quantile()方法默认跳过NaN；3. 分位数应用广泛，包括理解数据分布、异常值检测、性能基准设定、A/B测试分析及数据分组；4. 处理缺失值时，NumPy需手动使用nanquantile，而Pandas默认忽略NaN，也可通过skipna参数控制；5. 插值方法（linear、lower、higher、nearest、midpoint）影响结果，尤其在小数据集或离散数据中应根据业务需求选择合适方法。

在Python中计算数据分位数，最直接且常用的方法是利用NumPy库的numpy.quantile()函数，或者对于Pandas数据结构（如Series或DataFrame），直接调用其内置的.quantile()方法。这些工具让分位数计算变得异常便捷，你只需指定所需的分位数（通常是0到1之间的浮点数，如0.25代表25%分位数），它们就能快速给出结果。

解决方案

使用Python计算数据分位数，你可以选择NumPy或Pandas。

使用NumPy：

NumPy的quantile()函数适用于任何数值型数组。

import numpy as np

data = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# 计算中位数（50%分位数）
median_val = np.quantile(data, 0.5)
print(f"NumPy计算的中位数: {median_val}")

# 计算25%和75%分位数（第一和第三四分位数）
q1, q3 = np.quantile(data, [0.25, 0.75])
print(f"NumPy计算的25%分位数: {q1}")
print(f"NumPy计算的75%分位数: {q3}")

# 包含缺失值的情况，使用nanquantile
data_with_nan = np.array([1, 2, np.nan, 4, 5, 6, 7, 8, np.nan, 10])
median_nan = np.nanquantile(data_with_nan, 0.5)
print(f"NumPy（含NaN）计算的中位数: {median_nan}")

使用Pandas：

Pandas的Series和DataFrame对象都内置了.quantile()方法，用起来更符合数据分析的直觉，尤其是在处理表格数据时。

import pandas as pd
import numpy as np

s = pd.Series([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# 计算中位数
median_s = s.quantile(0.5)
print(f"Pandas Series计算的中位数: {median_s}")

# 计算多个分位数
quantiles_s = s.quantile([0.25, 0.75])
print(f"Pandas Series计算的25%和75%分位数:\n{quantiles_s}")

# DataFrame的列也可以直接调用
df = pd.DataFrame({
    'A': [1, 2, 3, 4, 5],
    'B': [10, 20, 30, 40, 50]
})
q_df_A = df['A'].quantile(0.5)
print(f"Pandas DataFrame列'A'的中位数: {q_df_A}")

# 包含缺失值的情况，默认跳过NaN
s_with_nan = pd.Series([1, 2, np.nan, 4, 5, 6, 7, 8, np.nan, 10])
median_s_nan = s_with_nan.quantile(0.5) # 默认skipna=True
print(f"Pandas Series（含NaN）计算的中位数: {median_s_nan}")

分位数在数据分析中有哪些实际应用？

分位数不仅仅是一个统计学概念，它在实际数据分析中扮演着至关重要的角色，远比简单的平均值能揭示更多信息。我个人在做用户行为分析时，经常会用分位数来理解用户的活跃度分布，比如，我们常常会问：“我们一半的用户每周登录多少次？”或者“前25%最活跃的用户，他们的行为有什么特点？”。这比只看平均登录次数要具体得多，因为平均值很容易被少数极端值拉高或拉低。

具体来说，分位数有几个非常实用的应用场景：

• 理解数据分布的形状： 通过计算0%、25%（Q1）、50%（中位数）、75%（Q3）和100%（最大值）这些关键分位数，我们可以快速勾勒出数据的分布轮廓。比如，如果中位数远小于平均值，那数据很可能存在右偏，即少数极端大值拉高了平均。
• 异常值检测： 四分位数间距（IQR = Q3 - Q1）是检测异常值的常用方法。任何数据点如果低于Q1 - 1.5 IQR或高于Q3 + 1.5 IQR，通常就被认为是潜在的异常值。这种方法对偏态分布的数据尤其有效，因为它不依赖于正态分布的假设。
• 性能基准与排名： 在评估产品性能、员工绩效或网站加载速度时，分位数能帮助我们设定有意义的基准。例如，“我们的网站95%的请求都能在2秒内响应”，这比“平均响应时间是1秒”更有说服力，因为它考虑了用户体验的方差。
• A/B测试结果分析： 在进行A/B测试时，除了比较平均值，我们还会看不同组在关键指标（如转化率、停留时长）的分位数上是否有显著差异。有时候，平均值可能变化不大，但在某个分位数上，比如低活跃用户或高价值用户群体的行为却发生了明显改变，这可能预示着更深层次的用户行为模式变化。
• 数据分组与分层： 我们可以根据分位数将数据分成不同的组（如低、中、高），这在用户画像、市场细分或风险评估中非常有用。比如，将用户按照消费金额的四分位数分成四组，针对不同组制定不同的营销策略。

分位数提供了一种稳健且直观的方式来剖析数据，它让我们能够从“整体平均”的视角，转向“群体特征”的视角，这对于做出更精准的业务决策至关重要。

如何处理包含缺失值的数据在计算分位数时？

处理缺失值是数据清洗过程中一个绕不开的话题，在计算分位数时也不例外。如果数据中存在NaN（Not a Number）值，不恰当的处理方式可能会导致错误的结果或者程序崩溃。幸运的是，NumPy和Pandas都提供了非常便利的机制来应对这种情况。

NumPy的策略：

当你的NumPy数组中包含np.nan时，直接使用np.quantile()会返回NaN，因为默认情况下它不会跳过这些缺失值。为了解决这个问题，NumPy提供了np.nanquantile()函数。这个函数的工作方式与np.quantile()类似，但它会自动忽略数组中的NaN值，只对非缺失的数据进行分位数计算。这在很多场景下非常方便，因为它避免了你手动去过滤缺失值。

import numpy as np

data_with_nan = np.array([10, 20, np.nan, 40, 50, np.nan, 70, 80])

# 直接使用quantile会得到NaN
# print(np.quantile(data_with_nan, 0.5)) # 输出：nan

# 使用nanquantile则会忽略NaN
median_ignoring_nan = np.nanquantile(data_with_nan, 0.5)
print(f"使用np.nanquantile计算的中位数: {median_ignoring_nan}")

Pandas的策略：

Pandas在处理缺失值方面表现得更加智能和用户友好。无论是Series还是DataFrame，其.quantile()方法默认就会跳过NaN值。这意味着你通常不需要做额外的处理，就能得到你想要的结果。这个行为由skipna参数控制，它默认设置为True。如果你出于某种特殊需求，希望在存在NaN时返回NaN（尽管这不常见），你可以将skipna设置为False。

import pandas as pd
import numpy as np

s_with_nan = pd.Series([10, 20, np.nan, 40, 50, np.nan, 70, 80])

# Pandas默认跳过NaN
median_s_default = s_with_nan.quantile(0.5)
print(f"Pandas Series默认跳过NaN计算的中位数: {median_s_default}")

# 明确指定skipna=True (与默认行为一致)
median_s_skipna_true = s_with_nan.quantile(0.5, skipna=True)
print(f"Pandas Series明确skipna=True计算的中位数: {median_s_skipna_true}")

# 如果设置为False，则返回NaN
median_s_skipna_false = s_with_nan.quantile(0.5, skipna=False)
print(f"Pandas Series明确skipna=False计算的中位数: {median_s_skipna_false}")

在实际工作中，我通常会先对数据进行初步的缺失值检查。如果缺失值比例很小，并且分布随机，那么直接使用np.nanquantile或Pandas的默认行为通常是安全的。但如果缺失值比例很高，或者缺失模式存在偏向性（比如某个特定群体的数据总是缺失），那么仅仅跳过它们可能会导致结果的偏差，这时可能需要考虑更复杂的缺失值填充（imputation）策略，或者深入分析缺失值产生的原因。选择哪种方法，往往取决于你对数据质量的理解和分析目标。

选择不同的插值方法对分位数计算结果有何影响？

分位数本质上是将排序后的数据分割成若干等份。当数据点的数量不能被精确地分成等份时，就需要一个规则来“估算”分位数的值，这就是“插值”的作用。NumPy和Pandas的quantile()方法都提供了interpolation参数，它允许我们指定不同的插值方法。这个参数虽然常常被忽视，但在某些场景下，它对结果的影响是实实在在的，尤其是在数据量较小或者需要精确到小数点后多位时。

常见的插值方法包括：

• linear (线性插值)： 这是默认方法，也是最常用的。它会在两个最近的数据点之间进行线性插值。例如，如果25%分位数落在第2个和第3个排序后的数据点之间，它会根据它们之间的距离按比例计算出一个值。
• lower (向下取整)： 返回两个相邻数据点中较小的值。
• higher (向上取整)： 返回两个相邻数据点中较大的值。
• nearest (最近邻)： 返回距离分位数位置最近的数据点的值。
• midpoint (中点)： 返回两个相邻数据点中点的平均值。

我们来看一个具体的例子，用一个只有4个数据点的数组来演示不同插值方法的影响，这能更直观地看出差异：

import numpy as np
import pandas as pd

data = np.array([10, 20, 30, 40]) # 排序后的数据

# 计算25%分位数 (q=0.25)
# 对于4个数据点，25%分位数理论上是第1个和第2个数据点之间（或者说，索引为0和1之间）

print("NumPy不同插值方法对25%分位数的影响:")
print(f"linear (默认): {np.quantile(data, 0.25, interpolation='linear')}")
print(f"lower: {np.quantile(data, 0.25, interpolation='lower')}")
print(f"higher: {np.quantile(data, 0.25, interpolation='higher')}")
print(f"nearest: {np.quantile(data, 0.25, interpolation='nearest')}")
print(f"midpoint: {np.quantile(data, 0.25, interpolation='midpoint')}")

print("\nPandas Series不同插值方法对25%分位数的影响:")
s_data = pd.Series([10, 20, 30, 40])
print(f"linear (默认): {s_data.quantile(0.25, interpolation='linear')}")
print(f"lower: {s_data.quantile(0.25, interpolation='lower')}")
print(f"higher: {s_data.quantile(0.25, interpolation='higher')}")
print(f"nearest: {s_data.quantile(0.25, interpolation='nearest')}")
print(f"midpoint: {s_data.quantile(0.25, interpolation='midpoint')}")

运行这段代码你会看到：

• linear可能会返回一个介于10和20之间的值（例如12.5），因为它在索引0和1之间进行了线性插值。
• lower会返回10。
• higher会返回20。
• nearest会返回距离计算位置最近的整数值（这里可能是10或20，取决于具体的实现细节和精确位置）。
• midpoint会返回15 (10+20)/2。

何时需要关注插值方法？

在大多数日常数据分析任务中，尤其是在处理大数据集时，linear插值通常是足够且合理的，因为它提供了平滑且相对准确的估计。然而，在以下几种情况下，你可能需要特别注意并选择合适的插值方法：

1. 小数据集： 当你的数据集非常小，每个数据点都举足轻重时，不同的插值方法可能导致分位数结果的显著差异，从而影响你的判断。
2. 离散型数据或整数数据： 如果你的数据是离散的（例如，用户数量、商品评分等级），而你希望分位数结果也是这些离散值中的一个，那么lower、higher或nearest可能比linear更符合你的直觉。例如，计算用户平均登录次数的中位数，你可能不希望得到2.7次，而是2次或3次。
3. 严格的统计要求： 在某些严格的统计分析或学术研究中，可能需要遵循特定的分位数定义或插值规则。
4. 业务逻辑： 有时业务场景会要求分位数必须是实际存在的数据点。例如，如果分位数代表某个阈值，而这个阈值必须是某个具体的价格点，那么选择lower或higher可能更合适。

理解这些插值方法的细微差别，能让你在面对特定数据类型或分析需求时，做出更明智的选择，确保你的分位数计算结果既准确又符合业务语境。这就像是调味品，虽然主菜很重要，但恰当的调味能让味道更上一层楼。

理论要掌握，实操不能落！以上关于《Python如何计算分位数？quantile方法全解析》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！