日志碎片：仅显示导致错误的日志-平芜编程栈

原文：towardsdatascience.com/log-breadcrumbs-only-show-logs-leading-up-to-an-error-82b9f4c15520

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a40ff83722411f873098d942f36a4432.png

图片由 Daniel Tseng / Unsplash 提供

在这篇文章中，我们将探讨一种高效记录日志碎片的途径，只显示导致错误的日志。我们将仅使用 Python 的标准日志库来创建一个高效的日志设置，仅在发生异常时捕获调试日志。这种方法提供了对导致问题的步骤的详细视图，同时减少混乱和最小化 I/O。让我们开始编码！

为什么记录日志碎片？

当发生错误时，你希望尽可能多地拥有信息，以便引导你找到代码中的问题。记录大量信息在这方面非常有用。

坏处是，所有这些日志都需要被处理。然后需要将它们写入文件或通过 HTTP 发送到端点，这可能会影响你的应用程序或服务器的性能。此外，它可能会使日志变得混乱，使得在发生错误时更难找到相关信息。

面包屑方法“忽略”例如所有debug日志，除非发生错误。这允许你记录大量关于错误的详细信息，同时保持性能和概览在水平。

设置面包屑路径

下面是一个简单的函数，divide，其中包含帮助跟踪其内部行为的调试日志。理想情况下，我们不想每次都看到日志，只想在发生错误时看到，这样我们就可以看到函数尝试除以哪两个数字。

defdivide(a,b):logger.debug(f"Dividing [{a}] by [{b}]")returna/bforvaluein[1,2,3,4,5,6,7,8,9,'not a number',0]:try:logger.debug(f"start dividing..")res=divide(a=10,b=value)exceptExceptionase:logger.error(f"❌An exception occurred:{e}")

前几个值（1到9）成功进行了除法运算，在这些情况下通常不需要调试日志。

然而，对于像not a number和0这样的错误输入，捕获debug日志会提供有价值的上下文。我们的。我们如何回到过去检索日志？

用一行代码将你的 Python 函数转换为装饰器

解决方案概述

要创建面包屑，我们将配置我们的日志记录器以使用两个处理器：

StreamHandler：仅显示INFO级别及以上的消息
MemoryHandler：临时存储DEBUG消息，并在发生错误时将它们传递给StreamHandler

此设置不会显示DEBUG日志，因为 StreamHandler 被设置为INFO。我们可以临时将DEBUG消息存储在 MemoryHandler 中，当我们检测到错误时，将消息刷新到 StreamHandler。然后，它将显示存储的DEBUG消息。

配置日志记录器

下面是如何使用StreamHandler进行常规输出和MemoryHandler进行缓冲DEBUG日志来配置记录器的示例：

importloggingfromlogging.handlersimportMemoryHandler# Create logger and formatter for a structured log messagelogger=logging.getLogger("my_logger")formatter=logging.Formatter(fmt="%(levelname)-7s ⏱️%(asctime)s 📍 %(funcName)12s:%(lineno)-2s 💌 %(message)s",datefmt="%H:%M:%S")# Configure stream handlerstream_handler=logging.StreamHandler()stream_handler.setLevel(logging.INFO)# Only INFO and above will be displayedstream_handler.setFormatter(formatter)logger.addHandler(stream_handler)# Configure memory handlermemory_handler=MemoryHandler(capacity=100,target=stream_handler,flushLevel=logging.ERROR)memory_handler.setFormatter(formatter)logger.addHandler(memory_handler)

在上述设置中，MemoryHandler可以缓冲最多 100 条日志条目。如果发生错误，我们可以从MemoryHandler刷新日志到StreamHandler，从而得到完整的线索路径。

如何仅用 77MB 使用 Python Bloom 过滤器存储和查询 1 亿项数据

在代码中使用面包屑记录器

下面是配置好的新日志记录器的演示。注意finally块，我们在每次尝试后清除缓冲区，以保持针对每个操作的特定调试日志。

defdivide(a,b):logger.debug(f"Dividing [{a}] by [{b}]")returna/bforvaluein[1,2,3,4,5,6,7,8,9,'not a number',0]:try:logger.debug("Start dividing..")res=divide(a=10,b=value)exceptExceptionase:logger.error(f"❌ An exception occurred:{e}")finally:memory_handler.buffer.clear()# Clear memory after each pass

直到not a number，我们不会看到任何日志，因为所有前面的值执行时都没有错误。然而，当我们处理not a number时，divide函数会抛出异常，因为我们不能将整数除以字符串。

我们最终进入except块并记录一个ERROR。我们已将MemoryHandler配置为在遇到ERROR时将所有缓冲日志刷新到StreamHandler，这正是本例中将要发生的事情。

最后，我们在finally块中清除缓冲区，以便在开始处理not a number时删除9的DEBUG日志。

样本输出

当我们运行最终代码时，只有错误情况的日志会显示调试信息作为线索。以下是完整输出的样子：

# Logs corresponding to 'not a number'ERROR ⏱️17:07:03📍 main:44💌 ❌ An exception occurred:unsupported operandtype(s)for/:'int'and'str'DEBUG ⏱️17:07:03📍 main:41💌 Start dividing..DEBUG ⏱️17:07:03📍 divide:32💌 Dividing[10]by[nota number]# Logs corresponding to 0ERROR ⏱️17:07:03📍 main:44💌 ❌ An exception occurred:division by zero DEBUG ⏱️17:07:03📍 main:41💌 Start dividing..DEBUG ⏱️17:07:03📍 divide:32💌 Dividing[10]by[0]