消除真实世界私人数据识别的实用方法

随着互联网服务的普及，人们对互联网隐私的渴望不断增长。近年来，诸如GDPR等不同的法律开始发挥作用，这些法律规范了服务收集私人信息的方式。这引起了每家公司对隐私方面的关注，并增加了对处理和匿名私人数据的投资。

我在微软商业软件工程（CSE）团队的工作是与微软最具战略意义的客户合作。我们共同开发人工智能、大规模数据、物联网等领域的新工作负载。在与这些客户接触的同时，我们意识到，PII（个人身份信息）问题是许多希望在本地或云中扩展其解决方案集的公司反复出现的话题和障碍。

因此，我们决定为任何希望解决数据隐私问题的人创建Presidio，这是一项免费的生产准备开源服务。

Presidio允许任何用户在结构化和非结构化数据上创建标准和透明的匿名PII实体流程。为此，它公开了一组预定义的PII识别器（用于名称、信用卡号和电话号码等常见实体），以及用新逻辑扩展它的工具，以识别更具体的PII实体。在这篇博客文章中，我们将重点讨论如何利用自然语言处理来识别不同类型的私人实体。

匿名化的背景和如何构建匿名器

随着GDPR在欧洲实施后的各种法规，正确处理敏感信息，特别是个人身份信息（PII）成为许多公司的要求。在本文中，我们将讨论什么是PII，以及如何在非结构化数据（尤其是文本）中匿名化PII。我们还将演示使用Microsoft Presidio的文本匿名器的示例实现，这是一个提供快速PII识别和匿名模块的开源库。本文分为以下几个部分：

• 背景：隐私和匿名
• 现有的匿名技术
• 使用Microsoft Presidio自定义PII匿名器
• 结论、链接和参考文献

跳到任何你觉得最有趣的部分！

背景

早在19世纪50年代，数据保护和隐私保护技术就已被研究和应用，当时美国人口普查局开始从公开的美国公民人口普查数据中删除个人数据。自从早期使用诸如添加随机噪声或聚合之类的简单技术以来，已经提出并改进了各种模型。隐私权是一项基本人权。根据字典的定义，它是

个人或群体将自己或关于自己的信息隐藏起来，从而有选择地表达自己的能力。

Python中隐私过滤器的实现，该过滤器通过命名实体识别（NER）删除个人身份信息（PII）

这是我上一篇关于从文本中删除个人信息的文章的后续内容。

GDPR是欧盟制定的《通用数据保护条例》。其目的是保护所有欧洲居民的数据。保护数据也是开发人员的内在价值。通过控制对列和行的访问，保护行/列数据结构中的数据相对容易。但是免费文本呢？

在我上一篇文章中，我描述了一个基于正则表达式用法和禁止词列表的解决方案。在本文中，我们添加了一个基于命名实体识别（NER）的实现。完整的实现可以在github PrivacyFilter项目中找到。

什么是命名实体识别？

根据维基百科，NER是：

命名实体识别（NER）（也称为（命名）实体识别、实体分块和实体提取）是信息提取的一个子任务，旨在定位非结构化文本中提到的命名实体，并将其分类为预定义的类别，如人名、组织、位置、医疗代码、时间表达式、数量、货币值、百分比等。

实现Python隐私文本过滤器，通过删除个人身份信息（PII）来保护用户的隐私。

GDPR是欧盟制定的《通用数据保护条例》。其目的是保护所有欧洲居民的数据。保护数据也是开发人员的内在价值。通过控制对列和行的访问，保护行/列数据结构中的数据相对容易。但是免费文本呢？

为了满足我们的隐私要求，我们可以调整自由文本字段的内容，用标签取代与隐私相关的信息。文本的含义没有改变，但不能通过匿名化与个人相关。目标是翻译以下文本（日期为荷兰语）：

Presidio包含PII实体的预定义识别器。本页介绍了Presidio可以检测的不同实体，以及Presidio用于检测这些实体的方法。

此外，Presidio允许您添加自定义实体识别器。有关详细信息，请参阅添加新识别器文档。

标记单词的顺序-简洁明了。

Figure 1: Colour-coded recognised entities

这篇文章假设读者对从文本中提取实体有一些概念，并希望进一步了解新的自定义实体识别的最先进技术以及如何使用这些技术。然而，如果你是NER问题的新手，请在这里阅读。

话虽如此，这篇文章的目的是描述spaCy的预训练自然语言处理（NLP）核心模型用于学习识别新实体的使用。来自spacy的现有核心NLP模型被训练来识别各种实体，如图2所示。

在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名文本，以便：

• 与第三方共享数据
• 遵守GDPR等法规要求
• 将PII替换为模拟数据，用作机器学习和其他探索性分析的训练数据

我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。

到目前为止，我们已经找到了查找人名、电子邮件地址、电话号码和信用卡号码的方法。让我们看看我们还能找到哪些其他类型的PII。

介绍Hugging Face

Hugging Face是一个流行的Python库，包含预先训练的人工智能模型，可用于各种自然语言处理（NLP）任务，包括命名实体识别（NER）。正如我们在前几篇文章中所讨论的，NER是一种非常有用的检测文本中PII的技术。

Python示例

让我们看看我们将如何使用拥抱脸。

先决条件：

在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名文本，以便：

• 与第三方共享数据
• 遵守GDPR等法规要求
• 将PII替换为模拟数据，用作机器学习和其他探索性分析的训练数据

我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。

在第一部分中，我们找到了一种在文本中查找人名的方法，让我们看看我们还可以找到其他类型的PII。

介绍Duckling

Duckling是一个Haskell库，由Facebook开源，用于将文本解析为结构化数据。Duckling可以帮助我们在文本中找到不同类型的信息，包括信用卡号码、电子邮件地址和电话号码。

现在别担心，如果你不是了解Haskell的三个人之一，我们可以将Duckling与任何编程语言一起使用。

Python示例

让我们看看我们将如何用一种不需要关于副作用的害处的演讲的语言来使用Duckling。

在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名化文本数据，以便：

• 与第三方共享数据
• 遵守GDPR等法规要求
• 用作机器学习和其他探索性分析的训练数据
• 你是Facebook，你终于想做正确的事情了（/S）

我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。

介绍spaCy

命名实体识别（NER）试图识别文本数据中有意义的单词，如人名、地点、日期等。有几个开源工具使用NER来帮助识别有意义的词，我们将在本文中重点介绍的一个非常受欢迎的项目叫做spaCy。

spaCy是一个用于自然语言处理的免费开源python库，具有NER功能，可以帮助我们识别人名、地点和其他潜在有用的信息。

Python示例

先决条件：

如何使用Hugging Face LLM（开源LLM）与您的文档、PDF以及网页中的文章进行对话。

最后，这是第一步。我已经到处找了好几个月了。

所有的文章、教程和youtube视频都只教你如何使用OpenAI做事。但老实说，这相当令人沮丧。首先，所有人工智能模型的基础都来自学术界：其次，我不敢相信，当有一个大社区在幕后工作时，我们被迫去做事情。

在这里，我将展示如何在不使用OpenAI的情况下使用免费的Google Colab笔记本与任何文档交互（我将在这里介绍文本文件、pdf文件和网站url）。由于计算的限制，我们将使用Hugging Face API和完全开源的LLM来利用LangChain库与我们的文档交互。

作为指南的简介

我对文本生成背后的技术很感兴趣，作为一名工程师，我想进行实验。但作为一个人和一名教师，我认为了解人工智能的工具和思考工具更重要。

我强烈建议你阅读詹姆斯·普朗基特的精彩文章《论生成人工智能与不自由》。引用他的话：

技术真的是我们经常想象中的中立工具吗？即技术是我们发明然后决定如何使用的东西吗？