白皮书: 低成本定制数码显微镜

TE 的显微镜产品种类包括立体显微镜、数码显微镜、金相显微镜、偏光显微镜、三维显微镜和电子显微镜等。它们不仅用于实验室，还用于装配、冲压和成型生产线。使用范围最广的是立体显微镜（图 1 (a)）和数码显微镜（图 1 (b)），两者都属于基于可见光生成图像的光学显微镜。我们可以利用光学显微镜进行质量检查、制造辅助、流程监控等。

立体显微镜和数码显微镜存在缺点。首先，它们是标准产品，不能定制。但是，客户希望设备可进行配置，可以调节视野、工作距离、操作方法、操作站，软件应根据各种应用进行定制。其次，人体工学设计不佳会导致长期使用时的疲劳和不适。例如，立体显微镜会导致眼睛疲劳。数码显微镜的屏幕非常近，操作人员会觉得屏幕显示的内容咄咄逼人。第三，光学显微镜的成本高。如图 1 (b) 所示的数码显微镜的一般价格约为 3,350 美元，如果我们想定制一些功能，价格会非常高。

定制数码显微镜是填补客户需求和市售产品之间差距所必要的。相关开发面临以下难题：
1) 可提供具有竞争力的性能的计算机视觉系统的低成本：我们需要以低成本开发包括以下部分的计算机视觉系统：工业高分辨率摄像头、可配置的镜头、照明装置、高分辨率显示器和符合人体工学的框架
2) 人体工学设计：对于一些应用，操作人员需要长时间持续使用显微镜，因此操作的人体工学设计非常重要
3) 可在生产线运行的工业级质量：低成本不应降低产品质量
4) 具有支持数字化工厂的潜力：数字化工厂对 TE 非常重要，许多客户对此感兴趣，因此我们应考虑连接网络和交换信息的潜力
我们已开发出一款低成本的定制数码显微镜。为了降低系统的成本，我们选择将嵌入式系统作为处理中心，并基于元件级别构建视觉系统。通过可配置的镜头，标准镜头的精度可达到 1.9 微米，特定镜头的精度可达到小于 1.0 微米。工作距离和视野均可调节。我们的人体工学设计采用通用框架和 11.6 英寸 1080p 高分辨率显示器，适合长时间持续使用。为了支持数字化工厂，现在我们提供 PC 软件以连接数码显微镜。与市面上的产品（3,350 美元）相比，我们系统的参考成本是 1,500 美元。我们的产品通过了 CE 认证，目前正在多家工厂进行测试，许多工厂对该产品进行询价，表现出极大的兴趣。

我们提供两种类型的定制数码显微镜，如图 2 和图 3 所示。两种类型都由视觉系统和框架组成。视觉系统由用于捕捉图像的 6 兆像素彩色摄像头、嵌入式图像处理系统、可配置的镜头、LED 环形照明和 11.6 英寸 1080p 显示器组成。框架包括调整屏幕位置和角度的屏幕臂、调整摄像头工作距离和角度的摄像头臂以及支撑所有元件的底座。1 型和 2 型产品的区别在于，1 型使用 7 DoF（自由度）屏幕臂，因此可以更灵活地实现任意角度和任何位置。5 DoF 屏幕臂更稳定。客户可以根据其应用选择相应的类型。
作为一种数码显微镜，其基本性能是成像效果，这是由包括照明、摄像头、镜头和成像处理算法在内的整个视觉系统决定的。我们选择了几项具有挑战性的任务。第一个是直径约为 5 mm 的按钮传感器。我们面临的挑战是需要在大约 110 mm 远的地方照亮这样小的产品。110 mm 距离是为直插式热端焊接保留的。第二个是约 3 mm 宽的微保险丝产品，其表面被胶水覆盖。第三个是 TE 中采用常见工艺的焊接产品。图 4 显示了这些产品的成像效果，效果非常好，您甚至可以看到表面的纹理。

除了成像效果外，数码显微镜的操作也非常重要，这也是与操作人员最相关的方面。我们的产品针对人体工学的操作进行了完全优化。如图 5 (a) 所示，齐焦镜头通过转动调节器来支持光学放大。屏幕的位置和角度可通过 5/7 DoF 屏幕臂进行调节。嵌入式软件和 PC 软件的用户界面 (UI) 都是易于使用且直观的，如图 5 (c) 和 (d) 所示。我们的 PC 软件能够与数码显微镜交换信息，例如，将图像保存在 PC 中。

图 6 显示了数码显微镜的变革和架构。我们过去有几个版本。最初的理念是基于智能相机；由于成本问题，我们拒绝了这种设计。然后，我们希望使用监控摄像头。根据我们的测试，监控摄像头的质量不够好，因为它内部有视频压缩，因此降低了质量。另外，这种摄像头很难进行定制。然后，我们想使用基于全 PC 的概念，但很难将完整的 PC 集成到数码显微镜中。最后，我们选择了嵌入式系统。数码显微镜的中心是一个基于自定义 linux 系统的嵌入式系统。摄像头的原始数据由嵌入式系统处理并显示在面板中。嵌入式系统中运行许多图像处理算法，包括拜耳插值、去噪、锐度、伽玛校正、对比度控制、去色、图像增强等。考虑到大数据量，嵌入式系统的计算能力应该足够强。我们使用 GPU 加速，我们将稍后对此进行介绍。

数码显微镜可以通过以太网与 PC 进行通信。如果需要，PC 可以与 MES/ERP 系统连接，以便在 TE 内部网络中分发信息。目前，我们正在与数字化工厂团队讨论需要哪些信息和功能。如果定义了功能，我们就有可能通过嵌入式系统与 MES/ERP 系统直接通信。

对于彩色图像，每个像素由三个颜色通道组成：R 通道、G 通道和 B 通道。然而，摄像头的光电传感器对所有可见光谱都很敏感，这意味着通常情况下，它只生成单色图像。要生成彩色图像，需要在光电传感器前面放置彩色滤镜，仅传递所需的颜色。彩色图像的原始数据是 RGB 像素的一种排列方式，如图 7 (a) 所示。

每个像素只包含部分颜色信息；我们需要从这种排列方式中恢复彩色图像。有几种恢复算法。基本上，每个像素的相邻信息与缺失颜色的真实值高度相关，我们的方法是基于相邻像素的组合。图 7 (b) 中有两种模式，如果绿色通道如图所示存在，则只需计算相邻值的平均值，否则，我们需要考虑相邻像素的影响。

在这里，我只列出了 R 通道的情况，我们也可以用 B 通道代替 R 通道，用相同的方法使用方程 (2)。

图像的噪声是不可避免的。在这里，我们分析了噪声的来源是 CCD 和环境。这种噪声主要是白噪声，因此我们倾向于使用逆谐波均值滤波器。图 8 可以看出锐度的影响，在去噪算法后，图像中显示的噪声较小。

我们的锐度方法是基于 Kirsch 算法，该算法计算各点的渐变，并增强渐变幅度大的区域，抑制渐变幅度小的区域。该方程可以用下面的形式表示。在实际计算中，我们使用 Kirsch 模板计算每个像素的渐变。锐度的效果可以在图 9 中看到

对于 6 兆像素彩色摄像头，数据量约为每秒 180MB，为了处理如此大的数据量，我们需要强大的实时计算能力。在这里，我们使用并行计算。顾名思义，并行计算将任务分为许多小作业，并行处理这些作业。并行计算不会对 CPU 造成负担，它完全由 GPU 处理，因此专门用于大数据量处理，如图 10 (a) 所示。
我们之所以可以将并行计算应用于数码显微镜的图像处理算法是因为图像处理算法（如拜耳插值、二维去噪、锐度等）的处理仅与原始图像相关，这意味着图像中每个像素的处理是不相关的，因此我们可以并行处理这些像素。如图 10 (b) 所示，我们可以同时处理左上角像素和右下角像素。

对于数字化工厂来说，基础是通信。我们设计了一个强大的以太网连接。图 11 说明了这种强大的以太网连接的工作流程。服务器侦听来自客户端的新请求，如果一个请求到达，它将为客户端创建一个新的通信线程。如果建立了一个连接，系统将启动自诊断以检查连接状态，捕获每个错误并自动恢复。以太网模块的优点是：1) 自动连接；2) 自动捕捉错误；3) 从错误中自动恢复；4) 在发送/接收文件的过程中，执行多线程编程，无需阻止软件操作

本文介绍了低成本定制数码显微镜的创新，包括平台概述、成像效果、人体工学操作、系统架构、拜耳插值法、二维去噪法、图像锐度法。我们还介绍了如何基于并行计算处理大量数据。最后，我们介绍了强大的以太网连接。
为了降低系统的成本，我们选择将嵌入式系统作为处理中心，并基于元件级别构建视觉系统。通过可配置的镜头，标准镜头的精度可达到 1.9 微米，特定镜头的精度可达到小于 1.0 微米。工作距离和视野均可调节。我们支持光学放大和电放大。我们的人体工学设计采用通用固定装置和 11.6 英寸 1080p 高分辨率显示器，适合长时间持续使用。与市面上的产品（3,350 美元）相比，我们系统的参考成本是 1,500 美元。
该产品的优势可以概括为以低成本实现工业级质量，针对 TE 应用进行定制，以及适用于长时间持续使用的人体工学设计。
为支持数字化工厂，现在我们提供 PC 软件以连接数码显微镜。图像可以直接保存在 PC 中，我们还正在与数字化工厂团队讨论完全实现数字化工厂所需的功能。一位客户建议我们使用微型 PC 来取代嵌入式系统，我们认为这是一个很好的方向。
我们的产品通过了 CE 认证，目前正在几家工厂进行测试，许多工厂对该产品进行询价，表现出极大的兴趣。

我们衷心感谢 Josef Sinder 先生，他分享了大量关于嵌入式计算机视觉系统的信息和技术。