BR102017007917B1

BR102017007917B1 - AUTOMATIC POSITIONING METHOD FOR MOUNTING PROBES FOR IN SITU OPTICAL SCANNING AND SPECTROSCOPY AND DEVICE

Info

Publication number: BR102017007917B1
Application number: BR102017007917-1A
Authority: BR
Inventors: Laura Pinto Coelho Amorim; Hudson Luiz Silva De Miranda; Johnathan Mayke Melo Neto; Ado JORIO DE VASCONCELOS; Luiz Gustavo De Oliveira Lopes Cançado; Cassiano RABELO E SILVA; Luiz Themystokliz Sanctos Mendes; Thiago DE LOURENÇO E VASCONCELOS; Bruno SANTOS DE OLIVEIRA; Bráulio SOARES ARCHANJO; Carlos ALBERTO ACHETE; Luiz Fernando Etrusco
Original assignee: Universidade Federal De Minas Gerais; Ivision Sistemas De Imagem E Visão S.A; Instituto Nacional De Metrologia, Qualidade E Tecnologia - Inmetro
Filing date: 2017-04-17
Publication date: 2024-10-08

Abstract

O presente pedido de patente descreve um método e um dispositivo capazes de realizar, automaticamente, a fixação de uma estrutura plasmônica microscópica a uma estrutura de suporte macroscópica. O procedimento e o dispositivo propostos permitem a construção de sondas que podem ser utilizadas para procedimentos de microscopia de varredura por sonda (do inglês, Scanning Probe Microscopy ou SPM), incluindo seu acoplamento com sistemas ópticos, gerando as técnicas de microscopia óptica de varredura por sonda (do inglês Scanning Probe Optical Microscopy ou SPOM), como a microscopia óptica de campo próximo (do inglês Scanning Near-field Optical Microscopy ou SNOM) ou a espectroscopia Raman por efeito de sonda (do inglês Tip Enhanced Raman Spectroscopy ou TERS). O método e dispositivo propostos baseiam-se em recursos de visão computacional e de controle de posicionamento em malha fechada utilizando-se de retroalimentação visual.This patent application describes a method and a device capable of automatically attaching a microscopic plasmonic structure to a macroscopic support structure. The proposed procedure and device allow the construction of probes that can be used for scanning probe microscopy (SPM) procedures, including their coupling with optical systems, generating scanning probe optical microscopy (SPOM) techniques, such as scanning near-field optical microscopy (SNOM) or tip enhanced Raman spectroscopy (TERS). The proposed method and device are based on computer vision and closed-loop positioning control using visual feedback.

Description

[01] O presente pedido de patente descreve um método e um dispositivo capazes de realizar, automaticamente, a fixação de uma estrutura plasmônica microscópica a uma estrutura de suporte macroscópica. O método e o dispositivo propostos permitem a construção de sondas que podem ser utilizadas para procedimentos de microscopia de varredura por sonda (do inglês, Scanning Probe Microscopy ou SPM), incluindo seu acoplamento com sistemas ópticos, gerando as técnicas de microscopia óptica de varredura por sonda (do inglês Scanning Probe Optical Microscopy ou SPOM), como a microscopia óptica de campo próximo (do inglês Scanning Near-field Optical Microscopy ou SNOM) ou a espectroscopia Raman por efeito de sonda (do inglês Tip Enhanced Raman Spectroscopy ou TERS). O método e dispositivo propostos baseiam-se em recursos de visão computacional e de controle de posicionamento em malha fechada utilizando-se de retroalimentação visual.[01] This patent application describes a method and a device capable of automatically attaching a microscopic plasmonic structure to a macroscopic support structure. The proposed method and device allow the construction of probes that can be used for scanning probe microscopy (SPM) procedures, including their coupling with optical systems, generating scanning probe optical microscopy (SPOM) techniques, such as Scanning Near-field Optical Microscopy (SNOM) or Tip Enhanced Raman Spectroscopy (TERS). The proposed method and device are based on computer vision and closed-loop positioning control resources using visual feedback.

[02] Procedimentos de SPOM, a exemplo de SNOM e TERS, são úteis em indústrias de manufatura de precisão, microeletrônica e biomédica, dentre outras áreas de ciência e tecnologia, em que a informação obtida através dessas técnicas resulta em uma melhora de qualidade e confiabilidade dos produtos. Os procedimentos ópticos que utilizam estas técnicas são capazes de ultrapassar o limite de difração da luz e produzir imagens com resolução atômica, assim como extrair informações de morfologia, condutividade elétrica, dureza e propriedades magnéticas e ópticas dos materiais em estudo. Mas isso é possível somente quando as sondas utilizadas possuem propriedades plasmônicas específicas, assim como um diâmetro de ápice pequeno o suficiente. Por essa razão, sondas utilizadas em experimentos TERS realizados em ambiente laboratorial, por exemplo, são difíceis de serem confeccionadas com a qualidade necessária. Além disso, o sucesso de experimentos que utilizam essas sondas está associado à qualidade na fabricação das mesmas (Johnson, T. W., Lapin, Z. J., Beams, R., Lindquist, N. C., Rodrigo, S. G., Novotny, L., & Oh, S. H. (2012). Highly reproducible near-field optical imaging with sub-20-nm resolution based on template-stripped gold pyramids. ACS Nano, 6(10), 9168-9174.).[02] SPOM procedures, such as SNOM and TERS, are useful in precision manufacturing, microelectronics and biomedical industries, among other areas of science and technology, where the information obtained through these techniques results in improved product quality and reliability. Optical procedures that use these techniques are capable of overcoming the diffraction limit of light and producing images with atomic resolution, as well as extracting information on the morphology, electrical conductivity, hardness and magnetic and optical properties of the materials under study. However, this is only possible when the probes used have specific plasmonic properties, as well as a small enough apex diameter. For this reason, probes used in TERS experiments performed in a laboratory environment, for example, are difficult to manufacture with the necessary quality. Furthermore, the success of experiments using these probes is associated with the quality of their manufacture (Johnson, T. W., Lapin, Z. J., Beams, R., Lindquist, N. C., Rodrigo, S. G., Novotny, L., & Oh, S. H. (2012). Highly reproducible near-field optical imaging with sub-20-nm resolution based on template-stripped gold pyramids. ACS Nano, 6(10), 9168-9174.).

[03] Uma sonda para SPOM é composta por uma estrutura plasmônica de dimensões nanométricas ou micrométricas, que deve ser fixada a uma estrutura de suporte macroscópica, que tem a função de ligar a estrutura plasmônica ao sistema de controle. Essa estrutura macroscópica pode ser, por exemplo, um fio fino.[03] A SPOM probe consists of a plasmonic structure with nanometric or micrometric dimensions, which must be fixed to a macroscopic support structure, which has the function of connecting the plasmonic structure to the control system. This macroscopic structure can be, for example, a thin wire.

[04] Para fixar uma estrutura plasmônica à estrutura macroscópica, o operador deve movimentar, através de micromanipuladores, a estrutura macroscópica, contendo em sua extremidade material adesivo, e posicioná-la na orientação correta sobre a estrutura plasmônica, localizada em um substrato, e mantê-la nessa posição durante o tempo necessário para a adesão das duas estruturas. Para se orientar nesse processo, o operador utiliza a imagem fornecida por um ampliador óptico acoplado a uma câmera.[04] To attach a plasmonic structure to the macroscopic structure, the operator must move the macroscopic structure, containing adhesive material at its end, using micromanipulators, and position it in the correct orientation on the plasmonic structure, located on a substrate, and maintain it in this position for the time necessary for the adhesion of the two structures. To guide this process, the operator uses the image provided by an optical magnifier coupled to a camera.

[05] O artigo “Highly Reproducible Near-Field Optical Imaging with Sub- 20-nm Resolution Based on Template-Stripped Gold Pyramids” (JOHNSON ET AL., 2012), propõe um método de produção de pontas piramidais de ouro para a confecção de sondas sem, contudo, apresentar um método automático para o posicionamento e fixação das pirâmides na estrutura macroscópica (que é o que forma a sonda).[05] The article “Highly Reproducible Near-Field Optical Imaging with Sub- 20-nm Resolution Based on Template-Stripped Gold Pyramids” (JOHNSON ET AL., 2012), proposes a method of producing gold pyramidal tips for making probes without, however, presenting an automatic method for positioning and fixing the pyramids in the macroscopic structure (which is what forms the probe).

[06] O artigo intitulado "Computer vision for nanoscale imaging" trata de uma revisão das técnicas empregadas em visão computacional em escala nanométrica para propósitos gerais, não se relacionando diretamente com a tecnologia apresentada que utiliza parte de tais métodos e os aplica para a fabricação de sondas para varredura e espectroscopia óptica in situ (Eraldo Ribeiro and Mubarak Shah. 2006. Computer Vision for Nanoscale Imaging. Mach. Vision Appl. 17, 3 (July 2006), 147-162.).[06] The article entitled "Computer vision for nanoscale imaging" deals with a review of the techniques employed in computer vision at the nanometric scale for general purposes, not directly related to the presented technology that uses part of such methods and applies them to the fabrication of probes for in situ scanning and optical spectroscopy (Eraldo Ribeiro and Mubarak Shah. 2006. Computer Vision for Nanoscale Imaging. Mach. Vision Appl. 17, 3 (July 2006), 147-162.).

[07] A patente BR1020150112335 “MÉTODO E EQUIPAMENTO PARA POSICIONAMENTO AUTOMÁTICO PARA MICROSCOPIA POR VARREDURA DE SONDA E ESPECTROSCOPIA ÓPTICA IN SITU”, de 15/05/2015, utiliza uma metodologia similar à proposta na presente invenção, porém com técnicas de visão computacional, procedimentos e aplicações distintas, voltada ao posicionamento de sondas já montadas sobre o foco de laser, para a realização procedimentos de SPOM, como SNOM e TERS.[07] Patent BR1020150112335 “METHOD AND EQUIPMENT FOR AUTOMATIC POSITIONING FOR PROBE SCANNING MICROSCOPY AND IN SITU OPTICAL SPECTROSCOPY”, dated 05/15/2015, uses a methodology similar to that proposed in the present invention, but with computer vision techniques, procedures and distinct applications, aimed at the positioning of probes already assembled on the laser focus, to perform SPOM procedures, such as SNOM and TERS.

[08] Esses procedimentos exigem a presença de um técnico especialista, demanda tempo, destreza e treinamento, estando sujeito a erros humanos, variações na qualidade e na duração do procedimento. Essas dificuldades configuram limitações ao uso e disseminação de técnicas de SPOM, sendo, portanto, barreiras não só contra o avanço das técnicas em si, como de toda a inovação que pode vir com o emprego das mesmas.[08] These procedures require the presence of a specialist technician, demand time, skill and training, and are subject to human error, variations in the quality and duration of the procedure. These difficulties constitute limitations to the use and dissemination of SPOM techniques, and are therefore barriers not only to the advancement of the techniques themselves, but also to all the innovation that may come with their use.

[09] Diante dessas dificuldades, foi desenvolvido, então, um sistema automático para a etapa de fixação da estrutura plasmônica na estrutura macroscópica de suporte que, juntos, constituem a sonda. Com o dispositivo da presente invenção agrega-se maior repetibilidade, confiabilidade, rapidez e robustez à fabricação de sondas para experimentos de SPOM, como SNOM e TERS.[09] In view of these difficulties, an automatic system was developed for the stage of fixing the plasmonic structure to the macroscopic support structure, which together constitute the probe. The device of the present invention adds greater repeatability, reliability, speed and robustness to the manufacture of probes for SPOM experiments, such as SNOM and TERS.

[010] A tecnologia aqui proposta pode ser utilizada, por exemplo, na montagem de sondas com a estrutura plasmônica proposta no artigo “Highly Reproducible Near-Field Optical Imaging with Sub-20-nm Resolution Based on Template-Stripped Gold Pyramids” (JOHNSON ET AL., 2012), que propõe um método de produção de pontas piramidais de ouro para a confecção de sondas. A fabricação deste tipo de sonda será utilizada para ilustrar a função do método e dispositivo aqui propostos. O presente pedido possui escopo distinto ao do artigo citado acima, uma vez que os métodos e dispositivos aqui descritos não dizem respeito à produção de pontas em si, mas sim a automatização da adesão da estrutura plasmônica, já preparada, aos demais componentes que constituem a sonda.[010] The technology proposed herein can be used, for example, in the assembly of probes with the plasmonic structure proposed in the article “Highly Reproducible Near-Field Optical Imaging with Sub-20-nm Resolution Based on Template-Stripped Gold Pyramids” (JOHNSON ET AL., 2012), which proposes a method for producing gold pyramidal tips for making probes. The manufacture of this type of probe will be used to illustrate the function of the method and device proposed herein. The present application has a different scope from that of the article cited above, since the methods and devices described herein do not concern the production of tips per se, but rather the automation of the adhesion of the plasmonic structure, already prepared, to the other components that constitute the probe.

BRIEF DESCRIPTION OF THE FIGURES

[011] FIGURA 1 - Apresenta um fluxograma simplificado formado pelas etapas referentes à manipulação das imagens obtidas por meio de câmera, visando à obtenção dos contornos dos elementos de interesse, especificamente os contornos das estruturas plasmônicas no substrato, a da estrutura macroscópica de suporte e seu reflexo sobre o substrato- Na figura é possível as principais ações de manipulação de imagem: Aplicar filtro Gaussiano (1-1), Varrer a imagem comparando com o padrão das estruturas no substrato (1-2), Localizar as regiões de maior similaridade com o padrão (1-3), Checar se cor da região e brilho estão dentro dos limiares relevantes esperados (1-4), Gerar imagens binárias de acordo com esses critérios (1-5), Obter os contornos dessas regiões (1-6), Aplicar filtro Gaussiano (1-7), Varrer a imagem comparando com o padrão da estrutura (1-8), Localizar as regiões de maior similaridade com o padrão (1-9), Definir a localização da estrutura a partir das regiões (1-10), Identificar pares de regiões relevantes (1-11), Verificar espaçamento e alinhamento entre as regiões (1-12), Definir contornos correspondentes à estrutura macroscópica e seu reflexo (1-13).[011] FIGURE 1 - Presents a simplified flowchart formed by the steps related to the manipulation of images obtained by means of a camera, aiming at obtaining the contours of the elements of interest, specifically the contours of the plasmonic structures on the substrate, the macroscopic support structure and its reflection on the substrate. The main image manipulation actions are possible in the figure: Apply a Gaussian filter (1-1), Scan the image comparing it with the pattern of the structures on the substrate (1-2), Locate the regions of greatest similarity to the pattern (1-3), Check if the region's color and brightness are within the expected relevant thresholds (1-4), Generate binary images according to these criteria (1-5), Obtain the contours of these regions (1-6), Apply a Gaussian filter (1-7), Scan the image comparing it with the structure pattern (1-8), Locate the regions of greatest similarity to the pattern (1-9), Define the location of the structure from the regions (1-10), Identify pairs of relevant regions (1-11), Check spacing and alignment between regions (1-12), Define contours corresponding to the macroscopic structure and its reflection (1-13).

[012] FIGURA 2 - Fluxograma que indica as etapas de manipulação dos contornos, obtidos a partir das ações indicadas no fluxograma representado na figura Figura 1, das estruturas plasmônicas, da estrutura macroscópica de suporte e seu reflexo. A manipulação desses contornos tem o objetivo de fornecer suas posições em coordenadas de imagem. Na figura é possível as principais ações de manipulação de contorno: Representar os contornos como retangulos (2-1), A partir da localizagdo e dimensão dos retangulos definir quais são as estruturas de interesse (22), definir a ponta da estrutura com o material adesivo (2-3), validar sua posição com a esperada da estrutura (2-4), utilizar as posições validadas como coordenadas da estrutura (2-5), repetir o procedimento para localização das coordenadas do reflexo (2-6).[012] FIGURE 2 - Flowchart indicating the steps for manipulating the contours, obtained from the actions indicated in the flowchart represented in Figure 1, of the plasmonic structures, the macroscopic support structure and its reflection. The manipulation of these contours aims to provide their positions in image coordinates. The main contour manipulation actions are possible in the figure: Represent the contours as rectangles (2-1), From the location and size of the rectangles define which are the structures of interest (22), define the tip of the structure with the adhesive material (2-3), validate its position with the expected position of the structure (2-4), use the validated positions as coordinates of the structure (2-5), repeat the procedure for locating the coordinates of the reflection (2-6).

[013] FIGURA 3 - Fluxograma com as etapas de localização das estruturas plasmônicas, da estrutura macroscópica e seu reflexo, com objetivo de fornecer as posições atuais dos elementos ao software. Na figura é possível as principais ações de localização: A partir da localização e dimensão dos retângulos, definir qual será a estrutura de interesse para a montagem atual (3-1), Tomar como referência o centroide do retângulo (3-2), Comparar com a posição detectada no frame anterior (3-3), Caso haja consistência, atualizar a posição com a mais recente (3-4), Calcular o centroide da estrutura e seu reflexo (3-5), Avaliar consistência dos dados de posição com o frame anterior (3-6), Caso haja consistência, Y atualizar as posições comas mais recentes (3-7).[013] FIGURE 3 - Flowchart showing the steps for locating the plasmonic structures, the macroscopic structure and its reflection, with the aim of providing the current positions of the elements to the software. The figure shows the main localization actions: Based on the location and size of the rectangles, define which structure will be of interest for the current assembly (3-1), Take the centroid of the rectangle as a reference (3-2), Compare with the position detected in the previous frame (3-3), If there is consistency, update the position with the most recent one (3-4), Calculate the centroid of the structure and its reflection (3-5), Evaluate the consistency of the position data with the previous frame (3-6), If there is consistency, update the positions with the most recent ones (3-7).

[014] FIGURA 4 - Fluxograma que apresenta as etapas de posicionamento da estrutura macroscópica, que são executadas de forma iterativa até o fim do posicionamento. Na figura é possível as principais ações de controle de movimento: Obter as posições filtradas mais atuais (4-1), Calcular distância, em coordenadas da imagem, entre a estrutura na matriz e a estrutura macroscópica (4-2), Calcular distância, em coordenadas da imagem, entre a estrutura macroscópica e seu respectivo reflexo (4-3), Determinar direção dos movimentos e ação de controle que conduzem os elementos a uma condição de alinhamento (4-4), Enviar comando para os atuadores (4-5), Verificar resultado da movimentação e checar condição de término de posicionamento (4-6).[014] FIGURE 4 - Flowchart showing the steps for positioning the macroscopic structure, which are executed iteratively until the end of the positioning. The figure shows the main motion control actions: Obtain the most current filtered positions (4-1), Calculate the distance, in image coordinates, between the structure in the matrix and the macroscopic structure (4-2), Calculate the distance, in image coordinates, between the macroscopic structure and its respective reflection (4-3), Determine the direction of the movements and control action that lead the elements to an alignment condition (4-4), Send command to the actuators (4-5), Check the result of the movement and check the condition of the end of the positioning (4-6).

[015] FIGURA 5 - Fluxograma das ações que descrevem a finalização de um procedimento de montagem e o início do seguinte. Na figura é possível as principais ações de colagem e substituição: Ao fim do posicionamento, aguardar secagem do material adesivo (5-1), Retrair o conjunto até uma posição adequada para remoção das sondas montadas (5-2), Posicionar nova estrutura macroscópica a ser fixada (5-3).[015] FIGURE 5 - Flowchart of the actions that describe the completion of an assembly procedure and the beginning of the next one. The figure shows the main gluing and replacement actions: At the end of positioning, wait for the adhesive material to dry (5-1), Retract the assembly to a suitable position for removing the assembled probes (5-2), Position the new macroscopic structure to be fixed (5-3).

[016] FIGURA 6 - Apresenta a imagem óptica da situação desejada ao final do posicionamento. A estrutura macroscópica (1) e seu reflexo (2) encontram-se próximas o suficiente, havendo contato com a estrutura plasmônica (3) contida no substrato de estruturas plasmônicas (4). Após o contato entre (1) e (3) é necessário esperar a secagem da substância a adesiva para retirada da ponta da matriz que compõe o substrato (4).[016] FIGURE 6 - Shows the optical image of the desired situation at the end of the positioning. The macroscopic structure (1) and its reflection (2) are close enough to each other to make contact with the plasmonic structure (3) contained in the plasmonic structure substrate (4). After contact between (1) and (3), it is necessary to wait for the adhesive substance to dry before removing the tip of the matrix that makes up the substrate (4).

[017] FIGURA 7 - Apresenta a imagem óptica de um exemplo de sonda montada. Os elementos da sonda presentes na imagem são: (3) estrutura plasmônica (sonda de ouro), (5) substância adesiva (cola epoxi) e (1a) fio de tungstênio que compõe a estrutura macroscópica (1), de forma não limitante.[017] FIGURE 7 - Shows the optical image of an example of an assembled probe. The probe elements present in the image are: (3) plasmonic structure (gold probe), (5) adhesive substance (epoxy glue) and (1a) tungsten wire that makes up the macroscopic structure (1), in a non-limiting manner.

[018] FIGURA 8 - Detalhe do dispositivo de troca automática da estrutura macroscópica (1). Formado pelos elementos: (6) que representa o sistema de movimentação nos eixos x, y e z; (7) o motor responsável pela rotação do eixo (8) contendo o tambor (9). Em (9) ficará fixada, ao longo de seu perímetro, uma pluralidade de estruturas macroscópicas (1) a serem utilizadas no processo. O conjunto que forma a estrutura macroscópica (1) compreende um diapasão [1(b)] e um fio de tungstênio [(1(a)][018] FIGURE 8 - Detail of the automatic exchange device of the macroscopic structure (1). Formed by the elements: (6) which represents the movement system on the x, y and z axes; (7) the motor responsible for the rotation of the shaft (8) containing the drum (9). In (9) will be fixed, along its perimeter, a plurality of macroscopic structures (1) to be used in the process. The set that forms the macroscopic structure (1) comprises a tuning fork [1(b)] and a tungsten wire [(1(a)]

[019] FIGURA 9 - Vista superior de um substrato contendo estruturas plasmônicas (3) que ainda estão na matriz e a cavidade vazia [3(a)] que continha uma estrutura plasmônica que foi removida com sucesso.[019] FIGURE 9 - Top view of a substrate containing plasmonic structures (3) that are still in the matrix and the empty cavity [3(a)] that contained a plasmonic structure that was successfully removed.

[020] FIGURA 10 - Apresenta um diagrama de blocos simplificado em que estão representados os componentes principais de hardware do sistema e o fluxo de informações entre os equipamentos. (10) representa o computador de processo que executa os algoritmos de controle e visão. (20) representa o controlador que recebe requisições de movimento do computador de processo e os repassa da forma adequada aos atuadores, além de enviar feedback dos movimentos efetivamente realizados. (30) representa o conjunto de atuadores responsável por movimentar a estrutura macroscópica (40) em direção ao alvo. A cena é capturada por uma câmera conectada a um microscópio de longa distância (50) que repassa a imagem ao computador de processo (10).[020] FIGURE 10 - Shows a simplified block diagram representing the main hardware components of the system and the flow of information between the equipment. (10) represents the process computer that executes the control and vision algorithms. (20) represents the controller that receives movement requests from the process computer and passes them on appropriately to the actuators, in addition to sending feedback on the movements actually performed. (30) represents the set of actuators responsible for moving the macroscopic structure (40) toward the target. The scene is captured by a camera connected to a long-distance microscope (50) that passes the image to the process computer (10).

DETAILED TECHNOLOGY DESCRIPTION

[021] A presente invenção propõe um método e um dispositivo capazes de realizar, automaticamente, a fixação de uma estrutura plasmônica microscópica a uma estrutura de suporte macroscópica. O método e o dispositivo propostos permitem a construção de sondas que podem ser utilizadas para procedimentos de microscopia de varredura por sonda (SPM), incluindo seu acoplamento com sistemas ópticos, gerando as técnicas de microscopia óptica de varredura por sonda (SPOM), como a microscopia óptica de campo próximo (SNOM) ou a espectroscopia Raman por efeito de sonda (TERS). O método e dispositivo propostos baseiam-se em recursos de visão computacional e de controle de posicionamento em malha fechada utilizando-se de retroalimentação visual.[021] The present invention proposes a method and a device capable of automatically attaching a microscopic plasmonic structure to a macroscopic support structure. The proposed method and device allow the construction of probes that can be used for scanning probe microscopy (SPM) procedures, including their coupling with optical systems, generating scanning probe optical microscopy (SPOM) techniques, such as near-field optical microscopy (SNOM) or probe effect Raman spectroscopy (TERS). The proposed method and device are based on computer vision and closed-loop positioning control resources using visual feedback.

[022] A tecnologia é dividida em três subsistemas: um subsistema de visão, um de posicionamento e um terceiro de inteligência e controle. Conforme representado no diagrama de blocos da figura 10, o módulo de visão é composto por uma câmera e um ampliador óptico (50); o subsistema de posicionamento consiste em atuadores (30) capazes de movimentar tridimensionalmente o suporte macroscópico (40). Esses atuadores devem se comunicar com drivers que, por sua vez, se comunicam com um algoritmo de inteligência e controle que reside em um computador de processo (10). Finalmente, o subsistema de inteligência e controle (o software) é composto por algoritmos de visão computacional, de controle de posicionamento em malha fechada e por módulos para comunicação com os sensores (câmera) e atuadores utilizados na solução proposta.[022] The technology is divided into three subsystems: a vision subsystem, a positioning subsystem and a third intelligence and control subsystem. As represented in the block diagram in Figure 10, the vision module is composed of a camera and an optical magnifier (50); the positioning subsystem consists of actuators (30) capable of three-dimensionally moving the macroscopic support (40). These actuators must communicate with drivers that, in turn, communicate with an intelligence and control algorithm that resides in a process computer (10). Finally, the intelligence and control subsystem (the software) is composed of computer vision algorithms, closed-loop positioning control and modules for communication with the sensors (camera) and actuators used in the proposed solution.

[023] O método utilizado para confeccionar, automaticamente, uma sonda usada para procedimentos de SPOM é executado pelo subsistema de inteligência e controle. O método compreende as seguintes etapas: a) adquirir imagens por meio de câmera controlada por um sistema de aquisição de imagens capaz de controlar a cadência e redefini-la ao longo da execução do método, cronometrar as atividades da câmera e solicitar a aquisição de imagens, além de efetuar a contagem de imagens; b) reconhecer o substrato em uma imagem adquirida, aplicando-se um filtro (1-1), efetuando-se a varredura da imagem e comparando-se as estruturas plasmônicas do substrato encontradas na varredura com a estrutura plasmônica padrão do substrato (1-2), localizando-se as regiões em que as estruturas plasmônicas encontradas apresentem maior similaridade com o padrão (1-3), efetuar verificação da cor e brilho da região anteriormente encontrada com os limiares estabelecidos (1-4), gerar uma imagem binária (1-5) e obter os contornos de tais regiões (1-6), representar os contornos como uma forma geométrica correspondente (2-1) e definir as estruturas de interesse (as bases das estruturas plasmônicas) do substrato a partir da dimensão, da forma geométrica da representação dos contornos e da localização de tais formas (2-2), que figurarão a representação das estruturas plasmônicas do substrato; c) reconhecer detectar em uma imagem uma estrutura macroscópica e sua reflexão e determinar as posições de ambas, aplicando-se um filtro (1-7), binarizando a imagem, extraindo seus contornos e identificando pares de contornos de áreas relevantes (1-11), verificar alinhamento horizontal e espaçamento vertical entre tais contornos (1-12) e definir o par correspondente à estrutura macroscópica e seu reflexo (1-13), definir o contorno da estrutura macroscópica contendo o material adesivo (2-3), validar sua posição por meio da comparação com a posição esperada para a estrutura macroscópica em relação ao seu reflexo (2-4), utilizar a posição validada como coordenada da estrutura macroscópica (2-5) e, de forma análoga, repetir as operações acima para localização das coordenadas do reflexo da estrutura macroscópica; d) verificar e atualizar dados referentes às posições do substrato e do conjunto estrutura macroscópica e seu reflexo, submetendo-se as imagens a um filtro passa-baixas para proporcionar maior estabilidade ao procedimento e impedir o envio de comandos para os atuadores baseados em medições equivocadas, a estabilidade é alcançada por meio da análise da coerência das variações das imagens verificando se as mudanças são fisicamente possíveis (3-6) e esperadas antes de atualizá-las (3-7); e) controlar os movimentos da estrutura macroscópica baseando-se no cálculo das distâncias relativas (4-2 e 4-3), horizontais (x) e verticais (Y), entre os elementos de interesse (substrato e o conjunto formado pela estrutura macroscópica e seu reflexo) que são calculadas através das imagens obtidas após a etapa “d” (4-1); definir com base nas imagens obtidas após a etapa “d” as direções e sentidos dos movimentos de aproximação da estrutura macroscópica à região de interesse do substrato para promover a colagem, definir o tipo de movimento com base nas distâncias calculadas, sendo que o movimento da sonda é realizado por meio de motores e pode ser subdividido em três escalas: movimentos de maior amplitude, moderados e degraus, em conformidade com a ordem crescente de precisão intrínseca ao posicionamento (4-4); enviar os comandos resultantes aos atuadores contendo todas as informações do movimento (4-5) e executar as etapas iterativamente até que as condições necessárias para o posicionamento sejam atingidas (contato entre estrutura macroscópica e substrato para realizar a colagem) (4-6); f) após o fim do posicionamento, manter a estrutura macroscópica em contato com a região de interesse do substrato até que ocorra a secagem do material adesivo (5-1); g) movimentar o conjunto formado pela estrutura macroscópica aderida à estrutura plasmônica (sonda montada), presente no substrato no momento anterior ao contato provocado pelo posicionamento, até uma região destinada ao acondicionamento de estruturas cuja etapa de adesão se encontra finalizada (5-2), destacar a sonda montada em tal região e posicionar uma nova estrutura macroscópica a ser fixada (5-3).[023] The method used to automatically manufacture a probe used for SPOM procedures is executed by the intelligence and control subsystem. The method comprises the following steps: a) acquiring images using a camera controlled by an image acquisition system capable of controlling the cadence and resetting it throughout the execution of the method, timing the camera activities and requesting the acquisition of images, in addition to counting images; b) recognize the substrate in an acquired image, applying a filter (1-1), scanning the image and comparing the plasmonic structures of the substrate found in the scan with the standard plasmonic structure of the substrate (1-2), locating the regions in which the plasmonic structures found present greater similarity with the standard (1-3), verifying the color and brightness of the region previously found with the established thresholds (1-4), generating a binary image (1-5) and obtaining the contours of such regions (1-6), representing the contours as a corresponding geometric shape (2-1) and defining the structures of interest (the bases of the plasmonic structures) of the substrate from the dimension, the geometric shape of the representation of the contours and the location of such shapes (2-2), which will figure in the representation of the plasmonic structures of the substrate; c) recognize and detect in an image a macroscopic structure and its reflection and determine the positions of both, applying a filter (1-7), binarizing the image, extracting its contours and identifying pairs of contours of relevant areas (1-11), verifying horizontal alignment and vertical spacing between such contours (1-12) and defining the pair corresponding to the macroscopic structure and its reflection (1-13), defining the contour of the macroscopic structure containing the adhesive material (2-3), validating its position by comparing it with the expected position for the macroscopic structure in relation to its reflection (2-4), using the validated position as the coordinate of the macroscopic structure (2-5) and, analogously, repeating the above operations to locate the coordinates of the reflection of the macroscopic structure; d) check and update data regarding the positions of the substrate and the macroscopic structure assembly and its reflection, subjecting the images to a low-pass filter to provide greater stability to the procedure and prevent the sending of commands to the actuators based on erroneous measurements; stability is achieved by analyzing the coherence of the image variations, verifying whether the changes are physically possible (3-6) and expected before updating them (3-7); e) control the movements of the macroscopic structure based on the calculation of the relative distances (4-2 and 4-3), horizontal (x) and vertical (Y), between the elements of interest (substrate and the assembly formed by the macroscopic structure and its reflection) that are calculated through the images obtained after step “d” (4-1); define, based on the images obtained after step “d”, the directions and senses of the movements of the macroscopic structure approaching the region of interest of the substrate to promote bonding, define the type of movement based on the calculated distances, with the movement of the probe being performed by means of motors and can be subdivided into three scales: movements of greater amplitude, moderate and steps, in accordance with the increasing order of precision intrinsic to positioning (4-4); send the resulting commands to the actuators containing all the movement information (4-5) and execute the steps iteratively until the conditions necessary for positioning are reached (contact between macroscopic structure and substrate to perform bonding) (4-6); f) after the end of positioning, keep the macroscopic structure in contact with the region of interest of the substrate until the adhesive material dries (5-1); g) move the assembly formed by the macroscopic structure adhered to the plasmonic structure (mounted probe), present on the substrate at the moment prior to the contact caused by the positioning, to a region intended for the conditioning of structures whose adhesion stage has been completed (5-2), detach the probe assembled in such region and position a new macroscopic structure to be fixed (5-3).

[024] Alternativamente nas etapas “b” e “c”, é possível a utilização de filtros, tais como o filtro de média e mediana, preferencialmente o Gaussiano.[024] Alternatively, in steps “b” and “c”, it is possible to use filters, such as the mean and median filter, preferably the Gaussian.

[025] Nas etapas “b” e “c”, pode-se utilizar métodos de segmentação como o casamento de modelo (Template matching) para reconhecimento de padrões ou o método Otsu para a binarização da imagem, seguida de extração de contornos, combinada à posterior manipulação dos mesmos para a identificação correta da estrutura macroscópica e seu reflexo.[025] In steps “b” and “c”, segmentation methods such as template matching for pattern recognition or the Otsu method for image binarization can be used, followed by contour extraction, combined with subsequent manipulation of the same for the correct identification of the macroscopic structure and its reflection.

[026] A etapa “b” do método descrito anteriormente pode ser implementado utilizando-se técnicas como casamento de padrões (Template Matching), realizando a busca de um template (modelo) em uma imagem maior. Para isso, o modelo de referência percorre a imagem (correlação cruzada bidimencional entre a imagem e o modelo), e é comparado com os elementos da imagem. Ao fim dessa varredura, encontra-se a posição de maior compatibilidade com o modelo usado. Para o caso de aplicações em que há múltiplos objetos a serem reconhecidos, como no reconhecimento de uma matriz de estruturas plasmônicas para a produção de múltiplas sondas, utiliza-se alguma técnica de limiarização para selecionar uma pluralidade de objetos que apresentaram maior compatibilidade com modelo pré-definido.[026] Step “b” of the method described above can be implemented using techniques such as template matching, searching for a template in a larger image. To do this, the reference model scans the image (two-dimensional cross-correlation between the image and the model) and is compared with the elements of the image. At the end of this scan, the position with the greatest compatibility with the model used is found. In the case of applications in which there are multiple objects to be recognized, such as in the recognition of an array of plasmonic structures for the production of multiple probes, some thresholding technique is used to select a plurality of objects that presented greater compatibility with the predefined model.

[027] A escolha do template a ser utilizado na etapa “b” pode ser feita de forma “dinâmica”, no sentido de que o técnico seleciona na tela uma estrutura plasmônica a ser usada como template antes do início do procedimento. Com isso, ganha-se maior flexibilidade quanto à posição relativa entre o ampliador óptico e o substrato, a iluminação da cena e quanto ao próprio tipo de estrutura plasmônica a ser utilizada. Outra possibilidade é o uso de um banco de dados contendo diversas imagens de estruturas plasmônicas em substratos a serem usadas como modelo.[027] The choice of the template to be used in step “b” can be made “dynamically”, in the sense that the technician selects on the screen a plasmonic structure to be used as a template before starting the procedure. This provides greater flexibility regarding the relative position between the optical magnifier and the substrate, the lighting of the scene and the type of plasmonic structure to be used. Another possibility is the use of a database containing several images of plasmonic structures on substrates to be used as a model.

[028] O processo de posicionamento do suporte macroscópico inicia-se com a detecção das posições deste e da estrutura plasmônica localizada no canto inferior esquerdo do substrato, através da medição das distâncias relativas de ambos, nas direções X e Y do sistema de coordenadas utilizado (no caso, o sistema de coordenadas da própria imagem). Em seguida, um algoritmo determina os procedimentos adotados para realizar a aproximação do suporte macroscópico até a estrutura plasmônica, que representa a referência do sistema de coordenadas de controle.[028] The process of positioning the macroscopic support begins with the detection of the positions of the support and the plasmonic structure located in the lower left corner of the substrate, by measuring the relative distances of both, in the X and Y directions of the coordinate system used (in this case, the coordinate system of the image itself). Then, an algorithm determines the procedures adopted to bring the macroscopic support closer to the plasmonic structure, which represents the reference of the control coordinate system.

[029] Na etapa “b”, se a posição detectada é alterada de forma brusca, é um provável erro de medição e não um movimento de fato. Ao ser movida pelos atuadores, a variação das coordenadas é gradual.[029] In step “b”, if the detected position changes abruptly, it is likely a measurement error and not an actual movement. When moved by the actuators, the variation in coordinates is gradual.

[030] As etapas de aquisição de imagens, detecção do suporte macroscópico e das estruturas plasmônicas no substrato, emissão dos sinais de controle para movimentação do conjunto ocorrem de maneira iterativa até a finalização do processo de colagem de um conjunto de estruturas macroscópicas a um conjunto de estruturas plasmônicas.[030] The steps of image acquisition, detection of the macroscopic support and plasmonic structures on the substrate, and emission of control signals for movement of the assembly occur iteratively until the process of gluing a set of macroscopic structures to a set of plasmonic structures is completed.

[031] Com base nas atualizações consideradas na etapa anterior, as distâncias relativas, horizontais (eixo X) e verticais (eixo Y), entre os elementos de interesse (estruturas alvo no substrato, suporte macroscópico e seu reflexo) em coordenadas na imagem são calculadas. Com base nestas distâncias, a direção e o tipo de movimento são determinados. Depois de estabelecer os sentidos e distâncias do movimento, os comandos são enviados para os atuadores. Finalmente, verifica-se se as condições necessárias para o fim do procedimento foram atingidas.[031] Based on the updates considered in the previous step, the relative distances, horizontal (X axis) and vertical (Y axis), between the elements of interest (target structures on the substrate, macroscopic support and its reflection) in coordinates in the image are calculated. Based on these distances, the direction and type of movement are determined. After establishing the directions and distances of the movement, the commands are sent to the actuators. Finally, it is verified whether the conditions necessary for the end of the procedure have been met.

[032] Para cada nova imagem adquirida pela câmera, as posições dos elementos de interesse são atualizadas. No entanto, mudanças bruscas na intensidade de iluminação e outras perturbações, como mudança de foco, podem levar a erros de detecção e posição. Assim, o algoritmo de detecção poderia, por vezes, fornecer resultados errados para os módulos subsequentes. Para evitar tal problema, na etapa “d”, um módulo de condicionamento de sinal, constituído por um filtro anti-spike e um filtro passa-baixas, foi implementado para proporcionar maior estabilidade ao procedimento e impedir o envio de comandos para os atuadores baseados em medições equivocadas.[032] For each new image acquired by the camera, the positions of the elements of interest are updated. However, sudden changes in illumination intensity and other disturbances, such as focus changes, can lead to detection and position errors. Thus, the detection algorithm could sometimes provide erroneous results for subsequent modules. To avoid such a problem, in step “d”, a signal conditioning module, consisting of an anti-spike filter and a low-pass filter, was implemented to provide greater stability to the procedure and prevent the sending of commands to the actuators based on erroneous measurements.

[033] Para a produção de um grande número de sondas aplicam-se a repetição das etapas de “a” até “g” para realizar a colagem de uma pluralidade de estruturas macroscópicas a uma pluralidade de estruturas plasmônicas.[033] For the production of a large number of probes, the repetition of steps “a” to “g” is applied to perform the bonding of a plurality of macroscopic structures to a plurality of plasmonic structures.

[034] Pode-se utilizar uma etapa adicional, posterior à etapa “g” para realizar a inspeção do substrato para verificar se todas as estruturas plasmônicas foram, de fato, retiradas, para isso se utilizada uma imagem de microscopia óptica por reflexão do substrato visto de cima, de modo que seja possível ver claramente se ainda há ou não estruturas plasmônicas remanescentes; em caso positivo, descartam-se as estruturas correspondentes às posições nas quais as estruturas plasmônicas não foram removidas com sucesso.[034] An additional step, after step “g”, can be used to inspect the substrate to verify whether all plasmonic structures have in fact been removed. For this purpose, an optical microscopy image of the substrate seen from above can be used, so that it is possible to clearly see whether or not there are still remaining plasmonic structures; if so, the structures corresponding to the positions in which the plasmonic structures were not successfully removed are discarded.

[035] A invenção também propõe um dispositivo que compreende pelo menos uma estrutura macroscópica (1) com pelo menos um diapasão [1(b)] e pelo menos um fio de tungstênio [(1 (a)], um suporte para diapasão (9), um eixo (8), um motor (7), sistema de movimentação nos eixos x, y e z (6) conforme ilustra a Figura 8, de forma não limitante. Nessa configuração, a estrutura macroscópica (1) mais próxima ao substrato é detectada pelo sistema de posicionamento para a montagem da sonda completa, conforme descrito anteriormente.[035] The invention also proposes a device comprising at least one macroscopic structure (1) with at least one tuning fork [1(b)] and at least one tungsten wire [(1(a)], a tuning fork support (9), an axis (8), a motor (7), a movement system on the x, y and z axes (6) as illustrated in Figure 8, in a non-limiting manner. In this configuration, the macroscopic structure (1) closest to the substrate is detected by the positioning system for assembling the complete probe, as previously described.

[036] Montada a sonda, o sistema cambia de tal forma que outra estrutura macroscópica (1) se torne a mais próxima do substrato, e esse procedimento é repetido até que todas as estruturas macroscópicas (1) do sistema de troca automática estejam com uma estrutura plasmônica (3) aderida à sua extremidade, ou conforme outro critério de parada estabelecido pelo operador. Finalizado esse procedimento, o substrato pode ser levado para inspeção e os conjuntos correspondentes às tentativas de adesão malsucedidas são descartados.[036] Once the probe is assembled, the system changes in such a way that another macroscopic structure (1) becomes the closest to the substrate, and this procedure is repeated until all the macroscopic structures (1) of the automatic exchange system have a plasmonic structure (3) adhered to their end, or according to another stopping criterion established by the operator. Once this procedure is completed, the substrate can be taken for inspection and the sets corresponding to the unsuccessful adhesion attempts are discarded.

[037] Uma pluralidade de estruturas macroscópicas [1(b)] (diapasão) e [(1 (a)] (fio de tungstênio) fixadas ao suporte (9) podem ser cambiadas ao longo do processo. A substituição da sonda montada, ilustrada na figura 7, por uma nova estrutura macroscópica (1) representada pela etapa “g” pode ser manual ou envolver um sistema de troca automática.[037] A plurality of macroscopic structures [1(b)] (tuning fork) and [(1(a)] (tungsten wire) fixed to the support (9) can be exchanged throughout the process. The replacement of the assembled probe, illustrated in figure 7, by a new macroscopic structure (1) represented by step “g” can be manual or involve an automatic exchange system.

[038] Dessa forma, tem-se um dispositivo de posicionamento automático para montagem de sondas para varredura e espectroscopia óptica in situ, caracterizado por compreender pelo menos uma estrutura macroscópica (1) formada por pelo menos um diapasão [1(b)], pelo menos um fio de tungstênio [(1 (a)], um suporte para diapasão (9) um eixo (8), um motor (7), sistema de movimentação nos eixos x, y e z (6); em que o elemento (7) são motores, preferencialmente motores de passo ou sistemas piezoelétricos, e o suporte para diapasão (9) tem formato preferencialmente cilíndrico.[038] Thus, there is an automatic positioning device for mounting probes for in situ scanning and optical spectroscopy, characterized by comprising at least one macroscopic structure (1) formed by at least one tuning fork [1(b)], at least one tungsten wire [(1(a)], a tuning fork support (9), an axis (8), a motor (7), a movement system on the x, y and z axes (6); in which the element (7) are motors, preferably stepper motors or piezoelectric systems, and the tuning fork support (9) has a preferably cylindrical shape.

[039] A invenção pode ser melhor compreendida através do exemplo abaixo, não limitante.[039] The invention can be better understood through the following non-limiting example.

Example 1 - Experimental results of the prototype

[040] O protótipo construído do sistema de montagem de sondas para varredura provido da presente tecnologia de posicionamento automático por retroalimentação visual possui os seguintes elementos constituintes: computador HP Compaq DC 5800 Small Form Factor correspondente ao componente (10) na Figura 10; dois controladores compostos por dois Arduino Motor Shields L293D acoplados a dois Arduinos Uno (20); três motores de passo SM1.8 - A1734CMN (30); microscópio de longa distância motorizado KC VideoMax™ Long Distance Microscope (50); câmera V200e da Invent Vision (50) e um estágio de translação XYZ modelo PT3/M da ThorLabs (30). Além dos dispositivos que correspondem aos principais componentes de hardware, também foram utilizadas estruturas mecânicas para prover uma configuração favorável de componentes como a matriz de pontas piramidais (que são a incorporação das estruturas plasmônicas), suporte para o microscópio de longa distância com a câmera e um conector para ligar a estrutura de suporte macroscópica ao estágio de translação XYZ.[040] The prototype constructed of the scanning probe assembly system provided with the present automatic positioning technology by visual feedback has the following constituent elements: HP Compaq DC 5800 Small Form Factor computer corresponding to component (10) in Figure 10; two controllers composed of two Arduino Motor Shields L293D coupled to two Arduinos Uno (20); three SM1.8 - A1734CMN stepper motors (30); KC VideoMax™ Long Distance Microscope motorized long distance microscope (50); Invent Vision V200e camera (50); and a ThorLabs PT3/M model XYZ translation stage (30). In addition to the devices that correspond to the main hardware components, mechanical structures were also used to provide a favorable configuration of components such as the pyramidal tip array (which are the incorporation of the plasmonic structures), support for the long-distance microscope with the camera and a connector to connect the macroscopic support structure to the XYZ translation stage.

[041] O software contendo o método automático de posicionamento por retroalimentação visual descrito no presente pedido é operado através de uma interface gráfica com o usuário, desenvolvida paralelamente.[041] The software containing the automatic visual feedback positioning method described in the present application is operated through a graphical user interface developed in parallel.

[042] O procedimento foi iniciado com a colagem (utilizando cola epoxi) de um pedaço de fio de tungstênio cortado de um carretel e fixado em um diapasão de quartzo [(1) na Figura 6] que cumpre o papel do suporte macroscópico neste experimento. O conjunto diapasão-fio foi então fixado ao estágio de translação XYZ [(30) na Figura 10]. Através do software desenvolvido, o operador é capaz de posicionar a ponta do fio sobre uma superfície onde foi aplicada cola epoxi. Nessa etapa, a cola foi aplicada à ponta do fio que será fixada posteriormente à ponta de ouro (3).[042] The procedure began with the gluing (using epoxy glue) of a piece of tungsten wire cut from a spool and fixed to a quartz tuning fork [(1) in Figure 6] that serves as the macroscopic support in this experiment. The tuning fork-wire assembly was then fixed to the XYZ translation stage [(30) in Figure 10]. Through the developed software, the operator is able to position the tip of the wire on a surface where epoxy glue was applied. At this stage, the glue was applied to the tip of the wire that will later be fixed to the gold tip (3).

[043] Após aplicar cola epoxi à ponta do fio, o conjunto foi colocado em posição inicial para alinhamento do conjunto com uma das pontas na matriz. Ao realizar o posicionamento inicial, foi disparado o comando pelo software que inicia o alinhamento automático seguindo o método documentado na descrição detalhada desta invenção, levando em consideração as seguintes especificidades: as etapas “b” e “c” do método foram implementadas utilizando como técnica central o casamento de padrões, sendo que o padrão base foi obtido a partir de procedimentos de fabricação anteriores; o método de filtragem implementado para a etapa “d” consiste em um filtro que rejeita variações bruscas de posição que estão fora de um determinado limite de tolerância (filtragem anti-spike); para controlar os movimentos dos atuadores na etapa “e”, foram utilizados dois controladores PID (Proporcional Integral e Derivativo), um para X e outro para Y, sendo que também foram utilizados desacopladores para diminuir as influências de uma malha de controle sobre a outra.[043] After applying epoxy glue to the end of the wire, the assembly was placed in its initial position to align the assembly with one of the ends in the matrix. When performing the initial positioning, the command was triggered by the software that initiates the automatic alignment following the method documented in the detailed description of this invention, taking into account the following specificities: steps “b” and “c” of the method were implemented using pattern matching as the central technique, with the base pattern being obtained from previous manufacturing procedures; the filtering method implemented for step “d” consists of a filter that rejects sudden position variations that are outside a certain tolerance limit (anti-spike filtering); to control the movements of the actuators in step “e”, two PID (Proportional Integral and Derivative) controllers were used, one for X and the other for Y, and decouplers were also used to reduce the influence of one control loop on the other.

[044] A Figura 6 exibe o momento em que o conjunto suporte-fio atinge a posição desejada sobre a matriz de pontas. A Figura 7 mostra o resultado final após o procedimento de colagem da ponta de ouro à extremidade do fio de tungstênio. Utilizando-se do dispositivo mostrado na Figura 8, a estrutura macroscópica é trocada por uma ainda não contendo a sonda e o procedimento é reiniciado. Ao fim da montagem de todas as sondas presas no suporte, a forma é levada para inspeção, utilizando-se uma imagem de microscopia, como mostrado na Figura 9. Nessa inspeção, são identificadas quais estruturas plasmônicas foram retiradas com sucesso (3a) do substrato e quais não o foram ((3) na Figura 9). As sondas montadas adequadamente são guardadas e aquelas correspondentes às estruturas plasmônicas não retiradas são descartadas.[044] Figure 6 shows the moment when the support-wire assembly reaches the desired position on the tip array. Figure 7 shows the final result after the procedure of gluing the gold tip to the end of the tungsten wire. Using the device shown in Figure 8, the macroscopic structure is exchanged for one that does not yet contain the probe and the procedure is restarted. After assembling all the probes attached to the support, the form is taken for inspection, using a microscopy image, as shown in Figure 9. During this inspection, it is identified which plasmonic structures were successfully removed (3a) from the substrate and which were not ((3) in Figure 9). The properly assembled probes are stored and those corresponding to the plasmonic structures that were not removed are discarded.

Claims

1. Automatic positioning method for mounting probes for in situ scanning and optical spectroscopy, based on computer vision and pattern recognition, characterized by comprising the following steps: a) acquiring images using a camera controlled by an image acquisition system capable of controlling the cadence and resetting it throughout the execution of the method, timing the camera activities and requesting image acquisition, in addition to counting images; b) recognize the substrate in an acquired image, applying a filter (1-1), scanning the image and comparing the plasmonic structures of the substrate found in the scan with the standard plasmonic structure of the substrate (1-2), locating the regions in which the plasmonic structures found present greater similarity with the standard (1-3), verifying the color and brightness of the region previously found with the established thresholds (1-4), generating a binary image (1-5) and obtaining the contours of such regions (1-6), representing the contours as a corresponding geometric shape (2-1) and defining the structures of interest (the bases of the plasmonic structures) of the substrate from the dimension, the geometric shape of the representation of the contours and the location of such shapes (2-2), which will figure in the representation of the plasmonic structures of the substrate; c) recognize and detect in an image a macroscopic structure and its reflection and determine the positions of both, applying a filter (1-7), binarizing the image, extracting its contours and identifying pairs of contours of relevant areas (1-11), verify horizontal alignment and vertical spacing between such contours (1-12) and define the pair corresponding to the macroscopic structure and its reflection (1-13), define the contour of the macroscopic structure containing the adhesive material (2-3), validate its position by comparing it with the expected position for the macroscopic structure in relation to its reflection (2-4), use the validated position as the coordinate of the macroscopic structure (2-5) and, analogously, repeat the above operations to locate the coordinates of the reflection of the macroscopic structure; d) check and update data relating to the positions of the substrate and the macroscopic structure assembly and its reflection, subjecting the images to a low-pass filter to provide greater stability to the procedure and prevent the sending of commands to the actuators based on erroneous measurements, with stability being achieved by analyzing the coherence of the image variations, verifying whether the changes are physically possible (3-6) and expected before updating them (3-7); e) control the movements of the macroscopic structure based on the calculation of the relative distances (4-2 and 4-3), horizontal (x) and vertical (Y), between the elements of interest (substrate and the set formed by the macroscopic structure and its reflection) that are calculated through the images obtained after step “d” (4-1), define based on the images obtained after step “d” the directions and senses of the movements of approach of the macroscopic structure to the region of interest of the substrate to promote the gluing, define the type of movement based on the calculated distances, with the movement of the probe being performed by means of motors and can be subdivided into three scales: movements of greater amplitude, moderate and steps, in accordance with the increasing order of precision intrinsic to the positioning (4-4), send the resulting commands to the actuators containing all the movement information (4-5) and execute the steps iteratively until the necessary conditions for the positioning are reached (contact between macroscopic structure and substrate to perform the gluing) (4-6); f) after positioning is complete, keep the macroscopic structure in contact with the region of interest on the substrate until the adhesive material dries (5-1); g) move the assembly formed by the macroscopic structure adhered to the plasmonic structure (mounted probe), present on the substrate at the time prior to contact caused by positioning, to a region intended for the storage of structures whose adhesion stage has been completed (5-2), detach the probe assembled in said region and position a new macroscopic structure to be fixed (5-3).

2. Automatic positioning method for mounting probes for in situ scanning and optical spectroscopy, based on computer vision and pattern recognition, according to claim 1, characterized in that steps “b” and “c” use filters, such as the mean and median filter, preferably the Gaussian.

3. Automatic positioning method for mounting probes for in situ scanning and optical spectroscopy, based on computer vision and pattern recognition, according to claim 1, characterized in that step “b” uses, for the recognition of a matrix of plasmonic structures for the production of multiple probes, a thresholding technique to select a plurality of objects that presented greater compatibility with a predefined model.

4. Automatic positioning method for mounting probes for in situ scanning and optical spectroscopy, based on computer vision and pattern recognition, according to claim 1, characterized in that, in steps “b” and “c”, it uses segmentation methods such as template matching for pattern recognition or the Otsu method for image binarization.

5. Automatic positioning method for mounting probes for in situ scanning and optical spectroscopy, based on computer vision and pattern recognition, according to claim 1, characterized in that, in step “d”, it uses an anti-spike filter and a low-pass filter.

6. Automatic positioning method for assembling probes for in situ scanning and optical spectroscopy, based on computer vision and pattern recognition, according to claim 1, characterized by the repetition of steps "a" to "g" to perform the gluing of a plurality of macroscopic structures to a plurality of plasmonic structures, proceeding to the steps of image acquisition, detection of the macroscopic support and the plasmonic structures on the substrate, emission of control signals for movement of the set in an iterative manner until the completion of the gluing process of a set of macroscopic structures to a set of plasmonic structures.

7. Automatic positioning method for mounting probes for in situ scanning and optical spectroscopy, based on computer vision and pattern recognition, according to claim 1, characterized by the presence of an additional step after step "g" that comprises the inspection of the substrate to verify whether all plasmonic structures have, in fact, been removed, for this purpose an optical microscopy image by reflection of the substrate seen from above is used, so that it is possible to clearly see whether or not there are still remaining plasmonic structures and, if so, discard the structures corresponding to the positions in which the plasmonic structures were not successfully removed.

8. Automatic positioning device for mounting probes for in situ scanning and optical spectroscopy containing tuning fork, wire and motor, characterized by comprising at least one macroscopic structure (1) that includes tuning fork [1(b)], tungsten wire [1(a)], a support for tuning fork (9) an axis (8), movement system on the x, y and z axes (6), comprising a plurality of macroscopic structures [1(b)] (tuning fork) and [(1(a)] (tungsten wire) fixed to the support (9) in which the automatic manipulation occurs by the circular movement of the support (9) by the action of motor (7).

9. Automatic positioning device for mounting probes for in situ scanning and optical spectroscopy containing tuning fork, wire and motor, according to claim 8, characterized in that element (7) is motors, preferably stepper motors or piezoelectric systems.

10. Automatic positioning device for mounting probes for in situ scanning and optical spectroscopy containing tuning fork, wire and motor, according to claim 8, characterized in that the element (9) has a cylindrical shape.