API de Similitud de Datos Optimizada es una API de emparejamiento difuso y deduplicación de alta velocidad diseñada para datos del mundo real, desordenados. Te ayuda a identificar registros casi duplicados y reconciliar entidades incluso cuando los valores no coinciden exactamente—errores tipográficos, diferencias de mayúsculas y minúsculas, puntuación faltante, problemas de espaciado, abreviaciones y cambios menores en el orden de las palabras.
En lugar de construir y ajustar tu propia tubería de emparejamiento difuso, envías tus cadenas (o registros) a la API y recibes coincidencias con puntuaciones de similitud en las que puedes confiar. Los resultados típicos incluyen pares emparejados (por ejemplo, “Apple” ↔ “apple inc.”), puntuaciones de similitud y resultados estructurados que son fáciles de integrar en flujos de trabajo de limpieza de datos, CRM, trabajos ETL y tuberías de análisis.
Casos de uso comunes:
Deduplicar listas: encontrar duplicados dentro de un conjunto de datos (coincidencias de todos a todos) y devolver pares de duplicados probables.
Reconciliar contra una lista maestra: hacer coincidir una lista entrante con un conjunto canónico (lista a maestra).
Higiene de datos de CRM y clientes: limpiar prospectos/cuentas/empresas donde los duplicados rompen informes y alcance.
Resolución de entidades y enlace de registros: conectar referencias a la misma entidad del mundo real a través de fuentes.
Por qué los equipos lo utilizan:
Funciona con texto desordenado desde el primer momento (sin reglas manuales para cada caso extremo)
Puntuaciones de similitud para clasificación y umbrales (tú eliges cuán estricto ser)
Construido para escalar y automatización (diseñado para ejecutarse en tuberías, no solo en scripts únicos)
Dedupe es un punto final de coincidencia difusa de todos para todos para encontrar duplicados dentro de una lista única de cadenas. En lugar de comparar solo dos entradas por llamada a la API, envías un conjunto de datos y devuelve pares similares y/o grupos deduplicados en todo el conjunto.
Por qué lo usarías
Aceleración masiva: típicamente ~300× a 1,000× más rápido que los enfoques “regulares” que la gente intenta primero (comparaciones por pares, bucles con puntuaciones difusas, etc.) una vez que superas listas pequeñas.
Limpieza opcional integrada: puedes habilitar la limpieza de texto común (minúsculas, eliminación de puntuación, ordenamiento de tokens). Esto ahorra horas (o días) de desarrollo + mantenimiento continuo.
Sufijos de empresas manejados automáticamente: se eliminan finales comunes como “Inc”, “LLC”, “Ltd”, etc. para que coincidías con el nombre real.
Evaluaciones: similarity-api/blog/speed-benchmarks (1M registros en ~7 minutos; más rápido que las bibliotecas comunes de coincidencia difusa de Python).
Límites duros en Zyla
Máximo 1,000 cadenas por solicitud (aplicado).
¿Necesitas más grande / ilimitado?
Parámetros (solicitud POST)
data (requerido)
Una cadena que contiene un arreglo JSON de cadenas.
Valor de ejemplo para data:
["Acme Inc","ACME LLC","Globex GmbH"]
Mayor = coincidencia más estricta (menos pares). Típico: 0.80–0.90 para deduplicación de empresas.
Elimina diferencias de puntuación (por ejemplo, “A.C.M.E.” vs “ACME”).
Hace que la coincidencia no distinga entre mayúsculas y minúsculas.
use_token_sort (opcional, verdadero/falso, por defecto falso)
Ayuda cuando el orden de las palabras cambia (por ejemplo, “Bank of America” vs “America Bank of”).
output_format (opcional, por defecto string_pairs)
Este punto final puede devolver datos en múltiples formatos. Por favor, selecciona uno de los siguientes:
string_pairs:
[string_A, string_B, similarity]index_pairs:
string_pairs, pero devuelve posiciones en tu lista de entrada en lugar de las cadenas.[index_A, index_B, similarity]deduped_strings:
deduped_indices:
deduped_strings, pero devuelve los índices de los elementos mantenidos.membership_map:
[0,0,0,3,3] significa que las filas 0/1/2 son un grupo (rep=0) y las filas 3/4 son otro (rep=3).row_annotations:
Devuelve un objeto por fila de entrada con una explicación de a qué pertenece (fila rep + similitud).
Usar cuando: quieras un resultado legible por humanos, por fila, para depuración o visualización de interfaz de usuario.
top_k (opcional, entero o "todo", por defecto "todo")
todo = encontrar todas las coincidencias por encima del umbral.
O un número entero (por ejemplo, 50) para limitar las coincidencias por fila (más rápido, menos resultados).
Solicitud de ejemplo en python
import requests, json
API_KEY = "TU_CLAVE_ZYLA"
URL = "API_URL/dedupe"
data_list = ["Microsoft","Micsrosoft","Apple Inc","Apple","Google LLC","9oogle"]
params = {
"data": json.dumps(data_list),
"similarity_threshold": "0.75",
"remove_punctuation": "true",
"to_lowercase": "true",
"use_token_sort": "false",
"output_format": "string_pairs",
"top_k": "all"
}
headers = {"Authorization": f"Bearer {API_KEY}"}
r = requests.post(URL, headers=headers, params=params, timeout=60)
print(r.status_code)
print(r.json())
Dedupe - Características del Endpoint
| Objeto | Descripción |
|---|---|
data |
[Requerido] JSON array of strings to deduplicate (max 1000). Example: ["a","b","c"] |
similarity_threshold |
Opcional Similarity cutoff from 0 to 1. Higher values are stricter (fewer matches). Default is 0.75. |
remove_punctuation |
Opcional If true, punctuation is removed before matching. Default is true. |
to_lowercase |
Opcional If true, strings are lowercased before matching. Default is true. |
use_token_sort |
Opcional If true, tokens in each string are sorted before matching. Useful when word order varies. Default is false. |
output_format |
Opcional Default: string_pairs Allowed values (and what each means): index_pairs List of matches as [i, j, score] where i and j are indices in the input list. string_pairs List of matches as [string_i, string_j, score] using original strings. deduped_strings List of strings with duplicates removed (one representative per group). deduped_indices List of indices representing the deduplicated set (one representative per group). membership_map Array of length N where entry i is the representative index for the group of data[i]. row_annotations Array of objects (one per input row) with fields: index, original_string, rep_index, rep_string, similarity_to_rep. |
top_k |
Opcional Limits how many neighbors are returned per input string. Use all for full dedupe, or a positive integer for top matches per row. |
{"status":"success","response_data":[["Apple","appl!e",1.0]]}
curl --location --request POST 'https://zylalabs.com/api/11920/optimized+data+similarity+api/22654/dedupe?data=["Apple", "appl!e"]' --header 'Authorization: Bearer YOUR_API_KEY'
| Encabezado | Descripción |
|---|---|
Autorización
|
[Requerido] Debería ser Bearer access_key. Consulta "Tu Clave de Acceso a la API" arriba cuando estés suscrito. |
Sin compromiso a largo plazo. Mejora, reduce o cancela en cualquier momento.
El endpoint Dedupe devuelve un objeto JSON que contiene pares de cadenas coincidentes, puntuaciones de similitud y resultados deduplicados opcionales La salida se puede formatear como pares de cadenas, pares de índices o cadenas deduplicadas, dependiendo de la configuración especificada
Los campos clave en los datos de respuesta incluyen "estado" (que indica éxito o error) y "datos_de_respuesta", que contiene los resultados formateados según la solicitud del usuario, como parejas coincidentes o cadenas deduplicadas
Los usuarios pueden personalizar las solicitudes ajustando los parámetros en el objeto "config" como "similarity_threshold" para la estrictedad de coincidencia "remove_punctuation" para el preprocesamiento y "output_format" para elegir la estructura de resultado deseada
Los datos de respuesta están organizados como un array de resultados donde cada entrada corresponde a un partido o una cadena deduplicada Dependiendo del formato de salida las entradas pueden incluir cadenas originales índices y puntuaciones de similitud facilitando una fácil integración en flujos de trabajo
Los casos de uso típicos incluyen la deduplicación de listas de clientes la reconciliación de registros con una lista maestra la limpieza de datos de CRM y la resolución de entidades a través de diferentes fuentes de datos para garantizar la integridad y precisión de los datos
La precisión de los datos se mantiene a través de avanzados algoritmos de emparejamiento difuso que tienen en cuenta problemas comunes de datos como errores tipográficos y diferencias de mayúsculas y minúsculas La API está diseñada para manejar datos desordenados de manera efectiva asegurando resultados de emparejamiento confiables
Los valores de parámetro aceptados incluyen "similarity_threshold" (0 a 1) "remove_punctuation" (booleano) "to_lowercase" (booleano) "use_token_sort" (booleano) y "top_k" (entero o "todo") Estos parámetros permiten a los usuarios personalizar el proceso de coincidencia según sus necesidades específicas
Si el endpoint de Dedupe devuelve resultados parciales o vacíos, los usuarios deben verificar los datos de entrada en busca de problemas de calidad, como duplicados excesivos o umbrales de similitud muy bajos. Ajustar el "umbral_de_similitud" o revisar la lista de entrada puede ayudar a mejorar los resultados
Nivel de Servicio:
100%
Tiempo de Respuesta:
1.937ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
1.695ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
704ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
3.110ms
Nivel de Servicio:
100%
Tiempo de Respuesta:
449ms
Nivel de Servicio:
83%
Tiempo de Respuesta:
348ms