Datasets para entrenar modelos · 100 % local
Afinar un modelo o montar un RAG con documentos de clientes exige construir un conjunto de datos, y hoy eso significa subir los PDF a un servicio o montar un pipeline de Python pensado para terabytes de web. Sırdaş hace la cadena completa en tu navegador o en tu terminal: convierte, anonimiza, deduplica, reparte por documento y exporta en el formato que tu entrenador espera.
Los conversores de PDF terminan en Markdown y los curadores de corpus empiezan en JSONL. El puente entre ambos, con procedencia, reparto por documento y rastro de anonimización, es lo que construimos.
Cada uno tiene literatura que lo documenta. Cada uno tiene un paso en el pipeline que lo corrige.
Más del 1 % de lo que genera un modelo entrenado con corpus públicos es texto copiado literal. Una carpeta de contratos con la misma plantilla es el caso extremo.
Deduplicar reduce diez veces el texto memorizado y necesita menos pasos de entrenamiento para la misma calidad.
Lo que hacemos
MinHash + LSH sobre 5-gramas, 128 firmas, umbral 0,8, verificación final con Jaccard exacto.
Si un fragmento del conjunto de evaluación está en el de entrenamiento, la puntuación mide memoria, no aprendizaje. Llama 3 publicó benchmarks contaminados hasta un 98 %.
GPT-3 fijó el método: solapamiento de 13-gramas, descartando los que aparecen en más de 10 documentos.
Lo que hacemos
sirdas contamination, con 13-gramas por defecto y el fragmento literal que coincidió en el informe, para que se pueda comprobar.
Si troceas primero y repartes después, dos fragmentos del mismo contrato acaban uno en entrenamiento y otro en prueba. La métrica mejora y miente.
Kapoor y Narayanan contabilizan 329 artículos afectados por fugas en 17 campos.
Lo que hacemos
El reparto va siempre por documento, es estable (misma semilla, mismo reparto) y añadir un documento no mueve a los que ya estaban.
De GPT-2 se extrajeron nombres, teléfonos y correos que aparecían en un solo documento del corpus. Y los modelos grandes son más vulnerables.
Nadie detecta identificadores genéricos de forma fiable: los anotadores humanos de StarCoder llegaron al 53 %. Nuestra anonimización es de reglas y también puede fallar.
Lo que hacemos
Anonimización activada por defecto, con recuento de sustituciones y aviso si la desactivas. Reversible con el mapa, que se queda contigo.
Cada entrenador espera un esquema distinto y el error se ve tarde. Los nombres de campo están verificados contra la documentación oficial.
| Formato | Quién lo consume | Campos |
|---|---|---|
| text | Preentrenamiento continuado (TRL) | text |
| chat | TRL, Unsloth, afinado de OpenAI | messages[{role, content}] |
| prompt-completion | TRL | prompt, completion |
| alpaca | Axolotl, LLaMA-Factory, Unsloth | instruction, input, output |
| sharegpt | Entrenadores de chat | conversations[{from, value}] |
| langchain | Cadenas y bases vectoriales | page_content, metadata |
| llamaindex | TextNode con id estable | id_, text, metadata |
| embeddings | Pinecone, Qdrant, pgvector, Chroma | id, text, metadata |
| train / validation / test | Cualquiera, con tarjeta de Hugging Face (--hf) | tres archivos + README.md |
| RLVR (sirdas rl) | GRPOTrainer y recompensa verificable | prompt, ground_truth |
La herramienta web sirve para una carpeta. Para miles de documentos, la CLI hace lo mismo en tu máquina, con salida --json para scripts.
Ver la CLIConvierte, anonimiza, deduplica y reparte. Con --hf salen train/validation/test y la tarjeta de Hugging Face.
npx sirdas dataset docs/*.pdf --format chat --split --hf -d dataset/ npx sirdas dataset contratos/*.docx --format alpaca --strip-boilerplate -d ds/
Y por qué. Todo lo que exige mandar tus documentos a un modelo contradice la razón de ser del producto.
Hay una línea divisoria nítida: los conversores terminan en Markdown y los curadores empiezan en JSONL.
| Herramienta | Local | Dedup | Contaminación | PII | Exporta a entrenamiento |
|---|---|---|---|---|---|
| unstructured, Docling, marker, nougat | |||||
| LlamaParse | no, nube | ||||
| datatrove (HF) | sí, Python | regex | |||
| dolma (AI2) | sí, Python + Rust | regex | |||
| NeMo Curator | sí, Python + CUDA | Presidio | |||
| text-dedup | sí, Python | ||||
| Sırdaş | navegador / Node | sí, reversible |
jsonlkit.com ya hace deduplicación, enmascarado de PII y detección de fugas en el navegador; lo que no tiene es la ingesta de PDF. Las técnicas (MinHash, LSH, n-gramas, reparto por grupos) llevan años publicadas: lo nuevo es que corran sobre tus PDF sin instalar nada y sin que el archivo salga del equipo. Investigación completa, con fuentes, en el documento enlazado abajo.
Leer la investigación completa (con fuentes)Los tres artículos que explican, con citas, en qué se equivoca casi todo el mundo la primera vez.
De PDF a JSONL: extraer el texto, anonimizar, quitar duplicados, repartir por documento y exportar en el formato que espera tu entrenador. En tu equipo.
9 minDuplicados, contaminación, fuga por troceado y datos personales: cuatro errores documentados, cómo arreglarlos y por qué el tercero engaña a tu métrica.
11 minLos nombres de campo que espera cada entrenador, verificados contra su documentación oficial, y los detalles que rompen un archivo sin decir por qué.
10 minSale un JSONL que puedes auditar, con tus datos exactamente donde estaban: en tu equipo.
Construir un dataset ahora