basah
/

pii-ita

 ---
+language:
+- it
 license: apache-2.0
+library_name: opf
+base_model: openai/privacy-filter
+pipeline_tag: token-classification
+tags:
+- privacy-filter
+- pii-detection
+- italian
+- anonymization
+- ner
+- opf
 ---
+# pii-ita
+Fine-tuning di [openai/privacy-filter](https://huggingface.co/openai/privacy-filter) su documenti italiani sintetici per il riconoscimento di PII (Personally Identifiable Information).
+Modello addestrato su dataset sintetico italiano (checkpoint_step1_italian_docs_v2).
+## ⚠️ Come caricare il modello
+Questo modello usa un'architettura **custom** (`model_type: privacy_filter`) **non** registrata in `transformers`. NON funziona con `AutoModel` / `transformers.pipeline`.
+Per usarlo serve la libreria `opf`:
+```bash
+pip install git+https://github.com/openai/privacy-filter.git
+```
+```python
+import os
+os.environ['OPF_MOE_TRITON'] = '0'  # disabilita kernel CUDA-only su MPS/CPU
+from opf import OPF
+from huggingface_hub import snapshot_download
+# Scarica il modello (viene messo in cache locale)
+local_path = snapshot_download(repo_id='basah/pii-ita')
+model = OPF(
+    model=local_path,
+    device='cuda',           # oppure 'mps' (Apple Silicon) o 'cpu'
+    output_mode='typed',
+    decode_mode='viterbi',
+)
+text = 'Il sottoscritto Mario Rossi, CF RSSMRA80A01H501U, residente in Via Roma 10, Milano.'
+result = model.redact(text)
+print(result.redacted_text)
+# -> Il sottoscritto <PRIVATE_PERSON>, <CODICE_FISCALE>, residente in <PRIVATE_ADDRESS>.
+for span in result.detected_spans:
+    print(f'{span.label:25s} "{span.text}" [{span.start}:{span.end}]')
+```
+## 📋 Categorie riconosciute
+Il modello riconosce **18** categorie di PII italiane:
+| Categoria | Descrizione |
+|---|---|
+| `private_person` | Nomi di persone fisiche |
+| `private_address` | Indirizzi (vie, città, numeri civici) |
+| `private_email` | Indirizzi email |
+| `private_phone` | Numeri di telefono italiani |
+| `private_url` | URL contenenti dati personali |
+| `private_date` | Date (nascita, scadenze, eventi) |
+| `account_number` | Numeri di conto (generici) |
+| `secret` | Credenziali, password, token |
+| `codice_fiscale` | Codice Fiscale italiano (16 caratteri) |
+| `carta_identita` | Numero Carta d'Identità italiana |
+| `patente` | Numero Patente di guida |
+| `passaporto` | Numero Passaporto |
+| `partita_iva` | Partita IVA italiana (11 cifre) |
+| `iban` | IBAN italiano (27 caratteri) |
+| `tessera_sanitaria` | Tessera Sanitaria |
+| `numero_procedimento` | Numero procedimento legale (RG) |
+| `riferimento_catastale` | Riferimento catastale (foglio/mappale) |
+| `parte_in_causa` | Parti in procedimento giudiziario |
+## 📊 Dettagli training
+- **Base model**: `openai/privacy-filter`
+- **Dati**: **7500** esempi di training, **1250** di validation, **(held-out, non usato in training)** di test (held-out)
+- **Epoche**: 14
+- **Batch size**: 1
+- **Grad accum steps**: 4
+- **Learning rate**: 1e-05
+- **Hardware training**: cuda
+- **Best epoch**: 14 (validation loss: 0.0000)
+- **Param dtype**: bfloat16
+## 🎯 Metriche (validation set)
+- **Token accuracy** (best): 1.0000
+- **Validation loss** (best): 0.0000
+## 🎨 Esempi di output
+**Input**: `Per bonifici IBAN IT60X0542811101000000123456 intestato a Luigi Bianchi. luigi.bianchi@studio.it`
+**Output**: `Per bonifici <IBAN> intestato a <PRIVATE_PERSON>. <PRIVATE_EMAIL>`
+## ⚖️ Licenza & limitazioni
+- **Licenza**: Apache 2.0 (ereditata dal base model)
+- **Limiti**: il dataset è sintetico — il modello potrebbe avere pattern overfitted su formati tipici (es. "CF RSSMRA80A01H501U" preceduto da prefisso). Testa con i tuoi testi prima dell'uso in produzione.
+- **Contesto**: addestrato su testo italiano generico (email, CV, news, chat, business). Non ottimizzato per domini specifici (medico, scientifico, etc.).
+- **Dati sintetici**: nessun dato reale di terze parti usato nel training. Tutti gli esempi sono generati programmaticamente con formati italiani validi ma valori casuali.
+## 📎 Citazione
+Se usi questo modello, per favore cita il lavoro originale di OpenAI:
+```
+@misc{openai-privacy-filter,
+  title = {Privacy Filter},
+  author = {OpenAI},
+  year = {2024},
+  url = {https://github.com/openai/privacy-filter}
+}
+```

config.json ADDED Viewed

	@@ -0,0 +1,124 @@

+{
+  "bidirectional_context": true,
+  "bidirectional_left_context": 128,
+  "bidirectional_right_context": 128,
+  "category_version": "pii-ita-v1",
+  "default_n_ctx": 128000,
+  "encoding": "o200k_base",
+  "experts_per_token": 4,
+  "head_dim": 64,
+  "hidden_size": 640,
+  "inference_contract_version": 1,
+  "initial_context_length": 4096,
+  "intermediate_size": 640,
+  "max_position_embeddings": 131072,
+  "model_type": "privacy_filter",
+  "ner_class_names": [
+    "O",
+    "B-private_person",
+    "I-private_person",
+    "E-private_person",
+    "S-private_person",
+    "B-private_address",
+    "I-private_address",
+    "E-private_address",
+    "S-private_address",
+    "B-private_email",
+    "I-private_email",
+    "E-private_email",
+    "S-private_email",
+    "B-private_phone",
+    "I-private_phone",
+    "E-private_phone",
+    "S-private_phone",
+    "B-private_url",
+    "I-private_url",
+    "E-private_url",
+    "S-private_url",
+    "B-private_date",
+    "I-private_date",
+    "E-private_date",
+    "S-private_date",
+    "B-account_number",
+    "I-account_number",
+    "E-account_number",
+    "S-account_number",
+    "B-secret",
+    "I-secret",
+    "E-secret",
+    "S-secret",
+    "B-codice_fiscale",
+    "I-codice_fiscale",
+    "E-codice_fiscale",
+    "S-codice_fiscale",
+    "B-carta_identita",
+    "I-carta_identita",
+    "E-carta_identita",
+    "S-carta_identita",
+    "B-patente",
+    "I-patente",
+    "E-patente",
+    "S-patente",
+    "B-passaporto",
+    "I-passaporto",
+    "E-passaporto",
+    "S-passaporto",
+    "B-partita_iva",
+    "I-partita_iva",
+    "E-partita_iva",
+    "S-partita_iva",
+    "B-iban",
+    "I-iban",
+    "E-iban",
+    "S-iban",
+    "B-tessera_sanitaria",
+    "I-tessera_sanitaria",
+    "E-tessera_sanitaria",
+    "S-tessera_sanitaria",
+    "B-numero_procedimento",
+    "I-numero_procedimento",
+    "E-numero_procedimento",
+    "S-numero_procedimento",
+    "B-riferimento_catastale",
+    "I-riferimento_catastale",
+    "E-riferimento_catastale",
+    "S-riferimento_catastale",
+    "B-parte_in_causa",
+    "I-parte_in_causa",
+    "E-parte_in_causa",
+    "S-parte_in_causa"
+  ],
+  "num_attention_heads": 14,
+  "num_experts": 128,
+  "num_hidden_layers": 8,
+  "num_key_value_heads": 2,
+  "num_labels": 73,
+  "param_dtype": "bfloat16",
+  "rope_ntk_alpha": 1.0,
+  "rope_ntk_beta": 32.0,
+  "rope_scaling_factor": 32.0,
+  "rope_theta": 150000,
+  "sliding_window": 257,
+  "span_class_names": [
+    "O",
+    "private_person",
+    "private_address",
+    "private_email",
+    "private_phone",
+    "private_url",
+    "private_date",
+    "account_number",
+    "secret",
+    "codice_fiscale",
+    "carta_identita",
+    "patente",
+    "passaporto",
+    "partita_iva",
+    "iban",
+    "tessera_sanitaria",
+    "numero_procedimento",
+    "riferimento_catastale",
+    "parte_in_causa"
+  ],
+  "vocab_size": 200064
+}

model.safetensors ADDED Viewed

	@@ -0,0 +1,3 @@

+version https://git-lfs.github.com/spec/v1
+oid sha256:420e24586f4776bba6fefd91d57e1875ddcd3c6040f674ded6c172a1048b1f0a
+size 2799035176