Instructions to use Jaime555/Llama3.1-Oncology-BreastCancer-ES with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Jaime555/Llama3.1-Oncology-BreastCancer-ES with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Jaime555/Llama3.1-Oncology-BreastCancer-ES")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("Jaime555/Llama3.1-Oncology-BreastCancer-ES", dtype="auto")

PEFT
How to use Jaime555/Llama3.1-Oncology-BreastCancer-ES with PEFT:
```
Task type is invalid.
```
Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Jaime555/Llama3.1-Oncology-BreastCancer-ES with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Jaime555/Llama3.1-Oncology-BreastCancer-ES"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Jaime555/Llama3.1-Oncology-BreastCancer-ES",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Jaime555/Llama3.1-Oncology-BreastCancer-ES

SGLang

How to use Jaime555/Llama3.1-Oncology-BreastCancer-ES with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Jaime555/Llama3.1-Oncology-BreastCancer-ES" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Jaime555/Llama3.1-Oncology-BreastCancer-ES",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Jaime555/Llama3.1-Oncology-BreastCancer-ES" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Jaime555/Llama3.1-Oncology-BreastCancer-ES",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use Jaime555/Llama3.1-Oncology-BreastCancer-ES with Docker Model Runner:
```
docker model run hf.co/Jaime555/Llama3.1-Oncology-BreastCancer-ES
```

🧬 Llama3.1-Oncology-BreastCancer-ES

📌 Descripción

Este modelo es una adaptación de Meta-Llama-3.1-8B-Instruct entrenado con Parameter-Efficient Fine-Tuning (LoRA) sobre las guías clínicas NCCN para cáncer de mama.
El objetivo es proporcionar un asistente en español para la práctica oncológica, capaz de responder de forma clínicamente relevante, contextualizada y alineada con guías internacionales.

⚙️ Detalles del modelo

Base model: meta-llama/Llama-3.1-8B-Instruct
Técnica de ajuste: LoRA (PEFT)
Frameworks: Hugging Face Transformers, TRL
Formato de pesos: safetensors
Dataset: Pares instrucción-respuesta derivados de las guías NCCN (Breast Cancer), traducidas y adaptadas al español.
Tamaño: ~8B parámetros (adaptado con LoRA)
Idioma principal: Español

📂 Casos de uso previstos

Soporte a oncólogos en la consulta clínica.
Educación médica en oncología de mama.
Generación de resúmenes y recordatorios de protocolos.

⚠️ Este modelo no reemplaza la decisión clínica. Debe usarse solo como sistema de apoyo y con validación de un profesional de la salud.

🚫 Limitaciones

Entrenado únicamente en cáncer de mama → no extrapola a otros tumores.
Dataset basado en guías NCCN → no incluye toda la literatura mundial.
Puede generar alucinaciones clínicas si se sale del dominio entrenado.
No debe usarse como única fuente para decisiones terapéuticas.

📖 Cómo usarlo

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Jaime555/Llama3.1-Oncology-BreastCancer-ES"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

prompt = "Eres un oncólogo clínico. Resume en 5 puntos el manejo del cáncer de mama HER2+ temprano."
inputs = tokenizer(prompt, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

---

## 🙏 Agradecimientos
Agradezco al Instituto Oncológico Ospedale (INOOS) por la oportunidad de permitirme interactuar con pacientes con cáncer de mama, lo cual inspiró la aplicación de mis conocimientos en esta área de la inteligencia artificial aplicada a la oncología.

## Disclaimer
> Nota: Este modelo fue entrenado con un dataset personalizado construido a partir de las guías NCCN de cáncer de mama, traducidas y adaptadas al español.  
> Su uso es exclusivamente para fines de investigación y educación, sin relación oficial con la NCCN.

> Note: This model was trained on a custom dataset built from the NCCN Breast Cancer Guidelines, translated and adapted into Spanish.  
> It is intended solely for research and educational purposes, with no official affiliation to the NCCN.

Downloads last month: -; Downloads are not tracked for this model. How to track

Model tree for Jaime555/Llama3.1-Oncology-BreastCancer-ES

Base model

meta-llama/Llama-3.1-8B

Finetuned

meta-llama/Llama-3.1-8B-Instruct

Adapter

(2461)

this model