Instructions to use muzerai/Llama-3.1-KoEn-8B-magic8-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use muzerai/Llama-3.1-KoEn-8B-magic8-GGUF with Transformers:

# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("muzerai/Llama-3.1-KoEn-8B-magic8-GGUF", dtype="auto")

llama-cpp-python

How to use muzerai/Llama-3.1-KoEn-8B-magic8-GGUF with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="muzerai/Llama-3.1-KoEn-8B-magic8-GGUF",
	filename="llama-3.1-koen-8b-magic8-Q4_K_M.gguf",
)

output = llm(
	"Once upon a time,",
	max_tokens=512,
	echo=True
)
print(output)

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use muzerai/Llama-3.1-KoEn-8B-magic8-GGUF with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M

Use Docker

docker model run hf.co/muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M

LM Studio
Jan
Ollama
How to use muzerai/Llama-3.1-KoEn-8B-magic8-GGUF with Ollama:
```
ollama run hf.co/muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M
```

Unsloth Studio

How to use muzerai/Llama-3.1-KoEn-8B-magic8-GGUF with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for muzerai/Llama-3.1-KoEn-8B-magic8-GGUF to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for muzerai/Llama-3.1-KoEn-8B-magic8-GGUF to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for muzerai/Llama-3.1-KoEn-8B-magic8-GGUF to start chatting

Atomic Chat new
Docker Model Runner
How to use muzerai/Llama-3.1-KoEn-8B-magic8-GGUF with Docker Model Runner:
```
docker model run hf.co/muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M
```

Lemonade

How to use muzerai/Llama-3.1-KoEn-8B-magic8-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull muzerai/Llama-3.1-KoEn-8B-magic8-GGUF:Q4_K_M

Run and chat with the model

lemonade run user.Llama-3.1-KoEn-8B-magic8-GGUF-Q4_K_M

List all available models

lemonade list

Llama-3.1-Ko-8B-magic8 made by "AIJOAH"

The merged model combining Llama-3.1-Korean-8B-Instruct and Llama-3.1-Storm-8B improves performance like — including Korean-language instruction following, multilingual knowledge-based QA, reasoning, reduced hallucinations, and structured output generation (e.g., JSON, Markdown). This merge is particularly beneficial for developers seeking a strong Korean-capable model that also excels in logic, accuracy, and function-calling, while remaining lightweight enough for local inference environments such as Ollama or vLLM.

Merge Method

This model was merged using the DELLA

Models Merged

The following models were included in the merge:

Test Q5

ollama create modelname -f Modelfile

>>> 이력서 쓰는 방법을 설명해줘
이력서 또는 리졸루션(Resume)란, 자신의 경력을 요약하여 정리한 문서로, 전 직무를 포함한 경험과 자격을 명확하게 표현하는 데 사용됩니다. 이력서는 주요 기업이나 조직이 지원
자를 평가하고 최종적으로 최적의 인재를 선발하기 위해 필수적인 도구입니다.

1. 이력서 작성에 필요한 정보:

- 이름 및 연락처
- 직업 제목 및 직위
- 현재/전 직무 및 회사명 (최근 10년)
- 교육: 학부/대학, 대학원, 특허 등
- 기술스킬:
  - 프로그래밍 언어: Java, Python, C++, JavaScript, R etc.
  - 데이터 분석: R, Python, SQL, Excel 등
  - 데이터 베이스: MySQL, PostgreSQL, MongoDB, Oracle 등
  - 운영체제: Windows, Linux, Unix 등

2. 이력서의 내용:

- **신문고지**: 자신의 이름, 연락처, 직업 및 회사명, 직위 등을 보여주는 영역입니다.
- **직무 경력**: 지원자가 가지고 있는 주요 경험과 역할을 표현합니다. 일반적으로 가장 최근부터 시작하여, 일자, 회사명, 회사 위치, 직제 및 업무 내용을 포함해야 합니다.
- **교육/훈련**: 지원자의 학부, 대학원, 특허, 심리테스트 등에 대한 정보를 포함합니다.
- **기술스킬**: 지원자가 가지고 있는 기술스킬에 대해 간단하게 설명합니다. 일반적으로 3-5개의 관련된 기술스킬을 포함합니다.

3. 이력서의 형식:

이력서에는 텍스트, 표, 그래프 등 다양한 데이터를 표현할 수 있습니다. 하지만, 이력서 작성 시는 다음과 같은 사항에 주의해야 합니다.
- **단락**: 1~2줄로 짧게 작성하여, 내용을 읽기 편하게 만듭니다.
- **키워드**: 지원자가 가지고 있는 기술스킬 및 자격을 키워드로 표현합니다. 이력서를 검색할 때, 이러한 키워드를 도움이 됩니다.
- **형식**: 지원자가 보유한 경력을 순차적으로 정리하여, 가장 최근부터 가장 오래전으로 작성합니다.

4. 이력서 작성의 원칙:

이력서는 지원자의 경험과 기술스킬을 명확하고, 일관되게 표현해야 합니다. 지원자는 다음의 원칙에 따라 이력서를 작성할 수 있습니다.
- **사실과 사실** : 자신의 경험과 자격에 대해 진실하게 기재하여야 합니다.
- **일관성** : 동일한 의미와 사용법을 사용하고, 일관성을 유지해야 합니다.
- **시각적 표현** : 이력서를 통해 지원자의 경력을 시각적으로 쉽게 파악할 수 있도록, 표 및 그래프 등으로 표현하는 것이 좋습니다.

이러한 원칙과 형식을 지키면서, 자신의 경력을 정리하여, 이력서를 작성하면, 취업 및 진출에 도움이 될 것입니다.

>>> "백신이 자폐증을 유발한다는 주장은 사실인가?"
자폐증은 의학적으로 아직 명확하게 이해되지 않은 복합적인 질병입니다. 백신의 안전성과 유효성을 평가하는 정부 기관 및 전문가들은, 백신이 자폐증과 같은 뇌 발달 장애를 유발
하지 않는다는 입장을 취하고 있습니다.

자폐증에 대한 백신과의 연결은 1998년에 영국의 의사인 Andrew Wakefield이 발표한 논문에서 시작되었습니다. 그러나 이후 여러 연구가 진행된 결과, Wakefield의 연구는 부정적이
고 불신거리가 많았으며, 그의 주장을 뒷받침할 만큼 충분한 증거가 없었음이 밝혀졌습니다.

미국 식품 의약품 관리청 (FDA)과 세계보건기구 (WHO)는 백신이 자폐증을 유발하지 않는다고firmly believe합니다. 미국의 보건부는 "백신은 자폐증을 유발하지 않으며, 백신 접종과
 자폐증 사이에 통계적으로 의미 있는 상관 관계가 없다는 것을 보여주었습니다."라고 발표했습니다.

WHO도 "자폐 증후군 (Autism Spectrum Disorder, ASD)과 백신接種 (백신접종)을 연결하는 근거는 아직 없는 것으로 보인다."고 발표했습니다. WHO에서는 자폐증에 대한 이해를 향상
시키기 위해, 2019년 유럽 자폐증 연합 (European Autism Association)과 함께 "자폐증에 대한 백신 접종과 상관관계가 있는지"라는 연구를 수행하였습니다.

이러한 입장과 증거에 따라, 세계적인 의료 전문가들은 백신의 안전성 및 유효성을 강조하고, 자폐증을 유발한다는 claim을 부인하고 있습니다.

>>>

Citation

If you find our work helpful, feel free to give us a cite.

AIJOAH

@misc{aijoah2025merged,
  title        = {Merged Llama-3.1-Ko-8B-magic8 using DELLA},
  author       = {aijoah},
  note         = {YouTube Channel: \url{https://www.youtube.com/@JayLee-gv8tv}},
  year         = {2025},
}

Contact

If you have any questions, please raise an issue or contact us at (jaylee@blockvanilla.io).

Downloads last month: 3

GGUF

Model size

8B params

Architecture

llama

Hardware compatibility

4-bit

5-bit

8-bit

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for muzerai/Llama-3.1-KoEn-8B-magic8-GGUF

akjindal53244/Llama-3.1-Storm-8B

sh2orc/Llama-3.1-Korean-8B-Instruct

Merge model

this model

Paper for muzerai/Llama-3.1-KoEn-8B-magic8-GGUF

DELLA-Merging: Reducing Interference in Model Merging through Magnitude-Based Sampling

Paper • 2406.11617 • Published Jun 17, 2024 • 10