Update README.md

README.md

@@ -39,58 +39,17 @@ This is the model card of a 🤗 transformers model that has been pushed on the
 
 ## How to use
 
-This repo provides full model weight files for AkaLlama-70B-v0.1.
+This repo provides quantized model weight files for AkaLlama-70B-v0.1.
 
-# Use with transformers
+### Chat by `ollama`
 
-See the snippet below for usage with Transformers:
+```bash
+#download model weight
+wget https://huggingface.co/mirlab/AkaLlama-llama3-70b-v0.1-GGUF/resolve/main/smthing.gguf
 
-```python
-import transformers
-import torch
-
-model_id = "mirlab/AkaLlama-llama3-70b-v0.1-GGUF"
-
-pipeline = transformers.pipeline(
-    "text-generation",
-    model=model_id,
-    model_kwargs={"torch_dtype": torch.bfloat16},
-    device="auto",
-)
-
-system_prompt = """당신은 연세대학교 멀티모달 연구실 (MIR lab) 이 만든 대규모 언어 모델인 AkaLlama (아카라마) 입니다.
-다음 지침을 따르세요:
-1. 사용자가 별도로 요청하지 않는 한 항상 한글로 소통하세요.
-2. 유해하거나 비윤리적, 차별적, 위험하거나 불법적인 내용이 답변에 포함되어서는 안 됩니다.
-3. 질문이 말이 되지 않거나 사실에 부합하지 않는 경우 정답 대신 그 이유를 설명하세요. 질문에 대한 답을 모른다면 거짓 정보를 공유하지 마세요.
-4. 안전이나 윤리에 위배되지 않는 한 사용자의 모든 질문에 완전하고 포괄적으로 답변하세요."""
-
-messages = [
-    {"role": "system", "content": system_prompt},
-    {"role": "user", "content": "네 이름은 뭐야?"},
-]
-
-prompt = pipeline.tokenizer.apply_chat_template(
-        messages, 
-        tokenize=False, 
-        add_generation_prompt=True
-)
-
-terminators = [
-    pipeline.tokenizer.eos_token_id,
-    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
-]
-
-outputs = pipeline(
-    prompt,
-    max_new_tokens=256,
-    eos_token_id=terminators,
-    do_sample=True,
-    temperature=0.6,
-    top_p=0.9,
-)
-print(outputs[0]["generated_text"][len(prompt):])
-# 내 이름은 AkaLlama입니다! 나는 언어 모델로, 사용자와 대화하는 데 도움을 주기 위해 만들어졌습니다. 나는 다양한 주제에 대한 질문에 답하고, 새로운 아이디어를 제공하며, 문제를 해결하는 데 도움이 될 수 있습니다. 사용자가 원하는 정보나 도움을 받도록 최선을 다할 것입니다!
+# run ollama
+ollama create 
+ollama run llava-llama3-f16 "네 이름은 뭐야?"
 ```
 
 ## Evaluation