minhtuan7akp/snowflake-m-v2.0-vietnamese_matryoshka-finetune

SentenceTransformer based on Snowflake/snowflake-arctic-embed-m-v2.0

This is a sentence-transformers model finetuned from Snowflake/snowflake-arctic-embed-m-v2.0 on the csv dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Snowflake/snowflake-arctic-embed-m-v2.0
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • csv

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: GteModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("minhtuan7akp/snowflake-m-v2.0-vietnamese_matryoshka-finetune")
# Run inference
sentences = [
    'Gia Cát Lượng đã giúp ai trong việc quản lý nước Thục?',
    'phải trông coi mọi việc, giúp Thành Vương đến lúc trưởng thành. \r\n4\r\n Hoắc Quang giữ chức Đại tư mã tướng quân, phò Hán Chiêu Đế lúc lên ngôi mới 9 tuổi. \r\n5\r\n Gia Cát Lượng tức Khổng Minh, là thừa tướng của Chiêu Đế Lưu Bị nước Thục đời Tam Quốc. Lưu Bị chết, con là Lưu Thiện nối \r\nngôi, tức Thục Hậu chúa, mọi việc nước, việc quân đều phải trông cậy vào Gia Cát Lượng. \r\n6\r\n Tô Hiến Thành là Thái úy triều Lý Cao Tông, nhận di mệnh Cao Tông phò vua nhỏ là Long Cán lên nối ngôi mới 3 tuổi. \r\n7\r\n Tứ phụ: nghĩa là bốn viên đại thần giúp vua khi mới lên ngôi. \r\n8\r\n Chỉ Thuận Tông. \r\n9\r\n Xích chủy: nghĩa là mõm đỏ, miệng đỏ, hay đỏ mỏ. Xích chủy hầu là loài đỏ mỏ ám chỉ Lê Quý Ly. \r\n10 Bạch kê: nghĩa là gà trắng. Nghệ Tông sinh năm Tân Dậu, tức năm gà. Tân thuộc hành kim, loài kim sắc trắng. Vì thế "bạch kê" \r\nám chỉ Nghệ Tông. \r\n11 Chữ vương? ở trong lòng chữ khẩu? là chữ "quốc"?. \r\n12 Theo tục nhà Trần, hằng năm vào ngày mồng 4 tháng 4, vua hội họp bề tôi làm lễ tuyên thệ ở đền Đồng Cổ. (Xem bản kỷ, quyển \r\n5, Kiến Trung năm thứ 3, 1277). \r\n13 Chỉ Quý Ly. \r\n288 Đại Việt Sử Ký Toàn Thư - Bản Kỷ - Quyển VIII \r\nQuý Ly bỏ mũ, rập đầu khóc lóc từ tạ, chỉ trời vạch đất thề rằng: \r\n"Nếu thần không biết dốc lòng trung, hết sức giúp Quan gia để truyền đến con cháu về sau thì \r\ntrời sẽ ghét bỏ thần". \r\nQuý Ly lại nói: "Lúc Linh Đức Vương làm điều thất đức, nếu không nhờ oai linh bệ hạ thì thần đã',
    'Tây. Ngoài cơ sờ đúc súng cũ của tiên triều, năm 1825 vua Minh \r\nMệnh mờ thêm sáu xưởng nữa. vốn cần cù và ham học hỏi sáng \r\ntạo, những người thợ quân giới đã được "thứ súng tay nạp thuốc nổ \r\nmạnh theo kiểu Tây dương". Vào những năm cuối triều Minh \r\nM ệnh, họ đã đúc 15 cỗ đại pháo X ung tiêu băng đồng và hai cỗ \r\nsúng lớn Chấn hải, loại đại pháo lợi hại trong thủy chiến phương \r\nTây. Sau đó, lại xuất xưởng tiếp 30 cỗ Chấn hải. Năm 1829, quản \r\nkho Hải Dương là Tôn Thất Thiện cùng với 100 lính Chấn cơ chế \r\nra cối gỗ chạy bàng sức nước ở khe suối để giã, luyện thuốc súng. \r\nDụng cụ này là xe "Thủy hỏa ký tế", và những năm sau được phổ \r\ncập trong quân ngũ. Từ vũ khí phương Tây, người Đại Nam đã tự \r\ntìm hiểu từng chi tiết để chế tạo thước đo ngắm bắn, thước kiểm tra \r\nthuốc súng. Trong bảy năm ờ ngôi, vua Thiệu Trị đúc 9 cỗ súng \r\nbàng đồng hiệu là "Thần uy phục viễn đại tướng quân", cỗ to nhất \r\nlà 10.706 cân, cỗ nhỏ nhất là 10.222 cân, tổng cộng là 93.829 cân.\r\n649\r\nLỊCH SỬ VIỆT NAM - TẬP 5\r\nVà ba cỗ súng hiệu "Bảo Đại định công an dân hòa chúng thượng \r\ntướng quân", mỗi cỗ trên 14.500 cân, tổng cộng là 43.620 cân1.\r\nĐe tạo điều kiện cho quân thủy học tập, bộ Công cấp cho họ la \r\nbàn, thước đo nước, đồng hồ cát xem giờ của phương Tây. v ề khoa \r\nmục bắn súng thì lính thủy phải tập bắn súng điểu sang và đại bác. \r\nMinh Mệnh yêu cầu Hiệp biện Đại học sĩ lãnh Thượng thư bộ Binh \r\nTrương Đăng Quế đọc kỹ các sách và bản đồ thủy chiến "Tây',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: snowflake_m_v2.0_768, snowflake_m_v2.0_512, snowflake_m_v2.0_256, snowflake_m_v2.0_128 and snowflake_m_v2.0_64
• Evaluated with InformationRetrievalEvaluator

Metric	snowflake_m_v2.0_768	snowflake_m_v2.0_512	snowflake_m_v2.0_256	snowflake_m_v2.0_128	snowflake_m_v2.0_64
cosine_accuracy@1	0.4114	0.4037	0.4014	0.347	0.2927
cosine_accuracy@3	0.6219	0.6205	0.6096	0.5626	0.4804
cosine_accuracy@5	0.6909	0.6904	0.6813	0.6311	0.5406
cosine_accuracy@10	0.7703	0.7598	0.7562	0.7169	0.632
cosine_precision@1	0.4114	0.4037	0.4014	0.347	0.2927
cosine_precision@3	0.2073	0.2068	0.2032	0.1875	0.1601
cosine_precision@5	0.1382	0.1381	0.1363	0.1262	0.1081
cosine_precision@10	0.077	0.076	0.0756	0.0717	0.0632
cosine_recall@1	0.4114	0.4037	0.4014	0.347	0.2927
cosine_recall@3	0.6219	0.6205	0.6096	0.5626	0.4804
cosine_recall@5	0.6909	0.6904	0.6813	0.6311	0.5406
cosine_recall@10	0.7703	0.7598	0.7562	0.7169	0.632
cosine_ndcg@10	0.5909	0.5839	0.5794	0.5313	0.4574
cosine_mrr@10	0.5336	0.5274	0.5228	0.4721	0.4022
cosine_map@100	0.5403	0.5345	0.5299	0.4796	0.4108

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 21,892 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 9 tokens mean: 26.95 tokens max: 103 tokens	min: 25 tokens mean: 373.94 tokens max: 596 tokens

• Samples:

  anchor	positive
  Tính chất kiến trúc của đình làng triều Mạc được thể hiện qua những đặc điểm gì, như số gian, hình dạng, nội thất và cách bố trí không gian trong công trình?	Đình làng là công trình kiến trúc công cộng được dựng nên
  băng sự đóng góp của cải và công sức của cả cộng đồng làng xã.
  Ngoài chức năng là trụ sở hành chính của cả làng, ngôi đình còn là
  trung tâm sinh hoạt văn hóa làng xã, là nơi diễn ra các nghi lễ trọng
  đại trong dịp tế lễ thần Thành hoàng làng và tô chức hội hè hăng
  năm. Có thê nói, ngôi đình làng là nơi hội tụ sức mạnh của cả cộng
  đồng và là biểu trưng đặc sắc nhất của văn hóa làng xã.
  Trong các ngôi đình triều Mạc, Thân thành hoàng có lý lịch
  xuất thân khá phong phú. Tản Viên sơn thánh là vị thần có ảnh
  hưởng lớn ở xứ Đoài được thờ phụng ở đình Tây Đăng, Thanh Lũng
  và nhiều làng xã khác. Thần Cao Sơn, Quý Minh tương truyền là
  tướng tâm phúc của Hùng Vương được thờ ở đình làng Lỗ Hạnh.
  Dân làng Lỗ Hạnh còn thờ cả Phương Dung công chúa... Từ thế
  kỷ XYVI và các thế kỷ tiếp sau, Thần thành hoàng làng trở thành
  vị vua tỉnh thần ở các làng xã, tín ngưỡng thờ cúng Thân thành
  hoàng càng trở nên phong phú thê hiện qua lễ...
  Nguyễn Khắc Nhu có vai trò gì trong khởi nghĩa toàn khu vực miền núi Bắc Kỳ của Việt Nam Quốc dân Đảng vào năm 1930?	bị nổ do bất cẩn. Do đó công việc bị phát hiện. Hai người phụ trách
  cơ quan chế bom là Đỗ Cương và Quản Trác trốn thoát. Nhiều binh
  lính và dân thường bị bắt. Công việc bạo động của Xứ Nhu không
  thành. Đúng lúc này Việt Nam Quốc dân Đảng vừa thành lập, cử
  người tới mời Xứ Nhu và Việt Nam Dân quốc gia nhập Việt Nam
  Quốc dân Đảng. Hầu hết các đồng chí của Xứ Nhu trở thành đảng
  viên của Việt Nam Quốc dân Đảng ở vùng Bắc Ninh, Bắc Giang.
  Do đó, Việt Nam Quốc dân Đảng mạnh lên về số lượng1. Cùng với
  việc phát triển đảng viên ở Bẳc Ninh, Bắc Giang, Việt Nam Quốc
  dân Đảng còn thiết lập nhiều cơ sở ở các tỉnh Thái Bình, Hải Dương,
  1. Nguyễn Khắc Nhu tức Xứ Nhu (1882-1930), người làng Song Khê, huyện
  Yên Dũng, tinh Bắc Giang. Với lòng yêu nuớc và ý chí chống Pháp,
  ông dự tính thành lập một tổ chức hoạt động công khai nhăm đào tạo
  tài năng cho đất nước lấy tên là "Hội Quốc dân dục tài”. Việc này
  không thành công, ông lại lập tổ chức bí mật nhăm bạo động lật đổ ách
  áp b...
  Giá gạo tháng 3-1950 ở Liên khu IV là bao nhiêu đồng/tạ và có chênh lệch gì so với giá gạo ở Liên khu III và Liên khu Việt Bắc?	ngày càng tăng nhanh, nhất là ở Việt Bắc. Giá gạo tăng mạnh
  nhất, giá thực phẩm cũng tăng dần theo giá gạo. Giá các mặt hàng
  kỹ nghệ tăng chậm hơn. Giá hàng ngoại hóa hầu như không tăng
  vỉ trong vùng Pháp chiếm đóng, hàng ngoại hóa tính bằng tiền
  Đông Dương không tăng, hom nữa nhân dân cũng ít tiêu thụ hàng
  ngoại hóa vì bị cấm.
  1. Viện Kinh tế học, Kinh tế Việt Nam từ Cách mạng Tháng Tám đến..., Sách
  đã dẫn, tr. 238.
  2. Chuơng trình và báo cáo của Bộ Kinh tế về tình hình hoạt động năm 1950.
  Trung tâm lưu trữ quốc gia in, phông Phủ Thủ tướng, Hồ sơ số 1914.
  488
  Chương VI. Việt Nam dân chủ cộng hòa xây dựng..
  Giá gạo trong những tháng đầu năm 1950 so với cuối năm 1949
  có thay đổi, Liên khu IV (Thanh Hóa) giá tăng lên 154%; Liên khu
  III (Hà Đông - Hà Nam) giá tăng lên 153%; Liên khu Việt Bắc
  (Thái Nguyên) giá tăng lên 800%.
  Giá gạo ở Thái Nguyên từ 1.625 đồng/tạ lên 13.000 đồng/tạ
  (tăng 800%); ờ Phú Thọ từ 2.650 đồng/tạ lên 7.500 đồng/tạ (tăng
  283%). Mặt khác, ...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

csv

• Dataset: csv
• Size: 21,892 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 10 tokens mean: 26.56 tokens max: 108 tokens	min: 24 tokens mean: 369.01 tokens max: 559 tokens

• Samples:

  anchor	positive
  Nguyễn Hoàng đã thực hiện những hành động gì để dần dần tách khỏi sự ràng buộc của họ Trịnh sau khi trở lại Thuận Quảng vào năm 1600, và những hành động này đã ảnh hưởng như thế nào đến mối quan hệ giữa hai dòng họ?	thẳng đối với họ Nguyễn. Trịnh Tùng đã lấy danh nghĩa vua Lê sai
  sứ giả là Thiêm đô ngự sử Lê Nghĩa Trạch đem sắc vào phủ dụ
  Nguyễn Hoàng và vẫn cho ở lại trấn thủ, hằng năm nộp thuế như
  cũ. Cùng với sắc của vua Lê, Trịnh Tùng có gửi thư kèm theo
  Chương ĩ. Sự phân liệt Đàng Trong - Đàng Ngoài...
  1, Toàn thư. quyển 17, tập IV, Sđd, tr. 200.
  2, Đại Nam thực lục, Tiền biên, quyển 1, tập I, Sđd, tr. 34.
  3, Đại Nam thực lục, Tiển biên, quyển 1, tập I, Sđd, tr. 35.
  39
  LỊCH SỬ VIỆT NAM - TẬP 4
  "khuyên giữ việc thuế cống". Nguyễn Hoàng sai sứ giả đáp lễ tạ on
  vua Lê và gửi thư cho Trịnh Tùng hẹn kết nghĩa thông gia, đem con
  gái là Ngọc Tú gả cho Trịnh Tráng (con Trịnh Tùng) lấy danh
  nghĩa hôn nhân để duy trì mối quan hệ bề ngoài giao hảo giữa hai
  dòng họ vốn có sẵn một mối thù địch.
  - Chính sách cùa họ Nguyễn từ khi Nguyễn Hoàng trở lại
  Thuận Quảng
  Năm 1600, Nguyễn Hoàng ròi được khỏi đất Bẳc trở về Thuận
  Quảng bắt đầu thực hiện một chính sách cai trị mói, dần dần tác...
  Báo cáo của Ủy ban Kháng chiến hành chính Hà Nội về hoạt động giáo dục bù nhìn và tình hình các giáo sư trường Chu Văn An có nội dung gì?	Tài liệu tham khảo
  21. Báo cáo sô' 2 BC/I ngày 12-11-1949 và Báo cáo sô' 463
  BC/DB ngày 25-12-1949 của Ty Công an H à Nội. Trung
  tâm Lưu trữ Quốc gia III, phông Phủ Thủ tướng, Hồ sơ
  SỐ921.
  28. Báo “Le song” ngày 11-2-1949. Trung tâm Lưu trữ Quốc
  gia III, phông Phủ Thủ tướng, Hồ sơ sô' 2002.
  29. Báo cáo của u ỷ ban Kháng chiến hành chính Hà Nội vê
  hoạt động giáo dục bù nhìn và tình hình các giáo sư
  trường Chu Văn An. Trung tâm Lưu trữ Quốc gia III,
  phông Phủ Thủ tướng, Hồ sơ số 979.
  30. Báo cáo của Tổng Giám đốc Việt N am Công an vụ sô'
  122/NCB3 ngày 1-4-1951. Trung tâm Lưu trữ Quốic gia
  III, phông Phủ Thủ tướng, Hồ sơ sô' 979.
  31. Báo cáo thành tích về cống tác công an trong 8 năm kháng
  chiến (1946-1954) của Bộ Công an. Trung tâm Lưu trữ
  Quốc gia III, phông Phủ Thủ tướng, Hồ sơ sô' 927.
  32. Báo cáo một năm kháng chiến (12-1946 đến 12-1947) của
  UBKCHC Khu 12. Trung tâm Lưu trữ Quốc gia III, phông
  Phủ Thủ tướng, Hồ sơ sô" 2000.
  33. Báo cáo thành tích quăn sự trong 8 n...
  Đặc điểm dân số của nước ta ảnh hưởng đến các ngành dịch vụ như thế nào và đòi hỏi những ngành dịch vụ nào cần được ưu tiên phát triển trong quá trình đô thị hóa?	— Trong các thành phố lớn thường hình thành các trung tâm giao dịch,
  thương mại. Đó là nơi tập trung các ngân hàng, các văn phòng đại diện
  của các công ti, các siêu thị hay các tổ hợp thương mại, dịch vụ lớn...
  Ở các thành phố lớn trên thế giới, thường dễ nhận thấy các trung tâm
  thương mại này do sự tập trung các ngôi nhà cao tầng, chọc trời. Một
  thành phố có thể có trung tâm thương mại chính và một số trung tâm
  thương mại nhỏ hơn, kết quả của sự phát triển đô thị.
  — Ở nước ta, các thành phố, thị xã thường có khu hành chính (phân
  “đô”) và khu buôn bán, dịch vụ (phân “thị'). Ở Hà Nội, Thành phố
  Hồ Chí Minh các trung tâm giao dịch, thương mại của thành phố đang
  được hình thành rõ nét.
  CÂU HỎI VÀ BÀI TẬP
  174
  1. Cho biết đặc điểm dân số của nước ta (đông, tăng còn tương đối
  nhanh, mức sống đang nâng lên và đô thị hoá đang phát triển với
  tốc độ nhanh hơn) có ảnh hưởng đến các ngành dịch vụ như thế
  nào ? Các đặc điểm đó đòi hỏi những ngành dịch vụ nào cần được
  ưu tiê...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• learning_rate: 3e-06
• num_train_epochs: 2
• warmup_ratio: 0.05
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	snowflake_m_v2.0_768_cosine_ndcg@10	snowflake_m_v2.0_512_cosine_ndcg@10	snowflake_m_v2.0_256_cosine_ndcg@10	snowflake_m_v2.0_128_cosine_ndcg@10	snowflake_m_v2.0_64_cosine_ndcg@10
0.0305	100	1.7876	1.1904	0.4785	0.4705	0.4505	0.3318	0.2179
0.0609	200	1.3408	0.8115	0.5106	0.4999	0.4862	0.3923	0.2731
0.0914	300	0.8536	0.6208	0.5323	0.5265	0.5109	0.4285	0.3178
0.1218	400	0.6425	0.5241	0.5477	0.5366	0.5248	0.4483	0.3441
0.1523	500	0.5621	0.4878	0.5542	0.5406	0.5354	0.4625	0.3625
0.1827	600	0.5521	0.4712	0.5566	0.5471	0.5392	0.4715	0.3735
0.2132	700	0.5387	0.4529	0.5623	0.5534	0.5438	0.4803	0.3856
0.2436	800	0.5439	0.4324	0.5619	0.5526	0.5473	0.4807	0.3895
0.2741	900	0.3761	0.4220	0.5627	0.5553	0.5499	0.4829	0.3912
0.3045	1000	0.4978	0.4020	0.5696	0.5591	0.5527	0.4872	0.3990
0.3350	1100	0.5307	0.3927	0.5723	0.5620	0.5589	0.4948	0.4042
0.3654	1200	0.4942	0.3823	0.5740	0.5650	0.5630	0.5001	0.4116
0.3959	1300	0.3628	0.3754	0.5724	0.5644	0.5613	0.4992	0.4131
0.4263	1400	0.3592	0.3584	0.5776	0.5699	0.5624	0.5065	0.4181
0.4568	1500	0.3938	0.3521	0.5755	0.5696	0.5627	0.5081	0.4250
0.4872	1600	0.4694	0.3486	0.5762	0.5705	0.5630	0.5076	0.4238
0.5177	1700	0.4115	0.3561	0.5727	0.5673	0.5616	0.5064	0.4265
0.5481	1800	0.4144	0.3371	0.5768	0.5723	0.5649	0.5078	0.4256
0.5786	1900	0.3783	0.3334	0.5758	0.5703	0.5638	0.5082	0.4264
0.6090	2000	0.3374	0.3302	0.5790	0.5710	0.5661	0.5099	0.4276
0.6395	2100	0.41	0.3168	0.5817	0.5769	0.5694	0.5164	0.4280
0.6699	2200	0.4752	0.3138	0.5826	0.5779	0.5703	0.5156	0.4318
0.7004	2300	0.2697	0.3130	0.5837	0.5786	0.5712	0.5178	0.4350
0.7308	2400	0.4127	0.3075	0.5826	0.5768	0.5700	0.5153	0.4308
0.7613	2500	0.3481	0.3083	0.5842	0.5787	0.5719	0.5182	0.4345
0.7917	2600	0.329	0.2987	0.5871	0.5828	0.5761	0.5224	0.4350
0.8222	2700	0.4066	0.2929	0.5854	0.5796	0.5739	0.5187	0.4366
0.8526	2800	0.3523	0.2912	0.5872	0.5791	0.5737	0.5164	0.4403
0.8831	2900	0.2931	0.2938	0.5849	0.5773	0.5730	0.5193	0.4401
0.9135	3000	0.3608	0.2868	0.5841	0.5769	0.5746	0.5198	0.4405
0.9440	3100	0.4988	0.2825	0.5857	0.5790	0.5769	0.5239	0.4436
0.9744	3200	0.379	0.2772	0.5893	0.5809	0.5780	0.5240	0.4434
1.0049	3300	0.2685	0.2730	0.5891	0.5794	0.5784	0.5257	0.4438
1.0353	3400	0.3269	0.2679	0.5906	0.5820	0.5794	0.5268	0.4443
1.0658	3500	0.2561	0.2672	0.5907	0.5828	0.5789	0.5286	0.4470
1.0962	3600	0.2696	0.2663	0.5930	0.5840	0.5799	0.5270	0.4464
1.1267	3700	0.2973	0.2674	0.5910	0.5829	0.5775	0.5281	0.4475
1.1571	3800	0.2717	0.2675	0.5884	0.5802	0.5769	0.5276	0.4493
1.1876	3900	0.2932	0.2615	0.5894	0.5812	0.5791	0.5285	0.4527
1.2180	4000	0.3191	0.2597	0.5902	0.5831	0.5771	0.5280	0.4521
1.2485	4100	0.2936	0.2583	0.5903	0.5831	0.5792	0.5280	0.4517
1.2789	4200	0.2266	0.2609	0.5879	0.5814	0.5764	0.5276	0.4547
1.3094	4300	0.2712	0.2606	0.5895	0.5818	0.5784	0.5269	0.4546
1.3398	4400	0.3014	0.2609	0.5898	0.5815	0.5772	0.5278	0.4551
1.3703	4500	0.2104	0.2607	0.5892	0.5815	0.5771	0.5268	0.4548
1.4007	4600	0.4204	0.2614	0.5881	0.5812	0.5757	0.5270	0.4551
1.4312	4700	0.2502	0.2614	0.5894	0.5801	0.5773	0.5288	0.4551
1.4616	4800	0.171	0.2605	0.5892	0.5805	0.5777	0.5306	0.4582
1.4921	4900	0.2284	0.2625	0.5881	0.5816	0.5771	0.5297	0.4574
1.5225	5000	0.2021	0.2597	0.5897	0.5814	0.5785	0.5294	0.4572
1.5530	5100	0.3218	0.2596	0.5900	0.5826	0.5783	0.5301	0.4575
1.5834	5200	0.2402	0.2586	0.5894	0.5821	0.5788	0.5290	0.4581
1.6139	5300	0.3036	0.2562	0.5910	0.5825	0.5780	0.5311	0.4576
1.6443	5400	0.2906	0.2558	0.5903	0.5822	0.5795	0.5301	0.4578
1.6748	5500	0.2319	0.2553	0.5901	0.5829	0.5785	0.5311	0.4583
1.7052	5600	0.2315	0.2544	0.5896	0.5821	0.5775	0.5313	0.4581
1.7357	5700	0.2448	0.2541	0.5897	0.5831	0.5783	0.5310	0.4573
1.7661	5800	0.1683	0.2533	0.5906	0.5840	0.5785	0.5307	0.4576
1.7966	5900	0.2424	0.2536	0.5913	0.5841	0.5783	0.5312	0.4585
1.8270	6000	0.2169	0.2539	0.5905	0.5832	0.5787	0.5305	0.4574
1.8575	6100	0.2504	0.2541	0.5918	0.5830	0.5780	0.5306	0.4575
1.8879	6200	0.1923	0.2540	0.5908	0.5841	0.5781	0.5309	0.4585
1.9184	6300	0.2375	0.2533	0.5904	0.5839	0.5790	0.5306	0.4581
1.9488	6400	0.2248	0.2529	0.5904	0.5844	0.5777	0.5316	0.4577
1.9793	6500	0.1819	0.2532	0.5909	0.5839	0.5794	0.5313	0.4574

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.5.1
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}