Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 768,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": false,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": true,
+    "include_prompt": true
+}

README.md

@@ -0,0 +1,1073 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:13980
+- loss:MatryoshkaLoss
+- loss:CachedMultipleNegativesRankingLoss
+base_model: jinaai/jina-embeddings-v5-text-nano-retrieval
+widget:
+- source_sentence: 'Query: عُضْوِيَّة كَائِن حَيّ مُتَعَضٍّ'
+  sentences:
+  - 'Document: # خَثْرَةٌ مُتَعَضِّيَة (جذر: خثر)
+
+
+    ## المعجم الطبي الموحد (2009)
+
+    EN: organized thrombus
+
+    '
+  - 'Document: # كليات وظيفية (جذر: كلل)
+
+
+    ## مسرد الإعلام والتواصل، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)
+
+    EN: functional universals
+
+
+    ما تشترك فيه اللغات الطبيعية من جهة الاستعمال.
+
+    '
+  - 'Document: # خَثْرَةٌ مُتَعَضِّيَة (جذر: خثر)
+
+
+    ## المعجم الطبي الموحد (2009)
+
+    EN: organized thrombus
+
+    '
+- source_sentence: 'Query: عُضْوِيَّة كَائِن حَيّ مُتَعَضٍّ'
+  sentences:
+  - 'Document: # كائن حي متعض، متعضية (جذر: كن)
+
+
+    ## المعجم الموحد لمصطلحات الجيولوجيا (2000)
+
+    EN: organism
+
+
+    ## المعجم الموحد لمصطلحات علوم الزلازل (1999)
+
+    EN: organism
+
+    '
+  - 'Document: # تربية وظيفية (جذر: رب)
+
+
+    ## مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)
+
+    EN: functional education
+
+    '
+  - "Document: # الجوهر (جذر: جهر)\n\n## Al-Munāwī, al-Tawqīf ʿalā Muhimmāt al-Taʿārīf\
+    \ (d. 1622 CE)\n*التوقيف على مهمات التعاريف للمناوي*\n\nالجوهر: ماهية إذا وجدت\
+    \ في الأعيان كانت لا في موضع وهو منحصر في خمسة: هيولى وصورة وجسم ونفس وعقل، لأنه\
+    \ إما أن يكون مجردا أو لا، والأول إما أن لا يتعلق بالبدن تعلق تدبير وتصرف أو يتعلق.\
+    \ والأول العقل والثاني النفس، وغير المجرد إما مركب أولا، والأول الجسم والثاني\
+    \ إما حال أو محل، الأول الصورة والثاني الهيولى وتسمى الحقيقة.فالجوهر ينقسم إلى\
+    \ بسيط روحاني كالعقول، والنفوس المجردة، وإلى بسيط جسماني كالعناصر، وإلى مركب في\
+    \ العقل دون الخارج كالماهيات الجوهرية المركبة من الجنس والفصل، وإلى مركب منهما\
+    \ كالمولدات الثلاثة.\n\n## Al-Tahānawī, Kashshāf Iṣṭilāḥāt al-Funūn wa-l-ʿUlūm\
+    \ (d. 1777 CE)\n*كشّاف اصطلاحات الفنون والعلوم للتهانوي*\n\nالجوهر:[في الانكليزية]\
+    \ Substance ،essence [ في الفرنسية] Substance ،essence \nيطلق على معان: منها الموجود\
+    \ القائم بنفسه حادثا كان أو قديما ويقابله العرض بمعنى ما ليس كذلك. ومنها الحقيقة\
+    \ والذات، وبهذا المعنى يقال أي شيء هو في جوهره أي ذاته وحقيقته، ويقابله العرض\
+    \ بمعنى الخارج من الحقيقة. والجوهر بهذين المعنيين لا شكّ في جوازه في حقّ الله\
+    \ تعالى وإن لم يرد الإذن بالإطلاق. ومنها ما هو من أقسام الموجود الممكن، فهو عند\
+    \ المتكلمين لا يكون إلّا حادثا إذ كل ممكن حادث عندهم. وأما عند الحكماء فقد يكون\
+    \ قديما كالجوهر المجرّد وقد يكون حادثا كالجوهر المادي. وعند كلا الفريقين لا يجوز\
+    \ إطلاقه بهذا المعنى على الله تعالى بناء على أنّه قسم من الممكن. فتعريفه عند المتكلّمين\
+    \ الحادث المتحيز بالذات، والمتحيز بالذات هو القابل للإشارة الحسّية بالذات بأنه\
+    \ هنا أو هناك، ويقابله العرض. فقال الأشاعرة:العرض هو الحادث القائم بالمتحيّز بالذات\
+    \ فخرج الإعدام والسّلوب لعدم حدوثها لأنّ الحادث من أقسام الموجود. وخرج أيضا ذات\
+    \ الربّ وصفاته لعدم كونها حادثة ولا قائمة بالمتحيّز بالذات، فإنّ الربّ تعالى ليس\
+    \ بمتحيّز أصلا. وبالجملة فذات الربّ تعالى وصفاته ليست بأعراض ولا جواهر. وقال بعض\
+    \ الأشاعرة العرض ما كان صفة لغيره وينبغي أن يراد بما الحادث بناء على أنّ العرض\
+    \ من أقسام الحادث وألّا ينتقض بالصفات السلبية وبصفات الله تعالى إذا قيل بالتغاير\
+    \ بين الذات والصفات كما هو مذهب بعض المتكلمين، وإن لم يكن بالتغاير بينهما فصفات\
+    \ الله تعالى تخرج بقيد الغيرية. وقال المعتزلة العرض هو ما لو وجد لقام بالمتحيّز.\
+    \ وإنما اختاروا هذا لأنّ العرض ثابت عندهم في العدم منفكا عن الوجود الذي هو زائد\
+    \ على الماهية ولا يقوم بالمتحيّز حال العدم، بل إذا وجد العرض قام به. وهذا بناء\
+    \ على قولهم بأنّ الثابت في العدم ذوات المعدومات من غير قيام بعضها ببعض، فإنّ القيام\
+    \ من خواص الوجود إلّا عند بعضهم، فإنّهم قالوا باتصاف المعدومات بالصفات المعدومة\
+    \ الثابتة. ويردّ عليهم فناء الجواهر فإنه عرض عندهم وليس على تقدير وجوده قائما\
+    \ بالمتحيّز الذي هو الجوهر عندهم لكونه منافيا للجواهر، ولا ينعكس أيضا على من أثبت\
+    \ منهم عرضا لا في محل كأبي هذيل العلّاف، فإنه قال: إنّ بعض أنواع كلام الله لا\
+    \ في محل، وكبعض البصريين القائلين بإرادة قائمة لا في محل. وأما ما قيل من أنّ خروجها\
+    \ لا يضر [...]\n\n## Academy of the Arabic Language in Cairo, al-Muʿjam al-Wasīṭ\
+    \ (1998)\n*المعجم الوسيط لمجموعة من المؤلفين*\n\n(الْجَوْهَر) (انْظُر جَوْهَر)\n\
+    \n## Academy of the Arabic Language in Cairo, al-Muʿjam al-Wasīṭ (1998)\n*المعجم\
+    \ الوسيط لمجموعة من المؤلفين*\n\n(الْجَوْهَر)جَوْهَر الشَّيْء حَقِيقَته وذاته\
+    \ وَمن الْأَحْجَار كل مَا يسْتَخْرج مِنْهُ شَيْء ينْتَفع بِهِ والنفيس الَّذِي\
+    \ تتَّخذ مِنْهُ الفصوص وَنَحْوهَا و (فِي الفلسفة) مَا قَامَ بِنَفسِهِ ويقابله\
+    \ الْعرض وَهُوَ مَا يقوم بِغَيْرِهِ واحدته جَوْهَرَة (ج) جَوَاهِر\n\n## Aḥmadnagarī,\
+    \ Dastūr al-ʿUlamāʾ, or Jāmiʿ al-ʿUlūm fī Iṣṭilāḥāt al-Funūn (d. 18th Century\
+    \ CE)\n*دستور العلماء للأحمدنكري*\n\nالْجَوْهَر: الأَصْل: وَفِي عرف الْحُكَمَاء\
+    \ هُوَ الْمَوْجُود لَا فِي مَوْضُوع. وَبِعِبَارَة أُخْرَى مَاهِيَّة إِذا وجدت\
+    \ فِي الْأَعْيَان كَانَت لَا فِي مَوْضُوع. وَأَيْضًا قَالُوا الْجَوْهَر هُوَ المتحيز\
+    \ بِالذَّاتِ فَإِن كَانَ محلا فَهُوَ الهيولى والمادة. وَإِن كَانَ حَالا فَهُوَ\
+    \ الصُّورَة الجسمية أَو النوعية. وَإِن لم يكن حَالا وَلَا محلا فَإِن كَانَ مركبا\
+    \ مِنْهُمَا فَهُوَ الْجِسْم الطبيعي. وَإِن لم يكن كَذَلِك. فَإِن كَانَ مُتَعَلقا\
+    \ بالأجسام تعلق التَّدْبِير وَالتَّصَرُّف فَهُوَ النَّفس الإنسانية أَو الفلكية.\
+    \ وَإِلَّا فَهُوَ الْعقل. فأقسام الْجَوْهَر خَمْسَة. ثمَّ إِن الْجَوْهَر منقسم\
+    \ إِلَى بسيط روحاني كالعقول والنفوس الْمُجَرَّدَة. وَإِلَى بسيط جسماني كالعناصر.\
+    \ وَإِلَى مركب فِي الْعقل دون الْخَارِج كالماهية البسيطة الجوهرية المركبة من الْجِنْس\
+    \ والفصل. وَإِلَى مركب مِنْهُمَا كالمواليد الثَّلَاثَة. قيل إِن الْمُلَازمَة فِي\
+    \ قَوْلهم ثمَّ الْجَوْهَر إِن كَانَ محلا فَهُوَ الهيولى مَمْنُوع فَإِن الْجِسْم\
+    \ مَحل للأعراض مَعَ أَنه لَيْسَ بهيولى وَأجِيب بِأَن المُرَاد إِن كَانَ محلا لجوهر\
+    \ آخر فَهُوَ الهيولى بِخِلَاف الْجِسْم فَإِنَّهُ لَيْسَ محلا للجوهر بل للعرض.\
+    \ وَفِيه نظر إِذْ النَّفس مَحل للصورة الجوهرية مَعَ أَنَّهَا لَيست هيولى أَقُول\
+    \ فِي نظره نظر لِأَن الصُّور ال��وهرية مَا دَامَت فِي الذِّهْن لَا تكون إِلَّا\
+    \ اعراضا. فَإِن قلت هَذَا إِنَّمَا يَصح على مَذْهَب من قَالَ بِحُصُول الْأَشْيَاء\
+    \ فِي الذِّهْن يَا شباحها واظلالها. وَأما على مَذْهَب من يَقُول بحصولها فِي الذِّهْن\
+    \ بِأَعْيَانِهَا فَلَا قلت المُرَاد إِن كَانَ محلا لجوهر دائمي أَي فِي الوجودين\
+    \ الذهْنِي والخارجي فَهُوَ الهيولى.\n\n## Al-Mu'jam Al-Kabir\n*المعجم الكبير*\n\
+    POS: noun\n\nحجر كريم كالياقوت واللؤلؤ ونحوهما. أصل الشيء وحقيقته. (فارسية معربة).\n\
+    \n## Al-Mu'jam Al-Kabir\n*المعجم الكبير*\nPOS: noun\n\nانظره في رسمه\n\n## Al-Mu'jam\
+    \ Al-Kabir\n*المعجم الكبير*\nPOS: noun\n\nالدَّرّ : كُلُّ حَجَرٍ يُسْتَخْرج منه\
+    \ شيءٌ يُنْتَفَع به. وقيل : النَّفِيس الذى تُتَّخذ منه الفُصوص ونحوُها substance\
+    \ (فى المنطق): ما قام بنَفْسِه , فهو مُتَقَوِّمٌ بذاتِه ومُتَعَيِّنٌ بماهيَّتِه\
+    \ , وهو المَقُولَةُ الأولى من مَقُولات أرسطو , وبه تقومُ الأعراضُ والكَيْفِيَّات,\
+    \ ويقابله العَرَضُ من الشيء: ما كانت عليه جِبلَّتُه\n\n## Al-Mu'jam Al-Wasit\n\
+    *المعجم الوسيط*\nPOS: noun\n\n## Al-Mu'jam Al-Wasit\n*المعجم الوسيط*\nPOS: noun\n\
+    \nجوهر الشيء: حقيقته وذاته من الأحجار: كل ما يستخرج منه شيء ينتفع به النفيس الذي\
+    \ تتخذ منه الفصوص ونحوها (في الفلسفة): ما قام بنفسه. ويقابله العرض\n"
+- source_sentence: 'Query: شَيْء مُسْتَقِلّ — كيان مستقلّ قائم بذاته ومنفصل عن غيره'
+  sentences:
+  - 'Document: # (1) منفردًا؛ بمَعْزِل to live apart
+
+    (2) على حدة Each argument was considered apart .
+
+    (3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]
+
+    (4) بعيدًا بعضهم عن بعض Keep the children apart .
+
+    (5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]
+
+    (6) مستقلّ؛ منفصل a class apart .
+
+    to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.
+
+
+    ## المورد الحديث (2008)
+
+    EN: apart
+
+
+    (1) منفردًا؛ بمَعْزِل to live apart
+
+    (2) على حدة Each argument was considered apart .
+
+    (3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]
+
+    (4) بعيدًا بعضهم عن بعض Keep the children apart .
+
+    (5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]
+
+    (6) مستقلّ؛ منفصل a class apart .
+
+    to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.
+
+    '
+  - 'Document: # كيان تقديم خدمة في منظومة المساعدة المعيشية النشطة (جذر: كن)
+
+
+    ## موسوعة الكهرباء (IEC 60050)
+
+    EN: AAL service provider personnel
+
+    '
+  - 'Document: # تَوَاصُلٌ (جذر: صل)
+
+
+    ## المعجم الموحد لمصطلحات الحكامة التربوية (2020)
+
+    EN: communication
+
+
+    ## المعجم الموحد لمصطلحات اللسانيات (2002)
+
+    EN: communication
+
+
+    نقل الأخبار بواسطة العلامات والإشارات بين مرسل إلى متلقٍ عبر قناة ما، حيث يعمل
+    التواصل بشكل جيّد في وضعية تقاسم الشفرة وغياب التشويش، تنتُج وَظيفة التواصل في
+    تعارض مع وظيفة التعبير.
+
+
+    ## مسرد الإعلام والتواصل، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)
+
+    EN: intercomminication
+
+
+    اتصال متبادل
+
+
+    ## مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)
+
+    EN: communication
+
+
+    ## مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة
+    والعلوم (موقع ArabTerm)
+
+    EN: communication
+
+
+    الحوار وتمكين الناس من فهم العوامل الرئيسية لبيئتهم المادية والاجتماعية والاقتصادية
+    والسياسية وترابطها بحيث يمكن حل المشكلات الطارئة بكفاءة. منذ أرسطو والعلماء يخوضون
+    في نقاش حول النموذج ''العمودي'' (المهيمن) و ''الأفقي'' (الديمقراطي). التواصل يتضمن
+    في تعريفه إعطاء المعلومة والحصول على رد الفعل. الإخبار لا يتضمن ذلك. وبالتالي،
+    فالتواصل هو حزام نقل بين نشر المعلومات وتخطيط العمل.
+
+
+    ## مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم
+    (موقع ArabTerm)
+
+    EN: communication
+
+    '
+- source_sentence: 'Query: كائن حيّ قادر على الفعل أو الأداء الوظيفيّ بشكل مستقلّ،
+    أو لديه القدرة على ذلك'
+  sentences:
+  - 'Document: # المُعَرَّفَةُ (جذر: عرف)
+
+
+    ## Yāqūt al-Ḥamawī, Muʿjam al-Buldān (d. 1229)
+
+    *معجم البلدان لياقوت الحموي*
+
+
+    المُعَرَّفَةُ:
+
+    منهل بينه وبين كاظمة يوم أو يومان، عن الحفصي.
+
+
+    ## Al-Suyūṭī, Muʿjam Maqālīd al-ʿUlūm fī l-Ḥudūd wa-l-Rusūm (d. 1505 CE)
+
+    *معجم مقاليد العلوم للسيوطي*
+
+
+    المَعْرِفة: إِدْرَاك صور الموجودات.
+
+
+    ## Al-Munāwī, al-Tawqīf ʿalā Muhimmāt al-Taʿārīf (d. 1622 CE)
+
+    *التوقيف على مهمات التعاريف للمناوي*
+
+
+    المعرفة: عند النحاة: ما وضع ليدل على شيء بعينه وهي المضمرات والأعلام والمبهمات،
+    وما عرف باللام، والمضاف إلى أحدهما.وعند أهل النظر: إدراك الشيء على ما هو عليه
+    وهي مسبوقة بنسيان حاصل بعد العلم، ولذلك يسمى الحق تعالى بالعالم دون العارف.المعرفة
+    عند القوم: سمو اليقين. وقيل سقوط الوهم لوضوح الاسم. وقيل زوال البرهان بكمال العيان.
+    وقيل دثور الريب لظهور الغيب. وقيل هجوم الأنوار على الأبرار.
+
+
+    ## Al-Tahānawī, Kashshāf Iṣṭilāḥāt al-Funūn wa-l-ʿUlūm (d. 1777 CE)
+
+    *كشّاف اصطلاحات الفنون والعلوم للتهانوي*
+
+
+    المعرفة:[في الانكليزية] Knowledge [ في الفرنسية] Connaissance هي تطلق على معان.
+    منها العلم بمعنى الإدراك مطلقا تصوّرا كان أو تصديقا. ولهذا قيل كلّ معرفة وعلم
+    فإمّا تصوّر أو تصديق.ومنها التصوّر كما سبق وعلى هذا يسمّى التصديق علما كما مرّ
+    أيضا. ومنها إدراك البسيط سواء كان تصوّرا للماهية أو تصديقا بأحوالها، وإدراك المركّب
+    سواء كان تصوّرا أو تصديقا، على هذا الاصطلاح يخصّ بالعلم، فبين المعرفة والعلم تباين
+    بهذا المعنى، وكلاهما أخصّ من العلم بمعنى الإدراك مطلقا، وكذا الحال في المعنى الثاني
+    للمعرفة والعلم. وبهذا الاعتبار يقال عرفت الله دون علمته. ومناسبة هذا الاصطلاح
+    بما نسمعه من أئمة اللغة من حيث إنّ متعلّق المعرفة في هذا الاصطلاح وهو البسيط واحد
+    ومتعلّق العلم وهو المركّب متعدّد، كما أنّهما كذلك عند أهل اللغة وإن اختلف وجه
+    التعدّد والوحدة، فإنّ وجه التعدّد والوحدة في اللغوي يرجع إلى تقييد الاسم الأول
+    بإسناد أمر إليه وإطلاقه عنه، سواء كان مدخوله مركّبا أو بسيطا، وفي الاصطلاحي إلى
+    نفس المحكوم عليه. فإن كان مركّبا فهو متعلّق العلم وإن كان بسيطا فمتعلّق المعرفة.
+    ومنها إدراك الجزئي سواء كان مفهوما جزئيا أو حكما جزئيا، وإدراك الكلّي مفهوما كلّيا
+    كان أو حكما كلّيا على هذا الاصطلاح يخصّ بالعلم، وبالنظر إلى هذا يقال أيضا عرفت
+    الله دون علمته، والمراد بالحكم التصديق، والنسبة بينهما على هذا على قياس المعنى
+    الثاني والثالث، والنسبة بين تلك المعاني الثلاثة للمعرفة هي العموم من وجه، وكذا
+    بين تلك المعاني الثلاثة للعلم، وكذا بين المعرفة بالمعنى الثاني أي بمعنى التصوّر
+    وبين العلم بالمعنى الثالث الرابع، وكذا بي�� المعرفة بالمعنى الثالث والعلم بالمعنى
+    والرابع، وكذا بين المعرفة بالمعنى الرابع والعلم بالمعنى الثالث كما لا يخفى. قيل
+    الاصطلاح الثاني والرابع متفرّعان على الثالث لأنّ الجزئي والتصوّر أشبه بالبسيط
+    والكلّي والتصديق بالمركّب، هذا والأقرب أن يجعل استعمال المعرفة في التصوّرات والعلم
+    في التصديقات أصلا لأنّه عين المعنى اللغوي ثم يفرّع عليه المعنيان الآخران، هكذا
+    في شرح المطالع وحواشيه وحواشي المطول. ومنها إدراك الجزئي عن دليل كما في التوضيح
+    في تعريف الفقه ويسمّى معرفة استدلالية أيضا. ومنها الإدراك الأخير من الإدراكين
+    لشيء واحد إذا تخلّل بينهما عدم بأن أدرك أولا ثم ذهل عنه ثم أدرك ثانيا. قيل  [...]
+
+
+    ## Al-Barakatī, al-Taʿrīfāt al-Fiqhīya (d. 1975 CE)
+
+    *التعريفات الفقهيّة للبركتي*
+
+
+    المَعْرِفة: ما وضع ليدل على شيء بعينه والنَكِرَةُ بخلافه، وأيضاً المعرفة إدراك
+    الشيء عليه ما هو عليه، وهي مسبوقة بالجهل أو النسيان بعد العلم بخلاف العلم، ولذلك
+    يوصف الحق تعالى بالعالم لا بالعارف. وفي "الكليات": "والعلم يقال لإدراك الكلي أو
+    المركب، والمعرفة تقال لإدراك الجزئي أو البسيط ولهذا يقال: عرفت الله دون علمته"،
+    وفي "نفحات الأنس" للجامي "معرفت عبارت ست ازباز شاختن معلوم مجمَل در صُوَر تفاصيل".
+
+
+    ## Academy of the Arabic Language in Cairo, al-Muʿjam al-Wasīṭ (1998)
+
+    *المعجم الوسيط لمجموعة من المؤلفين*
+
+
+    (الْمعرفَة) مَوضِع الْعرف من الطير وَالْخَيْل (ج) معارف
+
+
+    ## Aḥmadnagarī, Dastūr al-ʿUlamāʾ, or Jāmiʿ al-ʿUlūm fī Iṣṭilāḥāt al-Funūn (d.
+    18th Century CE)
+
+    *دستور العلماء للأحمدنكري*
+
+
+    الْمعرفَة: إِدْرَاك الْأَمر الجزئي أَو البسيطة مُطلقًا أَي عَن دَلِيل. أَولا كَمَا
+    أَن الْعلم إِدْرَاك الْكُلِّي أَو الْمركب. وَلِهَذَا يُقَال عرفت الله وَلَا يُقَال
+    علمت الله. وَأَيْضًا يُقَال للإدراك الْمَسْبُوق بِالْعدمِ أَو للأخير من الإدراكين
+    بِشَيْء وَاحِد إِذا تخَلّل بَينهمَا عدم بِأَن أدْرك أَولا ثمَّ ذهل عَنهُ ثَانِيًا
+    - وَالْعلم يُقَال للإدراك الْمُجَرّد من هذَيْن الاعتبارين وَلذَا يُقَال الله عَالم
+    الأعارف - وَفسّر صدر الشَّرِيعَة الْمعرفَة بِإِدْرَاك الجزئيات عَن دَلِيل - وَاعْترض
+    عَلَيْهِ الْمُحَقق التَّفْتَازَانِيّ فِي التَّلْوِيح بقوله والقيد الْأَخير مِمَّا
+    لَا دلَالَة عَلَيْهِ أصلا لَا لُغَة وَلَا اصْطِلَاحا انْتهى. وَلَك أَن تَقول لَا
+    نسلم أَنه لَا دلَالَة للفظ على هَذَا الْقَيْد لُغَة لِأَن الْمعرفَة إِدْرَاك الشَّيْء
+    بتفكر وتدبر. وَلذَا يُقَال عرفت الله إِذْ معرفَة الله تَعَالَى إِنَّمَا هِيَ بتدبر
+    آثاره. قَالَ الْعَلامَة الطَّيِّبِيّ لَا يُقَال يعرف الله بل يُقَال يعلم لِأَن
+    الْمعرفَة تسْتَعْمل فِي الْعلم الْمَوْصُوف بتفكر وتدبر. وَأَيْضًا لم يطلقوا لفظ
+    الْمعرفَة على اعْتِقَاد الْمُقَلّد لِأَنَّهُ لَيْسَ لَهُ معرفَة على دَلِيل. فَلَمَّا
+    ثَبت عدم إِطْلَاقهم الْمعرفَة على اعْتِقَاد الْمُقَلّد ثَبت الِاصْطِلَاح أَيْضا
+    يَعْنِي أَنهم وَإِن لم يصرحوا بالاصطلاح إِلَّا أَنه وَقع مِنْهُم مَا يدل عَلَيْهِ
+    حَيْثُ لم يطلقوا لفظ الْمعرفَة على اعْتِقَاد الْمُقَلّد وَلَيْسَ بِلَازِم أَن
+    يصرحوا أَي المصطلحون باصطلاحهم إِذْ كثير من الاصطلاحات إِنَّمَا يعلم بموارد استعمالات
+    الْأَلْفَاظ.وَعند النُّحَاة الْمعرفَة مَا يشار بهَا إِلَى مُتَعَيّن أَي مَعْلُوم
+    عِنْد السَّامع من حَيْثُ إِنَّه كَذَلِك. والنكرة مَا يشار بهَا إِلَى أَمر مُتَعَيّن
+    من حَيْثُ ذَاته وَلَا يقْصد مُلَاحظَة تعينه وَإِن كَانَ مُتَعَيّنا معهودا فِي
+    نَفسه فَإِن بَين مصاحبة التَّعْيِين وملاحظته فرقا بَينا. وَذَلِكَ الْأَمر إِمَّا
+    فَرد منتشر أَو مَاهِيَّة من حَيْثُ هِيَ على اخْتِلَاف المذهبين كَمَا ذكرنَا فِي
+    التَّعْرِيف - والمعرفة خَمْسَة أَنْوَاع - الْمُضْمرَات. والأعلام. وَأَسْمَاء الإشارات.
+    والموصلات. وَذُو اللَّام والمضاف إِلَى أَحدهَا.وَتَحْقِيق الْمقَام أَن فهم الْمعَانِي
+    من الْأَلْفَاظ إِنَّمَا [...]
+
+
+    ## Aḥmadnagarī, Dastūr al-ʿUlamāʾ, or Jāmiʿ al-ʿUlūm fī Iṣṭilāḥāt al-Funūn (d.
+    18th Century CE)
+
+    *دستور العلماء للأحمدنكري*
+
+
+    الْمعرفَة: والمعرفة فِي اصْطِلَاح أَرْبَاب السلوك فِي هِيَ مَا قَالَه الْعَارِف
+    النامي قدوة العارفين نور الدّين الشَّيْخ عبد الرَّحْمَن الجامي قدس سره السَّامِي
+    فِي (نفحات الْأنس من حضرات الْقُدس) من أَن الْمعرفَة عبارَة عَن إِعَادَة الْمعرفَة
+    بالمعلوم الْمُجْمل فِي صور التفاصيل. كَمَا هُوَ فِي (علم النَّحْو) كل من العوامل
+    اللفظية والمعنوية وَمَا هُوَ عَملهَا، هَذَا النَّوْع من الْفَهم على سَبِيل الْإِجْمَال
+    (هُوَ النَّحْو) . وإعادة فهم كل عَامل مِنْهَا على التَّفْصِيل فِي وَقت قِرَاءَة
+    سَواد الْعَرَبيَّة بِلَا توقف وَلَا روية واستعمالها فِي محلهَا هُوَ معرفَة النَّحْو.
+    وإعادة الْفَهم بالفكر الْجيد وروية هُوَ التعرف على النَّحْو. إِذا معرفَة الربوبية
+    عبارَة عَن إِعَادَة فهم الذَّات وَالصِّفَات الإلهية فِي صور تفاصيل الْأَهْوَال
+    والحوادث والنوازل، بعد ذَلِك وعَلى سَبِيل الْإِجْمَال يصبح مَعْلُوما أَن الْمَوْجُود
+    الْحَقِيقِيّ وَالْفَاعِل الْمُطلق هُوَ سُبْحَانَهُ، وَحَتَّى تكون صُورَة التَّوْحِيد
+    الْمُجْمل مفصلة علميا وَلَا عيب فِيهَا فعلى صَاحب علم التَّوْحِيد أَلا يرى فِي
+    صور تفاصيل الوقائع وَالْأَحْوَال المتجددة والمتضادة من ضَرَر ونفع وَمنع وَعَطَاء
+    وثابت ومتحول وضار وَنَافِع ومعطي ومانع وقابض وباسط سوى الْحق سُبْحَانَهُ وَتَعَالَى،
+    وَأَن لَا يعلم من دون التَّوَقُّف والروية، فَإِذا لم يفعل لَا يُسمى عَارِفًا.
+    وَإِذا كَانَ لأوّل وهلة غافلا وحاضرا عَن قريب وَيعرف الْفَاعِل الْمُطلق جلّ ذكره
+    فِي صُورَة الوسائط والروابط، فَإِنَّهُ يُسمى متعرفا وَلَيْسَ عَارِفًا، وَإِذا
+    كَانَ غافلا كليا ويحول تأثيرات الْأَفْعَال إِلَى الوسائط فَإِنَّهُ يُسمى سَاهِيا
+    ولاهيا مُشْركًا خفِيا. مثلا إِذا قرر معنى التَّوْحِيد وَهُوَ مُسْتَغْرق فِي بَحر
+    التَّوْحِيد وَالْآخر وعَلى سَبِيل انكاره يعاوده وَيَقُول إِن هَذَا القَوْل لَيْسَ
+    عَفْو الخاطر بل نتيجة للفكر والروية، فَيُؤْخَذ فِي الْحَال بغضب وقسوة لِأَنَّهُ
+    لَا يعلم أَن جَزَاء هَذَا هُوَ عين مصداق قَول الْمُنكر، وَإِلَّا فالفاعل الْمُطلق
+    فِي صُورَة هَذَا الانكار إِعَادَة الْفَهم ويترفق بِهِ.
+
+
+    ## Al-Mu''jam Al-Wasit
+
+    *المعجم الوسيط*
+
+    POS: noun
+
+
+    موضعُ العُرْفِ من الطير والخيل
+
+    '
+  - 'Document: # كائِنٌ حَيّ (جذر: كن)
+
+
+    ## The Unified Medical Dictionary
+
+    *المعجم الطبي الموحد (2009)*
+
+    EN: bion
+
+
+    ## Civil Engineering
+
+    *المعجم الموحد لمصطلحات الهندسة المدنية (2012)*
+
+    EN: organism
+
+
+    ## Climate, Environment and Solid Waste management
+
+    *مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة
+    والعلوم (موقع ArabTerm)*
+
+    EN: organism
+
+
+    شكل من أشكال الحياة: نبات أو حيوان أو فطريات أو بكتيريا.
+
+
+    ## Climate, Environment and Solid Waste management
+
+    *مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة
+    والعلوم (موقع ArabTerm)*
+
+    EN: organism
+
+
+    نبات أو حيوان أو كائن وحيد الخلية أو أي شكل من أشكال الحياة، منظومة لها مكونات
+    مترابطة ومتكاملة تمكن من تحقيق الاستمرارية عن طريق النمو والتكاتر.
+
+    '
+  - 'Document: # الرِّيكِتسيّة: متعضّية مجهرية شبيهة بالبكتيريا.
+
+
+    ## المورد الحديث (2008)
+
+    EN: rickettsia
+
+
+    الرِّيكِتسيّة: متعضّية مجهرية شبيهة بالبكتيريا.
+
+    '
+- source_sentence: 'Query: شَيْء مُسْتَقِلّ'
+  sentences:
+  - 'Document: # قرار فرديّ (جذر: قر)
+
+
+    ## المعجم الموحد لمصطلحات القانون (2017)
+
+    EN: individual act
+
+    '
+  - 'Document: # كائِنٌ حَيّ (جذر: كن)
+
+
+    ## The Unified Medical Dictionary
+
+    *المعجم الطبي الموحد (2009)*
+
+    EN: bion
+
+
+    ## Civil Engineering
+
+    *المعجم الموحد لمصطلحات الهندسة المدنية (2012)*
+
+    EN: organism
+
+
+    ## Climate, Environment and Solid Waste management
+
+    *مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة
+    والعلوم (موقع ArabTerm)*
+
+    EN: organism
+
+
+    شكل من أشكال الحياة: نبات أو حيوان أو فطريات أو بكتيريا.
+
+
+    ## Climate, Environment and Solid Waste management
+
+    *مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة
+    والعلوم (موقع ArabTerm)*
+
+    EN: organism
+
+
+    نبات أو حيوان أو كائن وحيد الخلية أو أي شكل من أشكال الحياة، منظومة لها مكونات
+    مترابطة ومتكاملة تمكن من تحقيق الاستمرارية عن طريق النمو والتكاتر.
+
+    '
+  - 'Document: # (1) منفردًا؛ بمَعْزِل to live apart
+
+    (2) على حدة Each argument was considered apart .
+
+    (3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]
+
+    (4) بعيدًا بعضهم عن بعض Keep the children apart .
+
+    (5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]
+
+    (6) مستقلّ؛ منفصل a class apart .
+
+    to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.
+
+
+    ## المورد الحديث (2008)
+
+    EN: apart
+
+
+    (1) منفردًا؛ بمَعْزِل to live apart
+
+    (2) على حدة Each argument was considered apart .
+
+    (3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]
+
+    (4) بعيدًا بعضهم عن بعض Keep the children apart .
+
+    (5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]
+
+    (6) مستقلّ؛ منفصل a class apart .
+
+    to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.
+
+    '
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: SentenceTransformer based on jinaai/jina-embeddings-v5-text-nano-retrieval
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: jina v5 nano eval
+      type: jina-v5-nano-eval
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.5357142857142857
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7380952380952381
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.8333333333333334
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.8690476190476191
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.5357142857142857
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.29761904761904756
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.21904761904761902
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.12976190476190477
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.33214285714285713
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.534920634920635
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6603174603174603
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7523809523809524
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.6036435370028103
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.6491685563114135
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.518297872265188
+      name: Cosine Map@100
+---
+
+# SentenceTransformer based on jinaai/jina-embeddings-v5-text-nano-retrieval
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [jinaai/jina-embeddings-v5-text-nano-retrieval](https://huggingface.co/jinaai/jina-embeddings-v5-text-nano-retrieval). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [jinaai/jina-embeddings-v5-text-nano-retrieval](https://huggingface.co/jinaai/jina-embeddings-v5-text-nano-retrieval) <!-- at revision f78e3eca89d031542d392ecba158b248caa1e8c7 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'EuroBertModel'})
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("SalahAbdoNLP/jina-v5-nano-arabic-dict-v2")
+# Run inference
+queries = [
+    "Query: \u0634\u064e\u064a\u0652\u0621 \u0645\u064f\u0633\u0652\u062a\u064e\u0642\u0650\u0644\u0651",
+]
+documents = [
+    'Document: # (1) منفردًا؛ بمَعْزِل to live apart\n(2) على حدة Each argument was considered apart .\n(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]\n(4) بعيدًا بعضهم عن بعض Keep the children apart .\n(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]\n(6) مستقلّ؛ منفصل a class apart .\nto know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.\n\n## المورد الحديث (2008)\nEN: apart\n\n(1) منفردًا؛ بمَعْزِل to live apart\n(2) على حدة Each argument was considered apart .\n(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]\n(4) بعيدًا بعضهم عن بعض Keep the children apart .\n(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]\n(6) مستقلّ؛ منفصل a class apart .\nto know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.\n',
+    'Document: # قرار فرديّ (جذر: قر)\n\n## المعجم الموحد لمصطلحات القانون (2017)\nEN: individual act\n',
+    'Document: # كائِنٌ حَيّ (جذر: كن)\n\n## The Unified Medical Dictionary\n*المعجم الطبي الموحد (2009)*\nEN: bion\n\n## Civil Engineering\n*المعجم الموحد لمصطلحات الهندسة المدنية (2012)*\nEN: organism\n\n## Climate, Environment and Solid Waste management\n*مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*\nEN: organism\n\nشكل من أشكال الحياة: نبات أو حيوان أو فطريات أو بكتيريا.\n\n## Climate, Environment and Solid Waste management\n*مسرد المناخ والبيئة وإدارة النفايات الصلبة، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*\nEN: organism\n\nنبات أو حيوان أو كائن وحيد الخلية أو أي شكل من أشكال الحياة، منظومة لها مكونات مترابطة ومتكاملة تمكن من تحقيق الاستمرارية عن طريق النمو والتكاتر.\n',
+]
+query_embeddings = model.encode_query(queries)
+document_embeddings = model.encode_document(documents)
+print(query_embeddings.shape, document_embeddings.shape)
+# [1, 768] [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(query_embeddings, document_embeddings)
+print(similarities)
+# tensor([[0.1914, 0.0386, 0.1167]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Dataset: `jina-v5-nano-eval`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.5357     |
+| cosine_accuracy@3   | 0.7381     |
+| cosine_accuracy@5   | 0.8333     |
+| cosine_accuracy@10  | 0.869      |
+| cosine_precision@1  | 0.5357     |
+| cosine_precision@3  | 0.2976     |
+| cosine_precision@5  | 0.219      |
+| cosine_precision@10 | 0.1298     |
+| cosine_recall@1     | 0.3321     |
+| cosine_recall@3     | 0.5349     |
+| cosine_recall@5     | 0.6603     |
+| cosine_recall@10    | 0.7524     |
+| **cosine_ndcg@10**  | **0.6036** |
+| cosine_mrr@10       | 0.6492     |
+| cosine_map@100      | 0.5183     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 13,980 training samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                             | negative                                                                            |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               | string                                                                              |
+  | details | <ul><li>min: 8 tokens</li><li>mean: 26.71 tokens</li><li>max: 47 tokens</li></ul> | <ul><li>min: 37 tokens</li><li>mean: 339.08 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 25 tokens</li><li>mean: 126.9 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   | negative                                                                                                                                                                                                                                                                                                                                                |
+  |:----------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Query: كَيْنُونَة كِيَان — ما يُدرَك أو يُعرَف أو يُستدَلّ على وجوده المستقل، سواء أكان حيًّا أم غير حيّ</code> | <code>Document: # كيان (جذر: كن)<br><br>## Data and AI Glossary<br>*معجم البيانات والذكاء الاصطناعي (2024)*<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## Dictionary of Information Technology Terms<br>*معجم مصطلحات المعلوماتية (2000)*<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## Education<br>*مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## Philosophy and Psychology<br>*مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>## Sociology and Anthropology<br>*مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>## The Unified Medical Dictionary<br>*المعجم الطبي الموحد (2009)*<br>EN: entity<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>*معجم المصطلحات الطبية (ج.2، 2003)*<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br><br>## Ahmad Mukhtar Umar, Muʿjam ...</code> | <code>Document: # (1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br><br><br>## Al-Mawrid Al-Hadeeth<br>*المورد الحديث (2008)*<br>EN: existence<br><br>(1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br></code> |
+  | <code>Query: كَيْنُونَة كِيَان</code>                                                                                 | <code>Document: # كيان (جذر: كن)<br><br>## Data and AI Glossary<br>*معجم البيانات والذكاء الاصطناعي (2024)*<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## Dictionary of Information Technology Terms<br>*معجم مصطلحات المعلوماتية (2000)*<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## Education<br>*مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## Philosophy and Psychology<br>*مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>## Sociology and Anthropology<br>*مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>## The Unified Medical Dictionary<br>*المعجم الطبي الموحد (2009)*<br>EN: entity<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>*معجم المصطلحات الطبية (ج.2، 2003)*<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br><br>## Ahmad Mukhtar Umar, Muʿjam ...</code> | <code>Document: # (1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br><br><br>## Al-Mawrid Al-Hadeeth<br>*المورد الحديث (2008)*<br>EN: existence<br><br>(1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br></code> |
+  | <code>Query: ما يُدرَك أو يُعرَف أو يُستدَلّ على وجوده المستقل، سواء أكان حيًّا أم غير حيّ</code>                     | <code>Document: # كيان (جذر: كن)<br><br>## Data and AI Glossary<br>*معجم البيانات والذكاء الاصطناعي (2024)*<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## Dictionary of Information Technology Terms<br>*معجم مصطلحات المعلوماتية (2000)*<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## Education<br>*مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## Philosophy and Psychology<br>*مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>## Sociology and Anthropology<br>*مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)*<br>EN: entity<br><br>## The Unified Medical Dictionary<br>*المعجم الطبي الموحد (2009)*<br>EN: entity<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>*معجم المصطلحات الطبية (ج.2، 2003)*<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br><br>## Ahmad Mukhtar Umar, Muʿjam ...</code> | <code>Document: # (1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br><br><br>## Al-Mawrid Al-Hadeeth<br>*المورد الحديث (2008)*<br>EN: existence<br><br>(1) كينونة؛ وجود<br>(2) الكائنات مجتمعةً<br>(3) كائن<br>(4) حياة؛ بقاء struggle for existence<br>(5) أسلوبُ حياةٍ.<br></code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "CachedMultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64,
+          32
+      ],
+      "matryoshka_weights": [
+          1.0,
+          1.0,
+          1.0,
+          1.0,
+          1.0,
+          1.0
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Evaluation Dataset
+
+#### Unnamed Dataset
+
+* Size: 4,536 evaluation samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                             | negative                                                                             |
+  |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                               | string                                                                               |
+  | details | <ul><li>min: 12 tokens</li><li>mean: 26.65 tokens</li><li>max: 56 tokens</li></ul> | <ul><li>min: 41 tokens</li><li>mean: 283.31 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 27 tokens</li><li>mean: 129.24 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                       | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
+  |:-----------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Query: شَيْء مُسْتَقِلّ — كيان مستقلّ قائم بذاته ومنفصل عن غيره</code> | <code>Document: # (1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br><br>## المورد الحديث (2008)<br>EN: apart<br><br>(1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br></code> | <code>Document: # كيان (جذر: كن)<br><br>## مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br></code> |
+  | <code>Query: شَيْء مُسْتَقِلّ</code>                                         | <code>Document: # (1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br><br>## المورد الحديث (2008)<br>EN: apart<br><br>(1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br></code> | <code>Document: # كيان (جذر: كن)<br><br>## مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br></code> |
+  | <code>Query: كيان مستقلّ قائم بذاته ومنفصل عن غيره</code>                    | <code>Document: # (1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br><br>## المورد الحديث (2008)<br>EN: apart<br><br>(1) منفردًا؛ بمَعْزِل to live apart<br>(2) على حدة Each argument was considered apart .<br>(3) جانبًا [كقولك: joking apart أي: إذا وضعنا المُزاح جانبًا وتكلّمنا جدّيًّا]<br>(4) بعيدًا بعضهم عن بعض Keep the children apart .<br>(5) إلى أجزاء [كقولك to take a watch apart أي يفكِّك ساعة]<br>(6) مستقلّ؛ منفصل a class apart .<br>to know (or tell) apart : يميّز بين شيء وآخر.worlds apart : مختلف جدًا.<br></code> | <code>Document: # كيان (جذر: كن)<br><br>## مسرد التربية، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>شيء أو حدث يخزن عنه بيان في قاعدة البيانات.<br><br>## مسرد علم الاجتماع والأنثروبولوجيا، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## مسرد الفلسفة وعلم النفس، المنظمة العربية للتربية والثقافة والعلوم (موقع ArabTerm)<br>EN: entity<br><br>## معجم مصطلحات المعلوماتية (2000)<br>EN: entity<br><br>في التصميم بمعونة الحاسوب والتصميم الغرضي التوجه: بندٌ يمكِن أن يعامَلَ كوحدة مستقلة، وغالباً كعضو من نوع أو صنف معيَّن.<br><br>## المعجم الطبي الموحد (2009)<br>EN: entity<br><br>## معجم البيانات والذكاء الاصطناعي (2024)<br>EN: Entity<br><br>شيء مادي أو غير مادي يمكن التعرُّف عليه وتمييزه بوضوح.<br><br>## معجم المصطلحات الطبية (ج.2، 2003)<br>EN: entity<br><br>حقيقة الشيء أو وجوده المستقل.<br></code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "CachedMultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64,
+          32
+      ],
+      "matryoshka_weights": [
+          1.0,
+          1.0,
+          1.0,
+          1.0,
+          1.0,
+          1.0
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `per_device_train_batch_size`: 32
+- `num_train_epochs`: 5
+- `learning_rate`: 2e-05
+- `lr_scheduler_type`: cosine
+- `warmup_steps`: 0.1
+- `fp16`: True
+- `eval_strategy`: epoch
+- `per_device_eval_batch_size`: 32
+- `push_to_hub`: True
+- `hub_model_id`: SalahAbdoNLP/jina-v5-nano-arabic-dict-v2
+- `load_best_model_at_end`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `per_device_train_batch_size`: 32
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `learning_rate`: 2e-05
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: None
+- `warmup_steps`: 0.1
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `optim_target_modules`: None
+- `gradient_accumulation_steps`: 1
+- `average_tokens_across_devices`: True
+- `max_grad_norm`: 1.0
+- `label_smoothing_factor`: 0.0
+- `bf16`: False
+- `fp16`: True
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `use_cache`: False
+- `neftune_noise_alpha`: None
+- `torch_empty_cache_steps`: None
+- `auto_find_batch_size`: False
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `include_num_input_tokens_seen`: no
+- `log_level`: passive
+- `log_level_replica`: warning
+- `disable_tqdm`: False
+- `project`: huggingface
+- `trackio_space_id`: trackio
+- `eval_strategy`: epoch
+- `per_device_eval_batch_size`: 32
+- `prediction_loss_only`: True
+- `eval_on_start`: False
+- `eval_do_concat_batches`: True
+- `eval_use_gather_object`: False
+- `eval_accumulation_steps`: None
+- `include_for_metrics`: []
+- `batch_eval_metrics`: False
+- `save_only_model`: False
+- `save_on_each_node`: False
+- `enable_jit_checkpoint`: False
+- `push_to_hub`: True
+- `hub_private_repo`: None
+- `hub_model_id`: SalahAbdoNLP/jina-v5-nano-arabic-dict-v2
+- `hub_strategy`: every_save
+- `hub_always_push`: False
+- `hub_revision`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `restore_callback_states_from_checkpoint`: False
+- `full_determinism`: False
+- `seed`: 42
+- `data_seed`: None
+- `use_cpu`: False
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `dataloader_prefetch_factor`: None
+- `remove_unused_columns`: True
+- `label_names`: None
+- `train_sampling_strategy`: random
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `ddp_backend`: None
+- `ddp_timeout`: 1800
+- `fsdp`: []
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `deepspeed`: None
+- `debug`: []
+- `skip_memory_metrics`: True
+- `do_predict`: False
+- `resume_from_checkpoint`: None
+- `warmup_ratio`: None
+- `local_rank`: -1
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+| Epoch   | Step    | Training Loss | Validation Loss | jina-v5-nano-eval_cosine_ndcg@10 |
+|:-------:|:-------:|:-------------:|:---------------:|:--------------------------------:|
+| -1      | -1      | -             | -               | 0.4604                           |
+| 0.0913  | 20      | 12.2331       | -               | -                                |
+| 0.1826  | 40      | 4.3754        | -               | -                                |
+| 0.2740  | 60      | 2.4520        | -               | -                                |
+| 0.3653  | 80      | 2.0269        | -               | -                                |
+| 0.4566  | 100     | 2.1203        | -               | -                                |
+| 0.5479  | 120     | 1.7343        | -               | -                                |
+| 0.6393  | 140     | 1.7345        | -               | -                                |
+| 0.7306  | 160     | 1.8540        | -               | -                                |
+| 0.8219  | 180     | 1.5593        | -               | -                                |
+| 0.9132  | 200     | 1.7133        | -               | -                                |
+| **1.0** | **219** | **-**         | **15.1943**     | **0.6036**                       |
+| 1.0046  | 220     | 1.4598        | -               | -                                |
+| 1.0959  | 240     | 1.6552        | -               | -                                |
+| 1.1872  | 260     | 1.5242        | -               | -                                |
+| 1.2785  | 280     | 1.5006        | -               | -                                |
+| 1.3699  | 300     | 1.4677        | -               | -                                |
+| 1.4612  | 320     | 1.6158        | -               | -                                |
+| 1.5525  | 340     | 1.6263        | -               | -                                |
+| 1.6438  | 360     | 1.6261        | -               | -                                |
+| 1.7352  | 380     | 1.7311        | -               | -                                |
+| 1.8265  | 400     | 1.5715        | -               | -                                |
+| 1.9178  | 420     | 1.4522        | -               | -                                |
+| 2.0     | 438     | -             | 16.5972         | 0.5609                           |
+| 2.0091  | 440     | 1.3742        | -               | -                                |
+| 2.1005  | 460     | 1.7153        | -               | -                                |
+| 2.1918  | 480     | 1.5228        | -               | -                                |
+| 2.2831  | 500     | 1.4549        | -               | -                                |
+| 2.3744  | 520     | 1.6089        | -               | -                                |
+| 2.4658  | 540     | 1.6605        | -               | -                                |
+| 2.5571  | 560     | 1.3578        | -               | -                                |
+| 2.6484  | 580     | 1.6123        | -               | -                                |
+| 2.7397  | 600     | 1.4092        | -               | -                                |
+| 2.8311  | 620     | 1.4490        | -               | -                                |
+| 2.9224  | 640     | 1.4958        | -               | -                                |
+| 3.0     | 657     | -             | 21.7325         | 0.5407                           |
+| 3.0137  | 660     | 1.3214        | -               | -                                |
+| 3.1050  | 680     | 1.4583        | -               | -                                |
+| 3.1963  | 700     | 1.4995        | -               | -                                |
+| 3.2877  | 720     | 1.4790        | -               | -                                |
+| 3.3790  | 740     | 1.3739        | -               | -                                |
+| 3.4703  | 760     | 1.3677        | -               | -                                |
+| 3.5616  | 780     | 1.4041        | -               | -                                |
+| 3.6530  | 800     | 1.3986        | -               | -                                |
+| 3.7443  | 820     | 1.3996        | -               | -                                |
+| 3.8356  | 840     | 1.4289        | -               | -                                |
+| 3.9269  | 860     | 1.5154        | -               | -                                |
+| 4.0     | 876     | -             | 22.0813         | 0.5613                           |
+| 4.0183  | 880     | 1.3724        | -               | -                                |
+| 4.1096  | 900     | 1.5683        | -               | -                                |
+| 4.2009  | 920     | 1.3047        | -               | -                                |
+| 4.2922  | 940     | 1.3282        | -               | -                                |
+| 4.3836  | 960     | 1.3419        | -               | -                                |
+| 4.4749  | 980     | 1.3363        | -               | -                                |
+| 4.5662  | 1000    | 1.4189        | -               | -                                |
+| 4.6575  | 1020    | 1.4902        | -               | -                                |
+| 4.7489  | 1040    | 1.3306        | -               | -                                |
+| 4.8402  | 1060    | 1.2475        | -               | -                                |
+| 4.9315  | 1080    | 1.5482        | -               | -                                |
+| 5.0     | 1095    | -             | 23.6215         | 0.5360                           |
+| -1      | -1      | -             | -               | 0.6036                           |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.12.12
+- Sentence Transformers: 5.3.0
+- Transformers: 5.2.0
+- PyTorch: 2.9.0+cu126
+- Accelerate: 1.12.0
+- Datasets: 4.7.0
+- Tokenizers: 0.22.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### CachedMultipleNegativesRankingLoss
+```bibtex
+@misc{gao2021scaling,
+    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
+    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
+    year={2021},
+    eprint={2101.06983},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "__version__": {
+    "sentence_transformers": "5.3.0",
+    "transformers": "5.2.0",
+    "pytorch": "2.9.0+cu126"
+  },
+  "prompts": {
+    "query": "Query: ",
+    "document": "Document: "
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine",
+  "model_type": "SentenceTransformer"
+}

configuration_eurobert.py

@@ -0,0 +1,216 @@
+#                🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨
+#           This file was automatically generated from src/transformers/models/eurobert/modular_eurobert.py.
+#               Do NOT edit this file manually as any edits will be overwritten by the generation of
+#             the file from the modular. If any change should be done, please apply the change to the
+#                          modular_eurobert.py file directly. One of our CI enforces this.
+#                🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨
+# coding=utf-8
+# Copyright 2025 Nicolas Boizard, Duarte M. Alves, Hippolyte Gisserot-Boukhlef and the EuroBert team. All rights reserved.
+#
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+from transformers.utils import logging
+from transformers.models.llama import LlamaConfig
+
+
+logger = logging.get_logger(__name__)
+
+
+class EuroBertConfig(LlamaConfig):
+    r"""
+    This is the configuration class to store the configuration of a [`EuroBertModel`]. It is used to instantiate an EuroBert
+    model according to the specified arguments, defining the model architecture. Instantiating a configuration with the
+    defaults will yield a similar configuration to that of the EuroBERT-210m.
+
+    Configuration objects inherit from [`PretrainedConfig`] and can be used to control the model outputs. Read the
+    documentation from [`PretrainedConfig`] for more information.
+
+
+    Args:
+        vocab_size (`int`, *optional*, defaults to 128256):
+            Vocabulary size of the EuroBert model. Defines the number of different tokens that can be represented by the
+            `inputs_ids` passed when calling [`EuroBertModel`]
+        hidden_size (`int`, *optional*, defaults to 768):
+            Dimensionality of the encoder layers and the pooler layer.
+        intermediate_size (`int`, *optional*, defaults to 3072):
+            Dimensionality of the "intermediate" (often named feed-forward) layer in the Transformer encoder.
+        num_hidden_layers (`int`, *optional*, defaults to 12):
+            Number of hidden layers in the Transformer encoder.
+        num_attention_heads (`int`, *optional*, defaults to 12):
+            Number of attention heads for each attention layer in the Transformer encoder.
+        num_key_value_heads (`int`, *optional*):
+            This is the number of key_value heads that should be used to implement Grouped Query Attention. If
+            `num_key_value_heads=num_attention_heads`, the model will use Multi Head Attention (MHA), if
+            `num_key_value_heads=1` the model will use Multi Query Attention (MQA) otherwise GQA is used. When
+            converting a multi-head checkpoint to a GQA checkpoint, each group key and value head should be constructed
+            by meanpooling all the original heads within that group. For more details checkout [this
+            paper](https://arxiv.org/pdf/2305.13245.pdf). If it is not specified, will default to
+            `num_attention_heads`.
+        hidden_act (`str` or `function`, *optional*, defaults to `"silu"`):
+            The non-linear activation function (function or string) in the encoder and pooler.
+        max_position_embeddings (`int`, *optional*, defaults to 8192):
+            The maximum sequence length that this model might ever be used with. EuroBert supports up to 8192 tokens,
+            EuroBert-pretrained up to 2048.
+        initializer_range (`float`, *optional*, defaults to 0.02):
+            The standard deviation of the truncated_normal_initializer for initializing all weight matrices.
+        rms_norm_eps (`float`, *optional*, defaults to 1e-05):
+            The epsilon used by the rms normalization layers.
+        bos_token_id (`int`, *optional*, defaults to 128000):
+            Beginning of stream token id.
+        eos_token_id (`int`, *optional*, defaults to 128001):
+            End of stream token id.
+        pad_token_id (`int`, *optional*, defaults to 128001):
+            Padding token id.
+        mask_token_id (`int`, *optional*, defaults to 128002):
+            Mask token id.
+        pretraining_tp (`int`, *optional*, defaults to 1):
+            Experimental feature. Tensor parallelism rank used during pretraining. Please refer to [this
+            document](https://huggingface.co/docs/transformers/main/perf_train_gpu_many#tensor-parallelism) to
+            understand more about it. This value is necessary to ensure exact reproducibility of the pretraining
+            results. Please refer to [this issue](https://github.com/pytorch/pytorch/issues/76232).
+        tie_word_embeddings (`bool`, *optional*, defaults to `False`):
+            Whether to tie weight embeddings
+        rope_theta (`float`, *optional*, defaults to 250000.0):
+            The base period of the RoPE embeddings. EuroBert used base period of 250000.0,
+            EuroBert-pretrained 10000.0.
+        rope_scaling (`Dict`, *optional*):
+            Dictionary containing the scaling configuration for the RoPE embeddings. NOTE: if you apply new rope type
+            and you expect the model to work on longer `max_position_embeddings`, we recommend you to update this value
+            accordingly.
+            Expected contents:
+                `rope_type` (`str`):
+                    The sub-variant of RoPE to use. Can be one of ['default', 'linear', 'dynamic', 'yarn', 'longrope',
+                    'eurobert3'], with 'default' being the original RoPE implementation.
+                `factor` (`float`, *optional*):
+                    Used with all rope types except 'default'. The scaling factor to apply to the RoPE embeddings. In
+                    most scaling types, a `factor` of x will enable the model to handle sequences of length x *
+                    original maximum pre-trained length.
+                `original_max_position_embeddings` (`int`, *optional*):
+                    Used with 'dynamic', 'longrope' and 'eurobert3'. The original max position embeddings used during
+                    pretraining.
+                `attention_factor` (`float`, *optional*):
+                    Used with 'yarn' and 'longrope'. The scaling factor to be applied on the attention
+                    computation. If unspecified, it defaults to value recommended by the implementation, using the
+                    `factor` field to infer the suggested value.
+                `beta_fast` (`float`, *optional*):
+                    Only used with 'yarn'. Parameter to set the boundary for extrapolation (only) in the linear
+                    ramp function. If unspecified, it defaults to 32.
+                `beta_slow` (`float`, *optional*):
+                    Only used with 'yarn'. Parameter to set the boundary for interpolation (only) in the linear
+                    ramp function. If unspecified, it defaults to 1.
+                `short_factor` (`List[float]`, *optional*):
+                    Only used with 'longrope'. The scaling factor to be applied to short contexts (<
+                    `original_max_position_embeddings`). Must be a list of numbers with the same length as the hidden
+                    size divided by the number of attention heads divided by 2
+                `long_factor` (`List[float]`, *optional*):
+                    Only used with 'longrope'. The scaling factor to be applied to long contexts (<
+                    `original_max_position_embeddings`). Must be a list of numbers with the same length as the hidden
+                    size divided by the number of attention heads divided by 2
+                `low_freq_factor` (`float`, *optional*):
+                    Only used with 'eurobert3'. Scaling factor applied to low frequency components of the RoPE
+                `high_freq_factor` (`float`, *optional*):
+                    Only used with 'eurobert3'. Scaling factor applied to high frequency components of the RoPE
+        attention_bias (`bool`, *optional*, defaults to `False`):
+            Whether to use a bias in the query, key, value and output projection layers during self-attention.
+        attention_dropout (`float`, *optional*, defaults to 0.0):
+            The dropout ratio for the attention probabilities.
+        mlp_bias (`bool`, *optional*, defaults to `False`):
+            Whether to use a bias in up_proj, down_proj and gate_proj layers in the MLP layers.
+        head_dim (`int`, *optional*):
+            The attention head dimension. If None, it will default to hidden_size // num_attention_heads
+        classifier_pooling (`str`, *optional*, defaults to `"late"`):
+            The pooling strategy to use for the classifier. Can be one of ['bos', 'mean', 'late'].
+
+    ```python
+    >>> from transformers import EuroBertModel, EuroBertConfig
+
+    >>> # Initializing a EuroBert eurobert-base style configuration
+    >>> configuration = EuroBertConfig()
+
+    >>> # Initializing a model from the eurobert-base style configuration
+    >>> model = EuroBertModel(configuration)
+
+    >>> # Accessing the model configuration
+    >>> configuration = model.config
+    ```"""
+
+    model_type = "eurobert"
+
+    def __init__(
+        self,
+        vocab_size=128256,
+        hidden_size=768,
+        intermediate_size=3072,
+        num_hidden_layers=12,
+        num_attention_heads=12,
+        num_key_value_heads=None,
+        hidden_act="silu",
+        max_position_embeddings=8192,
+        initializer_range=0.02,
+        rms_norm_eps=1e-05,
+        bos_token_id=128000,
+        eos_token_id=128001,
+        pad_token_id=128001,
+        mask_token_id=128002,
+        pretraining_tp=1,
+        tie_word_embeddings=False,
+        rope_theta=250000.0,
+        rope_scaling=None,
+        attention_bias=False,
+        attention_dropout=0.0,
+        mlp_bias=False,
+        head_dim=None,
+        classifier_pooling="late",
+        **kwargs,
+    ):
+        # use_cache is specific to decoder models and should be set to False for encoder models
+        use_cache = kwargs.pop("use_cache", None)
+        if use_cache:
+            logger.warning_once(
+                "The `use_cache` argument to EuroBertConfig is set to `False`, as caching is never used for encoder models."
+            )
+
+        if num_key_value_heads is None:
+            num_key_value_heads = num_attention_heads
+
+        super().__init__(
+            vocab_size=vocab_size,
+            hidden_size=hidden_size,
+            intermediate_size=intermediate_size,
+            num_hidden_layers=num_hidden_layers,
+            num_attention_heads=num_attention_heads,
+            num_key_value_heads=num_key_value_heads,
+            hidden_act=hidden_act,
+            max_position_embeddings=max_position_embeddings,
+            initializer_range=initializer_range,
+            rms_norm_eps=rms_norm_eps,
+            use_cache=False,
+            bos_token_id=bos_token_id,
+            eos_token_id=eos_token_id,
+            pad_token_id=pad_token_id,
+            pretraining_tp=pretraining_tp,
+            tie_word_embeddings=tie_word_embeddings,
+            rope_theta=rope_theta,
+            rope_scaling=rope_scaling,
+            attention_bias=attention_bias,
+            attention_dropout=attention_dropout,
+            mlp_bias=mlp_bias,
+            head_dim=head_dim,
+            **kwargs,
+        )
+        self.mask_token_id = mask_token_id
+        self.clf_pooling = classifier_pooling
+
+
+__all__ = ["EuroBertConfig"]

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d4f783a92005641731c15031e50a62dcc1e56ea19efe553b81ed00008b738476
+oid sha256:8ad199ececcb2e55f6d6ce7b60c80ce7bd53faff582477853e3ef2c1da18e790
 size 847075632

modeling_eurobert.py

@@ -0,0 +1,1094 @@
+#                🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨
+#           This file was automatically generated from src/transformers/models/eurobert/modular_eurobert.py.
+#               Do NOT edit this file manually as any edits will be overwritten by the generation of
+#             the file from the modular. If any change should be done, please apply the change to the
+#                          modular_eurobert.py file directly. One of our CI enforces this.
+#                🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨🚨
+# coding=utf-8
+# Copyright 2025 Nicolas Boizard, Duarte M. Alves, Hippolyte Gisserot-Boukhlef and the EuroBert team. All rights reserved.
+#
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+from typing import Callable, Optional, Tuple, Union
+
+import torch
+from torch import nn
+from torch.nn import BCEWithLogitsLoss, CrossEntropyLoss, MSELoss
+
+try:
+    from transformers import initialization as init
+except ImportError:  # transformers < v5
+    from transformers import modeling_utils as _modeling_utils
+    init = getattr(_modeling_utils, "init", torch.nn.init)
+
+from transformers.activations import ACT2FN
+from transformers.cache_utils import Cache, StaticCache
+from transformers.modeling_attn_mask_utils import AttentionMaskConverter
+from transformers.modeling_flash_attention_utils import FlashAttentionKwargs
+from transformers.modeling_outputs import (
+    BaseModelOutput,
+    BaseModelOutputWithPast,
+    MaskedLMOutput,
+    QuestionAnsweringModelOutput,
+    SequenceClassifierOutput,
+    TokenClassifierOutput,
+)
+from transformers.modeling_rope_utils import ROPE_INIT_FUNCTIONS
+from transformers.modeling_utils import ALL_ATTENTION_FUNCTIONS, PreTrainedModel
+from transformers.processing_utils import Unpack
+from transformers.utils import (
+    add_code_sample_docstrings,
+    add_start_docstrings,
+    add_start_docstrings_to_model_forward,
+    logging,
+)
+
+try:
+    from .configuration_eurobert import EuroBertConfig
+except ImportError:
+    from configuration_eurobert import EuroBertConfig
+
+
+logger = logging.get_logger(__name__)
+
+_CHECKPOINT_FOR_DOC = "EuroBERT/EuroBERT-210m"
+_CONFIG_FOR_DOC = "EuroBertConfig"
+
+
+class EuroBertRMSNorm(nn.Module):
+    def __init__(self, hidden_size, eps=1e-5):
+        """
+        EuroBertRMSNorm is equivalent to T5LayerNorm
+        """
+        super().__init__()
+        self.weight = nn.Parameter(torch.ones(hidden_size))
+        self.variance_epsilon = eps
+
+    def forward(self, hidden_states):
+        input_dtype = hidden_states.dtype
+        hidden_states = hidden_states.to(torch.float32)
+        variance = hidden_states.pow(2).mean(-1, keepdim=True)
+        hidden_states = hidden_states * torch.rsqrt(variance + self.variance_epsilon)
+        return self.weight * hidden_states.to(input_dtype)
+
+    def extra_repr(self):
+        return f"{tuple(self.weight.shape)}, eps={self.variance_epsilon}"
+
+
+def rotate_half(x):
+    """Rotates half the hidden dims of the input."""
+    x1 = x[..., : x.shape[-1] // 2]
+    x2 = x[..., x.shape[-1] // 2 :]
+    return torch.cat((-x2, x1), dim=-1)
+
+
+def apply_rotary_pos_emb(q, k, cos, sin, position_ids=None, unsqueeze_dim=1):
+    """Applies Rotary Position Embedding to the query and key tensors.
+
+    Args:
+        q (`torch.Tensor`): The query tensor.
+        k (`torch.Tensor`): The key tensor.
+        cos (`torch.Tensor`): The cosine part of the rotary embedding.
+        sin (`torch.Tensor`): The sine part of the rotary embedding.
+        position_ids (`torch.Tensor`, *optional*):
+            Deprecated and unused.
+        unsqueeze_dim (`int`, *optional*, defaults to 1):
+            The 'unsqueeze_dim' argument specifies the dimension along which to unsqueeze cos[position_ids] and
+            sin[position_ids] so that they can be properly broadcasted to the dimensions of q and k. For example, note
+            that cos[position_ids] and sin[position_ids] have the shape [batch_size, seq_len, head_dim]. Then, if q and
+            k have the shape [batch_size, heads, seq_len, head_dim], then setting unsqueeze_dim=1 makes
+            cos[position_ids] and sin[position_ids] broadcastable to the shapes of q and k. Similarly, if q and k have
+            the shape [batch_size, seq_len, heads, head_dim], then set unsqueeze_dim=2.
+    Returns:
+        `tuple(torch.Tensor)` comprising of the query and key tensors rotated using the Rotary Position Embedding.
+    """
+    cos = cos.unsqueeze(unsqueeze_dim)
+    sin = sin.unsqueeze(unsqueeze_dim)
+    q_embed = (q * cos) + (rotate_half(q) * sin)
+    k_embed = (k * cos) + (rotate_half(k) * sin)
+    return q_embed, k_embed
+
+
+def repeat_kv(hidden_states: torch.Tensor, n_rep: int) -> torch.Tensor:
+    """
+    This is the equivalent of torch.repeat_interleave(x, dim=1, repeats=n_rep). The hidden states go from (batch,
+    num_key_value_heads, seqlen, head_dim) to (batch, num_attention_heads, seqlen, head_dim)
+    """
+    batch, num_key_value_heads, slen, head_dim = hidden_states.shape
+    if n_rep == 1:
+        return hidden_states
+    hidden_states = hidden_states[:, :, None, :, :].expand(batch, num_key_value_heads, n_rep, slen, head_dim)
+    return hidden_states.reshape(batch, num_key_value_heads * n_rep, slen, head_dim)
+
+
+def eager_attention_forward(
+    module: nn.Module,
+    query: torch.Tensor,
+    key: torch.Tensor,
+    value: torch.Tensor,
+    attention_mask: Optional[torch.Tensor],
+    scaling: float,
+    dropout: float = 0.0,
+    **kwargs,
+):
+    key_states = repeat_kv(key, module.num_key_value_groups)
+    value_states = repeat_kv(value, module.num_key_value_groups)
+
+    attn_weights = torch.matmul(query, key_states.transpose(2, 3)) * scaling
+    if attention_mask is not None:
+        causal_mask = attention_mask[:, :, :, : key_states.shape[-2]]
+        attn_weights = attn_weights + causal_mask
+
+    attn_weights = nn.functional.softmax(attn_weights, dim=-1, dtype=torch.float32).to(query.dtype)
+    attn_weights = nn.functional.dropout(attn_weights, p=dropout, training=module.training)
+    attn_output = torch.matmul(attn_weights, value_states)
+    attn_output = attn_output.transpose(1, 2).contiguous()
+
+    return attn_output, attn_weights
+
+
+class EuroBertAttention(nn.Module):
+    """Multi-headed attention from 'Attention Is All You Need' paper"""
+
+    def __init__(self, config: EuroBertConfig, layer_idx: int):
+        super().__init__()
+        self.config = config
+        self.layer_idx = layer_idx
+        self.head_dim = getattr(config, "head_dim", config.hidden_size // config.num_attention_heads)
+        self.num_key_value_groups = config.num_attention_heads // config.num_key_value_heads
+        self.scaling = self.head_dim**-0.5
+        self.attention_dropout = config.attention_dropout
+        self.is_causal = False
+
+        self.q_proj = nn.Linear(
+            config.hidden_size, config.num_attention_heads * self.head_dim, bias=config.attention_bias
+        )
+        self.k_proj = nn.Linear(
+            config.hidden_size, config.num_key_value_heads * self.head_dim, bias=config.attention_bias
+        )
+        self.v_proj = nn.Linear(
+            config.hidden_size, config.num_key_value_heads * self.head_dim, bias=config.attention_bias
+        )
+        self.o_proj = nn.Linear(
+            config.num_attention_heads * self.head_dim, config.hidden_size, bias=config.attention_bias
+        )
+
+    def forward(
+        self,
+        hidden_states: torch.Tensor,
+        position_embeddings: Tuple[torch.Tensor, torch.Tensor],
+        attention_mask: Optional[torch.Tensor],
+        **kwargs: Unpack[FlashAttentionKwargs],
+    ) -> Tuple[torch.Tensor, Optional[torch.Tensor], Optional[Tuple[torch.Tensor]]]:
+        input_shape = hidden_states.shape[:-1]
+
+        hidden_shape = (*input_shape, -1, self.head_dim)
+
+        query_states = self.q_proj(hidden_states).view(hidden_shape).transpose(1, 2)
+        key_states = self.k_proj(hidden_states).view(hidden_shape).transpose(1, 2)
+        value_states = self.v_proj(hidden_states).view(hidden_shape).transpose(1, 2)
+
+        cos, sin = position_embeddings
+        query_states, key_states = apply_rotary_pos_emb(query_states, key_states, cos, sin)
+
+        attention_interface: Callable = eager_attention_forward
+        if self.config._attn_implementation != "eager":
+            if self.config._attn_implementation == "sdpa" and kwargs.get("output_attentions", False):
+                logger.warning_once(
+                    "`torch.nn.functional.scaled_dot_product_attention` does not support `output_attentions=True`. Falling back to "
+                    'eager attention. This warning can be removed using the argument `attn_implementation="eager"` when loading the model.'
+                )
+            else:
+                attention_interface = ALL_ATTENTION_FUNCTIONS[self.config._attn_implementation]
+        attn_output, attn_weights = attention_interface(
+            self,
+            query_states,
+            key_states,
+            value_states,
+            attention_mask,
+            dropout=0.0 if not self.training else self.attention_dropout,
+            scaling=self.scaling,
+            is_causal=False,
+            **kwargs,
+        )
+        attn_output = attn_output.reshape(*input_shape, -1).contiguous()
+        attn_output = self.o_proj(attn_output)
+        return attn_output, attn_weights
+
+
+EUROBERT_START_DOCSTRING = r"""
+    This model inherits from [`PreTrainedModel`]. Check the superclass documentation for the generic methods the
+    library implements for all its model (such as downloading or saving, resizing the input embeddings, pruning heads
+    etc.)
+
+    This model is also a PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) subclass.
+    Use it as a regular PyTorch Module and refer to the PyTorch documentation for all matter related to general usage
+    and behavior.
+
+    Parameters:
+        config ([`EuroBertConfig`]):
+            Model configuration class with all the parameters of the model. Initializing with a config file does not
+            load the weights associated with the model, only the configuration. Check out the
+            [`~PreTrainedModel.from_pretrained`] method to load the model weights.
+"""
+
+
+@add_start_docstrings(
+    "The bare EuroBERT Model outputting raw hidden-states without any specific head on top.",
+    EUROBERT_START_DOCSTRING,
+)
+class EuroBertPreTrainedModel(PreTrainedModel):
+    config_class = EuroBertConfig
+    base_model_prefix = "model"
+    supports_gradient_checkpointing = True
+    _no_split_modules = ["EuroBertDecoderLayer"]
+    _skip_keys_device_placement = ["past_key_values"]
+    _supports_flash_attn_2 = True
+    _supports_sdpa = True
+    _supports_flex_attn = True
+    _supports_cache_class = True
+    _supports_quantized_cache = True
+    _supports_static_cache = True
+    _supports_attention_backend = True
+
+    def _init_weights(self, module):
+        std = self.config.initializer_range
+        if isinstance(module, nn.Linear):
+            init.normal_(module.weight, mean=0.0, std=std)
+            if module.bias is not None:
+                init.zeros_(module.bias)
+        elif isinstance(module, nn.Embedding):
+            init.normal_(module.weight, mean=0.0, std=std)
+            if module.padding_idx is not None and not getattr(module.weight, "_is_hf_initialized", False):
+                init.zeros_(module.weight[module.padding_idx])
+        elif isinstance(module, EuroBertRotaryEmbedding):
+            rope_fn = ROPE_INIT_FUNCTIONS[module.rope_type]
+            buffer_value, _ = rope_fn(module.config, device=module.inv_freq.device)
+            if hasattr(init, "copy_"):
+                init.copy_(module.inv_freq, buffer_value)
+                init.copy_(module.original_inv_freq, buffer_value)
+            else:
+                module.inv_freq.copy_(buffer_value)
+                module.original_inv_freq.copy_(buffer_value)
+
+
+class EuroBertRotaryEmbedding(nn.Module):
+    def __init__(self, config: EuroBertConfig, device=None):
+        super().__init__()
+        # BC: "rope_type" was originally "type"
+        if hasattr(config, "rope_scaling") and config.rope_scaling is not None:
+            self.rope_type = config.rope_scaling.get("rope_type", config.rope_scaling.get("type"))
+        else:
+            self.rope_type = "default"
+        if self.rope_type == "default":
+            self.rope_type = "linear"
+            # Ensure rope_scaling is set up with factor=1.0 for linear (no scaling, equivalent to default)
+            if not hasattr(config, "rope_scaling") or config.rope_scaling is None:
+                config.rope_scaling = {"rope_type": "linear", "factor": 1.0}
+            elif "factor" not in config.rope_scaling:
+                config.rope_scaling["factor"] = 1.0
+        self.max_seq_len_cached = config.max_position_embeddings
+        self.original_max_seq_len = config.max_position_embeddings
+
+        self.config = config
+        self.rope_init_fn = ROPE_INIT_FUNCTIONS[self.rope_type]
+        inv_freq, self.attention_scaling = self.rope_init_fn(self.config, device)
+        self.register_buffer("inv_freq", inv_freq, persistent=False)
+        self.original_inv_freq = self.inv_freq
+
+    def _dynamic_frequency_update(self, position_ids, device):
+        """
+        dynamic RoPE layers should recompute `inv_freq` in the following situations:
+        1 - growing beyond the cached sequence length (allow scaling)
+        2 - the current sequence length is in the original scale (avoid losing precision with small sequences)
+        """
+        seq_len = torch.max(position_ids) + 1
+        if seq_len > self.max_seq_len_cached:  # growth
+            inv_freq, self.attention_scaling = self.rope_init_fn(self.config, device, seq_len=seq_len)
+            self.register_buffer("inv_freq", inv_freq, persistent=False)  # TODO joao: may break with compilation
+            self.max_seq_len_cached = seq_len
+
+        if seq_len < self.original_max_seq_len and self.max_seq_len_cached > self.original_max_seq_len:  # reset
+            # This .to() is needed if the model has been moved to a device after being initialized (because
+            # the buffer is automatically moved, but not the original copy)
+            self.original_inv_freq = self.original_inv_freq.to(device)
+            self.register_buffer("inv_freq", self.original_inv_freq, persistent=False)
+            self.max_seq_len_cached = self.original_max_seq_len
+
+    @torch.no_grad()
+    def forward(self, x, position_ids):
+        if "dynamic" in self.rope_type:
+            self._dynamic_frequency_update(position_ids, device=x.device)
+
+        # Core RoPE block
+        inv_freq_expanded = self.inv_freq[None, :, None].float().expand(position_ids.shape[0], -1, 1)
+        position_ids_expanded = position_ids[:, None, :].float()
+        # Force float32 (see https://github.com/huggingface/transformers/pull/29285)
+        device_type = x.device.type
+        device_type = device_type if isinstance(device_type, str) and device_type != "mps" else "cpu"
+        with torch.autocast(device_type=device_type, enabled=False):
+            freqs = (inv_freq_expanded.float() @ position_ids_expanded.float()).transpose(1, 2)
+            emb = torch.cat((freqs, freqs), dim=-1)
+            cos = emb.cos()
+            sin = emb.sin()
+
+        # Advanced RoPE types (e.g. yarn) apply a post-processing scaling factor, equivalent to scaling attention
+        cos = cos * self.attention_scaling
+        sin = sin * self.attention_scaling
+
+        return cos.to(dtype=x.dtype), sin.to(dtype=x.dtype)
+
+
+class EuroBertMLP(nn.Module):
+    def __init__(self, config):
+        super().__init__()
+        self.config = config
+        self.hidden_size = config.hidden_size
+        self.intermediate_size = config.intermediate_size
+        self.gate_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=config.mlp_bias)
+        self.up_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=config.mlp_bias)
+        self.down_proj = nn.Linear(self.intermediate_size, self.hidden_size, bias=config.mlp_bias)
+        self.act_fn = ACT2FN[config.hidden_act]
+
+    def forward(self, x):
+        down_proj = self.down_proj(self.act_fn(self.gate_proj(x)) * self.up_proj(x))
+        return down_proj
+
+
+class EuroBertDecoderLayer(nn.Module):
+    def __init__(self, config: EuroBertConfig, layer_idx: int):
+        super().__init__()
+        self.hidden_size = config.hidden_size
+
+        self.self_attn = EuroBertAttention(config=config, layer_idx=layer_idx)
+
+        self.mlp = EuroBertMLP(config)
+        self.input_layernorm = EuroBertRMSNorm(config.hidden_size, eps=config.rms_norm_eps)
+        self.post_attention_layernorm = EuroBertRMSNorm(config.hidden_size, eps=config.rms_norm_eps)
+
+    def forward(
+        self,
+        hidden_states: torch.Tensor,
+        attention_mask: Optional[torch.Tensor] = None,
+        position_ids: Optional[torch.LongTensor] = None,
+        past_key_value: Optional[Cache] = None,
+        output_attentions: Optional[bool] = False,
+        use_cache: Optional[bool] = False,
+        cache_position: Optional[torch.LongTensor] = None,
+        position_embeddings: Optional[Tuple[torch.Tensor, torch.Tensor]] = None,  # necessary, but kept here for BC
+        **kwargs: Unpack[FlashAttentionKwargs],
+    ) -> Tuple[torch.FloatTensor, Optional[Tuple[torch.FloatTensor, torch.FloatTensor]]]:
+        residual = hidden_states
+        
+        hidden_states = self.input_layernorm(hidden_states)
+
+        # Self Attention
+        hidden_states, self_attn_weights = self.self_attn(
+            hidden_states=hidden_states,
+            attention_mask=attention_mask,
+            position_ids=position_ids,
+            past_key_value=past_key_value,
+            output_attentions=output_attentions,
+            use_cache=use_cache,
+            cache_position=cache_position,
+            position_embeddings=position_embeddings,
+            **kwargs,
+        )
+
+        hidden_states = residual + hidden_states
+
+        # Fully Connected
+        residual = hidden_states
+        hidden_states = self.post_attention_layernorm(hidden_states)
+        hidden_states = self.mlp(hidden_states)
+        hidden_states = residual + hidden_states
+
+        outputs = (hidden_states,)
+        if output_attentions:
+            outputs += (self_attn_weights,)
+
+        return outputs
+
+
+EUROBERT_INPUTS_DOCSTRING = r"""
+    Args:
+        input_ids (`torch.LongTensor` of shape `(batch_size, sequence_length)`):
+            Indices of input sequence tokens in the vocabulary. Padding will be ignored by default should you provide
+            it.
+
+            Indices can be obtained using [`AutoTokenizer`]. See [`PreTrainedTokenizer.encode`] and
+            [`PreTrainedTokenizer.__call__`] for details.
+
+            [What are input IDs?](../glossary#input-ids)
+        attention_mask (`torch.Tensor` of shape `(batch_size, sequence_length)`, *optional*):
+            Mask to avoid performing attention on padding token indices. Mask values selected in `[0, 1]`:
+
+            - 1 for tokens that are **not masked**,
+            - 0 for tokens that are **masked**.
+
+            [What are attention masks?](../glossary#attention-mask)
+
+            Indices can be obtained using [`AutoTokenizer`]. See [`PreTrainedTokenizer.encode`] and
+            [`PreTrainedTokenizer.__call__`] for details.
+
+            If `past_key_values` is used, optionally only the last `input_ids` have to be input (see
+            `past_key_values`).
+
+            If you want to change padding behavior, you should read [`modeling_opt._prepare_decoder_attention_mask`]
+            and modify to your needs. See diagram 1 in [the paper](https://arxiv.org/abs/1910.13461) for more
+            information on the default strategy.
+
+            - 1 indicates the head is **not masked**,
+            - 0 indicates the head is **masked**.
+        position_ids (`torch.LongTensor` of shape `(batch_size, sequence_length)`, *optional*):
+            Indices of positions of each input sequence tokens in the position embeddings. Selected in the range `[0,
+            config.n_positions - 1]`.
+
+            [What are position IDs?](../glossary#position-ids)
+        past_key_values (`Cache` or `tuple(tuple(torch.FloatTensor))`, *optional*):
+            Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention
+            blocks) that can be used to speed up sequential decoding. This typically consists in the `past_key_values`
+            returned by the model at a previous stage of decoding, when `use_cache=True` or `config.use_cache=True`.
+
+            Two formats are allowed:
+            - a [`~cache_utils.Cache`] instance, see our
+            [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache);
+            - Tuple of `tuple(torch.FloatTensor)` of length `config.n_layers`, with each tuple having 2 tensors of
+            shape `(batch_size, num_heads, sequence_length, embed_size_per_head)`). This is also known as the legacy
+            cache format.
+
+            The model will output the same cache format that is fed as input. If no `past_key_values` are passed, the
+            legacy cache format will be returned.
+
+            If `past_key_values` are used, the user can optionally input only the last `input_ids` (those that don't
+            have their past key value states given to this model) of shape `(batch_size, 1)` instead of all `input_ids`
+            of shape `(batch_size, sequence_length)`.
+        inputs_embeds (`torch.FloatTensor` of shape `(batch_size, sequence_length, hidden_size)`, *optional*):
+            Optionally, instead of passing `input_ids` you can choose to directly pass an embedded representation. This
+            is useful if you want more control over how to convert `input_ids` indices into associated vectors than the
+            model's internal embedding lookup matrix.
+        use_cache (`bool`, *optional*):
+            If set to `True`, `past_key_values` key value states are returned and can be used to speed up decoding (see
+            `past_key_values`).
+        output_attentions (`bool`, *optional*):
+            Whether or not to return the attentions tensors of all attention layers. See `attentions` under returned
+            tensors for more detail.
+        output_hidden_states (`bool`, *optional*):
+            Whether or not to return the hidden states of all layers. See `hidden_states` under returned tensors for
+            more detail.
+        return_dict (`bool`, *optional*):
+            Whether or not to return a [`~utils.ModelOutput`] instead of a plain tuple.
+        cache_position (`torch.LongTensor` of shape `(sequence_length)`, *optional*):
+            Indices depicting the position of the input sequence tokens in the sequence. Contrarily to `position_ids`,
+            this tensor is not affected by padding. It is used to update the cache in the correct position and to infer
+            the complete sequence length.
+"""
+
+
+@add_start_docstrings(
+    "The bare EuroBert Model outputting raw hidden-states without any specific head on top.",
+    EUROBERT_START_DOCSTRING,
+)
+class EuroBertModel(EuroBertPreTrainedModel):
+    """
+    Transformer encoder consisting of *config.num_hidden_layers* layers. Each layer is a [`EuroBertDecoderLayer`]
+
+    Args:
+        config: EuroBertConfig
+    """
+
+    def __init__(self, config: EuroBertConfig):
+        super().__init__(config)
+        self.padding_idx = config.pad_token_id
+        self.vocab_size = config.vocab_size
+
+        self.embed_tokens = nn.Embedding(config.vocab_size, config.hidden_size, self.padding_idx)
+        self.layers = nn.ModuleList(
+            [EuroBertDecoderLayer(config, layer_idx) for layer_idx in range(config.num_hidden_layers)]
+        )
+        self.norm = EuroBertRMSNorm(config.hidden_size, eps=config.rms_norm_eps)
+        self.rotary_emb = EuroBertRotaryEmbedding(config=config)
+        self.gradient_checkpointing = False
+        self.mask_converter = AttentionMaskConverter(is_causal=False)
+
+        # Initialize weights and apply final processing
+        self.post_init()
+
+    def get_input_embeddings(self):
+        return self.embed_tokens
+
+    def set_input_embeddings(self, value):
+        self.embed_tokens = value
+
+    @add_start_docstrings_to_model_forward(EUROBERT_INPUTS_DOCSTRING)
+    @add_code_sample_docstrings(
+        checkpoint=_CHECKPOINT_FOR_DOC,
+        output_type=BaseModelOutput,
+        config_class=_CONFIG_FOR_DOC,
+    )
+    def forward(
+        self,
+        input_ids: torch.LongTensor = None,
+        attention_mask: Optional[torch.Tensor] = None,
+        position_ids: Optional[torch.LongTensor] = None,
+        inputs_embeds: Optional[torch.FloatTensor] = None,
+        output_attentions: Optional[bool] = None,
+        output_hidden_states: Optional[bool] = None,
+        return_dict: Optional[bool] = None,
+        **flash_attn_kwargs: Unpack[FlashAttentionKwargs],
+    ) -> Union[Tuple, BaseModelOutputWithPast]:
+        output_attentions = output_attentions if output_attentions is not None else self.config.output_attentions
+        output_hidden_states = (
+            output_hidden_states if output_hidden_states is not None else self.config.output_hidden_states
+        )
+        return_dict = return_dict if return_dict is not None else self.config.use_return_dict
+
+        if (input_ids is None) ^ (inputs_embeds is not None):
+            raise ValueError("You must specify exactly one of input_ids or inputs_embeds")
+
+        if inputs_embeds is None:
+            inputs_embeds = self.embed_tokens(input_ids)
+
+        if attention_mask is not None and self.config._attn_implementation != "flash_attention_2":
+            mask = self.mask_converter.to_4d(attention_mask, attention_mask.shape[1], inputs_embeds.dtype)
+        else:
+            mask = attention_mask
+
+        hidden_states = inputs_embeds
+
+        # create position embeddings to be shared across the encoder layers
+        if position_ids is None:
+            position_ids = torch.arange(inputs_embeds.shape[1], device=inputs_embeds.device).unsqueeze(0)
+        position_embeddings = self.rotary_emb(hidden_states, position_ids)
+
+        # encoder layers
+        all_hidden_states = () if output_hidden_states else None
+        all_self_attns = () if output_attentions else None
+
+        for encoder_layer in self.layers[: self.config.num_hidden_layers]:
+            if output_hidden_states:
+                all_hidden_states += (hidden_states,)
+
+            if self.gradient_checkpointing and self.training:
+                layer_outputs = self._gradient_checkpointing_func(
+                    encoder_layer.__call__,
+                    hidden_states,
+                    mask,
+                    position_ids,
+                    None,
+                    output_attentions,
+                    False,
+                    None,
+                    position_embeddings,
+                )
+            else:
+                layer_outputs = encoder_layer(
+                    hidden_states,
+                    attention_mask=mask,
+                    position_ids=position_ids,
+                    output_attentions=output_attentions,
+                    position_embeddings=position_embeddings,
+                    **flash_attn_kwargs,
+                )
+
+            hidden_states = layer_outputs[0]
+
+            if output_attentions:
+                all_self_attns += (layer_outputs[1],)
+
+        hidden_states = self.norm(hidden_states)
+
+        # add hidden states from the last encoder layer
+        if output_hidden_states:
+            all_hidden_states += (hidden_states,)
+
+        output = BaseModelOutput(
+            last_hidden_state=hidden_states,
+            hidden_states=all_hidden_states,
+            attentions=all_self_attns,
+        )
+        return output if return_dict else output.to_tuple()
+
+    def _update_causal_mask(
+        self,
+        attention_mask: torch.Tensor,
+        input_tensor: torch.Tensor,
+        cache_position: torch.Tensor,
+        past_key_values: Cache,
+        output_attentions: bool,
+    ):
+        if self.config._attn_implementation == "flash_attention_2":
+            if attention_mask is not None and (attention_mask == 0.0).any():
+                return attention_mask
+            return None
+
+        # For SDPA, when possible, we will rely on its `is_causal` argument instead of its `attn_mask` argument, in
+        # order to dispatch on Flash Attention 2. This feature is not compatible with static cache, as SDPA will fail
+        # to infer the attention mask.
+        past_seen_tokens = past_key_values.get_seq_length() if past_key_values is not None else 0
+        using_static_cache = isinstance(past_key_values, StaticCache)
+
+        # When output attentions is True, sdpa implementation's forward method calls the eager implementation's forward
+        if self.config._attn_implementation == "sdpa" and not using_static_cache and not output_attentions:
+            if AttentionMaskConverter._ignore_causal_mask_sdpa(
+                attention_mask,
+                inputs_embeds=input_tensor,
+                past_key_values_length=past_seen_tokens,
+                is_training=self.training,
+            ):
+                return None
+
+        dtype, device = input_tensor.dtype, input_tensor.device
+        sequence_length = input_tensor.shape[1]
+        if using_static_cache:
+            target_length = past_key_values.get_max_cache_shape()
+        else:
+            target_length = (
+                attention_mask.shape[-1]
+                if isinstance(attention_mask, torch.Tensor)
+                else past_seen_tokens + sequence_length + 1
+            )
+
+        # In case the provided `attention` mask is 2D, we generate a causal mask here (4D).
+        causal_mask = self._prepare_4d_causal_attention_mask_with_cache_position(
+            attention_mask,
+            sequence_length=sequence_length,
+            target_length=target_length,
+            dtype=dtype,
+            device=device,
+            cache_position=cache_position,
+            batch_size=input_tensor.shape[0],
+        )
+
+        if (
+            self.config._attn_implementation == "sdpa"
+            and attention_mask is not None
+            and attention_mask.device.type in ["cuda", "xpu"]
+            and not output_attentions
+        ):
+            # Attend to all tokens in fully masked rows in the causal_mask, for example the relevant first rows when
+            # using left padding. This is required by F.scaled_dot_product_attention memory-efficient attention path.
+            # Details: https://github.com/pytorch/pytorch/issues/110213
+            min_dtype = torch.finfo(dtype).min
+            causal_mask = AttentionMaskConverter._unmask_unattended(causal_mask, min_dtype)
+
+        return causal_mask
+
+    @staticmethod
+    def _prepare_4d_causal_attention_mask_with_cache_position(
+        attention_mask: torch.Tensor,
+        sequence_length: int,
+        target_length: int,
+        dtype: torch.dtype,
+        device: torch.device,
+        cache_position: torch.Tensor,
+        batch_size: int,
+        **kwargs,
+    ):
+        """
+        Creates a causal 4D mask of shape `(batch_size, 1, query_length, key_value_length)` from a 2D mask of shape
+        `(batch_size, key_value_length)`, or if the input `attention_mask` is already 4D, do nothing.
+
+        Args:
+            attention_mask (`torch.Tensor`):
+                A 2D attention mask of shape `(batch_size, key_value_length)` or a 4D attention mask of shape
+                `(batch_size, 1, query_length, key_value_length)`.
+            sequence_length (`int`):
+                The sequence length being processed.
+            target_length (`int`):
+                The target length: when generating with static cache, the mask should be as long as the static cache,
+                to account for the 0 padding, the part of the cache that is not filled yet.
+            dtype (`torch.dtype`):
+                The dtype to use for the 4D attention mask.
+            device (`torch.device`):
+                The device to plcae the 4D attention mask on.
+            cache_position (`torch.Tensor`):
+                Indices depicting the position of the input sequence tokens in the sequence.
+            batch_size (`torch.Tensor`):
+                Batch size.
+        """
+        if attention_mask is not None and attention_mask.dim() == 4:
+            # In this case we assume that the mask comes already in inverted form and requires no inversion or slicing.
+            causal_mask = attention_mask
+        else:
+            min_dtype = torch.finfo(dtype).min
+            causal_mask = torch.full(
+                (sequence_length, target_length), fill_value=min_dtype, dtype=dtype, device=device
+            )
+            if sequence_length != 1:
+                causal_mask = torch.triu(causal_mask, diagonal=1)
+            causal_mask *= torch.arange(target_length, device=device) > cache_position.reshape(-1, 1)
+            causal_mask = causal_mask[None, None, :, :].expand(batch_size, 1, -1, -1)
+            if attention_mask is not None:
+                causal_mask = causal_mask.clone()  # copy to contiguous memory for in-place edit
+                mask_length = attention_mask.shape[-1]
+                padding_mask = causal_mask[:, :, :, :mask_length] + attention_mask[:, None, None, :].to(
+                    causal_mask.device
+                )
+                padding_mask = padding_mask == 0
+                causal_mask[:, :, :, :mask_length] = causal_mask[:, :, :, :mask_length].masked_fill(
+                    padding_mask, min_dtype
+                )
+
+        return causal_mask
+
+
+@add_start_docstrings(
+    "The EuroBert Model with a decoder head on top that is used for masked language modeling.",
+    EUROBERT_START_DOCSTRING,
+)
+class EuroBertForMaskedLM(EuroBertPreTrainedModel):
+    def __init__(self, config: EuroBertConfig):
+        super().__init__(config)
+        self.model = EuroBertModel(config)
+        self.lm_head = nn.Linear(config.hidden_size, config.vocab_size, config.mlp_bias)
+        self.post_init()
+
+    @add_start_docstrings_to_model_forward(EUROBERT_INPUTS_DOCSTRING)
+    @add_code_sample_docstrings(
+        checkpoint=_CHECKPOINT_FOR_DOC,
+        output_type=BaseModelOutput,
+        config_class=_CONFIG_FOR_DOC,
+    )
+    def forward(
+        self,
+        input_ids: Optional[torch.LongTensor] = None,
+        attention_mask: Optional[torch.Tensor] = None,
+        position_ids: Optional[torch.LongTensor] = None,
+        inputs_embeds: Optional[torch.FloatTensor] = None,
+        labels: Optional[torch.LongTensor] = None,
+        output_attentions: Optional[bool] = None,
+        output_hidden_states: Optional[bool] = None,
+        return_dict: Optional[bool] = None,
+    ) -> Union[Tuple[torch.Tensor], MaskedLMOutput]:
+        return_dict = return_dict if return_dict is not None else self.config.use_return_dict
+
+        encoder_output = self.model(
+            input_ids,
+            attention_mask=attention_mask,
+            position_ids=position_ids,
+            inputs_embeds=inputs_embeds,
+            output_attentions=output_attentions,
+            output_hidden_states=output_hidden_states,
+            return_dict=return_dict,
+        )
+
+        prediction_scores = self.lm_head(encoder_output[0])
+        masked_lm_loss = None
+        if labels is not None:
+            labels = labels.to(prediction_scores.device)
+            masked_lm_loss = self.loss_function(prediction_scores, labels, vocab_size=self.config.vocab_size)
+
+        if not return_dict:
+            output = (prediction_scores,) + encoder_output[1:]
+            return ((masked_lm_loss,) + output) if masked_lm_loss is not None else output
+
+        return MaskedLMOutput(
+            loss=masked_lm_loss,
+            logits=prediction_scores,
+            hidden_states=encoder_output.hidden_states,
+            attentions=encoder_output.attentions,
+        )
+
+
+@add_start_docstrings(
+    "The EuroBert Model with a sequence classification head on top that performs pooling.",
+    EUROBERT_START_DOCSTRING,
+)
+class EuroBertForSequenceClassification(EuroBertPreTrainedModel):
+    def __init__(self, config: EuroBertConfig):
+        super().__init__(config)
+        self.num_labels = config.num_labels
+        self.clf_pooling = config.clf_pooling
+
+        self.model = EuroBertModel(config)
+        self.dense = nn.Linear(config.hidden_size, config.hidden_size)
+        self.activation = nn.GELU()
+        self.classifier = nn.Linear(config.hidden_size, self.num_labels)
+        self.post_init()
+
+    @add_start_docstrings_to_model_forward(EUROBERT_INPUTS_DOCSTRING)
+    @add_code_sample_docstrings(
+        checkpoint=_CHECKPOINT_FOR_DOC,
+        output_type=BaseModelOutput,
+        config_class=_CONFIG_FOR_DOC,
+    )
+    def forward(
+        self,
+        input_ids: Optional[torch.LongTensor] = None,
+        attention_mask: Optional[torch.Tensor] = None,
+        position_ids: Optional[torch.LongTensor] = None,
+        inputs_embeds: Optional[torch.FloatTensor] = None,
+        labels: Optional[torch.LongTensor] = None,
+        output_attentions: Optional[bool] = None,
+        output_hidden_states: Optional[bool] = None,
+        return_dict: Optional[bool] = None,
+    ) -> Union[Tuple[torch.Tensor], SequenceClassifierOutput]:
+        r"""
+        labels (`torch.LongTensor` of shape `(batch_size,)`, *optional*):
+            Labels for computing the sequence classification/regression loss. Indices should be in `[0, ...,
+            config.num_labels - 1]`. If `config.num_labels == 1` a regression loss is computed (Mean-Square loss), If
+            `config.num_labels > 1` a classification loss is computed (Cross-Entropy).
+        """
+        return_dict = return_dict if return_dict is not None else self.config.use_return_dict
+
+        encoder_output = self.model(
+            input_ids,
+            attention_mask=attention_mask,
+            position_ids=position_ids,
+            inputs_embeds=inputs_embeds,
+            output_attentions=output_attentions,
+            output_hidden_states=output_hidden_states,
+            return_dict=return_dict,
+        )
+        last_hidden_state = encoder_output[0]
+
+        if self.clf_pooling in ["bos", "mean"]:
+            if self.clf_pooling == "bos":
+                pooled_output = last_hidden_state[:, 0]
+
+            elif self.clf_pooling == "mean":
+                if attention_mask is None:
+                    pooled_output = last_hidden_state.mean(dim=1)
+                else:
+                    pooled_output = (last_hidden_state * attention_mask.unsqueeze(-1)).sum(dim=1)
+                    pooled_output /= attention_mask.sum(dim=1, keepdim=True)
+
+            pooled_output = self.dense(pooled_output)
+            pooled_output = self.activation(pooled_output)
+            logits = self.classifier(pooled_output)
+
+        elif self.clf_pooling == "late":
+            x = self.dense(last_hidden_state)
+            x = self.activation(x)
+            logits = self.classifier(x)
+            if attention_mask is None:
+                logits = logits.mean(dim=1)
+            else:
+                logits = (logits * attention_mask.unsqueeze(-1)).sum(dim=1)
+                logits /= attention_mask.sum(dim=1, keepdim=True)
+
+        loss = None
+        if labels is not None:
+            labels = labels.to(logits.device)
+            if self.config.problem_type is None:
+                if self.num_labels == 1:
+                    self.config.problem_type = "regression"
+                elif self.num_labels > 1 and (labels.dtype == torch.long or labels.dtype == torch.int):
+                    self.config.problem_type = "single_label_classification"
+                else:
+                    self.config.problem_type = "multi_label_classification"
+
+            if self.config.problem_type == "regression":
+                loss_fct = MSELoss()
+                if self.num_labels == 1:
+                    loss = loss_fct(logits.squeeze(), labels.squeeze())
+                else:
+                    loss = loss_fct(logits, labels)
+            elif self.config.problem_type == "single_label_classification":
+                loss_fct = CrossEntropyLoss()
+                loss = loss_fct(logits.view(-1, self.num_labels), labels.view(-1))
+            elif self.config.problem_type == "multi_label_classification":
+                loss_fct = BCEWithLogitsLoss()
+                loss = loss_fct(logits, labels)
+
+        if not return_dict:
+            output = (logits,) + encoder_output[1:]
+            return ((loss,) + output) if loss is not None else output
+
+        return SequenceClassifierOutput(
+            loss=loss,
+            logits=logits,
+            hidden_states=encoder_output.hidden_states,
+            attentions=encoder_output.attentions,
+        )
+
+
+@add_start_docstrings(
+    """
+    The EuroBert Model with a token classification head on top (a linear layer on top of the hidden-states
+    output) e.g. for Named-Entity-Recognition (NER) tasks."
+    """,
+    EUROBERT_START_DOCSTRING,
+)
+class EuroBertForTokenClassification(EuroBertPreTrainedModel):
+    def __init__(self, config: EuroBertConfig):
+        super().__init__(config)
+        self.num_labels = config.num_labels
+        self.model = EuroBertModel(config)
+
+        self.classifier = nn.Linear(config.hidden_size, config.num_labels)
+        self.post_init()
+
+    def get_input_embeddings(self):
+        return self.model.embed_tokens
+
+    def set_input_embeddings(self, value):
+        self.model.embed_tokens = value
+
+    @add_start_docstrings_to_model_forward(EUROBERT_INPUTS_DOCSTRING)
+    def forward(
+        self,
+        input_ids: Optional[torch.LongTensor] = None,
+        attention_mask: Optional[torch.Tensor] = None,
+        position_ids: Optional[torch.LongTensor] = None,
+        inputs_embeds: Optional[torch.FloatTensor] = None,
+        labels: Optional[torch.LongTensor] = None,
+        use_cache: Optional[bool] = None,
+        output_attentions: Optional[bool] = None,
+        output_hidden_states: Optional[bool] = None,
+        return_dict: Optional[bool] = None,
+    ) -> Union[Tuple, TokenClassifierOutput]:
+        r"""
+        labels (`torch.LongTensor` of shape `(batch_size,)`, *optional*):
+            Labels for computing the sequence classification/regression loss. Indices should be in `[0, ...,
+            config.num_labels - 1]`. If `config.num_labels == 1` a regression loss is computed (Mean-Square loss), If
+            `config.num_labels > 1` a classification loss is computed (Cross-Entropy).
+        """
+        return_dict = return_dict if return_dict is not None else self.config.use_return_dict
+
+        outputs = self.model(
+            input_ids,
+            attention_mask=attention_mask,
+            position_ids=position_ids,
+            inputs_embeds=inputs_embeds,
+            use_cache=use_cache,
+            output_attentions=output_attentions,
+            output_hidden_states=output_hidden_states,
+            return_dict=return_dict,
+        )
+        sequence_output = outputs[0]
+        logits = self.classifier(sequence_output)
+
+        loss = None
+        if labels is not None:
+            loss_fct = CrossEntropyLoss()
+            loss = loss_fct(logits.view(-1, self.num_labels), labels.view(-1))
+
+        if not return_dict:
+            output = (logits,) + outputs[2:]
+            return ((loss,) + output) if loss is not None else output
+
+        return TokenClassifierOutput(
+            loss=loss,
+            logits=logits,
+            hidden_states=outputs.hidden_states,
+            attentions=outputs.attentions,
+        )
+
+
+@add_start_docstrings(
+    """
+    The EuroBert Model with a span classification head on top for extractive question-answering tasks 
+    like SQuAD (a linear layers on top of the hidden-states output to compute span start logits 
+    and span end logits).
+    """,
+    EUROBERT_START_DOCSTRING,
+)
+class EuroBertForQuestionAnswering(EuroBertPreTrainedModel):
+    def __init__(self, config: EuroBertConfig):
+        super().__init__(config)
+        self.num_labels = config.num_labels
+        self.model = EuroBertModel(config)
+
+        self.qa_outputs = nn.Linear(config.hidden_size, config.num_labels)
+        self.post_init()
+
+    def get_input_embeddings(self):
+        return self.model.embed_tokens
+
+    def set_input_embeddings(self, value):
+        self.model.embed_tokens = value
+
+    @add_start_docstrings_to_model_forward(EUROBERT_INPUTS_DOCSTRING)
+    def forward(
+        self,
+        input_ids: Optional[torch.Tensor] = None,
+        attention_mask: Optional[torch.Tensor] = None,
+        position_ids: Optional[torch.Tensor] = None,
+        inputs_embeds: Optional[torch.Tensor] = None,
+        use_cache: Optional[bool] = None,
+        start_positions: Optional[torch.Tensor] = None,
+        end_positions: Optional[torch.Tensor] = None,
+        output_attentions: Optional[bool] = None,
+        output_hidden_states: Optional[bool] = None,
+        return_dict: Optional[bool] = None,
+    ) -> Union[Tuple[torch.Tensor], QuestionAnsweringModelOutput]:
+        r"""
+        start_positions (`torch.LongTensor` of shape `(batch_size,)`, *optional*):
+            Labels for position (index) of the start of the labelled span for computing the token classification loss.
+            Positions are clamped to the length of the sequence (`sequence_length`). Position outside of the sequence
+            are not taken into account for computing the loss.
+        end_positions (`torch.LongTensor` of shape `(batch_size,)`, *optional*):
+            Labels for position (index) of the end of the labelled span for computing the token classification loss.
+            Positions are clamped to the length of the sequence (`sequence_length`). Position outside of the sequence
+            are not taken into account for computing the loss.
+        """
+        return_dict = return_dict if return_dict is not None else self.config.use_return_dict
+
+        outputs = self.model(
+            input_ids,
+            attention_mask=attention_mask,
+            position_ids=position_ids,
+            inputs_embeds=inputs_embeds,
+            use_cache=use_cache,
+            output_attentions=output_attentions,
+            output_hidden_states=output_hidden_states,
+            return_dict=return_dict,
+        )
+        sequence_output = outputs[0]
+
+        logits = self.qa_outputs(sequence_output)
+        start_logits, end_logits = logits.split(1, dim=-1)
+        start_logits = start_logits.squeeze(-1).contiguous()
+        end_logits = end_logits.squeeze(-1).contiguous()
+
+        total_loss = None
+        if start_positions is not None and end_positions is not None:
+            # If we are on multi-GPU, split add a dimension
+            if len(start_positions.size()) > 1:
+                start_positions = start_positions.squeeze(-1)
+            if len(end_positions.size()) > 1:
+                end_positions = end_positions.squeeze(-1)
+            # sometimes the start/end positions are outside our model inputs, we ignore these terms
+            ignored_index = start_logits.size(1)
+            start_positions = start_positions.clamp(0, ignored_index)
+            end_positions = end_positions.clamp(0, ignored_index)
+
+            loss_fct = CrossEntropyLoss(ignore_index=ignored_index)
+            start_loss = loss_fct(start_logits, start_positions)
+            end_loss = loss_fct(end_logits, end_positions)
+            total_loss = (start_loss + end_loss) / 2
+
+        if not return_dict:
+            output = (start_logits, end_logits) + outputs[2:]
+            return ((total_loss,) + output) if total_loss is not None else output
+
+        return QuestionAnsweringModelOutput(
+            loss=total_loss,
+            start_logits=start_logits,
+            end_logits=end_logits,
+            hidden_states=outputs.hidden_states,
+            attentions=outputs.attentions,
+        )
+
+
+__all__ = [
+    "EuroBertPreTrainedModel",
+    "EuroBertModel",
+    "EuroBertForMaskedLM",
+    "EuroBertForSequenceClassification",
+    "EuroBertForTokenClassification",
+    "EuroBertForQuestionAnswering",
+]

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 512,
+    "do_lower_case": false
+}