RamsesDIIP/me5-large-construction-cat

Multilingual E5 Large trained with triplet loss

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the csv dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • csv
• Language: multilingual
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("RamsesDIIP/me5-large-construction-cat")
# Run inference
sentences = [
    "query: Tub de PVC de 230 mm de diàmetre nominal de formació helicoïdal amb perfil rígid nervat exteriorment, per anar formigonat, unió elàstica amb massilla adhesiva de poliuretà i col·locat al fons de la rasa, en entorn urbà sense dificultat de mobilitat, en voreres > 5 m d'amplària o calçada/plataforma única > 12 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions d'1 a 10 m",
    "passage: Tub de PVC de 230 mm de diàmetre nominal amb disseny helicoïdal i perfil rígid reforçat a l'exterior, destinat a ser formigonat, amb connexió elàstica mitjançant massilla adhesiva de poliuretà, instal·lat al fons de la rasa en un entorn urbà amb bona accessibilitat, en voreres de més de 5 m d'amplada o calçades/plataformes úniques de més de 12 m d'amplada, sense interferències amb serveis o elements de mobiliari urbà, en projectes d'entre 1 i 10 m.",
    "passage: Tub de PVC de 250 mm de diàmetre nominal de formació cilíndrica amb perfil flexible llis interiorment, per instal·lar en superfície, unió rígida amb cargols metàl·lics i col·locat a la part superior del sòl, en entorn rural amb dificultats de mobilitat, en camins < 3 m d'amplària o carreteres de doble sentit < 8 m d'amplària, amb afectació per serveis o elements de paisatgisme, en actuacions de 5 a 15 m.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: validation-set
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9905
dot_accuracy	0.0076
manhattan_accuracy	0.9905
euclidean_accuracy	0.9905
max_accuracy	0.9905

Triplet

• Dataset: test-set
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9981
dot_accuracy	0.0019
manhattan_accuracy	0.9981
euclidean_accuracy	0.9981
max_accuracy	0.9981

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 5,295 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 18 tokens mean: 112.92 tokens max: 316 tokens	min: 21 tokens mean: 111.39 tokens max: 304 tokens	min: 19 tokens mean: 104.94 tokens max: 309 tokens

• Samples:

  anchor	positive	negative
  query: Revestiment vertical amb perfil ondulat de planxa d'alumini anoditzat i lacat, a 3,00 m d'alçària, com a màxim, amb ones cada 120 mm, de 30 mm d'alçària i 1 mm de gruix, amb una inèrcia entre 12,5 i 13 cm4 i una massa superficial entre 3 i 3,5 kg/m2, acabat perforat amb un coeficient de perforació de l'11% color especial, col·locat amb fixacions mecàniques	passage: Revestiment vertical amb panells ondulats d'alumini anoditzat i pintat, a una alçada màxima de 3,00 m, amb ones de 120 mm de separació, 30 mm d'alçària i 1 mm de gruix, amb una inèrcia d'entre 12,5 i 13 cm4 i una massa superficial de 3 a 3,5 kg/m2, acabat amb perforacions que tenen un coeficient de perforació del 11% en un color especial, instal·lat amb fixacions mecàniques.	passage: Revestiment vertical amb panells llisos de planxa d'acer galvanitzat, a 2,50 m d'alçària, amb un acabat llis de 1,5 mm de gruix, amb una inèrcia entre 10 i 11 cm4 i una massa superficial entre 4 i 4,5 kg/m2, acabat pintat amb un color estàndard, col·locat amb adhesius.
  query: Canal d'acer galvanitzat de tipus reixa amb pendent, sortida lliure, horitzontal, d'1,5 mm de gruix, de <= 100 mm d'amplària, de 100 a 200 mm d'alçària, per a una càrrega classe M 125, col.locada, en entorn urbà sense dificultat de mobilitat, en voreres > 5 m d'amplària o calçada/plataforma única > 12 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions de més de 5 u	passage: Canal de metall galvanitzat de tipus reixa amb inclinació, sortida lliure, horitzontal, de 1,5 mm de gruix, amb amplada de fins a 100 mm i alçària entre 100 i 200 mm, dissenyat per suportar càrregues de classe M 125, instal·lat en zones urbanes amb bona accessibilitat, en voreres de més de 5 m d'amplada o calçades/plataformes úniques de més de 12 m d'amplada, sense interferències amb serveis o elements de mobiliari urbà, en projectes de més de 5 unitats.	passage: Canal de plàstic reforçat de tipus tubular amb pendent, sortida controlada, vertical, de 2 mm de gruix, de <= 150 mm d'amplària, de 200 a 300 mm d'alçària, per a una càrrega classe L 150, instal·lada, en entorn rural amb dificultat de mobilitat, en camins < 3 m d'amplària o carretera secundària < 10 m d'amplària, amb afectació per serveis o elements de mobiliari rural, en actuacions de menys de 3 u.
  query: Formigonament de sostre nervat reticular amb formigó per armar, amb 20% de granulats de material reciclat de formigons, amb additiu hidròfug HRA - 25 / F / 20 / XC2 amb una quantitat de ciment de 275 kg/m3 i relació aigua ciment =< 0.6, abocat amb cubilot	passage: Formigonament de sostre reticular nervat amb formigó armat, incorporant un 20% de granulats reciclats de formigó, utilitzant un additiu hidrofug HRA - 25 / F / 20 / XC2, amb una dosi de ciment de 275 kg/m3 i una relació aigua-ciment ≤ 0.6, realitzat mitjançant cubilot.	passage: Formigonament de sostre pla amb formigó convencional, amb 30% de granulats naturals, sense additius especials, amb una quantitat de ciment de 300 kg/m3 i relació aigua ciment =< 0.5, abocat amb bomba de formigó.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "TripletLoss",
      "matryoshka_dims": [
          1024,
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

csv

• Dataset: csv
• Size: 5,295 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 34 tokens mean: 113.71 tokens max: 312 tokens	min: 34 tokens mean: 111.57 tokens max: 298 tokens	min: 34 tokens mean: 104.4 tokens max: 300 tokens

• Samples:

  anchor	positive	negative
  query: Interruptor de tipus modular de 2 mòduls estrets, bipolar (2P), 16 A/250 V, amb tecla i làmpada pilot, preu mitjà, encastat, amb marc amb bastidor per a l'adaptació de mecanismes modulars a caixa rectangular de 2 mòduls de preu mitjà, tub flexible corrugat de PVC folrat exteriorment, caixa de derivació rectangular i conductor de coure de designació H07V-U	passage: Interruptor modular de 2 mòduls estrets, bipolar (2P), 16 A/250 V, amb tecla i llum indicadora, preu mitjà, instal·lat en superfície, amb marc per adaptar mecanismes modulars a una caixa rectangular de 2 mòduls de preu mitjà, tub flexible de PVC corrugat, caixa de connexions rectangular i cable de coure H07V-U.	passage: Interruptor de tipus estàndard de 3 mòduls amplis, unipolar (1P), 10 A/230 V, sense tecla ni làmpada pilot, preu elevat, superficial, amb marc per a la instal·lació de mecanismes estàndard a caixa quadrada de 3 mòduls de preu elevat, tub rígid de PVC, caixa de connexió quadrada i conductor de coure de designació H05V-U.
  query: Tanca de vímet de qualitat extra nacional, de 100 cm d'alçària, col·locada amb grapes sobre tanca existent accessible des del terra, en entorn urbà amb dificultat de mobilitat, en voreres > 3 i <= 5 m d'amplària o calçada/plataforma única > 7 i <= 12 m d'amplària, amb afectació per serveis o elements de mobiliari urbà, en actuacions d'1 a 10 m	passage: Tanca de vímet de primera qualitat nacional, de 100 cm d'alçada, instal·lada amb grapes sobre una tanca ja existent accessible des del sòl, en un entorn urbà amb dificultats de mobilitat, en voreres d'entre 3 i 5 m d'amplada o calçada/plataforma única d'entre 7 i 12 m d'amplada, amb afectació per serveis o elements de mobiliari urbà, en actuacions d'entre 1 i 10 m.	passage: Tanca de vímet de qualitat estàndard local, de 80 cm d'alçària, instal·lada amb cargols sobre tanca nova accessible des de la carretera, en entorn rural sense dificultat de mobilitat, en voreres > 2 i <= 4 m d'amplària o calçada/plataforma única > 5 i <= 10 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions de 5 a 15 m.
  query: Formigonament per a enceps, amb formigó per armar HA - 35 / F / 10 / XC4 + XS1 amb una quantitat de ciment de 350 kg/m3 i relació aigua ciment =< 0.5, abocat des de camió en obres d'edificació	passage: Formigonament per a fonaments, utilitzant formigó HA - 35 / F / 10 / XC4 + XS1 amb una dosi de ciment de 350 kg/m3 i una relació aigua-ciment ≤ 0.5, abocat directament des de camió en projectes de construcció.	passage: Formigonament per a fonaments, amb formigó per armar HA - 30 / F / 8 / XC3 + XS2 amb una quantitat de ciment de 300 kg/m3 i relació aigua ciment =< 0.6, abocat manualment en obres de rehabilitació.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "TripletLoss",
      "matryoshka_dims": [
          1024,
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• learning_rate: 2e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	validation-set_max_accuracy	test-set_max_accuracy
0	0	-	-	0.8752	-
0.2833	200	27.0947	21.8679	0.9962	-
0.5666	400	21.5599	20.1800	0.9981	-
0.8499	600	20.6551	20.0511	0.9868	-
1.1331	800	20.7048	19.8554	0.9868	-
1.4164	1000	20.2484	19.8394	0.9792	-
1.6997	1200	20.1643	19.8034	0.9773	-
1.9830	1400	19.9497	19.6164	0.9887	-
2.2663	1600	19.586	19.5493	0.9868	-
2.5496	1800	19.3578	19.2686	0.9849	-
2.8329	2000	19.5241	19.3659	0.9735	-
3.1161	2200	19.4752	19.3143	0.9754	-
3.3994	2400	19.1002	19.2478	0.9830	-
3.6827	2600	19.2015	19.2189	0.9849	-
3.9660	2800	19.1602	19.1755	0.9830	-
4.2493	3000	19.0942	19.2112	0.9830	-
4.5326	3200	18.8649	19.0817	0.9792	-
4.8159	3400	18.8364	19.0357	0.9849	-
5.0992	3600	19.0001	18.9437	0.9905	-
5.3824	3800	18.7866	18.9528	0.9830	-
5.6657	4000	18.6785	18.9990	0.9811	-
5.9490	4200	18.7842	18.8078	0.9868	-
6.2323	4400	18.6919	18.8542	0.9830	-
6.5156	4600	18.6307	18.9018	0.9887	-
6.7989	4800	18.6242	18.9147	0.9887	-
7.0822	5000	18.5546	18.8884	0.9905	-
7.3654	5200	18.4958	18.8074	0.9905	-
7.6487	5400	18.4711	18.7922	0.9905	-
7.9320	5600	18.47	18.7046	0.9887	-
8.2153	5800	18.4529	18.7683	0.9868	-
8.4986	6000	18.4579	18.7016	0.9905	-
8.7819	6200	18.3625	18.7588	0.9905	-
9.0652	6400	18.3877	18.7254	0.9905	-
9.3484	6600	18.2882	18.7618	0.9924	-
9.6317	6800	18.3579	18.7184	0.9905	-
9.9150	7000	18.3007	18.7190	0.9905	-
10.0	7060	-	-	0.9905	0.9981

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}