Relphormer baseline

pretrain/scripts/pretrain_fb15k-237.sh

@@ -0,0 +1,14 @@
+nohup python -u main.py --gpus "1" --max_epochs=16  --num_workers=32 \
+   --model_name_or_path  bert-base-uncased \
+   --accumulate_grad_batches 1 \
+   --model_class BertKGC \
+   --batch_size 128 \
+   --pretrain 1 \
+   --bce 0 \
+   --check_val_every_n_epoch 1 \
+   --overwrite_cache \
+   --data_dir /kg_374/Relphormer/dataset/FB15k-237 \
+   --eval_batch_size 256 \
+   --max_seq_length 64 \
+   --lr 1e-4 \
+   >logs/pretrain_fb15k-237.log 2>&1 &

pretrain/scripts/pretrain_umls.sh

@@ -0,0 +1,14 @@
+nohup python -u main.py --gpus "0," --max_epochs=20  --num_workers=32 \
+   --model_name_or_path  bert-base-uncased \
+   --accumulate_grad_batches 1 \
+   --model_class BertKGC \
+   --batch_size 128 \
+   --pretrain 1 \
+   --bce 0 \
+   --check_val_every_n_epoch 1 \
+   --overwrite_cache \
+   --data_dir xxx/Relphormer/dataset/umls \
+   --eval_batch_size 256 \
+   --max_seq_length 64 \
+   --lr 1e-4 \
+   >logs/pretrain_umls.log 2>&1 &

pretrain/scripts/pretrain_wn18rr.sh

@@ -0,0 +1,16 @@
+nohup python -u main.py --gpus "0," --max_epochs=15  --num_workers=32 \
+   --model_name_or_path  bert-base-uncased \
+   --accumulate_grad_batches 1 \
+   --bce 0 \
+   --model_class BertKGC \
+   --batch_size 128 \
+   --pretrain 1 \
+   --check_val_every_n_epoch 1 \
+   --data_dir xxx/Relphormer/dataset/WN18RR \
+   --overwrite_cache \
+   --eval_batch_size 256 \
+   --precision 16 \
+   --max_seq_length 32 \
+   --lr 1e-4 \
+   >logs/pretrain_wn18rr.log 2>&1 &
+