26 lines
975 B
Bash
Executable File
26 lines
975 B
Bash
Executable File
#!/usr/bin/env bash
|
|
# Загрузка модели распознавания для второй ступени.
|
|
#
|
|
# Модель — BERT (onnx-community/bert-base-NER-Russian-ONNX, лицензия MIT): размечает
|
|
# имена и составляющие адреса вплоть до региона и района. Около 170 МБ, в репозиторий
|
|
# не кладётся.
|
|
#
|
|
# ./tools/fetch-ner-model.sh
|
|
set -euo pipefail
|
|
cd "$(dirname "$0")/.."
|
|
|
|
BASE=https://huggingface.co/onnx-community/bert-base-NER-Russian-ONNX/resolve/main
|
|
DIR=models/rubert-ner
|
|
mkdir -p "$DIR"
|
|
|
|
echo "Загрузка модели в $DIR (около 170 МБ)"
|
|
curl -sSL --progress-bar -o "$DIR/model_int8.onnx" "$BASE/onnx/model_int8.onnx"
|
|
for f in vocab.txt config.json tokenizer.json tokenizer_config.json; do
|
|
curl -sSL -o "$DIR/$f" "$BASE/$f"
|
|
done
|
|
|
|
echo
|
|
ls -lh "$DIR"
|
|
echo
|
|
echo "Готово. Включить: pdguard.ner.engine=rubert, pdguard.ner.model=$DIR"
|