#!/usr/bin/env bash
# Загрузка модели распознавания для второй ступени.
#
# Модель — BERT (onnx-community/bert-base-NER-Russian-ONNX, лицензия MIT): размечает
# имена и составляющие адреса вплоть до региона и района. Около 170 МБ, в репозиторий
# не кладётся.
#
#   ./tools/fetch-ner-model.sh
set -euo pipefail
cd "$(dirname "$0")/.."

BASE=https://huggingface.co/onnx-community/bert-base-NER-Russian-ONNX/resolve/main
DIR=models/rubert-ner
mkdir -p "$DIR"

echo "Загрузка модели в $DIR (около 170 МБ)"
curl -sSL --progress-bar -o "$DIR/model_int8.onnx" "$BASE/onnx/model_int8.onnx"
for f in vocab.txt config.json tokenizer.json tokenizer_config.json; do
  curl -sSL -o "$DIR/$f" "$BASE/$f"
done

echo
ls -lh "$DIR"
echo
echo "Готово. Включить: pdguard.ner.engine=rubert, pdguard.ner.model=$DIR"