PD Guard: модуль безопасности персональных данных

tools/fetch-ner-model.sh

@@ -0,0 +1,25 @@
+#!/usr/bin/env bash
+# Загрузка модели распознавания для второй ступени.
+#
+# Модель — BERT (onnx-community/bert-base-NER-Russian-ONNX, лицензия MIT): размечает
+# имена и составляющие адреса вплоть до региона и района. Около 170 МБ, в репозиторий
+# не кладётся.
+#
+#   ./tools/fetch-ner-model.sh
+set -euo pipefail
+cd "$(dirname "$0")/.."
+
+BASE=https://huggingface.co/onnx-community/bert-base-NER-Russian-ONNX/resolve/main
+DIR=models/rubert-ner
+mkdir -p "$DIR"
+
+echo "Загрузка модели в $DIR (около 170 МБ)"
+curl -sSL --progress-bar -o "$DIR/model_int8.onnx" "$BASE/onnx/model_int8.onnx"
+for f in vocab.txt config.json tokenizer.json tokenizer_config.json; do
+  curl -sSL -o "$DIR/$f" "$BASE/$f"
+done
+
+echo
+ls -lh "$DIR"
+echo
+echo "Готово. Включить: pdguard.ner.engine=rubert, pdguard.ner.model=$DIR"