feat: метрики использования каждой NER-модели и панели дашборда

- Добавлены счётчики pdguard.ner.model.requests и таймеры
  pdguard.ner.model.duration с тегом model (name/address/legal).
- Гистограммы для таймеров моделей включены в MetricsConfiguration.
- Дашборд дополнен панелями «Обращения к моделям» и «Время моделей».
- Prometheus собирает метрики с обеих нод кластера.
- Целевые значения лимитера: min-concurrent 100, target-latency 900.
- Подавление S2925 (Thread.sleep) в тесте лимитера.
This commit is contained in:
dakocha3
2026-09-23 23:51:07 +03:00
parent 7a388e3d4a
commit ddceca076c
6 changed files with 192 additions and 17 deletions
@@ -58,6 +58,7 @@ public class MetricsConfiguration {
private static boolean needsHistogram(String name) {
return "pdguard.process".equals(name)
|| "pdguard.ner.duration".equals(name)
|| "pdguard.ner.model.duration".equals(name)
|| "http.server.requests".equals(name);
}
}
@@ -7,6 +7,7 @@ import io.micrometer.core.instrument.simple.SimpleMeterRegistry;
import jakarta.annotation.PreDestroy;
import java.nio.file.Path;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Locale;
import java.util.Map;
@@ -127,6 +128,12 @@ public class NameCascade {
private final Counter candidates;
private final Timer duration;
/** Счётчики обращений к каждой модели второй ступени: тег {@code model} — имя движка. */
private final Map<String, Counter> modelRequests;
/** Время работы каждой модели: тег {@code model} — имя движка. */
private final Map<String, Timer> modelDuration;
@Autowired
public NameCascade(
@Value("${pdguard.ner.name-engine:off}") String nameEngine,
@@ -166,6 +173,36 @@ public class NameCascade {
Timer.builder("pdguard.ner.duration")
.description("Время работы второй ступени")
.register(meters);
this.modelRequests = modelCounters(meters);
this.modelDuration = modelTimers(meters);
}
/** Счётчики обращений к каждой модели: тег {@code model} — имя движка. */
private static Map<String, Counter> modelCounters(MeterRegistry meters) {
Map<String, Counter> counters = new HashMap<>();
for (String model : new String[] {"name", "address", "legal"}) {
counters.put(
model,
Counter.builder("pdguard.ner.model.requests")
.description("Обращения к модели второй ступени")
.tag("model", model)
.register(meters));
}
return counters;
}
/** Таймеры времени работы каждой модели: тег {@code model} — имя движка. */
private static Map<String, Timer> modelTimers(MeterRegistry meters) {
Map<String, Timer> timers = new HashMap<>();
for (String model : new String[] {"name", "address", "legal"}) {
timers.put(
model,
Timer.builder("pdguard.ner.model.duration")
.description("Время работы модели второй ступени")
.tag("model", model)
.register(meters));
}
return timers;
}
/** Конструктор для тестов: движки задаются конфигом, метрики — реестром. */
@@ -255,6 +292,8 @@ public class NameCascade {
this.busy = meters.counter(NER_REQUESTS_METRIC, OUTCOME_TAG, "busy");
this.candidates = meters.counter("pdguard.ner.candidates");
this.duration = Timer.builder("pdguard.ner.duration").register(meters);
this.modelRequests = modelCounters(meters);
this.modelDuration = modelTimers(meters);
}
public static NameCascade disabled() {
@@ -315,8 +354,8 @@ public class NameCascade {
continue;
}
examined++;
collect(text, m.start(), m.end(), found, nameRecogniser);
collect(text, m.start(), m.end(), found, addressRecogniser);
collect(text, m.start(), m.end(), found, "name", nameRecogniser);
collect(text, m.start(), m.end(), found, "address", addressRecogniser);
}
// LLAIM Legal NER ищет реквизиты (ИНН, СНИЛС, паспорт), которые не
// являются словами с заглавной буквы, — отдельный проход по своим
@@ -328,7 +367,7 @@ public class NameCascade {
continue;
}
examined++;
collect(text, lm.start(), lm.end(), found, legalRecogniser);
collect(text, lm.start(), lm.end(), found, "legal", legalRecogniser);
}
}
candidates.increment(examined);
@@ -349,6 +388,7 @@ public class NameCascade {
int candidateStart,
int candidateEnd,
List<Span> sink,
String modelName,
RuBertRecogniser recogniser) {
if (recogniser == null) {
return;
@@ -356,6 +396,7 @@ public class NameCascade {
int from = Math.max(0, candidateStart - CONTEXT_CHARS);
int to = Math.min(text.length(), candidateEnd + CONTEXT_CHARS);
boolean nameFound = false;
long started = System.nanoTime();
for (Span span : recogniser.recognise(text, from, to, PRIORITY)) {
if (isAccepted(text, candidateStart, candidateEnd, span)) {
sink.add(span);
@@ -364,6 +405,8 @@ public class NameCascade {
}
}
}
modelRequests.get(modelName).increment();
modelDuration.get(modelName).record(System.nanoTime() - started, TimeUnit.NANOSECONDS);
// Модель распознала имя в кандидате, но правила могли найти лишь его часть
// («Жан» вместо «Жан-Поль Дюваль») с более высоким приоритетом и заблокировать
// полное имя при разрешении перекрытий. Убираем такие частичные находки правил,
+2 -2
View File
@@ -40,9 +40,9 @@ pdguard:
ttl-minutes: 30
# 32 байта в hex; AES-256 ключ шифрования хранилища
encryption-key: "46a38b200c6df557a5fd2c8a57ad3fec6b710b9f3e1fef1451d121a094f63573"
min-concurrent: 8
min-concurrent: 100
max-concurrent: 2000
target-latency-ms: 200
target-latency-ms: 900
warmup-iterations: 2000
ner:
name-engine: off