feat: метрики использования каждой NER-модели и панели дашборда
- Добавлены счётчики pdguard.ner.model.requests и таймеры pdguard.ner.model.duration с тегом model (name/address/legal). - Гистограммы для таймеров моделей включены в MetricsConfiguration. - Дашборд дополнен панелями «Обращения к моделям» и «Время моделей». - Prometheus собирает метрики с обеих нод кластера. - Целевые значения лимитера: min-concurrent 100, target-latency 900. - Подавление S2925 (Thread.sleep) в тесте лимитера.
This commit is contained in:
@@ -58,6 +58,7 @@ public class MetricsConfiguration {
|
||||
private static boolean needsHistogram(String name) {
|
||||
return "pdguard.process".equals(name)
|
||||
|| "pdguard.ner.duration".equals(name)
|
||||
|| "pdguard.ner.model.duration".equals(name)
|
||||
|| "http.server.requests".equals(name);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -7,6 +7,7 @@ import io.micrometer.core.instrument.simple.SimpleMeterRegistry;
|
||||
import jakarta.annotation.PreDestroy;
|
||||
import java.nio.file.Path;
|
||||
import java.util.ArrayList;
|
||||
import java.util.HashMap;
|
||||
import java.util.List;
|
||||
import java.util.Locale;
|
||||
import java.util.Map;
|
||||
@@ -127,6 +128,12 @@ public class NameCascade {
|
||||
private final Counter candidates;
|
||||
private final Timer duration;
|
||||
|
||||
/** Счётчики обращений к каждой модели второй ступени: тег {@code model} — имя движка. */
|
||||
private final Map<String, Counter> modelRequests;
|
||||
|
||||
/** Время работы каждой модели: тег {@code model} — имя движка. */
|
||||
private final Map<String, Timer> modelDuration;
|
||||
|
||||
@Autowired
|
||||
public NameCascade(
|
||||
@Value("${pdguard.ner.name-engine:off}") String nameEngine,
|
||||
@@ -166,6 +173,36 @@ public class NameCascade {
|
||||
Timer.builder("pdguard.ner.duration")
|
||||
.description("Время работы второй ступени")
|
||||
.register(meters);
|
||||
this.modelRequests = modelCounters(meters);
|
||||
this.modelDuration = modelTimers(meters);
|
||||
}
|
||||
|
||||
/** Счётчики обращений к каждой модели: тег {@code model} — имя движка. */
|
||||
private static Map<String, Counter> modelCounters(MeterRegistry meters) {
|
||||
Map<String, Counter> counters = new HashMap<>();
|
||||
for (String model : new String[] {"name", "address", "legal"}) {
|
||||
counters.put(
|
||||
model,
|
||||
Counter.builder("pdguard.ner.model.requests")
|
||||
.description("Обращения к модели второй ступени")
|
||||
.tag("model", model)
|
||||
.register(meters));
|
||||
}
|
||||
return counters;
|
||||
}
|
||||
|
||||
/** Таймеры времени работы каждой модели: тег {@code model} — имя движка. */
|
||||
private static Map<String, Timer> modelTimers(MeterRegistry meters) {
|
||||
Map<String, Timer> timers = new HashMap<>();
|
||||
for (String model : new String[] {"name", "address", "legal"}) {
|
||||
timers.put(
|
||||
model,
|
||||
Timer.builder("pdguard.ner.model.duration")
|
||||
.description("Время работы модели второй ступени")
|
||||
.tag("model", model)
|
||||
.register(meters));
|
||||
}
|
||||
return timers;
|
||||
}
|
||||
|
||||
/** Конструктор для тестов: движки задаются конфигом, метрики — реестром. */
|
||||
@@ -255,6 +292,8 @@ public class NameCascade {
|
||||
this.busy = meters.counter(NER_REQUESTS_METRIC, OUTCOME_TAG, "busy");
|
||||
this.candidates = meters.counter("pdguard.ner.candidates");
|
||||
this.duration = Timer.builder("pdguard.ner.duration").register(meters);
|
||||
this.modelRequests = modelCounters(meters);
|
||||
this.modelDuration = modelTimers(meters);
|
||||
}
|
||||
|
||||
public static NameCascade disabled() {
|
||||
@@ -315,8 +354,8 @@ public class NameCascade {
|
||||
continue;
|
||||
}
|
||||
examined++;
|
||||
collect(text, m.start(), m.end(), found, nameRecogniser);
|
||||
collect(text, m.start(), m.end(), found, addressRecogniser);
|
||||
collect(text, m.start(), m.end(), found, "name", nameRecogniser);
|
||||
collect(text, m.start(), m.end(), found, "address", addressRecogniser);
|
||||
}
|
||||
// LLAIM Legal NER ищет реквизиты (ИНН, СНИЛС, паспорт), которые не
|
||||
// являются словами с заглавной буквы, — отдельный проход по своим
|
||||
@@ -328,7 +367,7 @@ public class NameCascade {
|
||||
continue;
|
||||
}
|
||||
examined++;
|
||||
collect(text, lm.start(), lm.end(), found, legalRecogniser);
|
||||
collect(text, lm.start(), lm.end(), found, "legal", legalRecogniser);
|
||||
}
|
||||
}
|
||||
candidates.increment(examined);
|
||||
@@ -349,6 +388,7 @@ public class NameCascade {
|
||||
int candidateStart,
|
||||
int candidateEnd,
|
||||
List<Span> sink,
|
||||
String modelName,
|
||||
RuBertRecogniser recogniser) {
|
||||
if (recogniser == null) {
|
||||
return;
|
||||
@@ -356,6 +396,7 @@ public class NameCascade {
|
||||
int from = Math.max(0, candidateStart - CONTEXT_CHARS);
|
||||
int to = Math.min(text.length(), candidateEnd + CONTEXT_CHARS);
|
||||
boolean nameFound = false;
|
||||
long started = System.nanoTime();
|
||||
for (Span span : recogniser.recognise(text, from, to, PRIORITY)) {
|
||||
if (isAccepted(text, candidateStart, candidateEnd, span)) {
|
||||
sink.add(span);
|
||||
@@ -364,6 +405,8 @@ public class NameCascade {
|
||||
}
|
||||
}
|
||||
}
|
||||
modelRequests.get(modelName).increment();
|
||||
modelDuration.get(modelName).record(System.nanoTime() - started, TimeUnit.NANOSECONDS);
|
||||
// Модель распознала имя в кандидате, но правила могли найти лишь его часть
|
||||
// («Жан» вместо «Жан-Поль Дюваль») с более высоким приоритетом и заблокировать
|
||||
// полное имя при разрешении перекрытий. Убираем такие частичные находки правил,
|
||||
|
||||
@@ -40,9 +40,9 @@ pdguard:
|
||||
ttl-minutes: 30
|
||||
# 32 байта в hex; AES-256 ключ шифрования хранилища
|
||||
encryption-key: "46a38b200c6df557a5fd2c8a57ad3fec6b710b9f3e1fef1451d121a094f63573"
|
||||
min-concurrent: 8
|
||||
min-concurrent: 100
|
||||
max-concurrent: 2000
|
||||
target-latency-ms: 200
|
||||
target-latency-ms: 900
|
||||
warmup-iterations: 2000
|
||||
ner:
|
||||
name-engine: off
|
||||
|
||||
Reference in New Issue
Block a user