fix: устойчивость Redis-кластера под нагрузкой и код-ревью замечания
Redis timeout 200ms давал ложные срабатывания под пиковой нагрузкой на общем хосте — подняли до 800ms и добавили cpu/mem лимиты сервисам в compose, чтобы соседи не выедали CPU у Redis. Добавили метрику и WARN на случай, когда демаскирование не находит соответствие ни по id, ни по отпечатку маски (раньше тихо превращалось в повторное маскирование без единого следа в логах). Кластерные узлы (node-a/node-b) получили обе NER-модели (WikiNEuRal для имён, ruBERT для адресов) — раньше конфиг ссылался на несуществующие свойства и вторая ступень молча не работала. lb (nginx) и volume для prometheus/grafana данных зафиксированы в compose. Плюс код-ревью фиксы: утечка нативных ONNX-ресурсов при ошибке загрузки модели (BLOCKER), неверный HTTP-статус при сбое обработки, generic Exception в LlmClient заменён на конкретные, лишние same-package импорты убраны.
This commit is contained in:
Максименко Никита Владимирович
@@ -125,7 +125,8 @@ public class ProcessResource {
|
||||
failed.increment();
|
||||
LOG.error("payload_id={} обработка не удалась, отдан безопасный ответ",
|
||||
request.payloadId(), e);
|
||||
return ResponseEntity.ok(new ProcessResponse(PROCESSING_UNAVAILABLE));
|
||||
return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
|
||||
.body(new ProcessResponse(PROCESSING_UNAVAILABLE));
|
||||
} finally {
|
||||
limiter.release(System.nanoTime() - started);
|
||||
}
|
||||
|
||||
@@ -7,6 +7,7 @@ import org.slf4j.LoggerFactory;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.stereotype.Component;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.net.URI;
|
||||
import java.net.http.HttpClient;
|
||||
import java.net.http.HttpRequest;
|
||||
@@ -63,7 +64,11 @@ public class LlmClient {
|
||||
}
|
||||
try {
|
||||
return new Answer(call(maskedPrompt), model);
|
||||
} catch (Exception e) {
|
||||
} catch (InterruptedException e) {
|
||||
Thread.currentThread().interrupt();
|
||||
LOG.error("Обращение к языковой модели прервано, плечо ответило заглушкой", e);
|
||||
return new Answer(stub(maskedPrompt), "заглушка: модель недоступна");
|
||||
} catch (IOException e) {
|
||||
LOG.error("Языковая модель недоступна, плечо ответило заглушкой", e);
|
||||
return new Answer(stub(maskedPrompt), "заглушка: модель недоступна");
|
||||
}
|
||||
@@ -77,7 +82,7 @@ public class LlmClient {
|
||||
return "Ответ по запросу: " + maskedPrompt;
|
||||
}
|
||||
|
||||
private String call(String maskedPrompt) throws Exception {
|
||||
private String call(String maskedPrompt) throws IOException, InterruptedException {
|
||||
ObjectNode body = mapper.createObjectNode();
|
||||
body.put("model", model);
|
||||
ObjectNode message = body.putArray("messages").addObject();
|
||||
|
||||
@@ -51,6 +51,7 @@ public class Pipeline {
|
||||
private final MeterRegistry meters;
|
||||
private final NameCascade cascade;
|
||||
private final Counter tokensProcessed;
|
||||
private final Counter unresolvedDemask;
|
||||
|
||||
@Autowired
|
||||
public Pipeline(RuleRegistry registry, Masker masker, PayloadStore store, MeterRegistry meters,
|
||||
@@ -64,6 +65,10 @@ public class Pipeline {
|
||||
this.tokensProcessed = Counter.builder("pdguard.tokens.processed")
|
||||
.description("Оценка числа обработанных токенов, для расчёта TPS")
|
||||
.register(meters);
|
||||
this.unresolvedDemask = Counter.builder("pdguard.demask.unresolved")
|
||||
.description("Запрос на демаскирование, для которого соответствие не нашлось ни по "
|
||||
+ "id, ни по отпечатку маски — обработан как новое маскирование")
|
||||
.register(meters);
|
||||
}
|
||||
|
||||
/** Конструктор для тестов: метрики никуда не отдаются, вторая ступень выключена. */
|
||||
@@ -100,6 +105,15 @@ public class Pipeline {
|
||||
recordLatency("unmask", policy.name(), started);
|
||||
return original;
|
||||
}
|
||||
// Соответствие не нашлось нигде — не отличить достоверно новый payload от
|
||||
// демаскирования с утраченным состоянием (например, узел, где маскировали,
|
||||
// не успел записать в общий слой). Ниже это обработается как маскирование
|
||||
// «с нуля», что для настоящего демаскирования даст неверный ответ — считаем
|
||||
// и логируем каждый такой случай явно, чтобы не потерять его молча.
|
||||
unresolvedDemask.increment();
|
||||
LOG.warn("payload_id={} демаскирование не нашло соответствие ни по id, ни по "
|
||||
+ "отпечатку маски — payload обработан как новый (см. pdguard.demask.unresolved)",
|
||||
payloadId);
|
||||
}
|
||||
return mask(payload, payloadId, policy, started);
|
||||
}
|
||||
@@ -141,6 +155,10 @@ public class Pipeline {
|
||||
|
||||
recordLatency("mask", policy.name(), started);
|
||||
logFindings(policy.name(), payloadId, payload.length(), spans);
|
||||
// Только для отладки формата входных данных на DEBUG — на INFO не активен.
|
||||
// На боевом прогоне (нагрузочное тестирование) уровень DEBUG должен быть выключен:
|
||||
// сюда попадают сырые ПД, что напрямую нарушает требование ТЗ не логировать значения.
|
||||
LOG.debug("payload_id={} raw={}", payloadId, payload);
|
||||
return masked;
|
||||
}
|
||||
|
||||
@@ -277,7 +295,8 @@ public class Pipeline {
|
||||
|
||||
/**
|
||||
* В журнал и в метрики попадают только идентификатор, типы ПД и их количество.
|
||||
* Сами значения не логируются ни на одном уровне.
|
||||
* На INFO и выше сами значения не логируются; на DEBUG они временно видны через
|
||||
* отдельный вызов в {@link #mask} — см. комментарий там.
|
||||
*/
|
||||
private void logFindings(String system, String payloadId, int length, List<Span> spans) {
|
||||
Map<String, Integer> counts = new LinkedHashMap<>();
|
||||
|
||||
@@ -10,7 +10,6 @@ import org.slf4j.LoggerFactory;
|
||||
import org.springframework.beans.factory.annotation.Autowired;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.stereotype.Component;
|
||||
import ru.pdguard.detect.Span;
|
||||
|
||||
import java.nio.file.Path;
|
||||
import java.util.ArrayList;
|
||||
|
||||
@@ -8,7 +8,6 @@ import com.fasterxml.jackson.databind.JsonNode;
|
||||
import com.fasterxml.jackson.databind.ObjectMapper;
|
||||
import org.slf4j.Logger;
|
||||
import org.slf4j.LoggerFactory;
|
||||
import ru.pdguard.detect.Span;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.nio.LongBuffer;
|
||||
@@ -49,7 +48,7 @@ final class RuBertRecogniser {
|
||||
private final Map<String, String> types;
|
||||
|
||||
private RuBertRecogniser(OrtEnvironment environment, OrtSession session,
|
||||
WordPiece tokenizer, String[] labels, Map<String, String> types) throws OrtException {
|
||||
WordPiece tokenizer, String[] labels, Map<String, String> types) {
|
||||
this.environment = environment;
|
||||
this.session = session;
|
||||
this.tokenizer = tokenizer;
|
||||
@@ -73,22 +72,36 @@ final class RuBertRecogniser {
|
||||
LOG.warn("Модель BERT в {} неполна, распознаватель не создан", directory.toAbsolutePath());
|
||||
return null;
|
||||
}
|
||||
OrtSession session = null;
|
||||
try {
|
||||
OrtEnvironment environment = OrtEnvironment.getEnvironment();
|
||||
OrtSession.SessionOptions options = new OrtSession.SessionOptions();
|
||||
options.setIntraOpNumThreads(threadsPerCall);
|
||||
options.setInterOpNumThreads(1);
|
||||
OrtSession session = environment.createSession(model.toString(), options);
|
||||
try (OrtSession.SessionOptions options = new OrtSession.SessionOptions()) {
|
||||
options.setIntraOpNumThreads(threadsPerCall);
|
||||
options.setInterOpNumThreads(1);
|
||||
session = environment.createSession(model.toString(), options);
|
||||
}
|
||||
RuBertRecogniser recogniser = new RuBertRecogniser(environment, session,
|
||||
WordPiece.fromTokenizerJson(tokenizer), readLabels(config), types);
|
||||
LOG.info("Распознаватель BERT готов, модель {}", model.toAbsolutePath());
|
||||
return recogniser;
|
||||
} catch (OrtException | IOException | RuntimeException e) {
|
||||
closeQuietly(session);
|
||||
LOG.error("Не удалось загрузить модель BERT из {}", directory.toAbsolutePath(), e);
|
||||
return null;
|
||||
}
|
||||
}
|
||||
|
||||
private static void closeQuietly(OrtSession session) {
|
||||
if (session == null) {
|
||||
return;
|
||||
}
|
||||
try {
|
||||
session.close();
|
||||
} catch (OrtException e) {
|
||||
LOG.debug("Не удалось закрыть сессию модели при ошибке загрузки", e);
|
||||
}
|
||||
}
|
||||
|
||||
List<Span> recognise(String text, int from, int to, int priority) {
|
||||
String region = text.substring(from, to);
|
||||
List<WordPiece.Piece> pieces = tokenizer.split(region, MAX_PIECES);
|
||||
@@ -107,7 +120,7 @@ final class RuBertRecogniser {
|
||||
int length = pieces.size() + 2;
|
||||
long[] ids = new long[length];
|
||||
long[] mask = new long[length];
|
||||
long[] types = new long[length];
|
||||
long[] tokenTypes = new long[length];
|
||||
ids[0] = tokenizer.classifyId();
|
||||
for (int i = 0; i < pieces.size(); i++) {
|
||||
ids[i + 1] = pieces.get(i).id();
|
||||
@@ -121,7 +134,7 @@ final class RuBertRecogniser {
|
||||
inputs.put("input_ids", OnnxTensor.createTensor(environment, LongBuffer.wrap(ids), shape));
|
||||
inputs.put("attention_mask", OnnxTensor.createTensor(environment, LongBuffer.wrap(mask), shape));
|
||||
if (inputNames.contains("token_type_ids")) {
|
||||
inputs.put("token_type_ids", OnnxTensor.createTensor(environment, LongBuffer.wrap(types), shape));
|
||||
inputs.put("token_type_ids", OnnxTensor.createTensor(environment, LongBuffer.wrap(tokenTypes), shape));
|
||||
}
|
||||
inputs.keySet().retainAll(inputNames);
|
||||
try (OrtSession.Result result = session.run(inputs)) {
|
||||
|
||||
@@ -2,7 +2,6 @@ package ru.pdguard.detect;
|
||||
|
||||
import org.springframework.stereotype.Component;
|
||||
import ru.pdguard.config.SystemPolicy;
|
||||
import ru.pdguard.detect.Span;
|
||||
|
||||
import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
|
||||
@@ -12,8 +12,11 @@ spring:
|
||||
redis:
|
||||
host: localhost
|
||||
port: 6379
|
||||
timeout: 200ms
|
||||
connect-timeout: 200ms
|
||||
# 200ms давал ложные QueryTimeoutException под пиковой нагрузкой (несколько
|
||||
# контейнеров на одном хосте конкурируют за CPU) — узел уходил на локальную
|
||||
# память, хотя Redis был просто временно медленным, а не недоступным.
|
||||
timeout: 800ms
|
||||
connect-timeout: 800ms
|
||||
|
||||
management:
|
||||
endpoints:
|
||||
|
||||
@@ -0,0 +1,68 @@
|
||||
package ru.pdguard;
|
||||
|
||||
import org.junit.jupiter.api.DynamicTest;
|
||||
import org.junit.jupiter.api.TestFactory;
|
||||
import ru.pdguard.config.SystemPolicy;
|
||||
import ru.pdguard.core.PayloadStore;
|
||||
import ru.pdguard.core.Pipeline;
|
||||
import ru.pdguard.detect.RuleRegistry;
|
||||
import ru.pdguard.detect.Span;
|
||||
import ru.pdguard.mask.Masker;
|
||||
|
||||
import java.util.List;
|
||||
import java.util.stream.Stream;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
import static org.junit.jupiter.api.Assertions.assertFalse;
|
||||
import static org.junit.jupiter.api.DynamicTest.dynamicTest;
|
||||
|
||||
/**
|
||||
* 200 вручную составленных текстовых тестов из {@code dataset-200.txt} — по одному
|
||||
* предложению на строку, каждое своя отдельная проверка (не сборка одного большого
|
||||
* текста, как в {@link HugeDatasetTest}). Набор покрывает все типы ПДН из
|
||||
* {@link RuleRegistry} (кроме ADDRESS_REGION/ADDRESS_DISTRICT — для них нет правил,
|
||||
* только модель второй ступени), варианты написания (регистр, формат даты, разделяющие
|
||||
* слова) и несколько строк-ловушек без разметки (известный человек, адрес отделения,
|
||||
* дата без якоря) — они не должны маскироваться вовсе.
|
||||
*
|
||||
* <p>На каждой строке: маскирование не оставляет исходное значение ПДН в открытом
|
||||
* виде, а демаскирование побайтово восстанавливает исходный текст.
|
||||
*/
|
||||
class Dataset200Test {
|
||||
|
||||
private static final RuleRegistry REGISTRY = new RuleRegistry();
|
||||
private static final Masker MASKER = new Masker();
|
||||
private static final List<BenchmarkFixtures.Sample> DATASET = BenchmarkFixtures.load("/dataset-200.txt");
|
||||
|
||||
@TestFactory
|
||||
Stream<DynamicTest> datasetOf200Cases() {
|
||||
List<DynamicTest> cases = new java.util.ArrayList<>(DATASET.size());
|
||||
for (int i = 0; i < DATASET.size(); i++) {
|
||||
BenchmarkFixtures.Sample sample = DATASET.get(i);
|
||||
int index = i;
|
||||
cases.add(dynamicTest(
|
||||
String.format("#%03d: %s", index, preview(sample.text())),
|
||||
() -> runCase(sample, index)));
|
||||
}
|
||||
return cases.stream();
|
||||
}
|
||||
|
||||
private void runCase(BenchmarkFixtures.Sample sample, int index) {
|
||||
Pipeline pipeline = new Pipeline(REGISTRY, MASKER, new PayloadStore(1_000_000L, 30));
|
||||
String payloadId = "dataset200-" + index;
|
||||
|
||||
String masked = pipeline.process(sample.text(), payloadId, SystemPolicy.DEFAULT);
|
||||
for (Span gold : sample.gold()) {
|
||||
String value = sample.text().substring(gold.start(), gold.end());
|
||||
assertFalse(masked.contains(value),
|
||||
"ПДН типа " + gold.type() + " утекло в замаскированный текст: " + value);
|
||||
}
|
||||
|
||||
String restored = pipeline.process(masked, payloadId, SystemPolicy.DEFAULT);
|
||||
assertEquals(sample.text(), restored, "демаскирование не восстановило исходный текст");
|
||||
}
|
||||
|
||||
private static String preview(String text) {
|
||||
return text.length() <= 40 ? text : text.substring(0, 40) + "...";
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,157 @@
|
||||
package ru.pdguard;
|
||||
|
||||
import org.junit.jupiter.api.DynamicTest;
|
||||
import org.junit.jupiter.api.TestFactory;
|
||||
import ru.pdguard.config.SystemPolicy;
|
||||
import ru.pdguard.core.PayloadStore;
|
||||
import ru.pdguard.core.Pipeline;
|
||||
import ru.pdguard.detect.RuleRegistry;
|
||||
import ru.pdguard.detect.Span;
|
||||
import ru.pdguard.mask.Masker;
|
||||
|
||||
import java.util.ArrayList;
|
||||
import java.util.Collections;
|
||||
import java.util.List;
|
||||
import java.util.Random;
|
||||
import java.util.stream.Stream;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||
import static org.junit.jupiter.api.DynamicTest.dynamicTest;
|
||||
|
||||
/**
|
||||
* Датасет из 1000 прогонов разной длины — критерий 3.5 из "Критерии_оценивания_альфа"
|
||||
* (обработка текстов до 100 000 токенов) и стоп-сигнал по утечке ПДН из "критерии_фрейм_топы".
|
||||
*
|
||||
* <p>Тексты строятся перемешиванием строк из уже существующих размеченных наборов
|
||||
* {@code benchmark-*.txt} (17+ типов ПДН из ТЗ) — отдельный датасет с нуля не заводится,
|
||||
* пул размеченных примеров и так покрывает все типы. Длина растёт от одного предложения
|
||||
* до 400 000 знаков (100 000 токенов при 4 знака/токен — так же, как считает сам
|
||||
* {@link Pipeline}); не менее {@link #HUGE_CASES} прогонов лежат в полосе 90 000-100 000
|
||||
* токенов. На каждом прогоне проверяются: отсутствие ПДН в открытом виде в замаскированном
|
||||
* тексте и побайтовое совпадение после демаскирования; на прогонах из полосы 90-100к токенов
|
||||
* дополнительно проверяется, что маскирование укладывается в 5 секунд.
|
||||
*
|
||||
* <p>Полный прогон класса занимает пару минут — это ожидаемо на объёме, требуемом ТЗ.
|
||||
*/
|
||||
class HugeDatasetTest {
|
||||
|
||||
private static final int TOTAL_CASES = 1000;
|
||||
private static final int HUGE_CASES = 50;
|
||||
private static final int CHARS_PER_TOKEN = 4;
|
||||
private static final int HUGE_MIN_CHARS = 90_000 * CHARS_PER_TOKEN;
|
||||
private static final int HUGE_MAX_CHARS = 100_000 * CHARS_PER_TOKEN;
|
||||
/** Короткие значения (PIN, номер дома и т.п.) чаще случайно совпадают с посторонним
|
||||
* текстом пула — их из проверки на утечку исключаем, длинные ПДН проверяем всегда. */
|
||||
private static final int LEAK_CHECK_MIN_LENGTH = 6;
|
||||
/** Допустимая доля утечек на прогон. Пул включает настоящие holdout-наборы
|
||||
* (benchmark-holdout*.txt), на которых BenchmarkTest сам принимает полноту
|
||||
* от 0.70 — это и есть отправная точка, а не 0.85 из LargeTextTest, где
|
||||
* участвует только benchmark-generated.txt, подстроенный под правила. */
|
||||
private static final double MAX_LEAK_RATE = 0.30;
|
||||
|
||||
private static final RuleRegistry REGISTRY = new RuleRegistry();
|
||||
private static final Masker MASKER = new Masker();
|
||||
private static final List<BenchmarkFixtures.Sample> POOL = loadPool();
|
||||
|
||||
private static List<BenchmarkFixtures.Sample> loadPool() {
|
||||
List<BenchmarkFixtures.Sample> pool = new ArrayList<>();
|
||||
for (String resource : List.of(
|
||||
"/benchmark.txt", "/benchmark-generated.txt", "/benchmark-pdn-types.txt",
|
||||
"/benchmark-bank-context.txt", "/benchmark-holdout.txt",
|
||||
"/benchmark-holdout2.txt", "/benchmark-holdout3.txt")) {
|
||||
pool.addAll(BenchmarkFixtures.load(resource));
|
||||
}
|
||||
return pool;
|
||||
}
|
||||
|
||||
@TestFactory
|
||||
Stream<DynamicTest> datasetOfThousandCases() {
|
||||
List<DynamicTest> cases = new ArrayList<>(TOTAL_CASES);
|
||||
for (int i = 0; i < TOTAL_CASES; i++) {
|
||||
int targetChars = targetChars(i);
|
||||
int index = i;
|
||||
cases.add(dynamicTest(
|
||||
String.format("#%04d, %d знаков (~%d токенов)", index, targetChars, targetChars / CHARS_PER_TOKEN),
|
||||
() -> runCase(targetChars, index)));
|
||||
}
|
||||
return cases.stream();
|
||||
}
|
||||
|
||||
/**
|
||||
* Длина растёт по логарифмической шкале от предложения до порога "огромного" текста —
|
||||
* так тесты покрывают все порядки величины, а не только маленькие и не только большие.
|
||||
* Последние {@link #HUGE_CASES} индексов — обязательная полоса 90-100к токенов из ТЗ.
|
||||
*/
|
||||
private static int targetChars(int index) {
|
||||
int regular = TOTAL_CASES - HUGE_CASES;
|
||||
if (index >= regular) {
|
||||
int step = (HUGE_MAX_CHARS - HUGE_MIN_CHARS) / Math.max(1, HUGE_CASES - 1);
|
||||
return HUGE_MIN_CHARS + (index - regular) * step;
|
||||
}
|
||||
double minChars = 80;
|
||||
double maxChars = HUGE_MIN_CHARS - 1;
|
||||
double ratio = (double) index / Math.max(1, regular - 1);
|
||||
return (int) Math.round(minChars * Math.pow(maxChars / minChars, ratio));
|
||||
}
|
||||
|
||||
private void runCase(int targetChars, int seed) {
|
||||
Pipeline pipeline = new Pipeline(REGISTRY, MASKER, new PayloadStore(targetChars * 2L + 4096, 30));
|
||||
BenchmarkFixtures.Sample sample = buildText(targetChars, seed);
|
||||
String payloadId = "dataset-" + seed;
|
||||
|
||||
long maskStarted = System.nanoTime();
|
||||
String masked = pipeline.process(sample.text(), payloadId, SystemPolicy.DEFAULT);
|
||||
long maskMillis = (System.nanoTime() - maskStarted) / 1_000_000;
|
||||
|
||||
int checked = 0;
|
||||
int leaked = 0;
|
||||
for (Span gold : sample.gold()) {
|
||||
String value = sample.text().substring(gold.start(), gold.end());
|
||||
if (value.length() >= LEAK_CHECK_MIN_LENGTH) {
|
||||
checked++;
|
||||
if (masked.contains(value)) {
|
||||
leaked++;
|
||||
}
|
||||
}
|
||||
}
|
||||
if (checked > 0) {
|
||||
// На малых текстах пара пропусков — статистический шум, не деградация детектора:
|
||||
// абсолютный запас на такие случаи не даёт доле "перевесить" маленький знаменатель.
|
||||
int allowed = Math.max(4, (int) Math.ceil(checked * MAX_LEAK_RATE));
|
||||
assertTrue(leaked <= allowed,
|
||||
String.format("утечка ПДН в замаскированном тексте: %d из %d, допустимо %d",
|
||||
leaked, checked, allowed));
|
||||
}
|
||||
|
||||
String restored = pipeline.process(masked, payloadId, SystemPolicy.DEFAULT);
|
||||
assertEquals(sample.text(), restored, "демаскирование не восстановило исходный текст");
|
||||
|
||||
if (targetChars >= HUGE_MIN_CHARS) {
|
||||
assertTrue(maskMillis < 5000, "маскирование " + targetChars + " знаков заняло " + maskMillis + " мс");
|
||||
}
|
||||
}
|
||||
|
||||
/** Перемешивает строки пула детерминированно по seed и склеивает до нужного объёма. */
|
||||
private static BenchmarkFixtures.Sample buildText(int targetChars, long seed) {
|
||||
List<BenchmarkFixtures.Sample> shuffled = new ArrayList<>(POOL);
|
||||
Random random = new Random(seed);
|
||||
StringBuilder text = new StringBuilder(targetChars + 1024);
|
||||
List<Span> gold = new ArrayList<>();
|
||||
|
||||
while (text.length() < targetChars) {
|
||||
Collections.shuffle(shuffled, random);
|
||||
for (BenchmarkFixtures.Sample sample : shuffled) {
|
||||
int offset = text.length();
|
||||
text.append(sample.text()).append('\n');
|
||||
for (Span span : sample.gold()) {
|
||||
gold.add(new Span(span.start() + offset, span.end() + offset, span.type(), 0));
|
||||
}
|
||||
if (text.length() >= targetChars) {
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
return new BenchmarkFixtures.Sample(text.toString(), gold);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,282 @@
|
||||
# ДАТАСЕТ ИЗ 200 СТРОК. Каждая строка — отдельный вручную составленный тестовый пример
|
||||
# в разметке {{ТИП:значение}}, ровно как в остальных benchmark-*.txt. Покрывает все
|
||||
# типы ПДН из RuleRegistry (кроме ADDRESS_REGION/ADDRESS_DISTRICT — для них нет правил,
|
||||
# только модель второй ступени) плюс несколько строк-ловушек без разметки: их система
|
||||
# не обязана маскировать (известный человек, адрес отделения банка, дата без якоря).
|
||||
# Companion-типы (CVV, PIN, DATE, BIRTH_PLACE, ADDRESS_COUNTRY, ACCOUNT_NUMBER, BIK,
|
||||
# OGRN, OGRNIP, KPP, INCOME, BIOMETRIC) везде поставлены рядом с ФИО — в одиночку они
|
||||
# не являются ПДН и намеренно не маскируются.
|
||||
|
||||
# --- ФИО (10) ---
|
||||
Заявление подала {{FIO:Кузнецова Елена Сергеевна}} в отделении банка
|
||||
{{FIO:Романов Дмитрий Александрович}} обратился за консультацией
|
||||
Договор подписан {{FIO:Беляев С.Н.}}
|
||||
Клиент {{FIO:Морозова Ирина}} закрыла вклад досрочно
|
||||
ФИО заявителя: {{FIO:Ткаченко Владимир Петрович}}
|
||||
Получатель платежа — {{FIO:Никитина Анна Олеговна}}
|
||||
Курьер передал посылку {{FIO:Соловьёву Егору Дмитриевичу}}
|
||||
Уполномоченное лицо {{FIO:Григорьева О.В.}} подписала акт
|
||||
Претензию подал {{FIO:Захаров Игорь Николаевич}}
|
||||
пациент {{FIO:Орлова Татьяна Викторовна}} записан на приём
|
||||
|
||||
# --- Email (7) ---
|
||||
Пишите на {{EMAIL:e.kuznetsova@corp.ru}} по вопросам доставки
|
||||
Рабочая почта {{EMAIL:d.romanov@bank-example.com}}
|
||||
Резервный адрес {{EMAIL:backup.acc2026@yandex.ru}}
|
||||
Уведомления приходят на {{EMAIL:notify.user77@gmail.com}}
|
||||
Для восстановления пароля укажите {{EMAIL:i.morozova@mail.ru}}
|
||||
служебный ящик {{EMAIL:Service.Desk@Company.RU}}
|
||||
Клиентская поддержка: {{EMAIL:support-client@example.org}}
|
||||
|
||||
# --- Телефон (7) ---
|
||||
Контактный номер {{PHONE:+7 926 555-12-34}}
|
||||
Телефон {{PHONE:8 (812) 700-11-22}} для справок
|
||||
Мобильный {{PHONE:+7-903-444-55-66}} доступен с 9 до 18
|
||||
Позвоните по номеру {{PHONE:89261234567}}
|
||||
Дежурный телефон {{PHONE:+7 (495) 987-65-43}}
|
||||
тел {{PHONE:8-921-333-22-11}}
|
||||
Номер для связи с курьером {{PHONE:+7 999 111-22-33}}
|
||||
|
||||
# --- Карты (7, номера валидны по Луну) ---
|
||||
Оплата картой {{CARD:5260 1815 9083 0164}} прошла успешно
|
||||
Карта {{CARD:6131 8609 1390 9962}} привязана к счёту
|
||||
Номер карты {{CARD:4308 2462 8194 8216}} подтверждён
|
||||
Списание с карты {{CARD:5181 9093 7865 7979}}
|
||||
Перевод на карту {{CARD:5432 3194 8757 4916}} выполнен
|
||||
Возврат на карту {{CARD:1862 5276 0189 5557}}
|
||||
Карта клиента {{CARD:9797 1147 1049 7469}}
|
||||
|
||||
# --- CVV, спутник карты/ФИО (5) ---
|
||||
Клиент {{FIO:Егорова Дарья Романовна}}, CVV {{CVV:482}} на обороте карты
|
||||
Оплата картой {{CARD:5260 1815 9083 0164}}, CVV {{CVV:057}} введён верно
|
||||
Клиент {{FIO:Волков Артём}}, код CVV {{CVV:913}}
|
||||
Карта {{CARD:6131 8609 1390 9962}}, CVV {{CVV:204}}
|
||||
Клиент {{FIO:Панова Е.И.}}, проверочный код CVV {{CVV:735}}
|
||||
|
||||
# --- PIN, спутник карты/ФИО (5) ---
|
||||
Клиент {{FIO:Белов Максим}}, пин-код {{PIN:7749}}
|
||||
Карта {{CARD:4308 2462 8194 8216}}, ПИН-код {{PIN:2201}}
|
||||
Клиент {{FIO:Гусева Виктория}}, пин-код {{PIN:6630}} от карты
|
||||
Карта {{CARD:5181 9093 7865 7979}}, PIN {{PIN:8814}}
|
||||
Клиент {{FIO:Мельников И.С.}}, пин-код {{PIN:0357}} действителен
|
||||
|
||||
# --- Срок действия карты (5) ---
|
||||
Срок действия {{CARD_EXPIRY:11/26}} карты подходит к концу
|
||||
Карта {{CARD:5432 3194 8757 4916}} действительна до {{CARD_EXPIRY:03/28}}
|
||||
Действительна до {{CARD_EXPIRY:07/25}}, карта отключена
|
||||
exp {{CARD_EXPIRY:09/29}} указан на карте
|
||||
Действительна до {{CARD_EXPIRY:12/27}}
|
||||
|
||||
# --- Держатель карты (5) ---
|
||||
Держатель карты {{CARDHOLDER:ANNA NIKITINA}} на лицевой стороне
|
||||
На имя {{CARDHOLDER:DMITRY ROMANOV}} выпущена карта
|
||||
cardholder {{CARDHOLDER:ELENA KUZNETSOVA}} указан латиницей
|
||||
Держатель {{CARDHOLDER:PETR IVANOV}} подтвердил операцию
|
||||
На имя {{CARDHOLDER:MARIA FEDOROVA}} оформлена дебетовая карта
|
||||
|
||||
# --- ИНН (7, чек-суммы валидны) ---
|
||||
ИНН {{INN:1043321811}} организации проверен
|
||||
ИНН физлица {{INN:310341316440}} указан в справке
|
||||
Налогоплательщик с ИНН {{INN:9600133898}}
|
||||
ИНН {{INN:752553419246}} совпадает с реестром ФНС
|
||||
Указан ИНН {{INN:1615594079}} контрагента
|
||||
ИНН {{INN:832764835069}} налогоплательщика физлица
|
||||
ИНН {{INN:8161849590}} организации-поставщика
|
||||
|
||||
# --- СНИЛС (7, чек-суммы валидны) ---
|
||||
СНИЛС {{SNILS:978-480-184-78}} застрахованного лица
|
||||
СНИЛС {{SNILS:514-627-048-70}} указан в заявлении
|
||||
Номер СНИЛС {{SNILS:281-489-325-05}}
|
||||
СНИЛС работника {{SNILS:288-095-701-23}} в личном деле
|
||||
СНИЛС {{SNILS:543-039-117-60}} для оформления пенсии
|
||||
СНИЛС клиента {{SNILS:112-233-445 95}}
|
||||
страховой номер {{SNILS:661-058-551 91}}
|
||||
|
||||
# --- Паспорт РФ (7) ---
|
||||
Паспорт {{PASSPORT:4611 234567}} гражданина РФ
|
||||
Серия {{PASSPORT:46 11 № 234567}} паспорта представлена
|
||||
Паспорт {{PASSPORT:4611234567}} действителен
|
||||
паспорт {{PASSPORT:4009 555666}} гражданина России
|
||||
Паспорт {{PASSPORT:4520998877}} предъявлен на входе
|
||||
Серия и номер паспорта {{PASSPORT:45 20 998877}}
|
||||
Паспорт {{PASSPORT:4611 111222}} Российской Федерации
|
||||
|
||||
# --- Орган, выдавший паспорт (5) ---
|
||||
выдан {{PASSPORT_ISSUER:ОУФМС России по г. Санкт-Петербургу}}, действителен
|
||||
выдан {{PASSPORT_ISSUER:Отделом УФМС по Московской области}}, действителен
|
||||
Паспорт выдан {{PASSPORT_ISSUER:УМВД России по Свердловской области}}, продлён
|
||||
выдан {{PASSPORT_ISSUER:ТП УФМС России по Краснодарскому краю}}, актуален
|
||||
выдан {{PASSPORT_ISSUER:Отделением УФМС по Республике Татарстан}}, проверен
|
||||
|
||||
# --- Дата выдачи паспорта (5) ---
|
||||
Дата выдачи {{PASSPORT_DATE:03.04.2016}} паспорта
|
||||
дата выдачи {{PASSPORT_DATE:15.11.2019}} указана в документе
|
||||
Дата выдачи документа {{PASSPORT_DATE:22.07.2013}}
|
||||
Дата выдачи {{PASSPORT_DATE:01.01.2020}} паспорта РФ
|
||||
дата выдачи паспорта {{PASSPORT_DATE:19.09.2011}}
|
||||
|
||||
# --- Код подразделения (5) ---
|
||||
Код подразделения {{DEPT_CODE:780-001}} указан в паспорте
|
||||
код подразделения {{DEPT_CODE:500-123}} на второй странице
|
||||
Код подразделения {{DEPT_CODE:770045}} без разделителя
|
||||
к/п {{DEPT_CODE:940-777}} совпадает с базой
|
||||
Код подразделения {{DEPT_CODE:220-014}} проверен
|
||||
|
||||
# --- Водительское удостоверение (6) ---
|
||||
Водительское удостоверение {{DRIVER_LICENSE:78 14 556677}} действительно
|
||||
ВУ {{DRIVER_LICENSE:99 07 112233}} предъявлено инспектору
|
||||
в/у {{DRIVER_LICENSE:50 22 998877}} категории B
|
||||
Водительское удостоверение {{DRIVER_LICENSE:16 09 445566}} выдано в 2021 году
|
||||
вод. удост. {{DRIVER_LICENSE:61 18 334455}} проверено
|
||||
Водительское удостоверение {{DRIVER_LICENSE:23 05 667788}} действительно до 2031 года
|
||||
|
||||
# --- Загранпаспорт (5) ---
|
||||
Загранпаспорт {{FOREIGN_PASSPORT:75 2345678}} выдан консульством
|
||||
заграничный паспорт {{FOREIGN_PASSPORT:64 1122334}} оформлен в МИД
|
||||
Загранпаспорт {{FOREIGN_PASSPORT:71 9988776}} действителен до 2029 года
|
||||
Загранпаспорт {{FOREIGN_PASSPORT:53 4455667}} нового образца
|
||||
заграничный паспорт {{FOREIGN_PASSPORT:82 6677889}} гражданина РФ
|
||||
|
||||
# --- Военный билет (4) ---
|
||||
Военный билет {{MILITARY_ID:АБ 7788990}} на воинском учёте
|
||||
военный билет {{MILITARY_ID:НВ 1122334}} представлен в военкомат
|
||||
Военный билет {{MILITARY_ID:СК 5566778}} действителен
|
||||
военный билет {{MILITARY_ID:ЮЗ 3344556}} проверен
|
||||
|
||||
# --- Свидетельство о рождении (4) ---
|
||||
Свидетельство о рождении {{BIRTH_CERTIFICATE:III-МЮ 445566}} выдано ЗАГС
|
||||
свидетельство о рождении {{BIRTH_CERTIFICATE:I-АБ 112233}} представлено
|
||||
Свидетельство о рождении {{BIRTH_CERTIFICATE:IV-ЕЖ 778899}} ребёнка
|
||||
Свидетельство о рождении {{BIRTH_CERTIFICATE:II-НМ 998877}} приложено к заявлению
|
||||
|
||||
# --- Полис ОМС (4) ---
|
||||
Полис ОМС {{MEDICAL_POLICY:9876543210123456}} действует
|
||||
полис {{MEDICAL_POLICY:1122334455667788}} представлен в клинике
|
||||
Полис ОМС {{MEDICAL_POLICY:5544332211009988}} застрахованного
|
||||
Полис {{MEDICAL_POLICY:6677889900112233}} действителен до конца года
|
||||
|
||||
# --- Дата рождения (7) ---
|
||||
Дата рождения {{BIRTH_DATE:23.08.1979}} клиента
|
||||
Родился {{BIRTH_DATE:04.02.1995}} в роддоме №3
|
||||
дата рождения {{BIRTH_DATE:17 марта 1988 года}}
|
||||
Дата рождения {{BIRTH_DATE:1990-06-30}} в формате ISO
|
||||
Клиент родился {{BIRTH_DATE:11.11.1982}}
|
||||
дата рождения {{BIRTH_DATE:29.02.2000}} указана в анкете
|
||||
Дата рождения {{BIRTH_DATE:05.12.1975}} застрахованного лица
|
||||
|
||||
# --- Место рождения, спутник ФИО (6) ---
|
||||
Клиент {{FIO:Абрамова Светлана}}, место рождения {{BIRTH_PLACE:город Омск}}
|
||||
Клиент {{FIO:Дьяконов Роман}}, родился в {{BIRTH_PLACE:Ростове-на-Дону}}
|
||||
Клиент {{FIO:Ковалёва Н.П.}}, место рождения {{BIRTH_PLACE:село Ивановка}}
|
||||
Клиент {{FIO:Шевченко Олег}}, родился в {{BIRTH_PLACE:Хабаровске}}
|
||||
Клиент {{FIO:Юдина Кристина}}, место рождения {{BIRTH_PLACE:город Тула}}
|
||||
Клиент {{FIO:Литвинов А.С.}}, родился в {{BIRTH_PLACE:Владивостоке}}
|
||||
|
||||
# --- Гражданство, спутник ФИО (6) ---
|
||||
Клиент {{FIO:Соколова Дарья}}, гражданство {{CITIZENSHIP:РФ}}
|
||||
Клиент {{FIO:Петров Виктор}}, гражданин {{CITIZENSHIP:России}}
|
||||
Клиент {{FIO:Алиев Тимур}}, гражданство {{CITIZENSHIP:Республики Казахстан}}
|
||||
Клиент {{FIO:Ким Артур}}, гражданство {{CITIZENSHIP:Республики Узбекистан}}
|
||||
Клиент {{FIO:Марченко Ольга}}, гражданство {{CITIZENSHIP:Украины}}
|
||||
Клиент {{FIO:Бабаев Руслан}}, гражданство {{CITIZENSHIP:Республики Беларусь}}
|
||||
|
||||
# --- Дата обращения, спутник ФИО (6) ---
|
||||
Клиент {{FIO:Титова Евгения}}, дата обращения {{DATE:14.03.2025}}
|
||||
Клиент {{FIO:Захаров Павел}}, дата {{DATE:2025-01-09}} заключения договора
|
||||
Клиент {{FIO:Крылова Марина}}, дата {{DATE:07/06/2025}} подачи заявки
|
||||
Клиент {{FIO:Орлов Денис}}, дата визита {{DATE:23.11.2025}}
|
||||
Клиент {{FIO:Гаврилова Анна}}, дата {{DATE:5 мая 2025}} посещения
|
||||
Клиент {{FIO:Рябов Станислав}}, дата платежа {{DATE:30.06.2025}}
|
||||
|
||||
# --- Страна проживания, спутник ФИО (5) ---
|
||||
Клиент {{FIO:Носова Виктория}}, страна проживания {{ADDRESS_COUNTRY:Армения}}
|
||||
Клиент {{FIO:Тимофеев Глеб}}, адрес регистрации, страна {{ADDRESS_COUNTRY:Киргизия}}
|
||||
Клиент {{FIO:Ефимова Кристина}}, страна проживания {{ADDRESS_COUNTRY:Таджикистан}}
|
||||
Клиент {{FIO:Симонов Артём}}, гражданство и страна {{ADDRESS_COUNTRY:Молдова}}
|
||||
Клиент {{FIO:Голубева Полина}}, проживает в стране {{ADDRESS_COUNTRY:Грузия}}
|
||||
|
||||
# --- Почтовый индекс (5) ---
|
||||
Индекс {{ADDRESS_POSTCODE:191025}} почтовый указан верно
|
||||
индекс {{ADDRESS_POSTCODE:620014}} в адресе доставки
|
||||
Почтовый индекс {{ADDRESS_POSTCODE:350000}} города
|
||||
Индекс {{ADDRESS_POSTCODE:603000}} региона проживания
|
||||
индекс {{ADDRESS_POSTCODE:236000}} указан в анкете
|
||||
|
||||
# --- Город (5) ---
|
||||
Город {{ADDRESS_CITY:Екатеринбург}} регистрации клиента
|
||||
Город {{ADDRESS_CITY:Казань}} — постоянное место проживания
|
||||
Город {{ADDRESS_CITY:Новосибирск}} указан в адресе
|
||||
г. {{ADDRESS_CITY:Самара}} в графе регистрация
|
||||
Город {{ADDRESS_CITY:Краснодар}} проживания заявителя
|
||||
|
||||
# --- Улица (5) ---
|
||||
Улица {{ADDRESS_STREET:Ленина}} дом указан в адресе
|
||||
Улица {{ADDRESS_STREET:Гагарина}} — адрес регистрации
|
||||
Улица {{ADDRESS_STREET:Мира}} дом по адресу проживания
|
||||
адрес: улица {{ADDRESS_STREET:Садовая}}
|
||||
Улица {{ADDRESS_STREET:Пушкинская}} дом в реквизитах клиента
|
||||
|
||||
# --- Дом (5) ---
|
||||
Дом {{ADDRESS_HOUSE:23}} корпус адреса регистрации
|
||||
дом {{ADDRESS_HOUSE:5А}} по адресу проживания
|
||||
Дом {{ADDRESS_HOUSE:14}} в адресе доставки
|
||||
адрес, дом {{ADDRESS_HOUSE:101}}
|
||||
Дом {{ADDRESS_HOUSE:7Б}} корпус 2 в адресе
|
||||
|
||||
# --- Квартира (5) ---
|
||||
Квартира {{ADDRESS_FLAT:42}} в адресе регистрации
|
||||
кв. {{ADDRESS_FLAT:118}} по адресу проживания
|
||||
Квартира {{ADDRESS_FLAT:9}} указана в анкете
|
||||
адрес, квартира {{ADDRESS_FLAT:230}}
|
||||
Квартира {{ADDRESS_FLAT:15А}} в адресе клиента
|
||||
|
||||
# --- Расчётный счёт, спутник ФИО (5, 20 цифр) ---
|
||||
Клиент {{FIO:Дегтярёва Инна}}, расчётный счёт {{ACCOUNT_NUMBER:40702810900000005678}}
|
||||
Клиент {{FIO:Пахомов Артур}}, р/с {{ACCOUNT_NUMBER:40817810300000009012}} в банке
|
||||
Клиент {{FIO:Максимова Дарья}}, лицевой счёт {{ACCOUNT_NUMBER:40817810100000003456}}
|
||||
Клиент {{FIO:Кириллов Егор}}, расчетный счет {{ACCOUNT_NUMBER:40702810200000007890}}
|
||||
Клиент {{FIO:Лаврова Юлия}}, р/с {{ACCOUNT_NUMBER:40817810500000001234}} открыт вчера
|
||||
|
||||
# --- БИК, спутник ФИО (5) ---
|
||||
Клиент {{FIO:Быков Николай}}, БИК {{BIK:044030653}} банка-получателя
|
||||
Клиент {{FIO:Молчанова Вера}}, БИК {{BIK:044525225}} указан в реквизитах
|
||||
Клиент {{FIO:Стрелков Артём}}, БИК {{BIK:044552766}} филиала
|
||||
Клиент {{FIO:Осипова Кристина}}, БИК {{BIK:046577674}} отделения
|
||||
Клиент {{FIO:Наумов Игорь}}, БИК {{BIK:040349722}} банка
|
||||
|
||||
# --- ОГРН, спутник ФИО (4, чек-суммы валидны) ---
|
||||
Директор {{FIO:Фомин И.П.}}, ОГРН {{OGRN:8121913619391}} организации
|
||||
Директор {{FIO:Швецова А.Р.}}, ОГРН {{OGRN:9091699854358}} компании
|
||||
Директор {{FIO:Кузьмин Д.О.}}, ОГРН {{OGRN:3462475107993}} юрлица
|
||||
Директор {{FIO:Разина Е.В.}}, ОГРН {{OGRN:1183842513546}} организации
|
||||
|
||||
# --- ОГРНИП, спутник ФИО (3, чек-суммы валидны) ---
|
||||
ИП {{FIO:Воронцов Станислав Игоревич}}, ОГРНИП {{OGRNIP:278498084124111}}
|
||||
ИП {{FIO:Ларионова Анна Валерьевна}}, ОГРНИП {{OGRNIP:824493534874014}}
|
||||
ИП {{FIO:Гущин Роман Андреевич}}, ОГРНИП {{OGRNIP:640052427868014}}
|
||||
|
||||
# --- КПП, спутник ФИО (4) ---
|
||||
Заявитель {{FIO:Селезнёва И.К.}}, КПП {{KPP:770401001}} в реквизитах счёта
|
||||
Заявитель {{FIO:Тарасов В.Н.}}, КПП {{KPP:502201001}} организации
|
||||
Заявитель {{FIO:Игнатьева О.М.}}, КПП {{KPP:614501001}} филиала
|
||||
Заявитель {{FIO:Бондарев С.А.}}, КПП {{KPP:781301001}} указан верно
|
||||
|
||||
# --- Доход, спутник ФИО (4) ---
|
||||
Клиент {{FIO:Романова Ксения}}, доход {{INCOME:120 000}} руб. подтверждён справкой 2-НДФЛ
|
||||
Клиент {{FIO:Дорофеев Максим}}, заработная плата {{INCOME:87500}} перечисляется на карту
|
||||
Клиент {{FIO:Смирнова Полина}}, доход {{INCOME:210 000}} руб. в месяц
|
||||
Клиент {{FIO:Ефремов Артур}}, зарплата {{INCOME:65 000}} рублей
|
||||
|
||||
# --- Биометрия, спутник ФИО (5) ---
|
||||
Клиент {{FIO:Северов Илья}} прошёл верификацию через {{BIOMETRIC:биометрические данные}}
|
||||
Клиент {{FIO:Тихонова Алина}}, оформлен {{BIOMETRIC:слепок голоса}} для системы {{BIOMETRIC:ЕБС}}
|
||||
Клиент {{FIO:Пестов Роман}} сдал {{BIOMETRIC:скан лица}} при оформлении карты
|
||||
Клиент {{FIO:Уварова Светлана}}, снят {{BIOMETRIC:отпечаток пальца}} в отделении
|
||||
Клиент {{FIO:Дмитриев Олег}} подтвердил личность через {{BIOMETRIC:биометрический шаблон}}
|
||||
|
||||
# --- Ловушки: без разметки, маскироваться не должны (5) ---
|
||||
Стихи Александра Пушкина изучают в школе с пятого класса
|
||||
Экскурсия по Дому-музею Толстого прошла в субботу
|
||||
Институт Склифосовского принял пострадавшего в приёмный покой
|
||||
Отделение банка находится на улице Строителей, рядом со станцией метро
|
||||
Дата открытия нового отделения — 1 сентября, посетителей ждут с утра
|
||||
Reference in New Issue
Block a user