diff --git a/config/systems.json b/config/systems.json
index ace4733..5376fc8 100644
--- a/config/systems.json
+++ b/config/systems.json
@@ -2,7 +2,7 @@
"default": {
"enabled": true,
"demask": true,
- "maskMode": "TOKEN",
+ "maskMode": "MASK",
"types": ["*"],
"requireCompanion": [
"CVV", "PIN", "DATE", "BIRTH_PLACE", "ADDRESS_COUNTRY",
diff --git a/src/main/java/ru/pdguard/PdGuardApplication.java b/src/main/java/ru/pdguard/PdGuardApplication.java
index 99b309a..601b0a0 100644
--- a/src/main/java/ru/pdguard/PdGuardApplication.java
+++ b/src/main/java/ru/pdguard/PdGuardApplication.java
@@ -6,14 +6,13 @@ import org.springframework.boot.autoconfigure.SpringBootApplication;
/**
* Точка входа Spring Boot приложения.
*
- * Модуль безопасности персональных данных: прокси между системой-потребителем
- * и LLM. Находит персональные данные, маскирует их и восстанавливает исходный
- * текст на обратном шаге.
+ *
Модуль безопасности персональных данных: прокси между системой-потребителем и LLM. Находит
+ * персональные данные, маскирует их и восстанавливает исходный текст на обратном шаге.
*/
@SpringBootApplication
public class PdGuardApplication {
- public static void main(String[] args) {
- SpringApplication.run(PdGuardApplication.class, args);
- }
-}
\ No newline at end of file
+ public static void main(String[] args) {
+ SpringApplication.run(PdGuardApplication.class, args);
+ }
+}
diff --git a/src/main/java/ru/pdguard/api/AdminResource.java b/src/main/java/ru/pdguard/api/AdminResource.java
index a8ab9dd..935c9e2 100644
--- a/src/main/java/ru/pdguard/api/AdminResource.java
+++ b/src/main/java/ru/pdguard/api/AdminResource.java
@@ -1,5 +1,7 @@
package ru.pdguard.api;
+import java.util.List;
+import java.util.Map;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;
@@ -7,34 +9,31 @@ import ru.pdguard.config.SystemPolicy;
import ru.pdguard.config.SystemsConfig;
import ru.pdguard.detect.RuleRegistry;
-import java.util.List;
-import java.util.Map;
-
/** Просмотр действующих настроек и принудительное их перечитывание. */
@RestController
public class AdminResource {
- private final SystemsConfig systems;
- private final RuleRegistry registry;
+ private final SystemsConfig systems;
+ private final RuleRegistry registry;
- public AdminResource(SystemsConfig systems, RuleRegistry registry) {
- this.systems = systems;
- this.registry = registry;
- }
+ public AdminResource(SystemsConfig systems, RuleRegistry registry) {
+ this.systems = systems;
+ this.registry = registry;
+ }
- @GetMapping("/admin/config")
- public Map config() {
- return systems.current();
- }
+ @GetMapping("/admin/config")
+ public Map config() {
+ return systems.current();
+ }
- @GetMapping("/admin/types")
- public List types() {
- return registry.knownTypes();
- }
+ @GetMapping("/admin/types")
+ public List types() {
+ return registry.knownTypes();
+ }
- @PostMapping("/admin/reload")
- public Map reload() {
- systems.reload();
- return systems.current();
- }
-}
\ No newline at end of file
+ @PostMapping("/admin/reload")
+ public Map reload() {
+ systems.reload();
+ return systems.current();
+ }
+}
diff --git a/src/main/java/ru/pdguard/api/HealthResource.java b/src/main/java/ru/pdguard/api/HealthResource.java
index cda0c1b..8ac108e 100644
--- a/src/main/java/ru/pdguard/api/HealthResource.java
+++ b/src/main/java/ru/pdguard/api/HealthResource.java
@@ -7,8 +7,8 @@ import org.springframework.web.bind.annotation.RestController;
@RestController
public class HealthResource {
- @GetMapping("/health")
- public String health() {
- return "OK";
- }
-}
\ No newline at end of file
+ @GetMapping("/health")
+ public String health() {
+ return "OK";
+ }
+}
diff --git a/src/main/java/ru/pdguard/api/ProcessResource.java b/src/main/java/ru/pdguard/api/ProcessResource.java
index f2bebcc..d48e58d 100644
--- a/src/main/java/ru/pdguard/api/ProcessResource.java
+++ b/src/main/java/ru/pdguard/api/ProcessResource.java
@@ -18,116 +18,119 @@ import ru.pdguard.core.AdaptiveConcurrencyLimiter;
import ru.pdguard.core.Pipeline;
/**
- * Единственная точка входа контракта: маскирование и демаскирование по
- * {@code payload_id}.
+ * Единственная точка входа контракта: маскирование и демаскирование по {@code payload_id}.
*
- * Система-потребитель называет себя заголовком {@code X-System-Id}. Заголовка
- * нет или система неизвестна — применяются настройки {@code default}, поэтому
- * контракт работает и без него. Система, выключенная в настройках, получает
- * {@code 403}.
+ *
Система-потребитель называет себя заголовком {@code X-System-Id}. Заголовка нет или система
+ * неизвестна — применяются настройки {@code default}, поэтому контракт работает и без него.
+ * Система, выключенная в настройках, получает {@code 403}.
*
- *
При перегрузке отвечает {@code 429} с {@code Retry-After}. Порог перегрузки —
- * не фиксированное число запросов, а задержка обработки: {@link AdaptiveConcurrencyLimiter}
- * сам находит потолок конкурентности под то, сколько CPU реально досталось контейнеру,
- * вместо того чтобы копить запросы и упереться в таймаут вызывающей стороны.
+ *
При перегрузке отвечает {@code 429} с {@code Retry-After}. Порог перегрузки — не фиксированное
+ * число запросов, а задержка обработки: {@link AdaptiveConcurrencyLimiter} сам находит потолок
+ * конкурентности под то, сколько CPU реально досталось контейнеру, вместо того чтобы копить запросы
+ * и упереться в таймаут вызывающей стороны.
*/
@RestController
public class ProcessResource {
- private static final Logger LOG = LoggerFactory.getLogger(ProcessResource.class);
+ private static final Logger LOG = LoggerFactory.getLogger(ProcessResource.class);
- /** Заголовок, которым система-потребитель себя называет. */
- public static final String SYSTEM_HEADER = "X-System-Id";
+ /** Заголовок, которым система-потребитель себя называет. */
+ public static final String SYSTEM_HEADER = "X-System-Id";
- /** Общий секрет системы. Проверяется, только если он задан в настройках. */
- public static final String KEY_HEADER = "X-System-Key";
+ /** Общий секрет системы. Проверяется, только если он задан в настройках. */
+ public static final String KEY_HEADER = "X-System-Key";
- /** Имя метрики отклонённых запросов и имя её метки причины. */
- private static final String REJECTED_METRIC = "pdguard.requests.rejected";
- private static final String REASON_TAG = "reason";
+ /** Имя метрики отклонённых запросов и имя её метки причины. */
+ private static final String REJECTED_METRIC = "pdguard.requests.rejected";
- /**
- * Что отдаётся при внутреннем сбое. Ни одного знака из запроса: сбой на прямом
- * шаге иначе выпустил бы наружу незамаскированные персональные данные.
- */
- static final String PROCESSING_UNAVAILABLE = "[обработка недоступна]";
+ private static final String REASON_TAG = "reason";
- public record ProcessRequest(
- @JsonProperty("payload") String payload,
- @JsonProperty("payload_id") String payloadId) {
+ /**
+ * Что отдаётся при внутреннем сбое. Ни одного знака из запроса: сбой на прямом шаге иначе
+ * выпустил бы наружу незамаскированные персональные данные.
+ */
+ static final String PROCESSING_UNAVAILABLE = "[обработка недоступна]";
+
+ public record ProcessRequest(
+ @JsonProperty("payload") String payload, @JsonProperty("payload_id") String payloadId) {}
+
+ public record ProcessResponse(@JsonProperty("result") String result) {}
+
+ private final Pipeline pipeline;
+ private final SystemsConfig systems;
+ private final AdaptiveConcurrencyLimiter limiter;
+ private final Counter rejected;
+ private final Counter malformed;
+ private final Counter forbidden;
+ private final Counter failed;
+
+ public ProcessResource(
+ Pipeline pipeline,
+ SystemsConfig systems,
+ MeterRegistry meters,
+ @Value("${pdguard.min-concurrent:8}") int minConcurrent,
+ @Value("${pdguard.max-concurrent:2000}") int maxConcurrent,
+ @Value("${pdguard.target-latency-ms:200}") long targetLatencyMillis) {
+ this.pipeline = pipeline;
+ this.systems = systems;
+ this.limiter =
+ new AdaptiveConcurrencyLimiter(minConcurrent, maxConcurrent, targetLatencyMillis);
+ this.rejected = meters.counter(REJECTED_METRIC, REASON_TAG, "overload");
+ this.malformed = meters.counter(REJECTED_METRIC, REASON_TAG, "malformed");
+ this.forbidden = meters.counter(REJECTED_METRIC, REASON_TAG, "system_disabled");
+ this.failed = meters.counter(REJECTED_METRIC, REASON_TAG, "internal_error");
+ meters.gauge("pdguard.concurrency.limit", limiter, AdaptiveConcurrencyLimiter::limit);
+ meters.gauge("pdguard.concurrency.in.flight", limiter, AdaptiveConcurrencyLimiter::inFlight);
+ }
+
+ @PostMapping("/process")
+ public ResponseEntity process(
+ @RequestBody(required = false) ProcessRequest request,
+ @RequestHeader(value = SYSTEM_HEADER, required = false) String systemId,
+ @RequestHeader(value = KEY_HEADER, required = false) String systemKey) {
+ if (request == null
+ || request.payload() == null
+ || request.payloadId() == null
+ || request.payloadId().isBlank()) {
+ malformed.increment();
+ return ResponseEntity.badRequest()
+ .body(new ProcessResponse("payload и payload_id обязательны"));
}
- public record ProcessResponse(@JsonProperty("result") String result) {
+ SystemPolicy policy = systems.policyFor(systemId);
+ if (!policy.accepts(systemKey)) {
+ forbidden.increment();
+ LOG.warn("Системе {} отказано: неверный ключ", systemId);
+ return ResponseEntity.status(HttpStatus.FORBIDDEN)
+ .body(new ProcessResponse("Неверный ключ системы"));
+ }
+ if (!policy.enabled()) {
+ forbidden.increment();
+ LOG.warn("Системе {} обращение в модуль запрещено настройками", systemId);
+ return ResponseEntity.status(HttpStatus.FORBIDDEN)
+ .body(new ProcessResponse("Системе " + systemId + " обращение в модуль запрещено"));
}
- private final Pipeline pipeline;
- private final SystemsConfig systems;
- private final AdaptiveConcurrencyLimiter limiter;
- private final Counter rejected;
- private final Counter malformed;
- private final Counter forbidden;
- private final Counter failed;
-
- public ProcessResource(Pipeline pipeline, SystemsConfig systems, MeterRegistry meters,
- @Value("${pdguard.min-concurrent:8}") int minConcurrent,
- @Value("${pdguard.max-concurrent:2000}") int maxConcurrent,
- @Value("${pdguard.target-latency-ms:200}") long targetLatencyMillis) {
- this.pipeline = pipeline;
- this.systems = systems;
- this.limiter = new AdaptiveConcurrencyLimiter(minConcurrent, maxConcurrent, targetLatencyMillis);
- this.rejected = meters.counter(REJECTED_METRIC, REASON_TAG, "overload");
- this.malformed = meters.counter(REJECTED_METRIC, REASON_TAG, "malformed");
- this.forbidden = meters.counter(REJECTED_METRIC, REASON_TAG, "system_disabled");
- this.failed = meters.counter(REJECTED_METRIC, REASON_TAG, "internal_error");
- meters.gauge("pdguard.concurrency.limit", limiter, AdaptiveConcurrencyLimiter::limit);
- meters.gauge("pdguard.concurrency.in.flight", limiter, AdaptiveConcurrencyLimiter::inFlight);
+ if (!limiter.tryAcquire()) {
+ rejected.increment();
+ return ResponseEntity.status(429).header("Retry-After", "1").build();
}
-
- @PostMapping("/process")
- public ResponseEntity process(@RequestBody(required = false) ProcessRequest request,
- @RequestHeader(value = SYSTEM_HEADER, required = false) String systemId,
- @RequestHeader(value = KEY_HEADER, required = false) String systemKey) {
- if (request == null || request.payload() == null
- || request.payloadId() == null || request.payloadId().isBlank()) {
- malformed.increment();
- return ResponseEntity.badRequest()
- .body(new ProcessResponse("payload и payload_id обязательны"));
- }
-
- SystemPolicy policy = systems.policyFor(systemId);
- if (!policy.accepts(systemKey)) {
- forbidden.increment();
- LOG.warn("Системе {} отказано: неверный ключ", systemId);
- return ResponseEntity.status(HttpStatus.FORBIDDEN)
- .body(new ProcessResponse("Неверный ключ системы"));
- }
- if (!policy.enabled()) {
- forbidden.increment();
- LOG.warn("Системе {} обращение в модуль запрещено настройками", systemId);
- return ResponseEntity.status(HttpStatus.FORBIDDEN)
- .body(new ProcessResponse("Системе " + systemId + " обращение в модуль запрещено"));
- }
-
- if (!limiter.tryAcquire()) {
- rejected.increment();
- return ResponseEntity.status(429).header("Retry-After", "1").build();
- }
- long started = System.nanoTime();
- try {
- String result = pipeline.process(request.payload(), request.payloadId(), policy);
- return ResponseEntity.ok(new ProcessResponse(result));
- } catch (RuntimeException e) {
- // Ни 5xx, ни исходный текст. Пять подряд невалидных ответов останавливают
- // прогон, поэтому код остаётся 200 — но возвращать при сбое сам payload
- // нельзя: на прямом шаге наружу ушли бы незамаскированные ПД, ровно то,
- // ради чего сервис и существует. Ответ фиксированный: он ничего не
- // раскрывает и не выглядит порчей данных.
- failed.increment();
- LOG.error("payload_id={} обработка не удалась, отдан безопасный ответ",
- request.payloadId(), e);
- return ResponseEntity.ok(new ProcessResponse(PROCESSING_UNAVAILABLE));
- } finally {
- limiter.release(System.nanoTime() - started);
- }
+ long started = System.nanoTime();
+ try {
+ String result = pipeline.process(request.payload(), request.payloadId(), policy);
+ return ResponseEntity.ok(new ProcessResponse(result));
+ } catch (RuntimeException e) {
+ // Ни 5xx, ни исходный текст. Пять подряд невалидных ответов останавливают
+ // прогон, поэтому код остаётся 200 — но возвращать при сбое сам payload
+ // нельзя: на прямом шаге наружу ушли бы незамаскированные ПД, ровно то,
+ // ради чего сервис и существует. Ответ фиксированный: он ничего не
+ // раскрывает и не выглядит порчей данных.
+ failed.increment();
+ LOG.error(
+ "payload_id={} обработка не удалась, отдан безопасный ответ", request.payloadId(), e);
+ return ResponseEntity.ok(new ProcessResponse(PROCESSING_UNAVAILABLE));
+ } finally {
+ limiter.release(System.nanoTime() - started);
}
-}
\ No newline at end of file
+ }
+}
diff --git a/src/main/java/ru/pdguard/api/ProxyResource.java b/src/main/java/ru/pdguard/api/ProxyResource.java
index fd8d227..d697842 100644
--- a/src/main/java/ru/pdguard/api/ProxyResource.java
+++ b/src/main/java/ru/pdguard/api/ProxyResource.java
@@ -1,6 +1,7 @@
package ru.pdguard.api;
import com.fasterxml.jackson.annotation.JsonProperty;
+import java.util.Map;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.http.HttpStatus;
@@ -14,8 +15,6 @@ import ru.pdguard.config.SystemsConfig;
import ru.pdguard.core.LlmClient;
import ru.pdguard.core.Pipeline;
-import java.util.Map;
-
/**
* Демонстрационное плечо к языковой модели: показывает всю цепочку целиком.
*
@@ -23,84 +22,94 @@ import java.util.Map;
* потребитель → маскирование → LLM → демаскирование → потребитель
*
*
- * В ответе видны все три текста — что ушло в модель, что она вернула и что
- * получил потребитель. Это и есть доказательство, что в модель не попало ничего
- * незамаскированного, а ответ вернулся с восстановленными значениями.
+ *
В ответе видны все три текста — что ушло в модель, что она вернула и что получил потребитель.
+ * Это и есть доказательство, что в модель не попало ничего незамаскированного, а ответ вернулся с
+ * восстановленными значениями.
*
- *
Ответ модели — другой текст, а не тот же самый, поэтому восстановить его по
- * идентификатору целиком нельзя: замена идёт пофрагментно. Звёздочки для этого не
- * годятся — одна и та же маска отвечала бы разным значениям, — поэтому здесь всегда
- * применяется обратимая подстановка, независимо от режима маскирования системы.
+ *
Ответ модели — другой текст, а не тот же самый, поэтому восстановить его по идентификатору
+ * целиком нельзя: замена идёт пофрагментно. Звёздочки для этого не годятся — одна и та же маска
+ * отвечала бы разным значениям, — поэтому здесь всегда применяется обратимая подстановка,
+ * независимо от режима маскирования системы.
*
- *
Контракт проверяющей системы это плечо не затрагивает: он живёт в
- * {@link ProcessResource}.
+ *
Контракт проверяющей системы это плечо не затрагивает: он живёт в {@link ProcessResource}.
*/
@RestController
public class ProxyResource {
- private static final Logger LOG = LoggerFactory.getLogger(ProxyResource.class);
+ private static final Logger LOG = LoggerFactory.getLogger(ProxyResource.class);
- public record ProxyRequest(@JsonProperty("prompt") String prompt) {
+ public record ProxyRequest(@JsonProperty("prompt") String prompt) {}
+
+ public record ProxyResponse(
+ @JsonProperty("prompt_masked") String promptMasked,
+ @JsonProperty("llm_response_masked") String llmResponseMasked,
+ @JsonProperty("response") String response,
+ @JsonProperty("replaced") Map replaced,
+ @JsonProperty("llm") String llm,
+ @JsonProperty("error") String error) {
+ public ProxyResponse {
+ replaced = replaced == null ? null : Map.copyOf(replaced);
+ }
+ }
+
+ private final Pipeline pipeline;
+ private final SystemsConfig systems;
+ private final LlmClient llm;
+
+ public ProxyResource(Pipeline pipeline, SystemsConfig systems, LlmClient llm) {
+ this.pipeline = pipeline;
+ this.systems = systems;
+ this.llm = llm;
+ }
+
+ @PostMapping("/proxy")
+ public ResponseEntity proxy(
+ @RequestBody(required = false) ProxyRequest request,
+ @RequestHeader(value = ProcessResource.SYSTEM_HEADER, required = false) String systemId,
+ @RequestHeader(value = ProcessResource.KEY_HEADER, required = false) String systemKey) {
+ if (request == null || request.prompt() == null || request.prompt().isBlank()) {
+ return ResponseEntity.badRequest()
+ .body(new ProxyResponse(null, null, null, null, null, "поле prompt обязательно"));
}
- public record ProxyResponse(
- @JsonProperty("prompt_masked") String promptMasked,
- @JsonProperty("llm_response_masked") String llmResponseMasked,
- @JsonProperty("response") String response,
- @JsonProperty("replaced") Map replaced,
- @JsonProperty("llm") String llm,
- @JsonProperty("error") String error) {
- public ProxyResponse {
- replaced = replaced == null ? null : Map.copyOf(replaced);
- }
+ SystemPolicy policy = systems.policyFor(systemId);
+ if (!policy.accepts(systemKey)) {
+ return ResponseEntity.status(HttpStatus.FORBIDDEN)
+ .body(new ProxyResponse(null, null, null, null, null, "Неверный ключ системы"));
+ }
+ if (!policy.enabled()) {
+ return ResponseEntity.status(HttpStatus.FORBIDDEN)
+ .body(
+ new ProxyResponse(
+ null,
+ null,
+ null,
+ null,
+ null,
+ "Системе " + systemId + " обращение в модуль запрещено"));
}
- private final Pipeline pipeline;
- private final SystemsConfig systems;
- private final LlmClient llm;
+ Pipeline.Masked masked = pipeline.maskWithRestorations(request.prompt(), policy);
+ LlmClient.Answer answer = llm.ask(masked.text());
+ String restored =
+ policy.demask() ? restore(answer.text(), masked.restorations()) : answer.text();
- public ProxyResource(Pipeline pipeline, SystemsConfig systems, LlmClient llm) {
- this.pipeline = pipeline;
- this.systems = systems;
- this.llm = llm;
+ LOG.info(
+ "proxy: система={} заменено={} модель={}",
+ policy.name(),
+ masked.restorations().size(),
+ answer.source());
+ return ResponseEntity.ok(
+ new ProxyResponse(
+ masked.text(), answer.text(), restored, masked.restorations(), answer.source(), null));
+ }
+
+ /** Возвращает исходные значения на место подстановок в ответе модели. */
+ private static String restore(String text, Map restorations) {
+ String result = text;
+ for (Map.Entry entry : restorations.entrySet()) {
+ result = result.replace(entry.getKey(), entry.getValue());
}
-
- @PostMapping("/proxy")
- public ResponseEntity proxy(@RequestBody(required = false) ProxyRequest request,
- @RequestHeader(value = ProcessResource.SYSTEM_HEADER, required = false) String systemId,
- @RequestHeader(value = ProcessResource.KEY_HEADER, required = false) String systemKey) {
- if (request == null || request.prompt() == null || request.prompt().isBlank()) {
- return ResponseEntity.badRequest()
- .body(new ProxyResponse(null, null, null, null, null, "поле prompt обязательно"));
- }
-
- SystemPolicy policy = systems.policyFor(systemId);
- if (!policy.accepts(systemKey)) {
- return ResponseEntity.status(HttpStatus.FORBIDDEN)
- .body(new ProxyResponse(null, null, null, null, null, "Неверный ключ системы"));
- }
- if (!policy.enabled()) {
- return ResponseEntity.status(HttpStatus.FORBIDDEN)
- .body(new ProxyResponse(null, null, null, null, null,
- "Системе " + systemId + " обращение в модуль запрещено"));
- }
-
- Pipeline.Masked masked = pipeline.maskWithRestorations(request.prompt(), policy);
- LlmClient.Answer answer = llm.ask(masked.text());
- String restored = policy.demask() ? restore(answer.text(), masked.restorations()) : answer.text();
-
- LOG.info("proxy: система={} заменено={} модель={}",
- policy.name(), masked.restorations().size(), answer.source());
- return ResponseEntity.ok(new ProxyResponse(masked.text(), answer.text(), restored,
- masked.restorations(), answer.source(), null));
- }
-
- /** Возвращает исходные значения на место подстановок в ответе модели. */
- private static String restore(String text, Map restorations) {
- String result = text;
- for (Map.Entry entry : restorations.entrySet()) {
- result = result.replace(entry.getKey(), entry.getValue());
- }
- return result;
- }
-}
\ No newline at end of file
+ return result;
+ }
+}
diff --git a/src/main/java/ru/pdguard/config/DictionaryConfiguration.java b/src/main/java/ru/pdguard/config/DictionaryConfiguration.java
index 748dada..2b01c54 100644
--- a/src/main/java/ru/pdguard/config/DictionaryConfiguration.java
+++ b/src/main/java/ru/pdguard/config/DictionaryConfiguration.java
@@ -8,18 +8,17 @@ import ru.pdguard.detect.NameDictionary;
/**
* Конфигурация словарей распознавания ФИО.
*
- * {@link NameDictionary} работает через статические методы и не требует
- * экземпляра, но путь к внешнему файлу денилиста задаётся из настроек при
- * старте. Бин здесь нужен только для того, чтобы Spring подставил значение
- * {@code pdguard.well-known-file} и передал его словарю.
+ *
{@link NameDictionary} работает через статические методы и не требует экземпляра, но путь к
+ * внешнему файлу денилиста задаётся из настроек при старте. Бин здесь нужен только для того, чтобы
+ * Spring подставил значение {@code pdguard.well-known-file} и передал его словарю.
*/
@Configuration
public class DictionaryConfiguration {
- @Bean
- public NameDictionary nameDictionary(
- @Value("${pdguard.well-known-file:config/well-known.txt}") String wellKnownFile) {
- NameDictionary.configure(wellKnownFile);
- return NameDictionary.create();
- }
-}
\ No newline at end of file
+ @Bean
+ public NameDictionary nameDictionary(
+ @Value("${pdguard.well-known-file:config/well-known.txt}") String wellKnownFile) {
+ NameDictionary.configure(wellKnownFile);
+ return NameDictionary.create();
+ }
+}
diff --git a/src/main/java/ru/pdguard/config/SystemPolicy.java b/src/main/java/ru/pdguard/config/SystemPolicy.java
index 575f2ff..ee84fae 100644
--- a/src/main/java/ru/pdguard/config/SystemPolicy.java
+++ b/src/main/java/ru/pdguard/config/SystemPolicy.java
@@ -1,81 +1,96 @@
package ru.pdguard.config;
+import java.util.Set;
import ru.pdguard.detect.PdTypes;
import ru.pdguard.mask.MaskMode;
-import java.util.Set;
-
/**
* Правила обработки для одной системы-потребителя.
*
- * @param name имя системы; им же разделяется хранилище соответствий,
- * чтобы одна система не могла достать данные другой
- * @param enabled разрешено ли системе обращаться в модуль
- * @param demask выполняется ли для системы обратное преобразование
- * @param maskMode вид замены: звёздочки, токен или синтетическое значение
- * @param types типы ПД к маскированию; {@code "*"} — все известные
- * @param key общий секрет системы; задан — заголовок {@code X-System-Key} обязан
- * совпасть, иначе имя системы можно было бы просто назвать.
- * Только знаки ASCII: заголовки HTTP передаются в Latin-1,
- * и кириллица в ключе до сервиса доедет искажённой
- * @param requireCompanion типы, которые маскируются только вместе с ПД другого типа:
- * пин-код сам по себе безвреден, пин-код рядом с номером
- * карты — уже нет; то же для даты без якорного слова, места
- * рождения («Нижний Новгород» в рассказе о городе — не адрес
- * клиента) и страны («цены выросли в Казахстане» — не гражданство).
- * Сюда же банковские реквизиты — счёт, БИК, ОГРН, ОГРНИП, КПП:
- * сами по себе они опознают организацию или счёт, а не человека,
- * и в перечне типов из задания их нет. Рядом с именем клиента
- * они становятся его данными и маскируются.
- * Сюда же доход и биометрия. Сумма заработка без человека —
- * статистика («доход домохозяйств вырос до 74 500 руб»), а не
- * персональные данные. Биометрия же в тексте не встречается
- * вовсе: это шаблон в базе, и правило маскирует лишь само
- * упоминание, то есть слово, а не данные. Чувствителен здесь
- * факт, что биометрию сдал названный человек, — а он и
- * существует только при имени рядом
+ * @param name имя системы; им же разделяется хранилище соответствий, чтобы одна система не могла
+ * достать данные другой
+ * @param enabled разрешено ли системе обращаться в модуль
+ * @param demask выполняется ли для системы обратное преобразование
+ * @param maskMode вид замены: звёздочки, токен или синтетическое значение
+ * @param types типы ПД к маскированию; {@code "*"} — все известные
+ * @param key общий секрет системы; задан — заголовок {@code X-System-Key} обязан совпасть, иначе
+ * имя системы можно было бы просто назвать. Только знаки ASCII: заголовки HTTP передаются в
+ * Latin-1, и кириллица в ключе до сервиса доедет искажённой
+ * @param requireCompanion типы, которые маскируются только вместе с ПД другого типа: пин-код сам по
+ * себе безвреден, пин-код рядом с номером карты — уже нет; то же для даты без якорного слова,
+ * места рождения («Нижний Новгород» в рассказе о городе — не адрес клиента) и страны («цены
+ * выросли в Казахстане» — не гражданство). Сюда же банковские реквизиты — счёт, БИК, ОГРН,
+ * ОГРНИП, КПП: сами по себе они опознают организацию или счёт, а не человека, и в перечне типов
+ * из задания их нет. Рядом с именем клиента они становятся его данными и маскируются. Сюда же
+ * доход и биометрия. Сумма заработка без человека — статистика («доход домохозяйств вырос до 74
+ * 500 руб»), а не персональные данные. Биометрия же в тексте не встречается вовсе: это шаблон в
+ * базе, и правило маскирует лишь само упоминание, то есть слово, а не данные. Чувствителен
+ * здесь факт, что биометрию сдал названный человек, — а он и существует только при имени рядом
*/
-public record SystemPolicy(String name, boolean enabled, boolean demask, MaskMode maskMode,
- Set types, Set requireCompanion, String key) {
+public record SystemPolicy(
+ String name,
+ boolean enabled,
+ boolean demask,
+ MaskMode maskMode,
+ Set types,
+ Set requireCompanion,
+ String key) {
- public static final String ALL = "*";
+ public static final String ALL = "*";
- /** Имя политики по умолчанию; оно же разделяет хранилище для запросов без заголовка. */
- public static final String DEFAULT_NAME = "default";
+ /** Имя политики по умолчанию; оно же разделяет хранилище для запросов без заголовка. */
+ public static final String DEFAULT_NAME = "default";
- /** Политика по умолчанию: маскируем всё, что умеем, обратное преобразование включено. */
- public static final SystemPolicy DEFAULT = new SystemPolicy(
- DEFAULT_NAME, true, true, MaskMode.MASK, Set.of(ALL),
- Set.of(PdTypes.CVV, PdTypes.PIN, PdTypes.DATE, PdTypes.BIRTH_PLACE, PdTypes.ADDRESS_COUNTRY,
- PdTypes.ACCOUNT_NUMBER, PdTypes.BIK, PdTypes.OGRN, PdTypes.OGRNIP, PdTypes.KPP,
- PdTypes.INCOME, PdTypes.BIOMETRIC), null);
+ /** Политика по умолчанию: маскируем всё, что умеем, обратное преобразование включено. */
+ public static final SystemPolicy DEFAULT =
+ new SystemPolicy(
+ DEFAULT_NAME,
+ true,
+ true,
+ MaskMode.MASK,
+ Set.of(ALL),
+ Set.of(
+ PdTypes.CVV,
+ PdTypes.PIN,
+ PdTypes.DATE,
+ PdTypes.BIRTH_PLACE,
+ PdTypes.ADDRESS_COUNTRY,
+ PdTypes.ACCOUNT_NUMBER,
+ PdTypes.BIK,
+ PdTypes.OGRN,
+ PdTypes.OGRNIP,
+ PdTypes.KPP,
+ PdTypes.INCOME,
+ PdTypes.BIOMETRIC),
+ null);
- public SystemPolicy {
- types = Set.copyOf(types);
- requireCompanion = Set.copyOf(requireCompanion);
+ public SystemPolicy {
+ types = Set.copyOf(types);
+ requireCompanion = Set.copyOf(requireCompanion);
+ }
+
+ /** Политика только для перечисленных типов, с остальными настройками по умолчанию. */
+ public static SystemPolicy forTypes(String... types) {
+ return new SystemPolicy(
+ DEFAULT_NAME, true, true, MaskMode.MASK, Set.of(types), DEFAULT.requireCompanion(), null);
+ }
+
+ /** Совпадает ли предъявленный ключ. Ключ не задан — проверка не применяется. */
+ public boolean accepts(String presentedKey) {
+ if (key == null || key.isBlank()) {
+ return true;
}
+ return java.security.MessageDigest.isEqual(
+ key.getBytes(java.nio.charset.StandardCharsets.UTF_8),
+ (presentedKey == null ? "" : presentedKey)
+ .getBytes(java.nio.charset.StandardCharsets.UTF_8));
+ }
- /** Политика только для перечисленных типов, с остальными настройками по умолчанию. */
- public static SystemPolicy forTypes(String... types) {
- return new SystemPolicy(DEFAULT_NAME, true, true, MaskMode.MASK,
- Set.of(types), DEFAULT.requireCompanion(), null);
- }
+ public boolean allows(String type) {
+ return types.contains(ALL) || types.contains(type);
+ }
- /** Совпадает ли предъявленный ключ. Ключ не задан — проверка не применяется. */
- public boolean accepts(String presentedKey) {
- if (key == null || key.isBlank()) {
- return true;
- }
- return java.security.MessageDigest.isEqual(
- key.getBytes(java.nio.charset.StandardCharsets.UTF_8),
- (presentedKey == null ? "" : presentedKey).getBytes(java.nio.charset.StandardCharsets.UTF_8));
- }
-
- public boolean allows(String type) {
- return types.contains(ALL) || types.contains(type);
- }
-
- public boolean needsCompanion(String type) {
- return requireCompanion.contains(type);
- }
+ public boolean needsCompanion(String type) {
+ return requireCompanion.contains(type);
+ }
}
diff --git a/src/main/java/ru/pdguard/config/SystemsConfig.java b/src/main/java/ru/pdguard/config/SystemsConfig.java
index b9552cb..ca72b5a 100644
--- a/src/main/java/ru/pdguard/config/SystemsConfig.java
+++ b/src/main/java/ru/pdguard/config/SystemsConfig.java
@@ -1,12 +1,6 @@
package ru.pdguard.config;
import com.fasterxml.jackson.databind.ObjectMapper;
-import org.slf4j.Logger;
-import org.slf4j.LoggerFactory;
-import org.springframework.beans.factory.annotation.Value;
-import org.springframework.stereotype.Component;
-import ru.pdguard.mask.MaskMode;
-
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
@@ -14,127 +8,151 @@ import java.util.HashSet;
import java.util.List;
import java.util.Locale;
import java.util.Map;
-import java.util.concurrent.atomic.AtomicReference;
import java.util.Set;
import java.util.TreeMap;
+import java.util.concurrent.atomic.AtomicReference;
+import org.slf4j.Logger;
+import org.slf4j.LoggerFactory;
+import org.springframework.beans.factory.annotation.Value;
+import org.springframework.stereotype.Component;
+import ru.pdguard.mask.MaskMode;
/**
* Список систем, которым разрешено обращаться в модуль, и правила для каждой.
*
- * Читается из внешнего файла, чтобы настройки менялись без пересборки. Файл
- * перечитывается сам, когда меняется время его изменения; проверка выполняется
- * не чаще раза в секунду, чтобы не ходить в файловую систему на каждом запросе.
- * Файла нет — работают настройки по умолчанию, и сервис поднимается без него.
+ *
Читается из внешнего файла, чтобы настройки менялись без пересборки. Файл перечитывается сам,
+ * когда меняется время его изменения; проверка выполняется не чаще раза в секунду, чтобы не ходить
+ * в файловую систему на каждом запросе. Файла нет — работают настройки по умолчанию, и сервис
+ * поднимается без него.
*/
@Component
public final class SystemsConfig {
- private static final Logger LOG = LoggerFactory.getLogger(SystemsConfig.class);
+ private static final Logger LOG = LoggerFactory.getLogger(SystemsConfig.class);
- /** Имя политики, которая применяется к запросам без заголовка системы. */
- public static final String DEFAULT_SYSTEM = "default";
+ /** Имя политики, которая применяется к запросам без заголовка системы. */
+ public static final String DEFAULT_SYSTEM = "default";
- private static final long RECHECK_MILLIS = 1000;
+ private static final long RECHECK_MILLIS = 1000;
- /** Описание одной системы в файле настроек. */
- public record SystemEntry(Boolean enabled, Boolean demask, String maskMode,
- List types, List requireCompanion, String key) {
- public SystemEntry {
- types = types == null ? null : List.copyOf(types);
- requireCompanion = requireCompanion == null ? null : List.copyOf(requireCompanion);
- }
+ /** Описание одной системы в файле настроек. */
+ public record SystemEntry(
+ Boolean enabled,
+ Boolean demask,
+ String maskMode,
+ List types,
+ List requireCompanion,
+ String key) {
+ public SystemEntry {
+ types = types == null ? null : List.copyOf(types);
+ requireCompanion = requireCompanion == null ? null : List.copyOf(requireCompanion);
}
+ }
- private final Path file;
- private final ObjectMapper mapper;
+ private final Path file;
+ private final ObjectMapper mapper;
- private final AtomicReference> policies =
- new AtomicReference<>(Map.of(DEFAULT_SYSTEM, SystemPolicy.DEFAULT));
- private volatile long fileTimestamp;
- private volatile long lastCheck;
+ private final AtomicReference> policies =
+ new AtomicReference<>(Map.of(DEFAULT_SYSTEM, SystemPolicy.DEFAULT));
+ private volatile long fileTimestamp;
+ private volatile long lastCheck;
- public SystemsConfig(@Value("${pdguard.systems-file:config/systems.json}") String path,
- ObjectMapper mapper) {
- this.file = Path.of(path);
- this.mapper = mapper;
+ public SystemsConfig(
+ @Value("${pdguard.systems-file:config/systems.json}") String path, ObjectMapper mapper) {
+ this.file = Path.of(path);
+ this.mapper = mapper;
+ reload();
+ }
+
+ /** Правила для системы; неизвестная система получает настройки по умолчанию. */
+ public SystemPolicy policyFor(String systemId) {
+ refreshIfChanged();
+ Map current = policies.get();
+ SystemPolicy policy = systemId == null ? null : current.get(systemId);
+ if (policy != null) {
+ return policy;
+ }
+ return current.getOrDefault(DEFAULT_SYSTEM, SystemPolicy.DEFAULT);
+ }
+
+ /** Известна ли система по имени. */
+ public boolean isKnown(String systemId) {
+ refreshIfChanged();
+ return systemId != null && policies.get().containsKey(systemId);
+ }
+
+ /** Текущие настройки — для отдачи в административном интерфейсе. */
+ public Map current() {
+ refreshIfChanged();
+ return new TreeMap<>(policies.get());
+ }
+
+ /** Перечитать файл настроек немедленно. */
+ public final synchronized void reload() {
+ lastCheck = System.currentTimeMillis();
+ if (!Files.isReadable(file)) {
+ LOG.info(
+ "Файл настроек {} не найден, применяются настройки по умолчанию", file.toAbsolutePath());
+ policies.set(Map.of(DEFAULT_SYSTEM, SystemPolicy.DEFAULT));
+ fileTimestamp = 0;
+ return;
+ }
+ try {
+ fileTimestamp = Files.getLastModifiedTime(file).toMillis();
+ Map entries =
+ mapper.readValue(
+ Files.readAllBytes(file),
+ mapper
+ .getTypeFactory()
+ .constructMapType(TreeMap.class, String.class, SystemEntry.class));
+ Map parsed = new TreeMap<>();
+ entries.forEach((name, entry) -> parsed.put(name, toPolicy(name, entry)));
+ parsed.putIfAbsent(DEFAULT_SYSTEM, SystemPolicy.DEFAULT);
+ policies.set(Map.copyOf(parsed));
+ LOG.info("Настройки систем перечитаны из {}: {}", file.toAbsolutePath(), parsed.keySet());
+ } catch (IOException | IllegalArgumentException e) {
+ // Битый файл не должен ронять работающий сервис: остаются прежние настройки.
+ LOG.error(
+ "Не удалось прочитать {}, продолжаем с прежними настройками", file.toAbsolutePath(), e);
+ }
+ }
+
+ private void refreshIfChanged() {
+ long now = System.currentTimeMillis();
+ if (now - lastCheck < RECHECK_MILLIS) {
+ return;
+ }
+ lastCheck = now;
+ try {
+ if (!Files.isReadable(file)) {
+ return;
+ }
+ if (Files.getLastModifiedTime(file).toMillis() != fileTimestamp) {
reload();
+ }
+ } catch (IOException e) {
+ LOG.debug("Не удалось проверить время изменения {}", file, e);
}
+ }
- /** Правила для системы; неизвестная система получает настройки по умолчанию. */
- public SystemPolicy policyFor(String systemId) {
- refreshIfChanged();
- Map current = policies.get();
- SystemPolicy policy = systemId == null ? null : current.get(systemId);
- if (policy != null) {
- return policy;
- }
- return current.getOrDefault(DEFAULT_SYSTEM, SystemPolicy.DEFAULT);
- }
-
- /** Известна ли система по имени. */
- public boolean isKnown(String systemId) {
- refreshIfChanged();
- return systemId != null && policies.get().containsKey(systemId);
- }
-
- /** Текущие настройки — для отдачи в административном интерфейсе. */
- public Map current() {
- refreshIfChanged();
- return new TreeMap<>(policies.get());
- }
-
- /** Перечитать файл настроек немедленно. */
- public final synchronized void reload() {
- lastCheck = System.currentTimeMillis();
- if (!Files.isReadable(file)) {
- LOG.info("Файл настроек {} не найден, применяются настройки по умолчанию", file.toAbsolutePath());
- policies.set(Map.of(DEFAULT_SYSTEM, SystemPolicy.DEFAULT));
- fileTimestamp = 0;
- return;
- }
- try {
- fileTimestamp = Files.getLastModifiedTime(file).toMillis();
- Map entries = mapper.readValue(Files.readAllBytes(file),
- mapper.getTypeFactory().constructMapType(TreeMap.class, String.class, SystemEntry.class));
- Map parsed = new TreeMap<>();
- entries.forEach((name, entry) -> parsed.put(name, toPolicy(name, entry)));
- parsed.putIfAbsent(DEFAULT_SYSTEM, SystemPolicy.DEFAULT);
- policies.set(Map.copyOf(parsed));
- LOG.info("Настройки систем перечитаны из {}: {}", file.toAbsolutePath(), parsed.keySet());
- } catch (IOException | IllegalArgumentException e) {
- // Битый файл не должен ронять работающий сервис: остаются прежние настройки.
- LOG.error("Не удалось прочитать {}, продолжаем с прежними настройками", file.toAbsolutePath(), e);
- }
- }
-
- private void refreshIfChanged() {
- long now = System.currentTimeMillis();
- if (now - lastCheck < RECHECK_MILLIS) {
- return;
- }
- lastCheck = now;
- try {
- if (!Files.isReadable(file)) {
- return;
- }
- if (Files.getLastModifiedTime(file).toMillis() != fileTimestamp) {
- reload();
- }
- } catch (IOException e) {
- LOG.debug("Не удалось проверить время изменения {}", file, e);
- }
- }
-
- private static SystemPolicy toPolicy(String name, SystemEntry entry) {
- SystemPolicy base = SystemPolicy.DEFAULT;
- Set types = entry.types() == null ? base.types() : new HashSet<>(entry.types());
- Set companions = entry.requireCompanion() == null
- ? base.requireCompanion() : new HashSet<>(entry.requireCompanion());
- MaskMode mode = entry.maskMode() == null
- ? base.maskMode() : MaskMode.valueOf(entry.maskMode().toUpperCase(Locale.ROOT));
- return new SystemPolicy(name,
- entry.enabled() == null || entry.enabled(),
- entry.demask() == null || entry.demask(),
- mode, types, companions, entry.key());
- }
-}
\ No newline at end of file
+ private static SystemPolicy toPolicy(String name, SystemEntry entry) {
+ SystemPolicy base = SystemPolicy.DEFAULT;
+ Set types = entry.types() == null ? base.types() : new HashSet<>(entry.types());
+ Set companions =
+ entry.requireCompanion() == null
+ ? base.requireCompanion()
+ : new HashSet<>(entry.requireCompanion());
+ MaskMode mode =
+ entry.maskMode() == null
+ ? base.maskMode()
+ : MaskMode.valueOf(entry.maskMode().toUpperCase(Locale.ROOT));
+ return new SystemPolicy(
+ name,
+ entry.enabled() == null || entry.enabled(),
+ entry.demask() == null || entry.demask(),
+ mode,
+ types,
+ companions,
+ entry.key());
+ }
+}
diff --git a/src/main/java/ru/pdguard/core/AdaptiveConcurrencyLimiter.java b/src/main/java/ru/pdguard/core/AdaptiveConcurrencyLimiter.java
index 28d688c..82f1eba 100644
--- a/src/main/java/ru/pdguard/core/AdaptiveConcurrencyLimiter.java
+++ b/src/main/java/ru/pdguard/core/AdaptiveConcurrencyLimiter.java
@@ -1,129 +1,121 @@
package ru.pdguard.core;
+import java.util.concurrent.TimeUnit;
import java.util.concurrent.atomic.AtomicInteger;
import java.util.concurrent.atomic.AtomicLong;
-import java.util.concurrent.TimeUnit;
/**
- * Предел одновременных запросов, который сам подстраивается под задержку,
- * а не задан фиксированным числом. Растёт, пока обработка укладывается в
- * целевое время, и сжимается, как только перестаёт — вместо того чтобы
- * копить очередь и подходить к таймауту вызывающей стороны.
+ * Предел одновременных запросов, который сам подстраивается под задержку, а не задан фиксированным
+ * числом. Растёт, пока обработка укладывается в целевое время, и сжимается, как только перестаёт —
+ * вместо того чтобы копить очередь и подходить к таймауту вызывающей стороны.
*
- * Число CPU контейнеру намеренно не спрашивается: {@code Runtime.
- * availableProcessors()} под квотой {@code --cpus} в cgroups не меняется
- * (это не affinity, а квота), поэтому в контейнере с долей ядра оно
- * показывает все ядра хоста и как источник предела не годится. Задержка —
+ *
Число CPU контейнеру намеренно не спрашивается: {@code Runtime. availableProcessors()} под
+ * квотой {@code --cpus} в cgroups не меняется (это не affinity, а квота), поэтому в контейнере с
+ * долей ядра оно показывает все ядра хоста и как источник предела не годится. Задержка —
* наблюдаемое следствие реальной доли CPU, а не догадка о её размере.
*
- *
Шаг регулировки привязан к времени, не к числу запросов: при первой
- * версии предел менялся на каждый завершённый запрос, и на высоком RPS
- * тысячи «быстрых» замеров прилетали за миллисекунды — предел успевал
- * разогнаться до потолка ещё до того, как перегрузка вообще проявлялась,
- * и то же самое повторялось после каждого восстановления. Проверено
- * нагрузочным тестом: без привязки к времени p95 на перегрузке доходил
- * до 1,8–2,3 с при 0,5 CPU, хотя предел вроде бы должен был сжаться.
- * Не чаще, чем раз в {@link #ADJUST_WINDOW_NANOS}, предел меняется одним
- * шагом на основе среднего за окно — так скорость регулировки не зависит
- * от того, насколько высок входящий RPS.
+ *
Шаг регулировки привязан к времени, не к числу запросов: при первой версии предел менялся на
+ * каждый завершённый запрос, и на высоком RPS тысячи «быстрых» замеров прилетали за миллисекунды —
+ * предел успевал разогнаться до потолка ещё до того, как перегрузка вообще проявлялась, и то же
+ * самое повторялось после каждого восстановления. Проверено нагрузочным тестом: без привязки к
+ * времени p95 на перегрузке доходил до 1,8–2,3 с при 0,5 CPU, хотя предел вроде бы должен был
+ * сжаться. Не чаще, чем раз в {@link #ADJUST_WINDOW_NANOS}, предел меняется одним шагом на основе
+ * среднего за окно — так скорость регулировки не зависит от того, насколько высок входящий RPS.
*
- *
Рост — на единицу за окно (AIMD), не удвоением. Удвоение (slow start
- * из TCP) здесь не подходит: там обратная связь — RTT, миллисекунды, и
- * лишний виток роста стоит дёшево. Здесь обратная связь — время ответа
- * заявки, и под перегрузкой оно само составляет секунды: предел успевает
- * удвоиться несколько раз (2→4→8→…→сотни) быстрее, чем придёт первый
- * сигнал о деградации, и уже принятые заявки не исчезают из очереди, даже
- * если следующим окном предел тут же обрушить. Проверено нагрузочным
- * тестом: с удвоением p95 на перегрузке всё равно доходил до 1,8–2,2 с.
- * Линейный рост копит риск медленно, и первый плохой сигнал останавливает
- * его на порядок раньше. Сжатие — вдвое, а не на единицу: на перегрузке
- * дешевле один раз отрезать с запасом, чем несколько окон подряд плавно
- * подходить к безопасному уровню, пока заявки продолжают копиться.
+ *
Рост — на единицу за окно (AIMD), не удвоением. Удвоение (slow start из TCP) здесь не
+ * подходит: там обратная связь — RTT, миллисекунды, и лишний виток роста стоит дёшево. Здесь
+ * обратная связь — время ответа заявки, и под перегрузкой оно само составляет секунды: предел
+ * успевает удвоиться несколько раз (2→4→8→…→сотни) быстрее, чем придёт первый сигнал о деградации,
+ * и уже принятые заявки не исчезают из очереди, даже если следующим окном предел тут же обрушить.
+ * Проверено нагрузочным тестом: с удвоением p95 на перегрузке всё равно доходил до 1,8–2,2 с.
+ * Линейный рост копит риск медленно, и первый плохой сигнал останавливает его на порядок раньше.
+ * Сжатие — вдвое, а не на единицу: на перегрузке дешевле один раз отрезать с запасом, чем несколько
+ * окон подряд плавно подходить к безопасному уровню, пока заявки продолжают копиться.
*
- *
ponytail: счётчики окна суммируются без блокировки — гонка на границе
- * окна может добавить образец в уже подводимый итог или отбросить один,
- * не больше; при масштабах в десятки-сотни образцов на окно это не видно.
- * Нужен точный регулятор — взять готовую библиотеку вроде Netflix
- * {@code concurrency-limits} (Vegas/Gradient2); здесь она не взята из
- * осторожности к GraalVM native-image: незнакомая рефлексия в чужой
- * библиотеке — это ровно тот класс проблем, из-за которого модели второй
- * ступени понадобилась отдельная настройка сборки.
+ *
ponytail: счётчики окна суммируются без блокировки — гонка на границе окна может добавить
+ * образец в уже подводимый итог или отбросить один, не больше; при масштабах в десятки-сотни
+ * образцов на окно это не видно. Нужен точный регулятор — взять готовую библиотеку вроде Netflix
+ * {@code concurrency-limits} (Vegas/Gradient2); здесь она не взята из осторожности к GraalVM
+ * native-image: незнакомая рефлексия в чужой библиотеке — это ровно тот класс проблем, из-за
+ * которого модели второй ступени понадобилась отдельная настройка сборки.
*/
public final class AdaptiveConcurrencyLimiter {
- private static final long DEFAULT_ADJUST_WINDOW_NANOS = TimeUnit.MILLISECONDS.toNanos(20);
+ private static final long DEFAULT_ADJUST_WINDOW_NANOS = TimeUnit.MILLISECONDS.toNanos(20);
- private final AtomicInteger inFlight = new AtomicInteger();
- private final AtomicLong windowSumNanos = new AtomicLong();
- private final AtomicInteger windowSamples = new AtomicInteger();
- private final AtomicLong lastAdjustNanos;
- private final int minLimit;
- private final int maxLimit;
- private final long targetLatencyNanos;
- private final long adjustWindowNanos;
- private final AtomicInteger limit;
+ private final AtomicInteger inFlight = new AtomicInteger();
+ private final AtomicLong windowSumNanos = new AtomicLong();
+ private final AtomicInteger windowSamples = new AtomicInteger();
+ private final AtomicLong lastAdjustNanos;
+ private final int minLimit;
+ private final int maxLimit;
+ private final long targetLatencyNanos;
+ private final long adjustWindowNanos;
+ private final AtomicInteger limit;
- public AdaptiveConcurrencyLimiter(int minLimit, int maxLimit, long targetLatencyMillis) {
- this(minLimit, maxLimit, targetLatencyMillis, DEFAULT_ADJUST_WINDOW_NANOS);
+ public AdaptiveConcurrencyLimiter(int minLimit, int maxLimit, long targetLatencyMillis) {
+ this(minLimit, maxLimit, targetLatencyMillis, DEFAULT_ADJUST_WINDOW_NANOS);
+ }
+
+ /** Настраиваемое окно регулировки — для тестов, которым реальные 20мс на шаг не подходят. */
+ AdaptiveConcurrencyLimiter(
+ int minLimit, int maxLimit, long targetLatencyMillis, long adjustWindowNanos) {
+ if (minLimit < 1 || maxLimit < minLimit) {
+ throw new IllegalArgumentException(
+ "Некорректные границы предела: " + minLimit + ".." + maxLimit);
}
+ this.minLimit = minLimit;
+ this.maxLimit = maxLimit;
+ this.targetLatencyNanos = TimeUnit.MILLISECONDS.toNanos(targetLatencyMillis);
+ this.adjustWindowNanos = adjustWindowNanos;
+ this.limit = new AtomicInteger(minLimit);
+ this.lastAdjustNanos = new AtomicLong(System.nanoTime());
+ }
- /** Настраиваемое окно регулировки — для тестов, которым реальные 20мс на шаг не подходят. */
- AdaptiveConcurrencyLimiter(int minLimit, int maxLimit, long targetLatencyMillis, long adjustWindowNanos) {
- if (minLimit < 1 || maxLimit < minLimit) {
- throw new IllegalArgumentException("Некорректные границы предела: " + minLimit + ".." + maxLimit);
- }
- this.minLimit = minLimit;
- this.maxLimit = maxLimit;
- this.targetLatencyNanos = TimeUnit.MILLISECONDS.toNanos(targetLatencyMillis);
- this.adjustWindowNanos = adjustWindowNanos;
- this.limit = new AtomicInteger(minLimit);
- this.lastAdjustNanos = new AtomicLong(System.nanoTime());
+ /** {@code true} — запрос принят; вызывающая сторона обязана вызвать {@link #release}. */
+ public boolean tryAcquire() {
+ if (inFlight.incrementAndGet() > limit.get()) {
+ inFlight.decrementAndGet();
+ return false;
}
+ return true;
+ }
- /** {@code true} — запрос принят; вызывающая сторона обязана вызвать {@link #release}. */
- public boolean tryAcquire() {
- if (inFlight.incrementAndGet() > limit.get()) {
- inFlight.decrementAndGet();
- return false;
- }
- return true;
+ /** Освобождает слот; предел подстраивается не чаще раза в окно, а не на каждый вызов. */
+ public void release(long elapsedNanos) {
+ inFlight.decrementAndGet();
+ windowSumNanos.addAndGet(elapsedNanos);
+ windowSamples.incrementAndGet();
+
+ long now = System.nanoTime();
+ long last = lastAdjustNanos.get();
+ if (now - last >= adjustWindowNanos && lastAdjustNanos.compareAndSet(last, now)) {
+ adjust();
}
+ }
- /** Освобождает слот; предел подстраивается не чаще раза в окно, а не на каждый вызов. */
- public void release(long elapsedNanos) {
- inFlight.decrementAndGet();
- windowSumNanos.addAndGet(elapsedNanos);
- windowSamples.incrementAndGet();
-
- long now = System.nanoTime();
- long last = lastAdjustNanos.get();
- if (now - last >= adjustWindowNanos && lastAdjustNanos.compareAndSet(last, now)) {
- adjust();
- }
+ private void adjust() {
+ int samples = windowSamples.getAndSet(0);
+ long sum = windowSumNanos.getAndSet(0);
+ if (samples == 0) {
+ return;
}
+ long avg = sum / samples;
- private void adjust() {
- int samples = windowSamples.getAndSet(0);
- long sum = windowSumNanos.getAndSet(0);
- if (samples == 0) {
- return;
- }
- long avg = sum / samples;
-
- if (avg < targetLatencyNanos) {
- limit.set(Math.min(maxLimit, limit.get() + 1));
- } else {
- limit.set(Math.max(minLimit, limit.get() / 2));
- }
+ if (avg < targetLatencyNanos) {
+ limit.set(Math.min(maxLimit, limit.get() + 1));
+ } else {
+ limit.set(Math.max(minLimit, limit.get() / 2));
}
+ }
- /** Сколько запросов обрабатывается прямо сейчас — для наблюдения. */
- public int inFlight() {
- return inFlight.get();
- }
+ /** Сколько запросов обрабатывается прямо сейчас — для наблюдения. */
+ public int inFlight() {
+ return inFlight.get();
+ }
- /** Текущий предел — для метрики, чтобы деградацию было видно, а не только чувствовать по 429. */
- public int limit() {
- return limit.get();
- }
+ /** Текущий предел — для метрики, чтобы деградацию было видно, а не только чувствовать по 429. */
+ public int limit() {
+ return limit.get();
+ }
}
diff --git a/src/main/java/ru/pdguard/core/LlmClient.java b/src/main/java/ru/pdguard/core/LlmClient.java
index b41a6ce..6682d86 100644
--- a/src/main/java/ru/pdguard/core/LlmClient.java
+++ b/src/main/java/ru/pdguard/core/LlmClient.java
@@ -2,11 +2,6 @@ package ru.pdguard.core;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.node.ObjectNode;
-import org.slf4j.Logger;
-import org.slf4j.LoggerFactory;
-import org.springframework.beans.factory.annotation.Value;
-import org.springframework.stereotype.Component;
-
import java.io.IOException;
import java.net.URI;
import java.net.http.HttpClient;
@@ -15,93 +10,102 @@ import java.net.http.HttpResponse;
import java.nio.charset.StandardCharsets;
import java.time.Duration;
import java.util.Optional;
+import org.slf4j.Logger;
+import org.slf4j.LoggerFactory;
+import org.springframework.beans.factory.annotation.Value;
+import org.springframework.stereotype.Component;
/**
* Обращение к языковой модели для демонстрационного плеча.
*
- *
Адрес не задан — работает заглушка: она возвращает присланный текст обратно.
- * Для демонстрации этого достаточно, потому что проверяется не качество ответа
- * модели, а то, что в модель ушёл замаскированный текст, а потребителю вернулся
- * восстановленный.
+ *
Адрес не задан — работает заглушка: она возвращает присланный текст обратно. Для демонстрации
+ * этого достаточно, потому что проверяется не качество ответа модели, а то, что в модель ушёл
+ * замаскированный текст, а потребителю вернулся восстановленный.
*
- *
Модель недоступна или ответила ошибкой — плечо деградирует до той же заглушки,
- * а причина попадает в ответ и в журнал. Ронять запрос из-за внешнего сервиса нельзя.
+ *
Модель недоступна или ответила ошибкой — плечо деградирует до той же заглушки, а причина
+ * попадает в ответ и в журнал. Ронять запрос из-за внешнего сервиса нельзя.
*/
@Component
public class LlmClient {
- private static final Logger LOG = LoggerFactory.getLogger(LlmClient.class);
+ private static final Logger LOG = LoggerFactory.getLogger(LlmClient.class);
- /** Что вернула модель и кто именно ответил. */
- public record Answer(String text, String source) {
+ /** Что вернула модель и кто именно ответил. */
+ public record Answer(String text, String source) {}
+
+ private final Optional url;
+ private final Optional apiKey;
+ private final String model;
+ private final Duration timeout;
+ private final HttpClient http;
+ private final ObjectMapper mapper = new ObjectMapper();
+
+ public LlmClient(
+ @Value("${pdguard.llm.url:}") String url,
+ @Value("${pdguard.llm.api-key:}") String apiKey,
+ @Value("${pdguard.llm.model:gpt-4o-mini}") String model,
+ @Value("${pdguard.llm.timeout-seconds:20}") int timeoutSeconds) {
+ this.url = Optional.ofNullable(url).filter(value -> !value.isBlank());
+ this.apiKey = Optional.ofNullable(apiKey).filter(value -> !value.isBlank());
+ this.model = model;
+ this.timeout = Duration.ofSeconds(timeoutSeconds);
+ this.http = HttpClient.newBuilder().connectTimeout(Duration.ofSeconds(5)).build();
+ if (this.url.isEmpty()) {
+ LOG.info("Адрес языковой модели не задан, плечо работает на заглушке");
}
+ }
- private final Optional url;
- private final Optional apiKey;
- private final String model;
- private final Duration timeout;
- private final HttpClient http;
- private final ObjectMapper mapper = new ObjectMapper();
-
- public LlmClient(
- @Value("${pdguard.llm.url:}") String url,
- @Value("${pdguard.llm.api-key:}") String apiKey,
- @Value("${pdguard.llm.model:gpt-4o-mini}") String model,
- @Value("${pdguard.llm.timeout-seconds:20}") int timeoutSeconds) {
- this.url = Optional.ofNullable(url).filter(value -> !value.isBlank());
- this.apiKey = Optional.ofNullable(apiKey).filter(value -> !value.isBlank());
- this.model = model;
- this.timeout = Duration.ofSeconds(timeoutSeconds);
- this.http = HttpClient.newBuilder().connectTimeout(Duration.ofSeconds(5)).build();
- if (this.url.isEmpty()) {
- LOG.info("Адрес языковой модели не задан, плечо работает на заглушке");
- }
+ public Answer ask(String maskedPrompt) {
+ if (url.isEmpty()) {
+ return new Answer(stub(maskedPrompt), "заглушка");
}
-
- public Answer ask(String maskedPrompt) {
- if (url.isEmpty()) {
- return new Answer(stub(maskedPrompt), "заглушка");
- }
- try {
- return new Answer(call(maskedPrompt), model);
- } catch (InterruptedException e) {
- Thread.currentThread().interrupt();
- LOG.error("Обращение к языковой модели прервано, плечо ответило заглушкой", e);
- return new Answer(stub(maskedPrompt), "заглушка: модель недоступна");
- } catch (IOException e) {
- LOG.error("Языковая модель недоступна, плечо ответило заглушкой", e);
- return new Answer(stub(maskedPrompt), "заглушка: модель недоступна");
- }
+ try {
+ return new Answer(call(maskedPrompt), model);
+ } catch (InterruptedException e) {
+ Thread.currentThread().interrupt();
+ LOG.error("Обращение к языковой модели прервано, плечо ответило заглушкой", e);
+ return new Answer(stub(maskedPrompt), "заглушка: модель недоступна");
+ } catch (IOException e) {
+ LOG.error("Языковая модель недоступна, плечо ответило заглушкой", e);
+ return new Answer(stub(maskedPrompt), "заглушка: модель недоступна");
}
+ }
- /**
- * Ответ содержит присланный текст целиком: так на демонстрации видно, что
- * подстановки вернулись на свои места при обратном преобразовании.
- */
- private static String stub(String maskedPrompt) {
- return "Ответ по запросу: " + maskedPrompt;
+ /**
+ * Ответ содержит присланный текст целиком: так на демонстрации видно, что подстановки вернулись
+ * на свои места при обратном преобразовании.
+ */
+ private static String stub(String maskedPrompt) {
+ return "Ответ по запросу: " + maskedPrompt;
+ }
+
+ private String call(String maskedPrompt) throws IOException, InterruptedException {
+ ObjectNode body = mapper.createObjectNode();
+ body.put("model", model);
+ ObjectNode message = body.putArray("messages").addObject();
+ message.put("role", "user");
+ message.put("content", maskedPrompt);
+
+ HttpRequest.Builder request =
+ HttpRequest.newBuilder(URI.create(url.get()))
+ .timeout(timeout)
+ .header("Content-Type", "application/json")
+ .POST(
+ HttpRequest.BodyPublishers.ofString(
+ mapper.writeValueAsString(body), StandardCharsets.UTF_8));
+ apiKey.ifPresent(key -> request.header("Authorization", "Bearer " + key));
+
+ HttpResponse response =
+ http.send(request.build(), HttpResponse.BodyHandlers.ofString(StandardCharsets.UTF_8));
+ if (response.statusCode() / 100 != 2) {
+ throw new IllegalStateException("модель ответила " + response.statusCode());
}
-
- private String call(String maskedPrompt) throws IOException, InterruptedException {
- ObjectNode body = mapper.createObjectNode();
- body.put("model", model);
- ObjectNode message = body.putArray("messages").addObject();
- message.put("role", "user");
- message.put("content", maskedPrompt);
-
- HttpRequest.Builder request = HttpRequest.newBuilder(URI.create(url.get()))
- .timeout(timeout)
- .header("Content-Type", "application/json")
- .POST(HttpRequest.BodyPublishers.ofString(
- mapper.writeValueAsString(body), StandardCharsets.UTF_8));
- apiKey.ifPresent(key -> request.header("Authorization", "Bearer " + key));
-
- HttpResponse response = http.send(request.build(),
- HttpResponse.BodyHandlers.ofString(StandardCharsets.UTF_8));
- if (response.statusCode() / 100 != 2) {
- throw new IllegalStateException("модель ответила " + response.statusCode());
- }
- return mapper.readTree(response.body())
- .path("choices").path(0).path("message").path("content").asText();
- }
-}
\ No newline at end of file
+ return mapper
+ .readTree(response.body())
+ .path("choices")
+ .path(0)
+ .path("message")
+ .path("content")
+ .asText();
+ }
+}
diff --git a/src/main/java/ru/pdguard/core/MetricsConfiguration.java b/src/main/java/ru/pdguard/core/MetricsConfiguration.java
index ec60d57..0dfd242 100644
--- a/src/main/java/ru/pdguard/core/MetricsConfiguration.java
+++ b/src/main/java/ru/pdguard/core/MetricsConfiguration.java
@@ -3,63 +3,61 @@ package ru.pdguard.core;
import io.micrometer.core.instrument.Meter;
import io.micrometer.core.instrument.config.MeterFilter;
import io.micrometer.core.instrument.distribution.DistributionStatisticConfig;
+import java.time.Duration;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
-import java.time.Duration;
-
/**
* Настройка распределений для метрик времени.
*
- * По умолчанию Micrometer отдаёт по таймеру только сумму, количество и максимум.
- * Этого хватает на среднее, но не на перцентили, а именно они описывают SLA: важно
- * не среднее время ответа, а то, сколько запросов уложилось в срок. Гистограмма
- * добавляет ряды по корзинам, и {@code histogram_quantile} в Prometheus считает по
- * ним p50, p95 и p99.
+ *
По умолчанию Micrometer отдаёт по таймеру только сумму, количество и максимум. Этого хватает
+ * на среднее, но не на перцентили, а именно они описывают SLA: важно не среднее время ответа, а то,
+ * сколько запросов уложилось в срок. Гистограмма добавляет ряды по корзинам, и {@code
+ * histogram_quantile} в Prometheus считает по ним p50, p95 и p99.
*
- *
Границы корзин заданы явно и подобраны под наши задержки: от четверти
- * миллисекунды до десяти секунд. Без явных границ Micrometer создаёт их сам и
- * заметно больше, а каждая корзина — это отдельный временной ряд на каждое
- * сочетание меток.
+ *
Границы корзин заданы явно и подобраны под наши задержки: от четверти миллисекунды до десяти
+ * секунд. Без явных границ Micrometer создаёт их сам и заметно больше, а каждая корзина — это
+ * отдельный временной ряд на каждое сочетание меток.
*/
@Configuration
public class MetricsConfiguration {
- /** Целевая задержка из критериев оценки: ориентир, а не жёсткий предел. */
- private static final Duration SLA_TARGET = Duration.ofMillis(500);
+ /** Целевая задержка из критериев оценки: ориентир, а не жёсткий предел. */
+ private static final Duration SLA_TARGET = Duration.ofMillis(500);
- private static final Duration[] BOUNDARIES = {
- Duration.ofNanos(250_000), Duration.ofMillis(1), Duration.ofMillis(5),
- Duration.ofMillis(10), Duration.ofMillis(25), Duration.ofMillis(50),
- Duration.ofMillis(100), Duration.ofMillis(250), SLA_TARGET,
- Duration.ofSeconds(1), Duration.ofSeconds(2), Duration.ofSeconds(5),
- Duration.ofSeconds(10)
+ private static final Duration[] BOUNDARIES = {
+ Duration.ofNanos(250_000), Duration.ofMillis(1), Duration.ofMillis(5),
+ Duration.ofMillis(10), Duration.ofMillis(25), Duration.ofMillis(50),
+ Duration.ofMillis(100), Duration.ofMillis(250), SLA_TARGET,
+ Duration.ofSeconds(1), Duration.ofSeconds(2), Duration.ofSeconds(5),
+ Duration.ofSeconds(10)
+ };
+
+ @Bean
+ public MeterFilter histogramsForTimers() {
+ return new MeterFilter() {
+ @Override
+ public DistributionStatisticConfig configure(
+ Meter.Id id, DistributionStatisticConfig config) {
+ if (!needsHistogram(id.getName())) {
+ return config;
+ }
+ double[] boundaries = new double[BOUNDARIES.length];
+ for (int i = 0; i < BOUNDARIES.length; i++) {
+ boundaries[i] = BOUNDARIES[i].toNanos();
+ }
+ return DistributionStatisticConfig.builder()
+ .percentilesHistogram(false)
+ .serviceLevelObjectives(boundaries)
+ .build()
+ .merge(config);
+ }
};
+ }
- @Bean
- public MeterFilter histogramsForTimers() {
- return new MeterFilter() {
- @Override
- public DistributionStatisticConfig configure(Meter.Id id, DistributionStatisticConfig config) {
- if (!needsHistogram(id.getName())) {
- return config;
- }
- double[] boundaries = new double[BOUNDARIES.length];
- for (int i = 0; i < BOUNDARIES.length; i++) {
- boundaries[i] = BOUNDARIES[i].toNanos();
- }
- return DistributionStatisticConfig.builder()
- .percentilesHistogram(false)
- .serviceLevelObjectives(boundaries)
- .build()
- .merge(config);
- }
- };
- }
-
- private static boolean needsHistogram(String name) {
- return "pdguard.process".equals(name)
- || "pdguard.ner.duration".equals(name)
- || "http.server.requests".equals(name);
- }
-}
\ No newline at end of file
+ private static boolean needsHistogram(String name) {
+ return "pdguard.process".equals(name)
+ || "pdguard.ner.duration".equals(name)
+ || "http.server.requests".equals(name);
+ }
+}
diff --git a/src/main/java/ru/pdguard/core/PayloadCipher.java b/src/main/java/ru/pdguard/core/PayloadCipher.java
index 6ffd239..c8f450a 100644
--- a/src/main/java/ru/pdguard/core/PayloadCipher.java
+++ b/src/main/java/ru/pdguard/core/PayloadCipher.java
@@ -1,88 +1,89 @@
package ru.pdguard.core;
-import org.springframework.beans.factory.annotation.Value;
-import org.springframework.stereotype.Component;
-
-import javax.crypto.Cipher;
-import javax.crypto.spec.GCMParameterSpec;
-import javax.crypto.spec.SecretKeySpec;
import java.nio.charset.StandardCharsets;
import java.security.GeneralSecurityException;
import java.security.SecureRandom;
import java.util.Base64;
import java.util.HexFormat;
+import javax.crypto.Cipher;
+import javax.crypto.spec.GCMParameterSpec;
+import javax.crypto.spec.SecretKeySpec;
+import org.springframework.beans.factory.annotation.Value;
+import org.springframework.stereotype.Component;
/**
* Шифрование исходных персональных данных в хранилище.
*
- *
ПДН не должны лежать в памяти и в общем слое в открытом виде: даже если
- * процесс или Redis скомпрометированы, исходные значения остаются недоступными
- * без ключа. Используется AES-GCM — аутентифицированное шифрование, которое
- * защищает и от подмены шифротекста.
+ *
ПДН не должны лежать в памяти и в общем слое в открытом виде: даже если процесс или Redis
+ * скомпрометированы, исходные значения остаются недоступными без ключа. Используется AES-GCM —
+ * аутентифицированное шифрование, которое защищает и от подмены шифротекста.
*
- *
Ключ задаётся настройкой {@code pdguard.store.encryption-key} (32 байта в
- * hex). Пока ключ не задан, шифрование выключено — это нужно для тестов и для
- * сборки, где хранилище не содержит чувствительных данных.
+ *
Ключ задаётся настройкой {@code pdguard.store.encryption-key} (32 байта в hex). Пока ключ не
+ * задан, шифрование выключено — это нужно для тестов и для сборки, где хранилище не содержит
+ * чувствительных данных.
*/
@Component
public class PayloadCipher {
- private static final String ALGORITHM = "AES";
- private static final String TRANSFORMATION = "AES/GCM/NoPadding";
- private static final int GCM_TAG_BITS = 128;
- private static final int IV_BYTES = 12;
+ private static final String ALGORITHM = "AES";
+ private static final String TRANSFORMATION = "AES/GCM/NoPadding";
+ private static final int GCM_TAG_BITS = 128;
+ private static final int IV_BYTES = 12;
- private final SecretKeySpec key;
- private final SecureRandom random = new SecureRandom();
+ private final SecretKeySpec key;
+ private final SecureRandom random = new SecureRandom();
- public PayloadCipher(@Value("${pdguard.store.encryption-key:}") String hexKey) {
- this.key = hexKey == null || hexKey.isBlank() ? null : new SecretKeySpec(HexFormat.of().parseHex(hexKey), ALGORITHM);
+ public PayloadCipher(@Value("${pdguard.store.encryption-key:}") String hexKey) {
+ this.key =
+ hexKey == null || hexKey.isBlank()
+ ? null
+ : new SecretKeySpec(HexFormat.of().parseHex(hexKey), ALGORITHM);
+ }
+
+ /** Выключенное шифрование — для тестов и сборки без ключа. */
+ public static PayloadCipher disabled() {
+ return new PayloadCipher("");
+ }
+
+ public boolean enabled() {
+ return key != null;
+ }
+
+ /** Шифрует текст; при выключенном шифровании возвращает исходный текст. */
+ public String encrypt(String plaintext) {
+ if (key == null) {
+ return plaintext;
}
-
- /** Выключенное шифрование — для тестов и сборки без ключа. */
- public static PayloadCipher disabled() {
- return new PayloadCipher("");
+ try {
+ byte[] iv = new byte[IV_BYTES];
+ random.nextBytes(iv);
+ Cipher cipher = Cipher.getInstance(TRANSFORMATION);
+ cipher.init(Cipher.ENCRYPT_MODE, key, new GCMParameterSpec(GCM_TAG_BITS, iv));
+ byte[] encrypted = cipher.doFinal(plaintext.getBytes(StandardCharsets.UTF_8));
+ byte[] combined = new byte[iv.length + encrypted.length];
+ System.arraycopy(iv, 0, combined, 0, iv.length);
+ System.arraycopy(encrypted, 0, combined, iv.length, encrypted.length);
+ return Base64.getEncoder().encodeToString(combined);
+ } catch (GeneralSecurityException e) {
+ throw new IllegalStateException("Не удалось зашифровать персональные данные", e);
}
+ }
- public boolean enabled() {
- return key != null;
+ /** Дешифрует текст; при выключенном шифровании возвращает исходный текст. */
+ public String decrypt(String ciphertext) {
+ if (key == null) {
+ return ciphertext;
}
-
- /** Шифрует текст; при выключенном шифровании возвращает исходный текст. */
- public String encrypt(String plaintext) {
- if (key == null) {
- return plaintext;
- }
- try {
- byte[] iv = new byte[IV_BYTES];
- random.nextBytes(iv);
- Cipher cipher = Cipher.getInstance(TRANSFORMATION);
- cipher.init(Cipher.ENCRYPT_MODE, key, new GCMParameterSpec(GCM_TAG_BITS, iv));
- byte[] encrypted = cipher.doFinal(plaintext.getBytes(StandardCharsets.UTF_8));
- byte[] combined = new byte[iv.length + encrypted.length];
- System.arraycopy(iv, 0, combined, 0, iv.length);
- System.arraycopy(encrypted, 0, combined, iv.length, encrypted.length);
- return Base64.getEncoder().encodeToString(combined);
- } catch (GeneralSecurityException e) {
- throw new IllegalStateException("Не удалось зашифровать персональные данные", e);
- }
+ try {
+ byte[] combined = Base64.getDecoder().decode(ciphertext);
+ byte[] iv = new byte[IV_BYTES];
+ System.arraycopy(combined, 0, iv, 0, iv.length);
+ Cipher cipher = Cipher.getInstance(TRANSFORMATION);
+ cipher.init(Cipher.DECRYPT_MODE, key, new GCMParameterSpec(GCM_TAG_BITS, iv));
+ byte[] decrypted = cipher.doFinal(combined, iv.length, combined.length - iv.length);
+ return new String(decrypted, StandardCharsets.UTF_8);
+ } catch (GeneralSecurityException | IllegalArgumentException e) {
+ throw new IllegalStateException("Не удалось расшифровать персональные данные", e);
}
-
- /** Дешифрует текст; при выключенном шифровании возвращает исходный текст. */
- public String decrypt(String ciphertext) {
- if (key == null) {
- return ciphertext;
- }
- try {
- byte[] combined = Base64.getDecoder().decode(ciphertext);
- byte[] iv = new byte[IV_BYTES];
- System.arraycopy(combined, 0, iv, 0, iv.length);
- Cipher cipher = Cipher.getInstance(TRANSFORMATION);
- cipher.init(Cipher.DECRYPT_MODE, key, new GCMParameterSpec(GCM_TAG_BITS, iv));
- byte[] decrypted = cipher.doFinal(combined, iv.length, combined.length - iv.length);
- return new String(decrypted, StandardCharsets.UTF_8);
- } catch (GeneralSecurityException | IllegalArgumentException e) {
- throw new IllegalStateException("Не удалось расшифровать персональные данные", e);
- }
- }
-}
\ No newline at end of file
+ }
+}
diff --git a/src/main/java/ru/pdguard/core/PayloadStore.java b/src/main/java/ru/pdguard/core/PayloadStore.java
index f7546ea..317c0f4 100644
--- a/src/main/java/ru/pdguard/core/PayloadStore.java
+++ b/src/main/java/ru/pdguard/core/PayloadStore.java
@@ -1,9 +1,5 @@
package ru.pdguard.core;
-import org.springframework.beans.factory.annotation.Autowired;
-import org.springframework.beans.factory.annotation.Value;
-import org.springframework.stereotype.Component;
-
import java.nio.charset.StandardCharsets;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
@@ -12,191 +8,194 @@ import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;
import java.util.concurrent.atomic.AtomicLong;
+import org.springframework.beans.factory.annotation.Autowired;
+import org.springframework.beans.factory.annotation.Value;
+import org.springframework.stereotype.Component;
/**
* Соответствие «исходный текст ↔ маска», по которому выполняется демаскирование.
*
- *
Два индекса: по {@code payload_id} — основной путь, и по отпечатку маски —
- * страховка на случай, если идентификатор до сервиса не доехал.
+ *
Два индекса: по {@code payload_id} — основной путь, и по отпечатку маски — страховка на
+ * случай, если идентификатор до сервиса не доехал.
*
- *
Оба индекса разделены по системам-потребителям. Индекс по отпечатку ищет
- * совпадение по самому тексту запроса, и без такого разделения он превращался бы в
- * способ достать чужие данные: маски детерминированы и низкоэнтропийны, поэтому,
- * прислав «Клиент И. И. И., паспорт 45** ****56», можно было бы получить в ответ
- * исходные значения из запроса другого потребителя. Разделение ограничивает это
- * пределами одной системы, которая и так видит свои данные.
+ *
Оба индекса разделены по системам-потребителям. Индекс по отпечатку ищет совпадение по самому
+ * тексту запроса, и без такого разделения он превращался бы в способ достать чужие данные: маски
+ * детерминированы и низкоэнтропийны, поэтому, прислав «Клиент И. И. И., паспорт 45** ****56», можно
+ * было бы получить в ответ исходные значения из запроса другого потребителя. Разделение
+ * ограничивает это пределами одной системы, которая и так видит свои данные.
*
- *
Хранилище ограничено по суммарному объёму строк, а записи живут ограниченное
- * время: персональные данные не должны залёживаться в памяти, а крупные тексты не
- * должны исчерпать кучу. Вытеснение идёт в порядке добавления и выполняется прямо
- * на записи — отдельного потока и внешней библиотеки кеширования не требуется.
+ *
Хранилище ограничено по суммарному объёму строк, а записи живут ограниченное время:
+ * персональные данные не должны залёживаться в памяти, а крупные тексты не должны исчерпать кучу.
+ * Вытеснение идёт в порядке добавления и выполняется прямо на записи — отдельного потока и внешней
+ * библиотеки кеширования не требуется.
*
- *
Когда включён общий слой ({@link SharedIndex}), соответствие пишется ещё и туда,
- * а чтение при промахе по локальной памяти идёт в него. Это нужно при работе на
- * нескольких узлах: обратный запрос легко попадает не на тот узел, который выполнял
- * прямой. Локальная память при этом остаётся первым уровнем, и обычный путь
- * обходится без обращения по сети.
+ *
Когда включён общий слой ({@link SharedIndex}), соответствие пишется ещё и туда, а чтение при
+ * промахе по локальной памяти идёт в него. Это нужно при работе на нескольких узлах: обратный
+ * запрос легко попадает не на тот узел, который выполнял прямой. Локальная память при этом остаётся
+ * первым уровнем, и обычный путь обходится без обращения по сети.
*/
@Component
public class PayloadStore {
- /** Сколько протухших записей просматривается за одну операцию записи. */
- private static final int SWEEP_PER_PUT = 4;
+ /** Сколько протухших записей просматривается за одну операцию записи. */
+ private static final int SWEEP_PER_PUT = 4;
- /** Пара «исходный текст — маска» с отпечатком, владельцем и сроком жизни. */
- public record Entry(String system, String original, String masked,
- String fingerprint, long expiresAt) {
+ /** Пара «исходный текст — маска» с отпечатком, владельцем и сроком жизни. */
+ public record Entry(
+ String system, String original, String masked, String fingerprint, long expiresAt) {
- boolean alive(long now) {
- return now < expiresAt;
- }
-
- int weight() {
- return original.length() + masked.length();
- }
+ boolean alive(long now) {
+ return now < expiresAt;
}
- private final Map byId = new ConcurrentHashMap<>();
- private final Map byMaskFingerprint = new ConcurrentHashMap<>();
- private final ConcurrentLinkedQueue insertionOrder = new ConcurrentLinkedQueue<>();
- private final AtomicLong charsHeld = new AtomicLong();
-
- private final long maxChars;
- private final long ttlMillis;
- private final SharedIndex shared;
- private final PayloadCipher cipher;
-
- @Autowired
- public PayloadStore(
- @Value("${pdguard.store.max-chars:134217728}") long maxChars,
- @Value("${pdguard.store.ttl-minutes:30}") int ttlMinutes,
- SharedIndex shared,
- PayloadCipher cipher) {
- this.maxChars = maxChars;
- this.ttlMillis = ttlMinutes * 60_000L;
- this.shared = shared;
- this.cipher = cipher;
+ int weight() {
+ return original.length() + masked.length();
}
+ }
- /** Конструктор для тестов: только локальная память, общий слой и шифрование выключены. */
- public PayloadStore(long maxChars, int ttlMinutes) {
- this(maxChars, ttlMinutes, SharedIndex.disabled(), PayloadCipher.disabled());
+ private final Map byId = new ConcurrentHashMap<>();
+ private final Map byMaskFingerprint = new ConcurrentHashMap<>();
+ private final ConcurrentLinkedQueue insertionOrder = new ConcurrentLinkedQueue<>();
+ private final AtomicLong charsHeld = new AtomicLong();
+
+ private final long maxChars;
+ private final long ttlMillis;
+ private final SharedIndex shared;
+ private final PayloadCipher cipher;
+
+ @Autowired
+ public PayloadStore(
+ @Value("${pdguard.store.max-chars:134217728}") long maxChars,
+ @Value("${pdguard.store.ttl-minutes:30}") int ttlMinutes,
+ SharedIndex shared,
+ PayloadCipher cipher) {
+ this.maxChars = maxChars;
+ this.ttlMillis = ttlMinutes * 60_000L;
+ this.shared = shared;
+ this.cipher = cipher;
+ }
+
+ /** Конструктор для тестов: только локальная память, общий слой и шифрование выключены. */
+ public PayloadStore(long maxChars, int ttlMinutes) {
+ this(maxChars, ttlMinutes, SharedIndex.disabled(), PayloadCipher.disabled());
+ }
+
+ public void put(String system, String payloadId, String original, String masked) {
+ long now = System.currentTimeMillis();
+ String encrypted = cipher.encrypt(original);
+ Entry entry = new Entry(system, encrypted, masked, fingerprint(masked), now + ttlMillis);
+ String idKey = ScopedKey.of(system, payloadId);
+
+ Entry replaced = byId.put(idKey, entry);
+ byMaskFingerprint.put(ScopedKey.of(system, entry.fingerprint()), entry);
+ insertionOrder.add(idKey);
+ charsHeld.addAndGet((long) entry.weight() - (replaced == null ? 0 : replaced.weight()));
+
+ sweepExpired(now);
+ evictWhileOverLimit();
+
+ shared.put(system, payloadId, encrypted, masked, entry.fingerprint());
+ }
+
+ public Entry byId(String system, String payloadId) {
+ String idKey = ScopedKey.of(system, payloadId);
+ Entry entry = byId.get(idKey);
+ if (entry != null && entry.alive(System.currentTimeMillis())) {
+ return decrypt(entry);
}
-
- public void put(String system, String payloadId, String original, String masked) {
- long now = System.currentTimeMillis();
- String encrypted = cipher.encrypt(original);
- Entry entry = new Entry(system, encrypted, masked, fingerprint(masked), now + ttlMillis);
- String idKey = ScopedKey.of(system, payloadId);
-
- Entry replaced = byId.put(idKey, entry);
- byMaskFingerprint.put(ScopedKey.of(system, entry.fingerprint()), entry);
- insertionOrder.add(idKey);
- charsHeld.addAndGet((long) entry.weight() - (replaced == null ? 0 : replaced.weight()));
-
- sweepExpired(now);
- evictWhileOverLimit();
-
- shared.put(system, payloadId, encrypted, masked, entry.fingerprint());
+ if (entry != null) {
+ forget(idKey, entry);
}
+ SharedIndex.SharedEntry fromShared = shared.byId(system, payloadId);
+ if (fromShared == null) {
+ return null;
+ }
+ // Соседний узел уже выполнял прямой шаг: забираем соответствие к себе,
+ // чтобы повторное обращение обошлось без сети.
+ put(system, payloadId, fromShared.original(), fromShared.masked());
+ return decrypt(byId.get(idKey));
+ }
- public Entry byId(String system, String payloadId) {
- String idKey = ScopedKey.of(system, payloadId);
- Entry entry = byId.get(idKey);
- if (entry != null && entry.alive(System.currentTimeMillis())) {
- return decrypt(entry);
- }
- if (entry != null) {
- forget(idKey, entry);
- }
- SharedIndex.SharedEntry fromShared = shared.byId(system, payloadId);
- if (fromShared == null) {
- return null;
- }
- // Соседний узел уже выполнял прямой шаг: забираем соответствие к себе,
- // чтобы повторное обращение обошлось без сети.
- put(system, payloadId, fromShared.original(), fromShared.masked());
- return decrypt(byId.get(idKey));
+ /**
+ * Исходный текст по самой маске — когда {@code payload_id} не совпал. Поиск идёт только в
+ * пределах той же системы: чужую маску подобрать и обменять на исходные данные нельзя.
+ */
+ public String originalForMask(String system, String masked) {
+ String fingerprint = fingerprint(masked);
+ Entry entry = byMaskFingerprint.get(ScopedKey.of(system, fingerprint));
+ if (entry != null && entry.alive(System.currentTimeMillis())) {
+ return cipher.decrypt(entry.original());
}
+ return shared.originalForFingerprint(system, fingerprint);
+ }
- /**
- * Исходный текст по самой маске — когда {@code payload_id} не совпал. Поиск идёт
- * только в пределах той же системы: чужую маску подобрать и обменять на исходные
- * данные нельзя.
- */
- public String originalForMask(String system, String masked) {
- String fingerprint = fingerprint(masked);
- Entry entry = byMaskFingerprint.get(ScopedKey.of(system, fingerprint));
- if (entry != null && entry.alive(System.currentTimeMillis())) {
- return cipher.decrypt(entry.original());
- }
- return shared.originalForFingerprint(system, fingerprint);
- }
+ /** Сколько символов сейчас удерживается — для диагностики и тестов. */
+ public long charsHeld() {
+ return charsHeld.get();
+ }
- /** Сколько символов сейчас удерживается — для диагностики и тестов. */
- public long charsHeld() {
- return charsHeld.get();
- }
-/**
- * Убирает протухшие записи с головы очереди, не более нескольких за раз.
- */
- private void sweepExpired(long now) {
- for (int i = 0; i < SWEEP_PER_PUT; i++) {
- String oldest = insertionOrder.peek();
- if (oldest == null) {
- return;
- }
- Entry entry = byId.get(oldest);
- if (entry == null) {
- insertionOrder.poll();
- continue;
- }
- if (entry.alive(now)) {
- return;
- }
- insertionOrder.poll();
- forget(oldest, entry);
- }
+ /** Убирает протухшие записи с головы очереди, не более нескольких за раз. */
+ private void sweepExpired(long now) {
+ for (int i = 0; i < SWEEP_PER_PUT; i++) {
+ String oldest = insertionOrder.peek();
+ if (oldest == null) {
+ return;
+ }
+ Entry entry = byId.get(oldest);
+ if (entry == null) {
+ insertionOrder.poll();
+ continue;
+ }
+ if (entry.alive(now)) {
+ return;
+ }
+ insertionOrder.poll();
+ forget(oldest, entry);
}
+ }
- private void evictWhileOverLimit() {
- while (charsHeld.get() > maxChars) {
- String oldest = insertionOrder.poll();
- if (oldest == null) {
- return;
- }
- Entry entry = byId.get(oldest);
- if (entry != null) {
- // ponytail: если тот же payload_id записали повторно, в очереди остался
- // старый след и здесь вытесняется свежая запись. Цена — одно лишнее
- // обращение к маскированию; точный учёт потребовал бы двусвязного списка.
- forget(oldest, entry);
- }
- }
+ private void evictWhileOverLimit() {
+ while (charsHeld.get() > maxChars) {
+ String oldest = insertionOrder.poll();
+ if (oldest == null) {
+ return;
+ }
+ Entry entry = byId.get(oldest);
+ if (entry != null) {
+ // ponytail: если тот же payload_id записали повторно, в очереди остался
+ // старый след и здесь вытесняется свежая запись. Цена — одно лишнее
+ // обращение к маскированию; точный учёт потребовал бы двусвязного списка.
+ forget(oldest, entry);
+ }
}
+ }
- private void forget(String idKey, Entry entry) {
- if (byId.remove(idKey, entry)) {
- byMaskFingerprint.remove(ScopedKey.of(entry.system(), entry.fingerprint()), entry);
- charsHeld.addAndGet(-entry.weight());
- }
+ private void forget(String idKey, Entry entry) {
+ if (byId.remove(idKey, entry)) {
+ byMaskFingerprint.remove(ScopedKey.of(entry.system(), entry.fingerprint()), entry);
+ charsHeld.addAndGet(-entry.weight());
}
+ }
- /** Возвращает запись с расшифрованным исходным текстом. */
- private Entry decrypt(Entry entry) {
- if (entry == null) {
- return null;
- }
- return new Entry(entry.system(), cipher.decrypt(entry.original()), entry.masked(),
- entry.fingerprint(), entry.expiresAt());
+ /** Возвращает запись с расшифрованным исходным текстом. */
+ private Entry decrypt(Entry entry) {
+ if (entry == null) {
+ return null;
}
+ return new Entry(
+ entry.system(),
+ cipher.decrypt(entry.original()),
+ entry.masked(),
+ entry.fingerprint(),
+ entry.expiresAt());
+ }
- private static String fingerprint(String value) {
- try {
- MessageDigest sha = MessageDigest.getInstance("SHA-256");
- return HexFormat.of().formatHex(sha.digest(value.getBytes(StandardCharsets.UTF_8)));
- } catch (NoSuchAlgorithmException e) {
- throw new IllegalStateException("SHA-256 недоступен в этой среде выполнения", e);
- }
+ private static String fingerprint(String value) {
+ try {
+ MessageDigest sha = MessageDigest.getInstance("SHA-256");
+ return HexFormat.of().formatHex(sha.digest(value.getBytes(StandardCharsets.UTF_8)));
+ } catch (NoSuchAlgorithmException e) {
+ throw new IllegalStateException("SHA-256 недоступен в этой среде выполнения", e);
}
-}
\ No newline at end of file
+ }
+}
diff --git a/src/main/java/ru/pdguard/core/Pipeline.java b/src/main/java/ru/pdguard/core/Pipeline.java
index a9b9f52..9feec48 100644
--- a/src/main/java/ru/pdguard/core/Pipeline.java
+++ b/src/main/java/ru/pdguard/core/Pipeline.java
@@ -4,6 +4,14 @@ import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.MeterRegistry;
import io.micrometer.core.instrument.Timer;
import io.micrometer.core.instrument.simple.SimpleMeterRegistry;
+import java.util.ArrayList;
+import java.util.Comparator;
+import java.util.LinkedHashMap;
+import java.util.List;
+import java.util.Map;
+import java.util.NavigableMap;
+import java.util.TreeMap;
+import java.util.concurrent.TimeUnit;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
@@ -19,313 +27,322 @@ import ru.pdguard.mask.MaskContext;
import ru.pdguard.mask.MaskMode;
import ru.pdguard.mask.Masker;
-import java.util.ArrayList;
-import java.util.Comparator;
-import java.util.LinkedHashMap;
-import java.util.List;
-import java.util.Map;
-import java.util.NavigableMap;
-import java.util.TreeMap;
-import java.util.concurrent.TimeUnit;
-
/**
* Обработка одного обращения: поиск ПД, маскирование и обратное преобразование.
*
* Направление определяется по {@code payload_id}, а не по содержимому запроса:
+ *
*
- * - идентификатор неизвестен — маскируем;
- * - пришёл ранее выданный нами текст маски — возвращаем исходный текст;
- * - пришёл тот же исходный текст — возвращаем ту же маску, что и в первый раз.
+ * - идентификатор неизвестен — маскируем;
+ *
- пришёл ранее выданный нами текст маски — возвращаем исходный текст;
+ *
- пришёл тот же исходный текст — возвращаем ту же маску, что и в первый раз.
*
- * Последний случай — повторная попытка проверяющей системы: ответ обязан
- * совпасть с первым, иначе демаскирование по этому элементу развалится.
+ *
+ * Последний случай — повторная попытка проверяющей системы: ответ обязан совпасть с первым, иначе
+ * демаскирование по этому элементу развалится.
*/
@Component
public class Pipeline {
- private static final Logger LOG = LoggerFactory.getLogger(Pipeline.class);
+ private static final Logger LOG = LoggerFactory.getLogger(Pipeline.class);
- /** Грубая оценка числа токенов по числу символов — для метрики TPS. */
- private static final int CHARS_PER_TOKEN = 4;
+ /** Грубая оценка числа токенов по числу символов — для метрики TPS. */
+ private static final int CHARS_PER_TOKEN = 4;
- private final RuleRegistry registry;
- private final Masker masker;
- private final PayloadStore store;
- private final MeterRegistry meters;
- private final NameCascade cascade;
- private final Counter tokensProcessed;
- private final Counter unresolvedDemask;
+ private final RuleRegistry registry;
+ private final Masker masker;
+ private final PayloadStore store;
+ private final MeterRegistry meters;
+ private final NameCascade cascade;
+ private final Counter tokensProcessed;
+ private final Counter unresolvedDemask;
- @Autowired
- public Pipeline(RuleRegistry registry, Masker masker, PayloadStore store, MeterRegistry meters,
- NameCascade cascade) {
- this.registry = registry;
- this.masker = masker;
- this.store = store;
- this.meters = meters;
- this.cascade = cascade;
- meters.gauge("pdguard.store.chars", store, PayloadStore::charsHeld);
- this.tokensProcessed = Counter.builder("pdguard.tokens.processed")
- .description("Оценка числа обработанных токенов, для расчёта TPS")
- .register(meters);
- this.unresolvedDemask = Counter.builder("pdguard.demask.unresolved")
- .description("Запрос на демаскирование, для которого соответствие не нашлось ни по "
- + "id, ни по отпечатку маски — обработан как новое маскирование")
- .register(meters);
- }
+ @Autowired
+ public Pipeline(
+ RuleRegistry registry,
+ Masker masker,
+ PayloadStore store,
+ MeterRegistry meters,
+ NameCascade cascade) {
+ this.registry = registry;
+ this.masker = masker;
+ this.store = store;
+ this.meters = meters;
+ this.cascade = cascade;
+ meters.gauge("pdguard.store.chars", store, PayloadStore::charsHeld);
+ this.tokensProcessed =
+ Counter.builder("pdguard.tokens.processed")
+ .description("Оценка числа обработанных токенов, для расчёта TPS")
+ .register(meters);
+ this.unresolvedDemask =
+ Counter.builder("pdguard.demask.unresolved")
+ .description(
+ "Запрос на демаскирование, для которого соответствие не нашлось ни по "
+ + "id, ни по отпечатку маски — обработан как новое маскирование")
+ .register(meters);
+ }
- /** Конструктор для тестов: метрики никуда не отдаются, вторая ступень выключена. */
- public Pipeline(RuleRegistry registry, Masker masker, PayloadStore store) {
- this(registry, masker, store, new SimpleMeterRegistry(), NameCascade.disabled());
- }
+ /** Конструктор для тестов: метрики никуда не отдаются, вторая ступень выключена. */
+ public Pipeline(RuleRegistry registry, Masker masker, PayloadStore store) {
+ this(registry, masker, store, new SimpleMeterRegistry(), NameCascade.disabled());
+ }
- /** Конструктор для тестов второй ступени. */
- public Pipeline(RuleRegistry registry, Masker masker, PayloadStore store, NameCascade cascade) {
- this(registry, masker, store, new SimpleMeterRegistry(), cascade);
- }
+ /** Конструктор для тестов второй ступени. */
+ public Pipeline(RuleRegistry registry, Masker masker, PayloadStore store, NameCascade cascade) {
+ this(registry, masker, store, new SimpleMeterRegistry(), cascade);
+ }
- public String process(String payload, String payloadId, SystemPolicy policy) {
- long started = System.nanoTime();
- tokensProcessed.increment((double) payload.length() / CHARS_PER_TOKEN);
-
- PayloadStore.Entry known = store.byId(policy.name(), payloadId);
- if (known != null) {
- if (policy.demask() && payload.equals(known.masked())) {
- LOG.debug("payload_id={} обратное преобразование по идентификатору", payloadId);
- recordLatency("unmask", policy.name(), started);
- return known.original();
- }
- if (payload.equals(known.original())) {
- LOG.debug("payload_id={} повторная попытка, отдаём прежнюю маску", payloadId);
- recordLatency("mask", policy.name(), started);
- return known.masked();
- }
- }
- if (policy.demask()) {
- String original = store.originalForMask(policy.name(), payload);
- if (original != null) {
- LOG.debug("payload_id={} обратное преобразование по отпечатку маски", payloadId);
- recordLatency("unmask", policy.name(), started);
- return original;
- }
- // Соответствие не нашлось нигде — не отличить достоверно новый payload от
- // демаскирования с утраченным состоянием (например, узел, где маскировали,
- // не успел записать в общий слой). Ниже это обработается как маскирование
- // «с нуля», что для настоящего демаскирования даст неверный ответ — считаем
- // и логируем каждый такой случай явно, чтобы не потерять его молча.
- unresolvedDemask.increment();
- LOG.warn("payload_id={} демаскирование не нашло соответствие ни по id, ни по "
- + "отпечатку маски — payload обработан как новый (см. pdguard.demask.unresolved)",
- payloadId);
- }
- return mask(payload, payloadId, policy, started);
- }
-
- /**
- * Длительность обработки с разрезом по направлению и системе-потребителю.
- * Метрики берутся из реестра по тегам: систем немного и они заданы настройками,
- * поэтому разрастания рядов не будет, а разрез по потребителям виден сразу.
- */
- private void recordLatency(String direction, String system, long startedNanos) {
- Timer.builder("pdguard.process")
- .description("Длительность обработки обращения")
- .tag("direction", direction)
- .tag("system", system)
- .register(meters)
- .record(System.nanoTime() - startedNanos, TimeUnit.NANOSECONDS);
- }
-
- /**
- * Фрагменты, которые будут замаскированы: поиск по правилам, разрешение
- * перекрытий и все отсечения. Отдельный метод нужен, чтобы качество детекции
- * можно было измерить, не разбирая замаскированный текст обратно.
- */
- public List findPersonalData(String text, SystemPolicy policy) {
- List spans = resolveOverlaps(registry.detect(text, policy));
- if (cascade.coversAny(policy)) {
- // Вторая ступень разбирает только то, что не покрыла первая.
- spans = resolveOverlaps(cascade.addMissedNames(text, spans));
- }
- spans = dropOrganisationNames(text, spans);
- spans = dropWellKnownNames(text, spans);
- return dropLonelyCompanions(spans, policy);
- }
-
- private String mask(String payload, String payloadId, SystemPolicy policy, long started) {
- List spans = findPersonalData(payload, policy);
- String masked = apply(payload, spans, policy);
- store.put(policy.name(), payloadId, payload, masked);
+ public String process(String payload, String payloadId, SystemPolicy policy) {
+ long started = System.nanoTime();
+ tokensProcessed.increment((double) payload.length() / CHARS_PER_TOKEN);
+ PayloadStore.Entry known = store.byId(policy.name(), payloadId);
+ if (known != null) {
+ if (policy.demask() && payload.equals(known.masked())) {
+ LOG.debug("payload_id={} обратное преобразование по идентификатору", payloadId);
+ recordLatency("unmask", policy.name(), started);
+ return known.original();
+ }
+ if (payload.equals(known.original())) {
+ LOG.debug("payload_id={} повторная попытка, отдаём прежнюю маску", payloadId);
recordLatency("mask", policy.name(), started);
- logFindings(policy.name(), payloadId, payload.length(), spans);
- return masked;
+ return known.masked();
+ }
}
-
- /**
- * Оставляет непересекающиеся фрагменты: при конфликте побеждает более
- * приоритетный, при равном приоритете — более длинный.
- */
- static List resolveOverlaps(List spans) {
- List candidates = new ArrayList<>(spans);
- candidates.sort(Comparator.comparingInt(Span::priority).reversed()
- .thenComparing(Comparator.comparingInt(Span::length).reversed())
- .thenComparingInt(Span::start));
-
- // Принятые фрагменты не пересекаются и упорядочены по началу, поэтому
- // кандидату достаточно сверить себя с ближайшим слева и ближайшим справа.
- // Перебор всех принятых давал бы квадрат: на тексте в сотню тысяч токенов
- // фрагментов набираются тысячи.
- NavigableMap accepted = new TreeMap<>();
- for (Span candidate : candidates) {
- if (overlapsAccepted(accepted, candidate)) {
- continue;
- }
- accepted.put(candidate.start(), candidate);
- }
- return List.copyOf(accepted.values());
+ if (policy.demask()) {
+ String original = store.originalForMask(policy.name(), payload);
+ if (original != null) {
+ LOG.debug("payload_id={} обратное преобразование по отпечатку маски", payloadId);
+ recordLatency("unmask", policy.name(), started);
+ return original;
+ }
+ // Соответствие не нашлось нигде — не отличить достоверно новый payload от
+ // демаскирования с утраченным состоянием (например, узел, где маскировали,
+ // не успел записать в общий слой). Ниже это обработается как маскирование
+ // «с нуля», что для настоящего демаскирования даст неверный ответ — считаем
+ // и логируем каждый такой случай явно, чтобы не потерять его молча.
+ unresolvedDemask.increment();
+ LOG.warn(
+ "payload_id={} демаскирование не нашло соответствие ни по id, ни по "
+ + "отпечатку маски — payload обработан как новый (см. pdguard.demask.unresolved)",
+ payloadId);
}
+ return mask(payload, payloadId, policy, started);
+ }
- /** Проверяет, пересекается ли кандидат с ближайшим принятым слева или справа. */
- private static boolean overlapsAccepted(NavigableMap accepted, Span candidate) {
- Map.Entry before = accepted.floorEntry(candidate.start());
- if (before != null && before.getValue().overlaps(candidate)) {
- return true;
- }
- Map.Entry after = accepted.ceilingEntry(candidate.start());
- return after != null && after.getValue().overlaps(candidate);
- }
+ /**
+ * Длительность обработки с разрезом по направлению и системе-потребителю. Метрики берутся из
+ * реестра по тегам: систем немного и они заданы настройками, поэтому разрастания рядов не будет,
+ * а разрез по потребителям виден сразу.
+ */
+ private void recordLatency(String direction, String system, long startedNanos) {
+ Timer.builder("pdguard.process")
+ .description("Длительность обработки обращения")
+ .tag("direction", direction)
+ .tag("system", system)
+ .register(meters)
+ .record(System.nanoTime() - startedNanos, TimeUnit.NANOSECONDS);
+ }
- /**
- * Убирает имена, стоящие в названиях организаций и объектов на карте:
- * «Институт Склифосовского», «Музей Тропинина», «улица Королёва». Проверка
- * не зависит от того, есть ли в тексте другие ПД: слово перед именем решает
- * само по себе.
- */
- static List dropOrganisationNames(String text, List spans) {
- return spans.stream()
- .filter(span -> !PdTypes.FIO.equals(span.type())
- || !OrganisationDetector.precededByOrganisation(text, span.start()))
- .toList();
+ /**
+ * Фрагменты, которые будут замаскированы: поиск по правилам, разрешение перекрытий и все
+ * отсечения. Отдельный метод нужен, чтобы качество детекции можно было измерить, не разбирая
+ * замаскированный текст обратно.
+ */
+ public List findPersonalData(String text, SystemPolicy policy) {
+ List spans = resolveOverlaps(registry.detect(text, policy));
+ if (cascade.coversAny(policy)) {
+ // Вторая ступень разбирает только то, что не покрыла первая.
+ spans = resolveOverlaps(cascade.addMissedNames(text, spans));
}
+ spans = dropOrganisationNames(text, spans);
+ spans = dropWellKnownNames(text, spans);
+ return dropLonelyCompanions(spans, policy);
+ }
- /**
- * Убирает имена известных людей: «стихи Александра Пушкина» персональными
- * данными не являются. Если же в тексте есть ПД другого типа, речь идёт о
- * конкретном человеке, и имя остаётся замаскированным — однофамилец
- * исторической фигуры защиту не теряет.
- */
- static List dropWellKnownNames(String text, List spans) {
- boolean otherPersonalDataPresent = spans.stream()
- .anyMatch(span -> !PdTypes.FIO.equals(span.type()));
- if (otherPersonalDataPresent) {
- return spans;
- }
- return spans.stream()
- .filter(span -> !PdTypes.FIO.equals(span.type()) || !isWellKnownHere(text, span))
- .toList();
- }
+ private String mask(String payload, String payloadId, SystemPolicy policy, long started) {
+ List spans = findPersonalData(payload, policy);
+ String masked = apply(payload, spans, policy);
+ store.put(policy.name(), payloadId, payload, masked);
- /**
- * Известный человек по самому спану («Пушкина») или по спану вместе со следующим
- * словом («Ярослав» + «Мудрый»): правило-однослов ловит имя правителя отдельно от
- * прозвища, а {@code REGNAL_NAME} распознаёт только двухсловную форму целиком.
- */
- private static boolean isWellKnownHere(String text, Span span) {
- if (NameDictionary.isWellKnown(text.substring(span.start(), span.end()))) {
- return true;
- }
- int wordStart = span.end();
- while (wordStart < text.length() && Character.isWhitespace(text.charAt(wordStart))) {
- wordStart++;
- }
- int wordEnd = wordStart;
- while (wordEnd < text.length() && Character.isLetter(text.charAt(wordEnd))) {
- wordEnd++;
- }
- return wordEnd > wordStart && NameDictionary.isWellKnown(text.substring(span.start(), wordEnd));
- }
+ recordLatency("mask", policy.name(), started);
+ logFindings(policy.name(), payloadId, payload.length(), spans);
+ return masked;
+ }
- /**
- * Убирает типы, которые опасны только в сочетании с другими ПД.
- * Пин-код в отрыве от номера карты не является персональными данными,
- * рядом с номером карты — является.
- *
- * Спутником считается только находка самостоятельного типа. Раньше здесь
- * сравнивалось число различных типов, и два спутника заверяли друг друга:
- * «Оплата 01.02.2025, ОГРН 1027700132195» маскировалась целиком, хотя человека
- * в тексте нет, а дата и ОГРН по отдельности персональными данными не являются.
- * Сочетание двух несамостоятельных типов самостоятельным не становится.
- */
- static List dropLonelyCompanions(List spans, SystemPolicy policy) {
- for (Span span : spans) {
- if (!policy.needsCompanion(span.type())) {
- return spans;
- }
- }
- // Дошли сюда — самостоятельных находок нет, а значит все оставшиеся спутники одиноки.
- return List.of();
- }
+ /**
+ * Оставляет непересекающиеся фрагменты: при конфликте побеждает более приоритетный, при равном
+ * приоритете — более длинный.
+ */
+ static List resolveOverlaps(List spans) {
+ List candidates = new ArrayList<>(spans);
+ candidates.sort(
+ Comparator.comparingInt(Span::priority)
+ .reversed()
+ .thenComparing(Comparator.comparingInt(Span::length).reversed())
+ .thenComparingInt(Span::start));
- /** Замаскированный текст вместе с таблицей обратной замены. */
- public record Masked(String text, Map restorations) {
- public Masked {
- restorations = Map.copyOf(restorations);
- }
+ // Принятые фрагменты не пересекаются и упорядочены по началу, поэтому
+ // кандидату достаточно сверить себя с ближайшим слева и ближайшим справа.
+ // Перебор всех принятых давал бы квадрат: на тексте в сотню тысяч токенов
+ // фрагментов набираются тысячи.
+ NavigableMap accepted = new TreeMap<>();
+ for (Span candidate : candidates) {
+ if (overlapsAccepted(accepted, candidate)) {
+ continue;
+ }
+ accepted.put(candidate.start(), candidate);
}
+ return List.copyOf(accepted.values());
+ }
- /**
- * Маскирует текст и отдаёт таблицу обратной замены.
- *
- * Нужно для прокси к языковой модели: ответ модели — другой текст, и восстановить
- * его целиком по идентификатору нельзя, замену приходится делать пофрагментно.
- * Звёздочки для этого не годятся — одна и та же маска может отвечать разным
- * значениям, — поэтому режим замены здесь всегда обратимый.
- */
- public Masked maskWithRestorations(String text, SystemPolicy policy) {
- SystemPolicy reversible = new SystemPolicy(policy.name(), policy.enabled(), policy.demask(),
- MaskMode.TOKEN, policy.types(), policy.requireCompanion(), policy.key());
- List spans = findPersonalData(text, reversible);
- if (spans.isEmpty()) {
- return new Masked(text, Map.of());
- }
- MaskContext context = new MaskContext();
- String masked = apply(text, spans, reversible, context);
- logFindings(policy.name(), "proxy", text.length(), spans);
- return new Masked(masked, context.restorations());
+ /** Проверяет, пересекается ли кандидат с ближайшим принятым слева или справа. */
+ private static boolean overlapsAccepted(NavigableMap accepted, Span candidate) {
+ Map.Entry before = accepted.floorEntry(candidate.start());
+ if (before != null && before.getValue().overlaps(candidate)) {
+ return true;
}
+ Map.Entry after = accepted.ceilingEntry(candidate.start());
+ return after != null && after.getValue().overlaps(candidate);
+ }
- private String apply(String text, List spans, SystemPolicy policy) {
- return apply(text, spans, policy, new MaskContext());
- }
+ /**
+ * Убирает имена, стоящие в названиях организаций и объектов на карте: «Институт Склифосовского»,
+ * «Музей Тропинина», «улица Королёва». Проверка не зависит от того, есть ли в тексте другие ПД:
+ * слово перед именем решает само по себе.
+ */
+ static List dropOrganisationNames(String text, List spans) {
+ return spans.stream()
+ .filter(
+ span ->
+ !PdTypes.FIO.equals(span.type())
+ || !OrganisationDetector.precededByOrganisation(text, span.start()))
+ .toList();
+ }
- private String apply(String text, List spans, SystemPolicy policy, MaskContext context) {
- if (spans.isEmpty()) {
- return text;
- }
- StringBuilder sb = new StringBuilder(text.length());
- int cursor = 0;
- for (Span span : spans) {
- sb.append(text, cursor, span.start());
- String value = text.substring(span.start(), span.end());
- sb.append(masker.mask(span.type(), value, policy.maskMode(), context));
- cursor = span.end();
- }
- sb.append(text, cursor, text.length());
- return sb.toString();
+ /**
+ * Убирает имена известных людей: «стихи Александра Пушкина» персональными данными не являются.
+ * Если же в тексте есть ПД другого типа, речь идёт о конкретном человеке, и имя остаётся
+ * замаскированным — однофамилец исторической фигуры защиту не теряет.
+ */
+ static List dropWellKnownNames(String text, List spans) {
+ boolean otherPersonalDataPresent =
+ spans.stream().anyMatch(span -> !PdTypes.FIO.equals(span.type()));
+ if (otherPersonalDataPresent) {
+ return spans;
}
+ return spans.stream()
+ .filter(span -> !PdTypes.FIO.equals(span.type()) || !isWellKnownHere(text, span))
+ .toList();
+ }
- /**
- * В журнал и в метрики попадают только идентификатор, типы ПД и их количество.
- * На INFO и выше сами значения не логируются; на DEBUG они временно видны через
- * отдельный вызов в {@link #mask} — см. комментарий там.
- */
- private void logFindings(String system, String payloadId, int length, List spans) {
- Map counts = new LinkedHashMap<>();
- for (Span span : spans) {
- counts.merge(span.type(), 1, Integer::sum);
- }
- counts.forEach((type, count) ->
- meters.counter("pdguard.pd.detected", "type", type, "system", system).increment(count));
- LOG.info("payload_id={} символов={} найдено={}", payloadId, length, counts);
+ /**
+ * Известный человек по самому спану («Пушкина») или по спану вместе со следующим словом
+ * («Ярослав» + «Мудрый»): правило-однослов ловит имя правителя отдельно от прозвища, а {@code
+ * REGNAL_NAME} распознаёт только двухсловную форму целиком.
+ */
+ private static boolean isWellKnownHere(String text, Span span) {
+ if (NameDictionary.isWellKnown(text.substring(span.start(), span.end()))) {
+ return true;
}
-}
\ No newline at end of file
+ int wordStart = span.end();
+ while (wordStart < text.length() && Character.isWhitespace(text.charAt(wordStart))) {
+ wordStart++;
+ }
+ int wordEnd = wordStart;
+ while (wordEnd < text.length() && Character.isLetter(text.charAt(wordEnd))) {
+ wordEnd++;
+ }
+ return wordEnd > wordStart && NameDictionary.isWellKnown(text.substring(span.start(), wordEnd));
+ }
+
+ /**
+ * Убирает типы, которые опасны только в сочетании с другими ПД. Пин-код в отрыве от номера карты
+ * не является персональными данными, рядом с номером карты — является.
+ *
+ * Спутником считается только находка самостоятельного типа. Раньше здесь сравнивалось число
+ * различных типов, и два спутника заверяли друг друга: «Оплата 01.02.2025, ОГРН 1027700132195»
+ * маскировалась целиком, хотя человека в тексте нет, а дата и ОГРН по отдельности персональными
+ * данными не являются. Сочетание двух несамостоятельных типов самостоятельным не становится.
+ */
+ static List dropLonelyCompanions(List spans, SystemPolicy policy) {
+ for (Span span : spans) {
+ if (!policy.needsCompanion(span.type())) {
+ return spans;
+ }
+ }
+ // Дошли сюда — самостоятельных находок нет, а значит все оставшиеся спутники одиноки.
+ return List.of();
+ }
+
+ /** Замаскированный текст вместе с таблицей обратной замены. */
+ public record Masked(String text, Map restorations) {
+ public Masked {
+ restorations = Map.copyOf(restorations);
+ }
+ }
+
+ /**
+ * Маскирует текст и отдаёт таблицу обратной замены.
+ *
+ * Нужно для прокси к языковой модели: ответ модели — другой текст, и восстановить его целиком
+ * по идентификатору нельзя, замену приходится делать пофрагментно. Звёздочки для этого не годятся
+ * — одна и та же маска может отвечать разным значениям, — поэтому режим замены здесь всегда
+ * обратимый.
+ */
+ public Masked maskWithRestorations(String text, SystemPolicy policy) {
+ SystemPolicy reversible =
+ new SystemPolicy(
+ policy.name(),
+ policy.enabled(),
+ policy.demask(),
+ MaskMode.TOKEN,
+ policy.types(),
+ policy.requireCompanion(),
+ policy.key());
+ List spans = findPersonalData(text, reversible);
+ if (spans.isEmpty()) {
+ return new Masked(text, Map.of());
+ }
+ MaskContext context = new MaskContext();
+ String masked = apply(text, spans, reversible, context);
+ logFindings(policy.name(), "proxy", text.length(), spans);
+ return new Masked(masked, context.restorations());
+ }
+
+ private String apply(String text, List spans, SystemPolicy policy) {
+ return apply(text, spans, policy, new MaskContext());
+ }
+
+ private String apply(String text, List spans, SystemPolicy policy, MaskContext context) {
+ if (spans.isEmpty()) {
+ return text;
+ }
+ StringBuilder sb = new StringBuilder(text.length());
+ int cursor = 0;
+ for (Span span : spans) {
+ sb.append(text, cursor, span.start());
+ String value = text.substring(span.start(), span.end());
+ sb.append(masker.mask(span.type(), value, policy.maskMode(), context));
+ cursor = span.end();
+ }
+ sb.append(text, cursor, text.length());
+ return sb.toString();
+ }
+
+ /**
+ * В журнал и в метрики попадают только идентификатор, типы ПД и их количество. На INFO и выше
+ * сами значения не логируются; на DEBUG они временно видны через отдельный вызов в {@link #mask}
+ * — см. комментарий там.
+ */
+ private void logFindings(String system, String payloadId, int length, List spans) {
+ Map counts = new LinkedHashMap<>();
+ for (Span span : spans) {
+ counts.merge(span.type(), 1, Integer::sum);
+ }
+ counts.forEach(
+ (type, count) ->
+ meters.counter("pdguard.pd.detected", "type", type, "system", system).increment(count));
+ LOG.info("payload_id={} символов={} найдено={}", payloadId, length, counts);
+ }
+}
diff --git a/src/main/java/ru/pdguard/core/PipelineWarmup.java b/src/main/java/ru/pdguard/core/PipelineWarmup.java
index 99cb886..16484f7 100644
--- a/src/main/java/ru/pdguard/core/PipelineWarmup.java
+++ b/src/main/java/ru/pdguard/core/PipelineWarmup.java
@@ -1,6 +1,7 @@
package ru.pdguard.core;
import jakarta.annotation.PostConstruct;
+import java.util.Set;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
@@ -11,69 +12,76 @@ import ru.pdguard.detect.RuleRegistry;
import ru.pdguard.mask.MaskMode;
import ru.pdguard.mask.Masker;
-import java.util.Set;
-
/**
* Прогон обработки на старте, чтобы первые запросы не попадали на непрогретый код.
*
- * На JVM разница измерима: без прогрева первые десятки секунд нагрузки идут по
- * интерпретируемому и наспех скомпилированному коду, и p95 оказывается примерно
- * вдесятеро хуже установившегося. Несколько тысяч прогонов на старте занимают доли
- * секунды и переводят горячий путь на оптимизирующий компилятор до того, как придут
- * настоящие запросы.
+ *
На JVM разница измерима: без прогрева первые десятки секунд нагрузки идут по интерпретируемому
+ * и наспех скомпилированному коду, и p95 оказывается примерно вдесятеро хуже установившегося.
+ * Несколько тысяч прогонов на старте занимают доли секунды и переводят горячий путь на
+ * оптимизирующий компилятор до того, как придут настоящие запросы.
*
- *
Прогрев идёт через отдельный экземпляр обработки со своим короткоживущим
- * хранилищем: настоящие соответствия «текст ↔ маска» замусорить нельзя.
+ *
Прогрев идёт через отдельный экземпляр обработки со своим короткоживущим хранилищем: настоящие
+ * соответствия «текст ↔ маска» замусорить нельзя.
*
- *
Вторая ступень при прогреве выключена, и не только ради времени: её счётчики
- * показывают долю запросов, дошедших до модели, а тысячи служебных прогонов эту
- * долю исказили бы до неузнаваемости. Сама модель прогревается отдельно, при
- * создании своего пула.
+ *
Вторая ступень при прогреве выключена, и не только ради времени: её счётчики показывают долю
+ * запросов, дошедших до модели, а тысячи служебных прогонов эту долю исказили бы до неузнаваемости.
+ * Сама модель прогревается отдельно, при создании своего пула.
*/
@Component
public class PipelineWarmup {
- private static final Logger LOG = LoggerFactory.getLogger(PipelineWarmup.class);
+ private static final Logger LOG = LoggerFactory.getLogger(PipelineWarmup.class);
- /** Тексты подобраны так, чтобы задеть основные семейства правил. */
- private static final String[] SAMPLES = {
- "Клиент Иванов Иван Иванович, паспорт 4509 123456, тел +7 916 123-45-67",
- "Заявление от И.И. Петрова, ИНН 770301234550, почта ivan.petrov@mail.ru",
- "Адрес: 125009, г. Москва, ул. Тверская, д. 7, кв. 15, карта 4111 1111 1111 1111",
- "Дата рождения 12.05.1985, место рождения: город Тверь, гражданство РФ",
- "Напиши краткое описание продукта для рассылки клиентам банка",
- };
+ /** Тексты подобраны так, чтобы задеть основные семейства правил. */
+ private static final String[] SAMPLES = {
+ "Клиент Иванов Иван Иванович, паспорт 4509 123456, тел +7 916 123-45-67",
+ "Заявление от И.И. Петрова, ИНН 770301234550, почта ivan.petrov@mail.ru",
+ "Адрес: 125009, г. Москва, ул. Тверская, д. 7, кв. 15, карта 4111 1111 1111 1111",
+ "Дата рождения 12.05.1985, место рождения: город Тверь, гражданство РФ",
+ "Напиши краткое описание продукта для рассылки клиентам банка",
+ };
- private final RuleRegistry registry;
- private final Masker masker;
- private final int iterations;
+ private final RuleRegistry registry;
+ private final Masker masker;
+ private final int iterations;
- public PipelineWarmup(RuleRegistry registry, Masker masker,
- @Value("${pdguard.warmup-iterations:2000}") int iterations) {
- this.registry = registry;
- this.masker = masker;
- this.iterations = iterations;
+ public PipelineWarmup(
+ RuleRegistry registry,
+ Masker masker,
+ @Value("${pdguard.warmup-iterations:2000}") int iterations) {
+ this.registry = registry;
+ this.masker = masker;
+ this.iterations = iterations;
+ }
+
+ @PostConstruct
+ void warmup() {
+ if (iterations <= 0) {
+ LOG.info("Прогрев обработки отключён");
+ return;
}
+ long started = System.nanoTime();
+ Pipeline scratch =
+ new Pipeline(registry, masker, new PayloadStore(1_000_000L, 1), NameCascade.disabled());
+ SystemPolicy policy =
+ new SystemPolicy(
+ SystemPolicy.DEFAULT_NAME,
+ true,
+ true,
+ MaskMode.MASK,
+ Set.of(SystemPolicy.ALL),
+ SystemPolicy.DEFAULT.requireCompanion(),
+ null);
- @PostConstruct
- void warmup() {
- if (iterations <= 0) {
- LOG.info("Прогрев обработки отключён");
- return;
- }
- long started = System.nanoTime();
- Pipeline scratch = new Pipeline(registry, masker, new PayloadStore(1_000_000L, 1),
- NameCascade.disabled());
- SystemPolicy policy = new SystemPolicy(SystemPolicy.DEFAULT_NAME, true, true, MaskMode.MASK,
- Set.of(SystemPolicy.ALL), SystemPolicy.DEFAULT.requireCompanion(), null);
-
- for (int i = 0; i < iterations; i++) {
- String text = SAMPLES[i % SAMPLES.length];
- String id = "warmup-" + i;
- String masked = scratch.process(text, id, policy);
- scratch.process(masked, id, policy);
- }
- LOG.info("Прогрев обработки: {} прогонов за {} мс",
- iterations, (System.nanoTime() - started) / 1_000_000);
+ for (int i = 0; i < iterations; i++) {
+ String text = SAMPLES[i % SAMPLES.length];
+ String id = "warmup-" + i;
+ String masked = scratch.process(text, id, policy);
+ scratch.process(masked, id, policy);
}
-}
\ No newline at end of file
+ LOG.info(
+ "Прогрев обработки: {} прогонов за {} мс",
+ iterations,
+ (System.nanoTime() - started) / 1_000_000);
+ }
+}
diff --git a/src/main/java/ru/pdguard/core/ScopedKey.java b/src/main/java/ru/pdguard/core/ScopedKey.java
index c843a57..c8c3002 100644
--- a/src/main/java/ru/pdguard/core/ScopedKey.java
+++ b/src/main/java/ru/pdguard/core/ScopedKey.java
@@ -3,18 +3,16 @@ package ru.pdguard.core;
/**
* Ключ, однозначно разделяющий системы-потребители.
*
- *
Длина имени в начале снимает вопрос о разделителе: имя системы может
- * содержать любые знаки, и без длины «a:b» и «ab:» были бы неразличимы.
- * Используется и в локальном хранилище, и в общем слое — единая реализация
- * вместо двух копий.
+ *
Длина имени в начале снимает вопрос о разделителе: имя системы может содержать любые знаки, и
+ * без длины «a:b» и «ab:» были бы неразличимы. Используется и в локальном хранилище, и в общем слое
+ * — единая реализация вместо двух копий.
*/
final class ScopedKey {
- private ScopedKey() {
- }
+ private ScopedKey() {}
- static String of(String system, String key) {
- String owner = system == null ? "" : system;
- return owner.length() + ":" + owner + ":" + key;
- }
-}
\ No newline at end of file
+ static String of(String system, String key) {
+ String owner = system == null ? "" : system;
+ return owner.length() + ":" + owner + ":" + key;
+ }
+}
diff --git a/src/main/java/ru/pdguard/core/SharedIndex.java b/src/main/java/ru/pdguard/core/SharedIndex.java
index 9c10d9a..dec2f46 100644
--- a/src/main/java/ru/pdguard/core/SharedIndex.java
+++ b/src/main/java/ru/pdguard/core/SharedIndex.java
@@ -2,162 +2,164 @@ package ru.pdguard.core;
import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
+import java.time.Duration;
+import java.util.concurrent.atomic.AtomicInteger;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;
-import java.time.Duration;
-import java.util.concurrent.atomic.AtomicInteger;
-
/**
* Общий слой соответствий «текст ↔ маска» для работы на нескольких узлах.
*
- *
Маскирование — чистая функция, на любом узле даёт один и тот же результат.
- * Обратное же преобразование требует состояния: если прямой запрос обработал
- * один узел, а обратный попал на другой, соответствие должно быть общим.
+ *
Маскирование — чистая функция, на любом узле даёт один и тот же результат. Обратное же
+ * преобразование требует состояния: если прямой запрос обработал один узел, а обратный попал на
+ * другой, соответствие должно быть общим.
*
- *
Включается настройкой {@code pdguard.store.backend=redis}. Пока она не
- * выставлена, к Redis не обращаются вовсе и зависимость остаётся неактивной.
+ *
Включается настройкой {@code pdguard.store.backend=redis}. Пока она не выставлена, к Redis не
+ * обращаются вовсе и зависимость остаётся неактивной.
*
- *
Недоступность Redis не приводит к отказу: запись и чтение деградируют до
- * локальной памяти узла, а ошибка попадает в журнал. Чтобы простой Redis не
- * съедал время ответа, команды ограничены по времени настройкой
- * {@code spring.data.redis.timeout}, а после нескольких подряд неудач общий слой
- * временно перестают опрашивать вовсе.
+ *
Недоступность Redis не приводит к отказу: запись и чтение деградируют до локальной памяти
+ * узла, а ошибка попадает в журнал. Чтобы простой Redis не съедал время ответа, команды ограничены
+ * по времени настройкой {@code spring.data.redis.timeout}, а после нескольких подряд неудач общий
+ * слой временно перестают опрашивать вовсе.
*/
@Component
public class SharedIndex {
- private static final Logger LOG = LoggerFactory.getLogger(SharedIndex.class);
+ private static final Logger LOG = LoggerFactory.getLogger(SharedIndex.class);
- /** Сколько подряд неудач размыкает предохранитель. */
- private static final int FAILURES_TO_OPEN = 3;
+ /** Сколько подряд неудач размыкает предохранитель. */
+ private static final int FAILURES_TO_OPEN = 3;
- /** На сколько общий слой перестают опрашивать после размыкания. */
- private static final long OPEN_MILLIS = 5_000;
+ /** На сколько общий слой перестают опрашивать после размыкания. */
+ private static final long OPEN_MILLIS = 5_000;
- /** Пара «исходный текст — маска», как она хранится в общем слое. */
- public record SharedEntry(String original, String masked) {
+ /** Пара «исходный текст — маска», как она хранится в общем слое. */
+ public record SharedEntry(String original, String masked) {}
+
+ private final boolean enabled;
+ private final Duration ttl;
+ private final StringRedisTemplate redis;
+ private final ObjectMapper mapper;
+ private final PayloadCipher cipher;
+
+ private final AtomicInteger consecutiveFailures = new AtomicInteger();
+ private volatile long silentUntil;
+ private volatile boolean reported;
+
+ public SharedIndex(
+ StringRedisTemplate redis,
+ @Value("${pdguard.store.backend:memory}") String backend,
+ @Value("${pdguard.store.ttl-minutes:30}") int ttlMinutes,
+ ObjectMapper mapper,
+ PayloadCipher cipher) {
+ this.redis = redis;
+ this.enabled = "redis".equalsIgnoreCase(backend);
+ this.ttl = Duration.ofMinutes(ttlMinutes);
+ this.mapper = mapper;
+ this.cipher = cipher;
+ }
+
+ /** Выключенный слой — для тестов и для сборки без Redis. */
+ public static SharedIndex disabled() {
+ return new SharedIndex(null, "memory", 30, new ObjectMapper(), PayloadCipher.disabled());
+ }
+
+ public boolean enabled() {
+ return enabled;
+ }
+
+ public void put(
+ String system, String payloadId, String original, String masked, String maskFingerprint) {
+ if (unavailable()) {
+ return;
}
-
- private final boolean enabled;
- private final Duration ttl;
- private final StringRedisTemplate redis;
- private final ObjectMapper mapper;
- private final PayloadCipher cipher;
-
- private final AtomicInteger consecutiveFailures = new AtomicInteger();
- private volatile long silentUntil;
- private volatile boolean reported;
-
- public SharedIndex(StringRedisTemplate redis,
- @Value("${pdguard.store.backend:memory}") String backend,
- @Value("${pdguard.store.ttl-minutes:30}") int ttlMinutes,
- ObjectMapper mapper,
- PayloadCipher cipher) {
- this.redis = redis;
- this.enabled = "redis".equalsIgnoreCase(backend);
- this.ttl = Duration.ofMinutes(ttlMinutes);
- this.mapper = mapper;
- this.cipher = cipher;
+ try {
+ String encrypted = cipher.encrypt(original);
+ redis
+ .opsForValue()
+ .set(ScopedKey.of(system, payloadId), toJson(new SharedEntry(encrypted, masked)), ttl);
+ redis.opsForValue().set(ScopedKey.of(system, maskFingerprint), encrypted, ttl);
+ noteSuccess();
+ } catch (RuntimeException e) {
+ noteFailure("записать", e);
}
+ }
- /** Выключенный слой — для тестов и для сборки без Redis. */
- public static SharedIndex disabled() {
- return new SharedIndex(null, "memory", 30, new ObjectMapper(), PayloadCipher.disabled());
+ public SharedEntry byId(String system, String payloadId) {
+ if (unavailable()) {
+ return null;
}
+ try {
+ String json = redis.opsForValue().get(ScopedKey.of(system, payloadId));
+ noteSuccess();
+ SharedEntry entry = json == null ? null : fromJson(json);
+ return entry == null
+ ? null
+ : new SharedEntry(cipher.decrypt(entry.original()), entry.masked());
+ } catch (RuntimeException e) {
+ noteFailure("прочитать", e);
+ return null;
+ }
+ }
- public boolean enabled() {
- return enabled;
+ public String originalForFingerprint(String system, String maskFingerprint) {
+ if (unavailable()) {
+ return null;
}
+ try {
+ String encrypted = redis.opsForValue().get(ScopedKey.of(system, maskFingerprint));
+ noteSuccess();
+ return encrypted == null ? null : cipher.decrypt(encrypted);
+ } catch (RuntimeException e) {
+ noteFailure("прочитать", e);
+ return null;
+ }
+ }
-public void put(String system, String payloadId, String original, String masked,
- String maskFingerprint) {
- if (unavailable()) {
- return;
- }
- try {
- String encrypted = cipher.encrypt(original);
- redis.opsForValue().set(ScopedKey.of(system, payloadId),
- toJson(new SharedEntry(encrypted, masked)), ttl);
- redis.opsForValue().set(ScopedKey.of(system, maskFingerprint), encrypted, ttl);
- noteSuccess();
- } catch (RuntimeException e) {
- noteFailure("записать", e);
- }
+ private String toJson(SharedEntry entry) {
+ try {
+ return mapper.writeValueAsString(entry);
+ } catch (JsonProcessingException e) {
+ throw new IllegalStateException("Не удалось сериализовать соответствие", e);
}
+ }
- public SharedEntry byId(String system, String payloadId) {
- if (unavailable()) {
- return null;
- }
- try {
- String json = redis.opsForValue().get(ScopedKey.of(system, payloadId));
- noteSuccess();
- SharedEntry entry = json == null ? null : fromJson(json);
- return entry == null ? null : new SharedEntry(cipher.decrypt(entry.original()), entry.masked());
- } catch (RuntimeException e) {
- noteFailure("прочитать", e);
- return null;
- }
+ private SharedEntry fromJson(String json) {
+ try {
+ return mapper.readValue(json, SharedEntry.class);
+ } catch (JsonProcessingException e) {
+ throw new IllegalStateException("Не удалось разобрать соответствие из общего слоя", e);
}
+ }
- public String originalForFingerprint(String system, String maskFingerprint) {
- if (unavailable()) {
- return null;
- }
- try {
- String encrypted = redis.opsForValue().get(ScopedKey.of(system, maskFingerprint));
- noteSuccess();
- return encrypted == null ? null : cipher.decrypt(encrypted);
- } catch (RuntimeException e) {
- noteFailure("прочитать", e);
- return null;
- }
- }
+ /** Общий слой выключен или предохранитель разомкнут. */
+ private boolean unavailable() {
+ return !enabled || System.currentTimeMillis() < silentUntil;
+ }
- private String toJson(SharedEntry entry) {
- try {
- return mapper.writeValueAsString(entry);
- } catch (JsonProcessingException e) {
- throw new IllegalStateException("Не удалось сериализовать соответствие", e);
- }
+ private void noteSuccess() {
+ if (consecutiveFailures.getAndSet(0) != 0) {
+ reported = false;
+ LOG.info("Общий слой снова доступен");
}
+ }
- private SharedEntry fromJson(String json) {
- try {
- return mapper.readValue(json, SharedEntry.class);
- } catch (JsonProcessingException e) {
- throw new IllegalStateException("Не удалось разобрать соответствие из общего слоя", e);
- }
+ /**
+ * После нескольких неудач подряд общий слой перестают опрашивать на несколько секунд: иначе
+ * каждый запрос платил бы таймаутом за недоступный Redis, а проверяющая система считает ответ
+ * дольше десяти секунд неответом.
+ */
+ private void noteFailure(String action, RuntimeException cause) {
+ if (consecutiveFailures.incrementAndGet() >= FAILURES_TO_OPEN) {
+ silentUntil = System.currentTimeMillis() + OPEN_MILLIS;
}
-
- /** Общий слой выключен или предохранитель разомкнут. */
- private boolean unavailable() {
- return !enabled || System.currentTimeMillis() < silentUntil;
+ if (!reported) {
+ reported = true;
+ LOG.error(
+ "Не удалось {} соответствие в общий слой, узел работает на своей памяти", action, cause);
}
-
- private void noteSuccess() {
- if (consecutiveFailures.getAndSet(0) != 0) {
- reported = false;
- LOG.info("Общий слой снова доступен");
- }
- }
-
- /**
- * После нескольких неудач подряд общий слой перестают опрашивать на несколько
- * секунд: иначе каждый запрос платил бы таймаутом за недоступный Redis, а
- * проверяющая система считает ответ дольше десяти секунд неответом.
- */
- private void noteFailure(String action, RuntimeException cause) {
- if (consecutiveFailures.incrementAndGet() >= FAILURES_TO_OPEN) {
- silentUntil = System.currentTimeMillis() + OPEN_MILLIS;
- }
- if (!reported) {
- reported = true;
- LOG.error("Не удалось {} соответствие в общий слой, узел работает на своей памяти", action, cause);
- }
- }
-}
\ No newline at end of file
+ }
+}
diff --git a/src/main/java/ru/pdguard/detect/AddressRules.java b/src/main/java/ru/pdguard/detect/AddressRules.java
index 378644e..5b7284a 100644
--- a/src/main/java/ru/pdguard/detect/AddressRules.java
+++ b/src/main/java/ru/pdguard/detect/AddressRules.java
@@ -1,7 +1,5 @@
package ru.pdguard.detect;
-import java.util.List;
-
import static ru.pdguard.detect.RulePatterns.CITIZENSHIP_GAP;
import static ru.pdguard.detect.RulePatterns.CITIZENSHIP_VALUE;
import static ru.pdguard.detect.RulePatterns.ORGANISATION_NEARBY;
@@ -9,124 +7,165 @@ import static ru.pdguard.detect.RulePatterns.ROLE_GAP;
import static ru.pdguard.detect.RulePatterns.STREET_NAME;
import static ru.pdguard.detect.RuleRegistry.ADDRESS_NEARBY;
+import java.util.List;
+
/** Правила распознавания органа выдачи паспорта, места рождения, гражданства и адреса. */
final class AddressRules {
- private AddressRules() {
- }
+ private AddressRules() {}
- static final List RULES = List.of(
+ static final List RULES =
+ List.of(
- // «выдан ОУФМС России по г. Москве 12.05.2015» — дата в состав органа не входит,
- // её забирает отдельное правило. Приоритет выше городского, иначе от органа
- // осталась бы замаскированной только его часть.
- // Перечень форм, не голая основа «выда»: она зацепила бы и «выдающийся»
- // (обычное слово, не про выдачу документа).
- Rule.of(PdTypes.PASSPORT_ISSUER, "(?iu:выдан|выдал[аио]?|выдали|выдач[аи]|выдаче)"
- + "\\W{0,3}([^,;\\n]{3,90}?)"
- + "(?=\\s*\\d{1,2}[.\\-/]\\d{1,2}[.\\-/]\\d{2,4}|[,;\\n]|\\s*$)", 78)
- .groups(1)
- .anchoredBy("выдан", "выдал", "выдач"),
+ // «выдан ОУФМС России по г. Москве 12.05.2015» — дата в состав органа не входит,
+ // её забирает отдельное правило. Приоритет выше городского, иначе от органа
+ // осталась бы замаскированной только его часть.
+ // Перечень форм, не голая основа «выда»: она зацепила бы и «выдающийся»
+ // (обычное слово, не про выдачу документа).
+ Rule.of(
+ PdTypes.PASSPORT_ISSUER,
+ "(?iu:выдан|выдал[аио]?|выдали|выдач[аи]|выдаче)"
+ + "\\W{0,3}([^,;\\n]{3,90}?)"
+ + "(?=\\s*\\d{1,2}[.\\-/]\\d{1,2}[.\\-/]\\d{2,4}|[,;\\n]|\\s*$)",
+ 78)
+ .groups(1)
+ .anchoredBy("выдан", "выдал", "выдач"),
- // «совпадает с указанным в анкете: X» — второе упоминание органа выдачи
- // под собственным якорем, без бэкреференса на первое.
- Rule.of(PdTypes.PASSPORT_ISSUER, "(?iu:указанн\\w*\\s+в\\s+анкете)\\W{0,5}([^,;.\\n]{3,90}?)"
- + "(?=[,;.\\n]|\\s*$)", 78)
- .groups(1)
- .anchoredBy("указанн"),
+ // «совпадает с указанным в анкете: X» — второе упоминание органа выдачи
+ // под собственным якорем, без бэкреференса на первое.
+ Rule.of(
+ PdTypes.PASSPORT_ISSUER,
+ "(?iu:указанн\\w*\\s+в\\s+анкете)\\W{0,5}([^,;.\\n]{3,90}?)"
+ + "(?=[,;.\\n]|\\s*$)",
+ 78)
+ .groups(1)
+ .anchoredBy("указанн"),
- // «Орган выдачи УФМС России по Республике Татарстан» — орган после якоря,
- // до слова «совпадает» или конца фразы.
- Rule.of(PdTypes.PASSPORT_ISSUER, "(?iu:орган\\s+выдачи)\\W{0,5}([^,;:\\n]{3,90}?)"
- + "(?=\\s*(?iu:совпадает|указанн)|[,;:\\n]|\\s*$)", 78)
- .groups(1)
- .anchoredBy("орган выдачи"),
+ // «Орган выдачи УФМС России по Республике Татарстан» — орган после якоря,
+ // до слова «совпадает» или конца фразы.
+ Rule.of(
+ PdTypes.PASSPORT_ISSUER,
+ "(?iu:орган\\s+выдачи)\\W{0,5}([^,;:\\n]{3,90}?)"
+ + "(?=\\s*(?iu:совпадает|указанн)|[,;:\\n]|\\s*$)",
+ 78)
+ .groups(1)
+ .anchoredBy("орган выдачи"),
+ Rule.of(
+ PdTypes.BIRTH_PLACE,
+ "(?iu:мест\\w*\\s+рождения)\\W{0,5}([^,;\\n]{3,60}?)(?=\\s*[,;\\n]|\\s*$)",
+ 76)
+ .groups(1)
+ .anchoredBy("рождения"),
+ Rule.of(
+ PdTypes.BIRTH_PLACE,
+ "(?iu:родил(?:ся|ась))[^,;\\n]{0,40}?\\s+в\\s+"
+ + "([^,;\\n]{3,40}?)(?=\\s*[,;\\n]|\\s*$)",
+ 76)
+ .groups(1)
+ .anchoredBy("родил"),
- Rule.of(PdTypes.BIRTH_PLACE, "(?iu:мест\\w*\\s+рождения)\\W{0,5}([^,;\\n]{3,60}?)(?=\\s*[,;\\n]|\\s*$)", 76)
- .groups(1)
- .anchoredBy("рождения"),
+ // ROLE_GAP, не \W{0,5}: «Гражданство бенефициара по договору страхования: Х» —
+ // между якорем и значением бывает несколько слов, не только пунктуация.
+ // Список через запятую/слэш — вторая опциональная группа тем же шаблоном.
+ Rule.of(
+ PdTypes.CITIZENSHIP,
+ "(?iu:гражданств)\\w*"
+ + CITIZENSHIP_GAP
+ + "("
+ + CITIZENSHIP_VALUE
+ + ")(?:\\s*[,/]\\s*("
+ + CITIZENSHIP_VALUE
+ + "))?",
+ 80)
+ .groups(1, 2)
+ .validatedBy(CountryDictionary::isKnownCountry)
+ .anchoredBy("гражданств"),
- Rule.of(PdTypes.BIRTH_PLACE, "(?iu:родил(?:ся|ась))[^,;\\n]{0,40}?\\s+в\\s+"
- + "([^,;\\n]{3,40}?)(?=\\s*[,;\\n]|\\s*$)", 76)
- .groups(1)
- .anchoredBy("родил"),
+ // ин/ка/ина/ки — именительный/родительный; ином/кой — творительный
+ // («гражданином», «гражданкой»).
+ Rule.of(
+ PdTypes.CITIZENSHIP,
+ "(?iu:граждан(?:ин|ка|ина|ки|ином|кой))\\b\\s+"
+ + "("
+ + CITIZENSHIP_VALUE
+ + ")(?:\\s*[,/]\\s*("
+ + CITIZENSHIP_VALUE
+ + "))?",
+ 75)
+ .groups(1, 2)
+ .validatedBy(CountryDictionary::isKnownCountry)
+ .anchoredBy("граждан"),
- // ROLE_GAP, не \W{0,5}: «Гражданство бенефициара по договору страхования: Х» —
- // между якорем и значением бывает несколько слов, не только пунктуация.
- // Список через запятую/слэш — вторая опциональная группа тем же шаблоном.
- Rule.of(PdTypes.CITIZENSHIP, "(?iu:гражданств)\\w*" + CITIZENSHIP_GAP
- + "(" + CITIZENSHIP_VALUE + ")(?:\\s*[,/]\\s*(" + CITIZENSHIP_VALUE + "))?", 80)
- .groups(1, 2)
- .validatedBy(CountryDictionary::isKnownCountry)
- .anchoredBy("гражданств"),
+ // --- Адрес: каждая составляющая настраивается отдельно ---
- // ин/ка/ина/ки — именительный/родительный; ином/кой — творительный
- // («гражданином», «гражданкой»).
- Rule.of(PdTypes.CITIZENSHIP, "(?iu:граждан(?:ин|ка|ина|ки|ином|кой))\\b\\s+"
- + "(" + CITIZENSHIP_VALUE + ")(?:\\s*[,/]\\s*(" + CITIZENSHIP_VALUE + "))?", 75)
- .groups(1, 2)
- .validatedBy(CountryDictionary::isKnownCountry)
- .anchoredBy("граждан"),
+ Rule.of(PdTypes.ADDRESS_POSTCODE, "(?iu:индекс)\\w*" + ROLE_GAP + "(\\d{6})\\b", 74)
+ .groups(1)
+ .vetoedBy(ORGANISATION_NEARBY)
+ .anchoredBy("индекс"),
+ Rule.of(
+ PdTypes.ADDRESS_POSTCODE,
+ "\\b(\\d{6})(?=\\s*,?\\s*(?iu:г\\.|город|обл\\.|область|респ|край))",
+ 74)
+ .groups(1)
+ .vetoedBy(ORGANISATION_NEARBY),
- // --- Адрес: каждая составляющая настраивается отдельно ---
+ // Не только «г.»: перепись, на которой проверяется словарь, покрывает
+ // сёла, посёлки, деревни, хутора и станицы — «рп. Ильинское», «с. Кукуево»
+ // из ТЗ без этих якорей не нашлись бы вообще, город там ни при чём.
+ Rule.of(
+ PdTypes.ADDRESS_CITY,
+ "(?iu:\\bг\\.|\\bгор\\.|\\bгород|\\bрп\\.|\\bпгт\\.?|\\bп\\.|\\bс\\.|\\bсело\\b"
+ + "|\\bд\\.|\\bдеревня\\b|\\bдер\\.|\\bх\\.|\\bхутор\\b|\\bст-ца|\\bстаница|\\bаул\\b"
+ + "|\\bсл\\.|\\bслобода\\b|\\bаал\\b)\\s?(\\p{Lu}[\\p{L}-]{1,30})\\b",
+ 73)
+ .groups(1)
+ .validatedBy(ToponymDictionary::isKnownSettlement)
+ .vetoedBy(ORGANISATION_NEARBY)
+ .anchoredBy(
+ "г.", "гор", "город", "рп.", "пгт", "п.", "с.", "село", "д.", "деревня", "дер.",
+ "х.", "хутор", "ст-ца", "станица", "аул", "сл.", "слобода", "аал"),
+ Rule.of(
+ PdTypes.ADDRESS_STREET,
+ "(?iu:\\bул\\.|\\bулиц\\p{L}*|\\bпр-т|\\bпроспект\\p{L}*|\\bпер\\.|\\bпереул\\p{L}*"
+ + "|\\bш\\.|\\bшоссе|\\bб-р|\\bбульвар\\p{L}*|\\bнаб\\.|\\bнабережн\\p{L}*)"
+ + "\\W{0,3}("
+ + STREET_NAME
+ + ")",
+ 73)
+ .groups(1)
+ .vetoedBy(ORGANISATION_NEARBY)
+ .requiringNear(ADDRESS_NEARBY)
+ .anchoredBy("ул", "просп", "пр-т", "пер.", "шоссе", "ш.", "бульвар", "б-р", "наб"),
- Rule.of(PdTypes.ADDRESS_POSTCODE, "(?iu:индекс)\\w*" + ROLE_GAP + "(\\d{6})\\b", 74)
- .groups(1)
- .vetoedBy(ORGANISATION_NEARBY)
- .anchoredBy("индекс"),
-
- Rule.of(PdTypes.ADDRESS_POSTCODE,
- "\\b(\\d{6})(?=\\s*,?\\s*(?iu:г\\.|город|обл\\.|область|респ|край))", 74)
- .groups(1)
- .vetoedBy(ORGANISATION_NEARBY),
-
- // Не только «г.»: перепись, на которой проверяется словарь, покрывает
- // сёла, посёлки, деревни, хутора и станицы — «рп. Ильинское», «с. Кукуево»
- // из ТЗ без этих якорей не нашлись бы вообще, город там ни при чём.
- Rule.of(PdTypes.ADDRESS_CITY, "(?iu:\\bг\\.|\\bгор\\.|\\bгород|\\bрп\\.|\\bпгт\\.?|\\bп\\.|\\bс\\.|\\bсело\\b"
- + "|\\bд\\.|\\bдеревня\\b|\\bдер\\.|\\bх\\.|\\bхутор\\b|\\bст-ца|\\bстаница|\\bаул\\b"
- + "|\\bсл\\.|\\bслобода\\b|\\bаал\\b)\\s?(\\p{Lu}[\\p{L}-]{1,30})\\b", 73)
- .groups(1)
- .validatedBy(ToponymDictionary::isKnownSettlement)
- .vetoedBy(ORGANISATION_NEARBY)
- .anchoredBy("г.", "гор", "город", "рп.", "пгт", "п.", "с.", "село", "д.", "деревня",
- "дер.", "х.", "хутор", "ст-ца", "станица", "аул", "сл.", "слобода", "аал"),
-
- Rule.of(PdTypes.ADDRESS_STREET,
- "(?iu:\\bул\\.|\\bулиц\\p{L}*|\\bпр-т|\\bпроспект\\p{L}*|\\bпер\\.|\\bпереул\\p{L}*"
- + "|\\bш\\.|\\bшоссе|\\bб-р|\\bбульвар\\p{L}*|\\bнаб\\.|\\bнабережн\\p{L}*)"
- + "\\W{0,3}(" + STREET_NAME + ")", 73)
- .groups(1)
- .vetoedBy(ORGANISATION_NEARBY)
- .requiringNear(ADDRESS_NEARBY)
- .anchoredBy("ул", "просп", "пр-т", "пер.", "шоссе", "ш.", "бульвар", "б-р", "наб"),
-
- // «Невский пр-т» — указатель после названия. Форма слишком общая, поэтому
- // принимается только рядом с другими частями адреса: иначе под маску попал бы
- // любой рассказ про Невский проспект.
- Rule.of(PdTypes.ADDRESS_STREET, "\\b(\\p{Lu}[\\p{L}-]{2,30})\\s+"
- + "(?iu:пр-т|проспект|улиц\\p{L}*|шоссе|бульвар|переул\\p{L}*|набережн\\p{L}*)\\b", 73)
- .groups(1)
- .vetoedBy(ORGANISATION_NEARBY)
- .requiringNear(ADDRESS_NEARBY)
- .anchoredBy("пр-т", "проспект", "улиц", "шоссе", "бульвар", "переул", "набережн"),
-
- Rule.of(PdTypes.ADDRESS_HOUSE,
- "(?iu:\\bд\\.|\\bдом)\\s?(\\d+\\p{L}?(?:\\s?(?iu:к\\.|корп\\.?|стр\\.)\\s?\\d+)?)\\b", 72)
- .groups(1)
- .vetoedBy(ORGANISATION_NEARBY)
- .anchoredBy("д.", "дом"),
-
- Rule.of(PdTypes.ADDRESS_FLAT, "(?iu:\\bкв\\.|\\bквартир\\p{L}*)\\s?(\\d+\\p{L}?)\\b", 72)
- .groups(1)
- .vetoedBy(ORGANISATION_NEARBY)
- .anchoredBy("кв"),
-
- Rule.of(PdTypes.ADDRESS_COUNTRY,
- "(?iu:стран\\p{L}*(?:\\s+(?:регистрации|проживания|гражданства))?)"
- + "\\W{0,5}(\\p{Lu}[\\p{L}-]{2,30})\\b", 71)
- .groups(1)
- .vetoedBy(ORGANISATION_NEARBY)
- .anchoredBy("стран")
- );
+ // «Невский пр-т» — указатель после названия. Форма слишком общая, поэтому
+ // принимается только рядом с другими частями адреса: иначе под маску попал бы
+ // любой рассказ про Невский проспект.
+ Rule.of(
+ PdTypes.ADDRESS_STREET,
+ "\\b(\\p{Lu}[\\p{L}-]{2,30})\\s+"
+ + "(?iu:пр-т|проспект|улиц\\p{L}*|шоссе|бульвар|переул\\p{L}*|набережн\\p{L}*)\\b",
+ 73)
+ .groups(1)
+ .vetoedBy(ORGANISATION_NEARBY)
+ .requiringNear(ADDRESS_NEARBY)
+ .anchoredBy("пр-т", "проспект", "улиц", "шоссе", "бульвар", "переул", "набережн"),
+ Rule.of(
+ PdTypes.ADDRESS_HOUSE,
+ "(?iu:\\bд\\.|\\bдом)\\s?(\\d+\\p{L}?(?:\\s?(?iu:к\\.|корп\\.?|стр\\.)\\s?\\d+)?)\\b",
+ 72)
+ .groups(1)
+ .vetoedBy(ORGANISATION_NEARBY)
+ .anchoredBy("д.", "дом"),
+ Rule.of(PdTypes.ADDRESS_FLAT, "(?iu:\\bкв\\.|\\bквартир\\p{L}*)\\s?(\\d+\\p{L}?)\\b", 72)
+ .groups(1)
+ .vetoedBy(ORGANISATION_NEARBY)
+ .anchoredBy("кв"),
+ Rule.of(
+ PdTypes.ADDRESS_COUNTRY,
+ "(?iu:стран\\p{L}*(?:\\s+(?:регистрации|проживания|гражданства))?)"
+ + "\\W{0,5}(\\p{Lu}[\\p{L}-]{2,30})\\b",
+ 71)
+ .groups(1)
+ .vetoedBy(ORGANISATION_NEARBY)
+ .anchoredBy("стран"));
}
diff --git a/src/main/java/ru/pdguard/detect/ContactRules.java b/src/main/java/ru/pdguard/detect/ContactRules.java
index f163d06..f771155 100644
--- a/src/main/java/ru/pdguard/detect/ContactRules.java
+++ b/src/main/java/ru/pdguard/detect/ContactRules.java
@@ -1,38 +1,40 @@
package ru.pdguard.detect;
-import java.util.List;
-
import static ru.pdguard.detect.RulePatterns.ROLE_GAP;
+import java.util.List;
+
/** Правила распознавания контактных и идентификационных данных: телефон, email, ИНН, СНИЛС. */
final class ContactRules {
- private ContactRules() {
- }
+ private ContactRules() {}
- static final List RULES = List.of(
+ static final List RULES =
+ List.of(
+ Rule.of(PdTypes.INN, "(?iu)\\bИНН\\b" + ROLE_GAP + "(\\d{12}|\\d{10})\\b", 84)
+ .groups(1)
+ .anchoredBy("инн"),
- Rule.of(PdTypes.INN, "(?iu)\\bИНН\\b" + ROLE_GAP + "(\\d{12}|\\d{10})\\b", 84)
- .groups(1)
- .anchoredBy("инн"),
+ // «ИНН/КПП 7712345671/771201001» — ИНН юрлица перед КПП через слэш.
+ Rule.of(PdTypes.INN, "(?iu)\\bИНН\\s*/\\s*КПП\\b\\W{0,5}(\\d{10})\\b", 84)
+ .groups(1)
+ .anchoredBy("инн/кпп"),
+ Rule.of(
+ PdTypes.SNILS,
+ "(?iu)(?:\\bСНИЛС\\b\\D{0,10})?(\\d{3}[ -]\\d{3}[ -]\\d{3}[ -]\\d{2})\\b",
+ 84)
+ .groups(1)
+ .validatedBy(Validators::snils),
- // «ИНН/КПП 7712345671/771201001» — ИНН юрлица перед КПП через слэш.
- Rule.of(PdTypes.INN, "(?iu)\\bИНН\\s*/\\s*КПП\\b\\W{0,5}(\\d{10})\\b", 84)
- .groups(1)
- .anchoredBy("инн/кпп"),
+ // \b7, не только +7: номер без плюса («79031119955») тоже встречается.
+ Rule.of(
+ PdTypes.PHONE,
+ "(?:\\+7|\\b7|\\b8)[ ()-]{0,3}\\d{3}[ ()-]{0,3}\\d{3}[ -]{0,2}\\d{2}["
+ + " -]{0,2}\\d{2}\\b",
+ 82),
+ Rule.of(PdTypes.EMAIL, "\\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}\\b", 80)
+ .anchoredBy("@"),
- Rule.of(PdTypes.SNILS, "(?iu)(?:\\bСНИЛС\\b\\D{0,10})?(\\d{3}[ -]\\d{3}[ -]\\d{3}[ -]\\d{2})\\b", 84)
- .groups(1)
- .validatedBy(Validators::snils),
-
- // \b7, не только +7: номер без плюса («79031119955») тоже встречается.
- Rule.of(PdTypes.PHONE, "(?:\\+7|\\b7|\\b8)[ ()-]{0,3}\\d{3}[ ()-]{0,3}\\d{3}[ -]{0,2}\\d{2}[ -]{0,2}\\d{2}\\b", 82),
-
- Rule.of(PdTypes.EMAIL, "\\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Za-z]{2,}\\b", 80)
- .anchoredBy("@"),
-
- // ИНН физлица без якорного слова — только с верной контрольной суммой.
- Rule.of(PdTypes.INN, "\\b\\d{12}\\b", 62)
- .validatedBy(Validators::inn)
- );
+ // ИНН физлица без якорного слова — только с верной контрольной суммой.
+ Rule.of(PdTypes.INN, "\\b\\d{12}\\b", 62).validatedBy(Validators::inn));
}
diff --git a/src/main/java/ru/pdguard/detect/CountryDictionary.java b/src/main/java/ru/pdguard/detect/CountryDictionary.java
index 2f9c4e9..19734ae 100644
--- a/src/main/java/ru/pdguard/detect/CountryDictionary.java
+++ b/src/main/java/ru/pdguard/detect/CountryDictionary.java
@@ -4,35 +4,34 @@ import java.util.Locale;
import java.util.Set;
/**
- * Словарь названий стран — проверка того, что значение, пойманное правилом
- * {@code CITIZENSHIP}, действительно похоже на страну, а не на произвольное
- * слово с заглавной буквы после якоря «гражданство».
+ * Словарь названий стран — проверка того, что значение, пойманное правилом {@code CITIZENSHIP},
+ * действительно похоже на страну, а не на произвольное слово с заглавной буквы после якоря
+ * «гражданство».
*
- * Сравнение по началу слова, а не точным совпадением: падежные окончания
- * («в России», «из Казахстана») и формы прилагательных («российская»,
- * «российское») тем самым покрываются без отдельного разбора морфологии.
- * Основа «российск» покрывает и «Российская», и «российская», и «российское».
+ *
Сравнение по началу слова, а не точным совпадением: падежные окончания («в России», «из
+ * Казахстана») и формы прилагательных («российская», «российское») тем самым покрываются без
+ * отдельного разбора морфологии. Основа «российск» покрывает и «Российская», и «российская», и
+ * «российское».
*/
public final class CountryDictionary {
- private static final Set COUNTRY_STEMS = ResourceLoader.set("/names/countries.txt");
+ private static final Set COUNTRY_STEMS = ResourceLoader.set("/names/countries.txt");
- private CountryDictionary() {
- }
+ private CountryDictionary() {}
- /**
- * Похоже ли значение на название страны из словаря в любом падеже и регистре.
- *
- * Проверяются префиксы значения по множеству, а не каждая основа по
- * значению: префиксов у слова не больше, чем в нём букв.
- */
- public static boolean isKnownCountry(String value) {
- String lower = value.strip().toLowerCase(Locale.ROOT);
- for (int length = lower.length(); length > 0; length--) {
- if (COUNTRY_STEMS.contains(lower.substring(0, length))) {
- return true;
- }
- }
- return false;
+ /**
+ * Похоже ли значение на название страны из словаря в любом падеже и регистре.
+ *
+ *
Проверяются префиксы значения по множеству, а не каждая основа по значению: префиксов у
+ * слова не больше, чем в нём букв.
+ */
+ public static boolean isKnownCountry(String value) {
+ String lower = value.strip().toLowerCase(Locale.ROOT);
+ for (int length = lower.length(); length > 0; length--) {
+ if (COUNTRY_STEMS.contains(lower.substring(0, length))) {
+ return true;
+ }
}
-}
\ No newline at end of file
+ return false;
+ }
+}
diff --git a/src/main/java/ru/pdguard/detect/DateRules.java b/src/main/java/ru/pdguard/detect/DateRules.java
index a2c2348..478850f 100644
--- a/src/main/java/ru/pdguard/detect/DateRules.java
+++ b/src/main/java/ru/pdguard/detect/DateRules.java
@@ -1,45 +1,46 @@
package ru.pdguard.detect;
-import java.util.List;
-
import static ru.pdguard.detect.RulePatterns.DATE_ANY;
import static ru.pdguard.detect.RulePatterns.DATE_GAP;
+import java.util.List;
+
/** Правила распознавания дат: рождения, выдачи документа и дат без якорного слова. */
final class DateRules {
- private DateRules() {
- }
+ private DateRules() {}
- static final List RULES = List.of(
+ static final List RULES =
+ List.of(
+ Rule.of(
+ PdTypes.BIRTH_DATE,
+ "(?iu:дат\\p{L}*\\s+рождения|дата\\s+рожд\\.)" + DATE_GAP + "(" + DATE_ANY + ")",
+ 87)
+ .groups(1)
+ .validatedBy(Validators::date)
+ .anchoredBy("рожден"),
+ Rule.of(PdTypes.BIRTH_DATE, "(?iu:родил(?:ся|ась))" + DATE_GAP + "(" + DATE_ANY + ")", 87)
+ .groups(1)
+ .validatedBy(Validators::date)
+ .anchoredBy("родил"),
+ Rule.of(
+ PdTypes.BIRTH_DATE,
+ "(" + DATE_ANY + ")\\s*(?iu:г\\.\\s?р\\.|г/р|года\\s+рождения)",
+ 87)
+ .groups(1)
+ .validatedBy(Validators::date)
+ .anchoredBy("г.р", "г/р", "года рождения"),
- Rule.of(PdTypes.BIRTH_DATE, "(?iu:дат\\p{L}*\\s+рождения|дата\\s+рожд\\.)"
- + DATE_GAP + "(" + DATE_ANY + ")", 87)
- .groups(1)
- .validatedBy(Validators::date)
- .anchoredBy("рожден"),
+ // «дата выдачи 12.05.2015» и «дата выдачи паспорта 12.05.2015»
+ Rule.of(
+ PdTypes.PASSPORT_DATE,
+ "(?iu:дат\\p{L}*\\s+выдачи)" + DATE_GAP + "(" + DATE_ANY + ")",
+ 87)
+ .groups(1)
+ .validatedBy(Validators::date)
+ .anchoredBy("выдач"),
- Rule.of(PdTypes.BIRTH_DATE, "(?iu:родил(?:ся|ась))"
- + DATE_GAP + "(" + DATE_ANY + ")", 87)
- .groups(1)
- .validatedBy(Validators::date)
- .anchoredBy("родил"),
-
- Rule.of(PdTypes.BIRTH_DATE, "(" + DATE_ANY + ")\\s*(?iu:г\\.\\s?р\\.|г/р|года\\s+рождения)", 87)
- .groups(1)
- .validatedBy(Validators::date)
- .anchoredBy("г.р", "г/р", "года рождения"),
-
- // «дата выдачи 12.05.2015» и «дата выдачи паспорта 12.05.2015»
- Rule.of(PdTypes.PASSPORT_DATE, "(?iu:дат\\p{L}*\\s+выдачи)"
- + DATE_GAP + "(" + DATE_ANY + ")", 87)
- .groups(1)
- .validatedBy(Validators::date)
- .anchoredBy("выдач"),
-
- // Дата без якорного слова персональными данными сама по себе не является:
- // маскируется, только если в тексте есть ПД другого типа.
- Rule.of(PdTypes.DATE, DATE_ANY, 58)
- .validatedBy(Validators::date)
- );
+ // Дата без якорного слова персональными данными сама по себе не является:
+ // маскируется, только если в тексте есть ПД другого типа.
+ Rule.of(PdTypes.DATE, DATE_ANY, 58).validatedBy(Validators::date));
}
diff --git a/src/main/java/ru/pdguard/detect/Declension.java b/src/main/java/ru/pdguard/detect/Declension.java
index 7de39c6..eba01bb 100644
--- a/src/main/java/ru/pdguard/detect/Declension.java
+++ b/src/main/java/ru/pdguard/detect/Declension.java
@@ -3,51 +3,47 @@ package ru.pdguard.detect;
import java.util.Locale;
/**
- * Общий приём для словарей, сравнивающих слово из текста с основой из списка:
- * личные имена ({@link NameDictionary}) и города ({@link ToponymDictionary}).
+ * Общий приём для словарей, сравнивающих слово из текста с основой из списка: личные имена ({@link
+ * NameDictionary}) и города ({@link ToponymDictionary}).
*
- * Слова на согласную склоняются добавлением окончания («Тамбов» → «Тамбове»,
- * «Пушкин» → «Пушкина») — там основы из списка достаточно как есть. Слова на
- * гласную меняют последнюю букву («Москва» → «Москве», «Ольга» → «Ольге») —
- * для них сравнение идёт по основе без неё.
+ *
Слова на согласную склоняются добавлением окончания («Тамбов» → «Тамбове», «Пушкин» →
+ * «Пушкина») — там основы из списка достаточно как есть. Слова на гласную меняют последнюю букву
+ * («Москва» → «Москве», «Ольга» → «Ольге») — для них сравнение идёт по основе без неё.
*
- *
Фамилии на «-ский» склоняются как прилагательное: окончание меняется
- * целиком («Дзержинский» → «Дзержинского», «-ий» на «-ого», а не дописывается),
- * поэтому для них отсечения одной буквы недостаточно — основа обрезается сразу
- * до «ск». Для улиц в честь людей это не редкий случай, а основной: «улица
- * Дзержинского», «улица Островского» пишутся только в родительном падеже,
+ *
Фамилии на «-ский» склоняются как прилагательное: окончание меняется целиком («Дзержинский» →
+ * «Дзержинского», «-ий» на «-ого», а не дописывается), поэтому для них отсечения одной буквы
+ * недостаточно — основа обрезается сразу до «ск». Для улиц в честь людей это не редкий случай, а
+ * основной: «улица Дзержинского», «улица Островского» пишутся только в родительном падеже,
* именительный там не встречается вообще.
*/
final class Declension {
- /**
- * Падежные окончания прилагательного склонения на «-ск-»: мужской, женский
- * и средний род, все падежи. Проверяются от длинных к коротким — «-ского»
- * не должно потеряться из-за более короткого совпадения на «-ким» и т.п.
- */
- private static final String[] ADJECTIVE_ENDINGS = {
- "ского", "скому", "ским", "ском", "скую", "ской", "скою", "ская", "ский"
- };
+ /**
+ * Падежные окончания прилагательного склонения на «-ск-»: мужской, женский и средний род, все
+ * падежи. Проверяются от длинных к коротким — «-ского» не должно потеряться из-за более короткого
+ * совпадения на «-ким» и т.п.
+ */
+ private static final String[] ADJECTIVE_ENDINGS = {
+ "ского", "скому", "ским", "ском", "скую", "ской", "скою", "ская", "ский"
+ };
- private Declension() {
- }
+ private Declension() {}
- /**
- * Отбрасывает у основы окончание, которое меняется по падежам: гласную —
- * у обычных слов, целиком «-ск-»-окончание — у прилагательных фамилий.
- * Слова короче четырёх букв не трогает — короткая основа и так шире
- * большинства падежных форм.
- */
- static String withoutInflectedEnding(String word) {
- String lower = word.toLowerCase(Locale.ROOT);
- for (String ending : ADJECTIVE_ENDINGS) {
- if (lower.length() > ending.length() && lower.endsWith(ending)) {
- return lower.substring(0, lower.length() - ending.length() + 2);
- }
- }
- if (lower.length() >= 4 && "аяйь".indexOf(lower.charAt(lower.length() - 1)) >= 0) {
- return lower.substring(0, lower.length() - 1);
- }
- return lower;
+ /**
+ * Отбрасывает у основы окончание, которое меняется по падежам: гласную — у обычных слов, целиком
+ * «-ск-»-окончание — у прилагательных фамилий. Слова короче четырёх букв не трогает — короткая
+ * основа и так шире большинства падежных форм.
+ */
+ static String withoutInflectedEnding(String word) {
+ String lower = word.toLowerCase(Locale.ROOT);
+ for (String ending : ADJECTIVE_ENDINGS) {
+ if (lower.length() > ending.length() && lower.endsWith(ending)) {
+ return lower.substring(0, lower.length() - ending.length() + 2);
+ }
}
+ if (lower.length() >= 4 && "аяйь".indexOf(lower.charAt(lower.length() - 1)) >= 0) {
+ return lower.substring(0, lower.length() - 1);
+ }
+ return lower;
+ }
}
diff --git a/src/main/java/ru/pdguard/detect/DocumentRules.java b/src/main/java/ru/pdguard/detect/DocumentRules.java
index c70219a..08f2c7d 100644
--- a/src/main/java/ru/pdguard/detect/DocumentRules.java
+++ b/src/main/java/ru/pdguard/detect/DocumentRules.java
@@ -1,85 +1,113 @@
package ru.pdguard.detect;
-import java.util.List;
-
import static ru.pdguard.detect.RulePatterns.ROLE_GAP;
import static ru.pdguard.detect.RulePatterns.SERIES_AND_NUMBER;
+import java.util.List;
+
/** Правила распознавания документов, удостоверяющих личность, и кодов подразделений. */
final class DocumentRules {
- private DocumentRules() {
- }
+ private DocumentRules() {}
- static final List RULES = List.of(
+ static final List RULES =
+ List.of(
- // CVV: латиница, кириллическая транслитерация («цвв», «сививи») и
- // описательные якоря («код на обороте карты»). Между якорем и числом
- // допускаются слова («CVV код 321», «CVV указан код 123») и длинные
- // разделители («код на обороте карты 789»).
- Rule.of(PdTypes.CVV, "(?iu:\\b(?:cvv2?|cvc2?|цвв|сививи|код\\p{L}*\\s+на\\s+обороте\\s+карты"
- + "|код\\s+проверки|защитный\\s+код)\\b)"
- + "(?:\\s+\\p{L}+){0,2}\\W{0,30}(\\d{3,4})\\b", 92)
- .groups(1)
- .anchoredBy("cvv", "cvc", "цвв", "сививи", "код на обороте", "код проверки", "защитный код"),
+ // CVV: латиница, кириллическая транслитерация («цвв», «сививи») и
+ // описательные якоря («код на обороте карты»). Между якорем и числом
+ // допускаются слова («CVV код 321», «CVV указан код 123») и длинные
+ // разделители («код на обороте карты 789»).
+ Rule.of(
+ PdTypes.CVV,
+ "(?iu:\\b(?:cvv2?|cvc2?|цвв|сививи|код\\p{L}*\\s+на\\s+обороте\\s+карты"
+ + "|код\\s+проверки|защитный\\s+код)\\b)"
+ + "(?:\\s+\\p{L}+){0,2}\\W{0,30}(\\d{3,4})\\b",
+ 92)
+ .groups(1)
+ .anchoredBy(
+ "cvv", "cvc", "цвв", "сививи", "код на обороте", "код проверки", "защитный код"),
- // PIN: «пин-код», «пин код», «ПИН:», «пин 3456». Между якорем и числом
- // допускаются слова («ПИН-код карты 2468») и длинные разделители
- // («Пин Код: 1234»).
- Rule.of(PdTypes.PIN, "(?iu:\\b(?:пин[\\s-]?кода?|pin[\\s-]?code|пин|pin)\\b)"
- + "(?:\\s+\\p{L}+){0,2}\\W{0,30}(\\d{4,6})\\b", 92)
- .groups(1)
- .anchoredBy("пин", "pin"),
+ // PIN: «пин-код», «пин код», «ПИН:», «пин 3456». Между якорем и числом
+ // допускаются слова («ПИН-код карты 2468») и длинные разделители
+ // («Пин Код: 1234»).
+ Rule.of(
+ PdTypes.PIN,
+ "(?iu:\\b(?:пин[\\s-]?кода?|pin[\\s-]?code|пин|pin)\\b)"
+ + "(?:\\s+\\p{L}+){0,2}\\W{0,30}(\\d{4,6})\\b",
+ 92)
+ .groups(1)
+ .anchoredBy("пин", "pin"),
- // «паспорт 4509 123456», «паспорт гражданина РФ 45 09 123456»
- Rule.of(PdTypes.PASSPORT, "(?iu:паспорт)\\w*(?:\\W+(?iu:гражданина\\s+РФ|РФ|России|Российской\\s+Федерации))?"
- + "\\W{0,10}(" + SERIES_AND_NUMBER + ")\\b", 90)
- .groups(1)
- .anchoredBy("паспорт"),
+ // «паспорт 4509 123456», «паспорт гражданина РФ 45 09 123456»
+ Rule.of(
+ PdTypes.PASSPORT,
+ "(?iu:паспорт)\\w*(?:\\W+(?iu:гражданина\\s+РФ|РФ|России|Российской\\s+Федерации))?"
+ + "\\W{0,10}("
+ + SERIES_AND_NUMBER
+ + ")\\b",
+ 90)
+ .groups(1)
+ .anchoredBy("паспорт"),
- // «серия 4509 номер 123456», «серии 45 09 № 123456»
- // Между серией и номером помещается слово: «серия 4509 номер 123456»,
- // «серии 4509 за номером 123456», «серия 4509 № 123456».
- Rule.of(PdTypes.PASSPORT, "(?iu:сери)\\w{0,3}\\W{0,5}(\\d{2}\\s?\\d{2})[^\\d]{0,20}(\\d{6})\\b", 90)
- .groups(1, 2)
- .anchoredBy("сери"),
+ // «серия 4509 номер 123456», «серии 45 09 № 123456»
+ // Между серией и номером помещается слово: «серия 4509 номер 123456»,
+ // «серии 4509 за номером 123456», «серия 4509 № 123456».
+ Rule.of(
+ PdTypes.PASSPORT,
+ "(?iu:сери)\\w{0,3}\\W{0,5}(\\d{2}\\s?\\d{2})[^\\d]{0,20}(\\d{6})\\b",
+ 90)
+ .groups(1, 2)
+ .anchoredBy("сери"),
- // Необязательное «серия»/«серии» между якорем и цифрами: «ВУ серия 12 34 номер 567890».
- Rule.of(PdTypes.DRIVER_LICENSE, "(?iu:водительск\\w+\\s+удостоверени\\w+|в/у|вод\\.\\s?удост\\w*|\\bВУ)\\b"
- + "\\W{0,15}(?:(?iu:сери\\w{0,3})\\W{0,5})?(" + SERIES_AND_NUMBER + ")\\b", 89)
- .groups(1)
- .anchoredBy("водительск", "в/у", "вод.", "ву "),
+ // Необязательное «серия»/«серии» между якорем и цифрами: «ВУ серия 12 34 номер 567890».
+ Rule.of(
+ PdTypes.DRIVER_LICENSE,
+ "(?iu:водительск\\w+\\s+удостоверени\\w+|в/у|вод\\.\\s?удост\\w*|\\bВУ)\\b"
+ + "\\W{0,15}(?:(?iu:сери\\w{0,3})\\W{0,5})?("
+ + SERIES_AND_NUMBER
+ + ")\\b",
+ 89)
+ .groups(1)
+ .anchoredBy("водительск", "в/у", "вод.", "ву "),
+ Rule.of(
+ PdTypes.FOREIGN_PASSPORT,
+ "(?iu:загранпаспорт|заграничн\\p{L}*\\s+паспорт)\\p{L}*"
+ + "\\W{0,10}(\\d{2}\\s?\\d{7})\\b",
+ 89)
+ .groups(1)
+ .anchoredBy("загранпаспорт", "заграничн"),
+ Rule.of(
+ PdTypes.MILITARY_ID,
+ "(?iu:военн\\p{L}*\\s+билет)\\p{L}*" + "\\W{0,10}(\\p{Lu}{2}\\s?\\d{7})\\b",
+ 89)
+ .groups(1)
+ .anchoredBy("военн"),
+ Rule.of(
+ PdTypes.BIRTH_CERTIFICATE,
+ "(?iu:свидетельств\\p{L}*\\s+о\\s+рождении)"
+ + "\\W{0,15}([IVXLC]{1,4}[- ]?\\p{Lu}{2}\\s?(?:№\\s?)?\\d{6})\\b",
+ 89)
+ .groups(1)
+ .anchoredBy("свидетельств"),
+ Rule.of(PdTypes.MEDICAL_POLICY, "(?iu:полис\\p{L}*(?:\\s+ОМС)?)\\W{0,10}(\\d{16})\\b", 89)
+ .groups(1)
+ .anchoredBy("полис"),
- Rule.of(PdTypes.FOREIGN_PASSPORT, "(?iu:загранпаспорт|заграничн\\p{L}*\\s+паспорт)\\p{L}*"
- + "\\W{0,10}(\\d{2}\\s?\\d{7})\\b", 89)
- .groups(1)
- .anchoredBy("загранпаспорт", "заграничн"),
+ // ROLE_GAP, не \W{0,5}: «код подразделения стоит 001-000» — между якорем и
+ // значением есть слово («стоит»/«объекта»), не только пунктуация.
+ Rule.of(
+ PdTypes.DEPT_CODE,
+ "(?iu:код\\w*\\s+подразделения|к/п)" + ROLE_GAP + "(\\d{3}\\s?-?\\s?\\d{3})\\b",
+ 88)
+ .groups(1)
+ .anchoredBy("подразделени", "к/п"),
- Rule.of(PdTypes.MILITARY_ID, "(?iu:военн\\p{L}*\\s+билет)\\p{L}*"
- + "\\W{0,10}(\\p{Lu}{2}\\s?\\d{7})\\b", 89)
- .groups(1)
- .anchoredBy("военн"),
-
- Rule.of(PdTypes.BIRTH_CERTIFICATE, "(?iu:свидетельств\\p{L}*\\s+о\\s+рождении)"
- + "\\W{0,15}([IVXLC]{1,4}[- ]?\\p{Lu}{2}\\s?(?:№\\s?)?\\d{6})\\b", 89)
- .groups(1)
- .anchoredBy("свидетельств"),
-
- Rule.of(PdTypes.MEDICAL_POLICY, "(?iu:полис\\p{L}*(?:\\s+ОМС)?)\\W{0,10}(\\d{16})\\b", 89)
- .groups(1)
- .anchoredBy("полис"),
-
- // ROLE_GAP, не \W{0,5}: «код подразделения стоит 001-000» — между якорем и
- // значением есть слово («стоит»/«объекта»), не только пунктуация.
- Rule.of(PdTypes.DEPT_CODE, "(?iu:код\\w*\\s+подразделения|к/п)" + ROLE_GAP
- + "(\\d{3}\\s?-?\\s?\\d{3})\\b", 88)
- .groups(1)
- .anchoredBy("подразделени", "к/п"),
-
- // «770-001 — таков код подразделения» — значение перед якорем.
- Rule.of(PdTypes.DEPT_CODE, "\\b(\\d{3}\\s?-?\\s?\\d{3})\\b\\s*[—-]\\s*(?:\\p{L}+\\s+){0,3}"
- + "(?iu:код\\w*\\s+подразделения)", 88)
- .groups(1)
- .anchoredBy("подразделени")
- );
+ // «770-001 — таков код подразделения» — значение перед якорем.
+ Rule.of(
+ PdTypes.DEPT_CODE,
+ "\\b(\\d{3}\\s?-?\\s?\\d{3})\\b\\s*[—-]\\s*(?:\\p{L}+\\s+){0,3}"
+ + "(?iu:код\\w*\\s+подразделения)",
+ 88)
+ .groups(1)
+ .anchoredBy("подразделени"));
}
diff --git a/src/main/java/ru/pdguard/detect/FinanceRules.java b/src/main/java/ru/pdguard/detect/FinanceRules.java
index 8bbae30..4b11364 100644
--- a/src/main/java/ru/pdguard/detect/FinanceRules.java
+++ b/src/main/java/ru/pdguard/detect/FinanceRules.java
@@ -1,72 +1,77 @@
package ru.pdguard.detect;
-import java.util.List;
-
import static ru.pdguard.detect.RulePatterns.HOLDER_STEM;
+import java.util.List;
+
/** Правила распознавания банковских реквизитов, карты, ОГРН/КПП и держателя карты. */
final class FinanceRules {
- private FinanceRules() {
- }
+ private FinanceRules() {}
- static final List RULES = List.of(
+ static final List RULES =
+ List.of(
- // Расчётный счёт — ровно 20 цифр после якоря, группировка пробелами не важна.
- Rule.of(PdTypes.ACCOUNT_NUMBER, "(?iu:р/с|расчетн\\w*\\s+счет|расчётн\\w*\\s+счёт|лицев\\w*\\s+счет|"
- + "лицев\\w*\\s+счёт)\\W{0,5}((?:\\d[ ]?){19}\\d)\\b", 83)
- .groups(1)
- .anchoredBy("р/с", "расчетн", "расчётн", "лицев"),
+ // Расчётный счёт — ровно 20 цифр после якоря, группировка пробелами не важна.
+ Rule.of(
+ PdTypes.ACCOUNT_NUMBER,
+ "(?iu:р/с|расчетн\\w*\\s+счет|расчётн\\w*\\s+счёт|лицев\\w*\\s+счет|"
+ + "лицев\\w*\\s+счёт)\\W{0,5}((?:\\d[ ]?){19}\\d)\\b",
+ 83)
+ .groups(1)
+ .anchoredBy("р/с", "расчетн", "расчётн", "лицев"),
+ Rule.of(PdTypes.BIK, "(?iu:бик)\\W{0,5}(\\d{9})\\b", 83).groups(1).anchoredBy("бик"),
- Rule.of(PdTypes.BIK, "(?iu:бик)\\W{0,5}(\\d{9})\\b", 83)
- .groups(1)
- .anchoredBy("бик"),
+ // «действительна до 09/27», «exp 09/27» — срок действия карты, не дата рождения.
+ Rule.of(
+ PdTypes.CARD_EXPIRY,
+ "(?iu:срок\\s+действия|действительна?\\s+до|\\bexp\\w*)\\W{0,5}"
+ + "(\\d{2}\\s?/\\s?\\d{2})\\b",
+ 83)
+ .groups(1)
+ .anchoredBy("срок действия", "действительн", "exp"),
- // «действительна до 09/27», «exp 09/27» — срок действия карты, не дата рождения.
- Rule.of(PdTypes.CARD_EXPIRY, "(?iu:срок\\s+действия|действительна?\\s+до|\\bexp\\w*)\\W{0,5}"
- + "(\\d{2}\\s?/\\s?\\d{2})\\b", 83)
- .groups(1)
- .anchoredBy("срок действия", "действительн", "exp"),
+ // ОГРНИП раньше ОГРН: без отрицательного просмотра «ОГРНИП» частично ловился бы
+ // ещё и правилом ОГРН. Контрольная сумма отсекает случайные 13/15-значные
+ // числа рядом со словом — раньше якоря было достаточно самого по себе.
+ Rule.of(PdTypes.OGRNIP, "(?iu:огрнип)\\W{0,5}(\\d{15})\\b", 83)
+ .groups(1)
+ .validatedBy(Validators::ogrnip)
+ .anchoredBy("огрнип"),
+ Rule.of(PdTypes.OGRN, "(?iu:огрн(?!ип))\\W{0,5}(\\d{13})\\b", 83)
+ .groups(1)
+ .validatedBy(Validators::ogrn)
+ .anchoredBy("огрн"),
+ Rule.of(PdTypes.KPP, "(?iu:кпп)\\W{0,5}(\\d{9})\\b", 83).groups(1).anchoredBy("кпп"),
- // ОГРНИП раньше ОГРН: без отрицательного просмотра «ОГРНИП» частично ловился бы
- // ещё и правилом ОГРН. Контрольная сумма отсекает случайные 13/15-значные
- // числа рядом со словом — раньше якоря было достаточно самого по себе.
- Rule.of(PdTypes.OGRNIP, "(?iu:огрнип)\\W{0,5}(\\d{15})\\b", 83)
- .groups(1)
- .validatedBy(Validators::ogrnip)
- .anchoredBy("огрнип"),
+ // Доход/зарплата: сумма с разделителями тысяч. Между якорем и суммой может
+ // стоять слово («доход клиента», «доход за год») — без этого якорь ловил
+ // бы только «доход 85000», вплотную.
+ Rule.of(
+ PdTypes.INCOME,
+ "(?iu:доход|заработн\\w*\\s+плат\\w*|зарплат\\w*)(?:\\s+\\p{L}+){0,3}?"
+ + "\\W{0,5}(\\d{1,3}(?:[\\s.]?\\d{3})*(?:,\\d{2})?)\\s?(?iu:руб\\p{L}*|₽)?\\b",
+ 76)
+ .groups(1)
+ .anchoredBy("доход", "заработн", "зарплат"),
- Rule.of(PdTypes.OGRN, "(?iu:огрн(?!ип))\\W{0,5}(\\d{13})\\b", 83)
- .groups(1)
- .validatedBy(Validators::ogrn)
- .anchoredBy("огрн"),
+ // Биометрия — сама фраза уже говорит, что дальше персональные данные, отдельного
+ // значения для захвата нет: маскируется якорная фраза целиком.
+ Rule.of(
+ PdTypes.BIOMETRIC,
+ "(?iu:биометрическ\\w*\\s+(?:данны\\w*|образц\\w*|шаблон\\w*)"
+ + "|слепок\\s+голоса|отпечаток\\s+пальца|скан\\s+лица|\\bЕБС\\b)",
+ 81)
+ .anchoredBy("биометри", "слепок голоса", "отпечаток пальца", "скан лица", "ебс"),
+ Rule.of(
+ PdTypes.CARDHOLDER,
+ "(?iu:держател\\w*(?:\\s+карты)?|cardholder|на\\s+имя)"
+ + "\\W{0,10}([A-Z]{2,20}\\s+[A-Z]{2,20})\\b",
+ 86)
+ .groups(1)
+ .anchoredBy(HOLDER_STEM, "cardholder", "на имя"),
- Rule.of(PdTypes.KPP, "(?iu:кпп)\\W{0,5}(\\d{9})\\b", 83)
- .groups(1)
- .anchoredBy("кпп"),
+ // --- Уровень 1: подтверждается контрольной суммой ---
- // Доход/зарплата: сумма с разделителями тысяч. Между якорем и суммой может
- // стоять слово («доход клиента», «доход за год») — без этого якорь ловил
- // бы только «доход 85000», вплотную.
- Rule.of(PdTypes.INCOME, "(?iu:доход|заработн\\w*\\s+плат\\w*|зарплат\\w*)(?:\\s+\\p{L}+){0,3}?"
- + "\\W{0,5}(\\d{1,3}(?:[\\s.]?\\d{3})*(?:,\\d{2})?)\\s?(?iu:руб\\p{L}*|₽)?\\b", 76)
- .groups(1)
- .anchoredBy("доход", "заработн", "зарплат"),
-
- // Биометрия — сама фраза уже говорит, что дальше персональные данные, отдельного
- // значения для захвата нет: маскируется якорная фраза целиком.
- Rule.of(PdTypes.BIOMETRIC, "(?iu:биометрическ\\w*\\s+(?:данны\\w*|образц\\w*|шаблон\\w*)"
- + "|слепок\\s+голоса|отпечаток\\s+пальца|скан\\s+лица|\\bЕБС\\b)", 81)
- .anchoredBy("биометри", "слепок голоса", "отпечаток пальца", "скан лица", "ебс"),
-
- Rule.of(PdTypes.CARDHOLDER, "(?iu:держател\\w*(?:\\s+карты)?|cardholder|на\\s+имя)"
- + "\\W{0,10}([A-Z]{2,20}\\s+[A-Z]{2,20})\\b", 86)
- .groups(1)
- .anchoredBy(HOLDER_STEM, "cardholder", "на имя"),
-
- // --- Уровень 1: подтверждается контрольной суммой ---
-
- Rule.of(PdTypes.CARD, "\\b\\d(?:[ -]?\\d){11,18}\\b", 85)
- .validatedBy(Validators::luhn)
- );
+ Rule.of(PdTypes.CARD, "\\b\\d(?:[ -]?\\d){11,18}\\b", 85).validatedBy(Validators::luhn));
}
diff --git a/src/main/java/ru/pdguard/detect/FioRules.java b/src/main/java/ru/pdguard/detect/FioRules.java
index e5190c3..4f9134e 100644
--- a/src/main/java/ru/pdguard/detect/FioRules.java
+++ b/src/main/java/ru/pdguard/detect/FioRules.java
@@ -1,100 +1,152 @@
package ru.pdguard.detect;
-import java.util.List;
-
import static ru.pdguard.detect.RulePatterns.CAPITALISED;
import static ru.pdguard.detect.RulePatterns.HOLDER_STEM;
import static ru.pdguard.detect.RulePatterns.ORGANISATION_NEARBY;
import static ru.pdguard.detect.RulePatterns.PATRONYMIC;
import static ru.pdguard.detect.RulePatterns.SURNAME;
+import java.util.List;
+
/** Правила распознавания ФИО — от полной тройки с ролевым словом до одиночного имени по словарю. */
final class FioRules {
- private FioRules() {
- }
+ private FioRules() {}
- static final List RULES = List.of(
+ static final List RULES =
+ List.of(
- // Фамилия Имя Отчество: первое слово опознаётся по словообразованию фамилии.
- // Свободная тройка «любое слово с заглавной + имя + отчество» здесь
- // сознательно не используется: она захватывает глагол в начале
- // предложения («Пригласите Ивана Сергеевича») и заметно дороже по времени.
- // Фамилии без привычного окончания — Ким, Цой — ловятся по ролевому слову.
- Rule.of(PdTypes.FIO, "\\b" + SURNAME + "\\s+" + CAPITALISED + "\\s+" + PATRONYMIC + "\\b", 79),
+ // Фамилия Имя Отчество: первое слово опознаётся по словообразованию фамилии.
+ // Свободная тройка «любое слово с заглавной + имя + отчество» здесь
+ // сознательно не используется: она захватывает глагол в начале
+ // предложения («Пригласите Ивана Сергеевича») и заметно дороже по времени.
+ // Фамилии без привычного окончания — Ким, Цой — ловятся по ролевому слову.
+ Rule.of(
+ PdTypes.FIO,
+ "\\b" + SURNAME + "\\s+" + CAPITALISED + "\\s+" + PATRONYMIC + "\\b",
+ 79),
- // Имя Отчество Фамилия — второй распространённый порядок слов.
- Rule.of(PdTypes.FIO, "\\b" + CAPITALISED + "\\s+" + PATRONYMIC + "\\s+" + SURNAME + "\\b", 79),
+ // Имя Отчество Фамилия — второй распространённый порядок слов.
+ Rule.of(
+ PdTypes.FIO,
+ "\\b" + CAPITALISED + "\\s+" + PATRONYMIC + "\\s+" + SURNAME + "\\b",
+ 79),
- // Иванов И.И. и И.И. Иванов
- Rule.of(PdTypes.FIO, "\\b" + SURNAME + "\\s+\\p{Lu}\\.\\s?\\p{Lu}\\.", 79),
- Rule.of(PdTypes.FIO, "\\b\\p{Lu}\\.\\s?\\p{Lu}\\.\\s?" + SURNAME + "\\b", 79),
+ // Иванов И.И. и И.И. Иванов
+ Rule.of(PdTypes.FIO, "\\b" + SURNAME + "\\s+\\p{Lu}\\.\\s?\\p{Lu}\\.", 79),
+ Rule.of(PdTypes.FIO, "\\b\\p{Lu}\\.\\s?\\p{Lu}\\.\\s?" + SURNAME + "\\b", 79),
- // Имя Отчество без фамилии
- Rule.of(PdTypes.FIO, "\\b" + CAPITALISED + "\\s+" + PATRONYMIC + "\\b", 77),
+ // Имя Отчество без фамилии
+ Rule.of(PdTypes.FIO, "\\b" + CAPITALISED + "\\s+" + PATRONYMIC + "\\b", 77),
- // «ФИО: иванов иван иванович» — явный якорь снимает требование к регистру
- Rule.of(PdTypes.FIO, "(?iu:\\bФИО|\\bф\\.\\s?и\\.\\s?о\\.|\\bна\\s+имя)"
- + "(?:\\s+\\p{L}+)?\\W{0,5}(\\p{L}{2,}(?:\\s+\\p{L}{2,}){0,2})\\b", 77)
- .groups(1)
- .anchoredBy("фио", "ф.и.о", "на имя"),
+ // «ФИО: иванов иван иванович» — явный якорь снимает требование к регистру
+ Rule.of(
+ PdTypes.FIO,
+ "(?iu:\\bФИО|\\bф\\.\\s?и\\.\\s?о\\.|\\bна\\s+имя)"
+ + "(?:\\s+\\p{L}+)?\\W{0,5}(\\p{L}{2,}(?:\\s+\\p{L}{2,}){0,2})\\b",
+ 77)
+ .groups(1)
+ .anchoredBy("фио", "ф.и.о", "на имя"),
- // «клиент Иванов Иван», «плательщик Петрова»
- Rule.of(PdTypes.FIO, "(?iu:\\bклиент|\\bзаказчик|\\bпациент|\\bсотрудник|\\bвладел|\\bплательщик"
- + "|\\bполучател|\\bабонент|\\bв\\s+лице|\\bпредставител|\\bпоручител"
- + "|\\bсозаёмщик|\\bсозаемщик|\\bзаёмщик|\\bзаемщик|\\bзаявител|\\bдоверител"
- + "|\\bвкладчик|\\bответственн|\\bконтактное\\s+лицо|\\bисполнител|\\bдержател)\\p{L}*"
- + "\\W{0,5}(\\p{Lu}\\p{Ll}+(?:\\s+\\p{Lu}\\p{Ll}+){0,2})\\b", 77)
- .groups(1)
- .anchoredBy("клиент", "заказчик", "пациент", "сотрудник", "владел", "плательщик",
- "получател", "абонент", "в лице", "представител", "поручител", "заёмщик",
- "заемщик", "заявител", "доверител", "вкладчик", "ответственн",
- "контактное лицо", "исполнител", HOLDER_STEM),
+ // «клиент Иванов Иван», «плательщик Петрова»
+ Rule.of(
+ PdTypes.FIO,
+ "(?iu:\\bклиент|\\bзаказчик|\\bпациент|\\bсотрудник|\\bвладел|\\bплательщик"
+ + "|\\bполучател|\\bабонент|\\bв\\s+лице|\\bпредставител|\\bпоручител"
+ + "|\\bсозаёмщик|\\bсозаемщик|\\bзаёмщик|\\bзаемщик|\\bзаявител|\\bдоверител"
+ + "|\\bвкладчик|\\bответственн|\\bконтактное\\s+лицо|\\bисполнител|\\bдержател)\\p{L}*"
+ + "\\W{0,5}(\\p{Lu}\\p{Ll}+(?:\\s+\\p{Lu}\\p{Ll}+){0,2})\\b",
+ 77)
+ .groups(1)
+ .anchoredBy(
+ "клиент",
+ "заказчик",
+ "пациент",
+ "сотрудник",
+ "владел",
+ "плательщик",
+ "получател",
+ "абонент",
+ "в лице",
+ "представител",
+ "поручител",
+ "заёмщик",
+ "заемщик",
+ "заявител",
+ "доверител",
+ "вкладчик",
+ "ответственн",
+ "контактное лицо",
+ "исполнител",
+ HOLDER_STEM),
- // «клиент иван иванов», «поручитель петрович» — строчные имена после
- // ролевого слова. Регистр снимает требование к заглавной букве, а словарь
- // имён отсекает «клиент пришёл в офис».
- Rule.of(PdTypes.FIO, "(?iu:\\bклиент|\\bзаказчик|\\bпациент|\\bсотрудник|\\bвладел|\\bплательщик"
- + "|\\bполучател|\\bабонент|\\bв\\s+лице|\\bпредставител|\\bпоручител"
- + "|\\bсозаёмщик|\\bсозаемщик|\\bзаёмщик|\\bзаемщик|\\bзаявител|\\bдоверител"
- + "|\\bвкладчик|\\bответственн|\\bконтактное\\s+лицо|\\bисполнител|\\bдержател"
- + "|\\bотправител|\\bбенефициар|\\bдоверенное\\s+лицо|\\bнаследник|\\bсозаемщик"
- // \p{L}*+ (possessive), не \p{L}*: без possessive откат назад позволял
- // движку «отдать» уже съеденное падежное окончание ролевого слова и
- // захватить его как будто отдельное имя — «пациентов» ловилось бы как «ов».
- + "|\\bпоручител)\\p{L}*+"
- + "(?:\\s+\\p{L}+){0,3}\\W{0,5}(\\p{L}{2,}(?:\\s+\\p{L}{2,}){0,2}(?:\\s+\\p{Lu}\\.){0,2})(?![\\p{L}.])", 77)
- .groups(1)
- .validatedBy(NameDictionary::containsNamePart)
- .anchoredBy("клиент", "заказчик", "пациент", "сотрудник", "владел", "плательщик",
- "получател", "абонент", "в лице", "представител", "поручител", "заёмщик",
- "заемщик", "заявител", "доверител", "вкладчик", "ответственн",
- "контактное лицо", "исполнител", HOLDER_STEM, "отправител", "бенефициар",
- "доверенное лицо", "наследник", "созаемщик"),
+ // «клиент иван иванов», «поручитель петрович» — строчные имена после
+ // ролевого слова. Регистр снимает требование к заглавной букве, а словарь
+ // имён отсекает «клиент пришёл в офис».
+ Rule.of(
+ PdTypes.FIO,
+ "(?iu:\\bклиент|\\bзаказчик|\\bпациент|\\bсотрудник|\\bвладел|\\bплательщик"
+ + "|\\bполучател|\\bабонент|\\bв\\s+лице|\\bпредставител|\\bпоручител"
+ + "|\\bсозаёмщик|\\bсозаемщик|\\bзаёмщик|\\bзаемщик|\\bзаявител|\\bдоверител"
+ + "|\\bвкладчик|\\bответственн|\\bконтактное\\s+лицо|\\bисполнител|\\bдержател"
+ + "|\\bотправител|\\bбенефициар|\\bдоверенное\\s+лицо|\\bнаследник|\\bсозаемщик"
+ // \p{L}*+ (possessive), не \p{L}*: без possessive откат назад позволял
+ // движку «отдать» уже съеденное падежное окончание ролевого слова и
+ // захватить его как будто отдельное имя — «пациентов» ловилось бы как «ов».
+ + "|\\bпоручител)\\p{L}*+"
+ + "(?:\\s+\\p{L}+){0,3}\\W{0,5}(\\p{L}{2,}(?:\\s+\\p{L}{2,}){0,2}(?:\\s+\\p{Lu}\\.){0,2})(?![\\p{L}.])",
+ 77)
+ .groups(1)
+ .validatedBy(NameDictionary::containsNamePart)
+ .anchoredBy(
+ "клиент",
+ "заказчик",
+ "пациент",
+ "сотрудник",
+ "владел",
+ "плательщик",
+ "получател",
+ "абонент",
+ "в лице",
+ "представител",
+ "поручител",
+ "заёмщик",
+ "заемщик",
+ "заявител",
+ "доверител",
+ "вкладчик",
+ "ответственн",
+ "контактное лицо",
+ "исполнител",
+ HOLDER_STEM,
+ "отправител",
+ "бенефициар",
+ "доверенное лицо",
+ "наследник",
+ "созаемщик"),
- // Фамилия рядом с личным именем из словаря: без словаря правило ловило бы
- // «Тверская улица» и тому подобное. Имя проверяется по множеству уже
- // после совпадения — чередование из ста веток в шаблоне обходится дорого.
- // Самое слабое основание среди правил ФИО — ни ролевого слова, ни явного
- // якоря, — поэтому именно здесь нужно вето на адресный контекст: «Великие
- // Луки» (реальный город) распознаётся как имя «Лука» в падеже плюс
- // случайное слово, «Богдана Хмельницкого» — улица в честь исторической
- // фигуры. Найдено на реальных адресах отделений из реестра ЦБ.
- Rule.of(PdTypes.FIO, "\\b" + SURNAME + "\\s+" + CAPITALISED + "\\b", 74)
- .validatedBy(NameDictionary::containsGivenName)
- .vetoedBy(ORGANISATION_NEARBY),
- Rule.of(PdTypes.FIO, "\\b" + CAPITALISED + "\\s+" + SURNAME + "\\b", 74)
- .validatedBy(NameDictionary::containsGivenName)
- .vetoedBy(ORGANISATION_NEARBY),
+ // Фамилия рядом с личным именем из словаря: без словаря правило ловило бы
+ // «Тверская улица» и тому подобное. Имя проверяется по множеству уже
+ // после совпадения — чередование из ста веток в шаблоне обходится дорого.
+ // Самое слабое основание среди правил ФИО — ни ролевого слова, ни явного
+ // якоря, — поэтому именно здесь нужно вето на адресный контекст: «Великие
+ // Луки» (реальный город) распознаётся как имя «Лука» в падеже плюс
+ // случайное слово, «Богдана Хмельницкого» — улица в честь исторической
+ // фигуры. Найдено на реальных адресах отделений из реестра ЦБ.
+ Rule.of(PdTypes.FIO, "\\b" + SURNAME + "\\s+" + CAPITALISED + "\\b", 74)
+ .validatedBy(NameDictionary::containsGivenName)
+ .vetoedBy(ORGANISATION_NEARBY),
+ Rule.of(PdTypes.FIO, "\\b" + CAPITALISED + "\\s+" + SURNAME + "\\b", 74)
+ .validatedBy(NameDictionary::containsGivenName)
+ .vetoedBy(ORGANISATION_NEARBY),
- // Одиночное имя, фамилия или отчество: «Иванов», «иван», «петрович».
- // Самое слабое основание среди правил ФИО — ни ролевого слова, ни пары
- // слов, — поэтому приоритет ниже и проверка по словарю обязательна.
- // Словарь отсекает «сочи», «казань» и прочие не-имена. Первое слово текста
- // не рассматривается: заглавная буква там от начала предложения, а не от
- // имени, и словообразовательная эвристика ложно ловит «Магазин», «Отдел».
- Rule.of(PdTypes.FIO, "(?Правила и словарь разбирают подавляющее большинство случаев и стоят десятки
- * микросекунд. Модель нужна там, где они бессильны: имена без русского
- * словообразования и нестандартные топонимы.
+ * Правила и словарь разбирают подавляющее большинство случаев и стоят десятки микросекунд.
+ * Модель нужна там, где они бессильны: имена без русского словообразования и нестандартные
+ * топонимы.
*
- *
Поэтому модель зовут не на весь текст, а только на кандидатов — цепочки из
- * двух-трёх слов с заглавной буквы, которые первая ступень не покрыла. Их в обычном
- * запросе единицы, и на задержку это почти не влияет. Дороже модель — тем важнее
- * такая экономия: у BERT вызов стоит десятки миллисекунд, и звать его на каждый
- * запрос было бы невозможно.
+ *
Поэтому модель зовут не на весь текст, а только на кандидатов — цепочки из двух-трёх слов с
+ * заглавной буквы, которые первая ступень не покрыла. Их в обычном запросе единицы, и на задержку
+ * это почти не влияет. Дороже модель — тем важнее такая экономия: у BERT вызов стоит десятки
+ * миллисекунд, и звать его на каждый запрос было бы невозможно.
*
- *
Используются две модели под разные задачи: одна размечает имена (например,
- * WikiNEuRal, который не распознаёт известных личностей), другая — составляющие
- * адреса (например, ruBERT с детальными метками страны, региона, района, города,
- * улицы и дома). Каждая модель зовётся только на непокрытые кандидаты.
+ *
Используются две модели под разные задачи: одна размечает имена (например, WikiNEuRal, который
+ * не распознаёт известных личностей), другая — составляющие адреса (например, ruBERT с детальными
+ * метками страны, региона, района, города, улицы и дома). Каждая модель зовётся только на
+ * непокрытые кандидаты.
*
- *
Ступень выключена, пока не задан движок. Сбой ступени на первую не влияет:
- * ошибка перехватывается здесь, ступень выключается насовсем, и дальше работают
- * правила. Иначе одно исключение обнуляло бы маскирование целиком.
+ *
Ступень выключена, пока не задан движок. Сбой ступени на первую не влияет: ошибка
+ * перехватывается здесь, ступень выключается насовсем, и дальше работают правила. Иначе одно
+ * исключение обнуляло бы маскирование целиком.
*/
@Component
public class NameCascade {
- private static final Logger LOG = LoggerFactory.getLogger(NameCascade.class);
+ private static final Logger LOG = LoggerFactory.getLogger(NameCascade.class);
- /** Имя метрики обращений ко второй ступени, её описание и имя метки исхода. */
- private static final String NER_REQUESTS_METRIC = "pdguard.ner.requests";
- private static final String NER_REQUESTS_DESCRIPTION = "Обращения, дошедшие до второй ступени";
- private static final String OUTCOME_TAG = "outcome";
+ /** Имя метрики обращений ко второй ступени, её описание и имя метки исхода. */
+ private static final String NER_REQUESTS_METRIC = "pdguard.ner.requests";
- /** Метки WikiNEuRal в типы ПД: только PER — имя. Адреса размечает ruBERT. */
- private static final Map NAME_TYPES = Map.of(
- "PER", PdTypes.FIO);
+ private static final String NER_REQUESTS_DESCRIPTION = "Обращения, дошедшие до второй ступени";
+ private static final String OUTCOME_TAG = "outcome";
- /** Метки ruBERT в типы ПД: детальные составляющие адреса. */
- private static final Map ADDRESS_TYPES = Map.of(
- "COUNTRY", PdTypes.ADDRESS_COUNTRY,
- "REGION", PdTypes.ADDRESS_REGION,
- "DISTRICT", PdTypes.ADDRESS_DISTRICT,
- "CITY", PdTypes.ADDRESS_CITY,
- "STREET", PdTypes.ADDRESS_STREET,
- "HOUSE", PdTypes.ADDRESS_HOUSE);
+ /** Метки WikiNEuRal в типы ПД: только PER — имя. Адреса размечает ruBERT. */
+ private static final Map NAME_TYPES = Map.of("PER", PdTypes.FIO);
- /**
- * Метки LLAIM Legal NER в типы ПД: юридические реквизиты и документы, которых
- * нет в общих моделях. ADDRESS не сопоставляется — ruBERT размечает адреса
- * детальнее. ORG, CASE_NUMBER и POSITION аналогов в {@link PdTypes} не имеют.
- */
- private static final Map LEGAL_TYPES = Map.of(
- "PER", PdTypes.FIO,
- "INN", PdTypes.INN,
- "OGRN", PdTypes.OGRN,
- "SNILS", PdTypes.SNILS,
- "PASSPORT", PdTypes.PASSPORT,
- "PHONE", PdTypes.PHONE,
- "EMAIL", PdTypes.EMAIL,
- "BANK_ACCOUNT", PdTypes.ACCOUNT_NUMBER,
- "DATE", PdTypes.DATE);
+ /** Метки ruBERT в типы ПД: детальные составляющие адреса. */
+ private static final Map ADDRESS_TYPES =
+ Map.of(
+ "COUNTRY", PdTypes.ADDRESS_COUNTRY,
+ "REGION", PdTypes.ADDRESS_REGION,
+ "DISTRICT", PdTypes.ADDRESS_DISTRICT,
+ "CITY", PdTypes.ADDRESS_CITY,
+ "STREET", PdTypes.ADDRESS_STREET,
+ "HOUSE", PdTypes.ADDRESS_HOUSE);
- /** Цепочка из двух-трёх слов с заглавной буквы — то, что может оказаться ПД. */
- private static final Pattern CANDIDATE = Pattern.compile(
- "\\p{Lu}[\\p{L}-]+(?:\\s+\\p{Lu}[\\p{L}-]+){1,2}",
- Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE);
+ /**
+ * Метки LLAIM Legal NER в типы ПД: юридические реквизиты и документы, которых нет в общих
+ * моделях. ADDRESS не сопоставляется — ruBERT размечает адреса детальнее. ORG, CASE_NUMBER и
+ * POSITION аналогов в {@link PdTypes} не имеют.
+ */
+ private static final Map LEGAL_TYPES =
+ Map.of(
+ "PER", PdTypes.FIO,
+ "INN", PdTypes.INN,
+ "OGRN", PdTypes.OGRN,
+ "SNILS", PdTypes.SNILS,
+ "PASSPORT", PdTypes.PASSPORT,
+ "PHONE", PdTypes.PHONE,
+ "EMAIL", PdTypes.EMAIL,
+ "BANK_ACCOUNT", PdTypes.ACCOUNT_NUMBER,
+ "DATE", PdTypes.DATE);
- /**
- * Кандидат для LLAIM Legal NER: одиночное слово или цифровой кластер
- * (10–19 цифр с разделителями). Юридические реквизиты (ИНН, СНИЛС, паспорт)
- * не являются словами с заглавной буквы, поэтому для них нужен отдельный
- * проход, не влияющий на кандидатов моделей имён и адресов.
- */
- private static final Pattern LEGAL_CANDIDATE = Pattern.compile(
- "(?:\\p{Lu}[\\p{L}-]+|\\p{Ll}[\\p{L}-]+|\\d(?:[\\s.\\-/()]?\\d){9,18})",
- Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE);
+ /** Цепочка из двух-трёх слов с заглавной буквы — то, что может оказаться ПД. */
+ private static final Pattern CANDIDATE =
+ Pattern.compile(
+ "\\p{Lu}[\\p{L}-]+(?:\\s+\\p{Lu}[\\p{L}-]+){1,2}",
+ Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE);
- /** Приоритет находок второй ступени: ниже правил, у которых больше оснований. */
- private static final int PRIORITY = 73;
+ /**
+ * Кандидат для LLAIM Legal NER: одиночное слово или цифровой кластер (10–19 цифр с
+ * разделителями). Юридические реквизиты (ИНН, СНИЛС, паспорт) не являются словами с заглавной
+ * буквы, поэтому для них нужен отдельный проход, не влияющий на кандидатов моделей имён и
+ * адресов.
+ */
+ private static final Pattern LEGAL_CANDIDATE =
+ Pattern.compile(
+ "(?:\\p{Lu}[\\p{L}-]+|\\p{Ll}[\\p{L}-]+|\\d(?:[\\s.\\-/()]?\\d){9,18})",
+ Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE);
- /** Сколько знаков текста вокруг кандидата отдаётся модели как контекст. */
- private static final int CONTEXT_CHARS = 60;
+ /** Приоритет находок второй ступени: ниже правил, у которых больше оснований. */
+ private static final int PRIORITY = 73;
- private final RuBertRecogniser nameRecogniser;
- private final RuBertRecogniser addressRecogniser;
- private final RuBertRecogniser legalRecogniser;
- private final Semaphore concurrent;
- private final int maxCandidates;
- private volatile boolean broken;
+ /** Сколько знаков текста вокруг кандидата отдаётся модели как контекст. */
+ private static final int CONTEXT_CHARS = 60;
- /**
- * Сколько обращений дошло до модели, а сколько обошлось правилами. Отношение
- * {@code engaged} ко всем обращениям и есть та доля, от которой зависит,
- * посильна ли тяжёлая модель на боевом трафике.
- */
- private final Counter engaged;
- private final Counter withoutCandidates;
- private final Counter busy;
- private final Counter candidates;
- private final Timer duration;
+ private final RuBertRecogniser nameRecogniser;
+ private final RuBertRecogniser addressRecogniser;
+ private final RuBertRecogniser legalRecogniser;
+ private final Semaphore concurrent;
+ private final int maxCandidates;
+ private volatile boolean broken;
- @Autowired
- public NameCascade(
- @Value("${pdguard.ner.name-engine:off}") String nameEngine,
- @Value("${pdguard.ner.name-model:}") String nameModel,
- @Value("${pdguard.ner.address-engine:off}") String addressEngine,
- @Value("${pdguard.ner.address-model:}") String addressModel,
- @Value("${pdguard.ner.legal-engine:off}") String legalEngine,
- @Value("${pdguard.ner.legal-model:}") String legalModel,
- @Value("${pdguard.ner.max-candidates:16}") int maxCandidates,
- @Value("${pdguard.ner.pool-size:16}") int poolSize,
- MeterRegistry meters) {
- this.maxCandidates = maxCandidates;
- this.nameRecogniser = create(nameEngine, nameModel, NAME_TYPES);
- this.addressRecogniser = create(addressEngine, addressModel, ADDRESS_TYPES);
- this.legalRecogniser = create(legalEngine, legalModel, LEGAL_TYPES);
- this.concurrent = new Semaphore(Math.max(1, poolSize));
- this.engaged = Counter.builder(NER_REQUESTS_METRIC)
- .description(NER_REQUESTS_DESCRIPTION)
- .tag(OUTCOME_TAG, "engaged").register(meters);
- this.withoutCandidates = Counter.builder(NER_REQUESTS_METRIC)
- .description(NER_REQUESTS_DESCRIPTION)
- .tag(OUTCOME_TAG, "no_candidates").register(meters);
- this.busy = Counter.builder(NER_REQUESTS_METRIC)
- .description(NER_REQUESTS_DESCRIPTION)
- .tag(OUTCOME_TAG, "busy").register(meters);
- this.candidates = Counter.builder("pdguard.ner.candidates")
- .description("Участки текста, отданные модели").register(meters);
- this.duration = Timer.builder("pdguard.ner.duration")
- .description("Время работы второй ступени").register(meters);
+ /**
+ * Сколько обращений дошло до модели, а сколько обошлось правилами. Отношение {@code engaged} ко
+ * всем обращениям и есть та доля, от которой зависит, посильна ли тяжёлая модель на боевом
+ * трафике.
+ */
+ private final Counter engaged;
+
+ private final Counter withoutCandidates;
+ private final Counter busy;
+ private final Counter candidates;
+ private final Timer duration;
+
+ @Autowired
+ public NameCascade(
+ @Value("${pdguard.ner.name-engine:off}") String nameEngine,
+ @Value("${pdguard.ner.name-model:}") String nameModel,
+ @Value("${pdguard.ner.address-engine:off}") String addressEngine,
+ @Value("${pdguard.ner.address-model:}") String addressModel,
+ @Value("${pdguard.ner.legal-engine:off}") String legalEngine,
+ @Value("${pdguard.ner.legal-model:}") String legalModel,
+ @Value("${pdguard.ner.max-candidates:16}") int maxCandidates,
+ @Value("${pdguard.ner.pool-size:16}") int poolSize,
+ MeterRegistry meters) {
+ this.maxCandidates = maxCandidates;
+ this.nameRecogniser = create(nameEngine, nameModel, NAME_TYPES);
+ this.addressRecogniser = create(addressEngine, addressModel, ADDRESS_TYPES);
+ this.legalRecogniser = create(legalEngine, legalModel, LEGAL_TYPES);
+ this.concurrent = new Semaphore(Math.max(1, poolSize));
+ this.engaged =
+ Counter.builder(NER_REQUESTS_METRIC)
+ .description(NER_REQUESTS_DESCRIPTION)
+ .tag(OUTCOME_TAG, "engaged")
+ .register(meters);
+ this.withoutCandidates =
+ Counter.builder(NER_REQUESTS_METRIC)
+ .description(NER_REQUESTS_DESCRIPTION)
+ .tag(OUTCOME_TAG, "no_candidates")
+ .register(meters);
+ this.busy =
+ Counter.builder(NER_REQUESTS_METRIC)
+ .description(NER_REQUESTS_DESCRIPTION)
+ .tag(OUTCOME_TAG, "busy")
+ .register(meters);
+ this.candidates =
+ Counter.builder("pdguard.ner.candidates")
+ .description("Участки текста, отданные модели")
+ .register(meters);
+ this.duration =
+ Timer.builder("pdguard.ner.duration")
+ .description("Время работы второй ступени")
+ .register(meters);
+ }
+
+ /** Конструктор для тестов: движки задаются конфигом, метрики — реестром. */
+ private NameCascade(EngineConfig config, int maxCandidates, int poolSize, MeterRegistry meters) {
+ this(
+ config.nameEngine(),
+ config.nameModel().orElse(""),
+ config.addressEngine(),
+ config.addressModel().orElse(""),
+ config.legalEngine(),
+ config.legalModel().orElse(""),
+ maxCandidates,
+ poolSize,
+ meters);
+ }
+
+ /** Конструктор для тестов: одна модель для имён, метрики никуда не отдаются. */
+ public NameCascade(String engine, Optional modelPath, int maxCandidates, int poolSize) {
+ this(
+ new EngineConfig(engine, modelPath, "off", Optional.empty(), "off", Optional.empty()),
+ maxCandidates,
+ poolSize,
+ new SimpleMeterRegistry());
+ }
+
+ /** Конструктор для тестов двух моделей: метрики никуда не отдаются. */
+ public NameCascade(
+ String nameEngine,
+ Optional nameModel,
+ String addressEngine,
+ Optional addressModel,
+ int maxCandidates,
+ int poolSize) {
+ this(
+ new EngineConfig(
+ nameEngine, nameModel, addressEngine, addressModel, "off", Optional.empty()),
+ maxCandidates,
+ poolSize,
+ new SimpleMeterRegistry());
+ }
+
+ /** Конструктор для тестов двух моделей с явным реестром метрик. */
+ public NameCascade(
+ String nameEngine,
+ Optional nameModel,
+ String addressEngine,
+ Optional addressModel,
+ int maxCandidates,
+ int poolSize,
+ MeterRegistry meters) {
+ this(
+ new EngineConfig(
+ nameEngine, nameModel, addressEngine, addressModel, "off", Optional.empty()),
+ maxCandidates,
+ poolSize,
+ meters);
+ }
+
+ /** Конструктор для тестов трёх моделей: метрики никуда не отдаются. */
+ public NameCascade(EngineConfig config, int maxCandidates, int poolSize) {
+ this(config, maxCandidates, poolSize, new SimpleMeterRegistry());
+ }
+
+ /** Конфигурация трёх движков второй ступени: имя, адрес и юридические реквизиты. */
+ public record EngineConfig(
+ String nameEngine,
+ Optional nameModel,
+ String addressEngine,
+ Optional addressModel,
+ String legalEngine,
+ Optional legalModel) {}
+
+ /**
+ * Выключенная ступень для служебных нужд — прогрева и тестов. Отдельный конструктор, а не обычный
+ * путь: иначе в журнале рядом с сообщением о готовности распознавателя появлялось бы сообщение о
+ * его выключении, и было бы непонятно, что в итоге работает.
+ */
+ private NameCascade() {
+ this.maxCandidates = 0;
+ this.nameRecogniser = null;
+ this.addressRecogniser = null;
+ this.legalRecogniser = null;
+ this.concurrent = new Semaphore(1);
+ MeterRegistry meters = new SimpleMeterRegistry();
+ this.engaged = meters.counter(NER_REQUESTS_METRIC, OUTCOME_TAG, "engaged");
+ this.withoutCandidates = meters.counter(NER_REQUESTS_METRIC, OUTCOME_TAG, "no_candidates");
+ this.busy = meters.counter(NER_REQUESTS_METRIC, OUTCOME_TAG, "busy");
+ this.candidates = meters.counter("pdguard.ner.candidates");
+ this.duration = Timer.builder("pdguard.ner.duration").register(meters);
+ }
+
+ public static NameCascade disabled() {
+ return new NameCascade();
+ }
+
+ public boolean enabled() {
+ return (nameRecogniser != null || addressRecogniser != null || legalRecogniser != null)
+ && !broken;
+ }
+
+ /**
+ * Покрывает ли каскад хоть один тип, разрешённый политикой. Нужно, чтобы {@code Pipeline} звал
+ * вторую ступень не только ради ФИО, но и ради адресов и юридических реквизитов, которые
+ * размечает LLAIM Legal NER.
+ */
+ public boolean coversAny(SystemPolicy policy) {
+ if (!enabled()) {
+ return false;
}
+ return policy.allows(PdTypes.FIO)
+ || policy.allows(PdTypes.ADDRESS_COUNTRY)
+ || policy.allows(PdTypes.ADDRESS_REGION)
+ || policy.allows(PdTypes.ADDRESS_DISTRICT)
+ || policy.allows(PdTypes.ADDRESS_CITY)
+ || policy.allows(PdTypes.ADDRESS_STREET)
+ || policy.allows(PdTypes.ADDRESS_HOUSE)
+ || policy.allows(PdTypes.INN)
+ || policy.allows(PdTypes.OGRN)
+ || policy.allows(PdTypes.SNILS)
+ || policy.allows(PdTypes.PASSPORT)
+ || policy.allows(PdTypes.PHONE)
+ || policy.allows(PdTypes.EMAIL)
+ || policy.allows(PdTypes.ACCOUNT_NUMBER)
+ || policy.allows(PdTypes.DATE);
+ }
- /** Конструктор для тестов: движки задаются конфигом, метрики — реестром. */
- private NameCascade(EngineConfig config, int maxCandidates, int poolSize, MeterRegistry meters) {
- this(config.nameEngine(), config.nameModel().orElse(""),
- config.addressEngine(), config.addressModel().orElse(""),
- config.legalEngine(), config.legalModel().orElse(""),
- maxCandidates, poolSize, meters);
+ /**
+ * Добавляет ПД, которые не нашла первая ступень. Уже принятые фрагменты не трогаются: модели
+ * разбирают только непокрытые участки.
+ */
+ public List addMissedNames(String text, List accepted) {
+ if (!enabled()) {
+ return accepted;
}
-
- /** Конструктор для тестов: одна модель для имён, метрики никуда не отдаются. */
- public NameCascade(String engine, Optional modelPath, int maxCandidates, int poolSize) {
- this(new EngineConfig(engine, modelPath, "off", Optional.empty(), "off", Optional.empty()),
- maxCandidates, poolSize, new SimpleMeterRegistry());
+ if (!concurrent.tryAcquire()) {
+ // Модель занята целиком: отвечаем по правилам, а не копим очередь.
+ busy.increment();
+ return accepted;
}
-
- /** Конструктор для тестов двух моделей: метрики никуда не отдаются. */
- public NameCascade(String nameEngine, Optional nameModel,
- String addressEngine, Optional addressModel,
- int maxCandidates, int poolSize) {
- this(new EngineConfig(nameEngine, nameModel, addressEngine, addressModel, "off", Optional.empty()),
- maxCandidates, poolSize, new SimpleMeterRegistry());
- }
-
- /** Конструктор для тестов двух моделей с явным реестром метрик. */
- public NameCascade(String nameEngine, Optional nameModel,
- String addressEngine, Optional addressModel,
- int maxCandidates, int poolSize, MeterRegistry meters) {
- this(new EngineConfig(nameEngine, nameModel, addressEngine, addressModel, "off", Optional.empty()),
- maxCandidates, poolSize, meters);
- }
-
- /** Конструктор для тестов трёх моделей: метрики никуда не отдаются. */
- public NameCascade(EngineConfig config, int maxCandidates, int poolSize) {
- this(config, maxCandidates, poolSize, new SimpleMeterRegistry());
- }
-
- /** Конфигурация трёх движков второй ступени: имя, адрес и юридические реквизиты. */
- public record EngineConfig(String nameEngine, Optional nameModel,
- String addressEngine, Optional addressModel,
- String legalEngine, Optional legalModel) {
- }
-
- /**
- * Выключенная ступень для служебных нужд — прогрева и тестов. Отдельный
- * конструктор, а не обычный путь: иначе в журнале рядом с сообщением о готовности
- * распознавателя появлялось бы сообщение о его выключении, и было бы непонятно,
- * что в итоге работает.
- */
- private NameCascade() {
- this.maxCandidates = 0;
- this.nameRecogniser = null;
- this.addressRecogniser = null;
- this.legalRecogniser = null;
- this.concurrent = new Semaphore(1);
- MeterRegistry meters = new SimpleMeterRegistry();
- this.engaged = meters.counter(NER_REQUESTS_METRIC, OUTCOME_TAG, "engaged");
- this.withoutCandidates = meters.counter(NER_REQUESTS_METRIC, OUTCOME_TAG, "no_candidates");
- this.busy = meters.counter(NER_REQUESTS_METRIC, OUTCOME_TAG, "busy");
- this.candidates = meters.counter("pdguard.ner.candidates");
- this.duration = Timer.builder("pdguard.ner.duration").register(meters);
- }
-
- public static NameCascade disabled() {
- return new NameCascade();
- }
-
- public boolean enabled() {
- return (nameRecogniser != null || addressRecogniser != null || legalRecogniser != null) && !broken;
- }
-
- /**
- * Покрывает ли каскад хоть один тип, разрешённый политикой. Нужно, чтобы
- * {@code Pipeline} звал вторую ступень не только ради ФИО, но и ради адресов
- * и юридических реквизитов, которые размечает LLAIM Legal NER.
- */
- public boolean coversAny(SystemPolicy policy) {
- if (!enabled()) {
- return false;
+ long started = System.nanoTime();
+ try {
+ List found = new ArrayList<>(accepted);
+ int examined = 0;
+ Matcher m = CANDIDATE.matcher(text);
+ while (m.find() && examined < maxCandidates) {
+ if (fullyCovered(found, m.start(), m.end())) {
+ continue;
}
- return policy.allows(PdTypes.FIO)
- || policy.allows(PdTypes.ADDRESS_COUNTRY) || policy.allows(PdTypes.ADDRESS_REGION)
- || policy.allows(PdTypes.ADDRESS_DISTRICT) || policy.allows(PdTypes.ADDRESS_CITY)
- || policy.allows(PdTypes.ADDRESS_STREET) || policy.allows(PdTypes.ADDRESS_HOUSE)
- || policy.allows(PdTypes.INN) || policy.allows(PdTypes.OGRN) || policy.allows(PdTypes.SNILS)
- || policy.allows(PdTypes.PASSPORT) || policy.allows(PdTypes.PHONE) || policy.allows(PdTypes.EMAIL)
- || policy.allows(PdTypes.ACCOUNT_NUMBER) || policy.allows(PdTypes.DATE);
+ examined++;
+ collect(text, m.start(), m.end(), found, nameRecogniser);
+ collect(text, m.start(), m.end(), found, addressRecogniser);
+ }
+ // LLAIM Legal NER ищет реквизиты (ИНН, СНИЛС, паспорт), которые не
+ // являются словами с заглавной буквы, — отдельный проход по своим
+ // кандидатам, чтобы не вытеснять кандидатов моделей имён и адресов.
+ if (legalRecogniser != null) {
+ Matcher lm = LEGAL_CANDIDATE.matcher(text);
+ while (lm.find() && examined < maxCandidates) {
+ if (fullyCovered(found, lm.start(), lm.end())) {
+ continue;
+ }
+ examined++;
+ collect(text, lm.start(), lm.end(), found, legalRecogniser);
+ }
+ }
+ candidates.increment(examined);
+ (examined > 0 ? engaged : withoutCandidates).increment();
+ duration.record(System.nanoTime() - started, TimeUnit.NANOSECONDS);
+ return found;
+ } catch (RuntimeException e) {
+ broken = true;
+ LOG.error("Вторая ступень отключена из-за сбоя, распознавание продолжается по правилам", e);
+ return accepted;
+ } finally {
+ concurrent.release();
}
+ }
- /**
- * Добавляет ПД, которые не нашла первая ступень. Уже принятые фрагменты не
- * трогаются: модели разбирают только непокрытые участки.
- */
- public List addMissedNames(String text, List accepted) {
- if (!enabled()) {
- return accepted;
- }
- if (!concurrent.tryAcquire()) {
- // Модель занята целиком: отвечаем по правилам, а не копим очередь.
- busy.increment();
- return accepted;
- }
- long started = System.nanoTime();
- try {
- List found = new ArrayList<>(accepted);
- int examined = 0;
- Matcher m = CANDIDATE.matcher(text);
- while (m.find() && examined < maxCandidates) {
- if (fullyCovered(found, m.start(), m.end())) {
- continue;
- }
- examined++;
- collect(text, m.start(), m.end(), found, nameRecogniser);
- collect(text, m.start(), m.end(), found, addressRecogniser);
- }
- // LLAIM Legal NER ищет реквизиты (ИНН, СНИЛС, паспорт), которые не
- // являются словами с заглавной буквы, — отдельный проход по своим
- // кандидатам, чтобы не вытеснять кандидатов моделей имён и адресов.
- if (legalRecogniser != null) {
- Matcher lm = LEGAL_CANDIDATE.matcher(text);
- while (lm.find() && examined < maxCandidates) {
- if (fullyCovered(found, lm.start(), lm.end())) {
- continue;
- }
- examined++;
- collect(text, lm.start(), lm.end(), found, legalRecogniser);
- }
- }
- candidates.increment(examined);
- (examined > 0 ? engaged : withoutCandidates).increment();
- duration.record(System.nanoTime() - started, TimeUnit.NANOSECONDS);
- return found;
- } catch (RuntimeException e) {
- broken = true;
- LOG.error("Вторая ступень отключена из-за сбоя, распознавание продолжается по правилам", e);
- return accepted;
- } finally {
- concurrent.release();
- }
+ private void collect(
+ String text,
+ int candidateStart,
+ int candidateEnd,
+ List sink,
+ RuBertRecogniser recogniser) {
+ if (recogniser == null) {
+ return;
}
-
-private void collect(String text, int candidateStart, int candidateEnd, List sink,
- RuBertRecogniser recogniser) {
- if (recogniser == null) {
- return;
- }
- int from = Math.max(0, candidateStart - CONTEXT_CHARS);
- int to = Math.min(text.length(), candidateEnd + CONTEXT_CHARS);
- boolean nameFound = false;
- for (Span span : recogniser.recognise(text, from, to, PRIORITY)) {
- if (isAccepted(text, candidateStart, candidateEnd, span)) {
- sink.add(span);
- if (PdTypes.FIO.equals(span.type())) {
- nameFound = true;
- }
- }
- }
- // Модель распознала имя в кандидате, но правила могли найти лишь его часть
- // («Жан» вместо «Жан-Поль Дюваль») с более высоким приоритетом и заблокировать
- // полное имя при разрешении перекрытий. Убираем такие частичные находки правил,
- // чтобы полное имя от модели осталось: избыточное покрытие безопаснее утечки ПД.
- if (nameFound) {
- sink.removeIf(span -> PdTypes.FIO.equals(span.type())
- && span.start() < candidateEnd && candidateStart < span.end()
- && span.priority() > PRIORITY);
+ int from = Math.max(0, candidateStart - CONTEXT_CHARS);
+ int to = Math.min(text.length(), candidateEnd + CONTEXT_CHARS);
+ boolean nameFound = false;
+ for (Span span : recogniser.recognise(text, from, to, PRIORITY)) {
+ if (isAccepted(text, candidateStart, candidateEnd, span)) {
+ sink.add(span);
+ if (PdTypes.FIO.equals(span.type())) {
+ nameFound = true;
}
+ }
}
-
- /** Покрыт ли фрагмент целиком уже принятыми находками. */
- private static boolean fullyCovered(List spans, int start, int end) {
- return spans.stream().anyMatch(span -> span.start() <= start && end <= span.end());
+ // Модель распознала имя в кандидате, но правила могли найти лишь его часть
+ // («Жан» вместо «Жан-Поль Дюваль») с более высоким приоритетом и заблокировать
+ // полное имя при разрешении перекрытий. Убираем такие частичные находки правил,
+ // чтобы полное имя от модели осталось: избыточное покрытие безопаснее утечки ПД.
+ if (nameFound) {
+ sink.removeIf(
+ span ->
+ PdTypes.FIO.equals(span.type())
+ && span.start() < candidateEnd
+ && candidateStart < span.end()
+ && span.priority() > PRIORITY);
}
+ }
- /**
- * Слова-маркеры ПД, которые модель иногда ошибочно помечает как ФИО
- * («ИНН», «СНИЛС», «паспорт»). Такие находки — шум: это не имена, а
- * обозначения реквизитов, и маскировать их как ФИО нельзя.
- */
- private static final Set PD_MARKERS = Set.of(
- "инн", "снилс", "огрн", "огрнип", "кпп", "бик", "паспорт", "счёт", "счет",
- "телефон", "email", "почта", "дата", "адрес", "полис", "свидетельство");
+ /** Покрыт ли фрагмент целиком уже принятыми находками. */
+ private static boolean fullyCovered(List spans, int start, int end) {
+ return spans.stream().anyMatch(span -> span.start() <= start && end <= span.end());
+ }
- /**
- * Принимает находку модели, если она пересекается с кандидатом и проходит
- * те же условия, что и находки правил.
- */
- private static boolean isAccepted(String text, int candidateStart, int candidateEnd, Span span) {
- // Берём только пересекающееся с кандидатом: контекст добавлен ради
- // качества разбора, а не для расширения находки.
- if (span.start() >= candidateEnd || candidateStart >= span.end()) {
- return false;
- }
- // Модель с приоритетом recall иногда помечает слово-маркер реквизита
- // («ИНН») как ФИО. Такое значение именем не является.
- if (PdTypes.FIO.equals(span.type())
- && PD_MARKERS.contains(text.substring(span.start(), span.end()).toLowerCase(Locale.ROOT))) {
- return false;
- }
- // Адресные типы принимаются на тех же условиях, что и от правил: рядом
- // должны быть другие части адреса. Иначе «Спартак Москва» и «Проспект
- // Вернадского» попадали бы под маску наравне с адресом клиента.
- return !RuleRegistry.isAddressType(span.type())
- || RuleRegistry.hasAddressContext(text, span.start(), span.end());
+ /**
+ * Слова-маркеры ПД, которые модель иногда ошибочно помечает как ФИО («ИНН», «СНИЛС», «паспорт»).
+ * Такие находки — шум: это не имена, а обозначения реквизитов, и маскировать их как ФИО нельзя.
+ */
+ private static final Set PD_MARKERS =
+ Set.of(
+ "инн",
+ "снилс",
+ "огрн",
+ "огрнип",
+ "кпп",
+ "бик",
+ "паспорт",
+ "счёт",
+ "счет",
+ "телефон",
+ "email",
+ "почта",
+ "дата",
+ "адрес",
+ "полис",
+ "свидетельство");
+
+ /**
+ * Принимает находку модели, если она пересекается с кандидатом и проходит те же условия, что и
+ * находки правил.
+ */
+ private static boolean isAccepted(String text, int candidateStart, int candidateEnd, Span span) {
+ // Берём только пересекающееся с кандидатом: контекст добавлен ради
+ // качества разбора, а не для расширения находки.
+ if (span.start() >= candidateEnd || candidateStart >= span.end()) {
+ return false;
}
-
- private static RuBertRecogniser create(String engine, String modelPath, Map types) {
- String chosen = engine == null ? "off" : engine.toLowerCase(Locale.ROOT).strip();
- if ("off".equals(chosen) || modelPath == null || modelPath.isBlank()) {
- LOG.info("Вторая ступень распознавания выключена");
- return null;
- }
- if (!"rubert".equals(chosen) && !"wikineural".equals(chosen) && !"ru-legal-ner".equals(chosen)) {
- LOG.warn("Неизвестный движок второй ступени: {}, ступень выключена", chosen);
- return null;
- }
- RuBertRecogniser created = RuBertRecogniser.load(Path.of(modelPath), 1, types);
- if (created == null) {
- LOG.info("Вторая ступень распознавания выключена: распознаватель не создан");
- }
- return created;
+ // Модель с приоритетом recall иногда помечает слово-маркер реквизита
+ // («ИНН») как ФИО. Такое значение именем не является.
+ if (PdTypes.FIO.equals(span.type())
+ && PD_MARKERS.contains(text.substring(span.start(), span.end()).toLowerCase(Locale.ROOT))) {
+ return false;
}
+ // Адресные типы принимаются на тех же условиях, что и от правил: рядом
+ // должны быть другие части адреса. Иначе «Спартак Москва» и «Проспект
+ // Вернадского» попадали бы под маску наравне с адресом клиента.
+ return !RuleRegistry.isAddressType(span.type())
+ || RuleRegistry.hasAddressContext(text, span.start(), span.end());
+ }
- @PreDestroy
- void shutdown() {
- if (nameRecogniser != null) {
- nameRecogniser.close();
- }
- if (addressRecogniser != null) {
- addressRecogniser.close();
- }
- if (legalRecogniser != null) {
- legalRecogniser.close();
- }
+ private static RuBertRecogniser create(
+ String engine, String modelPath, Map types) {
+ String chosen = engine == null ? "off" : engine.toLowerCase(Locale.ROOT).strip();
+ if ("off".equals(chosen) || modelPath == null || modelPath.isBlank()) {
+ LOG.info("Вторая ступень распознавания выключена");
+ return null;
}
-}
\ No newline at end of file
+ if (!"rubert".equals(chosen)
+ && !"wikineural".equals(chosen)
+ && !"ru-legal-ner".equals(chosen)) {
+ LOG.warn("Неизвестный движок второй ступени: {}, ступень выключена", chosen);
+ return null;
+ }
+ RuBertRecogniser created = RuBertRecogniser.load(Path.of(modelPath), 1, types);
+ if (created == null) {
+ LOG.info("Вторая ступень распознавания выключена: распознаватель не создан");
+ }
+ return created;
+ }
+
+ @PreDestroy
+ void shutdown() {
+ if (nameRecogniser != null) {
+ nameRecogniser.close();
+ }
+ if (addressRecogniser != null) {
+ addressRecogniser.close();
+ }
+ if (legalRecogniser != null) {
+ legalRecogniser.close();
+ }
+ }
+}
diff --git a/src/main/java/ru/pdguard/detect/NameDictionary.java b/src/main/java/ru/pdguard/detect/NameDictionary.java
index a96a1d3..07bd1de 100644
--- a/src/main/java/ru/pdguard/detect/NameDictionary.java
+++ b/src/main/java/ru/pdguard/detect/NameDictionary.java
@@ -1,8 +1,5 @@
package ru.pdguard.detect;
-import org.slf4j.Logger;
-import org.slf4j.LoggerFactory;
-
import java.nio.file.Path;
import java.util.Comparator;
import java.util.HashSet;
@@ -11,274 +8,300 @@ import java.util.Locale;
import java.util.Set;
import java.util.regex.Pattern;
import java.util.stream.Collectors;
+import org.slf4j.Logger;
+import org.slf4j.LoggerFactory;
/**
* Словари для распознавания ФИО.
*
- * Личные имена нужны, чтобы морфология фамилий не срабатывала на чём попало:
- * «Тверская» по окончанию похожа на фамилию, но рядом с ней нет личного имени.
+ *
Личные имена нужны, чтобы морфология фамилий не срабатывала на чём попало: «Тверская» по
+ * окончанию похожа на фамилию, но рядом с ней нет личного имени.
*
- *
Список известных людей решает обратную задачу — упоминание Пушкина
- * персональными данными не является. Ограничение осознанное: клиент по фамилии
- * Пушкин в тексте без других ПД замаскирован не будет.
+ *
Список известных людей решает обратную задачу — упоминание Пушкина персональными данными не
+ * является. Ограничение осознанное: клиент по фамилии Пушкин в тексте без других ПД замаскирован не
+ * будет.
*
- *
Базовый список собран в сборку из {@code /names/well-known.txt}. Поверх
- * него можно дописать своих публичных лиц без пересборки — файл по пути
- * {@code pdguard.well-known-file} (по умолчанию {@code config/well-known.txt})
- * перечитывается сам при изменении, тем же приёмом, что {@code systems.json}
- * в {@link ru.pdguard.config.SystemsConfig}: раз в секунду сверяется время
- * изменения, содержимое читается заново только когда оно другое.
+ *
Базовый список собран в сборку из {@code /names/well-known.txt}. Поверх него можно дописать
+ * своих публичных лиц без пересборки — файл по пути {@code pdguard.well-known-file} (по умолчанию
+ * {@code config/well-known.txt}) перечитывается сам при изменении, тем же приёмом, что {@code
+ * systems.json} в {@link ru.pdguard.config.SystemsConfig}: раз в секунду сверяется время изменения,
+ * содержимое читается заново только когда оно другое.
*/
public final class NameDictionary {
- private static final Logger LOG = LoggerFactory.getLogger(NameDictionary.class);
+ private static final Logger LOG = LoggerFactory.getLogger(NameDictionary.class);
- private static final List GIVEN_NAME_STEMS = ResourceLoader.lines("/names/given-names.txt", true).stream()
- .map(Declension::withoutInflectedEnding)
- .distinct()
- .sorted(Comparator.comparingInt(String::length).reversed())
- .toList();
- // Гласная в конце основы отбрасывается: «Набиуллина» родительный/дательный/
- // творительный падежи образует заменой «-а» на «-ой» («Набиуллиной»), а не
- // дописыванием — без отсечения «а» их startsWith не поймает. Тот же приём,
- // что и для личных имён.
- private static final Set BUNDLED_WELL_KNOWN_STEMS = ResourceLoader.set("/names/well-known.txt").stream()
- .map(Declension::withoutInflectedEnding)
- .collect(Collectors.toUnmodifiableSet());
+ private static final List GIVEN_NAME_STEMS =
+ ResourceLoader.lines("/names/given-names.txt", true).stream()
+ .map(Declension::withoutInflectedEnding)
+ .distinct()
+ .sorted(Comparator.comparingInt(String::length).reversed())
+ .toList();
+ // Гласная в конце основы отбрасывается: «Набиуллина» родительный/дательный/
+ // творительный падежи образует заменой «-а» на «-ой» («Набиуллиной»), а не
+ // дописыванием — без отсечения «а» их startsWith не поймает. Тот же приём,
+ // что и для личных имён.
+ private static final Set BUNDLED_WELL_KNOWN_STEMS =
+ ResourceLoader.set("/names/well-known.txt").stream()
+ .map(Declension::withoutInflectedEnding)
+ .collect(Collectors.toUnmodifiableSet());
- private static final ResourceLoader.FileWatchState> WELL_KNOWN_STATE =
- new ResourceLoader.FileWatchState<>(BUNDLED_WELL_KNOWN_STEMS);
+ private static final ResourceLoader.FileWatchState> WELL_KNOWN_STATE =
+ new ResourceLoader.FileWatchState<>(BUNDLED_WELL_KNOWN_STEMS);
- private static final Path EXTERNAL_FILE = Path.of("config/well-known.txt");
+ private static final Path EXTERNAL_FILE = Path.of("config/well-known.txt");
- /** Разделитель слов: любая последовательность не-буквенных символов. */
- private static final String WORD_SPLIT = "\\P{L}+";
+ /** Разделитель слов: любая последовательность не-буквенных символов. */
+ private static final String WORD_SPLIT = "\\P{L}+";
- /** Порядковые числительные в имени правителя: «Пётр Первый», «Екатерина Вторая». */
- private static final String REGNAL_ORDINALS =
- "перв|втор|трет|четв[её]рт|пят|шест|седьм|восьм|девят|десят";
+ /** Порядковые числительные в имени правителя: «Пётр Первый», «Екатерина Вторая». */
+ private static final String REGNAL_ORDINALS =
+ "перв|втор|трет|четв[её]рт|пят|шест|седьм|восьм|девят|десят";
- /** Прозвища правителей: «Иван Грозный», «Ярослав Мудрый», «Александр Освободитель». */
- private static final String REGNAL_EPITHETS =
- "велик|грозн|мудр|благословен|освободител|миротворц?|тишайш|долгорук|окаянн";
+ /** Прозвища правителей: «Иван Грозный», «Ярослав Мудрый», «Александр Освободитель». */
+ private static final String REGNAL_EPITHETS =
+ "велик|грозн|мудр|благословен|освободител|миротворц?|тишайш|долгорук|окаянн";
- /**
- * Имя правителя: личное имя плюс порядковое числительное или прозвище —
- * «Пётр Первый», «Иван Грозный», «Екатерина Вторая», «Ярослав Мудрый».
- * Задано правилом, а не перечнем: правителей много, а форма записи одна.
- */
- private static final Pattern REGNAL_NAME = Pattern.compile(
- "^\\p{Lu}\\p{L}+\\s+(?iu:" + REGNAL_ORDINALS + "|" + REGNAL_EPITHETS + ")\\p{L}*$",
- Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE | Pattern.CANON_EQ);
+ /**
+ * Имя правителя: личное имя плюс порядковое числительное или прозвище — «Пётр Первый», «Иван
+ * Грозный», «Екатерина Вторая», «Ярослав Мудрый». Задано правилом, а не перечнем: правителей
+ * много, а форма записи одна.
+ */
+ private static final Pattern REGNAL_NAME =
+ Pattern.compile(
+ "^\\p{Lu}\\p{L}+\\s+(?iu:" + REGNAL_ORDINALS + "|" + REGNAL_EPITHETS + ")\\p{L}*$",
+ Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE | Pattern.CANON_EQ);
- /** Не более скольких падежных букв дописывается к основе имени. */
- private static final int MAX_INFLECTION = 3;
+ /** Не более скольких падежных букв дописывается к основе имени. */
+ private static final int MAX_INFLECTION = 3;
- /** Остатки, превращающие основу имени в фамилию или отчество: Роман → Романов. */
- private static final Set SURNAME_SUFFIXES = Set.of(
- "ов", "ев", "ёв", "ин", "ын", "ова", "ева", "ёва", "ина", "ына",
- "ович", "евич", "овна", "евна", "овы", "евы", "ины");
+ /** Остатки, превращающие основу имени в фамилию или отчество: Роман → Романов. */
+ private static final Set SURNAME_SUFFIXES =
+ Set.of(
+ "ов", "ев", "ёв", "ин", "ын", "ова", "ева", "ёва", "ина", "ына", "ович", "евич", "овна",
+ "евна", "овы", "евы", "ины");
- private static final Set GIVEN_NAMES = GIVEN_NAME_STEMS.stream()
- .map(stem -> stem.toLowerCase(Locale.ROOT))
- .collect(Collectors.toUnmodifiableSet());
+ private static final Set GIVEN_NAMES =
+ GIVEN_NAME_STEMS.stream()
+ .map(stem -> stem.toLowerCase(Locale.ROOT))
+ .collect(Collectors.toUnmodifiableSet());
- /**
- * Слова-маркеры персональных данных и реквизитов, которые по словообразованию
- * совпадают с основами имён («ИНН» — основа имени «Инна») и потому ложно
- * распознаются как ФИО. Это аббревиатуры, а не имена.
- */
- private static final Set PD_MARKERS = Set.of(
- "инн", "снилс", "огрн", "огрнип", "кпп", "бик", "паспорт", "счёт", "счет",
- "телефон", "email", "почта", "дата", "адрес", "полис", "свидетельство", "ву");
+ /**
+ * Слова-маркеры персональных данных и реквизитов, которые по словообразованию совпадают с
+ * основами имён («ИНН» — основа имени «Инна») и потому ложно распознаются как ФИО. Это
+ * аббревиатуры, а не имена.
+ */
+ private static final Set PD_MARKERS =
+ Set.of(
+ "инн",
+ "снилс",
+ "огрн",
+ "огрнип",
+ "кпп",
+ "бик",
+ "паспорт",
+ "счёт",
+ "счет",
+ "телефон",
+ "email",
+ "почта",
+ "дата",
+ "адрес",
+ "полис",
+ "свидетельство",
+ "ву");
- private NameDictionary() {
+ private NameDictionary() {}
+
+ /** Экземпляр для Spring-бина; словарь работает через статические методы. */
+ public static NameDictionary create() {
+ return new NameDictionary();
+ }
+
+ /**
+ * Задаёт путь к внешнему файлу денилиста. Вызывается при старте приложения из конфигурации
+ * Spring-бина; статические методы словаря работают без экземпляра, поэтому путь хранится в
+ * статическом поле.
+ */
+ public static void configure(String wellKnownFile) {
+ WELL_KNOWN_STATE.current = BUNDLED_WELL_KNOWN_STEMS;
+ WELL_KNOWN_STATE.mtime = -1;
+ WELL_KNOWN_STATE.lastCheck = 0;
+ // Путь фиксирован в статическом поле; для тестов используется useExternalFile.
+ if (!"config/well-known.txt".equals(wellKnownFile)) {
+ useExternalFile(Path.of(wellKnownFile));
}
+ }
- /** Экземпляр для Spring-бина; словарь работает через статические методы. */
- public static NameDictionary create() {
- return new NameDictionary();
- }
-
- /**
- * Задаёт путь к внешнему файлу денилиста. Вызывается при старте приложения
- * из конфигурации Spring-бина; статические методы словаря работают без
- * экземпляра, поэтому путь хранится в статическом поле.
- */
- public static void configure(String wellKnownFile) {
- WELL_KNOWN_STATE.current = BUNDLED_WELL_KNOWN_STEMS;
- WELL_KNOWN_STATE.mtime = -1;
- WELL_KNOWN_STATE.lastCheck = 0;
- // Путь фиксирован в статическом поле; для тестов используется useExternalFile.
- if (!"config/well-known.txt".equals(wellKnownFile)) {
- useExternalFile(Path.of(wellKnownFile));
+ /**
+ * Есть ли среди слов личное имя из словаря в любом падеже.
+ *
+ * Проверка множеством, а не чередованием в регулярном выражении: сто с лишним веток пришлось
+ * бы перебирать в каждой позиции текста, здесь же на слово приходится не больше четырёх обращений
+ * к хеш-таблице.
+ */
+ public static boolean containsGivenName(String value) {
+ for (String word : value.split(WORD_SPLIT)) {
+ String lower = word.toLowerCase(Locale.ROOT);
+ // Точное совпадение с основой сильнее всего: «Яков» оканчивается на «ов»,
+ // но это имя, а не фамилия.
+ if (GIVEN_NAMES.contains(lower)) {
+ return true;
+ }
+ // По началу слова имя ищется с оглядкой на остаток: «Марина» это основа
+ // «марин» плюс падежное «а», а «Романов» — основа «роман» плюс фамильное
+ // «ов». Без этой разницы «Бизнес-центр Романов Двор» принимался бы за
+ // человека, а «Марина Шевченко» переставала бы им быть.
+ for (int length = Math.max(1, lower.length() - MAX_INFLECTION);
+ length < lower.length();
+ length++) {
+ if (GIVEN_NAMES.contains(lower.substring(0, length))
+ && !SURNAME_SUFFIXES.contains(lower.substring(length))) {
+ return true;
}
+ }
}
+ return false;
+ }
- /**
- * Есть ли среди слов личное имя из словаря в любом падеже.
- *
- *
Проверка множеством, а не чередованием в регулярном выражении: сто с лишним
- * веток пришлось бы перебирать в каждой позиции текста, здесь же на слово
- * приходится не больше четырёх обращений к хеш-таблице.
- */
- public static boolean containsGivenName(String value) {
- for (String word : value.split(WORD_SPLIT)) {
- String lower = word.toLowerCase(Locale.ROOT);
- // Точное совпадение с основой сильнее всего: «Яков» оканчивается на «ов»,
- // но это имя, а не фамилия.
- if (GIVEN_NAMES.contains(lower)) {
- return true;
+ /**
+ * Проверяет, что фрагмент — имя, отчество или фамилия человека. Используется для строчных имён
+ * после ролевого слова («клиент иван иванов»), где регистр не подсказывает, что перед нами имя.
+ */
+ public static boolean containsNamePart(String value) {
+ for (String word : value.split(WORD_SPLIT)) {
+ String lower = word.toLowerCase(Locale.ROOT);
+ if (GIVEN_NAMES.contains(lower)) {
+ return true;
+ }
+ if (isPatronymic(lower) || isSurname(lower)) {
+ return true;
+ }
+ }
+ return false;
+ }
+
+ /**
+ * Слово само по себе похоже на имя, фамилию или отчество — без ролевого слова или соседнего
+ * личного имени рядом, самое слабое основание для ФИО. Точное совпадение с личным именем
+ * принимается в любом регистре («иван» тоже имя), а вот словообразовательная эвристика
+ * (фамилия/отчество по окончанию) — только с заглавной буквы: без этого «законов», «домов»,
+ * «холодов» — обычные родительные падежи, а не фамилии — ложно матчились бы.
+ */
+ public static boolean isStandaloneNameCandidate(String word) {
+ String lower = word.toLowerCase(Locale.ROOT);
+ if (PD_MARKERS.contains(lower)) {
+ return false;
+ }
+ if (GIVEN_NAMES.contains(lower)) {
+ return true;
+ }
+ if (word.isEmpty() || !Character.isUpperCase(word.codePointAt(0))) {
+ return false;
+ }
+ return isPatronymic(lower) || isSurname(lower);
+ }
+
+ /** Отчество: Иванович, Петровна, Сидоровна. */
+ private static boolean isPatronymic(String lower) {
+ return lower.matches(".*(?:ович|евич|овна|евна|ична|ичн)$");
+ }
+
+ /** Окончания, по которым слово похоже на фамилию: Иванов, Петрова, Троицкий, Шевченко. */
+ private static final Set SURNAME_ENDINGS =
+ Set.of(
+ "ов", "ев", "ёв", "ин", "ын", "ский", "ская", "ского", "ской", "ском", "цкий", "цкая",
+ "енко", "ко", "ук", "юк", "ян", "швили", "дзе");
+
+ /** Фамилия по словообразованию. Набор окончаний вместо regex: проще и без CANON_EQ. */
+ private static boolean isSurname(String lower) {
+ for (String ending : SURNAME_ENDINGS) {
+ if (lower.endsWith(ending)) {
+ return true;
+ }
+ }
+ return false;
+ }
+
+ /**
+ * Содержит ли текст упоминание известного человека — из сборки или дописанных сверху.
+ *
+ * Проверяются префиксы слова по множеству, а не каждая основа по слову: при тысяче с лишним
+ * записей (столько городов в {@link ToponymDictionary}, тот же приём) перебор списка на каждое
+ * слово текста был бы заметен, а префиксов у слова — не больше, чем в нём букв.
+ */
+ public static boolean isWellKnown(String value) {
+ if (REGNAL_NAME.matcher(value.strip()).matches()) {
+ return true;
+ }
+ Set stems = currentWellKnownStems();
+ for (String word : value.split(WORD_SPLIT)) {
+ String lower = word.toLowerCase(Locale.ROOT);
+ for (int length = lower.length(); length > 0; length--) {
+ if (stems.contains(lower.substring(0, length))) {
+ return true;
+ }
+ }
+ }
+ return false;
+ }
+
+ /** Путь к внешнему файлу денилиста — для тестов, чтобы не трогать {@code config/}. */
+ static void useExternalFile(Path path) {
+ WELL_KNOWN_STATE.current = BUNDLED_WELL_KNOWN_STEMS;
+ WELL_KNOWN_STATE.mtime = -1;
+ WELL_KNOWN_STATE.lastCheck = 0;
+ // Перечитываем немедленно, минуя секундный троттлинг.
+ reloadExternal(path);
+ }
+
+ /** Перечитать внешний файл немедленно, минуя секундный троттлинг проверки. */
+ static synchronized void reloadExternal(Path path) {
+ WELL_KNOWN_STATE.lastCheck = System.currentTimeMillis();
+ if (!java.nio.file.Files.isReadable(path)) {
+ if (WELL_KNOWN_STATE.current != BUNDLED_WELL_KNOWN_STEMS) {
+ LOG.info(
+ "Внешний файл денилиста {} исчез, остаётся только встроенный список",
+ path.toAbsolutePath());
+ }
+ WELL_KNOWN_STATE.current = BUNDLED_WELL_KNOWN_STEMS;
+ WELL_KNOWN_STATE.mtime = 0;
+ return;
+ }
+ try {
+ WELL_KNOWN_STATE.mtime = java.nio.file.Files.getLastModifiedTime(path).toMillis();
+ Set merged = new HashSet<>(BUNDLED_WELL_KNOWN_STEMS);
+ for (String line :
+ java.nio.file.Files.readAllLines(path, java.nio.charset.StandardCharsets.UTF_8)) {
+ String trimmed = Declension.withoutInflectedEnding(line.trim());
+ if (!trimmed.isEmpty() && !trimmed.startsWith("#")) {
+ merged.add(trimmed);
+ }
+ }
+ WELL_KNOWN_STATE.current = Set.copyOf(merged);
+ LOG.info(
+ "Денилист дополнен из {}: {} имён сверх встроенных",
+ path.toAbsolutePath(),
+ merged.size() - BUNDLED_WELL_KNOWN_STEMS.size());
+ } catch (java.io.IOException e) {
+ // Битый файл не должен ронять маскирование: остаётся прежний список.
+ LOG.error("Не удалось прочитать {}, денилист не изменён", path.toAbsolutePath(), e);
+ }
+ }
+
+ private static Set currentWellKnownStems() {
+ return ResourceLoader.refreshIfChanged(
+ EXTERNAL_FILE,
+ WELL_KNOWN_STATE,
+ lines -> {
+ Set merged = new HashSet<>(BUNDLED_WELL_KNOWN_STEMS);
+ for (String line : lines) {
+ String trimmed = Declension.withoutInflectedEnding(line);
+ if (!trimmed.isEmpty()) {
+ merged.add(trimmed);
}
- // По началу слова имя ищется с оглядкой на остаток: «Марина» это основа
- // «марин» плюс падежное «а», а «Романов» — основа «роман» плюс фамильное
- // «ов». Без этой разницы «Бизнес-центр Романов Двор» принимался бы за
- // человека, а «Марина Шевченко» переставала бы им быть.
- for (int length = Math.max(1, lower.length() - MAX_INFLECTION); length < lower.length(); length++) {
- if (GIVEN_NAMES.contains(lower.substring(0, length))
- && !SURNAME_SUFFIXES.contains(lower.substring(length))) {
- return true;
- }
- }
- }
- return false;
- }
-
- /**
- * Проверяет, что фрагмент — имя, отчество или фамилия человека. Используется
- * для строчных имён после ролевого слова («клиент иван иванов»), где регистр
- * не подсказывает, что перед нами имя.
- */
- public static boolean containsNamePart(String value) {
- for (String word : value.split(WORD_SPLIT)) {
- String lower = word.toLowerCase(Locale.ROOT);
- if (GIVEN_NAMES.contains(lower)) {
- return true;
- }
- if (isPatronymic(lower) || isSurname(lower)) {
- return true;
- }
- }
- return false;
- }
-
- /**
- * Слово само по себе похоже на имя, фамилию или отчество — без ролевого слова
- * или соседнего личного имени рядом, самое слабое основание для ФИО. Точное
- * совпадение с личным именем принимается в любом регистре («иван» тоже имя),
- * а вот словообразовательная эвристика (фамилия/отчество по окончанию) —
- * только с заглавной буквы: без этого «законов», «домов», «холодов» —
- * обычные родительные падежи, а не фамилии — ложно матчились бы.
- */
- public static boolean isStandaloneNameCandidate(String word) {
- String lower = word.toLowerCase(Locale.ROOT);
- if (PD_MARKERS.contains(lower)) {
- return false;
- }
- if (GIVEN_NAMES.contains(lower)) {
- return true;
- }
- if (word.isEmpty() || !Character.isUpperCase(word.codePointAt(0))) {
- return false;
- }
- return isPatronymic(lower) || isSurname(lower);
- }
-
- /** Отчество: Иванович, Петровна, Сидоровна. */
- private static boolean isPatronymic(String lower) {
- return lower.matches(".*(?:ович|евич|овна|евна|ична|ичн)$");
- }
-
- /** Окончания, по которым слово похоже на фамилию: Иванов, Петрова, Троицкий, Шевченко. */
- private static final Set SURNAME_ENDINGS = Set.of(
- "ов", "ев", "ёв", "ин", "ын", "ский", "ская", "ского", "ской", "ском",
- "цкий", "цкая", "енко", "ко", "ук", "юк", "ян", "швили", "дзе");
-
- /** Фамилия по словообразованию. Набор окончаний вместо regex: проще и без CANON_EQ. */
- private static boolean isSurname(String lower) {
- for (String ending : SURNAME_ENDINGS) {
- if (lower.endsWith(ending)) {
- return true;
- }
- }
- return false;
- }
-
- /**
- * Содержит ли текст упоминание известного человека — из сборки или дописанных
- * сверху.
- *
- * Проверяются префиксы слова по множеству, а не каждая основа по слову:
- * при тысяче с лишним записей (столько городов в {@link ToponymDictionary},
- * тот же приём) перебор списка на каждое слово текста был бы заметен, а
- * префиксов у слова — не больше, чем в нём букв.
- */
- public static boolean isWellKnown(String value) {
- if (REGNAL_NAME.matcher(value.strip()).matches()) {
- return true;
- }
- Set stems = currentWellKnownStems();
- for (String word : value.split(WORD_SPLIT)) {
- String lower = word.toLowerCase(Locale.ROOT);
- for (int length = lower.length(); length > 0; length--) {
- if (stems.contains(lower.substring(0, length))) {
- return true;
- }
- }
- }
- return false;
- }
-
- /** Путь к внешнему файлу денилиста — для тестов, чтобы не трогать {@code config/}. */
- static void useExternalFile(Path path) {
- WELL_KNOWN_STATE.current = BUNDLED_WELL_KNOWN_STEMS;
- WELL_KNOWN_STATE.mtime = -1;
- WELL_KNOWN_STATE.lastCheck = 0;
- // Перечитываем немедленно, минуя секундный троттлинг.
- reloadExternal(path);
- }
-
- /** Перечитать внешний файл немедленно, минуя секундный троттлинг проверки. */
- static synchronized void reloadExternal(Path path) {
- WELL_KNOWN_STATE.lastCheck = System.currentTimeMillis();
- if (!java.nio.file.Files.isReadable(path)) {
- if (WELL_KNOWN_STATE.current != BUNDLED_WELL_KNOWN_STEMS) {
- LOG.info("Внешний файл денилиста {} исчез, остаётся только встроенный список",
- path.toAbsolutePath());
- }
- WELL_KNOWN_STATE.current = BUNDLED_WELL_KNOWN_STEMS;
- WELL_KNOWN_STATE.mtime = 0;
- return;
- }
- try {
- WELL_KNOWN_STATE.mtime = java.nio.file.Files.getLastModifiedTime(path).toMillis();
- Set merged = new HashSet<>(BUNDLED_WELL_KNOWN_STEMS);
- for (String line : java.nio.file.Files.readAllLines(path, java.nio.charset.StandardCharsets.UTF_8)) {
- String trimmed = Declension.withoutInflectedEnding(line.trim());
- if (!trimmed.isEmpty() && !trimmed.startsWith("#")) {
- merged.add(trimmed);
- }
- }
- WELL_KNOWN_STATE.current = Set.copyOf(merged);
- LOG.info("Денилист дополнен из {}: {} имён сверх встроенных",
- path.toAbsolutePath(), merged.size() - BUNDLED_WELL_KNOWN_STEMS.size());
- } catch (java.io.IOException e) {
- // Битый файл не должен ронять маскирование: остаётся прежний список.
- LOG.error("Не удалось прочитать {}, денилист не изменён", path.toAbsolutePath(), e);
- }
- }
-
- private static Set currentWellKnownStems() {
- return ResourceLoader.refreshIfChanged(EXTERNAL_FILE, WELL_KNOWN_STATE,
- lines -> {
- Set merged = new HashSet<>(BUNDLED_WELL_KNOWN_STEMS);
- for (String line : lines) {
- String trimmed = Declension.withoutInflectedEnding(line);
- if (!trimmed.isEmpty()) {
- merged.add(trimmed);
- }
- }
- return Set.copyOf(merged);
- });
- }
-}
\ No newline at end of file
+ }
+ return Set.copyOf(merged);
+ });
+ }
+}
diff --git a/src/main/java/ru/pdguard/detect/OrganisationDetector.java b/src/main/java/ru/pdguard/detect/OrganisationDetector.java
index e2eabe7..acf9f12 100644
--- a/src/main/java/ru/pdguard/detect/OrganisationDetector.java
+++ b/src/main/java/ru/pdguard/detect/OrganisationDetector.java
@@ -3,33 +3,34 @@ package ru.pdguard.detect;
import java.util.regex.Pattern;
/**
- * Проверка, стоит ли перед именем слово, относящее его к организации или
- * объекту на карте.
+ * Проверка, стоит ли перед именем слово, относящее его к организации или объекту на карте.
*
- * «Институт Склифосовского», «Музей Тропинина», «улица Королёва» — это имена
- * в названиях, а не персональные данные. Отличие от списка известных людей в том,
- * что здесь решает не само имя, а слово перед ним: клиент по фамилии Королёв
- * защиту не теряет, а улица Королёва под маску не попадает.
+ *
«Институт Склифосовского», «Музей Тропинина», «улица Королёва» — это имена в названиях, а не
+ * персональные данные. Отличие от списка известных людей в том, что здесь решает не само имя, а
+ * слово перед ним: клиент по фамилии Королёв защиту не теряет, а улица Королёва под маску не
+ * попадает.
*/
public final class OrganisationDetector {
- /**
- * Маркер организации вплотную перед именем. Слово может стоять в любом падеже,
- * между ним и именем допускается «имени» или «им.» — «Премия имени Ломоносова».
- */
- private static final Pattern ORGANISATION_BEFORE = Pattern.compile(
- "(?iu:" + String.join("|", ResourceLoader.lines("/names/organisations.txt", false)) + ")\\p{L}*"
- + "(?:\\W{1,3}(?iu:имени|им\\.))?\\W{0,3}$",
- Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE);
+ /**
+ * Маркер организации вплотную перед именем. Слово может стоять в любом падеже, между ним и именем
+ * допускается «имени» или «им.» — «Премия имени Ломоносова».
+ */
+ private static final Pattern ORGANISATION_BEFORE =
+ Pattern.compile(
+ "(?iu:"
+ + String.join("|", ResourceLoader.lines("/names/organisations.txt", false))
+ + ")\\p{L}*"
+ + "(?:\\W{1,3}(?iu:имени|им\\.))?\\W{0,3}$",
+ Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE);
- /** Сколько знаков перед именем просматривается в поисках маркера организации. */
- private static final int ORGANISATION_LOOKBEHIND = 40;
+ /** Сколько знаков перед именем просматривается в поисках маркера организации. */
+ private static final int ORGANISATION_LOOKBEHIND = 40;
- private OrganisationDetector() {
- }
+ private OrganisationDetector() {}
- public static boolean precededByOrganisation(String text, int nameStart) {
- int from = Math.max(0, nameStart - ORGANISATION_LOOKBEHIND);
- return ORGANISATION_BEFORE.matcher(text.substring(from, nameStart)).find();
- }
-}
\ No newline at end of file
+ public static boolean precededByOrganisation(String text, int nameStart) {
+ int from = Math.max(0, nameStart - ORGANISATION_LOOKBEHIND);
+ return ORGANISATION_BEFORE.matcher(text.substring(from, nameStart)).find();
+ }
+}
diff --git a/src/main/java/ru/pdguard/detect/PdTypes.java b/src/main/java/ru/pdguard/detect/PdTypes.java
index 88089f0..28a6fbb 100644
--- a/src/main/java/ru/pdguard/detect/PdTypes.java
+++ b/src/main/java/ru/pdguard/detect/PdTypes.java
@@ -3,56 +3,57 @@ package ru.pdguard.detect;
/**
* Имена типов персональных данных, которые умеет распознавать сервис.
*
- *
Вынесены из {@link RuleRegistry} отдельно: константы используются и в
- * правилах, и в маскировании ({@link ru.pdguard.mask.Masker}), и в политиках
- * ({@link ru.pdguard.config.SystemPolicy}), и в синтетических подстановках
- * ({@link ru.pdguard.mask.Synthetic}). Единое место — чтобы имя типа не
- * расходилось между слоями.
+ *
Вынесены из {@link RuleRegistry} отдельно: константы используются и в правилах, и в
+ * маскировании ({@link ru.pdguard.mask.Masker}), и в политиках ({@link
+ * ru.pdguard.config.SystemPolicy}), и в синтетических подстановках ({@link
+ * ru.pdguard.mask.Synthetic}). Единое место — чтобы имя типа не расходилось между слоями.
*/
public final class PdTypes {
- private PdTypes() {
- }
+ private PdTypes() {}
- public static final String EMAIL = "EMAIL";
- public static final String PHONE = "PHONE";
- public static final String CARD = "CARD";
- public static final String INN = "INN";
- public static final String SNILS = "SNILS";
- public static final String PASSPORT = "PASSPORT";
- public static final String PASSPORT_ISSUER = "PASSPORT_ISSUER";
- public static final String PASSPORT_DATE = "PASSPORT_DATE";
- public static final String DEPT_CODE = "DEPT_CODE";
- public static final String DRIVER_LICENSE = "DRIVER_LICENSE";
- public static final String CITIZENSHIP = "CITIZENSHIP";
- public static final String BIRTH_PLACE = "BIRTH_PLACE";
- public static final String BIRTH_DATE = "BIRTH_DATE";
- public static final String DATE = "DATE";
- public static final String CVV = "CVV";
- public static final String PIN = "PIN";
- public static final String CARDHOLDER = "CARDHOLDER";
- public static final String ADDRESS_COUNTRY = "ADDRESS_COUNTRY";
- public static final String ADDRESS_POSTCODE = "ADDRESS_POSTCODE";
- public static final String ADDRESS_CITY = "ADDRESS_CITY";
- public static final String ADDRESS_STREET = "ADDRESS_STREET";
- public static final String ADDRESS_HOUSE = "ADDRESS_HOUSE";
- public static final String ADDRESS_FLAT = "ADDRESS_FLAT";
- /** Регион и район размечает только модель второй ступени: правил под них нет. */
- public static final String ADDRESS_REGION = "ADDRESS_REGION";
- public static final String ADDRESS_DISTRICT = "ADDRESS_DISTRICT";
- public static final String FIO = "FIO";
- public static final String FOREIGN_PASSPORT = "FOREIGN_PASSPORT";
- public static final String MILITARY_ID = "MILITARY_ID";
- public static final String BIRTH_CERTIFICATE = "BIRTH_CERTIFICATE";
- public static final String MEDICAL_POLICY = "MEDICAL_POLICY";
+ public static final String EMAIL = "EMAIL";
+ public static final String PHONE = "PHONE";
+ public static final String CARD = "CARD";
+ public static final String INN = "INN";
+ public static final String SNILS = "SNILS";
+ public static final String PASSPORT = "PASSPORT";
+ public static final String PASSPORT_ISSUER = "PASSPORT_ISSUER";
+ public static final String PASSPORT_DATE = "PASSPORT_DATE";
+ public static final String DEPT_CODE = "DEPT_CODE";
+ public static final String DRIVER_LICENSE = "DRIVER_LICENSE";
+ public static final String CITIZENSHIP = "CITIZENSHIP";
+ public static final String BIRTH_PLACE = "BIRTH_PLACE";
+ public static final String BIRTH_DATE = "BIRTH_DATE";
+ public static final String DATE = "DATE";
+ public static final String CVV = "CVV";
+ public static final String PIN = "PIN";
+ public static final String CARDHOLDER = "CARDHOLDER";
+ public static final String ADDRESS_COUNTRY = "ADDRESS_COUNTRY";
+ public static final String ADDRESS_POSTCODE = "ADDRESS_POSTCODE";
+ public static final String ADDRESS_CITY = "ADDRESS_CITY";
+ public static final String ADDRESS_STREET = "ADDRESS_STREET";
+ public static final String ADDRESS_HOUSE = "ADDRESS_HOUSE";
+ public static final String ADDRESS_FLAT = "ADDRESS_FLAT";
- /** Банковские реквизиты сверх платёжной карты. */
- public static final String ACCOUNT_NUMBER = "ACCOUNT_NUMBER";
- public static final String BIK = "BIK";
- public static final String CARD_EXPIRY = "CARD_EXPIRY";
- public static final String INCOME = "INCOME";
- public static final String OGRN = "OGRN";
- public static final String OGRNIP = "OGRNIP";
- public static final String KPP = "KPP";
- public static final String BIOMETRIC = "BIOMETRIC";
-}
\ No newline at end of file
+ /** Регион и район размечает только модель второй ступени: правил под них нет. */
+ public static final String ADDRESS_REGION = "ADDRESS_REGION";
+
+ public static final String ADDRESS_DISTRICT = "ADDRESS_DISTRICT";
+ public static final String FIO = "FIO";
+ public static final String FOREIGN_PASSPORT = "FOREIGN_PASSPORT";
+ public static final String MILITARY_ID = "MILITARY_ID";
+ public static final String BIRTH_CERTIFICATE = "BIRTH_CERTIFICATE";
+ public static final String MEDICAL_POLICY = "MEDICAL_POLICY";
+
+ /** Банковские реквизиты сверх платёжной карты. */
+ public static final String ACCOUNT_NUMBER = "ACCOUNT_NUMBER";
+
+ public static final String BIK = "BIK";
+ public static final String CARD_EXPIRY = "CARD_EXPIRY";
+ public static final String INCOME = "INCOME";
+ public static final String OGRN = "OGRN";
+ public static final String OGRNIP = "OGRNIP";
+ public static final String KPP = "KPP";
+ public static final String BIOMETRIC = "BIOMETRIC";
+}
diff --git a/src/main/java/ru/pdguard/detect/ResourceLoader.java b/src/main/java/ru/pdguard/detect/ResourceLoader.java
index 32af586..9d4700a 100644
--- a/src/main/java/ru/pdguard/detect/ResourceLoader.java
+++ b/src/main/java/ru/pdguard/detect/ResourceLoader.java
@@ -18,103 +18,103 @@ import org.slf4j.LoggerFactory;
/**
* Общие приёмы чтения словарей и внешних файлов.
*
- *
Словари лежат в сборке как ресурсы и читаются одинаково: строки обрезаются,
- * пустые и комментарии отбрасываются. Внешние файлы (денилист, настройки систем)
- * перечитываются, когда меняется время их изменения, и не чаще раза в секунду —
- * чтобы не ходить в файловую систему на каждом запросе. Обе задачи вынесены сюда,
- * чтобы не дублировать их в каждом словаре.
+ *
Словари лежат в сборке как ресурсы и читаются одинаково: строки обрезаются, пустые и
+ * комментарии отбрасываются. Внешние файлы (денилист, настройки систем) перечитываются, когда
+ * меняется время их изменения, и не чаще раза в секунду — чтобы не ходить в файловую систему на
+ * каждом запросе. Обе задачи вынесены сюда, чтобы не дублировать их в каждом словаре.
*/
final class ResourceLoader {
- private static final Logger LOG = LoggerFactory.getLogger(ResourceLoader.class);
+ private static final Logger LOG = LoggerFactory.getLogger(ResourceLoader.class);
- private ResourceLoader() {
+ private ResourceLoader() {}
+
+ /**
+ * Читает строки ресурса, отбрасывая пустые и комментарии.
+ *
+ * @param resource путь к ресурсу в classpath
+ * @param sortByLength сортировать ли от длинных к коротким (нужно для чередований)
+ */
+ static List lines(String resource, boolean sortByLength) {
+ try (InputStream in = ResourceLoader.class.getResourceAsStream(resource)) {
+ if (in == null) {
+ throw new IllegalStateException("Словарь не найден в сборке: " + resource);
+ }
+ try (BufferedReader reader =
+ new BufferedReader(new InputStreamReader(in, StandardCharsets.UTF_8))) {
+ return reader
+ .lines()
+ .map(String::trim)
+ .filter(line -> !line.isEmpty() && !line.startsWith("#"))
+ .distinct()
+ .sorted(
+ sortByLength
+ ? Comparator.comparingInt(String::length).reversed()
+ : Comparator.naturalOrder())
+ .toList();
+ }
+ } catch (IOException e) {
+ throw new UncheckedIOException("Не удалось прочитать словарь " + resource, e);
}
+ }
- /**
- * Читает строки ресурса, отбрасывая пустые и комментарии.
- *
- * @param resource путь к ресурсу в classpath
- * @param sortByLength сортировать ли от длинных к коротким (нужно для чередований)
- */
- static List lines(String resource, boolean sortByLength) {
- try (InputStream in = ResourceLoader.class.getResourceAsStream(resource)) {
- if (in == null) {
- throw new IllegalStateException("Словарь не найден в сборке: " + resource);
- }
- try (BufferedReader reader = new BufferedReader(new InputStreamReader(in, StandardCharsets.UTF_8))) {
- return reader.lines()
- .map(String::trim)
- .filter(line -> !line.isEmpty() && !line.startsWith("#"))
- .distinct()
- .sorted(sortByLength
- ? Comparator.comparingInt(String::length).reversed()
- : Comparator.naturalOrder())
- .toList();
- }
- } catch (IOException e) {
- throw new UncheckedIOException("Не удалось прочитать словарь " + resource, e);
- }
+ /** Читает строки ресурса в множество, отбрасывая пустые и комментарии. */
+ static java.util.Set set(String resource) {
+ return lines(resource, false).stream().collect(Collectors.toUnmodifiableSet());
+ }
+
+ /**
+ * Перечитывает внешний файл, когда меняется время его изменения, не чаще раза в секунду.
+ * Возвращает текущее содержимое; при недоступности файла — прежнее.
+ *
+ * @param path путь к файлу
+ * @param state состояние проверки (время последней проверки и mtime файла)
+ * @param reader как превратить строки файла в итоговое значение
+ */
+ static T refreshIfChanged(
+ Path path, FileWatchState state, Function, T> reader) {
+ long now = System.currentTimeMillis();
+ if (now - state.lastCheck < state.recheckMillis) {
+ return state.current;
}
-
- /**
- * Читает строки ресурса в множество, отбрасывая пустые и комментарии.
- */
- static java.util.Set set(String resource) {
- return lines(resource, false).stream().collect(Collectors.toUnmodifiableSet());
- }
-
- /**
- * Перечитывает внешний файл, когда меняется время его изменения, не чаще раза
- * в секунду. Возвращает текущее содержимое; при недоступности файла — прежнее.
- *
- * @param path путь к файлу
- * @param state состояние проверки (время последней проверки и mtime файла)
- * @param reader как превратить строки файла в итоговое значение
- */
- static T refreshIfChanged(Path path, FileWatchState state,
- Function, T> reader) {
- long now = System.currentTimeMillis();
- if (now - state.lastCheck < state.recheckMillis) {
- return state.current;
- }
- state.lastCheck = now;
- try {
- if (!Files.isReadable(path)) {
- return state.current;
- }
- long mtime = Files.getLastModifiedTime(path).toMillis();
- if (mtime != state.mtime) {
- state.mtime = mtime;
- List lines = Files.readAllLines(path, StandardCharsets.UTF_8).stream()
- .map(String::trim)
- .filter(line -> !line.isEmpty() && !line.startsWith("#"))
- .toList();
- state.current = reader.apply(lines);
- }
- } catch (IOException e) {
- // Битый файл не должен ронять работу: остаётся прежнее значение.
- LOG.warn("Не удалось перечитать файл {}", path, e);
- }
+ state.lastCheck = now;
+ try {
+ if (!Files.isReadable(path)) {
return state.current;
+ }
+ long mtime = Files.getLastModifiedTime(path).toMillis();
+ if (mtime != state.mtime) {
+ state.mtime = mtime;
+ List lines =
+ Files.readAllLines(path, StandardCharsets.UTF_8).stream()
+ .map(String::trim)
+ .filter(line -> !line.isEmpty() && !line.startsWith("#"))
+ .toList();
+ state.current = reader.apply(lines);
+ }
+ } catch (IOException e) {
+ // Битый файл не должен ронять работу: остаётся прежнее значение.
+ LOG.warn("Не удалось перечитать файл {}", path, e);
+ }
+ return state.current;
+ }
+
+ /** Состояние проверки внешнего файла: время последней проверки и mtime. */
+ static final class FileWatchState {
+ private static final long DEFAULT_RECHECK_MILLIS = 1000;
+
+ final long recheckMillis;
+ long lastCheck;
+ long mtime;
+ T current;
+
+ FileWatchState(T initial, long recheckMillis) {
+ this.current = initial;
+ this.recheckMillis = recheckMillis;
}
- /** Состояние проверки внешнего файла: время последней проверки и mtime. */
- static final class FileWatchState {
- private static final long DEFAULT_RECHECK_MILLIS = 1000;
-
- final long recheckMillis;
- long lastCheck;
- long mtime;
- T current;
-
- FileWatchState(T initial, long recheckMillis) {
- this.current = initial;
- this.recheckMillis = recheckMillis;
- }
-
- FileWatchState(T initial) {
- this(initial, DEFAULT_RECHECK_MILLIS);
- }
+ FileWatchState(T initial) {
+ this(initial, DEFAULT_RECHECK_MILLIS);
}
-}
\ No newline at end of file
+ }
+}
diff --git a/src/main/java/ru/pdguard/detect/RuBertRecogniser.java b/src/main/java/ru/pdguard/detect/RuBertRecogniser.java
index 41c8802..d9fcbda 100644
--- a/src/main/java/ru/pdguard/detect/RuBertRecogniser.java
+++ b/src/main/java/ru/pdguard/detect/RuBertRecogniser.java
@@ -6,9 +6,6 @@ import ai.onnxruntime.OrtException;
import ai.onnxruntime.OrtSession;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
-import org.slf4j.Logger;
-import org.slf4j.LoggerFactory;
-
import java.io.IOException;
import java.nio.LongBuffer;
import java.nio.file.Files;
@@ -19,197 +16,213 @@ import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;
+import org.slf4j.Logger;
+import org.slf4j.LoggerFactory;
/**
* Распознаватель на BERT: размечает имена и составляющие адреса за один проход.
*
- * В отличие от правил, он опознаёт имена без русского словообразования и
- * нестандартные топонимы. Метки модели ложатся почти один в один
- * на типы из технического задания: имя, отчество, фамилия, страна, регион, район,
- * город, улица, дом.
+ *
В отличие от правил, он опознаёт имена без русского словообразования и нестандартные топонимы.
+ * Метки модели ложатся почти один в один на типы из технического задания: имя, отчество, фамилия,
+ * страна, регион, район, город, улица, дом.
*
- *
Модель тяжёлая — сто семьдесят мегабайт и около двенадцати миллисекунд на
- * вызов, — поэтому её зовут только на участках, которые не разобрала первая
- * ступень. Одновременных вызовов не больше, чем задано: иначе один запрос с
- * десятком кандидатов занял бы все ядра.
+ *
Модель тяжёлая — сто семьдесят мегабайт и около двенадцати миллисекунд на вызов, — поэтому её
+ * зовут только на участках, которые не разобрала первая ступень. Одновременных вызовов не больше,
+ * чем задано: иначе один запрос с десятком кандидатов занял бы все ядра.
*/
final class RuBertRecogniser {
- private static final Logger LOG = LoggerFactory.getLogger(RuBertRecogniser.class);
+ private static final Logger LOG = LoggerFactory.getLogger(RuBertRecogniser.class);
- /** Предел длины входа: участки короткие, до потолка модели в 512 далеко. */
- private static final int MAX_PIECES = 190;
+ /** Предел длины входа: участки короткие, до потолка модели в 512 далеко. */
+ private static final int MAX_PIECES = 190;
- private final OrtEnvironment environment;
- private final OrtSession session;
- private final WordPiece tokenizer;
- private final String[] labels;
- private final Set inputNames;
- private final Map types;
+ private final OrtEnvironment environment;
+ private final OrtSession session;
+ private final WordPiece tokenizer;
+ private final String[] labels;
+ private final Set inputNames;
+ private final Map types;
- private RuBertRecogniser(OrtEnvironment environment, OrtSession session,
- WordPiece tokenizer, String[] labels, Map types) {
- this.environment = environment;
- this.session = session;
- this.tokenizer = tokenizer;
- this.labels = labels;
- this.inputNames = session.getInputNames();
- this.types = types;
+ private RuBertRecogniser(
+ OrtEnvironment environment,
+ OrtSession session,
+ WordPiece tokenizer,
+ String[] labels,
+ Map types) {
+ this.environment = environment;
+ this.session = session;
+ this.tokenizer = tokenizer;
+ this.labels = labels;
+ this.inputNames = session.getInputNames();
+ this.types = types;
+ }
+
+ /**
+ * Загружает модель из каталога с файлами {@code model.onnx}, {@code tokenizer.json} и {@code
+ * config.json}. Каталог недоступен или испорчен — вернётся {@code null}, и сервис продолжит
+ * работать на правилах.
+ *
+ * @param types соответствие меток модели типам ПД сервиса
+ */
+ static RuBertRecogniser load(Path directory, int threadsPerCall, Map types) {
+ Path model = directory.resolve("model.onnx");
+ Path tokenizer = directory.resolve("tokenizer.json");
+ Path config = directory.resolve("config.json");
+ if (!Files.isReadable(model) || !Files.isReadable(tokenizer) || !Files.isReadable(config)) {
+ LOG.warn("Модель BERT в {} неполна, распознаватель не создан", directory.toAbsolutePath());
+ return null;
}
-
- /**
- * Загружает модель из каталога с файлами {@code model.onnx}, {@code tokenizer.json}
- * и {@code config.json}. Каталог недоступен или испорчен — вернётся {@code null},
- * и сервис продолжит работать на правилах.
- *
- * @param types соответствие меток модели типам ПД сервиса
- */
- static RuBertRecogniser load(Path directory, int threadsPerCall, Map types) {
- Path model = directory.resolve("model.onnx");
- Path tokenizer = directory.resolve("tokenizer.json");
- Path config = directory.resolve("config.json");
- if (!Files.isReadable(model) || !Files.isReadable(tokenizer) || !Files.isReadable(config)) {
- LOG.warn("Модель BERT в {} неполна, распознаватель не создан", directory.toAbsolutePath());
- return null;
- }
- OrtSession session = null;
- try {
- OrtEnvironment environment = OrtEnvironment.getEnvironment();
- try (OrtSession.SessionOptions options = new OrtSession.SessionOptions()) {
- options.setIntraOpNumThreads(threadsPerCall);
- options.setInterOpNumThreads(1);
- session = environment.createSession(model.toString(), options);
- }
- RuBertRecogniser recogniser = new RuBertRecogniser(environment, session,
- WordPiece.fromTokenizerJson(tokenizer), readLabels(config), types);
- LOG.info("Распознаватель BERT готов, модель {}", model.toAbsolutePath());
- return recogniser;
- } catch (OrtException | IOException | RuntimeException e) {
- closeQuietly(session);
- LOG.error("Не удалось загрузить модель BERT из {}", directory.toAbsolutePath(), e);
- return null;
- }
+ OrtSession session = null;
+ try {
+ OrtEnvironment environment = OrtEnvironment.getEnvironment();
+ try (OrtSession.SessionOptions options = new OrtSession.SessionOptions()) {
+ options.setIntraOpNumThreads(threadsPerCall);
+ options.setInterOpNumThreads(1);
+ session = environment.createSession(model.toString(), options);
+ }
+ RuBertRecogniser recogniser =
+ new RuBertRecogniser(
+ environment,
+ session,
+ WordPiece.fromTokenizerJson(tokenizer),
+ readLabels(config),
+ types);
+ LOG.info("Распознаватель BERT готов, модель {}", model.toAbsolutePath());
+ return recogniser;
+ } catch (OrtException | IOException | RuntimeException e) {
+ closeQuietly(session);
+ LOG.error("Не удалось загрузить модель BERT из {}", directory.toAbsolutePath(), e);
+ return null;
}
+ }
- private static void closeQuietly(OrtSession session) {
- if (session == null) {
- return;
- }
- try {
- session.close();
- } catch (OrtException e) {
- LOG.debug("Не удалось закрыть сессию модели при ошибке загрузки", e);
- }
+ private static void closeQuietly(OrtSession session) {
+ if (session == null) {
+ return;
}
-
- List recognise(String text, int from, int to, int priority) {
- String region = text.substring(from, to);
- List pieces = tokenizer.split(region, MAX_PIECES);
- if (pieces.isEmpty()) {
- return List.of();
- }
- try {
- String[] tags = classify(pieces);
- return toSpans(pieces, tags, from, priority, types);
- } catch (OrtException e) {
- throw new IllegalStateException("Сбой вычисления модели BERT", e);
- }
+ try {
+ session.close();
+ } catch (OrtException e) {
+ LOG.debug("Не удалось закрыть сессию модели при ошибке загрузки", e);
}
+ }
- private String[] classify(List pieces) throws OrtException {
- int length = pieces.size() + 2;
- long[] ids = new long[length];
- long[] mask = new long[length];
- long[] tokenTypes = new long[length];
- ids[0] = tokenizer.classifyId();
+ List recognise(String text, int from, int to, int priority) {
+ String region = text.substring(from, to);
+ List pieces = tokenizer.split(region, MAX_PIECES);
+ if (pieces.isEmpty()) {
+ return List.of();
+ }
+ try {
+ String[] tags = classify(pieces);
+ return toSpans(pieces, tags, from, priority, types);
+ } catch (OrtException e) {
+ throw new IllegalStateException("Сбой вычисления модели BERT", e);
+ }
+ }
+
+ private String[] classify(List pieces) throws OrtException {
+ int length = pieces.size() + 2;
+ long[] ids = new long[length];
+ long[] mask = new long[length];
+ long[] tokenTypes = new long[length];
+ ids[0] = tokenizer.classifyId();
+ for (int i = 0; i < pieces.size(); i++) {
+ ids[i + 1] = pieces.get(i).id();
+ }
+ ids[length - 1] = tokenizer.separatorId();
+ java.util.Arrays.fill(mask, 1L);
+
+ long[] shape = {1, length};
+ Map inputs = new HashMap<>();
+ try {
+ inputs.put("input_ids", OnnxTensor.createTensor(environment, LongBuffer.wrap(ids), shape));
+ inputs.put(
+ "attention_mask", OnnxTensor.createTensor(environment, LongBuffer.wrap(mask), shape));
+ if (inputNames.contains("token_type_ids")) {
+ inputs.put(
+ "token_type_ids",
+ OnnxTensor.createTensor(environment, LongBuffer.wrap(tokenTypes), shape));
+ }
+ inputs.keySet().retainAll(inputNames);
+ try (OrtSession.Result result = session.run(inputs)) {
+ float[][][] logits = (float[][][]) result.get(0).getValue();
+ String[] tags = new String[pieces.size()];
for (int i = 0; i < pieces.size(); i++) {
- ids[i + 1] = pieces.get(i).id();
- }
- ids[length - 1] = tokenizer.separatorId();
- java.util.Arrays.fill(mask, 1L);
-
- long[] shape = {1, length};
- Map inputs = new HashMap<>();
- try {
- inputs.put("input_ids", OnnxTensor.createTensor(environment, LongBuffer.wrap(ids), shape));
- inputs.put("attention_mask", OnnxTensor.createTensor(environment, LongBuffer.wrap(mask), shape));
- if (inputNames.contains("token_type_ids")) {
- inputs.put("token_type_ids", OnnxTensor.createTensor(environment, LongBuffer.wrap(tokenTypes), shape));
- }
- inputs.keySet().retainAll(inputNames);
- try (OrtSession.Result result = session.run(inputs)) {
- float[][][] logits = (float[][][]) result.get(0).getValue();
- String[] tags = new String[pieces.size()];
- for (int i = 0; i < pieces.size(); i++) {
- tags[i] = labels[argmax(logits[0][i + 1])];
- }
- return tags;
- }
- } finally {
- inputs.values().forEach(OnnxTensor::close);
+ tags[i] = labels[argmax(logits[0][i + 1])];
}
+ return tags;
+ }
+ } finally {
+ inputs.values().forEach(OnnxTensor::close);
}
+ }
- /**
- * Собирает подряд идущие подслова одной сущности в фрагменты исходного текста.
- * Схема разметки различает начало, середину, конец и одиночный токен, но для
- * сборки достаточно смены типа: границы участков и так проставлены по словам.
- */
- private static List toSpans(List pieces, String[] tags, int offset, int priority,
- Map types) {
- List spans = new ArrayList<>();
- String currentType = null;
- int start = 0;
- int end = 0;
- for (int i = 0; i < tags.length; i++) {
- String type = types.get(entityOf(tags[i]));
- if (type != null && type.equals(currentType)) {
- end = pieces.get(i).end();
- continue;
- }
- if (currentType != null) {
- spans.add(new Span(offset + start, offset + end, currentType, priority));
- }
- currentType = type;
- start = pieces.get(i).start();
- end = pieces.get(i).end();
- }
- if (currentType != null) {
- spans.add(new Span(offset + start, offset + end, currentType, priority));
- }
- return spans;
+ /**
+ * Собирает подряд идущие подслова одной сущности в фрагменты исходного текста. Схема разметки
+ * различает начало, середину, конец и одиночный токен, но для сборки достаточно смены типа:
+ * границы участков и так проставлены по словам.
+ */
+ private static List toSpans(
+ List pieces,
+ String[] tags,
+ int offset,
+ int priority,
+ Map types) {
+ List spans = new ArrayList<>();
+ String currentType = null;
+ int start = 0;
+ int end = 0;
+ for (int i = 0; i < tags.length; i++) {
+ String type = types.get(entityOf(tags[i]));
+ if (type != null && type.equals(currentType)) {
+ end = pieces.get(i).end();
+ continue;
+ }
+ if (currentType != null) {
+ spans.add(new Span(offset + start, offset + end, currentType, priority));
+ }
+ currentType = type;
+ start = pieces.get(i).start();
+ end = pieces.get(i).end();
}
+ if (currentType != null) {
+ spans.add(new Span(offset + start, offset + end, currentType, priority));
+ }
+ return spans;
+ }
- private static String entityOf(String tag) {
- int dash = tag.indexOf('-');
- return dash < 0 ? tag : tag.substring(dash + 1);
- }
+ private static String entityOf(String tag) {
+ int dash = tag.indexOf('-');
+ return dash < 0 ? tag : tag.substring(dash + 1);
+ }
- private static int argmax(float[] scores) {
- int best = 0;
- for (int i = 1; i < scores.length; i++) {
- if (scores[i] > scores[best]) {
- best = i;
- }
- }
- return best;
+ private static int argmax(float[] scores) {
+ int best = 0;
+ for (int i = 1; i < scores.length; i++) {
+ if (scores[i] > scores[best]) {
+ best = i;
+ }
}
+ return best;
+ }
- private static String[] readLabels(Path config) throws IOException {
- JsonNode node = new ObjectMapper().readTree(Files.readAllBytes(config)).get("id2label");
- String[] labels = new String[node.size()];
- for (Iterator> it = node.fields(); it.hasNext(); ) {
- Map.Entry entry = it.next();
- labels[Integer.parseInt(entry.getKey())] = entry.getValue().asText();
- }
- return labels;
+ private static String[] readLabels(Path config) throws IOException {
+ JsonNode node = new ObjectMapper().readTree(Files.readAllBytes(config)).get("id2label");
+ String[] labels = new String[node.size()];
+ for (Iterator> it = node.fields(); it.hasNext(); ) {
+ Map.Entry entry = it.next();
+ labels[Integer.parseInt(entry.getKey())] = entry.getValue().asText();
}
+ return labels;
+ }
- void close() {
- try {
- session.close();
- } catch (OrtException e) {
- LOG.debug("Не удалось закрыть сессию модели", e);
- }
+ void close() {
+ try {
+ session.close();
+ } catch (OrtException e) {
+ LOG.debug("Не удалось закрыть сессию модели", e);
}
-}
\ No newline at end of file
+ }
+}
diff --git a/src/main/java/ru/pdguard/detect/Rule.java b/src/main/java/ru/pdguard/detect/Rule.java
index 6347e91..e391e5d 100644
--- a/src/main/java/ru/pdguard/detect/Rule.java
+++ b/src/main/java/ru/pdguard/detect/Rule.java
@@ -7,98 +7,112 @@ import java.util.regex.Pattern;
/**
* Одно правило детекции персональных данных.
*
- * Добавление нового типа ПД — это добавление одного {@code Rule} в
- * {@link RuleRegistry}; менять остальной код не требуется.
+ *
Добавление нового типа ПД — это добавление одного {@code Rule} в {@link RuleRegistry}; менять
+ * остальной код не требуется.
*
- * @param type тип ПД, который распознаёт правило
- * @param pattern регулярное выражение
- * @param priority приоритет при разрешении перекрытий
- * @param groups номера групп, которые маскируются; {@code 0} — всё совпадение целиком.
- * Несколько групп нужны, когда значение разорвано словами:
- * «серия 4509 номер 123456»
- * @param validator дополнительная проверка значения (контрольная сумма, диапазон дат);
- * {@code null} — проверка не нужна
- * @param veto шаблон окружения, при котором совпадение персональными данными не считается:
- * адрес отделения банка не является ПД, хотя выглядит как адрес
- * @param context шаблон окружения, который обязан присутствовать рядом. Нужен там,
- * где форма совпадения сама по себе слишком общая: «Невский проспект»
- * это адрес рядом с домом и индексом и просто топоним в рассказе о городе
- * @param anchors строчные подстроки, одна из которых обязана встретиться в тексте.
- * Проверка через {@code indexOf} на порядок дешевле запуска
- * регулярного выражения и отсекает большинство правил на коротком
- * запросе. Пустой список — правило запускается всегда
+ * @param type тип ПД, который распознаёт правило
+ * @param pattern регулярное выражение
+ * @param priority приоритет при разрешении перекрытий
+ * @param groups номера групп, которые маскируются; {@code 0} — всё совпадение целиком. Несколько
+ * групп нужны, когда значение разорвано словами: «серия 4509 номер 123456»
+ * @param validator дополнительная проверка значения (контрольная сумма, диапазон дат); {@code null}
+ * — проверка не нужна
+ * @param veto шаблон окружения, при котором совпадение персональными данными не считается: адрес
+ * отделения банка не является ПД, хотя выглядит как адрес
+ * @param context шаблон окружения, который обязан присутствовать рядом. Нужен там, где форма
+ * совпадения сама по себе слишком общая: «Невский проспект» это адрес рядом с домом и индексом
+ * и просто топоним в рассказе о городе
+ * @param anchors строчные подстроки, одна из которых обязана встретиться в тексте. Проверка через
+ * {@code indexOf} на порядок дешевле запуска регулярного выражения и отсекает большинство
+ * правил на коротком запросе. Пустой список — правило запускается всегда
*/
-public record Rule(String type, Pattern pattern, int priority, List groups,
- Predicate validator, Pattern veto, Pattern context, List anchors) {
+public record Rule(
+ String type,
+ Pattern pattern,
+ int priority,
+ List groups,
+ Predicate validator,
+ Pattern veto,
+ Pattern context,
+ List anchors) {
- public Rule {
- groups = List.copyOf(groups);
- anchors = List.copyOf(anchors);
+ public Rule {
+ groups = List.copyOf(groups);
+ anchors = List.copyOf(anchors);
+ }
+
+ /**
+ * Флаги компиляции для всех правил.
+ *
+ * {@code UNICODE_CHARACTER_CLASS} обязателен: без него {@code \w}, {@code \W} и {@code \b} в
+ * Java охватывают только латиницу, и якорные слова вроде «водительское удостоверение» не
+ * находятся. {@code UNICODE_CASE} делает {@code (?i)} корректным для кириллицы.
+ */
+ private static final int FLAGS = Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE;
+
+ /**
+ * Сколько символов слева и справа от совпадения просматривает вето-шаблон.
+ *
+ *
150, не 80: на реальных адресах отделений из реестра ЦБ (регион, город, улица, дом — в одном
+ * предложении) расстояние от «отделение» до номера дома часто превышает 80 знаков за счёт
+ * длинного названия региона («Ханты-Мансийский автономный округ», «Кабардино-Балкарская
+ * Республика»). Найдено нагрузочным тестом на 60 реальных адресах из официального реестра — с
+ * окном в 80 знаков вето не срабатывало на части из них.
+ */
+ public static final int VETO_LOOKBEHIND = 150;
+
+ public static final int VETO_LOOKAHEAD = 40;
+
+ /** Правило без проверок, маскируется всё совпадение. */
+ public static Rule of(String type, String regex, int priority) {
+ return new Rule(
+ type, Pattern.compile(regex, FLAGS), priority, List.of(0), null, null, null, List.of());
+ }
+
+ /** Маскировать только перечисленные группы, а не всё совпадение. */
+ public Rule groups(Integer... indexes) {
+ return new Rule(type, pattern, priority, List.of(indexes), validator, veto, context, anchors);
+ }
+
+ /** Принять совпадение, только если значение прошло проверку. */
+ public Rule validatedBy(Predicate check) {
+ return new Rule(type, pattern, priority, groups, check, veto, context, anchors);
+ }
+
+ /** Запускать правило, только если в тексте есть одна из подстрок (в нижнем регистре). */
+ public Rule anchoredBy(String... required) {
+ return new Rule(type, pattern, priority, groups, validator, veto, context, List.of(required));
+ }
+
+ /** Есть ли в тексте хоть один из якорей правила. */
+ public boolean mayMatch(String lowercasedText) {
+ if (anchors.isEmpty()) {
+ return true;
}
-
- /**
- * Флаги компиляции для всех правил.
- *
- * {@code UNICODE_CHARACTER_CLASS} обязателен: без него {@code \w}, {@code \W}
- * и {@code \b} в Java охватывают только латиницу, и якорные слова вроде
- * «водительское удостоверение» не находятся. {@code UNICODE_CASE} делает
- * {@code (?i)} корректным для кириллицы.
- */
- private static final int FLAGS = Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE;
-
- /**
- * Сколько символов слева и справа от совпадения просматривает вето-шаблон.
- *
- *
150, не 80: на реальных адресах отделений из реестра ЦБ (регион, город,
- * улица, дом — в одном предложении) расстояние от «отделение» до номера дома
- * часто превышает 80 знаков за счёт длинного названия региона («Ханты-Мансийский
- * автономный округ», «Кабардино-Балкарская Республика»). Найдено нагрузочным
- * тестом на 60 реальных адресах из официального реестра — с окном в 80 знаков
- * вето не срабатывало на части из них.
- */
- public static final int VETO_LOOKBEHIND = 150;
- public static final int VETO_LOOKAHEAD = 40;
-
- /** Правило без проверок, маскируется всё совпадение. */
- public static Rule of(String type, String regex, int priority) {
- return new Rule(type, Pattern.compile(regex, FLAGS), priority, List.of(0), null, null, null, List.of());
+ for (String anchor : anchors) {
+ if (lowercasedText.contains(anchor)) {
+ return true;
+ }
}
+ return false;
+ }
- /** Маскировать только перечисленные группы, а не всё совпадение. */
- public Rule groups(Integer... indexes) {
- return new Rule(type, pattern, priority, List.of(indexes), validator, veto, context, anchors);
- }
+ /** Принять совпадение, только если рядом встретилось указанное слово. */
+ public Rule requiringNear(String regex) {
+ return new Rule(
+ type, pattern, priority, groups, validator, veto, Pattern.compile(regex, FLAGS), anchors);
+ }
- /** Принять совпадение, только если значение прошло проверку. */
- public Rule validatedBy(Predicate check) {
- return new Rule(type, pattern, priority, groups, check, veto, context, anchors);
- }
-
- /** Запускать правило, только если в тексте есть одна из подстрок (в нижнем регистре). */
- public Rule anchoredBy(String... required) {
- return new Rule(type, pattern, priority, groups, validator, veto, context, List.of(required));
- }
-
- /** Есть ли в тексте хоть один из якорей правила. */
- public boolean mayMatch(String lowercasedText) {
- if (anchors.isEmpty()) {
- return true;
- }
- for (String anchor : anchors) {
- if (lowercasedText.contains(anchor)) {
- return true;
- }
- }
- return false;
- }
-
- /** Принять совпадение, только если рядом встретилось указанное слово. */
- public Rule requiringNear(String regex) {
- return new Rule(type, pattern, priority, groups, validator, veto, Pattern.compile(regex, FLAGS), anchors);
- }
-
- /** Отбросить совпадение, если рядом встретилось указанное слово. */
- public Rule vetoedBy(String regex) {
- return new Rule(type, pattern, priority, groups, validator, Pattern.compile(regex, FLAGS), context, anchors);
- }
+ /** Отбросить совпадение, если рядом встретилось указанное слово. */
+ public Rule vetoedBy(String regex) {
+ return new Rule(
+ type,
+ pattern,
+ priority,
+ groups,
+ validator,
+ Pattern.compile(regex, FLAGS),
+ context,
+ anchors);
+ }
}
diff --git a/src/main/java/ru/pdguard/detect/RulePatterns.java b/src/main/java/ru/pdguard/detect/RulePatterns.java
index 808a7c4..6075718 100644
--- a/src/main/java/ru/pdguard/detect/RulePatterns.java
+++ b/src/main/java/ru/pdguard/detect/RulePatterns.java
@@ -1,133 +1,140 @@
package ru.pdguard.detect;
/**
- * Общие фрагменты регулярных выражений, переиспользуемые между группами правил
- * в {@link RuleRegistry}. Вынесены отдельно, чтобы не дублировать их в каждой
- * группе — «серия и номер», разрывы между якорем и значением, формы дат и т.п.
- * встречаются в правилах разных категорий (документы, банк, ФИО, адрес).
+ * Общие фрагменты регулярных выражений, переиспользуемые между группами правил в {@link
+ * RuleRegistry}. Вынесены отдельно, чтобы не дублировать их в каждой группе — «серия и номер»,
+ * разрывы между якорем и значением, формы дат и т.п. встречаются в правилах разных категорий
+ * (документы, банк, ФИО, адрес).
*/
final class RulePatterns {
- private RulePatterns() {
- }
+ private RulePatterns() {}
- /**
- * Слово с заглавной буквы; остальные буквы любого регистра, чтобы
- * «ИВАНОВ» распознавался наравне с «Иванов».
- */
- static final String CAPITALISED = "\\p{Lu}[\\p{Lu}\\p{Ll}]+";
+ /**
+ * Слово с заглавной буквы; остальные буквы любого регистра, чтобы «ИВАНОВ» распознавался наравне
+ * с «Иванов».
+ */
+ static final String CAPITALISED = "\\p{Lu}[\\p{Lu}\\p{Ll}]+";
- /** Якорное слово-основа: держатель карты, держателем и т.п. */
- static final String HOLDER_STEM = "держател";
+ /** Якорное слово-основа: держатель карты, держателем и т.п. */
+ static final String HOLDER_STEM = "держател";
- /** Разрыв между якорем и значением, когда между ними ролевое слово («ИНН плательщика»). */
- static final String ROLE_GAP = "(?:\\s+[\\p{L}-]+){0,5}\\W{0,10}";
+ /** Разрыв между якорем и значением, когда между ними ролевое слово («ИНН плательщика»). */
+ static final String ROLE_GAP = "(?:\\s+[\\p{L}-]+){0,5}\\W{0,10}";
- /**
- * То же самое, но только строчные слова-филлеры: ролевые слова перед значением
- * гражданства всегда строчные («бенефициара», «поручителя»), а само значение —
- * с заглавной («Республики», «Соединенные»). Обычный {@link #ROLE_GAP} жадно
- * поглощал бы и заглавное слово значения как будто это ролевое слово, оставляя
- * значение только хвостом («Республики Беларусь» → «Беларусь»).
- */
- static final String CITIZENSHIP_GAP = "(?:\\s+\\p{Ll}[\\p{L}-]*){0,5}\\W{0,10}";
+ /**
+ * То же самое, но только строчные слова-филлеры: ролевые слова перед значением гражданства всегда
+ * строчные («бенефициара», «поручителя»), а само значение — с заглавной («Республики»,
+ * «Соединенные»). Обычный {@link #ROLE_GAP} жадно поглощал бы и заглавное слово значения как
+ * будто это ролевое слово, оставляя значение только хвостом («Республики Беларусь» → «Беларусь»).
+ */
+ static final String CITIZENSHIP_GAP = "(?:\\s+\\p{Ll}[\\p{L}-]*){0,5}\\W{0,10}";
- /**
- * Название улицы: от одного до трёх слов с заглавной буквы либо чисел —
- * «Тверская», «Малая Никитская», «8 Марта». Ограничение по форме обязательно:
- * без него правило дожёвывало строку до конца, и «Проспект Вернадского перекрыт
- * до вечера» оказывался под маской целиком.
- */
- static final String STREET_NAME =
- "(?:\\p{Lu}[\\p{L}-]+|\\d+[\\p{L}-]*)(?:\\s+(?:\\p{Lu}[\\p{L}-]+|\\d+[\\p{L}-]*)){0,2}";
+ /**
+ * Название улицы: от одного до трёх слов с заглавной буквы либо чисел — «Тверская», «Малая
+ * Никитская», «8 Марта». Ограничение по форме обязательно: без него правило дожёвывало строку до
+ * конца, и «Проспект Вернадского перекрыт до вечера» оказывался под маской целиком.
+ */
+ static final String STREET_NAME =
+ "(?:\\p{Lu}[\\p{L}-]+|\\d+[\\p{L}-]*)(?:\\s+(?:\\p{Lu}[\\p{L}-]+|\\d+[\\p{L}-]*)){0,2}";
- /**
- * Фамилия по словообразованию: Иванов, Ковалёва, Троицкий, Шевченко, Мкртчян.
- * Хвост из двух букв покрывает падежные окончания: Ковалёв-ой, Иванов-а.
- */
- static final String SURNAME =
- "\\p{Lu}[\\p{Lu}\\p{Ll}]*(?iu:ов|ев|ёв|ин|ын|ск(?:ий|ая|ого|ой|ом)|цк(?:ий|ая)"
- + "|енко|ко|ук|юк|ян|швили|дзе)\\p{L}{0,2}";
+ /**
+ * Фамилия по словообразованию: Иванов, Ковалёва, Троицкий, Шевченко, Мкртчян. Хвост из двух букв
+ * покрывает падежные окончания: Ковалёв-ой, Иванов-а.
+ */
+ static final String SURNAME =
+ "\\p{Lu}[\\p{Lu}\\p{Ll}]*(?iu:ов|ев|ёв|ин|ын|ск(?:ий|ая|ого|ой|ом)|цк(?:ий|ая)"
+ + "|енко|ко|ук|юк|ян|швили|дзе)\\p{L}{0,2}";
- /**
- * Отчество: признак надёжный, ни одно другое слово так не оканчивается.
- * Основы даны без падежного окончания — Иванович, Ивановича, Ивановне.
- */
- static final String PATRONYMIC =
- "\\p{Lu}[\\p{Lu}\\p{Ll}]+(?iu:ович|евич|ьич|мич|нич|тич|лич|кич|бич|сич"
- + "|овн|евн|иничн|ичн)\\p{L}{0,2}";
+ /**
+ * Отчество: признак надёжный, ни одно другое слово так не оканчивается. Основы даны без падежного
+ * окончания — Иванович, Ивановича, Ивановне.
+ */
+ static final String PATRONYMIC =
+ "\\p{Lu}[\\p{Lu}\\p{Ll}]+(?iu:ович|евич|ьич|мич|нич|тич|лич|кич|бич|сич"
+ + "|овн|евн|иничн|ичн)\\p{L}{0,2}";
- /**
- * Серия и номер: «4509 123456», «45 09 123456», «4509123456», «45 09 № 123456»,
- * а также с произвольным числом пробелов и словом «номер» между частями —
- * «12 34 номер 567890» (реальный кейс из бланка).
- */
- static final String SERIES_AND_NUMBER =
- "\\d{2}\\s*\\d{2}(?:\\s*(?:№|N|номер)\\s*|[\\s№N]{0,3})\\d{6}";
+ /**
+ * Серия и номер: «4509 123456», «45 09 123456», «4509123456», «45 09 № 123456», а также с
+ * произвольным числом пробелов и словом «номер» между частями — «12 34 номер 567890» (реальный
+ * кейс из бланка).
+ */
+ static final String SERIES_AND_NUMBER =
+ "\\d{2}\\s*\\d{2}(?:\\s*(?:№|N|номер)\\s*|[\\s№N]{0,3})\\d{6}";
- /**
- * Название месяца: полная форма («январь»), сокращение («янв») и плейсхолдер
- * «ммм» (в логах встречается и латинская «M»). Сокращения нужны, потому что
- * в датах вида «15 ЯНВ 10» месяц записан тремя буквами.
- */
- static final String MONTH =
- "(?iu:январ|феврал|март|апрел|ма[йя]|июн|июл|август|сентябр|октябр|ноябр|декабр"
- + "|янв|фев|мар|апр|авг|сен|окт|ноя|дек|[МM]мм)\\p{L}*";
+ /**
+ * Название месяца: полная форма («январь»), сокращение («янв») и плейсхолдер «ммм» (в логах
+ * встречается и латинская «M»). Сокращения нужны, потому что в датах вида «15 ЯНВ 10» месяц
+ * записан тремя буквами.
+ */
+ static final String MONTH =
+ "(?iu:январ|феврал|март|апрел|ма[йя]|июн|июл|август|сентябр|октябр|ноябр|декабр"
+ + "|янв|фев|мар|апр|авг|сен|окт|ноя|дек|[МM]мм)\\p{L}*";
- /** Числовая запись при любом порядке частей: дд.мм.гггг, мм/дд/гггг, гггг-мм-дд. */
- static final String DATE_DIGITS = "\\b\\d{1,4}[.\\-/]\\d{1,2}[.\\-/]\\d{1,4}\\b";
+ /** Числовая запись при любом порядке частей: дд.мм.гггг, мм/дд/гггг, гггг-мм-дд. */
+ static final String DATE_DIGITS = "\\b\\d{1,4}[.\\-/]\\d{1,2}[.\\-/]\\d{1,4}\\b";
- /** «15 03 1990», «15 03 10» — числовая дата с пробелами вместо разделителей. */
- static final String DATE_DIGITS_SPACE = "\\b\\d{1,2}\\s+\\d{1,2}\\s+\\d{2,4}\\b";
+ /** «15 03 1990», «15 03 10» — числовая дата с пробелами вместо разделителей. */
+ static final String DATE_DIGITS_SPACE = "\\b\\d{1,2}\\s+\\d{1,2}\\s+\\d{2,4}\\b";
- /** «15 03», «15/03» — день и месяц без года. */
- static final String DATE_DAY_MONTH = "\\b\\d{1,2}\\s*[-/.]?\\s*\\d{1,2}\\b";
+ /** «15 03», «15/03» — день и месяц без года. */
+ static final String DATE_DAY_MONTH = "\\b\\d{1,2}\\s*[-/.]?\\s*\\d{1,2}\\b";
- /** «12 мая 1985 г.», «15-ЯНВ-10», «15 января» — месяц словом, год 2-4 цифры или без года. */
- static final String DATE_MONTH_WORD =
- "\\b\\d{1,2}\\s*[-/.]?\\s*" + MONTH + "\\s*[-/.]?\\s*(?:\\d{2,4})?\\b"
- + "(?:\\s*(?iu:года|г\\.|г\\b))?";
+ /** «12 мая 1985 г.», «15-ЯНВ-10», «15 января» — месяц словом, год 2-4 цифры или без года. */
+ static final String DATE_MONTH_WORD =
+ "\\b\\d{1,2}\\s*[-/.]?\\s*"
+ + MONTH
+ + "\\s*[-/.]?\\s*(?:\\d{2,4})?\\b"
+ + "(?:\\s*(?iu:года|г\\.|г\\b))?";
- /** «двенадцатого мая тысяча девятьсот восемьдесят пятого года» */
- static final String DATE_WORDS =
- "\\b(?:(?iu:двадцать|тридцать)\\s+)?"
- + "(?iu:перв|втор|треть|четв[её]рт|пят|шест|седьм|восьм|девят|десят|одиннадцат|двенадцат"
- + "|тринадцат|четырнадцат|пятнадцат|шестнадцат|семнадцат|восемнадцат|девятнадцат|двадцат|тридцат)"
- + "(?iu:ьего|ого|его|ое)\\s+" + MONTH
- + "\\s+(?:\\d{4}|(?iu:тысяча)(?:\\s+\\p{L}+){1,8})\\s*(?iu:года|год\\b|г\\.)";
+ /** «двенадцатого мая тысяча девятьсот восемьдесят пятого года» */
+ static final String DATE_WORDS =
+ "\\b(?:(?iu:двадцать|тридцать)\\s+)?"
+ + "(?iu:перв|втор|треть|четв[её]рт|пят|шест|седьм|восьм|девят|десят|одиннадцат|двенадцат"
+ + "|тринадцат|четырнадцат|пятнадцат|шестнадцат|семнадцат|восемнадцат|девятнадцат|двадцат|тридцат)"
+ + "(?iu:ьего|ого|его|ое)\\s+"
+ + MONTH
+ + "\\s+(?:\\d{4}|(?iu:тысяча)(?:\\s+\\p{L}+){1,8})\\s*(?iu:года|год\\b|г\\.)";
- /** Любая из записей даты; внутри только незахватывающие группы. */
- static final String DATE_ANY =
- "(?:" + DATE_WORDS + "|" + DATE_MONTH_WORD + "|" + DATE_DIGITS + "|"
- + DATE_DIGITS_SPACE + "|" + DATE_DAY_MONTH + ")";
+ /** Любая из записей даты; внутри только незахватывающие группы. */
+ static final String DATE_ANY =
+ "(?:"
+ + DATE_WORDS
+ + "|"
+ + DATE_MONTH_WORD
+ + "|"
+ + DATE_DIGITS
+ + "|"
+ + DATE_DIGITS_SPACE
+ + "|"
+ + DATE_DAY_MONTH
+ + ")";
- /**
- * Промежуток между якорем даты («дата рождения») и самой датой: слова,
- * скобочные группы («(день и месяц)») и знаки препинания. Без скобочной
- * ветки «Дата рождения клиента (день и месяц): 15 января» не находилась бы:
- * «день и месяц» — это слова, а не дата. Ветка со словами требует пробела
- * перед словом ({@code \s+}), иначе она неоднозначна с веткой {@code \W},
- * которая тоже матчит пробелы, — это приводило к катастрофическому
- * возврату на длинных текстах. Отдельная ветка с дефисом нужна для слитных
- * слов без пробела внутри: «клиента-нерезидента» — дефис сам по себе ловится
- * веткой {@code \W}, но следующие за ним буквы без пробела перед ними не
- * покрывала ни одна ветка.
- */
- static final String DATE_GAP = "(?:\\s+\\([^)]*\\)|\\s+\\p{L}+|-\\p{L}+|\\W){0,30}";
+ /**
+ * Промежуток между якорем даты («дата рождения») и самой датой: слова, скобочные группы («(день и
+ * месяц)») и знаки препинания. Без скобочной ветки «Дата рождения клиента (день и месяц): 15
+ * января» не находилась бы: «день и месяц» — это слова, а не дата. Ветка со словами требует
+ * пробела перед словом ({@code \s+}), иначе она неоднозначна с веткой {@code \W}, которая тоже
+ * матчит пробелы, — это приводило к катастрофическому возврату на длинных текстах. Отдельная
+ * ветка с дефисом нужна для слитных слов без пробела внутри: «клиента-нерезидента» — дефис сам по
+ * себе ловится веткой {@code \W}, но следующие за ним буквы без пробела перед ними не покрывала
+ * ни одна ветка.
+ */
+ static final String DATE_GAP = "(?:\\s+\\([^)]*\\)|\\s+\\p{L}+|-\\p{L}+|\\W){0,30}";
- /**
- * Значение гражданства: «рф»/«росс…»(любая форма, включая строчную «российское»)/
- * «республики X» — частые формы отдельным списком; последняя ветка — страна из
- * 1-4 слов с заглавной буквы («Армения», «Соединенные Штаты Америки»). Хвост
- * идёт после якоря «гражданств», поэтому «Двойное» перед якорем не попадёт.
- */
- static final String CITIZENSHIP_VALUE =
- "\\p{Lu}\\p{Ll}+(?:[\\s/]+\\p{Lu}\\p{Ll}+){0,3}|\\p{Ll}+(?:[\\s/]+\\p{Ll}+){0,3}";
+ /**
+ * Значение гражданства: «рф»/«росс…»(любая форма, включая строчную «российское»)/ «республики X»
+ * — частые формы отдельным списком; последняя ветка — страна из 1-4 слов с заглавной буквы
+ * («Армения», «Соединенные Штаты Америки»). Хвост идёт после якоря «гражданств», поэтому
+ * «Двойное» перед якорем не попадёт.
+ */
+ static final String CITIZENSHIP_VALUE =
+ "\\p{Lu}\\p{Ll}+(?:[\\s/]+\\p{Lu}\\p{Ll}+){0,3}|\\p{Ll}+(?:[\\s/]+\\p{Ll}+){0,3}";
- /**
- * Слова, при которых адрес/имя принадлежит организации, а не человеку:
- * адрес отделения банка персональными данными не является.
- */
- static final String ORGANISATION_NEARBY =
- "(?iu:отделени|филиал|банкомат|доп\\.?\\s?офис|офис|головн|юридическ\\p{L}*\\s+адрес)";
+ /**
+ * Слова, при которых адрес/имя принадлежит организации, а не человеку: адрес отделения банка
+ * персональными данными не является.
+ */
+ static final String ORGANISATION_NEARBY =
+ "(?iu:отделени|филиал|банкомат|доп\\.?\\s?офис|офис|головн|юридическ\\p{L}*\\s+адрес)";
}
diff --git a/src/main/java/ru/pdguard/detect/RuleRegistry.java b/src/main/java/ru/pdguard/detect/RuleRegistry.java
index 1ab8dbf..079185e 100644
--- a/src/main/java/ru/pdguard/detect/RuleRegistry.java
+++ b/src/main/java/ru/pdguard/detect/RuleRegistry.java
@@ -1,8 +1,5 @@
package ru.pdguard.detect;
-import org.springframework.stereotype.Component;
-import ru.pdguard.config.SystemPolicy;
-
import java.util.ArrayList;
import java.util.List;
import java.util.Locale;
@@ -10,205 +7,223 @@ import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.stream.Stream;
+import org.springframework.stereotype.Component;
+import ru.pdguard.config.SystemPolicy;
/**
* Реестр правил детекции и сам поиск ПД в тексте.
*
* Правила разбиты на три уровня доверия:
+ *
*
- * - проверяемые контрольной суммой — карта, ИНН, СНИЛС: ложных срабатываний почти нет;
- * - однозначные по формату — email, телефон;
- * - требующие якорного слова — паспорт, водительское удостоверение, CVV, адрес и прочее,
- * где сама по себе последовательность знаков ни о чём не говорит.
+ * - проверяемые контрольной суммой — карта, ИНН, СНИЛС: ложных срабатываний почти нет;
+ *
- однозначные по формату — email, телефон;
+ *
- требующие якорного слова — паспорт, водительское удостоверение, CVV, адрес и прочее, где
+ * сама по себе последовательность знаков ни о чём не говорит.
*
*
- * Якорные слова распознаются без учёта регистра — флаг {@code (?iu:...)} навешен
- * именно на них. На захватываемое значение регистронезависимость не распространяется:
- * там, где значение опознаётся по заглавной букве, это существенно.
+ *
Якорные слова распознаются без учёта регистра — флаг {@code (?iu:...)} навешен именно на них.
+ * На захватываемое значение регистронезависимость не распространяется: там, где значение опознаётся
+ * по заглавной букве, это существенно.
*
- *
Сами правила сгруппированы по категориям в отдельных классах пакета —
- * {@link DocumentRules}, {@link FinanceRules}, {@link DateRules}, {@link FioRules},
- * {@link ContactRules}, {@link AddressRules} — чтобы каждая категория читалась
- * отдельно от остальных. Здесь их списки только объединяются и используются.
+ *
Сами правила сгруппированы по категориям в отдельных классах пакета — {@link DocumentRules},
+ * {@link FinanceRules}, {@link DateRules}, {@link FioRules}, {@link ContactRules}, {@link
+ * AddressRules} — чтобы каждая категория читалась отдельно от остальных. Здесь их списки только
+ * объединяются и используются.
*/
@Component
public class RuleRegistry {
- /**
- * Слова, при которых адрес принадлежит организации, а не человеку:
- * адрес отделения банка персональными данными не является. Части адреса рядом:
- * улица, упомянутая в рассказе о городе, адресом клиента не является — ровно
- * как адрес отделения банка из технического задания. Требование стояло только
- * у постфиксной формы правила, префиксная его не имела.
- */
- public static final String ADDRESS_NEARBY =
- "(?iu:адрес|индекс|\\bд\\.|\\bдом\\b|\\bкв\\.|\\bг\\.|\\bгород|регистрац|прожива)";
+ /**
+ * Слова, при которых адрес принадлежит организации, а не человеку: адрес отделения банка
+ * персональными данными не является. Части адреса рядом: улица, упомянутая в рассказе о городе,
+ * адресом клиента не является — ровно как адрес отделения банка из технического задания.
+ * Требование стояло только у постфиксной формы правила, префиксная его не имела.
+ */
+ public static final String ADDRESS_NEARBY =
+ "(?iu:адрес|индекс|\\bд\\.|\\bдом\\b|\\bкв\\.|\\bг\\.|\\bгород|регистрац|прожива)";
- private static final Pattern ADDRESS_CONTEXT =
- Pattern.compile(ADDRESS_NEARBY, Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE);
+ private static final Pattern ADDRESS_CONTEXT =
+ Pattern.compile(ADDRESS_NEARBY, Pattern.UNICODE_CHARACTER_CLASS | Pattern.UNICODE_CASE);
- /** Адресные типы, которые вне адресного окружения персональными данными не являются. */
- private static final Set ADDRESS_TYPES = Set.of(
- PdTypes.ADDRESS_COUNTRY, PdTypes.ADDRESS_REGION, PdTypes.ADDRESS_DISTRICT, PdTypes.ADDRESS_CITY,
- PdTypes.ADDRESS_STREET, PdTypes.ADDRESS_HOUSE, PdTypes.ADDRESS_FLAT, PdTypes.ADDRESS_POSTCODE);
+ /** Адресные типы, которые вне адресного окружения персональными данными не являются. */
+ private static final Set ADDRESS_TYPES =
+ Set.of(
+ PdTypes.ADDRESS_COUNTRY,
+ PdTypes.ADDRESS_REGION,
+ PdTypes.ADDRESS_DISTRICT,
+ PdTypes.ADDRESS_CITY,
+ PdTypes.ADDRESS_STREET,
+ PdTypes.ADDRESS_HOUSE,
+ PdTypes.ADDRESS_FLAT,
+ PdTypes.ADDRESS_POSTCODE);
- /**
- * Приоритет находок нормализации цифровых ПД: выше правила ИНН без якоря (62),
- * ниже якорных правил (84+). Нормализация находит то, что жёсткие шаблоны
- * пропустили из-за нестандартных разделителей, и не должна перебивать находки
- * с якорным словом.
- */
- private static final int NORMALISED_PRIORITY = 63;
+ /**
+ * Приоритет находок нормализации цифровых ПД: выше правила ИНН без якоря (62), ниже якорных
+ * правил (84+). Нормализация находит то, что жёсткие шаблоны пропустили из-за нестандартных
+ * разделителей, и не должна перебивать находки с якорным словом.
+ */
+ private static final int NORMALISED_PRIORITY = 63;
- /**
- * Цифровой кластер: от 10 до 19 цифр с произвольными разделителями между ними
- * (пробел, дефис, точка, слэш, скобки). Негативные просмотры не дают захватить
- * часть более длинного числа. Разделители вычищаются, и чистая цифровая строка
- * прогоняется через контрольную сумму — так находятся ИНН/СНИЛС/карта/ОГРН(ИП)
- * в свободной форме, где жёсткий шаблон ломается на нестандартном разделителе.
- */
- private static final Pattern DIGIT_CLUSTER = Pattern.compile(
- "(? RULES =
+ Stream.of(
+ DocumentRules.RULES,
+ FinanceRules.RULES,
+ DateRules.RULES,
+ FioRules.RULES,
+ ContactRules.RULES,
+ AddressRules.RULES)
+ .flatMap(List::stream)
+ .toList();
+
+ /** Все типы ПД, которые умеет распознавать сервис. */
+ public List knownTypes() {
+ return RULES.stream().map(Rule::type).distinct().toList();
+ }
+
+ /**
+ * Находит все фрагменты ПД, разрешённые политикой системы. Перекрытия здесь не разрешаются — это
+ * делает вызывающая сторона.
+ */
+ public List detect(String text, SystemPolicy policy) {
+ List found = new ArrayList<>();
+ String lowercased = text.toLowerCase(Locale.ROOT);
+ for (Rule rule : RULES) {
+ if (!policy.allows(rule.type()) || !rule.mayMatch(lowercased)) {
+ continue;
+ }
+ collect(rule, text, found);
}
+ collectNormalisedDigits(text, policy, found);
+ return found;
+ }
- /**
- * Есть ли рядом другие части адреса. Правила проверяют это сами, а находкам
- * второй ступени проверку нужно навязать снаружи: модель размечает «Москву» в
- * названии клуба и «Вернадского» в названии проспекта наравне с настоящим адресом.
- */
- public static boolean hasAddressContext(String text, int start, int end) {
- return ADDRESS_CONTEXT.matcher(surroundings(text, start, end)).find();
+ /**
+ * Ищет цифровые ПД в свободной форме: последовательности цифр с произвольными разделителями,
+ * которые жёсткие шаблоны правил пропустили. Разделители вычищаются, и чистая строка проверяется
+ * контрольной суммой — ложные срабатывания отсекаются так же, как и в правилах.
+ */
+ private static void collectNormalisedDigits(String text, SystemPolicy policy, List sink) {
+ if (!policy.allows(PdTypes.CARD)
+ && !policy.allows(PdTypes.INN)
+ && !policy.allows(PdTypes.SNILS)
+ && !policy.allows(PdTypes.OGRN)
+ && !policy.allows(PdTypes.OGRNIP)) {
+ return;
}
-
- private static final List RULES = Stream.of(
- DocumentRules.RULES, FinanceRules.RULES, DateRules.RULES,
- FioRules.RULES, ContactRules.RULES, AddressRules.RULES)
- .flatMap(List::stream)
- .toList();
-
- /** Все типы ПД, которые умеет распознавать сервис. */
- public List knownTypes() {
- return RULES.stream().map(Rule::type).distinct().toList();
+ Matcher m = DIGIT_CLUSTER.matcher(text);
+ while (m.find()) {
+ String digits = NON_DIGIT.matcher(m.group()).replaceAll("");
+ String type = typeFor(digits);
+ if (type != null && policy.allows(type)) {
+ sink.add(new Span(m.start(), m.end(), type, NORMALISED_PRIORITY));
+ }
}
+ }
- /**
- * Находит все фрагменты ПД, разрешённые политикой системы.
- * Перекрытия здесь не разрешаются — это делает вызывающая сторона.
- */
- public List detect(String text, SystemPolicy policy) {
- List found = new ArrayList<>();
- String lowercased = text.toLowerCase(Locale.ROOT);
- for (Rule rule : RULES) {
- if (!policy.allows(rule.type()) || !rule.mayMatch(lowercased)) {
- continue;
- }
- collect(rule, text, found);
+ /**
+ * Определяет тип ПД по чистой цифровой строке и контрольной сумме. Для 13 и 15 цифр сначала
+ * пробуются ОГРН/ОГРНИП: они специфичнее карты по длине, и валидный ОГРН не должен случайно стать
+ * номером карты (карта самостоятельна, ОГРН — только спутник, и одинокий ОГРН убирается в {@code
+ * Pipeline}).
+ */
+ private static String typeFor(String digits) {
+ int length = digits.length();
+ switch (length) {
+ case 10, 12:
+ return Validators.inn(digits) ? PdTypes.INN : null;
+ case 11:
+ return Validators.snils(digits) ? PdTypes.SNILS : null;
+ case 13:
+ return ogrnOrCard(digits);
+ case 15:
+ return ogrnipOrCard(digits);
+ default:
+ return cardIfLuhn(digits);
+ }
+ }
+
+ private static String ogrnOrCard(String digits) {
+ if (Validators.ogrn(digits)) {
+ return PdTypes.OGRN;
+ }
+ return Validators.luhn(digits) ? PdTypes.CARD : null;
+ }
+
+ private static String ogrnipOrCard(String digits) {
+ if (Validators.ogrnip(digits)) {
+ return PdTypes.OGRNIP;
+ }
+ return Validators.luhn(digits) ? PdTypes.CARD : null;
+ }
+
+ private static String cardIfLuhn(String digits) {
+ if (digits.length() >= 13 && digits.length() <= 19 && Validators.luhn(digits)) {
+ return PdTypes.CARD;
+ }
+ return null;
+ }
+
+ private static void collect(Rule rule, String text, List