Init

2026-09-21 17:40:25 +03:00
commit 309188d191
52 changed files with 5124 additions and 0 deletions
@@ -0,0 +1,124 @@
+package ru.pdguard.detect;
+
+import java.io.BufferedReader;
+import java.io.IOException;
+import java.io.InputStream;
+import java.io.InputStreamReader;
+import java.io.UncheckedIOException;
+import java.nio.charset.StandardCharsets;
+import java.util.Comparator;
+import java.util.List;
+import java.util.Locale;
+import java.util.Set;
+import java.util.stream.Collectors;
+
+/**
+ * Словари для распознавания ФИО.
+ *
+ * <p>Личные имена нужны, чтобы морфология фамилий не срабатывала на чём попало:
+ * «Тверская» по окончанию похожа на фамилию, но рядом с ней нет личного имени.
+ *
+ * <p>Список известных людей решает обратную задачу — упоминание Пушкина
+ * персональными данными не является. Ограничение осознанное: клиент по фамилии
+ * Пушкин в тексте без других ПД замаскирован не будет.
+ */
+public final class NameDictionary {
+
+    private static final List<String> GIVEN_NAME_STEMS = load("/names/given-names.txt").stream()
+            .map(NameDictionary::withoutInflectedEnding)
+            .distinct()
+            .sorted(Comparator.comparingInt(String::length).reversed())
+            .toList();
+    private static final List<String> WELL_KNOWN_STEMS = load("/names/well-known.txt");
+
+    /** Не более скольких падежных букв дописывается к основе имени. */
+    private static final int MAX_INFLECTION = 3;
+
+    /** Остатки, превращающие основу имени в фамилию или отчество: Роман → Романов. */
+    private static final Set<String> SURNAME_SUFFIXES = Set.of(
+            "ов", "ев", "ёв", "ин", "ын", "ова", "ева", "ёва", "ина", "ына",
+            "ович", "евич", "овна", "евна", "овы", "евы", "ины");
+
+    private static final Set<String> GIVEN_NAMES = GIVEN_NAME_STEMS.stream()
+            .map(stem -> stem.toLowerCase(Locale.ROOT))
+            .collect(Collectors.toUnmodifiableSet());
+
+    private NameDictionary() {
+    }
+
+    /**
+     * Отбрасывает у основы конечную гласную, которая меняется по падежам:
+     * Ольга → Ольг (Ольги, Ольге, Ольгой), Николай → Никола (Николая, Николаю).
+     */
+    private static String withoutInflectedEnding(String stem) {
+        if (stem.length() >= 4 && "аяйь".indexOf(stem.charAt(stem.length() - 1)) >= 0) {
+            return stem.substring(0, stem.length() - 1);
+        }
+        return stem;
+    }
+
+    /**
+     * Есть ли среди слов личное имя из словаря в любом падеже.
+     *
+     * <p>Проверка множеством, а не чередованием в регулярном выражении: сто с лишним
+     * веток пришлось бы перебирать в каждой позиции текста, здесь же на слово
+     * приходится не больше четырёх обращений к хеш-таблице.
+     */
+    public static boolean containsGivenName(String value) {
+        for (String word : value.split("\\P{L}+")) {
+            String lower = word.toLowerCase(Locale.ROOT);
+            // Точное совпадение с основой сильнее всего: «Яков» оканчивается на «ов»,
+            // но это имя, а не фамилия.
+            if (GIVEN_NAMES.contains(lower)) {
+                return true;
+            }
+            // По началу слова имя ищется с оглядкой на остаток: «Марина» это основа
+            // «марин» плюс падежное «а», а «Романов» — основа «роман» плюс фамильное
+            // «ов». Без этой разницы «Бизнес-центр Романов Двор» принимался бы за
+            // человека, а «Марина Шевченко» переставала бы им быть.
+            for (int length = Math.max(1, lower.length() - MAX_INFLECTION); length < lower.length(); length++) {
+                if (GIVEN_NAMES.contains(lower.substring(0, length))
+                        && !SURNAME_SUFFIXES.contains(lower.substring(length))) {
+                    return true;
+                }
+            }
+        }
+        return false;
+    }
+
+    /** Содержит ли текст упоминание известного человека. */
+    public static boolean isWellKnown(String value) {
+        for (String word : value.split("\\P{L}+")) {
+            String lower = word.toLowerCase(Locale.ROOT);
+            for (String stem : WELL_KNOWN_STEMS) {
+                if (lower.startsWith(stem.toLowerCase(Locale.ROOT))) {
+                    return true;
+                }
+            }
+        }
+        return false;
+    }
+
+    /**
+     * Основы сортируются от длинных к коротким: в чередовании регулярного
+     * выражения побеждает первая подошедшая ветка, и короткая основа не должна
+     * перехватывать совпадение у длинной.
+     */
+    private static List<String> load(String resource) {
+        try (InputStream in = NameDictionary.class.getResourceAsStream(resource)) {
+            if (in == null) {
+                throw new IllegalStateException("Словарь не найден в сборке: " + resource);
+            }
+            try (BufferedReader reader = new BufferedReader(new InputStreamReader(in, StandardCharsets.UTF_8))) {
+                return reader.lines()
+                        .map(String::trim)
+                        .filter(line -> !line.isEmpty() && !line.startsWith("#"))
+                        .distinct()
+                        .sorted(Comparator.comparingInt(String::length).reversed())
+                        .toList();
+            }
+        } catch (IOException e) {
+            throw new UncheckedIOException("Не удалось прочитать словарь " + resource, e);
+        }
+    }
+}