diff --git a/README.md b/README.md index 97c52aa..5cad302 100644 --- a/README.md +++ b/README.md @@ -1,100 +1,159 @@ -# web-proxy-config +# Proxy Config -Небольшой локальный веб-интерфейс на Flask/Gunicorn для управления только участками между -`#begin marker` и `#end marker` в файлах Caddyfile и dnsmasq.conf. +Небольшой локальный веб-интерфейс на Flask/Gunicorn для управления Caddy и dnsmasq. -Поиск маркеров не зависит от регистра, поэтому вариант `#Begin marker` также поддерживается. +Приложение изменяет только участки между маркерами `#begin marker` и `#end marker` в `Caddyfile` и `dnsmasq.conf`. Содержимое файлов вне этих маркеров не изменяется. -## Важное правило безопасности +## Возможности -Приложению разрешено изменять текст **только между двумя маркерами**. +- добавление и удаление reverse proxy в Caddy; +- создание обычных и LAN-only proxy-блоков; +- добавление и удаление доменов dnsmasq; +- единый IP для всех новых dnsmasq-записей через `DNSMASQ_TARGET_IP`; +- импорт списка доменов dnsmasq из текстового файла; +- экспорт списка доменов dnsmasq в текстовый файл; +- опциональная HTTP Basic Auth; +- проверка конфигурации перед применением; +- автоматический reload/restart сервиса; +- резервная копия перед изменением; +- автоматический откат при ошибке проверки или применения. -При каждой записи приложение: +## Защита файлов вне маркеров -1. требует наличия ровно одного начального маркера и ровно одного конечного маркера; -2. оставляет без изменений весь текст до начального маркера включительно; -3. оставляет без изменений строку с конечным маркером и весь текст после неё; -4. непосредственно перед записью выполняет дополнительную проверку и отменяет операцию, - если какая-либо часть файла вне маркеров отличается от исходной; -5. создаёт резервную копию файла с отметкой времени; -6. атомарно заменяет конфигурационный файл; -7. проверяет полную конфигурацию; -8. перезагружает или перезапускает соответствующий сервис; -9. восстанавливает исходный конфигурационный файл, если проверка или запуск сервиса завершились ошибкой. +Для каждого конфигурационного файла должна существовать ровно одна пара маркеров: -Перегенерируется только управляемая часть между маркерами. +```text +#begin marker -Существующие окончания строк CRLF/LF вне управляемой части сохраняются без изменений, -так как чтение и запись выполняются с отключённым преобразованием окончаний строк. +... управляемая часть ... + +#end marker +``` + +Регистр маркеров не важен, поэтому `#Begin marker` также поддерживается. + +При изменении приложение: + +1. требует ровно один начальный и один конечный маркер; +2. сохраняет строку начального маркера и весь текст до неё без изменений; +3. сохраняет строку конечного маркера и весь текст после неё без изменений; +4. перед записью дополнительно сравнивает обе внешние части с исходным файлом; +5. отменяет запись, если что-либо вне маркеров изменилось; +6. создаёт резервную копию; +7. атомарно записывает конфигурацию; +8. проверяет конфигурацию; +9. применяет её только после успешной проверки; +10. при ошибке восстанавливает исходный файл. + +CRLF/LF вне управляемой части также сохраняются без пересборки. ## dnsmasq -В веб-форме требуется указать только домен. - -Все новые записи используют один общий IP-адрес, который задаётся в файле: - -`/etc/web-proxy-config.env` - -Например: +Все новые записи используют один IP из `/etc/web-proxy-config.env`: ```ini DNSMASQ_TARGET_IP=192.168.7.251 ``` -Если в форме указать: +В интерфейсе достаточно указать только домен, например: ```text .arm.com ``` -будет создана запись: +Будет создана запись: ```text address=/.arm.com/192.168.7.251 ``` -Существующие записи с другим IP-адресом также отображаются в интерфейсе и могут быть удалены, -но все новые записи всегда используют значение `DNSMASQ_TARGET_IP`. +Существующие записи с другим IP отображаются как есть. Они не переписываются автоматически. + +### Импорт доменов + +Для импорта используется текстовый UTF-8 файл, по одному домену на строку: + +```text +ifconfig.me +.keil.arm.com +.arm.com +``` + +Пустые строки и строки, начинающиеся с `#`, игнорируются. + +Импорт: + +- принимает только доменные имена; +- не позволяет импортировать произвольные строки `dnsmasq.conf`; +- использует `DNSMASQ_TARGET_IP` для всех новых записей; +- пропускает домены, которые уже существуют; +- перед применением выполняет обычную проверку `dnsmasq --test`. + +### Экспорт доменов + +Кнопка экспорта создаёт файл `dnsmasq-sites.txt` в формате: + +```text +ifconfig.me +.keil.arm.com +.arm.com +``` + +Экспортируется только список доменов из управляемой части, без IP-адресов. + +## Авторизация + +Авторизация управляется параметром: + +```ini +AUTH_ENABLED=true +``` + +При включённой авторизации используются: + +```ini +ADMIN_USER=admin +ADMIN_PASSWORD=CHANGE_ME_TO_A_LONG_RANDOM_PASSWORD +``` + +Если доступ к Proxy Config уже ограничен доверенной локальной сетью через Caddy, авторизацию можно отключить: + +```ini +AUTH_ENABLED=false +``` + +При `AUTH_ENABLED=false` значения `ADMIN_USER` и `ADMIN_PASSWORD` не используются. + +> Proxy Config может изменять Caddy и dnsmasq и перезапускать системные сервисы. Отключайте авторизацию только если доступ к `proxy.stadidisk.ru` действительно ограничен доверенными устройствами/сетями. ## Проверка и применение конфигурации -Для Caddy выполняется: - -```bash -caddy validate -``` - -После успешной проверки: +Для Caddy: ```bash +caddy validate --config /etc/caddy/Caddyfile --adapter caddyfile systemctl reload caddy ``` -Для dnsmasq выполняется: - -```bash -dnsmasq --test -``` - -После успешной проверки: +Для dnsmasq: ```bash +dnsmasq --test --conf-file=/etc/dnsmasq.conf systemctl restart dnsmasq ``` - -## Установка +## Установка и обновление ### 1. Установка системных пакетов -На Debian 13 установите необходимые пакеты: +На Debian 13: ```bash sudo apt update sudo apt install -y git python3-venv ``` -### 2. Обновление кода из Git +### 2. Обновление кода Перейдите в каталог проекта: @@ -102,7 +161,7 @@ sudo apt install -y git python3-venv cd /opt/web-proxy-config ``` -Получите последние изменения из Git-репозитория: +Получите последнюю версию: ```bash git pull @@ -110,33 +169,27 @@ git pull ### 3. Создание виртуального окружения -Находясь в каталоге проекта, создайте виртуальное окружение `.venv`: +Из каталога проекта: ```bash python3 -m venv .venv ``` -Активируйте его: +Активируйте окружение: ```bash source .venv/bin/activate ``` -После активации в начале командной строки обычно появится: +### 4. Установка зависимостей из venv -```text -(.venv) -``` - -### 4. Установка зависимостей - -Находясь в активированном виртуальном окружении, установите зависимости: +После активации `.venv`: ```bash pip install -r requirements.txt ``` -При необходимости после установки можно выйти из виртуального окружения: +После установки можно выйти из окружения: ```bash deactivate @@ -144,129 +197,90 @@ deactivate ### 5. Настройка приложения -Скопируйте пример файла настроек: +Скопируйте пример настроек: ```bash sudo cp web-proxy-config.env.example /etc/web-proxy-config.env ``` -Откройте его для редактирования: +Откройте файл: ```bash sudo nano /etc/web-proxy-config.env ``` -Пример настроек: +Пример: ```ini +AUTH_ENABLED=true ADMIN_USER=admin ADMIN_PASSWORD=замените_на_надёжный_пароль APP_SECRET=замените_на_случайную_строку CADDYFILE=/etc/caddy/Caddyfile DNSMASQ_CONF=/etc/dnsmasq.conf - +BACKUP_DIR=/var/backups/web-proxy-config DNSMASQ_TARGET_IP=192.168.7.251 -BACKUP_DIR=/var/backups/web-proxy-config LAN_NETWORKS=192.168.7.0/24,10.10.10.0/24 MAX_BACKUPS=50 +MAX_IMPORT_BYTES=262144 ``` -Случайную строку для `APP_SECRET` можно создать командой: +Случайный `APP_SECRET`: ```bash openssl rand -hex 32 ``` -Ограничьте доступ к файлу настроек: +Ограничьте доступ к настройкам: ```bash sudo chmod 600 /etc/web-proxy-config.env ``` -### 6. Установка службы systemd - -Находясь в каталоге проекта, скопируйте unit-файл: +### 6. Установка systemd-службы ```bash sudo cp web-proxy-config.service /etc/systemd/system/web-proxy-config.service -``` - -Перечитайте конфигурацию systemd: - -```bash sudo systemctl daemon-reload -``` - -Включите автозапуск и сразу запустите приложение: - -```bash sudo systemctl enable --now web-proxy-config ``` -Проверьте состояние: +После обновления кода достаточно: ```bash -sudo systemctl status web-proxy-config +cd /opt/web-proxy-config +git pull +source .venv/bin/activate +pip install -r requirements.txt +deactivate +sudo systemctl restart web-proxy-config ``` -При нормальной работе статус должен содержать: - -```text -Active: active (running) -``` - -### 7. Просмотр журналов - -Для просмотра последних сообщений: +Проверка состояния: ```bash -sudo journalctl -u web-proxy-config -n 100 --no-pager +systemctl status web-proxy-config ``` -Для просмотра журнала в реальном времени: +Логи: ```bash -sudo journalctl -u web-proxy-config -f +journalctl -u web-proxy-config -f ``` -### 8. Локальная проверка +## Доступ через Caddy -По умолчанию приложение должно быть доступно только на: +Приложение слушает только: ```text 127.0.0.1:8090 ``` -Проверить его с самого мини-ПК можно командой: +Пример LAN-only блока Caddy: -```bash -curl http://127.0.0.1:8090 -``` - -Если приложение отвечает, можно настраивать доступ к нему через Caddy. - - -## Доступ к веб-интерфейсу - -Приложение должно слушать только локальный адрес: - -```text -127.0.0.1 -``` - -Доступ к нему рекомендуется организовать через Caddy с ограничением только для локальной сети. - -Блок Caddy, который проксирует веб-интерфейс web-proxy-config, должен находиться **вне управляемых маркеров**, -чтобы приложение никогда не изменяло собственную точку доступа. - - - -### Пример - - -```text +```caddyfile proxy.stadidisk.ru { @lan remote_ip 192.168.7.0/24 10.10.10.0/24 @@ -276,4 +290,6 @@ proxy.stadidisk.ru { respond "Forbidden" 403 } -``` \ No newline at end of file +``` + +Этот блок рекомендуется размещать **вне управляемых маркеров**, чтобы Proxy Config никогда не изменял собственную точку входа. diff --git a/app.py b/app.py index a6c2de7..66dd78a 100644 --- a/app.py +++ b/app.py @@ -15,7 +15,7 @@ from datetime import datetime from pathlib import Path from urllib.parse import urlsplit -from flask import Flask, abort, flash, redirect, render_template_string, request, session, url_for +from flask import Flask, Response, abort, flash, redirect, render_template_string, request, session, url_for # ----------------------------------------------------------------------------- @@ -26,19 +26,24 @@ CADDYFILE = Path(os.getenv("CADDYFILE", "/etc/caddy/Caddyfile")).resolve() DNSMASQ_CONF = Path(os.getenv("DNSMASQ_CONF", "/etc/dnsmasq.conf")).resolve() BACKUP_DIR = Path(os.getenv("BACKUP_DIR", "/var/backups/web-proxy-config")) -try: - DNSMASQ_TARGET_IP = str( - ipaddress.ip_address(os.getenv("DNSMASQ_TARGET_IP", "192.168.7.251").strip()) - ) -except ValueError as exc: - raise RuntimeError("DNSMASQ_TARGET_IP is not a valid IPv4/IPv6 address.") from exc - BEGIN_MARKER = os.getenv("BEGIN_MARKER", "#begin marker") END_MARKER = os.getenv("END_MARKER", "#end marker") +def env_bool(name: str, default: bool) -> bool: + raw = os.getenv(name) + if raw is None: + return default + return raw.strip().lower() in {"1", "true", "yes", "on"} + + +AUTH_ENABLED = env_bool("AUTH_ENABLED", True) ADMIN_USER = os.getenv("ADMIN_USER", "admin") ADMIN_PASSWORD = os.getenv("ADMIN_PASSWORD", "") APP_SECRET = os.getenv("APP_SECRET", secrets.token_urlsafe(48)) +DNSMASQ_TARGET_IP = str( + ipaddress.ip_address(os.getenv("DNSMASQ_TARGET_IP", "192.168.7.251").strip()) +) +MAX_IMPORT_BYTES = int(os.getenv("MAX_IMPORT_BYTES", str(256 * 1024))) LAN_NETWORKS = [ x.strip() for x in os.getenv("LAN_NETWORKS", "192.168.7.0/24,10.10.10.0/24").split(",") @@ -62,9 +67,10 @@ DNSMASQ_VALIDATE_CMD = [ ] DNSMASQ_APPLY_CMD = ["/usr/bin/systemctl", "restart", "dnsmasq"] -if not ADMIN_PASSWORD: +if AUTH_ENABLED and not ADMIN_PASSWORD: raise RuntimeError( - "ADMIN_PASSWORD is not configured. Set it in the systemd EnvironmentFile." + "AUTH_ENABLED is true, but ADMIN_PASSWORD is not configured. " + "Set ADMIN_PASSWORD or disable authentication with AUTH_ENABLED=false." ) app = Flask(__name__) @@ -107,80 +113,62 @@ def _hash_id(text: str) -> str: return hashlib.sha256(text.encode("utf-8")).hexdigest()[:16] -@dataclass(frozen=True) -class ManagedSection: - # prefix includes the complete begin-marker line and its original newline. - # suffix starts at the end-marker line. Both are copied verbatim when a - # managed section is changed, so text outside the markers cannot be altered. - prefix: str - managed_text: str - suffix: str - - -def _marker_pattern(marker: str) -> re.Pattern[str]: - marker = marker.strip() - if not marker: - raise ValueError("Marker cannot be empty.") - # A marker must occupy a whole logical line. Case is ignored so existing - # '#Begin marker' and '#begin marker' variants are both accepted. - return re.compile( - rf"(?im)^[ \t]*{re.escape(marker)}[ \t]*(?:\r?\n|$)" +def _find_marker_line(text: str, marker: str) -> list[re.Match[str]]: + pattern = re.compile( + rf"(?im)^[ \t]*{re.escape(marker.strip())}[ \t]*(?:\r\n|\n|\r|$)" ) + return list(pattern.finditer(text)) -def split_managed_section(text: str) -> ManagedSection: - begin_matches = list(_marker_pattern(BEGIN_MARKER).finditer(text)) - end_matches = list(_marker_pattern(END_MARKER).finditer(text)) +def split_managed_section(text: str) -> tuple[str, str, str, str]: + """Return prefix, managed text, suffix and preferred newline. - if len(begin_matches) != 1 or len(end_matches) != 1: + Prefix includes the begin-marker line and its line ending. Suffix starts with + the end-marker line. Therefore prefix and suffix can be copied byte-for-byte + (at the decoded text level) without being rebuilt. + """ + begins = _find_marker_line(text, BEGIN_MARKER) + ends = _find_marker_line(text, END_MARKER) + if len(begins) != 1 or len(ends) != 1: raise ValueError( - "Config must contain exactly one begin marker and exactly one end marker. " - f"Found begin={len(begin_matches)}, end={len(end_matches)}." + f"Expected exactly one '{BEGIN_MARKER}' and one '{END_MARKER}' marker." ) - - begin = begin_matches[0] - end = end_matches[0] + begin = begins[0] + end = ends[0] if end.start() < begin.end(): - raise ValueError("End marker must appear after begin marker.") + raise ValueError("End marker is before the begin marker.") - return ManagedSection( - prefix=text[: begin.end()], - managed_text=text[begin.end() : end.start()], - suffix=text[end.start() :], - ) + prefix = text[: begin.end()] + managed = text[begin.end() : end.start()] + suffix = text[end.start() :] + + if prefix.endswith("\r\n"): + newline = "\r\n" + elif prefix.endswith("\n"): + newline = "\n" + elif prefix.endswith("\r"): + newline = "\r" + else: + newline = "\n" + return prefix, managed, suffix, newline def get_managed_lines(text: str) -> list[str]: - return split_managed_section(text).managed_text.splitlines() + _, managed, _, _ = split_managed_section(text) + return managed.splitlines() def replace_managed_lines(text: str, managed: list[str]) -> str: - section = split_managed_section(text) - - # Only the text BETWEEN markers is generated. Prefix and suffix are reused - # byte-for-byte at the Unicode text level from the original file. - newline = ( - "\r\n" - if "\r\n" in section.managed_text or section.prefix.endswith("\r\n") - else "\n" - ) - managed_text = newline.join(managed) - if managed_text: - # The end marker must remain on its own line. This newline is still - # inside the managed section, immediately before the end marker. - managed_text += newline - - return section.prefix + managed_text + section.suffix + prefix, _, suffix, newline = split_managed_section(text) + body = newline.join(managed) + if body: + body += newline + return prefix + body + suffix -def assert_outside_markers_unchanged(old_text: str, new_text: str) -> None: - old = split_managed_section(old_text) - new = split_managed_section(new_text) - if old.prefix != new.prefix or old.suffix != new.suffix: - raise ValueError( - "Safety check failed: content outside the managed markers changed. " - "Nothing was written." - ) +def read_text_exact(path: Path) -> str: + with path.open("r", encoding="utf-8", newline="") as fh: + return fh.read() def _brace_delta(line: str) -> int: @@ -359,6 +347,13 @@ def validate_dns_domain(value: str) -> str: return ("." if leading_dot else "") + bare +def validate_ip(value: str) -> str: + value = value.strip() + try: + return str(ipaddress.ip_address(value)) + except ValueError as exc: + raise ValueError("Invalid IP address.") from exc + def build_caddy_block(site: str, upstream: str, comment: str, lan_only: bool) -> list[str]: lines: list[str] = [] @@ -389,13 +384,6 @@ def build_caddy_block(site: str, upstream: str, comment: str, lan_only: bool) -> # ----------------------------------------------------------------------------- -def read_text_exact(path: Path) -> str: - # newline="" disables universal-newline conversion, preserving CRLF/LF - # exactly as stored in the source file. - with path.open("r", encoding="utf-8", newline="") as fh: - return fh.read() - - def run_cmd(cmd: list[str], timeout: int = 20) -> tuple[bool, str]: try: cp = subprocess.run( @@ -472,10 +460,12 @@ def apply_transaction( if old_text == new_text: return True, "No changes were necessary." - # Defence in depth: even if a future route constructs new_text - # incorrectly, refuse to write unless everything outside the markers - # is exactly unchanged. - assert_outside_markers_unchanged(old_text, new_text) + # Hard safety boundary: content outside the managed markers must be + # exactly identical before a write is allowed. + old_prefix, _, old_suffix, _ = split_managed_section(old_text) + new_prefix, _, new_suffix, _ = split_managed_section(new_text) + if old_prefix != new_prefix or old_suffix != new_suffix: + return False, "Safety check failed: text outside the markers changed; nothing was written." stat = path.stat() backup = create_backup(path, old_text) @@ -527,11 +517,11 @@ def _auth_ok() -> bool: @app.before_request def require_auth(): - if not _auth_ok(): + if AUTH_ENABLED and not _auth_ok(): return ( "Authentication required", 401, - {"WWW-Authenticate": 'Basic realm="NAS Config"'}, + {"WWW-Authenticate": 'Basic realm="Proxy Config"'}, ) @@ -584,6 +574,7 @@ def index(): dns_status=state[5], lan_networks=", ".join(LAN_NETWORKS), dns_target_ip=DNSMASQ_TARGET_IP, + auth_enabled=AUTH_ENABLED, ) @@ -692,6 +683,94 @@ def dns_delete(): return redirect(url_for("index")) + +@app.post("/dns/import") +def dns_import(): + require_csrf() + try: + upload = request.files.get("file") + if upload is None or not upload.filename: + raise ValueError("Выберите текстовый файл со списком доменов.") + + data = upload.stream.read(MAX_IMPORT_BYTES + 1) + if len(data) > MAX_IMPORT_BYTES: + raise ValueError(f"Файл слишком большой. Максимальный размер: {MAX_IMPORT_BYTES} байт.") + try: + imported_text = data.decode("utf-8-sig") + except UnicodeDecodeError as exc: + raise ValueError("Файл импорта должен быть в кодировке UTF-8.") from exc + + domains: list[str] = [] + seen_import: set[str] = set() + errors: list[str] = [] + for lineno, raw_line in enumerate(imported_text.splitlines(), start=1): + line = raw_line.strip() + if not line or line.startswith("#"): + continue + try: + domain = validate_dns_domain(line) + except ValueError: + errors.append(f"строка {lineno}: {line}") + continue + key = domain.lower() + if key not in seen_import: + seen_import.add(key) + domains.append(domain) + + if errors: + preview = "; ".join(errors[:8]) + if len(errors) > 8: + preview += f"; ещё {len(errors) - 8}" + raise ValueError(f"В файле есть некорректные домены: {preview}") + if not domains: + raise ValueError("В файле не найдено ни одного домена.") + + old = read_text_exact(DNSMASQ_CONF) + managed = get_managed_lines(old) + records = parse_dns_records(managed) + existing = {r.domain.lower() for r in records} + + added = 0 + skipped = 0 + for domain in domains: + if domain.lower() in existing: + skipped += 1 + continue + managed.append(f"address=/{domain}/{DNSMASQ_TARGET_IP}") + existing.add(domain.lower()) + added += 1 + + if not added: + flash(f"Новых доменов нет. Пропущено существующих: {skipped}.", "success") + return redirect(url_for("index")) + + new = replace_managed_lines(old, managed) + ok, message = apply_transaction(DNSMASQ_CONF, old, new, DNSMASQ_VALIDATE_CMD, DNSMASQ_APPLY_CMD) + if ok: + message = f"Импорт завершён: добавлено {added}, пропущено существующих {skipped}.\n{message}" + flash(message, "success" if ok else "error") + except Exception as exc: + flash(str(exc), "error") + return redirect(url_for("index")) + + +@app.get("/dns/export") +def dns_export(): + try: + text = read_text_exact(DNSMASQ_CONF) + records = parse_dns_records(get_managed_lines(text)) + content = "\n".join(r.domain for r in records) + if content: + content += "\n" + return Response( + content, + mimetype="text/plain; charset=utf-8", + headers={"Content-Disposition": "attachment; filename=dnsmasq-sites.txt"}, + ) + except Exception as exc: + flash(str(exc), "error") + return redirect(url_for("index")) + @app.get("/health") def health(): return {"ok": True} @@ -707,7 +786,7 @@ TEMPLATE = r""" - NAS Config + Proxy Config