Policy Based Routing + nftables + zapret на нескольких WAN

[z0mb1e-kgd]

У меня такой сетап (уже описывал где-то в дискуссиях, но повторюсь):

I. Роутер с OpenWrt, WAN PPPoE (назовем его WAN1), установлен zapret (nftables + nfqws + autohostlist). На нем настроен policy based routing с отдельными правилами, устанавливающими для пакетов с определенным src шлюз по умолчанию как адрес устройства в LAN, указанного в п. 2.

II. Одноплатник с Arch Linux с подключенным по USB смартфоном в режиме usb-модема, с целью (кроме прочего) использования в качестве резервного WAN (назовем его WAN2). Сеть настраивается с помощью systemd-networkd, на WAN2 настроен zapret в том же режиме, что и на роутере.

Раньше я настраивал на WAN2 приоритет с помощью установки на интерфейсе метрики 512, при этом второй default gateway на роутер устанавливался автоматически с метрикой 1024, а далее я маскарадил весь перенаправленный с роутера трафик с local src и nonlocal dst на WAN2. Однако проблема была в том, что сам одноплатник тоже ходил в интернеты по WAN2, а это было не нужно, поэтому я решил сделать настройку по-другому:

1. Установил на WAN2 метрику 2048, тем самым установив приоритет на роут с dgw на него ниже, чем dgw на роутер (1024).
2. В /etc/nftables.conf поставил на прероутинге установку метки 0x7 на пакеты, приходящие на LAN-интерфейс с dst внешней сети:

table ip mangle {
        chain prerouting {
                type filter hook prerouting priority mangle; policy accept;
                iifname LAN_IF ip saddr LAN_SUBNET/24 ip daddr != LAN_SUBNET/24 meta mark set 7
                ct mark set mark
        }
}

3. На построутинге настроил маскарад:

table ip nat {
        chain postrouting {
                type nat hook postrouting priority srcnat; policy accept;
                oifname WAN2_IF masquerade
        }

4. Настроил дополнительную таблицу 100 для iproute2, прописал роут и правило для переадресации пакетов с меткой 0x7 на dgw WAN2_IF:

# ip route list table 100

default via WAN2_IF_IP dev WAN2_IF proto dhcp

# ip rule show

0:	from all lookup local
32764:	from all fwmark 0x7 lookup 100 proto static
32766:	from all lookup main
32767:	from all lookup default

Интернеты заработали как надо (теперь на WAN2 ходят только перенаправленные с роутера устройства, сам одноплатник ходит за интернетами на роутер с WAN1), но zapret на WAN2 работать перестал. Полагаю, из-за переназначения fwmark, которые сам zapret использует для разграничения обрабатываемого трафика. Либо из-за перескока трафика на уровень flow ниже, чем его обрабатывает zapret.

Прошу помочь решить проблему. Полагаю, есть куда более изящное решение для изначальной проблемы.

[bol-van]

не стоит полностью переназначать марк
надо использовать отдельные биты
по маске 0x60000000 ничего менять не нужно
хотя можно переназначить биты для zapret в конфиге

затем включить логгинг tpws/nfqws и посмотреть что они творят
для nfqws:
если обработка идет - убедиться, что нет ошибок отсылки
если нет, проверить на тот ли интерфейс уходят генеренные nfqws пакеты
если не тот, есть опции --bind-fix4 и --bind-fix6

[z0mb1e-kgd]

Спасибо, заработало после установки отдельного бита в марке и прописывания совпадения fwmark в правиле PBR по маске. Даже логи вычитывать не пришлось, сразу пошло дело.

Стал штудировать установку отдельных битов в марке по маске в nftables, ни в вике, ни в доках ничего вразумительного не нашел (либо я слепошарый и пропустил). Принцип-то и так был понятен, но как это описать в правилах nftables, сперва не допетрил. Посмотрел несколько примеров, их в гугле кот наплакал, в основном обсуждают iptables, в котором другой синтаксис. В итоге нашел то, что нужно, в выводе zapret'овских таблиц nft list ruleset =) Для особо одаренных вроде меня, кто столкнулся с похожей проблемой, сообщаю:

Отдельный бит или биты в nftables (в этом примере - четвертый бит) без затирания существующего значения устанавливаются выражением

meta mark set mark | 0x8

т.е. после конструкции "meta mark set" берется текущий марк (если марк до этого не был установлен, то "0"), и к нему применяется логическое ИЛИ (OR, |) с указанной маской.

[z0mb1e-kgd]

Кстати, @bol-van, если не затруднит, вы не могли бы посоветовать какую-нибудь достойную литературу или иные материалы по nftables / netfilter / межсетевым экранам в целом? Чтоб прям с азов? Хотелось бы систематизировать знания, а то всё изучалось поверхностно да обрывками, многие темы (например, как в топике) приходится по крупицам собирать среди тонн устаревшего или нерелевантного шлака. Спасибо.

[bol-van]

в нетфильтре надо знать общую схему прохождения пакетов
и хуки
диаграмма легко гуглится как картинка
нфт тут описаны
https://wiki.nftables.org/wiki-nftables/index.php/Main_Page