Агент Apache Doris

Агент Apache Doris — это сервис рядом с кластером. Он поддерживает собственный контроль доступа Doris в соответствии с подписанными политиками сервиса данных doris: одна роль на пользователя, которая содержит ровно то, что ему дают политики, вплоть до столбцов и групп нагрузки, и одна политика строк на каждый фильтр строк. Затем Doris сам проверяет каждую инструкцию, а агент никогда не стоит между клиентами и фронтендами. Дистрибутив поставляет его как исполняемый JAR agents/doris/grantforge-agent-doris-<version>.jar, которому нужна Java 17 или новее.

Интеграционные тесты Testcontainers в репозитории запускают агент и поставляемый JAR на Apache Doris 2.1, 3.1, 4.0 и 4.1. Это не означает сертификацию всех остальных версий; агент отклоняет кластеры старше 2.1. О сервисном плагине см. Apache Doris.

Как это работает

• Одна роль на пользователя содержит то, что даёт GrantForge. Для каждого пользователя, которому политики что-то дают, агент ведёт роль с его именем, grantforge_alice для alice, с комментарием, называющим пользователя, и выдаёт её каждой учётной записи пользователя, например 'alice'@'%' и 'alice'@'10.%'. SHOW ROLES показывает, что GrantForge даёт alice; агент не меняет других ролей и привилегий, которых не выдавал.
• Базы данных и каталоги целиком, где ниже ничего не решается иначе. Чтение, загрузка и показ представлений, которые политика разрешает на всю базу данных или каталог и которые ни одна политика ниже не может отнять, выдаются на базу данных или каталог, поэтому созданные позже таблицы получают их сразу. Иначе они выдаются потаблично, а чтение — по столбцам. Изменение выдаётся потаблично, поскольку привилегия Doris на базу данных позволила бы и переименовать её.
• Никогда больше, чем разрешают политики. Привилегия Doris создавать базы данных в каталоге — это привилегия создавать таблицы во всех них, а привилегия удалять базу данных — удалять все её таблицы. Агент выдаёт каждую только там, где политики дают и более широкую привилегию; иначе он удерживает её и однократно записывает в журнал, какой пользователь что не может и почему.
• Группы нагрузки выдаются по имени. Политика на группы нагрузки даёт USAGE_PRIV на каждую разрешённую ею группу, чтобы пользователь мог выполнять в ней запросы; группы, созданные позже, охватываются при следующей синхронизации.
• Фильтры строк становятся политиками строк. Фильтр строк — это разрешающая (permissive) политика строк роли пользователя на таблице. Новый фильтр появляется раньше привилегий, которые он сужает; изменившийся фильтр заменяется за ограничивающей (restrictive) политикой, не показывающей строк, так что пользователь никогда не видит больше, чем показывает любой из двух фильтров. Каждый фильтр сначала выполняется на своей таблице; фильтр, который Doris не может там выполнить или отклоняет, например называющий столбец, которого в таблице нет, заменяется фильтром, не показывающим пользователю строк, и записывается в журнал.
• Политики текущего момента. Каждая синхронизация планирует по политикам в том виде, в каком они действуют в этот момент, поэтому сроки действия начинаются и заканчиваются вовремя, и по пользователям, каталогам, базам данных, таблицам и столбцам Doris, поэтому новые охватываются при следующей синхронизации.
• Роли Doris — это группы. Политика для группы действует для пользователей, у которых есть роль Doris с таким именем, вместе с группами, в которые их помещает GrantForge.
• Ручные изменения отменяются. При каждой синхронизации агент сравнивает привилегии своих ролей, как их показывает SHOW ROLES, и свои политики строк с планами и восстанавливает различия. Doris показывает привилегии на столбцы только по пользователю, объединёнными по всем его привилегиям: агент выдаёт столбцы, названные в плане, там, где пользователь не может прочитать их все, и однократно отзывает остальные у своей роли; столбец, который остаётся читаемым, получен через привилегию вне GrantForge. Если ничего не изменилось, агент ничего не отправляет.
• Привилегии вне GrantForge сообщаются. Doris складывает привилегии и объединяет разрешающие политики строк через OR, поэтому агент не может отнять то, что пользователь имеет напрямую или через другую роль. Он однократно предупреждает о каждой такой привилегии, привилегии на столбец или политике строк, которая даёт то, что запрещает политика, называя пользователя, привилегию и её источник, а также о пользователях с ADMIN_PRIV или NODE_PRIV, которых не ограничивает ни одна роль.
• Обращения берутся из журнала аудита. Агент читает __internal_schema.audit_log, который пишет каждый фронтенд, и сообщает каждую инструкцию как одно событие на каждую затронутую таблицу, базу данных или каталог; какие таблицы затронуты, он читает из самой инструкции разборщиком Doris из Druid, поскольку журнал их не называет. Отказ — это одно событие отказа для привилегии и объекта, названных в ошибке Doris. Каждое событие сообщает, решил ли это GrantForge, то есть совпадает ли решение политик с решением Doris, или разрешила привилегия вне GrantForge. Журнал читается с отставанием от текущего момента на интервал пакетной записи фронтендов, audit_plugin_max_batch_interval_sec, и ещё пять секунд.

Развёртывание

1. Добавьте сервис данных doris и настройте его политики. Откройте Права доступа к данным → Агенты, выберите сервис и выпустите токен агента. Он показывается только один раз; сохраните его в файл, который может читать только учётная запись агента.

2. Создайте пользователя Doris для агента. Он создаёт роли и политики строк, выдаёт то, что дают политики, и читает привилегии каждого пользователя и журнал аудита, что позволяет ADMIN_PRIV:

   CREATE USER 'grantforge'@'%' IDENTIFIED BY '…';
   GRANT ADMIN_PRIV ON *.*.* TO 'grantforge'@'%';

3. Чтобы сообщать об обращениях, включите журнал аудита Doris там, где он выключен, как в Doris 2.1: SET GLOBAL enable_audit_plugin = true. audit_plugin_max_batch_interval_sec короче стандартных 60 секунд позволяет сообщать об обращениях быстрее.

4. Напишите файл параметров, заменив примерные адреса, пути и имена:

   grantforge.server.url=https://grantforge.example.com
   grantforge.token.file=/etc/grantforge/doris-agent.token
   grantforge.instance=doris-agent-1
   grantforge.cache.dir=/var/lib/grantforge/doris-agent
   grantforge.doris.hosts=fe1.internal:9030,fe2.internal:9030
   grantforge.doris.user=grantforge
   grantforge.doris.password.file=/etc/grantforge/doris-agent.password

   Эти пути находятся на машине агента, а каталог кэша должен быть доступен для записи. Файлы паролей читаются в UTF-8 с обрезкой пробелов.

5. Запустите агент, например как службу systemd:

   java -jar agents/doris/grantforge-agent-doris-<version>.jar /etc/grantforge/doris-agent.properties

   Замените <version> версией дистрибутива. Параметры, переданные как java -Dgrantforge.…=… -jar …, переопределяют файл. По SIGTERM агент корректно останавливается и отправляет или откладывает ожидающие события; Doris сохраняет то, что получил.

6. Перенесите существующие привилегии в политики: привилегии, выданные вне GrantForge, продолжают действовать наряду с ролями агента. Создайте соответствующие политики, затем отзовите эти привилегии; предупреждения агента называют те, что дают то, что запрещает политика.

Пользователи, группы и роли

Политики называют пользователей Doris по их именам; имя пользователя с несколькими хостами — один пользователь, и роль агента получает каждая его учётная запись. Группы — это роли Doris пользователя вместе с группами, в которые его помещает GrantForge; роли — это роли, которые GrantForge даёт пользователю.

Решения и ограничения

• Без снимка агент ничего не меняет. Неиспользуемый сервис или токен, привязанный к сервису с типом не doris, ничего не выдают: агент удаляет свои роли и политики строк, и действуют собственные привилегии Doris.
• Пока агент не работает, Doris сохраняет то, что получил последним; изменения политик ждут агента. Изменение доходит до Doris в пределах интервала обновления и интервала синхронизации.
• Таблицы, созданные в базе данных, где агент выдаёт привилегии потаблично, и базы данных каталога, где он выдаёт их по базам, получают привилегии при следующей синхронизации.
• Политики строк Doris не могут ограничить root и admin. Пользователь, для которого Doris не показывает ни одной политики строк, видит все строки таблицы; разрешающие политики строк, созданные вне GrantForge для того же пользователя, расширяют то, что показывает его фильтр.
• Doris проверяет USAGE_PRIV на группу нагрузки, когда запрос выполняется на бэкендах; запрос, на который фронтенд отвечает сам, например константа или кэшированный результат, выполняется без проверки. Каждый пользователь может пользоваться группой normal, поскольку Doris даёт её всем.
• Пользователи, для которых агент ведёт роли, должны существовать в Doris; пользователи, входящие через LDAP без собственного пользователя Doris, роли не получают.
• Doris маскирует значения только через Apache Ranger, поэтому политики не могут маскировать значения.

Связанные руководства

• Apache Doris
• Сервисы данных, политики и агенты