A mensagem erro abaixo começa a se tornar comum quando começamos a “inchar” as regras de bloqueio no pfBlocker. Há duas soluções simples para o caso. Ou você reduz a quantidade de regras, ou aumenta a quantidade de entradas permitidas na tabela do Firewall.

There were error(s) loading the rules: /tmp/rules.debug:21: cannot define table pfB_BadIP: Cannot allocate memory - The line in question reads [21]: table <pfB_BadIP> persist file "/var/db/aliastables/pfB_BadIP.txt"
@ 2020-05-30 11:58:49

A primeira solução depende de cada caso, já que você precisa avaliar quais regrar poderão ser removidas e quais de fato são indispensáveis.

Para a segunda solução, entre em System > Advanced > Firewall e NAT, na página de configuração do pfSense e procure pelo campo “Firewall Maximum Table Entries” e altere este valor conforme a sua necessidade (obs: alterar este valor requer o reboot da máquina).

O valor padrão é 400000 e o máximo é o tamanho da sua necessidade. Particularmente quando eu configuro o pfBlocker, já de largada, eu dobro este valor para 800000 e já vi diversas pessoas fazendo o mesmo, mas isso não é uma regra, apenas é um valor aceitável para boa parte dos casos se que precise ficar depurando, analisando, testando etc.

Se esta sugestão não te atender, ajuste até o valor que julgar necessário e fique de olho para ver qual será o comportamento do seu pfSense.