Каким-то мудреным образом мой ip попал в таблицу негодяев на моем удаленном тазике. Вспоминал команду для очистки таблицы заблокированных ip адресов В итоге сдался и нагуглил решение.

Привожу часть конфига pf.conf:

pass in on $ext_if  proto tcp from any to $ext_if port ssh \
synproxy state ( max-src-conn-rate 1/60, \
overload <BRUTEFORCERS> flush global )

Чтобы просмотреть заблокированные ip адреса в таблице BRUTEFORCES:

pfctl -t BRUTEFORCES -T show

Удалить адреса:

pfctl -t BRUTEFORCES -T del *тут ip адрес*

Добавить негодяя:

pfctl -t BRUTEFORCES -T add *ip негодяя*

Ну в общем-то и все.