Я сразу вижу ряд проблем с этим:

- x265 _очень_ плохо работает с sd-контентом
- лосслесс данные это не то, с чем кодек будет работать и на лосси libaom сыпется очень-очень сильно
- 480 вообще максимально субоптимальная высота с которой кодеки не умеют работать [SAR 5760:4739 DAR 8448:4739]
- 500кбпс заведомо недостаточно -- в зависимости от контента, x265 может 432 и в 300кбпс запихать так, что будет абсолютно ок, но полное отсутствие дефектов на любом контенте часто предпочтительнее и это порядка 650кбпс среднего, к слову, для avc аналогичное визуальное качество достигается где-то на 4000кбпс.
- предложенный материал сам по себе содержит артефакты, на которые уходит весь битрейт, а анимация весьма низкокачественная как и положено опенсорсу -- содержимое выглядит дефективно и это опять же не то что кодеки кодируют в норме, что вообще подобным мусором можно проверить я не представляю

Я закодировал 480p bbb дефолтным crf=27 которого достаточно в большинстве ситуаций, получилось  в районе 350kbps. Небольшие дефекты краёв в движении, надо присматриваться при увеличении на весь экран, чтобы увидеть. Для такого битрейта неплохо. Вообще без проблем. Когда мне надо нормальное качество, я ставлю crf=21 и это что-то вроде аналога crf=17 у x264, получилось ~800kbps, лучше картинку получить сложно.

После этого я переключил пресет с medium на veryslow и crf обратно на 27, качество ощутимо выросло, у меня практически нет претензий ни к чему и дефекты минимальные (битрейт 372kbps), veryslow с включенной психовизуальщиной + tune=animation выглядит визуально лучше и на весь экран 393kbps.

Нужно учитывать, что crf у x265 обеспечивает качество на битрейт значительно ниже, чем 2-проходный режим на битрейт, но результат более предсказуемый (а битрейт нет).

При этом, x265 вообще не показатель, и референсный кодер по ряду лицензионных причин выдаёт картинку куда чище и детализированнее с меньшим мылом и артефактами. А вот libaom/libvpx это референсный и "самый лучший", поэтому подобное сравнение изначально глупость несусветная.

Сравнил сейчас libaom crf=35 с libx265 crf=27 как сопоставимые по битрейту и качеству, выглядит примерно одинаково паршиво, libaom намного дороже. Только у libaom адовое мыло, важные детали вроде лиц размыты куда сильнее. Меньше артефактов краёв в движении, они лезут когда недостаточно битрейта. Качество сопоставимо с отключённой психовизуальщиной, но x265 в несколько раз производительнее в итоге. Со стандартной психовзуальщиной + tune=animation качество выше у x265 при той же вычислительной сложности. В любом случае, BBB в качестве тестовых данных никуда не годится.

Ах да, я использую шейдер FSRCNNX_x2, поэтому все дефекты sd-контента вижу очень отчётливо. Возможно, есть другой шейдер, который будет сглаживать конкретно эти артефакты, этот делает все артефакты более явными.