>А сможете обосновать почему они "более объективные"?

Потому что конфигурация и система одна и та же.

>Но почему-то почти никому не приходит в голову сравнивать их результаты на основе того что Вася в его гаражике раскачал двигатель

Как раз сабж и есть такой случай - системы разные, то есть на погрешность влияет фактор "мастерство маинтейнера", ну и версии месы тоже разные. Как можно сравнивать разные версии на разных системах и хотеть при этом точных результатов?

>Прогресс или регресс ... чего?

Ну как чего? Производительности тех или иных версий, месы, в данном случае.

>Тогда вылезет другая пачка гентушников, которая начнет недовольно орать что можно было еще вон те и вон эти оптимизации ввинтить и опять необъективно.

Если сравнивать разные версии с одинаковыми оптимизациями и на одной системе, то явно можно увидеть различие в производительности версий. А оптимизации могут быть любыми, главное, чтобы они были одинаковыми.

>А бОльшая часть юзеров никогда не будет пересобирать свою систему. Потому что это все-таки возня, при том не ведущая напрямую к выполнению юзером своих задач. А раз так - оно юзерам никуда и не впилось, собссно.

Почему не влилось? Вот, положим, я использую дистрибутив X, в котором версия нужной мне программы = Y. Открываю сайт - вижу, что лучше использовать версию Z, потому то, потому то. Соответственно, я скачиваю/собираю/откатываюсь на/ версию Z. Вот и всё.

>Ну так та мизерная доля процента которая сможет и захочет бодаться с тотальной пересборкой системы зачем-то - и сами выводы сделать в состоянии должны.

То есть, самим тесты делать? А фороникс тогда зачем?

> не способных оценить результаты бенча и понять что оптимизировать.

Как можно оценить результаты, когда, _например_, сравниваются две программы - одна, собраная gcc 4.3, на FreeBSD с ZFS, а другая, собраная gcc 4.5, на Ubuntu с ext4? Это же идиотизм, придется учитывать кучу разных факторов, не проще взять одну систему и сравнить на ней?

>Допущение что каждый "более продвинутый" юзер спит и видит как бы ему только всю свою систему из исходников лично пересобрать - наврядли верное.

Может и не "спит и видит", но если захочет - _грамотные_ тесты явно не помешают.

>Например тотальная замена софтины А на софтину Б или правка опций и в итоге допустим прирост в два раза за аж минуту - зарулит в хлам по эффективности пересборку всей системы

Что мешает туже софтину Б собрать из исходников c нужными опциями и сделать ещё лучше, чем просто поставить пакет? Только время.