Одного LTO мало, но и с ним каждое обновление компилятора новые приключения. Я отказался от общесистемного lto несколько лет назад. Слишком, слишком много возни. Если есть время и собралось сейчас, не значит, что будет собираться через неделю или месяц. Причём, отвалится тот пакет, с которым никогда таких проблем не было (стараниями разрабов). Какой-нибудь perl или awk, внезапно.

Да вот кстати голдом тоже перестало всё собираться, даже ядро (разрабы отказались, у меня не было с ним проблем). Но это отдельная тема. Другой квест. Отказ от голда в конечном счёте не избавил от проблем и только добавил новых. Зависит ещё от разрабов, есть много странного или вовсе некорректного кода, который случайно работает (в основном легаси), а различные оптимизации обнаруживают эти проблемы.