Вообще-то, это не прикол, это он имеет полное право так делать (например, для инициализации начального значения большой локальной переменной).
См., например, здесь: https://wiki.osdev.org/Meaty_Skeleton

> The GCC documentation explicitly states that libgcc requires the freestanding environment to supply the memcmp, memcpy, memmove, and memset functions, as well as abort on some platforms.

И, конечно же: https://wiki.osdev.org/Libgcc#When_do_I_need_to_link_with_li...
> All code compiled with GCC *must* be linked with libgcc.

Так что тут сугубо документированное поведение.

Далее, от -O3 код конечно-же пухнет, это же оптимизация по скорости, а не по размеру, а многие оптимизации по скорости и по размеру являются взаимоисключающими (особенно сильно это проявляется на том же x86, но и на ARM это видно). Хуже того, -O2 тоже обычно жирнее -Os.