Для btree - как ни крути, надо полагаться, что квадратик больше другого: ему, в принципе, все равно, что стоит за byte array, буквы, квадратики, кружочки, IPv6-адрес или число Пи, но вот знать, что одно больше или меньше другого, ему надо просто по определению.

Порядок, разумеется, основан на алфавитах, а когда его нет, на каких-либо правилах (для того же китайского есть несколько collation-ов, поскольку есть разные соглашения о порядке иероглифов, используемые в разных областях).

Но самое интересное, что этот порядок может меняться. Когда-то, например, буква ё в русском алфавите стояла ближе к концу, где-то рядом с ятем. В русском языке алфавит в последний раз менялся сто лет назад, но в других культурах такие процессы происходят и в наше время. Юникод-консорциум это учитывает, обновляет collation-ы и присваивает им новую версию.