> Так проблема-то не в HTTPS а инфраструктуре CA.

Проблем несколько.
1) PKI - лохоразвод. Сколь-нибудь надежно это может быть только если CA вообще один. Лично ваш. И сколько реально существующих применений PKI именно так работают? Понятно почему это лохоразвод? Потому что в безопасном и доверяемом виде не используется почти никогда. Вместо этого предлагается доверять толпе каких-то левых контор. А вы точно доверяете всем этим левым шарагам? У них там "ничего личного, это бизнес".
2) Протокол наворочен до ж...ы! Это кроме всего прочего означает кучу багов и в разных фичах оного и в либе.
3) Валидация сертификатов, особенно запоминание и контроль смены фингерпринта не делается в нормальном виде чуть менее чем никем. Большинство софта вообще класть хотело какой там сертификат у сервера, что он изменился, и что это вообще левый сервер, который радостно качает шлангом расшифрованные данные и гоняет их между вами и тем сервером куда вы хотели на самом деле пойти.
4) И в либах и в протоколе уйма легаси. И не то чтобы кто-то сильно парился по поводу дефолтов. А еще поддерживается 100500 алгоритмов. Включая древний и несекурный шит, "для совместимости". Да еще с ремотой согласовывается, при том какие там дефолты - полная лотерея. При этом шифрование как бы есть, но то что используются сколь-нибудь секурные алгоритмы - далеко не факт. А много ли авторов софта заморочилось тем чтобы заказать наиболее стойкие алгоритмы как наиболее приоритетные? Ах, чуть более чем никто?

Ну вот как-то так оно и работает. В смысле, если вы Берштейн, или Шнайер - вы может и сможете этим безопасно пользоваться. Только оно вам нафиг не упало, потому что вы сделаете свой алгоритм, в разы лучше. А если вы простой смертный - ну, удачи использовать SSL/TLS секурно, в том числе и в виде OpenSSL. Нет, криптография конечно ляпов не прощает, но в SSL/TLS и OpenSSL есть вообще все для того чтобы реализатор пролошился хренадцать раз подряд, если он не профессиональный криптограф.