Проблема решена! Но блин, неужели такая проблема возникла только у меня? Нигде в доках я подобных требований (решивших проблему) не встречал. Для начала перекомпилил vpopmail c опцией SMTP_AUTH, хотя и сказано что эта опция нужна для CRAM_MD5 а у меня PLAIN не работал. Не помогло. Совсем отчаявшись стал прикидывать что и как, подумалось что при РОР авторизации vchkpw запускается из под юзера vpopmail, овнера vpasswd, но не факт что так происходит при SMTP авторизации... пробуем chmod 4711 vchkpw, SMTP AUTH заработала! правда отвалилась авторизация POP, в maillog появились странные вещи:
smtp vpopmail[1367]: vchkpw-pop3: (PLAIN) login success test1@ххх:192.168.1.185
и тут же
smtp vpopmail[1367]: vchkpw-pop3: setgid 89 failed errno 1 test1@ххх:192.168.1.185
пробуем chmod 6711 vchkpw, вуаля! все пашет как надо!
Правда не понятно к каким отрицательным результатам это может привести, вдруг что другое отвалится)))