crypto/openssl: fix modexp