AuthenticateAsClient getting error "The handshake failed due to an unexpected packet format"

%3CLINGO-SUB%20id%3D%22lingo-sub-3007580%22%20slang%3D%22en-US%22%3EAuthenticateAsClient%20getting%20error%20%22The%20handshake%20failed%20due%20to%20an%20unexpected%20packet%20format%22%3C%2FLINGO-SUB%3E%3CLINGO-BODY%20id%3D%22lingo-body-3007580%22%20slang%3D%22en-US%22%3E%3CP%3EOur%20code%20uses%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3E%3CA%20href%3D%22https%3A%2F%2Fdocs.microsoft.com%2Fen-us%2Fdotnet%2Fapi%2Fsystem.net.security.sslstream%3Fview%3Dnetframework-4.8%22%20target%3D%22_blank%22%20rel%3D%22noopener%20noreferrer%22%3ETcpClient%20and%20SslStream%3C%2FA%3E%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3Ein%20C%23%20encounter%20an%20error%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3EThe%20handshake%20failed%20due%20to%20an%20unexpected%20packet%20format.%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3Ewhen%20calling%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3EAuthenticateAsClient%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3Emethod%2C%20the%20SMTP%20server%20is%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3Esmtp.office365.com%2C%20we%20tried%20many%20ways%20but%20all%20did%20not%20work.%3C%2FP%3E%3COL%3E%3CLI%3E%3CP%3ETried%3A%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3ESystem.Net.ServicePointManager.SecurityProtocol%20%3D%20SecurityProtocolType.Tls12%3B%3C%2FP%3E%3C%2FLI%3E%3CLI%3E%3CP%3ETried%3A%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3Essl.AuthenticateAsClient(Server%2C%20null%2C%20System.Security.Authentication.SslProtocols.Tls12%2C%20true)%3B%3C%2FP%3E%3C%2FLI%3E%3CLI%3E%3CP%3ETried%20other%20AuthenticateAsClient%20overloading%20methods%20all%20not%20working.%3C%2FP%3E%3C%2FLI%3E%3CLI%3E%3CP%3EAlso%20with%20the%20tool%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3E%3CA%20href%3D%22https%3A%2F%2Fwww.microsoft.com%2Fen-us%2Fdownload%2Fdetails.aspx%3Fid%3D4865%22%20target%3D%22_blank%22%20rel%3D%22noopener%20noreferrer%22%3EMicrosoft%20Network%20Monitor%203.4%3C%2FA%3E%2C%20we%20can%20confirm%20the%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3EClient%20Hello%3CSPAN%3E%26nbsp%3B%3C%2FSPAN%3Ehandshake%20use%20the%20TSL1.2%20protocol.%3C%2FP%3E%3C%2FLI%3E%3C%2FOL%3E%3CP%3EAnyone%20had%20encountered%20a%20similar%20issue%3F%3C%2FP%3E%3CP%3EBelow%20is%20the%20full%20code%20in%20the%20console%20with%20.NET%20Framework%208%3C%2FP%3E%3CP%3E%26nbsp%3B%3C%2FP%3E%3CP%3E%26nbsp%3B%3C%2FP%3E%3CPRE%20class%3D%22lia-code-sample%20language-csharp%22%3E%3CCODE%3E%20%20%20%20class%20Program%0A%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20static%20void%20Main(string%5B%5D%20args)%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20try%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20string%20Server%20%3D%20%22smtp-legacy.office365.com%22%3B%2F%2Fraise%20error%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FThis%20server%20raise%20error%20too%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Server%20%3D%20%22smtp.office365.com%22%3B%2F%2Fraise%20same%20error%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int%20port%20%3D%20587%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2Ftried%20this%2C%20not%20working%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FSystem.Net.ServicePointManager.SecurityProtocol%20%3D%20SecurityProtocolType.Tls12%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20using%20(var%20tcp%20%3D%20new%20System.Net.Sockets.TcpClient())%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tcp.Connect(Server%2C%20port)%3B%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20System.Net.Security.RemoteCertificateValidationCallback%20remoteCertCallback%20%3D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20new%20System.Net.Security.RemoteCertificateValidationCallback((Object%20sender%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20System.Security.Cryptography.X509Certificates.X509Certificate%20cert%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20System.Security.Cryptography.X509Certificates.X509Chain%20chain%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20System.Net.Security.SslPolicyErrors%20Errors)%20%3D%26gt%3B%20true)%3B%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FSystem.Net.Security.SslStream%20ssl%20%3D%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20%20%20%20new%20System.Net.Security.SslStream(tcp.GetStream()%2C%20false%2C%20remoteCertCallback%2C%20null)%3B%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FTry%20set%20LocalCertificateSelectionCallback%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20System.Net.Security.SslStream%20ssl%20%3D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20new%20System.Net.Security.SslStream(tcp.GetStream()%2C%20false%2C%20remoteCertCallback%2C%20SelectLocalCertificate)%3B%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FRaise%20error%3A%20The%20handshake%20failed%20due%20to%20an%20unexpected%20packet%20format.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23region%20Try%20to%20specify%20the%20protocol%2C%20not%20working%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ssl.AuthenticateAsClient(Server%2C%20null%2C%20System.Security.Authentication.SslProtocols.Tls12%2C%20true)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23endregion%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23region%20Try%20to%20set%20local%20certificate%2C%20not%20working%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2Ftried%20to%20set%20local%20certificate%2C%20not%20working%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FX509CertificateCollection%20clientCertificates%20%3D%20GetLocalCertificates()%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2Fssl.AuthenticateAsClient(Server%2C%20clientCertificates%2C%20System.Security.Authentication.SslProtocols.Tls12%2C%20true)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23endregion%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23region%20Default%20way%2C%20not%20working%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FRaise%20error%3A%20The%20handshake%20failed%20due%20to%20an%20unexpected%20packet%20format.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2Fssl.AuthenticateAsClient(Server)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23endregion%0A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FRaise%20error%3A%20The%20handshake%20failed%20due%20to%20an%20unexpected%20packet%20format.%0A%20%20%20%20%20%20%20%20%20%20%20%20catch%20(Exception%20ex)%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Console.WriteLine(ex.ToString())%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Console.Read()%3B%0A%0A%20%20%20%20%20%20%20%20%7D%0A%0A%0A%20%20%20%20%20%20%20%20public%20static%20X509Certificate2Collection%20GetLocalCertificates()%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20X509Certificate2Collection%20Certificates%20%3D%20null%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20Read%20the%20certificate%20from%20the%20store%0A%20%20%20%20%20%20%20%20%20%20%20%20X509Store%20store%20%3D%20new%20X509Store(StoreName.My%2C%20StoreLocation.LocalMachine)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20try%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20store.Open(OpenFlags.ReadOnly)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2FCertificates%20%3D%20store.Certificates.Find(X509FindType.FindBySubjectDistinguishedName%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%22CN%3D%5BYOUR%20DOMAIN%5D%22%2C%20false)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Certificates%20%3D%20store.Certificates%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20store.Close()%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20Certificates%3B%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20public%20static%20X509Certificate%20SelectLocalCertificate(%0A%20%20%20%20%20%20%20%20%20%20%20%20object%20sender%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20string%20targetHost%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20X509CertificateCollection%20localCertificates%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20X509Certificate%20remoteCertificate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20string%5B%5D%20acceptableIssuers)%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20(acceptableIssuers%20!%3D%20null%20%26amp%3B%26amp%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20acceptableIssuers.Length%20%26gt%3B%200%20%26amp%3B%26amp%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20localCertificates%20!%3D%20null%20%26amp%3B%26amp%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20localCertificates.Count%20%26gt%3B%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20Use%20the%20first%20certificate%20that%20is%20from%20an%20acceptable%20issuer.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20foreach%20(X509Certificate%20certificate%20in%20localCertificates)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20string%20issuer%20%3D%20certificate.Issuer%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20(Array.IndexOf(acceptableIssuers%2C%20issuer)%20!%3D%20-1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20certificate%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20(localCertificates%20!%3D%20null%20%26amp%3B%26amp%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20localCertificates.Count%20%26gt%3B%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20localCertificates%5B0%5D%3B%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20null%3B%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%7D%3C%2FCODE%3E%3C%2FPRE%3E%3CP%3E%26nbsp%3B%3C%2FP%3E%3CP%3E%26nbsp%3B%3C%2FP%3E%3C%2FLINGO-BODY%3E%3CLINGO-LABS%20id%3D%22lingo-labs-3007580%22%20slang%3D%22en-US%22%3E%3CLINGO-LABEL%3EOffice%20365%3C%2FLINGO-LABEL%3E%3C%2FLINGO-LABS%3E
New Contributor

Our code uses TcpClient and SslStream in C# encounter an error The handshake failed due to an unexpected packet format. when calling AuthenticateAsClient method, the SMTP server is smtp.office365.com, we tried many ways but all did not work.

  1. Tried: System.Net.ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12;

  2. Tried: ssl.AuthenticateAsClient(Server, null, System.Security.Authentication.SslProtocols.Tls12, true);

  3. Tried other AuthenticateAsClient overloading methods all not working.

  4. Also with the tool Microsoft Network Monitor 3.4, we can confirm the Client Hello handshake use the TSL1.2 protocol.

Anyone had encountered a similar issue?

Below is the full code in the console with .NET Framework 8

 

 

    class Program
    {
        static void Main(string[] args)
        {
            try
            {
                string Server = "smtp-legacy.office365.com";//raise error
                //This server raise error too
                Server = "smtp.office365.com";//raise same error
                int port = 587;
                //tried this, not working
                //System.Net.ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12;
                //
                using (var tcp = new System.Net.Sockets.TcpClient())
                {
                    tcp.Connect(Server, port);

                    System.Net.Security.RemoteCertificateValidationCallback remoteCertCallback =
                        new System.Net.Security.RemoteCertificateValidationCallback((Object sender,
                               System.Security.Cryptography.X509Certificates.X509Certificate cert,
                               System.Security.Cryptography.X509Certificates.X509Chain chain,
                               System.Net.Security.SslPolicyErrors Errors) => true);

                    //System.Net.Security.SslStream ssl = 
                    //    new System.Net.Security.SslStream(tcp.GetStream(), false, remoteCertCallback, null);

                    //Try set LocalCertificateSelectionCallback
                    System.Net.Security.SslStream ssl =
                        new System.Net.Security.SslStream(tcp.GetStream(), false, remoteCertCallback, SelectLocalCertificate);

                    //Raise error: The handshake failed due to an unexpected packet format.
                    #region Try to specify the protocol, not working
                    ssl.AuthenticateAsClient(Server, null, System.Security.Authentication.SslProtocols.Tls12, true);
                    #endregion

                    #region Try to set local certificate, not working
                    //tried to set local certificate, not working
                    //X509CertificateCollection clientCertificates = GetLocalCertificates();
                    //ssl.AuthenticateAsClient(Server, clientCertificates, System.Security.Authentication.SslProtocols.Tls12, true);
                    #endregion

                    #region Default way, not working
                    //Raise error: The handshake failed due to an unexpected packet format.
                    //ssl.AuthenticateAsClient(Server);
                    #endregion


                }

            }
            //Raise error: The handshake failed due to an unexpected packet format.
            catch (Exception ex)
            {
                Console.WriteLine(ex.ToString());
            }

            Console.Read();

        }


        public static X509Certificate2Collection GetLocalCertificates()
        {
            X509Certificate2Collection Certificates = null;
            // Read the certificate from the store
            X509Store store = new X509Store(StoreName.My, StoreLocation.LocalMachine);
            try
            {
                store.Open(OpenFlags.ReadOnly);
                //Certificates = store.Certificates.Find(X509FindType.FindBySubjectDistinguishedName,
                //"CN=[YOUR DOMAIN]", false);
                Certificates = store.Certificates;
            }
            finally
            {
                store.Close();
            }

            return Certificates;
        }

        public static X509Certificate SelectLocalCertificate(
            object sender,
            string targetHost,
            X509CertificateCollection localCertificates,
            X509Certificate remoteCertificate,
            string[] acceptableIssuers)
        {
            if (acceptableIssuers != null &&
                acceptableIssuers.Length > 0 &&
                localCertificates != null &&
                localCertificates.Count > 0)
            {
                // Use the first certificate that is from an acceptable issuer.
                foreach (X509Certificate certificate in localCertificates)
                {
                    string issuer = certificate.Issuer;
                    if (Array.IndexOf(acceptableIssuers, issuer) != -1)
                        return certificate;
                }
            }
            if (localCertificates != null &&
                localCertificates.Count > 0)
                return localCertificates[0];

            return null;
        }

    }

 

 

0 Replies