Во первых - не все сообщения передаются с использованием этого шифра.
Во вторых - при наличии запроса сверху такие сообщения всё же могут сохранять на сервере, т.к. они всё равно через него транслируются.
В третьих - чтобы два пользователя могли общаться между собой используя общий и уникальный ключ-шифр они сначала должны этим ключом-шифром обменяться. Что делается...правильно - через сервер. И как и во втором пункте, этот ключ шифр возможно сохранить на сервере при наличии соответствующего запроса.
end-to-end защищает сообщения только от стороннего перехвата сигнала. Если кто то имеет доступ к серверам и обладает достаточными знаниями для работы с ними, то для него не проблема получить все сообщения.
Чтобы сообщения реально были защищены от взлома необходимо чтобы оба пользователя обменялись шифрами через сторонние каналы связи. Например, по блютусу. Или через ключ - шифр, переданный от одного другому на бумажке. Но передача ключа и закодированного сообщения через один и тот же сервер это вообще считай что отсутствие защиты. | 
