A chave publica é de conhecimento de qualquer pessoa, portante você pode até mesmo publicar no teu site ou deixar em algum lugar conhecido do software.
Já a chave privada esse só você deve saber, em delphi pode declarar ela como um resourcestring, assim ela se embaralha no código e não pode ser recuperada por terceiros, ou pode também gravar ela dentro de um arquivo criptografada, só não a use como constante, porque constantes ficam visíveis por qualquer editor hexadecimal ou programa similar, permitindo recuperar ela e usar em outro lugar.
Só lembrando, a chave privada é tua assinatura, portanto, ninguém deve saber de forma alguma.