Esse comando é um comando do sistema. Quer dizer que é como se você estivesse adicionando atalho no WIndows, não na sua aplicação. Por isso apenas uma aplicação pode adicionar o mesmo atalho por vez.
Na verdade, como a documentação sobre a função explica, e se você debugar conseguirá ver, a chamada feita na segunda instância falha nessa função.
Veja:
var
Registrou: Boolean;
(...)
begin
(...)
Registrou := RegisterHotKey(Handle, AtalhoBuscaID, MOD_CONTROL, VK_F3); // Atalho CTRL + F3
(...) // inspecione aqui o valor de "Registrou" na segunda instância...
Esse tipo de atalho não é do sistema... por isso funciona para cada instância. Por outro lado, sua tela modal não deve estar tratando o atalho, e por isso não funciona...