Carregamento das dependências de dll nativas seguem o protocolo de procurar nos Paths, isso é o comportamento normal não tem como alterar.
A sequencia é sempre path do exe primeiro, depois paths do windows.
Você pode fazer uma chamada no inicio do seu exe para definir o path para a pasta correta que ela será usada na procura por dll, utilizando o codigo abaixo.
var path = Assembly.GetExecutingAssembly().CodeBase;
path += Environment.Is64BitOperatingSystem ? "ACBrLib\\x64\\" : "ACBrLib\\x86\\";
Environment.SetEnvironmentVariable("PATH", path, EnvironmentVariableTarget.Process);
Com isso nem se faz necessário alteração na classe atual.
Você também pode colocar as libs como resources e extrai-las de acordo com o OS dentro do path do programa, o bom desta opção é que você garante sempre que a lib que esta sendo usada é a versão a qual você testou.