مؤتمر بروكسل،النازحون