ZeroC ICE - интересная штука, понравилось. хоть и не уверен что это то, но забавно.
Эрланг как вариант, да.

Опять же, интересует, как будут вести себя все эти штуки, если на машине будет, скажем, 100к потоков (которые в основном спят, но иногда просыпаются и могут выполнять долгоиграющие действия)

Цель - уменьшить максимальное response time, возможно, за счет увеличения среднего. Т.е. если из 1000 запросов один займет секунду, а остальные 2 мс, то это плохо. Если все займут по 20 мсек, то это хорошо (невзирая на то, что общая загрузка будет выше и все такое)