т.е. как на линухе сделать эмуляцию активного каталога?
Все будет зависеть от того, какие объекты и их атрибуты будет требовать ваша програма.
Эмулировать "активный каталог" не нужно, ибо это обычный LDAP скрещенный с Kerberos (безусловно, имеет место такая штука, как PAC, но это может быть не существенно в рамках данной задачи).
Если говорить именно о полноценной замене AD на Линуксе, то ее пока нет - ждем Samba4 (на днях выйдет первая альфа, до релиза полноценной версии, полагаю еще не меньше года), там это будет, а если о необходимости извлечения некой информации из LDAP каталога, то можно пробовать такую задачу решать, знать бы спецификацию на эту информацию.
В качестве хакерского подхода можно попробовать собрать тестовую установку на виртуалках и отснифить этот самый обмен (если это обмен не защищен SSL/TLS, что весьма вероятно).
Другой подход заключается в том, чтобы указать вашей программе путь каталогу на Линуксе и наблюдать по его логам, что требует от него программа, после чего погружаться в RFC и прочие подобные бумаги с целью найти схему каталога, содержащую данные объекты.
Как обычно цена вопроса прямо пропорциональна энтропии...