岩山という制約された土地を利用し、天然の岩と人工的に作られた岩垣を巧みに使った城郭です。天守閣は、全国でもめずらしいふたつの巨岩にまたがるように建てられています。現在は天守閣部分に見晴台があり、恵那山と木曽川の美しい雄大な眺めを楽しむことができます。また、近隣には苗木遠山史料館があります。