Строительство замка Ксёнж началось в конце XIII в. по приказу князя Болеслава I Сурового из династии Пястов.
Замок был построен на месте деревянной крепости, которая, согласно легенде, существовала с X в.
Современный его вид — результат реконструкций в первой половине XVIII в. и в первой половине XX в.