Большая оружейная палата, или Арсенал, была построена в 1600 – 1605 гг. по проекту Антона ван Оббергена из Мехелена
(ранее работавшего над строительством ратуши Старого города) и, возможно, Ганса Вредемана де Вриса. При ее строительстве
был разобрана часть средневековой крепостной стены: вероятно, в условиях растущей угрозы со стороны Швеции городские
власти решили, что большой запас оружия и боеприпасов будет более эффективен. Также были разобраны баня и три дома, в одном
из которых находилась мастерская скульптора Виллема ван ден Блока, отца Авраама, Исаака, Якова и Давида ван ден Блоков,
работы которых можно увидеть в Гданьске — а частности, скульптурное оформление Арсенала было выполнено Авраамом
(вместе с Виллемом ван дер Меером-младшим).
До 1793 г. здание использовалось по его прямому назначению. Оно принадлежало армии и в прусские времена, вплоть до
окончания Первой мировой войны. В 1952 – 1954 гг. в восстановленную после повреждений 1945 г. Оружейную плату
въехала Академия изящных искусств