Спасибо всем кто помог советом.
Они конечно не исправили проблемы, но натолкнули меня на мысль о её решении.
Вместо того чтоб удалять слои при отключении "инвентаря", я их просто заменил на прозрачные картинки.
И всё начало работать так как я хотел.