Можно на ПВА попробовать, но 1) не факт, что не отвалятся (зависит от слоя побелки - если тонкая, и обои легкие, то может и удержаться), 2) через несколько лет, когда менять надумаете, отдирать будете с большим трудом, вспоминая нехорошим словом тот день, когда на ПВА клеили. Сама по себе побелка, без добавок, на самом деле, не так уж трудно и смывается: застелили все пленкой, швабру/тряпку в руки и вперед.
P.S. В нашей квартире одни из предыдущих хозяев клеили обои на ПВА. Ужас! На мое счастье, к нашему въезду, таких стенок почти не было, но мне и одной стены в прихожей хватило выше крыши. Теперь, делая ремонт, я обязательно продумывая, насколько легко его можно будет изменить.