如果售货员说他弄错了商品的价格，顾客必须要支付差价吗？

有一次，我去了一个市场，我经常在那里买日用品，我问了一个商品的价格，售货员告诉我：这个商品的价格是如此，但是这个价格与以前的价格不一样，我告诉他，我以前买的时候，它的价格是如此，我以前支付的价格比新价格要少得多；他对我说：“如果你说的是真的，我因为遗忘而以低价卖给了你，你应该把差价还给我。”
他应该向我索要这个差价吗？须知我多次在那里买了这些商品，我不记得具体的次数。