Todos os louvores são para Allah.
Os sábios (que Allah esteja satisfeito com eles) declararam que o zakat al-fitr está conectado a números de pessoas, não a dinheiro, e deve ser pago no local em que uma pessoa esteja na noite anterior ao Eid.
Ibn Qudaamah disse em al-Mughni (4/134):
Quanto ao zakat al-fitr, deve ser pago na terra onde a pessoa devedora está presente, independentemente de sua riqueza estar lá ou não. Fim da citação.
Quanto ao pagamento do zakat al-fitr em dinheiro, explicamos na resposta à pergunta n° 22888 que deve ser pago na forma de alimento e que o pagamento em dinheiro não é aceitável.
Então você deve tentar dar na forma de comida. Se a pessoa pobre recusa a comida e pede dinheiro, não há nada de errado em dar-lhe dinheiro nesse caso, por causa da necessidade ou carência.
E Allah sabe melhor.