O verbo "to borrow" em inglês significa "pegar emprestado". Quando você usa esse verbo, está falando sobre pegar algo de alguém temporariamente, com a intenção de devolver depois. É importante notar que "to borrow" se refere à ação de quem recebe o item, não de quem empresta.
Para pedir que algo que você emprestou seja devolvido, você não usaria o verbo "to borrow", mas sim o verbo "to return", que significa "devolver". Uma frase comum para fazer esse pedido seria: "Could you please return the book I lent you?" (Você poderia devolver o livro que te emprestei, por favor?).
Se você ainda quiser usar o contexto do empréstimo na sua frase, uma opção é dizer: "I need to borrow the book back from you." (Preciso pegar o livro de volta com você). Aqui, você está usando "borrow" de uma forma um pouco diferente, indicando que precisa reaver algo que foi emprestado.
Lembre-se sempre de que "to borrow" é usado pela pessoa que recebe algo, enquanto "to lend" é usado pela pessoa que dá algo. E quando quiser pedir a devolução, o ideal é usar "to return".