A peine arrivé à Paris, « il fallut aller voir mon cousin Daru. C'était exactement la première visite que je faisais de ma vie. M. Daru, homme du monde, âgé de quelque soixante-cinq ans, dut être bien scandalisé de ma gaucherie et cette gaucherie devait être bien dépourvue de grâce. […] M. Daru, sorti de Grenoble, fils d'un bourgeois prétendant à la noblesse, mais pauvre par orgueil comme toute ma famille, était le fils de ses œuvres, et, sans voler, avait peut-être réuni quatre ou cinq cent mille francs. Il avait traversé la Révolution avec adresse, et sans se laisser aveugler par l'amour ou la haine qu'il pouvait avoir pour les préjugés, la noblesse et le clergé. » (Vie de Henry Brulard, pp. 870-871.)

« Il se tuait de travail, mais il faut avouer qu'il en parlait sans cesse et avait toujours de l'humeur en venant dîner. Quelquefois il faisait attendre son père et toute la famille une heure ou deux. Il arrivait enfin avec la physionomie d'un bœuf excédé de peine et des yeux rouges. […] J'eus bientôt pris la contagion de la terreur inspirée par M. Daru et ce sentiment ne m'a jamais quitté à son égard. J'étais né excessivement sensible et la dureté de ses paroles était sans bornes ni mesure. […] Mes relations avec M. Daru, commencées ainsi en février ou janvier 1800, n'ont fini qu'à sa mort en 1828 ou 1829. Il a été mon bienfaiteur en ce sens qu'il m'a employé de préférence à bien d'autres, mais j'ai passé bien des jours de pluie, avec mal à la tête pour un poêle trop chauffé, à écrire de 10 heures du matin à 1 heure après minuit, et cela sous les yeux d'un homme furieux et constamment en colère parce qu'il avait toujours peur. […] Il avait une peur mortelle de Napoléon et j'avais une peur mortelle de lui. » (Vie de Henry Brulard, pp. 908-919.)

7 janvier 1805 : « M. D[aru] (Pierre) n'a pas d'esprit et a tout l'air d'un petit caractère. Je reconnais tout le jour ma conversation et le caractère des courtisans de Louis XIV, tel que je me le suis figuré. » (Oeuvres intimes, I, p. 172.)