남편이 피바람을 맞으며 생과 사의 길목에서 헤매일 때 가족문제는 온전히 아내 홍씨의 몫이었다. 남편보다 한 살 위인 홍씨는 열여섯 살에 결혼하여 잘나가는 남편 덕에 이웃의 부러움을 받으며 젊은 날을 보내었다. 그러나 오래지 않아 남편이 모함을 받아 관직을 물러나기를 거듭하다가 마침내 1801년 신유박해로 가문이 폐족 지경에 이르렀다.

그동안 부부 사이에 태어난 아들 넷과 딸 하나를 앞세우는 비극을 겪었다. 그러나 그때까지는 부부가 함께 겪은 아픔이었다. 남편이 강진으로 유배된 이듬 해(1802년)에 막내 아들 농장(아명 농아)이 죽었을 때는 혼자였다. 막내의 죽음은 큰 아들 정학연이 유배지까지 찾아와 아버지에게 알렸다.

정약용은 네 살 짜리 막내 아들 농장이 죽었다는 소식을 듣고는 한 동안 몸을 가누기 어려웠다. 그 아이가 태어난 이후 집안에 불어닥친 회오리 칼바람으로 제대로 보살피지도 못한 채 유배지에서 접한 부음이어서 더욱 애설펐다. 「두 아들에게 답한다」(1802년 12월)는 서신에는 도저한 아픔이 서린다.
 
우리 농아(農兒)가 죽었다니 참혹하고도 슬프구나! 참혹하고도 슬프구나! 그 애 생애가 불쌍하구나. 내가 더욱 쇠약해질 때 이런 일까지 닥치다니. 정말 슬픈 마음을 조금도 누그러뜨릴 수 없다. 너희들 아래로 무려 사내아이 넷과 계집아이 하나를 잃었다. 그중 하나는 낳은 지 열흘 남짓해서 죽어버려 그 얼굴 모습도 기억나지 않지만, 나머지 세 아이는 손 안의 구슬처럼 재롱을 부리다가 모두 세 살 때 죽고 말았다.

이 세 아이들은 모두 나와 네 어머니의 손에서 죽었기에 운명이라고 생각할 수도 있었던 것이다. 그래서 이번같이 가슴이 저미고 찌르는 슬픔이 북받치지는 않았다.……능히 생사고락의 이치를 어설프게나마 깨달았다는 내가 이런데, 품속에서 꺼내어 흙구덩이 속에 집어넣은 네 어머니야 어떻겠느냐? 그 애가 살아있을 때 말 한마디, 행동 하나하나가 기특하고 어여쁘게 생각되어 귓가에 쟁쟁하고 눈앞에 어른거릴 것이다.

정약용은 간난신고의 유배자 신세인 자신보다 폐족을 지키며 거기다 막내 아들까지 떠나보낸 아내의 안위가 더 걱정되었다. 두 아들에게 어머니를 극진히 봉양하라는 편지 외에 달리 쓸 방법이 없었다. 같은 시기에 쓴 「두 아들에게 보낸다」는 편지에는 '두 며느리'란 표현으로 보아 아들들은 그 사이에 혼인을 한 것으로 보인다.
 
아무쪼록 너희들은 마음을 다 바쳐 어머니를 섬겨 그 삶을 온전토록 하거라. 이 뒤부터 너희들은 정성스런 마음으로 곁에서 부축하고 이끌되, 두 며느리로 하여금 아침저녁으로 부엌에 들어가 맛있는 음식을 장만하고 방이 차고 따뜻한가를 보살피며, 한시라도 시어머니 곁을 떠나지 않게 할 것이며, 상냥하고 부드럽고 기쁜 낯빛으로 온갖 방법을 다해 기쁘게 해 드려라.

시어머니가 더러 쓸쓸해하고 편치 않아 하더라도 기쁘게 받아들이고, 더욱 정성스런 마음으로 힘을 다해서 기어이 그 기쁨과 사랑을 얻도록 하여라. 마음에 조금의 틈도 없이 오래 화합하면 자연히 믿음이 생겨 안방에서는 화평의 기운이 한덩이로 빚어지고 자연스레 천지의 화응을 얻어 닭이나 개, 채소나 과일 따위도 또한 각기 번성하여 물건을 억눌러 마음이 없고 일에 억눌러 맺힌 게 없으면 나 또한 임금의 은혜라도 입어 자연히 풀려 돌아가게 될 것이다.

언제 풀려날 지, 무기수 신세와 다름없는 그에게 한가닥 꿈이라면 두 아들이 학문적으로 대성하는 일이었다. 한 집안에 대역죄인이 나오면 그 집안 후손들은 과거길이 막힌다. 때문에 아들들이 과거에 급제하는 길은 이미 차단되었다. 그렇다면 무명의 백성으로 종신하려면 몰라도 뜻을 펴고자 한다면 학문의 길 밖에 달리 없었다.

조선왕조에는 포의(布衣)로서 고관대작보다 윗길에 오른 선비들이 적지 않았다. 그래서 그 무렵 다시 「두 아들에게 부친다」는 편지에서 독서의 중요성을 일깨운다.

이제 너희들은 망한 집안의 자손이다. 만일 망해 버린 자손으로 잘 처신하여 처음보다 훌륭하게 된다면 이것이야말로 기특하고 좋은 일이 되지 않겠느냐? 폐족(廢族)으로서 잘 처신하는 방법은 오직 독서하는 한 가지 방법밖에는 없다. 독서라는 것은 사람에게 있어서 가장 중요하고 깨끗한 일이며, 호사스런 집안 자제들에게만 그 맛을 알도록 인정한 것도 아니다.

또 촌구석 수재들이 그 심오함을 넘겨다 볼 수도 없는 것이기 때문이다. 반드시 벼슬하던 집안의 자제로서 어려서부터 듣고 본 바도 있는 데다 중년에 죄에 걸린 너희들 같은 사람들만이 독서를 할 수 있는 것이다. 그네들이 책을 읽을 수 없다는 것이 아니라 뜻도 모르면서 그냥 책만 읽는 것이니 이를 두고 책을 읽었다고 할 수 없는 것이다.