Током живота је желео да буде што ближе Милици, али знајући да је та љубав забрањена, често је бежао што даље и слао јој писма. Јавности није познато када су се Иво Андрић и Милица Бабић тачно упознали, али се то највероватније десило пре него што је чувени писац и тадашњи амбасадор у Берлину дао њеном супругу Ненаду Јовановићу посао у амбасади.

С обзиром на то да је био нежења, Милицу је замолио да буде домаћица на његовим пријемима. Пријатељи су били од 1939, па све до Ненадове смрти. Андрић им је готово свакодневно слао писма и обраћао им се са "Драги пријатељи", а потписивао их је као Мандарин, јер је то надимак који му је Милица наденула.

Након готово 20 година познанства, 1957. Ненад је преминуо, а писац више није знао како да крије своју наклоност према Милици. Годину дана касније њих двоје су се венчали, а Андрић је открио да је "Јелена, жена које нема" заправо Милица.

Када се 1961. године појавио на додели Нобелове награде, пратила га је Милица у плавој хаљини с великом црном машном у коси. Нажалост, љубав је трајала краће од чежње и чекања. Због тешког облика артритиса Милица је пила лекове који су јој ослабили срце и оно ју је издало 1968.

"Сада видим – наша је судбина да сагоримо. Увијек сам тако осјећао свијет и себе у њему, иако нисам увијек имао снаге ни могућности да тој истини погледам у очи и да је мирно прихватим. Сад, кад је све добро моје у једном трену изгорјело, видим јасно: све што се на земљи рађа и под сунцем живи иде тим путем. И томе не треба тражити разлога, смисла ни објашњења", написао је тада Андрић.

Попут лабуда, Андрић је након Миличиног одласка утихнуо. Повукао се у себе, избегавао друштвене активности, а здравље му је полако попуштало. Преминуо је 1975. и сахрањен је у Алеји заслужних грађана у Београду.