W 1794 r. prezydent Waszyngton zaproponował Madisonowi, aby udał się z misją dyplomatyczną do Francji, a następnie zaoferował mu stanowisko sekretarza stanu. Madison jednak odmówił przyjęcia obu ofert.<br>Madison był sympatykiem rewolucji francuskiej. Jego sympatie nie były jednak tak silne jak Tomasza Jeffersona.<br>Prezydent Jefferson w 1801 r. powołał Jamesa Madisona na sekretarza stanu w swym gabinecie. Na stanowisku tym Madison pozostał aż do końca kadencji Jeffersona, tzn. do 3 marca 1809 r. Sprawy zagraniczne odgrywały ważną rolę, zwłaszcza w drugiej kadencji prezydenckiej Jeffersona. Wpływ Madisona na bieg spraw zagranicznych nie był jednak duży, gdyż Jefferson osobiście sprawował kontrolę nad kierunkiem