Dès 2004, plusieurs collectivités ont expérimenté le financement direct sur les marchés via des opérations groupées d'appel au marché obligataire organisées par l’ancienne Association des communautés urbaines de France, aujourd’hui France Urbaine. Afin de poursuivre et d'approfondir cette démarche, plusieurs élus locaux représentatifs ont pris l’initiative de créer en avril 2010 une Association d’étude pour l’agence de financement des collectivités locales, destinée à imaginer ce qui deviendra l’Agence France Locale. Cette réflexion était notamment menée par Jacques Pélissard, alors président de l’Association des maires de France, Gérard Collomb, alors président de l’ACUF, et Michel Destot, alors président de l’Association des maires des grandes villes de France (AMGVF).

C'est finalement la loi n° 2013-672 du 26 juillet 2013 de régulation et de séparation des activités bancaires qui autorisa la création de l'Agence de financement des collectivités, désormais baptisée Agence France Locale. A la fin de l’année 2013, les deux sociétés nécessaires au fonctionnement du Groupe Agence France Locale ont été créées, autour de 11 membres fondateurs (une région, 3 départements, 4 EPCI et 3 communes).

La loi Engagement et Proximité du 27 décembre 2019 a, en son article 67, élargi la base des entités éligibles à l'adhésion à l'AFL en disposant que "les collectivités territoriales, leurs groupements et les établissements publics locaux" peuvent rejoindre l'AFL. Un décret paru le 13 mai 2020 est venu spécifier les critères d'éligibilité des nouveaux actionnaires de l'AFL. 

En 2020, les collectivités locales membres ont formalisé la raison d'être du Groupe sous la forme d'un manifeste : 

« Incarner une finance responsable pour renforcer le pouvoir d’agir du monde local afin de répondre aux besoins présents et futurs des habitants ».

« En créant la première banque que nous détenons et pilotons à 100%, nous, collectivités locales françaises, avons posé un acte politique fort en faveur de la décentralisation.

Notre établissement, l’Agence France Locale, n’est pas un établissement financier comme les autres. Créé par et pour les collectivités, il agit pour le monde local, pour renforcer notre liberté, notre capacité à développer des projets et notre responsabilité d’acteurs publics.

Sa culture de la prudence nous préserve des dangers de la complexité et la richesse de sa gouvernance, des dérives liées aux conflits d’intérêt. L’objectif fondamental : offrir un accès à la ressource au monde local, dans les meilleures conditions et en toute transparence.

Les principes de solidarité et d’équité nous guident. Convaincus qu’ensemble on va plus loin, nous avons souhaité un établissement agile, qui s’adresse à toutes les collectivités, aux plus importantes régions comme aux plus petits communes. Nous concevons le profit comme un moyen d’optimiser la dépense publique, non comme une fin.

À travers l’AFL, nous soutenons un monde local engagé pour relever les défis sociaux, économiques et environnementaux. L’AFL renforce notre pouvoir d’agir : mener des projets sur nos territoires, pour aujourd’hui comme pour demain, au service des habitants.

Nous sommes fiers d’avoir une banque qui affiche un développement à notre image, toujours plus responsable et plus durable.

Nous sommes l’Agence France Locale. »