ThunderDots — guide utilisateur (fr)¶

Ce notebook présente ThunderDots comme une petite bibliothèque Python pour interroger un endpoint DTS (Distributed Text Services), parcourir des collections, récupérer des ressources textuelles, extraire des fragments, filtrer les métadonnées, valider les sorties et produire des objets exploitables dans une chaîne d’indexation.

L’objectif est de montrer les usages du plus simple au plus avancé :

1. récupérer une collection DTS ;
2. inspecter les ressources et les fragments ;
3. choisir les métadonnées à conserver ;
4. comprendre les modes de fragmentation ;
5. comparer un découpage basé sur la navigation DTS et un découpage non basé sur la navigation ;
6. valider les résultats ;
7. exporter vers des formats pratiques pour Elasticsearch, Qdrant ou une chaîne de traitement personnalisée.

Le notebook reste volontairement générique. Les exemples utilisent des identifiants et URLs fictifs ou paramétrables. Remplacez-les par votre propre endpoint DTS et vos propres collections.

1. Installation et imports¶

Pour installer ThunderDots, vous pouvez utiliser uv ou pip :

uv install thunderdots

ou

pip install thunderdots

Si vous êtes en développement local, vous pouvez installer la version en cours de développement avec :

pip install -e .

In [1]:

import pprint

# À activer si vous exécutez ce notebook depuis la racine du dépôt :
# from pathlib import Path
# import sys
# sys.path.insert(0, str(Path.cwd() / "src"))

from thunderdots import ThunderDots
from thunderdots.validation import validate_notice, validate_many

pp = pprint.PrettyPrinter(width=120, sort_dicts=False)

import pprint # À activer si vous exécutez ce notebook depuis la racine du dépôt : # from pathlib import Path # import sys # sys.path.insert(0, str(Path.cwd() / "src")) from thunderdots import ThunderDots from thunderdots.validation import validate_notice, validate_many pp = pprint.PrettyPrinter(width=120, sort_dicts=False)

In [2]:

print("ThunderDots version:", ThunderDots)

print("ThunderDots version:", ThunderDots)

ThunderDots version: <class 'thunderdots.client.ThunderDots'>

2. Paramètres de base¶

Un endpoint DTS expose généralement plusieurs routes, dont :

• /collection pour parcourir des collections et sous-collections ;
• /document pour récupérer le texte ou XML d’une ressource ;
• /navigation pour récupérer une table de navigation ou structure citationnelle quand elle existe.

Dans ThunderDots, on fournit seulement la racine de l’API DTS. Les chemins /collection, /document et /navigation sont construits ensuite par la bibliothèque.

In [3]:

ENDPOINT_DTS = "https://dev.chartes.psl.eu/dots/api/dts"  # À remplacer
COLLECTION_ID = "ENCPOS_1972"  # À remplacer, ou None pour partir de la racine

OUTPUT_JSON = "./artifacts/thunderdots/results.json"
CACHE_CSV = "./artifacts/thunderdots/resources_cache.csv"

ENDPOINT_DTS = "https://dev.chartes.psl.eu/dots/api/dts" # À remplacer COLLECTION_ID = "ENCPOS_1972" # À remplacer, ou None pour partir de la racine OUTPUT_JSON = "./artifacts/thunderdots/results.json" CACHE_CSV = "./artifacts/thunderdots/resources_cache.csv"

3. Premier usage : récupérer une collection et ses ressources¶

Le cas minimal consiste à fournir :

• endpoint_dts : l’endpoint DTS ;
• collection_params.collection_id : la collection de départ ;
• verbose=True pour afficher une barre de progression.

Par défaut, ThunderDots :

• parcourt les collections à partir de collection_id ;
• récupère les ressources rencontrées ;
• récupère le document XML ou texte ;
• utilise la navigation DTS si elle est disponible ;
• retourne un dictionnaire avec collection_results, resource_results et meta.

In [4]:

td = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={
        "collection_id": COLLECTION_ID,
    },
    verbose=True,
    use_cache=False,
)

# Décommentez pour exécuter l'appel réseau.
td.fetch()
results = td.results()
pp.pprint(results.keys())

td = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={ "collection_id": COLLECTION_ID, }, verbose=True, use_cache=False, ) # Décommentez pour exécuter l'appel réseau. td.fetch() results = td.results() pp.pprint(results.keys())

⚡ ThunderDots ✔ Done  elapsed=2.34s  http_errors=0

dict_keys(['dtsVersion', 'type', 'meta', 'collection_results', 'resource_results'])

La sortie générale ressemble à ceci :

{
    "dtsVersion": "1-alpha",
    "type": "All",
    "meta": {...},
    "collection_results": [...],
    "resource_results": [...]
}

Chaque entrée de resource_results représente une ressource DTS enrichie par ThunderDots :

{
    "id": "resource_id",
    "@type": "Resource",
    "title": "Titre de la ressource",
    "linked_parents": [...],
    "metadata": {...},
    "fragments": [...]
}

4. Inspection rapide des résultats¶

Les méthodes results(), collection_results(), resource_results() et stats() donnent des vues pratiques sur les données récupérées.

In [5]:

# Après td.fetch() :
all_results = td.results()
collections_only = td.collection_results()
resources_only = td.resource_results()
stats = td.stats()

# Exemple d'affichage :
print("Collections:", len(all_results.get("collection_results", [])))
print("Ressources:", len(all_results.get("resource_results", [])))
pp.pprint(stats)

# Après td.fetch() : all_results = td.results() collections_only = td.collection_results() resources_only = td.resource_results() stats = td.stats() # Exemple d'affichage : print("Collections:", len(all_results.get("collection_results", []))) print("Ressources:", len(all_results.get("resource_results", []))) pp.pprint(stats)

Collections: 1
Ressources: 24
{'timestamp': '2026-06-24T17:15:20.838108',
 'elapsed_seconds': 2.3438220024108887,
 'http_errors': 0,
 'requests_total': 74,
 'timeouts': 0,
 'http_500': 0}

In [6]:

def summarize_results(results: dict, preview_chars: int = 300) -> None:
    resources = results.get("resource_results", [])
    print(f"Ressources : {len(resources)}")

    for resource in resources[:10]:
        fragments = resource.get("fragments", [])
        print("=" * 80)
        print("ID        :", resource.get("id"))
        print("Titre     :", resource.get("title"))
        print("Fragments :", len(fragments))
        if fragments:
            first = fragments[0]
            print("id   :", first.get("id"))
            print("head      :", first.get("head"))
            content = " ".join((first.get("content") or "").split())
            print(
                "Aperçu    :",
                content[:preview_chars] + ("…" if len(content) > preview_chars else ""),
            )


summarize_results(results)

def summarize_results(results: dict, preview_chars: int = 300) -> None: resources = results.get("resource_results", []) print(f"Ressources : {len(resources)}") for resource in resources[:10]: fragments = resource.get("fragments", []) print("=" * 80) print("ID :", resource.get("id")) print("Titre :", resource.get("title")) print("Fragments :", len(fragments)) if fragments: first = fragments[0] print("id :", first.get("id")) print("head :", first.get("head")) content = " ".join((first.get("content") or "").split()) print( "Aperçu :", content[:preview_chars] + ("…" if len(content) > preview_chars else ""), ) summarize_results(results)

Ressources : 24
================================================================================
ID        : ENCPOS_1972_01
Titre     : Les statuts d’une colonie génoise en Corse : Bonifacio à la fin du Moyen Âge
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : Les statuts d’une colonie génoise en corse : Bonifacio à la fin du moyen âge par Marie-Claude Bartoli maître ès lettres Introduction Pour se maintenir dans l’île de Corse, enjeu principal de l’antagonisme politique et commercial qui opposait en Méditerranée occidentale Pisans et Génois, la Républiqu…
================================================================================
ID        : ENCPOS_1972_10
Titre     : Le couvent des Grands Carmes de Toulouse (1264-1810)
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : Le couvent des grands Carmes de Toulouse (1264-1810) par Sabine Lesur licenciée d’histoire de l’art Sources Les sources essentielles sont constituées par la série H des Archives départementales de la Haute-Garonne, malheureusement fort pauvres pour le Moyen Âge, et par un précieux plan manuscrit de …
================================================================================
ID        : ENCPOS_1972_22
Titre     : Coutances au xviiie siècle : vie urbaine et administration municipale
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : Coutances au xviiie siècle : vie urbaine et administration municipale par Marc Sanson Introduction Petite ville de Basse-Normandie, Coutances est au xviiie siècle « décorée » d’un siège épiscopal, d’un nombreux clergé et de multiples juridictions. Mais elle doit compter avec des éléments défavorable…
================================================================================
ID        : ENCPOS_1972_16
Titre     : Les origines du monachisme dans le diocèse de Besançon (ve-xe siècle)
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : Les origines du monachisme dans le diocèse de Besançon (ve-xe siècles) par Gérard Moyse Introduction et sources Le renouveau actuel de la qualité des travaux sur l’histoire comtoise a peu touché le domaine de l’histoire monastique en général et la période du haut Moyen Âge en particulier : les conna…
================================================================================
ID        : ENCPOS_1972_05
Titre     : Le Conseil d’État sous la Restauration
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : Le conseil d’état sous la restauration par Michel Chabin Introduction Le Conseil d’État est une de nos plus anciennes institutions, et une de celles qui se sont le plus transformées au cours de leur histoire. Issu de la curia regis, devenu un élément essentiel du Conseil du roi sous la monarchie cen…
================================================================================
ID        : ENCPOS_1972_02
Titre     : Le prieuré de Saint-Martin-des-Champs à Paris : étude historique et archéologique
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : Le prieuré de Saint-Martin-des-Champs à Paris : étude historique et archéologique par Catherine Berthier-Georgesco Sources Le fonds du prieuré de Saint-Martin-des-Champs à Paris se trouve essentiellement aux Archives nationales, où il est réparti entre les séries H5 (comptes du xviiie siècle), L, LL…
================================================================================
ID        : ENCPOS_1972_21
Titre     : Les forges des princes de Condé en Bretagne aux xviie et xviiie siècles
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : Les forges des princes de Condé en Bretagne aux xviie et xviiie siècles par Perrine Ramin diplômée de l’Institut d’études politiques de Paris, licenciée ès lettres Sources Les principales sources de cette étude sont les comptes des forges de Bretagne conservés au Musée Condé, au château de Chantilly…
================================================================================
ID        : ENCPOS_1972_03
Titre     : La Madeleine de Châteaudun : étude archéologique
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : La Madeleine de Châteaudun : étude archéologique par Sophie Bévillard maître ès lettres Sources Le fonds de la Madeleine de Châteaudun se trouve aux Archives départementales d’Eure-et-Loir, série H 3503 à 3800. Des liasses dispersées se trouvent dans les séries G, J, N, O, Q, V, X. La Bibliothèque n…
================================================================================
ID        : ENCPOS_1972_11
Titre     : La vie des nobles en Cornouaille à la fin de l’Ancien Régime
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : La vie des nobles en Cornouaille à la fin de l’ancien régime par Michel Maréchal Introduction Le but qu’on s’est proposé dans ce travail est de décrire la vie quotidienne des gentilshommes de Cornouaille à la veille de la Révolution. On a voulu tout d’abord examiner leur cadre de vie, puis se rendre…
================================================================================
ID        : ENCPOS_1972_04
Titre     : Les pélerinages à Jérusalem et au mont Sinaï du xive au xvie siècle
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : Les pèlerinages à Jérusalem et au mont Sinaï du xive au xvie siècle par Pauline Cantoni Sources Comme source manuscrite, nous avons utilisé la Très ample et habondante description du voiaige de la terre saincte de Jean de Tournai (ms. 409 de la Bibliothèque municipale de Valenciennes) et, comme sour…

5. Choisir les métadonnées à conserver¶

ThunderDots distingue les métadonnées de collection et les métadonnées de ressource.

Les paramètres recommandés sont :

• metadata_dublincore pour conserver des champs Dublin Core ;
• metadata_extensions pour conserver des champs d’extension.

L’ancien paramètre keep_metadata reste accepté par compatibilité, mais il est préférable d’utiliser les deux paramètres explicites.

In [7]:

td = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={
        "collection_id": COLLECTION_ID,
        "metadata_dublincore": ["title"],
    },
    resource_params={
        "fragment_mode": "navigation",
        "metadata_dublincore": ["identifier", "title", "creator", "date", "coverage"],
    },
    fragment_params={
        "metadata_dublincore": ["title"],
    },
    verbose=True,
    use_cache=False,
)

td.fetch()
results = td.results()

td = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={ "collection_id": COLLECTION_ID, "metadata_dublincore": ["title"], }, resource_params={ "fragment_mode": "navigation", "metadata_dublincore": ["identifier", "title", "creator", "date", "coverage"], }, fragment_params={ "metadata_dublincore": ["title"], }, verbose=True, use_cache=False, ) td.fetch() results = td.results()

⚡ ThunderDots ✔ Done  elapsed=4.45s  http_errors=0

In [8]:

print("Métadonnées de collection conservées :", results["collection_results"][0].get("metadata"))
print("*------*")
print("Métadonnées de ressource conservées :", results["resource_results"][0].get("metadata"))
print("*------*")
print(
    "Métadonnées de fragment conservées :",
    results["resource_results"][0]["fragments"][0].get("metadata_dublincore"),
)

print("Métadonnées de collection conservées :", results["collection_results"][0].get("metadata")) print("*------*") print("Métadonnées de ressource conservées :", results["resource_results"][0].get("metadata")) print("*------*") print( "Métadonnées de fragment conservées :", results["resource_results"][0]["fragments"][0].get("metadata_dublincore"), )

Métadonnées de collection conservées : {'dublincore': {'title': "Les positions des thèses de l'Ecole nationale des chartes de 1972"}}
*------*
Métadonnées de ressource conservées : {'dublincore': {'identifier': 'https://dev.chartes.psl.eu/dots/api/dts/collection?id=ENCPOS_1972_23', 'title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude économique et sociale', 'creator': 'Yves Soulingeas', 'coverage': '1700/1799'}, 'extensions': {'@context': {'dots': 'https://github.com/chartes/dots/', 'schema': 'https://schema.org/', 'creator': 'schema:creator', 'dateCreated': 'schema:dateCreated', 'inLanguage': 'schema:inLanguage', 'isBasedOn': 'schema:isBasedOn', 'name': 'schema:name', 'publisher': 'schema:publisher', 'sameAs': 'schema:sameAs', 'temporalCoverage': 'schema:temporalCoverage'}, 'creator': {'@type': 'Person', '@id': 'https://www.idref.fr/027144925', 'name': 'Yves Soulingeas', 'sameAs': ['https://catalogue.bnf.fr/ark:/12148/cb11925246b', 'https://wikidata.org/entity/Q38151825']}, 'isBasedOn': {'@type': 'CreativeWork', '@id': 'https://bibnum.chartes.psl.eu/s/thenca/item/58339', 'name': 'Positions des thèses soutenues par les élèves de la promotion de 1972 pour obtenir le diplôme d’archiviste paléographe, École des chartes, Paris, 1972, p. 179-184.', 'sameAs': ['https://catalogue.chartes.psl.eu/cgi-bin/koha/opac-detail.pl?biblionumber=125344', 'https://www.sudoc.fr/234910054']}, 'publisher': {'@type': 'Organization', '@id': 'https://www.chartes.psl.eu/', 'name': 'École des chartes'}, 'dots:resourceIIIFManifest': 'https://iiif.chartes.psl.eu/encpos/encpos_1972_23/manifest', 'dateCreated': '1972', 'inLanguage': ['fre'], 'name': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude économique et sociale', 'temporalCoverage': '1700/1799', '@type': 'Book'}}
*------*
Métadonnées de fragment conservées : {'title': 'Sources'}

À quoi sert ce filtrage ?¶

Le filtrage évite de transporter toutes les métadonnées DTS brutes quand on veut produire un résultat compact et stable. Il est utile pour :

• alimenter un index documentaire ;
• limiter la taille du JSON final ;
• éviter de dépendre de champs instables ;
• construire ensuite des filtres propres dans Elasticsearch, Qdrant ou un moteur maison.

6. Comprendre les fragments¶

ThunderDots produit une liste de fragments pour chaque ressource. Un fragment est l’unité documentaire minimale que vous pouvez ensuite envoyer dans une chaîne d’indexation, de recherche ou de traitement.

Un fragment contient au minimum :

{
    "id": "...",
    "content": "..."
}

Selon le mode utilisé, il peut aussi contenir :

{
    "head": "Titre de section",
    "breadcrumb": "Chemin > Vers > Section",
    "level": 1,
    "fragment_xpath": ".//tei:text/tei:body/tei:div",
    "fragment_index": 0
}

Le champ id est important : c’est l’identifiant stable du fragment. Il peut venir de la navigation DTS, d’un xml:id TEI, ou être généré par hash SHA1 quand aucun identifiant local n’existe.

7. Les modes de fragmentation¶

ThunderDots supporte trois modes explicites, plus un mode automatique.

Mode	Source de structure	Usage typique
auto	navigation si disponible, sinon document global	choix par défaut
navigation	/navigation + /document	utiliser la structure déclarée par le serveur DTS
document	/document seulement	un seul fragment par ressource
tei_xpath	/document seulement + XPath TEI	découpage personnalisé non dépendant de /navigation

Le mode choisi se configure dans resource_params.fragment_mode.

8. Mode document : un fragment global par ressource¶

Ce mode est le plus simple pour récupérer le texte complet d’une ressource. Il n’utilise pas la navigation DTS.

Il produit généralement un seul fragment :

{
    "id": "__DOCUMENT__",
    "content": "texte complet de la ressource"
}

Si add_head_to_content=False, les balises TEI <head> sont retirées du contenu. C’est utile lorsque les titres ne doivent pas polluer le texte plein, par exemple avant un découpage secondaire dans un pipeline de chunks.

In [9]:

td_document = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={
        "collection_id": COLLECTION_ID,
    },
    resource_params={
        "fragment_mode": "document",
        "fetch_document": True,
        "fetch_navigation": False,
        "add_head_to_content": False,
        "include_breadcrumb": False,
    },
    verbose=True,
    use_cache=False,
)

td_document.fetch()
document_results = td_document.results()
summarize_results(document_results)

td_document = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={ "collection_id": COLLECTION_ID, }, resource_params={ "fragment_mode": "document", "fetch_document": True, "fetch_navigation": False, "add_head_to_content": False, "include_breadcrumb": False, }, verbose=True, use_cache=False, ) td_document.fetch() document_results = td_document.results() summarize_results(document_results)

⚡ ThunderDots ✔ Done  elapsed=2.29s  http_errors=0

Ressources : 24
================================================================================
ID        : ENCPOS_1972_03
Titre     : La Madeleine de Châteaudun : étude archéologique
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Sophie Bévillard maître ès lettres Le fonds de la Madeleine de Châteaudun se trouve aux Archives départementales d’Eure-et-Loir, série H 3503 à 3800. Des liasses dispersées se trouvent dans les séries G, J, N, O, Q, V, X. La Bibliothèque nationale conserve les notes de Claude Estiennot et d’Anto…
================================================================================
ID        : ENCPOS_1972_24
Titre     : La Terreur dans le district de Brignoles (Var)
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Michèle Tilloy Afin de donner un exemple local de l’application des mesures du gouvernement révolutionnaire de l’an II et des réactions que sa politique put susciter en province, nous avons choisi une région éloignée de la capitale et des mouvements populaires qui s’y déroulèrent, la Provence. C…
================================================================================
ID        : ENCPOS_1972_02
Titre     : Le prieuré de Saint-Martin-des-Champs à Paris : étude historique et archéologique
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Catherine Berthier-Georgesco Le fonds du prieuré de Saint-Martin-des-Champs à Paris se trouve essentiellement aux Archives nationales, où il est réparti entre les séries H5 (comptes du xviiie siècle), L, LL (cartulaires et censiers, livres de visites, registres capitulaires et comptes allant du …
================================================================================
ID        : ENCPOS_1972_21
Titre     : Les forges des princes de Condé en Bretagne aux xviie et xviiie siècles
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Perrine Ramin diplômée de l’Institut d’études politiques de Paris, licenciée ès lettres Les principales sources de cette étude sont les comptes des forges de Bretagne conservés au Musée Condé, au château de Chantilly (série F), les registres des procès-verbaux des séances du conseil des princes …
================================================================================
ID        : ENCPOS_1972_15
Titre     : La vie économique et sociale à Ambert au xviiie siècle
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Évelyne Morin Les sources principales sont les minutes des notaires d’Ambert, conservées aux Archives départementales du Puy-de-Dôme. Des recherches complémentaires ont été effectuées aux Archives départementales du Rhône, dans les minutes des notaires de Lyon, ainsi qu’à Paris, au Minutier cent…
================================================================================
ID        : ENCPOS_1972_22
Titre     : Coutances au xviiie siècle : vie urbaine et administration municipale
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Marc Sanson Petite ville de Basse-Normandie, Coutances est au xviiie siècle « décorée » d’un siège épiscopal, d’un nombreux clergé et de multiples juridictions. Mais elle doit compter avec des éléments défavorables : position excentrique, site escarpé, réseau de communications déficient. « Petit…
================================================================================
ID        : ENCPOS_1972_01
Titre     : Les statuts d’une colonie génoise en Corse : Bonifacio à la fin du Moyen Âge
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Marie-Claude Bartoli maître ès lettres Pour se maintenir dans l’île de Corse, enjeu principal de l’antagonisme politique et commercial qui opposait en Méditerranée occidentale Pisans et Génois, la République de Gênes avait fondé deux villes-forteresses sur des lieux qu’elle considérait comme les…
================================================================================
ID        : ENCPOS_1972_20
Titre     : Guillaume de Varye, facteur de Jacques Cœur et général des finances de Louis XI
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Marie-Édith Poulon maître ès lettres A Bourges, où Guillaume de Varye est né, une rue porte son nom et les plus vieux habitants de la ville peuvent se rappeler un hôtel de belle allure, maintenant démoli, qui avait été construit sur la boutique de ses ancêtres. C’est là que Guillaume de Varye, d…
================================================================================
ID        : ENCPOS_1972_05
Titre     : Le Conseil d’État sous la Restauration
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Michel Chabin Le Conseil d’État est une de nos plus anciennes institutions, et une de celles qui se sont le plus transformées au cours de leur histoire. Issu de la curia regis, devenu un élément essentiel du Conseil du roi sous la monarchie centralisée, il a connu, avec le Consulat et l’Empire, …
================================================================================
ID        : ENCPOS_1972_08
Titre     : Les routes de la généralité de Châlons-sur-Marne au xviiie siècle
Fragments : 1
id   : __DOCUMENT__
head      : None
Aperçu    : par Martine Illaire Le dix-huitième siècle a été véritablement le « grand siècle » des routes. Au cours de cette période s’est élaboré un système organisé des voies de communications terrestres qui s’est maintenu jusqu’à nos jours et sur lequel le réseau routier actuel s’est modelé. Cette réalisatio…

Quand utiliser document ?¶

Utilisez document si :

• vous voulez un document complet par ressource ;
• vous prévoyez de faire ensuite votre propre chunking ;
• la navigation DTS est absente, incomplète ou trop fine ;
• votre moteur aval attend une seule notice textuelle par ressource.

Limite : le fragment peut devenir très long. Pour une base vectorielle, il faudra souvent effectuer un chunking ensuite.

9. Mode navigation : fragments fondés sur la navigation DTS¶

Le mode navigation utilise /navigation pour connaître les unités de citation ou sections déclarées par le serveur, puis récupère le XML avec /document.

ThunderDots associe ensuite les entrées de navigation aux nœuds TEI via leurs identifiants. Cela permet de produire des fragments structurés avec id, head, level et breadcrumb.

In [10]:

td_navigation = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={
        "collection_id": COLLECTION_ID,
    },
    resource_params={
        "fragment_mode": "navigation",
        "fetch_document": True,
        "fetch_navigation": True,
        "add_head_to_content": False,
        "include_breadcrumb": True,
        "exclude_heads_contains": [
            "index",
            "appendices",
            "annexes",
            "sources",
            "bibliographie",
            "iconographie",
        ],
    },
    verbose=True,
    use_cache=False,
)

td_navigation.fetch()
navigation_results = td_navigation.results()
summarize_results(navigation_results)

td_navigation = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={ "collection_id": COLLECTION_ID, }, resource_params={ "fragment_mode": "navigation", "fetch_document": True, "fetch_navigation": True, "add_head_to_content": False, "include_breadcrumb": True, "exclude_heads_contains": [ "index", "appendices", "annexes", "sources", "bibliographie", "iconographie", ], }, verbose=True, use_cache=False, ) td_navigation.fetch() navigation_results = td_navigation.results() summarize_results(navigation_results)

⚡ ThunderDots ✔ Done  elapsed=4.79s  http_errors=0

Ressources : 24
================================================================================
ID        : ENCPOS_1972_03
Titre     : La Madeleine de Châteaudun : étude archéologique
Fragments : 19
id   : r951964
head      : Première partie Les données historiques
Aperçu    : 
================================================================================
ID        : ENCPOS_1972_02
Titre     : Le prieuré de Saint-Martin-des-Champs à Paris : étude historique et archéologique
Fragments : 14
id   : r951205
head      : Introduction les origines du prieuré
Aperçu    : En 1060, le roi Henri Ier fonda le monastère et y installa des chanoines réguliers. Les termes mêmes de la charte royale laissent entendre qu’il existait antérieurement une abbaye de Saint-Martin et qu’elle fut détruite de fond en comble par les Normands. Un diplôme de Childebert III, du 7 décembre …
================================================================================
ID        : ENCPOS_1972_17
Titre     : Les relations des rois de France et des princes protestants allemands (1541-1559)
Fragments : 4
id   : r960010
head      : Première partie La fin du règne de François Ier (1541-1547)
Aperçu    : Tentatives d’alliance et échecs (1541-1544). – En 1541, un projet de ligue avec le Danemark, le duc de Clèves et les États protestants, dont la Saxe, qui ont envoyé leurs ambassadeurs à Paris, échoue à cause de l’opposition des conseillers du roi, qui ne veulent pas y admettre les États protestants,…
================================================================================
ID        : ENCPOS_1972_22
Titre     : Coutances au xviiie siècle : vie urbaine et administration municipale
Fragments : 15
id   : r962550
head      : Introduction
Aperçu    : Petite ville de Basse-Normandie, Coutances est au xviiie siècle « décorée » d’un siège épiscopal, d’un nombreux clergé et de multiples juridictions. Mais elle doit compter avec des éléments défavorables : position excentrique, site escarpé, réseau de communications déficient. « Petite république mal…
================================================================================
ID        : ENCPOS_1972_21
Titre     : Les forges des princes de Condé en Bretagne aux xviie et xviiie siècles
Fragments : 17
id   : r962135
head      : Introduction
Aperçu    : Les princes de Condé étaient propriétaires de trois forges, toutes situées à une dizaine de kilomètres de Châteaubriant, dans les paroisses de Moisdon et de Sion. Cette région était privilégiée en raison de la présence de minerai, d’eau et de forêts. La nature des documents utilisés, des comptes pou…
================================================================================
ID        : ENCPOS_1972_01
Titre     : Les statuts d’une colonie génoise en Corse : Bonifacio à la fin du Moyen Âge
Fragments : 6
id   : r950666
head      : Introduction
Aperçu    : Pour se maintenir dans l’île de Corse, enjeu principal de l’antagonisme politique et commercial qui opposait en Méditerranée occidentale Pisans et Génois, la République de Gênes avait fondé deux villes-forteresses sur des lieux qu’elle considérait comme les positions clés de l’île : Bonifacio au sud…
================================================================================
ID        : ENCPOS_1972_23
Titre     : Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude économique et sociale
Fragments : 9
id   : r963078
head      : Introduction présentation géographique et historique
Aperçu    : Les quatre paroisses choisies appartiennent à un même cadre géographique, le bassin de Brive. Relief et climat expliquent l’importance prise par la vigne au xviiie siècle, bien que le paysage agraire puisse être défini comme « un bocage de prés », selon l’expression d’André Meynier. L’histoire de la…
================================================================================
ID        : ENCPOS_1972_05
Titre     : Le Conseil d’État sous la Restauration
Fragments : 11
id   : r953340
head      : Introduction
Aperçu    : Le Conseil d’État est une de nos plus anciennes institutions, et une de celles qui se sont le plus transformées au cours de leur histoire. Issu de la curia regis, devenu un élément essentiel du Conseil du roi sous la monarchie centralisée, il a connu, avec le Consulat et l’Empire, dans une organisat…
================================================================================
ID        : ENCPOS_1972_24
Titre     : La Terreur dans le district de Brignoles (Var)
Fragments : 7
id   : r963480
head      : Introduction
Aperçu    : Afin de donner un exemple local de l’application des mesures du gouvernement révolutionnaire de l’an II et des réactions que sa politique put susciter en province, nous avons choisi une région éloignée de la capitale et des mouvements populaires qui s’y déroulèrent, la Provence. Cette région se sign…
================================================================================
ID        : ENCPOS_1972_07
Titre     : Aspects économiques et sociaux de la vie rurale en Nivernais : la paroisse de Saint-Parize-le-Châtel au milieu du xviiie siècle
Fragments : 12
id   : r954136
head      : Introduction le cadre historique et géographique
Aperçu    : Le Nivernais est un pays coutumier qui se trouve dans le ressort du Parlement de Paris et fait partie de la généralité de Moulins. La seigneurie de Saint-Parize-le-Châtel est connue depuis le xiiie siècle. Saint-Parize-le-Châtel est situé dans le pays d’entre Loire et Allier, au sud de Nevers. Cette…

Quand utiliser navigation ?¶

Utilisez navigation si :

• le serveur DTS expose une navigation fiable ;
• vous voulez respecter la structure éditoriale publiée ;
• les identifiants de fragments doivent correspondre aux identifiants citables du serveur ;
• vous voulez des breadcrumbs exploitables en interface utilisateur.

Limite : vous dépendez de ce que le serveur déclare dans /navigation. Si la navigation est absente, trop grossière ou trop fine, préférez tei_xpath.

10. Mode tei_xpath : fragmentation personnalisée sans navigation¶

Le mode tei_xpath récupère uniquement /document, puis découpe le XML TEI avec un XPath fourni par l’utilisateur.

C’est le mode à privilégier quand vous voulez contrôler vous-même la granularité documentaire, par exemple :

• un fragment par <div> ;
• un fragment par <p> ;
• un fragment par <ab> ;
• un fragment par nœud métier propre à votre schéma XML.

Ce mode est non basé sur la navigation DTS.

In [11]:

td_xpath_div = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={
        "collection_id": COLLECTION_ID,
    },
    resource_params={
        "fragment_mode": "tei_xpath",
        "fragment_xpath": ".//tei:text/tei:body/tei:div",
        "title_xpath": "./tei:head",
        "remove_fragment_heads": True,
        "add_head_to_content": False,
        "generated_id_prefix": "__DOCUMENT__",
        "fetch_document": True,
        "fetch_navigation": False,
        "include_breadcrumb": True,
        "exclude_heads_contains": [
            "index",
            "appendices",
            "annexes",
            "sources",
            "bibliographie",
            "iconographie",
        ],
    },
    verbose=True,
    use_cache=False,
)

td_xpath_div.fetch()
xpath_div_results = td_xpath_div.results()
summarize_results(xpath_div_results)

td_xpath_div = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={ "collection_id": COLLECTION_ID, }, resource_params={ "fragment_mode": "tei_xpath", "fragment_xpath": ".//tei:text/tei:body/tei:div", "title_xpath": "./tei:head", "remove_fragment_heads": True, "add_head_to_content": False, "generated_id_prefix": "__DOCUMENT__", "fetch_document": True, "fetch_navigation": False, "include_breadcrumb": True, "exclude_heads_contains": [ "index", "appendices", "annexes", "sources", "bibliographie", "iconographie", ], }, verbose=True, use_cache=False, ) td_xpath_div.fetch() xpath_div_results = td_xpath_div.results() summarize_results(xpath_div_results)

⚡ ThunderDots ✔ Done  elapsed=2.14s  http_errors=0

Ressources : 24
================================================================================
ID        : ENCPOS_1972_14
Titre     : Marle à la fin de l’Ancien Régime : étude de la société et de la vie sociale dans une petite ville de 1760 à 1789
Fragments : 3
id   : r958457
head      : Introduction
Aperçu    : La ville de Marle est située dans la frange nord-est du bassin parisien, à 130 kilomètres au nord de Paris, sur l’axe Laon-Bruxelles. Elle est construite à la bordure d’un plateau, sur une butte qui domine la Serre. Elle se trouve à la limite nord du Laonnais, proche de la Thiérache, mais le sol est…
================================================================================
ID        : ENCPOS_1972_03
Titre     : La Madeleine de Châteaudun : étude archéologique
Fragments : 3
id   : r951964
head      : Première partie Les données historiques
Aperçu    : Chapitre premier des origines au xiie siècle Situation, ecclésiastique de Châteaudun aux temps mérovingiens. – En 511, au concile d’Orléans, saint Aventin, évêque de Chartres, s’intitula évêque de Châteaudun. Un demi-siècle plus tard, Sigebert fit sacrer évêque de Châteaudun Promotus, qui fut déposé…
================================================================================
ID        : ENCPOS_1972_16
Titre     : Les origines du monachisme dans le diocèse de Besançon (ve-xe siècle)
Fragments : 4
id   : r959398
head      : Première partie Le cadre
Aperçu    : Chapitre premier le pays et son peuplement avant l’apparition du monachisme Une étude des conditions physiques, sols et climats et, dans la mesure d’une documentation jusqu’à présent fragmentaire, de l’équipement en voies de communication et de l’évolution du peuplement au cours de la préhistoire, d…
================================================================================
ID        : ENCPOS_1972_06
Titre     : Les plus anciennes chartes en langue française de l’Aube et de la Seine-et-Marne
Fragments : 4
id   : r953815
head      : Introduction
Aperçu    : La connaissance de la langue médiévale, et en particulier des dialectes régionaux, s’appuie de plus en plus sur l’étude des documents d’archives, qui ont l’avantage sur les textes littéraires de pouvoir être localisés et datés de manière beaucoup plus précise. C’est dans le cadre de la publication s…
================================================================================
ID        : ENCPOS_1972_21
Titre     : Les forges des princes de Condé en Bretagne aux xviie et xviiie siècles
Fragments : 8
id   : r962135
head      : Introduction
Aperçu    : Les princes de Condé étaient propriétaires de trois forges, toutes situées à une dizaine de kilomètres de Châteaubriant, dans les paroisses de Moisdon et de Sion. Cette région était privilégiée en raison de la présence de minerai, d’eau et de forêts. La nature des documents utilisés, des comptes pou…
================================================================================
ID        : ENCPOS_1972_09
Titre     : Le cartulaire de l’abbaye de Saint-Seine : introduction historique et édition critique
Fragments : 4
id   : r955251
head      : Introduction
Aperçu    : De l’abbaye de Saint-Seine, l’une des trois plus anciennes de la Côte-d’Or, il reste essentiellement l’église des xiiie-xve siècles, devenue l’église paroissiale du bourg qui s’est construit autour du monastère et qui en a gardé le nom, et des débris du chartrier, témoins des possessions du monastèr…
================================================================================
ID        : ENCPOS_1972_04
Titre     : Les pélerinages à Jérusalem et au mont Sinaï du xive au xvie siècle
Fragments : 5
id   : r952741
head      : Avant-propos
Aperçu    : Nous avons voulu rattacher les pèlerinages en Terre Sainte et au Sinaï à l’histoire des explorations, en les situant à l’intérieur de la phase de repliement sur l’Afrique, et en particulier sur l’Afrique orientale, qui fit suite à la fermeture de la Chine aux Occidentaux, et à la prise de Saint-Jean…
================================================================================
ID        : ENCPOS_1972_08
Titre     : Les routes de la généralité de Châlons-sur-Marne au xviiie siècle
Fragments : 13
id   : r954768
head      : Introduction
Aperçu    : Le dix-huitième siècle a été véritablement le « grand siècle » des routes. Au cours de cette période s’est élaboré un système organisé des voies de communications terrestres qui s’est maintenu jusqu’à nos jours et sur lequel le réseau routier actuel s’est modelé. Cette réalisation a été rendue possi…
================================================================================
ID        : ENCPOS_1972_02
Titre     : Le prieuré de Saint-Martin-des-Champs à Paris : étude historique et archéologique
Fragments : 5
id   : r951205
head      : Introduction les origines du prieuré
Aperçu    : En 1060, le roi Henri Ier fonda le monastère et y installa des chanoines réguliers. Les termes mêmes de la charte royale laissent entendre qu’il existait antérieurement une abbaye de Saint-Martin et qu’elle fut détruite de fond en comble par les Normands. Un diplôme de Childebert III, du 7 décembre …
================================================================================
ID        : ENCPOS_1972_23
Titre     : Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude économique et sociale
Fragments : 4
id   : r963078
head      : Introduction présentation géographique et historique
Aperçu    : Les quatre paroisses choisies appartiennent à un même cadre géographique, le bassin de Brive. Relief et climat expliquent l’importance prise par la vigne au xviiie siècle, bien que le paysage agraire puisse être défini comme « un bocage de prés », selon l’expression d’André Meynier. L’histoire de la…

Exemple : un fragment par paragraphe TEI¶

Pour une granularité plus fine, on peut choisir les paragraphes :

"fragment_xpath": ".//tei:text/tei:body/tei:div/tei:p"

Dans ce cas, les <p> n’ont pas toujours de <head> local. ThunderDots remonte alors vers le premier ancêtre ayant un <head> grâce à la logique interne de _nearest_ancestor_head. Le titre de section est donc conservé dans head, mais retiré du contenu si add_head_to_content=False.

In [12]:

td_xpath_p = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={
        "collection_id": COLLECTION_ID,
    },
    resource_params={
        "fragment_mode": "tei_xpath",
        "fragment_xpath": ".//tei:text/tei:body/tei:div/tei:p",
        "title_xpath": "./tei:head",
        "remove_fragment_heads": True,
        "add_head_to_content": False,
        "generated_id_prefix": "__DOCUMENT__",
        "fetch_document": True,
        "fetch_navigation": False,
        "include_breadcrumb": True,
    },
    verbose=True,
    use_cache=False,
)

td_xpath_p.fetch()
xpath_p_results = td_xpath_p.results()
summarize_results(xpath_p_results)

td_xpath_p = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={ "collection_id": COLLECTION_ID, }, resource_params={ "fragment_mode": "tei_xpath", "fragment_xpath": ".//tei:text/tei:body/tei:div/tei:p", "title_xpath": "./tei:head", "remove_fragment_heads": True, "add_head_to_content": False, "generated_id_prefix": "__DOCUMENT__", "fetch_document": True, "fetch_navigation": False, "include_breadcrumb": True, }, verbose=True, use_cache=False, ) td_xpath_p.fetch() xpath_p_results = td_xpath_p.results() summarize_results(xpath_p_results)

⚡ ThunderDots ✔ Done  elapsed=2.24s  http_errors=0

Ressources : 24
================================================================================
ID        : ENCPOS_1972_03
Titre     : La Madeleine de Châteaudun : étude archéologique
Fragments : 7
id   : __DOCUMENT__89aa90d7a53f
head      : Sources
Aperçu    : Le fonds de la Madeleine de Châteaudun se trouve aux Archives départementales d’Eure-et-Loir, série H 3503 à 3800. Des liasses dispersées se trouvent dans les séries G, J, N, O, Q, V, X. La Bibliothèque nationale conserve les notes de Claude Estiennot et d’Antoine Lancelot qui ont permis à Lucien Me…
================================================================================
ID        : ENCPOS_1972_07
Titre     : Aspects économiques et sociaux de la vie rurale en Nivernais : la paroisse de Saint-Parize-le-Châtel au milieu du xviiie siècle
Fragments : 4
id   : __DOCUMENT__3f791fb367d3
head      : Introduction le cadre historique et géographique
Aperçu    : Le Nivernais est un pays coutumier qui se trouve dans le ressort du Parlement de Paris et fait partie de la généralité de Moulins. La seigneurie de Saint-Parize-le-Châtel est connue depuis le xiiie siècle.
================================================================================
ID        : ENCPOS_1972_21
Titre     : Les forges des princes de Condé en Bretagne aux xviie et xviiie siècles
Fragments : 7
id   : __DOCUMENT__14ec0f5574d5
head      : Sources
Aperçu    : Les principales sources de cette étude sont les comptes des forges de Bretagne conservés au Musée Condé, au château de Chantilly (série F), les registres des procès-verbaux des séances du conseil des princes de Condé de 1669 à 1788, les enquêtes de 1764, 1783 et 1788 (Archives départementales d’Ille…
================================================================================
ID        : ENCPOS_1972_22
Titre     : Coutances au xviiie siècle : vie urbaine et administration municipale
Fragments : 4
id   : __DOCUMENT__db956ad569a7
head      : Introduction
Aperçu    : Petite ville de Basse-Normandie, Coutances est au xviiie siècle « décorée » d’un siège épiscopal, d’un nombreux clergé et de multiples juridictions. Mais elle doit compter avec des éléments défavorables : position excentrique, site escarpé, réseau de communications déficient. « Petite république mal…
================================================================================
ID        : ENCPOS_1972_13
Titre     : Le développement historique de la ville d’Amboise des origines jusqu’à la fin du xviiie siècle
Fragments : 3
id   : __DOCUMENT__aed9ca7e1261
head      : Sources
Aperçu    : Les sources utilisées sont constituées essentiellement par les archives conservées à la mairie d’Amboise. Elles ont fourni une documentation extrêmement riche depuis 1421. Les Archives départementales d’Indre-et-Loire (séries C, G, H) et les Archives nationales (F12 et F14) ont apporté un utile comp…
================================================================================
ID        : ENCPOS_1972_06
Titre     : Les plus anciennes chartes en langue française de l’Aube et de la Seine-et-Marne
Fragments : 10
id   : __DOCUMENT__f5fe82b01460
head      : Introduction
Aperçu    : La connaissance de la langue médiévale, et en particulier des dialectes régionaux, s’appuie de plus en plus sur l’étude des documents d’archives, qui ont l’avantage sur les textes littéraires de pouvoir être localisés et datés de manière beaucoup plus précise. C’est dans le cadre de la publication s…
================================================================================
ID        : ENCPOS_1972_01
Titre     : Les statuts d’une colonie génoise en Corse : Bonifacio à la fin du Moyen Âge
Fragments : 24
id   : __DOCUMENT__5d5ab6c7aec4
head      : Introduction
Aperçu    : Pour se maintenir dans l’île de Corse, enjeu principal de l’antagonisme politique et commercial qui opposait en Méditerranée occidentale Pisans et Génois, la République de Gênes avait fondé deux villes-forteresses sur des lieux qu’elle considérait comme les positions clés de l’île : Bonifacio au sud…
================================================================================
ID        : ENCPOS_1972_05
Titre     : Le Conseil d’État sous la Restauration
Fragments : 10
id   : __DOCUMENT__35fe5503b639
head      : Introduction
Aperçu    : Le Conseil d’État est une de nos plus anciennes institutions, et une de celles qui se sont le plus transformées au cours de leur histoire. Issu de la curia regis, devenu un élément essentiel du Conseil du roi sous la monarchie centralisée, il a connu, avec le Consulat et l’Empire, dans une organisat…
================================================================================
ID        : ENCPOS_1972_09
Titre     : Le cartulaire de l’abbaye de Saint-Seine : introduction historique et édition critique
Fragments : 8
id   : __DOCUMENT__b5522ecec9dd
head      : Introduction
Aperçu    : De l’abbaye de Saint-Seine, l’une des trois plus anciennes de la Côte-d’Or, il reste essentiellement l’église des xiiie-xve siècles, devenue l’église paroissiale du bourg qui s’est construit autour du monastère et qui en a gardé le nom, et des débris du chartrier, témoins des possessions du monastèr…
================================================================================
ID        : ENCPOS_1972_23
Titre     : Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude économique et sociale
Fragments : 3
id   : __DOCUMENT__e5021093549b
head      : Sources
Aperçu    : Trois dépôts renferment des documents intéressant notre sujet. Les Archives nationales ont livré des plans de routes (série H), des enquêtes révolutionnaires sur la situation économique de la Corrèze (série F14) et la correspondance des intendants avec le Contrôle général (série G7). Aux Archives dé…

11. Différence entre navigation et tei_xpath¶

Les deux modes peuvent produire plusieurs fragments par ressource, mais ils ne répondent pas au même besoin.

navigation¶

• La granularité vient du serveur DTS.
• Les id correspondent en général aux identifiants exposés dans /navigation.
• Les breadcrumbs reflètent la hiérarchie DTS.
• C’est le bon choix si l’on veut rester aligné avec le modèle de citation publié.

tei_xpath¶

• La granularité vient de votre expression XPath.
• Les id viennent du xml:id du nœud si disponible.
• Si le nœud n’a pas de xml:id, ThunderDots génère un identifiant stable avec un préfixe et un hash SHA1.
• C’est le bon choix si vous voulez définir votre propre unité documentaire : paragraphe, division, bloc, item, etc.

En résumé :

navigation = je fais confiance à la structure DTS publiée
tei_xpath  = je définis moi-même la granularité dans le XML TEI

In [13]:

from typing import Any


def compare_fragmentation(*named_results: tuple[str, dict[str, Any]]) -> None:
    """
    Compare le nombre de ressources et de fragments pour plusieurs résultats ThunderDots.

    Usage
    -----
    compare_fragmentation(
        ("navigation", navigation_results),
        ("tei_xpath div", xpath_div_results),
        ("tei_xpath p", xpath_p_results),
    )
    """

    def count_fragments(results: dict[str, Any]) -> tuple[int, int]:
        resources = results.get("resource_results", [])
        fragments = sum(len(resource.get("fragments", [])) for resource in resources)
        return len(resources), fragments

    if not named_results:
        print("Aucun résultat à comparer.")
        return

    for label, results in named_results:
        resources_count, fragments_count = count_fragments(results)
        print(f"{label}: {resources_count} ressources, {fragments_count} fragments")


compare_fragmentation(
    ("navigation", navigation_results),
    ("tei_xpath div", xpath_div_results),
    ("tei_xpath p", xpath_p_results),
)

from typing import Any def compare_fragmentation(*named_results: tuple[str, dict[str, Any]]) -> None: """ Compare le nombre de ressources et de fragments pour plusieurs résultats ThunderDots. Usage ----- compare_fragmentation( ("navigation", navigation_results), ("tei_xpath div", xpath_div_results), ("tei_xpath p", xpath_p_results), ) """ def count_fragments(results: dict[str, Any]) -> tuple[int, int]: resources = results.get("resource_results", []) fragments = sum(len(resource.get("fragments", [])) for resource in resources) return len(resources), fragments if not named_results: print("Aucun résultat à comparer.") return for label, results in named_results: resources_count, fragments_count = count_fragments(results) print(f"{label}: {resources_count} ressources, {fragments_count} fragments") compare_fragmentation( ("navigation", navigation_results), ("tei_xpath div", xpath_div_results), ("tei_xpath p", xpath_p_results), )

navigation: 24 ressources, 310 fragments
tei_xpath div: 24 ressources, 123 fragments
tei_xpath p: 24 ressources, 259 fragments

12. Exclure des sections par titre¶

Le paramètre exclude_heads_contains permet d’exclure des fragments dont le titre contient certains mots ou expressions.

La comparaison est :

• insensible à la casse ;
• insensible aux accents ;
• basée sur une inclusion simple.

Exemple : si un fragment a pour titre Pièces annexes, il sera exclu par le motif annexes ou pièces annexes.

In [14]:

COMMON_EXCLUDED_HEADS = [
    "index",
    "appendices",
    "annexes",
    "sources",
    "bibliographie",
    "iconographie",
    "lexique",
    "cartes et plans",
    "pièces justificatives",
]

COMMON_EXCLUDED_HEADS = [ "index", "appendices", "annexes", "sources", "bibliographie", "iconographie", "lexique", "cartes et plans", "pièces justificatives", ]

13. Gestion des titres dans le contenu¶

Deux paramètres contrôlent la présence des titres dans les fragments :

• add_head_to_content ;
• remove_fragment_heads.

add_head_to_content=True¶

Le titre est ajouté au début du contenu. C’est utile pour des systèmes de recherche où le contexte du titre doit contribuer au score.

add_head_to_content=False¶

Le titre reste disponible dans le champ head, mais il n’est pas injecté dans content. C’est utile quand on veut éviter que les titres dominent le texte indexé.

remove_fragment_heads=True¶

En mode tei_xpath, les <head> locaux sont retirés du texte extrait du nœud, afin d’éviter les doublons.

In [15]:

td_titles_in_content = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={"collection_id": COLLECTION_ID},
    resource_params={
        "fragment_mode": "tei_xpath",
        "fragment_xpath": ".//tei:text/tei:body/tei:div",
        "title_xpath": "./tei:head",
        "remove_fragment_heads": True,
        "add_head_to_content": True,
    },
    verbose=False,
    use_cache=False,
)

td_titles_in_content.fetch()
td_titles_in_content_results = td_titles_in_content.results()
summarize_results(td_titles_in_content_results)

td_titles_in_content = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={"collection_id": COLLECTION_ID}, resource_params={ "fragment_mode": "tei_xpath", "fragment_xpath": ".//tei:text/tei:body/tei:div", "title_xpath": "./tei:head", "remove_fragment_heads": True, "add_head_to_content": True, }, verbose=False, use_cache=False, ) td_titles_in_content.fetch() td_titles_in_content_results = td_titles_in_content.results() summarize_results(td_titles_in_content_results)

Ressources : 24
================================================================================
ID        : ENCPOS_1972_01
Titre     : Les statuts d’une colonie génoise en Corse : Bonifacio à la fin du Moyen Âge
Fragments : 9
id   : r950666
head      : Introduction
Aperçu    : Introduction Pour se maintenir dans l’île de Corse, enjeu principal de l’antagonisme politique et commercial qui opposait en Méditerranée occidentale Pisans et Génois, la République de Gênes avait fondé deux villes-forteresses sur des lieux qu’elle considérait comme les positions clés de l’île : Bon…
================================================================================
ID        : ENCPOS_1972_21
Titre     : Les forges des princes de Condé en Bretagne aux xviie et xviiie siècles
Fragments : 9
id   : r962117
head      : Sources
Aperçu    : Sources Les principales sources de cette étude sont les comptes des forges de Bretagne conservés au Musée Condé, au château de Chantilly (série F), les registres des procès-verbaux des séances du conseil des princes de Condé de 1669 à 1788, les enquêtes de 1764, 1783 et 1788 (Archives départementale…
================================================================================
ID        : ENCPOS_1972_02
Titre     : Le prieuré de Saint-Martin-des-Champs à Paris : étude historique et archéologique
Fragments : 8
id   : r951105
head      : Sources
Aperçu    : Sources Le fonds du prieuré de Saint-Martin-des-Champs à Paris se trouve essentiellement aux Archives nationales, où il est réparti entre les séries H5 (comptes du xviiie siècle), L, LL (cartulaires et censiers, livres de visites, registres capitulaires et comptes allant du xiiie siècle à la Révolut…
================================================================================
ID        : ENCPOS_1972_11
Titre     : La vie des nobles en Cornouaille à la fin de l’Ancien Régime
Fragments : 11
id   : r956673
head      : Introduction
Aperçu    : Introduction Le but qu’on s’est proposé dans ce travail est de décrire la vie quotidienne des gentilshommes de Cornouaille à la veille de la Révolution. On a voulu tout d’abord examiner leur cadre de vie, puis se rendre compte de leurs préoccupations quotidiennes, enfin, étudier leur rôle dans la so…
================================================================================
ID        : ENCPOS_1972_06
Titre     : Les plus anciennes chartes en langue française de l’Aube et de la Seine-et-Marne
Fragments : 7
id   : r953815
head      : Introduction
Aperçu    : Introduction La connaissance de la langue médiévale, et en particulier des dialectes régionaux, s’appuie de plus en plus sur l’étude des documents d’archives, qui ont l’avantage sur les textes littéraires de pouvoir être localisés et datés de manière beaucoup plus précise. C’est dans le cadre de la …
================================================================================
ID        : ENCPOS_1972_23
Titre     : Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude économique et sociale
Fragments : 7
id   : r963060
head      : Sources
Aperçu    : Sources Trois dépôts renferment des documents intéressant notre sujet. Les Archives nationales ont livré des plans de routes (série H), des enquêtes révolutionnaires sur la situation économique de la Corrèze (série F14) et la correspondance des intendants avec le Contrôle général (série G7). Aux Arc…
================================================================================
ID        : ENCPOS_1972_03
Titre     : La Madeleine de Châteaudun : étude archéologique
Fragments : 7
id   : r951938
head      : Sources
Aperçu    : Sources Le fonds de la Madeleine de Châteaudun se trouve aux Archives départementales d’Eure-et-Loir, série H 3503 à 3800. Des liasses dispersées se trouvent dans les séries G, J, N, O, Q, V, X. La Bibliothèque nationale conserve les notes de Claude Estiennot et d’Antoine Lancelot qui ont permis à L…
================================================================================
ID        : ENCPOS_1972_22
Titre     : Coutances au xviiie siècle : vie urbaine et administration municipale
Fragments : 8
id   : r962550
head      : Introduction
Aperçu    : Introduction Petite ville de Basse-Normandie, Coutances est au xviiie siècle « décorée » d’un siège épiscopal, d’un nombreux clergé et de multiples juridictions. Mais elle doit compter avec des éléments défavorables : position excentrique, site escarpé, réseau de communications déficient. « Petite r…
================================================================================
ID        : ENCPOS_1972_13
Titre     : Le développement historique de la ville d’Amboise des origines jusqu’à la fin du xviiie siècle
Fragments : 9
id   : r957787
head      : Sources
Aperçu    : Sources Les sources utilisées sont constituées essentiellement par les archives conservées à la mairie d’Amboise. Elles ont fourni une documentation extrêmement riche depuis 1421. Les Archives départementales d’Indre-et-Loire (séries C, G, H) et les Archives nationales (F12 et F14) ont apporté un ut…
================================================================================
ID        : ENCPOS_1972_04
Titre     : Les pélerinages à Jérusalem et au mont Sinaï du xive au xvie siècle
Fragments : 7
id   : r952703
head      : Sources
Aperçu    : Sources Comme source manuscrite, nous avons utilisé la Très ample et habondante description du voiaige de la terre saincte de Jean de Tournai (ms. 409 de la Bibliothèque municipale de Valenciennes) et, comme sources imprimées, l’ensemble des relations de pèlerinages écrites entre le début du xive et…

14. Cache JSON et cache CSV¶

ThunderDots peut écrire deux artefacts :

• output_path : le résultat complet JSON ;
• cache_csv_path : une table CSV aplatie avec les ressources, le nombre de fragments, la longueur textuelle et les métadonnées conservées.

Si use_cache=True et que output_path existe déjà, ThunderDots recharge le JSON au lieu de refaire les appels réseau.

In [16]:

td_cached = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={"collection_id": COLLECTION_ID},
    resource_params={
        "fragment_mode": "auto",
        "metadata_dublincore": ["identifier", "title", "creator", "date"],
    },
    output_path=OUTPUT_JSON,
    cache_csv_path=CACHE_CSV,
    use_cache=True,
    verbose=True,
)

# Premier appel : écrit le cache si OUTPUT_JSON n'existe pas.
# Appels suivants : recharge OUTPUT_JSON si use_cache=True.
td_cached.fetch()

td_cached = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={"collection_id": COLLECTION_ID}, resource_params={ "fragment_mode": "auto", "metadata_dublincore": ["identifier", "title", "creator", "date"], }, output_path=OUTPUT_JSON, cache_csv_path=CACHE_CSV, use_cache=True, verbose=True, ) # Premier appel : écrit le cache si OUTPUT_JSON n'existe pas. # Appels suivants : recharge OUTPUT_JSON si use_cache=True. td_cached.fetch()

15. Validation des résultats¶

ThunderDots peut valider automatiquement la forme du JSON produit avec jsonschema.

Deux niveaux sont particulièrement utiles :

• validation de la sortie complète (profile="output") ;
• validation de chaque ressource produite (profile="resource_result").

Quand validate=True, ThunderDots ajoute une clé validation dans les résultats.

In [17]:

td_validated = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={"collection_id": COLLECTION_ID},
    resource_params={
        "fragment_mode": "auto",
        "metadata_dublincore": ["identifier", "title", "creator", "date", "coverage"],
        "metadata_extensions": [],
    },
    validate=True,
    verbose=True,
    use_cache=False,
)

td_validated.fetch()
validated_results = td_validated.results()
pp.pprint(validated_results.get("validation"))

td_validated = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={"collection_id": COLLECTION_ID}, resource_params={ "fragment_mode": "auto", "metadata_dublincore": ["identifier", "title", "creator", "date", "coverage"], "metadata_extensions": [], }, validate=True, verbose=True, use_cache=False, ) td_validated.fetch() validated_results = td_validated.results() pp.pprint(validated_results.get("validation"))

⚡ ThunderDots ✔ Done  elapsed=2.12s  http_errors=0

{'output': {'ok': True, 'issues': []}, 'resources': {'total': 24, 'valid': 24, 'invalid': 0, 'issues': 0}}

Comment lire le rapport de validation ?¶

Un rapport de validation contient :

{
    "ok": True,
    "triple_count": None,
    "issues": []
}

• ok=True signifie que l’objet respecte le schéma attendu ;
• ok=False signifie qu’au moins une erreur a été détectée ;
• issues liste les erreurs avec un chemin, un message, la valeur attendue et la valeur observée.

Pour un lot de ressources, le résumé ressemble à ceci :

{
    "total": 100,
    "valid": 98,
    "invalid": 2,
    "issues": 3
}

La validation ne garantit pas que le contenu scientifique ou documentaire est correct ; elle garantit que la structure JSON est exploitable par la suite.

In [18]:

# Validation manuelle d'une sortie complète :
output_report = validate_notice(results, profile="output")
pp.pprint(output_report.to_dict())

# Validation manuelle des ressources :
resource_report = validate_many(results.get("resource_results", []), profile="resource_result")
pp.pprint(resource_report.summary())

# Validation manuelle d'une sortie complète : output_report = validate_notice(results, profile="output") pp.pprint(output_report.to_dict()) # Validation manuelle des ressources : resource_report = validate_many(results.get("resource_results", []), profile="resource_result") pp.pprint(resource_report.summary())

{'ok': True, 'issues': []}
{'total': 24, 'valid': 24, 'invalid': 0, 'issues': 0}

16. Utiliser l’API asynchrone dans un notebook¶

ThunderDots expose aussi afetch(). Elle est utile dans les environnements déjà asynchrones.

Dans un notebook Jupyter moderne, on peut utiliser await directement au niveau d’une cellule.

In [19]:

td_async = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={"collection_id": COLLECTION_ID},
    resource_params={
        "fragment_mode": "document",
        "metadata_dublincore": ["identifier", "title", "coverage"],
    },
    verbose=True,
    use_cache=False,
)

await td_async.afetch()
async_results = td_async.results()

td_async = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={"collection_id": COLLECTION_ID}, resource_params={ "fragment_mode": "document", "metadata_dublincore": ["identifier", "title", "coverage"], }, verbose=True, use_cache=False, ) await td_async.afetch() async_results = td_async.results()

⚡ ThunderDots ✔ Done  elapsed=2.08s  http_errors=0

17. Transformer les résultats en notices Python¶

La méthode notices() convertit les résultats en objets DotsNotice. Ces objets exposent des méthodes pratiques pour produire des documents d’indexation.

In [20]:

# Après td.fetch() :
notices = td_validated.notices()
first = notices[0]
print(first.id)
print(first.title)
print(first.full_text[:500])
pp.pprint(first.creator_names)
pp.pprint(first.temporal_index)

# Après td.fetch() : notices = td_validated.notices() first = notices[0] print(first.id) print(first.title) print(first.full_text[:500]) pp.pprint(first.creator_names) pp.pprint(first.temporal_index)

ENCPOS_1972_05
Le Conseil d’État sous la Restauration
Le conseil d’état sous la restauration par Michel Chabin Introduction Le Conseil d’État est une de nos plus anciennes institutions, et une de celles qui se sont le plus transformées au cours de leur histoire. Issu de la curia regis, devenu un élément essentiel du Conseil du roi sous la monarchie centralisée, il a connu, avec le Consulat et l’Empire, dans une organisation nouvelle, une époque de gloire et de splendeur, ce qui a fait considérer le Conseil d’État napoléonien comme l’ancêtre direct 
['Michel Chabin']
{'dublincore.coverage': '1814/1830',
 'dublincore.coverage_start': 1814,
 'dublincore.coverage_start_iso': '1814-01-01',
 'dublincore.coverage_end': 1830,
 'dublincore.coverage_end_iso': '1830-12-31'}

18. Exporter vers Elasticsearch¶

ThunderDots peut produire des documents ou des actions compatibles avec les conventions habituelles d’Elasticsearch.

• to_elastic_documents() produit une liste de dictionnaires ;
• to_elastic_actions(index="...") produit une liste d’actions avec _index, _id et _source.

In [22]:

# Après td.fetch() :
elastic_actions = td.to_elastic_actions(index="my_index")

pp.pprint(elastic_actions[0])

# Après td.fetch() : elastic_actions = td.to_elastic_actions(index="my_index") pp.pprint(elastic_actions[0])

{'_op_type': 'index',
 '_index': 'my_index',
 '_id': 'ENCPOS_1972_23',
 '_source': {'id': 'ENCPOS_1972_23',
             'type': 'Resource',
             'title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude '
                      'économique et sociale',
             'text': 'Sources Trois dépôts renferment des documents intéressant notre sujet. Les Archives nationales '
                     'ont livré des plans de routes (série H), des enquêtes révolutionnaires sur la situation '
                     'économique de la Corrèze (série F14) et la correspondance des intendants avec le Contrôle '
                     'général (série G7). Aux Archives départementales de la Haute-Vienne, nous avons dépouillé les '
                     'séries C (généralité de Limoges), D (collège des Jésuites) et 1G (évêché de Limoges). La majeure '
                     'partie de la documentation est rassemblée aux Archives départementales de la Corrèze, dans les '
                     'séries C (généralité de Limoges), E (titres de famille, minutes de notaires et dépôts des '
                     'communes) et F (collections de documents). Enfin, M. le marquis de Lasteyrie nous a ouvert ses '
                     'archives ; nous y avons trouvé deux plans et un état de la terre du Saillant à l’époque de la '
                     'Révolution.\n'
                     '\n'
                     'Introduction présentation géographique et historique Les quatre paroisses choisies appartiennent '
                     'à un même cadre géographique, le bassin de Brive. Relief et climat expliquent l’importance prise '
                     'par la vigne au xviiie siècle, bien que le paysage agraire puisse être défini comme « un bocage '
                     'de prés », selon l’expression d’André Meynier. L’histoire de la région est fort mal connue car '
                     'les documents font défaut. Trois seigneuries se partageaient le pays, celles de l’évêque de '
                     'Limoges, du prince de Rohan et du marquis du Saillant. Sans tenir compte de ces cadres féodaux, '
                     'la royauté a installé ses cadres administratifs : l’élection de Brive englobe Allassac, '
                     'Donzenac, Sadroc et Voutezac, mais ces paroisses sont réparties entre deux sénéchaussées, celles '
                     'de Brive et d’Uzerche.\n'
                     '\n'
                     'Première partie La terre\n'
                     '\n'
                     'Chapitre premier la répartition de la terre Présentation des documents. – Deux types de '
                     'documents ont été utilisés pour cette étude, les rôles de vingtièmes et les états de fonds. Ces '
                     'derniers sont propres au Limousin ; ils résultent de la réforme de la taille tarifée entreprise '
                     'par l’intendant Tourny (1730-1743) et poursuivie par ses successeurs. Ils décrivent, pour une '
                     'même paroisse, toutes les parcelles qui la composent et donnent la nature des cultures, la '
                     'superficie et l’estimation du revenu. Deux paroisses, Allassac et Donzenac, ont été dotées de '
                     'pareils arpentements, dans lesquels on peut voir une préfiguration du cadastre. Pour les deux '
                     'autres paroisses nous nous sommes servi des rôles de vingtièmes, mais ils sont loin de contenir '
                     'la même richesse de renseignements. Les résultats par paroisses. – Une série de tableaux '
                     'présentent les résultats du dépouillement exhaustif de ces documents. Pour chaque nature de '
                     'culture nous avons porté la superficie et le revenu de chaque catégorie de propriétaires, avec '
                     'les pourcentages respectifs. Des récapitulations ont été faites pour chaque paroisse, l’une par '
                     'propriétaires, l’autre par natures de culture. Pour les paroisses du vignoble, Allassac, '
                     'Donzenac et Voutezac, trois éléments se dégagent. Les vignerons occupent un rang prépondérant '
                     'parmi les paysans, en raison surtout de la place que tiennent les vignes dans leurs '
                     'exploitations. La propriété bourgeoise est fort appréciable, travaillée par moitié en '
                     'faire-valoir direct et en faire-valoir indirect. Enfin, les propriétaires étrangers aux '
                     'paroisses sont nombreux ; le désir de posséder des vignes et d’en boire le vin explique en '
                     'partie ce phénomène. Sadroc, paroisse du plateau, se distingue par l’absence totale de vignerons '
                     'et par l’importance des laboureurs et des journaliers. Un seul trait la rattache aux autres '
                     'paroisses, la part détenue par les propriétaires forains, qui y est assez considérable. Si la '
                     'propriété ecclésiastique est peu importante, sauf à Voutezac, celle de la noblesse est fort '
                     'variable : nulle à Sadroc, elle n’est pas négligeable à Allassac et Donzenac et atteint des '
                     'pourcentages relativement élevés à Voutezac.\n'
                     '\n'
                     'Chapitre II Cultures et exploitations ; les difficultés Les cultures. – La récapitulation par '
                     'nature de cultures permet de dresser un bilan de l’agriculture dans la région au xviiie siècle. '
                     'Les documents notariaux sont avares de renseignements, mais les enquêtes révolutionnaires '
                     'permettent d’apporter des précisions sur la culture du maïs, qui n’avait pas alors l’importance '
                     'qu’elle revêt aujourd’hui. Aussi rien ne nous permet de croire à une révolution agricole au '
                     'xviiie siècle : les usages locaux sont plutôt hérités des xvie et xviie siècles. L’exploitation. '
                     '– Définir une exploitation agricole est quelque peu difficile. L’importance du vignoble a '
                     'entraîné la constitution d’une petite propriété parcellaire d’un rapport élevé. Seuls quelques '
                     'laboureurs, les bourgeois, les nobles et les forains possèdent des domaines sous le régime du '
                     'métayage et du bail à cheptel. Ces domaines sont surtout situés sur le plateau et obéissent '
                     'alors à un assolement biennal où seigle et jachère sont associés. Les problèmes. – Les problèmes '
                     'sont posés presque exclusivement par la vigne, car la consommation locale ne suffit pas à '
                     'absorber la production. Des traces d’un commerce du vin vers Limoges, Bourganeuf et la montagne '
                     'limousine ont été relevées, mais elles sont insuffisantes pour qu’on puisse en tirer des '
                     'conclusions sérieuses. Les difficultés du commerce s’expliquent avant tout par la faible '
                     'organisation des moyens de communication : si la route de Paris à Toulouse est terminée vers '
                     '1777, le réseau routier secondaire est déplorable. Des efforts furent faits pour relier '
                     'notamment Allassac au Bariolet, mais ils n’aboutirent qu’à la veille de la Révolution.\n'
                     '\n'
                     'Deuxième partie Les hommes\n'
                     '\n'
                     'Chapitre premier les privilégiés Le clergé. – La nature viticole de la région a attiré les '
                     'établissements monastiques dès le Moyen Âge. Les abbayes reçurent en dons des vignes et des '
                     'rentes, dont le produit a perdu beaucoup de sa valeur au xviiie siècle. Par contre, au xviie '
                     'siècle, deux établissements de Limoges, les Jésuites et les Carmes, se constituèrent un '
                     'important vignoble à Voutezac en obligeant leurs débiteurs à leur vendre les vignes qu’ils y '
                     'possédaient. L’évêque de Limoges est le plus puissant seigneur ecclésiastique du pays. Ses '
                     'châtellenies d’Allassac, de Voutezac et de Sadroc lui rapportent près de la moitié de ses '
                     'revenus. Il prélève une part importante de la production agricole sous la forme de dîmes et de '
                     'rentes, dont les baux font l’objet d’un trafic actif de la part des bourgeois de la contrée. '
                     'C’est de lui que relèvent trois des justices seigneuriales de ces paroisses. Aussi les officiers '
                     'et les fermiers épiscopaux jouent-ils un grand rôle dans la vie quotidienne des habitants de ces '
                     'châtellenies au xviiie siècle. Les nobles et les privilégiés. – Les nobles sont connus par un '
                     'rôle de vingtièmes de 1780. Sur les quatre-vingt-deux nobles possessionnés dans les quatre '
                     'paroisses, quinze seulement y habitent. Le marquis du Saillant est le plus riche. Ses dix-huit '
                     'mille livres de revenu annuel, provenant de quatre seigneuries, et la charge de sénéchal de la '
                     'province en font l’un des nobles les plus puissants de la province. Les autres disposent de '
                     'revenus honnêtes mais n’hésitent pas à épouser des filles de la bourgeoisie locale, comme '
                     'Étienne de Bruchard qui se maria avec Marie Dubois. Seul Pierre des Cars se ruine peu à peu : de '
                     'dettes en ventes, ses terres sont absorbées progressivement par les bourgeois de Sadroc. Parmi '
                     'les nobles étrangers nous retrouvons la vieille noblesse limousine, les comtes de Cosnac et de '
                     'Bonneval, le marquis de Lastic Saint-Jal. Ils voisinent avec des gens anoblis par les offices de '
                     'judicature à Brive, Tulle et Uzerche. Certains de ces nouveaux nobles sont d’ailleurs '
                     'originaires de nos paroisses, comme Hélie Boutot, lieutenant criminel au présidial de Brive, né '
                     'à Donzenac. De même que les ecclésiastiques, les nobles sont attirés par les vignes et utilisent '
                     'pour se les approprier les mêmes moyens que les Jésuites ; c’est le cas de François Rochon à '
                     'Voutezac.\n'
                     '\n'
                     'Chapitre II Les paysans Les journaliers et les métayers. – Les journaliers et les métayers '
                     'forment la partie la plus pauvre de la population, celle qui a laissé le moins de traces dans '
                     'les minutes notariales. L’exemple de Girou Alvinerie, journalier de Sadroc, montre un '
                     'appauvrissement progressif, qu’aggrave la moindre difficulté économique. Celui de Pierre Deval, '
                     'au contraire, témoigne de la relative aisance de certains métayers qui utilisent les baux à '
                     'cheptel et les prêts pour placer leur argent. Les vignerons. – Les documents concernant des '
                     'vignerons sont rares. Leur originalité vient de leur spécialisation agricole qui leur donne des '
                     'revenus suffisants, mais les maintient dans une certaine dépendance vis-à-vis des bourgeois qui '
                     'possèdent l’argent et une partie des vignes. Les laboureurs. – La situation des laboureurs est '
                     'relativement stable tout au long du siècle. Le cas de Dominique Verlhac, laboureur à Sadroc, '
                     'illustre l’importance que revêt pour ce groupe la mise en ordre de la fortune familiale. Eux '
                     'aussi utilisent les prêts et les baux à cheptel pour faire fructifier leur fortune.\n'
                     '\n'
                     'Chapitre III Les bourgeois Comment on devient bourgeois. – Bien que l’accession à la bourgeoisie '
                     'soit assez rare, l’exemple de la famille Treuil d’Allassac en éclaire les étapes : le grand-père '
                     'était vigneron, le père praticien, le fils bourgeois. Les fermes des dîmes et rentes épiscopales '
                     'permettent d’accumuler les créances conjointement avec les baux à cheptel. Cela se traduit, lors '
                     'du mariage des enfants, par la constitution de dots dont le montant est élevé pour la région. '
                     'Comment on sort de la bourgeoisie. – L’ascension sociale se poursuit à l’intérieur de la '
                     'bourgeoisie vers la noblesse. Trois familles étudiées en donnent la preuve, les Dubois '
                     'd’Allassac, les Breuil de Sadroc, les Chambon de Donzenac. L’intégration à la noblesse se fait '
                     'soit par le mariage d’une fille, soit par l’achat de charges anoblissantes, soit par l’adoption '
                     'des usages nobles. Ce dernier moyen est le plus répandu et le plus illusoire. Seuls les deux '
                     'premiers donnent effectivement la noblesse.\n'
                     '\n'
                     'Conclusion La région étudiée marque le passage de la plaine aquitaine au plateau limousin. La '
                     'vigne y est la principale culture ; elle entraîne une spécialisation agricole assez forte, '
                     'marquée par la multiplication des petits propriétaires. L’exportation de la production est '
                     'contrariée par la déficience du réseau routier, malgré la présence de la route de Paris à '
                     'Toulouse. Sur le plateau les cultures sont plus pauvres et voisinent avec un peu d’élevage. De '
                     'tous les groupes sociaux étudiés les bourgeois sont les plus importants. Par les fermes des '
                     'dîmes et rentes, les baux à cheptel et à métairie, les prêts, ils dominent la vie économique de '
                     'la région. Ils utilisent cette influence dans les justices seigneuriales, dont ils détiennent '
                     'tous les offices, et dans les assemblées paroissiales, où leur opinion est prépondérante.',
             'dublincore': {'identifier': 'https://dev.chartes.psl.eu/dots/api/dts/collection?id=ENCPOS_1972_23',
                            'title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, '
                                     'Voutezac, étude économique et sociale',
                            'creator': 'Yves Soulingeas',
                            'coverage': '1700/1799'},
             'extensions': {'@context': {'dots': 'https://github.com/chartes/dots/',
                                         'schema': 'https://schema.org/',
                                         'creator': 'schema:creator',
                                         'dateCreated': 'schema:dateCreated',
                                         'inLanguage': 'schema:inLanguage',
                                         'isBasedOn': 'schema:isBasedOn',
                                         'name': 'schema:name',
                                         'publisher': 'schema:publisher',
                                         'sameAs': 'schema:sameAs',
                                         'temporalCoverage': 'schema:temporalCoverage'},
                            'creator': {'@type': 'Person',
                                        '@id': 'https://www.idref.fr/027144925',
                                        'name': 'Yves Soulingeas',
                                        'sameAs': ['https://catalogue.bnf.fr/ark:/12148/cb11925246b',
                                                   'https://wikidata.org/entity/Q38151825']},
                            'isBasedOn': {'@type': 'CreativeWork',
                                          '@id': 'https://bibnum.chartes.psl.eu/s/thenca/item/58339',
                                          'name': 'Positions des thèses soutenues par les élèves de la promotion de '
                                                  '1972 pour obtenir le diplôme d’archiviste paléographe, École des '
                                                  'chartes, Paris, 1972, p. 179-184.',
                                          'sameAs': ['https://catalogue.chartes.psl.eu/cgi-bin/koha/opac-detail.pl?biblionumber=125344',
                                                     'https://www.sudoc.fr/234910054']},
                            'publisher': {'@type': 'Organization',
                                          '@id': 'https://www.chartes.psl.eu/',
                                          'name': 'École des chartes'},
                            'dots:resourceIIIFManifest': 'https://iiif.chartes.psl.eu/encpos/encpos_1972_23/manifest',
                            'dateCreated': '1972',
                            'inLanguage': ['fre'],
                            'name': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, '
                                    'Voutezac, étude économique et sociale',
                            'temporalCoverage': '1700/1799',
                            '@type': 'Book'},
             'temporal': {'dublincore.coverage': '1700/1799',
                          'dublincore.coverage_start': 1700,
                          'dublincore.coverage_start_iso': '1700-01-01',
                          'dublincore.coverage_end': 1799,
                          'dublincore.coverage_end_iso': '1799-12-31',
                          'extensions.@context.dateCreated': 'schema:dateCreated',
                          'extensions.@context.temporalCoverage': 'schema:temporalCoverage',
                          'extensions.dateCreated': '1972',
                          'extensions.dateCreated_start': 1972,
                          'extensions.dateCreated_start_iso': '1972-01-01',
                          'extensions.dateCreated_end': 1972,
                          'extensions.dateCreated_end_iso': '1972-12-31',
                          'extensions.temporalCoverage': '1700/1799',
                          'extensions.temporalCoverage_start': 1700,
                          'extensions.temporalCoverage_start_iso': '1700-01-01',
                          'extensions.temporalCoverage_end': 1799,
                          'extensions.temporalCoverage_end_iso': '1799-12-31'},
             'creator_names': ['Yves Soulingeas'],
             'linked_parents': ['ENCPOS_1972'],
             'metadata_flat': {'dublincore.identifier': 'https://dev.chartes.psl.eu/dots/api/dts/collection?id=ENCPOS_1972_23',
                               'dublincore.title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, '
                                                   'Donzenac, Sadroc, Voutezac, étude économique et sociale',
                               'dublincore.creator': 'Yves Soulingeas',
                               'dublincore.coverage': '1700/1799',
                               'extensions.@context.dots': 'https://github.com/chartes/dots/',
                               'extensions.@context.schema': 'https://schema.org/',
                               'extensions.@context.creator': 'schema:creator',
                               'extensions.@context.dateCreated': 'schema:dateCreated',
                               'extensions.@context.inLanguage': 'schema:inLanguage',
                               'extensions.@context.isBasedOn': 'schema:isBasedOn',
                               'extensions.@context.name': 'schema:name',
                               'extensions.@context.publisher': 'schema:publisher',
                               'extensions.@context.sameAs': 'schema:sameAs',
                               'extensions.@context.temporalCoverage': 'schema:temporalCoverage',
                               'extensions.creator.@type': 'Person',
                               'extensions.creator.@id': 'https://www.idref.fr/027144925',
                               'extensions.creator.name': 'Yves Soulingeas',
                               'extensions.creator.sameAs': ['https://catalogue.bnf.fr/ark:/12148/cb11925246b',
                                                             'https://wikidata.org/entity/Q38151825'],
                               'extensions.isBasedOn.@type': 'CreativeWork',
                               'extensions.isBasedOn.@id': 'https://bibnum.chartes.psl.eu/s/thenca/item/58339',
                               'extensions.isBasedOn.name': 'Positions des thèses soutenues par les élèves de la '
                                                            'promotion de 1972 pour obtenir le diplôme d’archiviste '
                                                            'paléographe, École des chartes, Paris, 1972, p. 179-184.',
                               'extensions.isBasedOn.sameAs': ['https://catalogue.chartes.psl.eu/cgi-bin/koha/opac-detail.pl?biblionumber=125344',
                                                               'https://www.sudoc.fr/234910054'],
                               'extensions.publisher.@type': 'Organization',
                               'extensions.publisher.@id': 'https://www.chartes.psl.eu/',
                               'extensions.publisher.name': 'École des chartes',
                               'extensions.dots:resourceIIIFManifest': 'https://iiif.chartes.psl.eu/encpos/encpos_1972_23/manifest',
                               'extensions.dateCreated': '1972',
                               'extensions.inLanguage': ['fre'],
                               'extensions.name': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, '
                                                  'Donzenac, Sadroc, Voutezac, étude économique et sociale',
                               'extensions.temporalCoverage': '1700/1799',
                               'extensions.@type': 'Book',
                               'temporal.dublincore.coverage': '1700/1799',
                               'temporal.dublincore.coverage_start': 1700,
                               'temporal.dublincore.coverage_start_iso': '1700-01-01',
                               'temporal.dublincore.coverage_end': 1799,
                               'temporal.dublincore.coverage_end_iso': '1799-12-31',
                               'temporal.extensions.@context.dateCreated': 'schema:dateCreated',
                               'temporal.extensions.@context.temporalCoverage': 'schema:temporalCoverage',
                               'temporal.extensions.dateCreated': '1972',
                               'temporal.extensions.dateCreated_start': 1972,
                               'temporal.extensions.dateCreated_start_iso': '1972-01-01',
                               'temporal.extensions.dateCreated_end': 1972,
                               'temporal.extensions.dateCreated_end_iso': '1972-12-31',
                               'temporal.extensions.temporalCoverage': '1700/1799',
                               'temporal.extensions.temporalCoverage_start': 1700,
                               'temporal.extensions.temporalCoverage_start_iso': '1700-01-01',
                               'temporal.extensions.temporalCoverage_end': 1799,
                               'temporal.extensions.temporalCoverage_end_iso': '1799-12-31'},
             'fragments': [{'id': 'r963060',
                            'level': 1,
                            'head': 'Sources',
                            'content': 'Sources Trois dépôts renferment des documents intéressant notre sujet. Les '
                                       'Archives nationales ont livré des plans de routes (série H), des enquêtes '
                                       'révolutionnaires sur la situation économique de la Corrèze (série F14) et la '
                                       'correspondance des intendants avec le Contrôle général (série G7). Aux '
                                       'Archives départementales de la Haute-Vienne, nous avons dépouillé les séries C '
                                       '(généralité de Limoges), D (collège des Jésuites) et 1G (évêché de Limoges). '
                                       'La majeure partie de la documentation est rassemblée aux Archives '
                                       'départementales de la Corrèze, dans les séries C (généralité de Limoges), E '
                                       '(titres de famille, minutes de notaires et dépôts des communes) et F '
                                       '(collections de documents). Enfin, M. le marquis de Lasteyrie nous a ouvert '
                                       'ses archives ; nous y avons trouvé deux plans et un état de la terre du '
                                       'Saillant à l’époque de la Révolution.',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Sources'},
                            'breadcrumb': 'Sources'},
                           {'id': 'r963078',
                            'level': 1,
                            'head': 'Introduction présentation géographique et historique',
                            'content': 'Introduction présentation géographique et historique Les quatre paroisses '
                                       'choisies appartiennent à un même cadre géographique, le bassin de Brive. '
                                       'Relief et climat expliquent l’importance prise par la vigne au xviiie siècle, '
                                       'bien que le paysage agraire puisse être défini comme « un bocage de prés », '
                                       'selon l’expression d’André Meynier. L’histoire de la région est fort mal '
                                       'connue car les documents font défaut. Trois seigneuries se partageaient le '
                                       'pays, celles de l’évêque de Limoges, du prince de Rohan et du marquis du '
                                       'Saillant. Sans tenir compte de ces cadres féodaux, la royauté a installé ses '
                                       'cadres administratifs : l’élection de Brive englobe Allassac, Donzenac, Sadroc '
                                       'et Voutezac, mais ces paroisses sont réparties entre deux sénéchaussées, '
                                       'celles de Brive et d’Uzerche.',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Introduction présentation géographique et historique'},
                            'breadcrumb': 'Introduction présentation géographique et historique'},
                           {'id': 'r963101',
                            'level': 1,
                            'head': 'Première partie La terre',
                            'content': 'Première partie La terre',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Première partie La terre'},
                            'breadcrumb': 'Première partie La terre'},
                           {'id': 'r963109',
                            'level': 2,
                            'head': 'Chapitre premier la répartition de la terre',
                            'content': 'Chapitre premier la répartition de la terre Présentation des documents. – Deux '
                                       'types de documents ont été utilisés pour cette étude, les rôles de vingtièmes '
                                       'et les états de fonds. Ces derniers sont propres au Limousin ; ils résultent '
                                       'de la réforme de la taille tarifée entreprise par l’intendant Tourny '
                                       '(1730-1743) et poursuivie par ses successeurs. Ils décrivent, pour une même '
                                       'paroisse, toutes les parcelles qui la composent et donnent la nature des '
                                       'cultures, la superficie et l’estimation du revenu. Deux paroisses, Allassac et '
                                       'Donzenac, ont été dotées de pareils arpentements, dans lesquels on peut voir '
                                       'une préfiguration du cadastre. Pour les deux autres paroisses nous nous sommes '
                                       'servi des rôles de vingtièmes, mais ils sont loin de contenir la même richesse '
                                       'de renseignements. Les résultats par paroisses. – Une série de tableaux '
                                       'présentent les résultats du dépouillement exhaustif de ces documents. Pour '
                                       'chaque nature de culture nous avons porté la superficie et le revenu de chaque '
                                       'catégorie de propriétaires, avec les pourcentages respectifs. Des '
                                       'récapitulations ont été faites pour chaque paroisse, l’une par propriétaires, '
                                       'l’autre par natures de culture. Pour les paroisses du vignoble, Allassac, '
                                       'Donzenac et Voutezac, trois éléments se dégagent. Les vignerons occupent un '
                                       'rang prépondérant parmi les paysans, en raison surtout de la place que '
                                       'tiennent les vignes dans leurs exploitations. La propriété bourgeoise est fort '
                                       'appréciable, travaillée par moitié en faire-valoir direct et en faire-valoir '
                                       'indirect. Enfin, les propriétaires étrangers aux paroisses sont nombreux ; le '
                                       'désir de posséder des vignes et d’en boire le vin explique en partie ce '
                                       'phénomène. Sadroc, paroisse du plateau, se distingue par l’absence totale de '
                                       'vignerons et par l’importance des laboureurs et des journaliers. Un seul trait '
                                       'la rattache aux autres paroisses, la part détenue par les propriétaires '
                                       'forains, qui y est assez considérable. Si la propriété ecclésiastique est peu '
                                       'importante, sauf à Voutezac, celle de la noblesse est fort variable : nulle à '
                                       'Sadroc, elle n’est pas négligeable à Allassac et Donzenac et atteint des '
                                       'pourcentages relativement élevés à Voutezac.',
                            'citeType': None,
                            'parent': 'r963101',
                            'metadata_dublincore': {'title': 'Chapitre premier la répartition de la terre'},
                            'breadcrumb': 'Première partie La terre > Chapitre premier la répartition de la terre'},
                           {'id': 'r963138',
                            'level': 2,
                            'head': 'Chapitre II Cultures et exploitations\xa0; les difficultés',
                            'content': 'Chapitre II Cultures et exploitations ; les difficultés Les cultures. – La '
                                       'récapitulation par nature de cultures permet de dresser un bilan de '
                                       'l’agriculture dans la région au xviiie siècle. Les documents notariaux sont '
                                       'avares de renseignements, mais les enquêtes révolutionnaires permettent '
                                       'd’apporter des précisions sur la culture du maïs, qui n’avait pas alors '
                                       'l’importance qu’elle revêt aujourd’hui. Aussi rien ne nous permet de croire à '
                                       'une révolution agricole au xviiie siècle : les usages locaux sont plutôt '
                                       'hérités des xvie et xviie siècles. L’exploitation. – Définir une exploitation '
                                       'agricole est quelque peu difficile. L’importance du vignoble a entraîné la '
                                       'constitution d’une petite propriété parcellaire d’un rapport élevé. Seuls '
                                       'quelques laboureurs, les bourgeois, les nobles et les forains possèdent des '
                                       'domaines sous le régime du métayage et du bail à cheptel. Ces domaines sont '
                                       'surtout situés sur le plateau et obéissent alors à un assolement biennal où '
                                       'seigle et jachère sont associés. Les problèmes. – Les problèmes sont posés '
                                       'presque exclusivement par la vigne, car la consommation locale ne suffit pas à '
                                       'absorber la production. Des traces d’un commerce du vin vers Limoges, '
                                       'Bourganeuf et la montagne limousine ont été relevées, mais elles sont '
                                       'insuffisantes pour qu’on puisse en tirer des conclusions sérieuses. Les '
                                       'difficultés du commerce s’expliquent avant tout par la faible organisation des '
                                       'moyens de communication : si la route de Paris à Toulouse est terminée vers '
                                       '1777, le réseau routier secondaire est déplorable. Des efforts furent faits '
                                       'pour relier notamment Allassac au Bariolet, mais ils n’aboutirent qu’à la '
                                       'veille de la Révolution.',
                            'citeType': None,
                            'parent': 'r963101',
                            'metadata_dublincore': {'title': 'Chapitre II Cultures et exploitations\xa0; les '
                                                             'difficultés'},
                            'breadcrumb': 'Première partie La terre > Chapitre II Cultures et exploitations\xa0; les '
                                          'difficultés'},
                           {'id': 'r963190',
                            'level': 1,
                            'head': 'Deuxième partie Les hommes',
                            'content': 'Deuxième partie Les hommes',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Deuxième partie Les hommes'},
                            'breadcrumb': 'Deuxième partie Les hommes'},
                           {'id': 'r963203',
                            'level': 2,
                            'head': 'Chapitre premier les privilégiés',
                            'content': 'Chapitre premier les privilégiés Le clergé. – La nature viticole de la région '
                                       'a attiré les établissements monastiques dès le Moyen Âge. Les abbayes reçurent '
                                       'en dons des vignes et des rentes, dont le produit a perdu beaucoup de sa '
                                       'valeur au xviiie siècle. Par contre, au xviie siècle, deux établissements de '
                                       'Limoges, les Jésuites et les Carmes, se constituèrent un important vignoble à '
                                       'Voutezac en obligeant leurs débiteurs à leur vendre les vignes qu’ils y '
                                       'possédaient. L’évêque de Limoges est le plus puissant seigneur ecclésiastique '
                                       'du pays. Ses châtellenies d’Allassac, de Voutezac et de Sadroc lui rapportent '
                                       'près de la moitié de ses revenus. Il prélève une part importante de la '
                                       'production agricole sous la forme de dîmes et de rentes, dont les baux font '
                                       'l’objet d’un trafic actif de la part des bourgeois de la contrée. C’est de lui '
                                       'que relèvent trois des justices seigneuriales de ces paroisses. Aussi les '
                                       'officiers et les fermiers épiscopaux jouent-ils un grand rôle dans la vie '
                                       'quotidienne des habitants de ces châtellenies au xviiie siècle. Les nobles et '
                                       'les privilégiés. – Les nobles sont connus par un rôle de vingtièmes de 1780. '
                                       'Sur les quatre-vingt-deux nobles possessionnés dans les quatre paroisses, '
                                       'quinze seulement y habitent. Le marquis du Saillant est le plus riche. Ses '
                                       'dix-huit mille livres de revenu annuel, provenant de quatre seigneuries, et la '
                                       'charge de sénéchal de la province en font l’un des nobles les plus puissants '
                                       'de la province. Les autres disposent de revenus honnêtes mais n’hésitent pas à '
                                       'épouser des filles de la bourgeoisie locale, comme Étienne de Bruchard qui se '
                                       'maria avec Marie Dubois. Seul Pierre des Cars se ruine peu à peu : de dettes '
                                       'en ventes, ses terres sont absorbées progressivement par les bourgeois de '
                                       'Sadroc. Parmi les nobles étrangers nous retrouvons la vieille noblesse '
                                       'limousine, les comtes de Cosnac et de Bonneval, le marquis de Lastic '
                                       'Saint-Jal. Ils voisinent avec des gens anoblis par les offices de judicature à '
                                       'Brive, Tulle et Uzerche. Certains de ces nouveaux nobles sont d’ailleurs '
                                       'originaires de nos paroisses, comme Hélie Boutot, lieutenant criminel au '
                                       'présidial de Brive, né à Donzenac. De même que les ecclésiastiques, les nobles '
                                       'sont attirés par les vignes et utilisent pour se les approprier les mêmes '
                                       'moyens que les Jésuites ; c’est le cas de François Rochon à Voutezac.',
                            'citeType': None,
                            'parent': 'r963190',
                            'metadata_dublincore': {'title': 'Chapitre premier les privilégiés'},
                            'breadcrumb': 'Deuxième partie Les hommes > Chapitre premier les privilégiés'},
                           {'id': 'r963252',
                            'level': 2,
                            'head': 'Chapitre II Les paysans',
                            'content': 'Chapitre II Les paysans Les journaliers et les métayers. – Les journaliers et '
                                       'les métayers forment la partie la plus pauvre de la population, celle qui a '
                                       'laissé le moins de traces dans les minutes notariales. L’exemple de Girou '
                                       'Alvinerie, journalier de Sadroc, montre un appauvrissement progressif, '
                                       'qu’aggrave la moindre difficulté économique. Celui de Pierre Deval, au '
                                       'contraire, témoigne de la relative aisance de certains métayers qui utilisent '
                                       'les baux à cheptel et les prêts pour placer leur argent. Les vignerons. – Les '
                                       'documents concernant des vignerons sont rares. Leur originalité vient de leur '
                                       'spécialisation agricole qui leur donne des revenus suffisants, mais les '
                                       'maintient dans une certaine dépendance vis-à-vis des bourgeois qui possèdent '
                                       'l’argent et une partie des vignes. Les laboureurs. – La situation des '
                                       'laboureurs est relativement stable tout au long du siècle. Le cas de Dominique '
                                       'Verlhac, laboureur à Sadroc, illustre l’importance que revêt pour ce groupe la '
                                       'mise en ordre de la fortune familiale. Eux aussi utilisent les prêts et les '
                                       'baux à cheptel pour faire fructifier leur fortune.',
                            'citeType': None,
                            'parent': 'r963190',
                            'metadata_dublincore': {'title': 'Chapitre II Les paysans'},
                            'breadcrumb': 'Deuxième partie Les hommes > Chapitre II Les paysans'},
                           {'id': 'r963284',
                            'level': 2,
                            'head': 'Chapitre III Les bourgeois',
                            'content': 'Chapitre III Les bourgeois Comment on devient bourgeois. – Bien que '
                                       'l’accession à la bourgeoisie soit assez rare, l’exemple de la famille Treuil '
                                       'd’Allassac en éclaire les étapes : le grand-père était vigneron, le père '
                                       'praticien, le fils bourgeois. Les fermes des dîmes et rentes épiscopales '
                                       'permettent d’accumuler les créances conjointement avec les baux à cheptel. '
                                       'Cela se traduit, lors du mariage des enfants, par la constitution de dots dont '
                                       'le montant est élevé pour la région. Comment on sort de la bourgeoisie. – '
                                       'L’ascension sociale se poursuit à l’intérieur de la bourgeoisie vers la '
                                       'noblesse. Trois familles étudiées en donnent la preuve, les Dubois d’Allassac, '
                                       'les Breuil de Sadroc, les Chambon de Donzenac. L’intégration à la noblesse se '
                                       'fait soit par le mariage d’une fille, soit par l’achat de charges '
                                       'anoblissantes, soit par l’adoption des usages nobles. Ce dernier moyen est le '
                                       'plus répandu et le plus illusoire. Seuls les deux premiers donnent '
                                       'effectivement la noblesse.',
                            'citeType': None,
                            'parent': 'r963190',
                            'metadata_dublincore': {'title': 'Chapitre III Les bourgeois'},
                            'breadcrumb': 'Deuxième partie Les hommes > Chapitre III Les bourgeois'},
                           {'id': 'r963306',
                            'level': 1,
                            'head': 'Conclusion',
                            'content': 'Conclusion La région étudiée marque le passage de la plaine aquitaine au '
                                       'plateau limousin. La vigne y est la principale culture ; elle entraîne une '
                                       'spécialisation agricole assez forte, marquée par la multiplication des petits '
                                       'propriétaires. L’exportation de la production est contrariée par la déficience '
                                       'du réseau routier, malgré la présence de la route de Paris à Toulouse. Sur le '
                                       'plateau les cultures sont plus pauvres et voisinent avec un peu d’élevage. De '
                                       'tous les groupes sociaux étudiés les bourgeois sont les plus importants. Par '
                                       'les fermes des dîmes et rentes, les baux à cheptel et à métairie, les prêts, '
                                       'ils dominent la vie économique de la région. Ils utilisent cette influence '
                                       'dans les justices seigneuriales, dont ils détiennent tous les offices, et dans '
                                       'les assemblées paroissiales, où leur opinion est prépondérante.',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Conclusion'},
                            'breadcrumb': 'Conclusion'}]}}

19. Exporter vers Qdrant ou une base vectorielle¶

ThunderDots peut produire des payloads ou points Qdrant.

• to_qdrant_payloads() produit seulement les payloads ;
• to_qdrant_points(vectors=...) produit les points avec payload et vecteur.

La génération de vecteurs n’est pas faite par ThunderDots : elle dépend de votre modèle d’embedding ou de votre chaîne d’indexation.

In [23]:

# Après td.fetch() :
payloads = td.to_qdrant_payloads(include_fragments=True, include_raw=False)

# Exemple avec vecteurs factices, uniquement pour montrer la forme attendue :
vectors = [[0.0] * 384 for _ in payloads]
points = td.to_qdrant_points(vectors=vectors, include_fragments=True, include_raw=False)
pp.pprint(points[0])

# Après td.fetch() : payloads = td.to_qdrant_payloads(include_fragments=True, include_raw=False) # Exemple avec vecteurs factices, uniquement pour montrer la forme attendue : vectors = [[0.0] * 384 for _ in payloads] points = td.to_qdrant_points(vectors=vectors, include_fragments=True, include_raw=False) pp.pprint(points[0])

{'id': 1041187824560118672,
 'payload': {'id': 'ENCPOS_1972_23',
             'record_id': 'ENCPOS_1972_23',
             'type': 'Resource',
             'title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude '
                      'économique et sociale',
             'text': 'Sources Trois dépôts renferment des documents intéressant notre sujet. Les Archives nationales '
                     'ont livré des plans de routes (série H), des enquêtes révolutionnaires sur la situation '
                     'économique de la Corrèze (série F14) et la correspondance des intendants avec le Contrôle '
                     'général (série G7). Aux Archives départementales de la Haute-Vienne, nous avons dépouillé les '
                     'séries C (généralité de Limoges), D (collège des Jésuites) et 1G (évêché de Limoges). La majeure '
                     'partie de la documentation est rassemblée aux Archives départementales de la Corrèze, dans les '
                     'séries C (généralité de Limoges), E (titres de famille, minutes de notaires et dépôts des '
                     'communes) et F (collections de documents). Enfin, M. le marquis de Lasteyrie nous a ouvert ses '
                     'archives ; nous y avons trouvé deux plans et un état de la terre du Saillant à l’époque de la '
                     'Révolution.\n'
                     '\n'
                     'Introduction présentation géographique et historique Les quatre paroisses choisies appartiennent '
                     'à un même cadre géographique, le bassin de Brive. Relief et climat expliquent l’importance prise '
                     'par la vigne au xviiie siècle, bien que le paysage agraire puisse être défini comme « un bocage '
                     'de prés », selon l’expression d’André Meynier. L’histoire de la région est fort mal connue car '
                     'les documents font défaut. Trois seigneuries se partageaient le pays, celles de l’évêque de '
                     'Limoges, du prince de Rohan et du marquis du Saillant. Sans tenir compte de ces cadres féodaux, '
                     'la royauté a installé ses cadres administratifs : l’élection de Brive englobe Allassac, '
                     'Donzenac, Sadroc et Voutezac, mais ces paroisses sont réparties entre deux sénéchaussées, celles '
                     'de Brive et d’Uzerche.\n'
                     '\n'
                     'Première partie La terre\n'
                     '\n'
                     'Chapitre premier la répartition de la terre Présentation des documents. – Deux types de '
                     'documents ont été utilisés pour cette étude, les rôles de vingtièmes et les états de fonds. Ces '
                     'derniers sont propres au Limousin ; ils résultent de la réforme de la taille tarifée entreprise '
                     'par l’intendant Tourny (1730-1743) et poursuivie par ses successeurs. Ils décrivent, pour une '
                     'même paroisse, toutes les parcelles qui la composent et donnent la nature des cultures, la '
                     'superficie et l’estimation du revenu. Deux paroisses, Allassac et Donzenac, ont été dotées de '
                     'pareils arpentements, dans lesquels on peut voir une préfiguration du cadastre. Pour les deux '
                     'autres paroisses nous nous sommes servi des rôles de vingtièmes, mais ils sont loin de contenir '
                     'la même richesse de renseignements. Les résultats par paroisses. – Une série de tableaux '
                     'présentent les résultats du dépouillement exhaustif de ces documents. Pour chaque nature de '
                     'culture nous avons porté la superficie et le revenu de chaque catégorie de propriétaires, avec '
                     'les pourcentages respectifs. Des récapitulations ont été faites pour chaque paroisse, l’une par '
                     'propriétaires, l’autre par natures de culture. Pour les paroisses du vignoble, Allassac, '
                     'Donzenac et Voutezac, trois éléments se dégagent. Les vignerons occupent un rang prépondérant '
                     'parmi les paysans, en raison surtout de la place que tiennent les vignes dans leurs '
                     'exploitations. La propriété bourgeoise est fort appréciable, travaillée par moitié en '
                     'faire-valoir direct et en faire-valoir indirect. Enfin, les propriétaires étrangers aux '
                     'paroisses sont nombreux ; le désir de posséder des vignes et d’en boire le vin explique en '
                     'partie ce phénomène. Sadroc, paroisse du plateau, se distingue par l’absence totale de vignerons '
                     'et par l’importance des laboureurs et des journaliers. Un seul trait la rattache aux autres '
                     'paroisses, la part détenue par les propriétaires forains, qui y est assez considérable. Si la '
                     'propriété ecclésiastique est peu importante, sauf à Voutezac, celle de la noblesse est fort '
                     'variable : nulle à Sadroc, elle n’est pas négligeable à Allassac et Donzenac et atteint des '
                     'pourcentages relativement élevés à Voutezac.\n'
                     '\n'
                     'Chapitre II Cultures et exploitations ; les difficultés Les cultures. – La récapitulation par '
                     'nature de cultures permet de dresser un bilan de l’agriculture dans la région au xviiie siècle. '
                     'Les documents notariaux sont avares de renseignements, mais les enquêtes révolutionnaires '
                     'permettent d’apporter des précisions sur la culture du maïs, qui n’avait pas alors l’importance '
                     'qu’elle revêt aujourd’hui. Aussi rien ne nous permet de croire à une révolution agricole au '
                     'xviiie siècle : les usages locaux sont plutôt hérités des xvie et xviie siècles. L’exploitation. '
                     '– Définir une exploitation agricole est quelque peu difficile. L’importance du vignoble a '
                     'entraîné la constitution d’une petite propriété parcellaire d’un rapport élevé. Seuls quelques '
                     'laboureurs, les bourgeois, les nobles et les forains possèdent des domaines sous le régime du '
                     'métayage et du bail à cheptel. Ces domaines sont surtout situés sur le plateau et obéissent '
                     'alors à un assolement biennal où seigle et jachère sont associés. Les problèmes. – Les problèmes '
                     'sont posés presque exclusivement par la vigne, car la consommation locale ne suffit pas à '
                     'absorber la production. Des traces d’un commerce du vin vers Limoges, Bourganeuf et la montagne '
                     'limousine ont été relevées, mais elles sont insuffisantes pour qu’on puisse en tirer des '
                     'conclusions sérieuses. Les difficultés du commerce s’expliquent avant tout par la faible '
                     'organisation des moyens de communication : si la route de Paris à Toulouse est terminée vers '
                     '1777, le réseau routier secondaire est déplorable. Des efforts furent faits pour relier '
                     'notamment Allassac au Bariolet, mais ils n’aboutirent qu’à la veille de la Révolution.\n'
                     '\n'
                     'Deuxième partie Les hommes\n'
                     '\n'
                     'Chapitre premier les privilégiés Le clergé. – La nature viticole de la région a attiré les '
                     'établissements monastiques dès le Moyen Âge. Les abbayes reçurent en dons des vignes et des '
                     'rentes, dont le produit a perdu beaucoup de sa valeur au xviiie siècle. Par contre, au xviie '
                     'siècle, deux établissements de Limoges, les Jésuites et les Carmes, se constituèrent un '
                     'important vignoble à Voutezac en obligeant leurs débiteurs à leur vendre les vignes qu’ils y '
                     'possédaient. L’évêque de Limoges est le plus puissant seigneur ecclésiastique du pays. Ses '
                     'châtellenies d’Allassac, de Voutezac et de Sadroc lui rapportent près de la moitié de ses '
                     'revenus. Il prélève une part importante de la production agricole sous la forme de dîmes et de '
                     'rentes, dont les baux font l’objet d’un trafic actif de la part des bourgeois de la contrée. '
                     'C’est de lui que relèvent trois des justices seigneuriales de ces paroisses. Aussi les officiers '
                     'et les fermiers épiscopaux jouent-ils un grand rôle dans la vie quotidienne des habitants de ces '
                     'châtellenies au xviiie siècle. Les nobles et les privilégiés. – Les nobles sont connus par un '
                     'rôle de vingtièmes de 1780. Sur les quatre-vingt-deux nobles possessionnés dans les quatre '
                     'paroisses, quinze seulement y habitent. Le marquis du Saillant est le plus riche. Ses dix-huit '
                     'mille livres de revenu annuel, provenant de quatre seigneuries, et la charge de sénéchal de la '
                     'province en font l’un des nobles les plus puissants de la province. Les autres disposent de '
                     'revenus honnêtes mais n’hésitent pas à épouser des filles de la bourgeoisie locale, comme '
                     'Étienne de Bruchard qui se maria avec Marie Dubois. Seul Pierre des Cars se ruine peu à peu : de '
                     'dettes en ventes, ses terres sont absorbées progressivement par les bourgeois de Sadroc. Parmi '
                     'les nobles étrangers nous retrouvons la vieille noblesse limousine, les comtes de Cosnac et de '
                     'Bonneval, le marquis de Lastic Saint-Jal. Ils voisinent avec des gens anoblis par les offices de '
                     'judicature à Brive, Tulle et Uzerche. Certains de ces nouveaux nobles sont d’ailleurs '
                     'originaires de nos paroisses, comme Hélie Boutot, lieutenant criminel au présidial de Brive, né '
                     'à Donzenac. De même que les ecclésiastiques, les nobles sont attirés par les vignes et utilisent '
                     'pour se les approprier les mêmes moyens que les Jésuites ; c’est le cas de François Rochon à '
                     'Voutezac.\n'
                     '\n'
                     'Chapitre II Les paysans Les journaliers et les métayers. – Les journaliers et les métayers '
                     'forment la partie la plus pauvre de la population, celle qui a laissé le moins de traces dans '
                     'les minutes notariales. L’exemple de Girou Alvinerie, journalier de Sadroc, montre un '
                     'appauvrissement progressif, qu’aggrave la moindre difficulté économique. Celui de Pierre Deval, '
                     'au contraire, témoigne de la relative aisance de certains métayers qui utilisent les baux à '
                     'cheptel et les prêts pour placer leur argent. Les vignerons. – Les documents concernant des '
                     'vignerons sont rares. Leur originalité vient de leur spécialisation agricole qui leur donne des '
                     'revenus suffisants, mais les maintient dans une certaine dépendance vis-à-vis des bourgeois qui '
                     'possèdent l’argent et une partie des vignes. Les laboureurs. – La situation des laboureurs est '
                     'relativement stable tout au long du siècle. Le cas de Dominique Verlhac, laboureur à Sadroc, '
                     'illustre l’importance que revêt pour ce groupe la mise en ordre de la fortune familiale. Eux '
                     'aussi utilisent les prêts et les baux à cheptel pour faire fructifier leur fortune.\n'
                     '\n'
                     'Chapitre III Les bourgeois Comment on devient bourgeois. – Bien que l’accession à la bourgeoisie '
                     'soit assez rare, l’exemple de la famille Treuil d’Allassac en éclaire les étapes : le grand-père '
                     'était vigneron, le père praticien, le fils bourgeois. Les fermes des dîmes et rentes épiscopales '
                     'permettent d’accumuler les créances conjointement avec les baux à cheptel. Cela se traduit, lors '
                     'du mariage des enfants, par la constitution de dots dont le montant est élevé pour la région. '
                     'Comment on sort de la bourgeoisie. – L’ascension sociale se poursuit à l’intérieur de la '
                     'bourgeoisie vers la noblesse. Trois familles étudiées en donnent la preuve, les Dubois '
                     'd’Allassac, les Breuil de Sadroc, les Chambon de Donzenac. L’intégration à la noblesse se fait '
                     'soit par le mariage d’une fille, soit par l’achat de charges anoblissantes, soit par l’adoption '
                     'des usages nobles. Ce dernier moyen est le plus répandu et le plus illusoire. Seuls les deux '
                     'premiers donnent effectivement la noblesse.\n'
                     '\n'
                     'Conclusion La région étudiée marque le passage de la plaine aquitaine au plateau limousin. La '
                     'vigne y est la principale culture ; elle entraîne une spécialisation agricole assez forte, '
                     'marquée par la multiplication des petits propriétaires. L’exportation de la production est '
                     'contrariée par la déficience du réseau routier, malgré la présence de la route de Paris à '
                     'Toulouse. Sur le plateau les cultures sont plus pauvres et voisinent avec un peu d’élevage. De '
                     'tous les groupes sociaux étudiés les bourgeois sont les plus importants. Par les fermes des '
                     'dîmes et rentes, les baux à cheptel et à métairie, les prêts, ils dominent la vie économique de '
                     'la région. Ils utilisent cette influence dans les justices seigneuriales, dont ils détiennent '
                     'tous les offices, et dans les assemblées paroissiales, où leur opinion est prépondérante.',
             'creator_names': ['Yves Soulingeas'],
             'linked_parents': ['ENCPOS_1972'],
             'metadata': {'dublincore': {'identifier': 'https://dev.chartes.psl.eu/dots/api/dts/collection?id=ENCPOS_1972_23',
                                         'title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, '
                                                  'Donzenac, Sadroc, Voutezac, étude économique et sociale',
                                         'creator': 'Yves Soulingeas',
                                         'coverage': '1700/1799'},
                          'extensions': {'@context': {'dots': 'https://github.com/chartes/dots/',
                                                      'schema': 'https://schema.org/',
                                                      'creator': 'schema:creator',
                                                      'dateCreated': 'schema:dateCreated',
                                                      'inLanguage': 'schema:inLanguage',
                                                      'isBasedOn': 'schema:isBasedOn',
                                                      'name': 'schema:name',
                                                      'publisher': 'schema:publisher',
                                                      'sameAs': 'schema:sameAs',
                                                      'temporalCoverage': 'schema:temporalCoverage'},
                                         'creator': {'@type': 'Person',
                                                     '@id': 'https://www.idref.fr/027144925',
                                                     'name': 'Yves Soulingeas',
                                                     'sameAs': ['https://catalogue.bnf.fr/ark:/12148/cb11925246b',
                                                                'https://wikidata.org/entity/Q38151825']},
                                         'isBasedOn': {'@type': 'CreativeWork',
                                                       '@id': 'https://bibnum.chartes.psl.eu/s/thenca/item/58339',
                                                       'name': 'Positions des thèses soutenues par les élèves de la '
                                                               'promotion de 1972 pour obtenir le diplôme d’archiviste '
                                                               'paléographe, École des chartes, Paris, 1972, p. '
                                                               '179-184.',
                                                       'sameAs': ['https://catalogue.chartes.psl.eu/cgi-bin/koha/opac-detail.pl?biblionumber=125344',
                                                                  'https://www.sudoc.fr/234910054']},
                                         'publisher': {'@type': 'Organization',
                                                       '@id': 'https://www.chartes.psl.eu/',
                                                       'name': 'École des chartes'},
                                         'dots:resourceIIIFManifest': 'https://iiif.chartes.psl.eu/encpos/encpos_1972_23/manifest',
                                         'dateCreated': '1972',
                                         'inLanguage': ['fre'],
                                         'name': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, '
                                                 'Donzenac, Sadroc, Voutezac, étude économique et sociale',
                                         'temporalCoverage': '1700/1799',
                                         '@type': 'Book'},
                          'temporal': {'dublincore.coverage': '1700/1799',
                                       'dublincore.coverage_start': 1700,
                                       'dublincore.coverage_start_iso': '1700-01-01',
                                       'dublincore.coverage_end': 1799,
                                       'dublincore.coverage_end_iso': '1799-12-31',
                                       'extensions.@context.dateCreated': 'schema:dateCreated',
                                       'extensions.@context.temporalCoverage': 'schema:temporalCoverage',
                                       'extensions.dateCreated': '1972',
                                       'extensions.dateCreated_start': 1972,
                                       'extensions.dateCreated_start_iso': '1972-01-01',
                                       'extensions.dateCreated_end': 1972,
                                       'extensions.dateCreated_end_iso': '1972-12-31',
                                       'extensions.temporalCoverage': '1700/1799',
                                       'extensions.temporalCoverage_start': 1700,
                                       'extensions.temporalCoverage_start_iso': '1700-01-01',
                                       'extensions.temporalCoverage_end': 1799,
                                       'extensions.temporalCoverage_end_iso': '1799-12-31'}},
             'metadata_flat': {'dublincore.identifier': 'https://dev.chartes.psl.eu/dots/api/dts/collection?id=ENCPOS_1972_23',
                               'dublincore.title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, '
                                                   'Donzenac, Sadroc, Voutezac, étude économique et sociale',
                               'dublincore.creator': 'Yves Soulingeas',
                               'dublincore.coverage': '1700/1799',
                               'extensions.@context.dots': 'https://github.com/chartes/dots/',
                               'extensions.@context.schema': 'https://schema.org/',
                               'extensions.@context.creator': 'schema:creator',
                               'extensions.@context.dateCreated': 'schema:dateCreated',
                               'extensions.@context.inLanguage': 'schema:inLanguage',
                               'extensions.@context.isBasedOn': 'schema:isBasedOn',
                               'extensions.@context.name': 'schema:name',
                               'extensions.@context.publisher': 'schema:publisher',
                               'extensions.@context.sameAs': 'schema:sameAs',
                               'extensions.@context.temporalCoverage': 'schema:temporalCoverage',
                               'extensions.creator.@type': 'Person',
                               'extensions.creator.@id': 'https://www.idref.fr/027144925',
                               'extensions.creator.name': 'Yves Soulingeas',
                               'extensions.creator.sameAs': ['https://catalogue.bnf.fr/ark:/12148/cb11925246b',
                                                             'https://wikidata.org/entity/Q38151825'],
                               'extensions.isBasedOn.@type': 'CreativeWork',
                               'extensions.isBasedOn.@id': 'https://bibnum.chartes.psl.eu/s/thenca/item/58339',
                               'extensions.isBasedOn.name': 'Positions des thèses soutenues par les élèves de la '
                                                            'promotion de 1972 pour obtenir le diplôme d’archiviste '
                                                            'paléographe, École des chartes, Paris, 1972, p. 179-184.',
                               'extensions.isBasedOn.sameAs': ['https://catalogue.chartes.psl.eu/cgi-bin/koha/opac-detail.pl?biblionumber=125344',
                                                               'https://www.sudoc.fr/234910054'],
                               'extensions.publisher.@type': 'Organization',
                               'extensions.publisher.@id': 'https://www.chartes.psl.eu/',
                               'extensions.publisher.name': 'École des chartes',
                               'extensions.dots:resourceIIIFManifest': 'https://iiif.chartes.psl.eu/encpos/encpos_1972_23/manifest',
                               'extensions.dateCreated': '1972',
                               'extensions.inLanguage': ['fre'],
                               'extensions.name': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, '
                                                  'Donzenac, Sadroc, Voutezac, étude économique et sociale',
                               'extensions.temporalCoverage': '1700/1799',
                               'extensions.@type': 'Book',
                               'temporal.dublincore.coverage': '1700/1799',
                               'temporal.dublincore.coverage_start': 1700,
                               'temporal.dublincore.coverage_start_iso': '1700-01-01',
                               'temporal.dublincore.coverage_end': 1799,
                               'temporal.dublincore.coverage_end_iso': '1799-12-31',
                               'temporal.extensions.@context.dateCreated': 'schema:dateCreated',
                               'temporal.extensions.@context.temporalCoverage': 'schema:temporalCoverage',
                               'temporal.extensions.dateCreated': '1972',
                               'temporal.extensions.dateCreated_start': 1972,
                               'temporal.extensions.dateCreated_start_iso': '1972-01-01',
                               'temporal.extensions.dateCreated_end': 1972,
                               'temporal.extensions.dateCreated_end_iso': '1972-12-31',
                               'temporal.extensions.temporalCoverage': '1700/1799',
                               'temporal.extensions.temporalCoverage_start': 1700,
                               'temporal.extensions.temporalCoverage_start_iso': '1700-01-01',
                               'temporal.extensions.temporalCoverage_end': 1799,
                               'temporal.extensions.temporalCoverage_end_iso': '1799-12-31'},
             'dublincore__identifier': 'https://dev.chartes.psl.eu/dots/api/dts/collection?id=ENCPOS_1972_23',
             'dublincore__title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, '
                                  'Voutezac, étude économique et sociale',
             'dublincore__creator': 'Yves Soulingeas',
             'dublincore__coverage': '1700/1799',
             'extensions__context__dots': 'https://github.com/chartes/dots/',
             'extensions__context__schema': 'https://schema.org/',
             'extensions__context__creator': 'schema:creator',
             'extensions__context__dateCreated': 'schema:dateCreated',
             'extensions__context__inLanguage': 'schema:inLanguage',
             'extensions__context__isBasedOn': 'schema:isBasedOn',
             'extensions__context__name': 'schema:name',
             'extensions__context__publisher': 'schema:publisher',
             'extensions__context__sameAs': 'schema:sameAs',
             'extensions__context__temporalCoverage': 'schema:temporalCoverage',
             'extensions__creator__type': 'Person',
             'extensions__creator__id': 'https://www.idref.fr/027144925',
             'extensions__creator__name': 'Yves Soulingeas',
             'extensions__creator__sameAs': ['https://catalogue.bnf.fr/ark:/12148/cb11925246b',
                                             'https://wikidata.org/entity/Q38151825'],
             'extensions__isBasedOn__type': 'CreativeWork',
             'extensions__isBasedOn__id': 'https://bibnum.chartes.psl.eu/s/thenca/item/58339',
             'extensions__isBasedOn__name': 'Positions des thèses soutenues par les élèves de la promotion de 1972 '
                                            'pour obtenir le diplôme d’archiviste paléographe, École des chartes, '
                                            'Paris, 1972, p. 179-184.',
             'extensions__isBasedOn__sameAs': ['https://catalogue.chartes.psl.eu/cgi-bin/koha/opac-detail.pl?biblionumber=125344',
                                               'https://www.sudoc.fr/234910054'],
             'extensions__publisher__type': 'Organization',
             'extensions__publisher__id': 'https://www.chartes.psl.eu/',
             'extensions__publisher__name': 'École des chartes',
             'extensions__dots__resourceIIIFManifest': 'https://iiif.chartes.psl.eu/encpos/encpos_1972_23/manifest',
             'extensions__dateCreated': '1972',
             'extensions__inLanguage': ['fre'],
             'extensions__name': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, '
                                 'Voutezac, étude économique et sociale',
             'extensions__temporalCoverage': '1700/1799',
             'extensions__type': 'Book',
             'temporal__dublincore__coverage': '1700/1799',
             'temporal__dublincore__coverage_start': 1700,
             'temporal__dublincore__coverage_start_iso': '1700-01-01',
             'temporal__dublincore__coverage_end': 1799,
             'temporal__dublincore__coverage_end_iso': '1799-12-31',
             'temporal__extensions__context__dateCreated': 'schema:dateCreated',
             'temporal__extensions__context__temporalCoverage': 'schema:temporalCoverage',
             'temporal__extensions__dateCreated': '1972',
             'temporal__extensions__dateCreated_start': 1972,
             'temporal__extensions__dateCreated_start_iso': '1972-01-01',
             'temporal__extensions__dateCreated_end': 1972,
             'temporal__extensions__dateCreated_end_iso': '1972-12-31',
             'temporal__extensions__temporalCoverage': '1700/1799',
             'temporal__extensions__temporalCoverage_start': 1700,
             'temporal__extensions__temporalCoverage_start_iso': '1700-01-01',
             'temporal__extensions__temporalCoverage_end': 1799,
             'temporal__extensions__temporalCoverage_end_iso': '1799-12-31',
             'fragments': [{'id': 'r963060',
                            'level': 1,
                            'head': 'Sources',
                            'content': 'Sources Trois dépôts renferment des documents intéressant notre sujet. Les '
                                       'Archives nationales ont livré des plans de routes (série H), des enquêtes '
                                       'révolutionnaires sur la situation économique de la Corrèze (série F14) et la '
                                       'correspondance des intendants avec le Contrôle général (série G7). Aux '
                                       'Archives départementales de la Haute-Vienne, nous avons dépouillé les séries C '
                                       '(généralité de Limoges), D (collège des Jésuites) et 1G (évêché de Limoges). '
                                       'La majeure partie de la documentation est rassemblée aux Archives '
                                       'départementales de la Corrèze, dans les séries C (généralité de Limoges), E '
                                       '(titres de famille, minutes de notaires et dépôts des communes) et F '
                                       '(collections de documents). Enfin, M. le marquis de Lasteyrie nous a ouvert '
                                       'ses archives ; nous y avons trouvé deux plans et un état de la terre du '
                                       'Saillant à l’époque de la Révolution.',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Sources'},
                            'breadcrumb': 'Sources'},
                           {'id': 'r963078',
                            'level': 1,
                            'head': 'Introduction présentation géographique et historique',
                            'content': 'Introduction présentation géographique et historique Les quatre paroisses '
                                       'choisies appartiennent à un même cadre géographique, le bassin de Brive. '
                                       'Relief et climat expliquent l’importance prise par la vigne au xviiie siècle, '
                                       'bien que le paysage agraire puisse être défini comme « un bocage de prés », '
                                       'selon l’expression d’André Meynier. L’histoire de la région est fort mal '
                                       'connue car les documents font défaut. Trois seigneuries se partageaient le '
                                       'pays, celles de l’évêque de Limoges, du prince de Rohan et du marquis du '
                                       'Saillant. Sans tenir compte de ces cadres féodaux, la royauté a installé ses '
                                       'cadres administratifs : l’élection de Brive englobe Allassac, Donzenac, Sadroc '
                                       'et Voutezac, mais ces paroisses sont réparties entre deux sénéchaussées, '
                                       'celles de Brive et d’Uzerche.',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Introduction présentation géographique et historique'},
                            'breadcrumb': 'Introduction présentation géographique et historique'},
                           {'id': 'r963101',
                            'level': 1,
                            'head': 'Première partie La terre',
                            'content': 'Première partie La terre',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Première partie La terre'},
                            'breadcrumb': 'Première partie La terre'},
                           {'id': 'r963109',
                            'level': 2,
                            'head': 'Chapitre premier la répartition de la terre',
                            'content': 'Chapitre premier la répartition de la terre Présentation des documents. – Deux '
                                       'types de documents ont été utilisés pour cette étude, les rôles de vingtièmes '
                                       'et les états de fonds. Ces derniers sont propres au Limousin ; ils résultent '
                                       'de la réforme de la taille tarifée entreprise par l’intendant Tourny '
                                       '(1730-1743) et poursuivie par ses successeurs. Ils décrivent, pour une même '
                                       'paroisse, toutes les parcelles qui la composent et donnent la nature des '
                                       'cultures, la superficie et l’estimation du revenu. Deux paroisses, Allassac et '
                                       'Donzenac, ont été dotées de pareils arpentements, dans lesquels on peut voir '
                                       'une préfiguration du cadastre. Pour les deux autres paroisses nous nous sommes '
                                       'servi des rôles de vingtièmes, mais ils sont loin de contenir la même richesse '
                                       'de renseignements. Les résultats par paroisses. – Une série de tableaux '
                                       'présentent les résultats du dépouillement exhaustif de ces documents. Pour '
                                       'chaque nature de culture nous avons porté la superficie et le revenu de chaque '
                                       'catégorie de propriétaires, avec les pourcentages respectifs. Des '
                                       'récapitulations ont été faites pour chaque paroisse, l’une par propriétaires, '
                                       'l’autre par natures de culture. Pour les paroisses du vignoble, Allassac, '
                                       'Donzenac et Voutezac, trois éléments se dégagent. Les vignerons occupent un '
                                       'rang prépondérant parmi les paysans, en raison surtout de la place que '
                                       'tiennent les vignes dans leurs exploitations. La propriété bourgeoise est fort '
                                       'appréciable, travaillée par moitié en faire-valoir direct et en faire-valoir '
                                       'indirect. Enfin, les propriétaires étrangers aux paroisses sont nombreux ; le '
                                       'désir de posséder des vignes et d’en boire le vin explique en partie ce '
                                       'phénomène. Sadroc, paroisse du plateau, se distingue par l’absence totale de '
                                       'vignerons et par l’importance des laboureurs et des journaliers. Un seul trait '
                                       'la rattache aux autres paroisses, la part détenue par les propriétaires '
                                       'forains, qui y est assez considérable. Si la propriété ecclésiastique est peu '
                                       'importante, sauf à Voutezac, celle de la noblesse est fort variable : nulle à '
                                       'Sadroc, elle n’est pas négligeable à Allassac et Donzenac et atteint des '
                                       'pourcentages relativement élevés à Voutezac.',
                            'citeType': None,
                            'parent': 'r963101',
                            'metadata_dublincore': {'title': 'Chapitre premier la répartition de la terre'},
                            'breadcrumb': 'Première partie La terre > Chapitre premier la répartition de la terre'},
                           {'id': 'r963138',
                            'level': 2,
                            'head': 'Chapitre II Cultures et exploitations\xa0; les difficultés',
                            'content': 'Chapitre II Cultures et exploitations ; les difficultés Les cultures. – La '
                                       'récapitulation par nature de cultures permet de dresser un bilan de '
                                       'l’agriculture dans la région au xviiie siècle. Les documents notariaux sont '
                                       'avares de renseignements, mais les enquêtes révolutionnaires permettent '
                                       'd’apporter des précisions sur la culture du maïs, qui n’avait pas alors '
                                       'l’importance qu’elle revêt aujourd’hui. Aussi rien ne nous permet de croire à '
                                       'une révolution agricole au xviiie siècle : les usages locaux sont plutôt '
                                       'hérités des xvie et xviie siècles. L’exploitation. – Définir une exploitation '
                                       'agricole est quelque peu difficile. L’importance du vignoble a entraîné la '
                                       'constitution d’une petite propriété parcellaire d’un rapport élevé. Seuls '
                                       'quelques laboureurs, les bourgeois, les nobles et les forains possèdent des '
                                       'domaines sous le régime du métayage et du bail à cheptel. Ces domaines sont '
                                       'surtout situés sur le plateau et obéissent alors à un assolement biennal où '
                                       'seigle et jachère sont associés. Les problèmes. – Les problèmes sont posés '
                                       'presque exclusivement par la vigne, car la consommation locale ne suffit pas à '
                                       'absorber la production. Des traces d’un commerce du vin vers Limoges, '
                                       'Bourganeuf et la montagne limousine ont été relevées, mais elles sont '
                                       'insuffisantes pour qu’on puisse en tirer des conclusions sérieuses. Les '
                                       'difficultés du commerce s’expliquent avant tout par la faible organisation des '
                                       'moyens de communication : si la route de Paris à Toulouse est terminée vers '
                                       '1777, le réseau routier secondaire est déplorable. Des efforts furent faits '
                                       'pour relier notamment Allassac au Bariolet, mais ils n’aboutirent qu’à la '
                                       'veille de la Révolution.',
                            'citeType': None,
                            'parent': 'r963101',
                            'metadata_dublincore': {'title': 'Chapitre II Cultures et exploitations\xa0; les '
                                                             'difficultés'},
                            'breadcrumb': 'Première partie La terre > Chapitre II Cultures et exploitations\xa0; les '
                                          'difficultés'},
                           {'id': 'r963190',
                            'level': 1,
                            'head': 'Deuxième partie Les hommes',
                            'content': 'Deuxième partie Les hommes',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Deuxième partie Les hommes'},
                            'breadcrumb': 'Deuxième partie Les hommes'},
                           {'id': 'r963203',
                            'level': 2,
                            'head': 'Chapitre premier les privilégiés',
                            'content': 'Chapitre premier les privilégiés Le clergé. – La nature viticole de la région '
                                       'a attiré les établissements monastiques dès le Moyen Âge. Les abbayes reçurent '
                                       'en dons des vignes et des rentes, dont le produit a perdu beaucoup de sa '
                                       'valeur au xviiie siècle. Par contre, au xviie siècle, deux établissements de '
                                       'Limoges, les Jésuites et les Carmes, se constituèrent un important vignoble à '
                                       'Voutezac en obligeant leurs débiteurs à leur vendre les vignes qu’ils y '
                                       'possédaient. L’évêque de Limoges est le plus puissant seigneur ecclésiastique '
                                       'du pays. Ses châtellenies d’Allassac, de Voutezac et de Sadroc lui rapportent '
                                       'près de la moitié de ses revenus. Il prélève une part importante de la '
                                       'production agricole sous la forme de dîmes et de rentes, dont les baux font '
                                       'l’objet d’un trafic actif de la part des bourgeois de la contrée. C’est de lui '
                                       'que relèvent trois des justices seigneuriales de ces paroisses. Aussi les '
                                       'officiers et les fermiers épiscopaux jouent-ils un grand rôle dans la vie '
                                       'quotidienne des habitants de ces châtellenies au xviiie siècle. Les nobles et '
                                       'les privilégiés. – Les nobles sont connus par un rôle de vingtièmes de 1780. '
                                       'Sur les quatre-vingt-deux nobles possessionnés dans les quatre paroisses, '
                                       'quinze seulement y habitent. Le marquis du Saillant est le plus riche. Ses '
                                       'dix-huit mille livres de revenu annuel, provenant de quatre seigneuries, et la '
                                       'charge de sénéchal de la province en font l’un des nobles les plus puissants '
                                       'de la province. Les autres disposent de revenus honnêtes mais n’hésitent pas à '
                                       'épouser des filles de la bourgeoisie locale, comme Étienne de Bruchard qui se '
                                       'maria avec Marie Dubois. Seul Pierre des Cars se ruine peu à peu : de dettes '
                                       'en ventes, ses terres sont absorbées progressivement par les bourgeois de '
                                       'Sadroc. Parmi les nobles étrangers nous retrouvons la vieille noblesse '
                                       'limousine, les comtes de Cosnac et de Bonneval, le marquis de Lastic '
                                       'Saint-Jal. Ils voisinent avec des gens anoblis par les offices de judicature à '
                                       'Brive, Tulle et Uzerche. Certains de ces nouveaux nobles sont d’ailleurs '
                                       'originaires de nos paroisses, comme Hélie Boutot, lieutenant criminel au '
                                       'présidial de Brive, né à Donzenac. De même que les ecclésiastiques, les nobles '
                                       'sont attirés par les vignes et utilisent pour se les approprier les mêmes '
                                       'moyens que les Jésuites ; c’est le cas de François Rochon à Voutezac.',
                            'citeType': None,
                            'parent': 'r963190',
                            'metadata_dublincore': {'title': 'Chapitre premier les privilégiés'},
                            'breadcrumb': 'Deuxième partie Les hommes > Chapitre premier les privilégiés'},
                           {'id': 'r963252',
                            'level': 2,
                            'head': 'Chapitre II Les paysans',
                            'content': 'Chapitre II Les paysans Les journaliers et les métayers. – Les journaliers et '
                                       'les métayers forment la partie la plus pauvre de la population, celle qui a '
                                       'laissé le moins de traces dans les minutes notariales. L’exemple de Girou '
                                       'Alvinerie, journalier de Sadroc, montre un appauvrissement progressif, '
                                       'qu’aggrave la moindre difficulté économique. Celui de Pierre Deval, au '
                                       'contraire, témoigne de la relative aisance de certains métayers qui utilisent '
                                       'les baux à cheptel et les prêts pour placer leur argent. Les vignerons. – Les '
                                       'documents concernant des vignerons sont rares. Leur originalité vient de leur '
                                       'spécialisation agricole qui leur donne des revenus suffisants, mais les '
                                       'maintient dans une certaine dépendance vis-à-vis des bourgeois qui possèdent '
                                       'l’argent et une partie des vignes. Les laboureurs. – La situation des '
                                       'laboureurs est relativement stable tout au long du siècle. Le cas de Dominique '
                                       'Verlhac, laboureur à Sadroc, illustre l’importance que revêt pour ce groupe la '
                                       'mise en ordre de la fortune familiale. Eux aussi utilisent les prêts et les '
                                       'baux à cheptel pour faire fructifier leur fortune.',
                            'citeType': None,
                            'parent': 'r963190',
                            'metadata_dublincore': {'title': 'Chapitre II Les paysans'},
                            'breadcrumb': 'Deuxième partie Les hommes > Chapitre II Les paysans'},
                           {'id': 'r963284',
                            'level': 2,
                            'head': 'Chapitre III Les bourgeois',
                            'content': 'Chapitre III Les bourgeois Comment on devient bourgeois. – Bien que '
                                       'l’accession à la bourgeoisie soit assez rare, l’exemple de la famille Treuil '
                                       'd’Allassac en éclaire les étapes : le grand-père était vigneron, le père '
                                       'praticien, le fils bourgeois. Les fermes des dîmes et rentes épiscopales '
                                       'permettent d’accumuler les créances conjointement avec les baux à cheptel. '
                                       'Cela se traduit, lors du mariage des enfants, par la constitution de dots dont '
                                       'le montant est élevé pour la région. Comment on sort de la bourgeoisie. – '
                                       'L’ascension sociale se poursuit à l’intérieur de la bourgeoisie vers la '
                                       'noblesse. Trois familles étudiées en donnent la preuve, les Dubois d’Allassac, '
                                       'les Breuil de Sadroc, les Chambon de Donzenac. L’intégration à la noblesse se '
                                       'fait soit par le mariage d’une fille, soit par l’achat de charges '
                                       'anoblissantes, soit par l’adoption des usages nobles. Ce dernier moyen est le '
                                       'plus répandu et le plus illusoire. Seuls les deux premiers donnent '
                                       'effectivement la noblesse.',
                            'citeType': None,
                            'parent': 'r963190',
                            'metadata_dublincore': {'title': 'Chapitre III Les bourgeois'},
                            'breadcrumb': 'Deuxième partie Les hommes > Chapitre III Les bourgeois'},
                           {'id': 'r963306',
                            'level': 1,
                            'head': 'Conclusion',
                            'content': 'Conclusion La région étudiée marque le passage de la plaine aquitaine au '
                                       'plateau limousin. La vigne y est la principale culture ; elle entraîne une '
                                       'spécialisation agricole assez forte, marquée par la multiplication des petits '
                                       'propriétaires. L’exportation de la production est contrariée par la déficience '
                                       'du réseau routier, malgré la présence de la route de Paris à Toulouse. Sur le '
                                       'plateau les cultures sont plus pauvres et voisinent avec un peu d’élevage. De '
                                       'tous les groupes sociaux étudiés les bourgeois sont les plus importants. Par '
                                       'les fermes des dîmes et rentes, les baux à cheptel et à métairie, les prêts, '
                                       'ils dominent la vie économique de la région. Ils utilisent cette influence '
                                       'dans les justices seigneuriales, dont ils détiennent tous les offices, et dans '
                                       'les assemblées paroissiales, où leur opinion est prépondérante.',
                            'citeType': None,
                            'parent': None,
                            'metadata_dublincore': {'title': 'Conclusion'},
                            'breadcrumb': 'Conclusion'}]},
 'vector': [0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0,
            0.0]}

20. Construire ses propres enregistrements d’indexation¶

Dans beaucoup de cas, on veut transformer les fragments ThunderDots en documents plats, par exemple pour une chaîne de recherche plein texte, une base vectorielle, un pipeline RAG ou un traitement linguistique.

La fonction suivante produit un document par fragment.

In [24]:

def iter_fragment_documents(results: dict):
    for resource in results.get("resource_results", []):
        resource_id = resource.get("id")
        title = resource.get("title")
        metadata = resource.get("metadata") or {}
        linked_parents = resource.get("linked_parents") or []

        for index, fragment in enumerate(resource.get("fragments", [])):
            content = (fragment.get("content") or "").strip()
            if not content:
                continue

            yield {
                "id": f"{resource_id}__frag_{index}",
                "record_id": resource_id,
                "fragment_id": fragment.get("id"),
                "title": title,
                "head": fragment.get("head"),
                "breadcrumb": fragment.get("breadcrumb"),
                "text": content,
                "metadata": metadata,
                "linked_parents": linked_parents,
            }


docs = list(iter_fragment_documents(results))
pp.pprint(docs[0])

def iter_fragment_documents(results: dict): for resource in results.get("resource_results", []): resource_id = resource.get("id") title = resource.get("title") metadata = resource.get("metadata") or {} linked_parents = resource.get("linked_parents") or [] for index, fragment in enumerate(resource.get("fragments", [])): content = (fragment.get("content") or "").strip() if not content: continue yield { "id": f"{resource_id}__frag_{index}", "record_id": resource_id, "fragment_id": fragment.get("id"), "title": title, "head": fragment.get("head"), "breadcrumb": fragment.get("breadcrumb"), "text": content, "metadata": metadata, "linked_parents": linked_parents, } docs = list(iter_fragment_documents(results)) pp.pprint(docs[0])

{'id': 'ENCPOS_1972_23__frag_0',
 'record_id': 'ENCPOS_1972_23',
 'fragment_id': 'r963060',
 'title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, Voutezac, étude économique '
          'et sociale',
 'head': 'Sources',
 'breadcrumb': 'Sources',
 'text': 'Sources Trois dépôts renferment des documents intéressant notre sujet. Les Archives nationales ont livré des '
         'plans de routes (série H), des enquêtes révolutionnaires sur la situation économique de la Corrèze (série '
         'F14) et la correspondance des intendants avec le Contrôle général (série G7). Aux Archives départementales '
         'de la Haute-Vienne, nous avons dépouillé les séries C (généralité de Limoges), D (collège des Jésuites) et '
         '1G (évêché de Limoges). La majeure partie de la documentation est rassemblée aux Archives départementales de '
         'la Corrèze, dans les séries C (généralité de Limoges), E (titres de famille, minutes de notaires et dépôts '
         'des communes) et F (collections de documents). Enfin, M. le marquis de Lasteyrie nous a ouvert ses archives '
         '; nous y avons trouvé deux plans et un état de la terre du Saillant à l’époque de la Révolution.',
 'metadata': {'dublincore': {'identifier': 'https://dev.chartes.psl.eu/dots/api/dts/collection?id=ENCPOS_1972_23',
                             'title': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, '
                                      'Voutezac, étude économique et sociale',
                             'creator': 'Yves Soulingeas',
                             'coverage': '1700/1799'},
              'extensions': {'@context': {'dots': 'https://github.com/chartes/dots/',
                                          'schema': 'https://schema.org/',
                                          'creator': 'schema:creator',
                                          'dateCreated': 'schema:dateCreated',
                                          'inLanguage': 'schema:inLanguage',
                                          'isBasedOn': 'schema:isBasedOn',
                                          'name': 'schema:name',
                                          'publisher': 'schema:publisher',
                                          'sameAs': 'schema:sameAs',
                                          'temporalCoverage': 'schema:temporalCoverage'},
                             'creator': {'@type': 'Person',
                                         '@id': 'https://www.idref.fr/027144925',
                                         'name': 'Yves Soulingeas',
                                         'sameAs': ['https://catalogue.bnf.fr/ark:/12148/cb11925246b',
                                                    'https://wikidata.org/entity/Q38151825']},
                             'isBasedOn': {'@type': 'CreativeWork',
                                           '@id': 'https://bibnum.chartes.psl.eu/s/thenca/item/58339',
                                           'name': 'Positions des thèses soutenues par les élèves de la promotion de '
                                                   '1972 pour obtenir le diplôme d’archiviste paléographe, École des '
                                                   'chartes, Paris, 1972, p. 179-184.',
                                           'sameAs': ['https://catalogue.chartes.psl.eu/cgi-bin/koha/opac-detail.pl?biblionumber=125344',
                                                      'https://www.sudoc.fr/234910054']},
                             'publisher': {'@type': 'Organization',
                                           '@id': 'https://www.chartes.psl.eu/',
                                           'name': 'École des chartes'},
                             'dots:resourceIIIFManifest': 'https://iiif.chartes.psl.eu/encpos/encpos_1972_23/manifest',
                             'dateCreated': '1972',
                             'inLanguage': ['fre'],
                             'name': 'Quatre paroisses en bas Limousin au xviiie siècle : Allassac, Donzenac, Sadroc, '
                                     'Voutezac, étude économique et sociale',
                             'temporalCoverage': '1700/1799',
                             '@type': 'Book'}},
 'linked_parents': ['ENCPOS_1972']}

21. Paramètres principaux de ThunderDots¶

| Paramètre | Type | Rôle | |---|---:|---| | endpoint_dts | str | URL racine de l’API DTS | | collection_params | dict | paramètres de parcours des collections | | resource_params | dict | paramètres de récupération et fragmentation des ressources | | validate | bool | ajoute un rapport de validation JSON | | verbose | bool | active l’interface de progression Rich | | concurrency | int | nombre de workers concurrents | | request_timeout | float | timeout HTTP par requête | | retries | int | nombre de tentatives en cas d’échec temporaire | | backoff_ms | int | délai de backoff entre les tentatives | | output_path | str | None | chemin du JSON complet | | cache_csv_path | str | None | chemin du CSV de synthèse | | use_cache | bool | recharge output_path s’il existe |

22. Paramètres de collection¶

collection_params contrôle le point de départ et le filtrage des collections.

| Paramètre | Type | Rôle | |---|---:|---| | collection_id | str | None | collection de départ ; None part de la racine | | excluded_ids | list[str] | collections ou ressources à ignorer lors du parcours | | metadata_dublincore | list[str] | champs Dublin Core à conserver pour les collections | | metadata_extensions | list[str] | champs d’extension à conserver pour les collections |

Exemple :

In [25]:

collection_params = {
    "collection_id": COLLECTION_ID,
    "excluded_ids": ["collection_to_skip"],
    "metadata_dublincore": ["title"],
    "metadata_extensions": [],
}

collection_params = { "collection_id": COLLECTION_ID, "excluded_ids": ["collection_to_skip"], "metadata_dublincore": ["title"], "metadata_extensions": [], }

23. Paramètres de ressource¶

resource_params contrôle la récupération des documents, la navigation et la fragmentation.

| Paramètre | Type | Défaut | Rôle | |---|---:|---:|---| | metadata_dublincore | list[str] | [] | champs Dublin Core de ressource | | metadata_extensions | list[str] | [] | champs d’extension de ressource | | add_head_to_content | bool | True | ajoute les titres dans le texte | | include_breadcrumb | bool | True | ajoute un fil d’Ariane si disponible | | exclude_heads_contains | list[str] | [] | exclut des fragments par titre | | fetch_document | bool | True | récupère /document | | fetch_navigation | bool | True | récupère /navigation si utile | | fragment_mode | str | auto | auto, navigation, document, tei_xpath | | fragment_xpath | str | None | None | XPath TEI des fragments en mode tei_xpath | | title_xpath | str | ./tei:head | XPath du titre local | | remove_fragment_heads | bool | True | retire les <head> locaux du contenu | | generated_id_prefix | str | __DOCUMENT__ | préfixe des IDs générés |

24. Modèles de configuration prêts à copier¶

A. Récupération simple, document global¶

In [26]:

config_document_global = {
    "collection_params": {
        "collection_id": COLLECTION_ID,
    },
    "resource_params": {
        "fragment_mode": "document",
        "fetch_document": True,
        "fetch_navigation": False,
        "add_head_to_content": False,
        "include_breadcrumb": False,
    },
}

config_document_global = { "collection_params": { "collection_id": COLLECTION_ID, }, "resource_params": { "fragment_mode": "document", "fetch_document": True, "fetch_navigation": False, "add_head_to_content": False, "include_breadcrumb": False, }, }

B. Récupération structurée par navigation DTS¶

In [27]:

config_navigation = {
    "collection_params": {
        "collection_id": COLLECTION_ID,
    },
    "resource_params": {
        "fragment_mode": "navigation",
        "fetch_document": True,
        "fetch_navigation": True,
        "add_head_to_content": False,
        "include_breadcrumb": True,
        "exclude_heads_contains": COMMON_EXCLUDED_HEADS,
    },
}

config_navigation = { "collection_params": { "collection_id": COLLECTION_ID, }, "resource_params": { "fragment_mode": "navigation", "fetch_document": True, "fetch_navigation": True, "add_head_to_content": False, "include_breadcrumb": True, "exclude_heads_contains": COMMON_EXCLUDED_HEADS, }, }

C. Récupération TEI personnalisée par division¶

In [28]:

config_tei_div = {
    "collection_params": {
        "collection_id": COLLECTION_ID,
    },
    "resource_params": {
        "fragment_mode": "tei_xpath",
        "fragment_xpath": ".//tei:text/tei:body/tei:div",
        "title_xpath": "./tei:head",
        "remove_fragment_heads": True,
        "add_head_to_content": False,
        "fetch_document": True,
        "fetch_navigation": False,
        "include_breadcrumb": True,
        "generated_id_prefix": "__DOCUMENT__",
        "exclude_heads_contains": COMMON_EXCLUDED_HEADS,
    },
}

config_tei_div = { "collection_params": { "collection_id": COLLECTION_ID, }, "resource_params": { "fragment_mode": "tei_xpath", "fragment_xpath": ".//tei:text/tei:body/tei:div", "title_xpath": "./tei:head", "remove_fragment_heads": True, "add_head_to_content": False, "fetch_document": True, "fetch_navigation": False, "include_breadcrumb": True, "generated_id_prefix": "__DOCUMENT__", "exclude_heads_contains": COMMON_EXCLUDED_HEADS, }, }

D. Récupération TEI personnalisée par paragraphe¶

In [29]:

config_tei_paragraph = {
    "collection_params": {
        "collection_id": COLLECTION_ID,
    },
    "resource_params": {
        "fragment_mode": "tei_xpath",
        "fragment_xpath": ".//tei:text/tei:body/tei:div/tei:p",
        "title_xpath": "./tei:head",
        "remove_fragment_heads": True,
        "add_head_to_content": False,
        "fetch_document": True,
        "fetch_navigation": False,
        "include_breadcrumb": True,
        "generated_id_prefix": "__DOCUMENT__",
    },
}

config_tei_paragraph = { "collection_params": { "collection_id": COLLECTION_ID, }, "resource_params": { "fragment_mode": "tei_xpath", "fragment_xpath": ".//tei:text/tei:body/tei:div/tei:p", "title_xpath": "./tei:head", "remove_fragment_heads": True, "add_head_to_content": False, "fetch_document": True, "fetch_navigation": False, "include_breadcrumb": True, "generated_id_prefix": "__DOCUMENT__", }, }

25. Fonction utilitaire : lancer ThunderDots depuis un dictionnaire¶

In [30]:

def run_thunderdots_from_config(
    endpoint_dts: str,
    config: dict,
    *,
    output_path: str | None = None,
    cache_csv_path: str | None = None,
    use_cache: bool = True,
    validate: bool = False,
    verbose: bool = True,
):
    td = ThunderDots(
        endpoint_dts=endpoint_dts,
        collection_params=config.get("collection_params"),
        resource_params=config.get("resource_params"),
        output_path=output_path,
        cache_csv_path=cache_csv_path,
        use_cache=use_cache,
        validate=validate,
        verbose=verbose,
    )
    td.fetch()
    return td, td.results()


# td, results = run_thunderdots_from_config(
#     ENDPOINT_DTS,
#     config_tei_div,
#     output_path=OUTPUT_JSON,
#     cache_csv_path=CACHE_CSV,
#     use_cache=True,
#     validate=True,
# )

def run_thunderdots_from_config( endpoint_dts: str, config: dict, *, output_path: str | None = None, cache_csv_path: str | None = None, use_cache: bool = True, validate: bool = False, verbose: bool = True, ): td = ThunderDots( endpoint_dts=endpoint_dts, collection_params=config.get("collection_params"), resource_params=config.get("resource_params"), output_path=output_path, cache_csv_path=cache_csv_path, use_cache=use_cache, validate=validate, verbose=verbose, ) td.fetch() return td, td.results() # td, results = run_thunderdots_from_config( # ENDPOINT_DTS, # config_tei_div, # output_path=OUTPUT_JSON, # cache_csv_path=CACHE_CSV, # use_cache=True, # validate=True, # )

26. Bonnes pratiques¶

Choisir la granularité¶

• Pour une récupération brute : fragment_mode="document".
• Pour respecter une édition ou un système de citation : fragment_mode="navigation".
• Pour une indexation fine et contrôlée : fragment_mode="tei_xpath".

Gérer les titres¶

• Mettez add_head_to_content=True si le titre doit influencer la recherche.
• Mettez add_head_to_content=False si le titre doit rester une métadonnée séparée.
• En TEI XPath, gardez remove_fragment_heads=True pour éviter les doublons.

Gérer les identifiants¶

• Avec navigation, id vient de la navigation DTS.
• Avec TEI XPath, id vient du xml:id si disponible.
• Si aucun xml:id n’est disponible, ThunderDots génère un ID stable avec generated_id_prefix + SHA1.

Gérer les caches¶

• Pendant le développement, utilisez use_cache=False pour tester les changements.
• En production ou lors d’itérations sur l’analyse, utilisez use_cache=True et output_path.

Valider¶

• Activez validate=True lors de la mise en place d’un nouveau corpus.
• Inspectez results["validation"] avant d’envoyer les données vers un index.

27. Exemple complet¶

La cellule suivante rassemble une configuration réaliste : récupération d’une collection, métadonnées filtrées, fragmentation TEI personnalisée par division, exclusion de sections non pertinentes, validation et écriture d’artefacts.

In [31]:

td_full = ThunderDots(
    endpoint_dts=ENDPOINT_DTS,
    collection_params={
        "collection_id": COLLECTION_ID,
        "metadata_dublincore": ["title"],
    },
    resource_params={
        "metadata_dublincore": ["identifier", "title", "creator", "date"],
        "metadata_extensions": ["dct:coverage"],
        "fragment_mode": "tei_xpath",
        "fragment_xpath": ".//tei:text/tei:body/tei:div",
        "title_xpath": "./tei:head",
        "remove_fragment_heads": True,
        "add_head_to_content": False,
        "fetch_document": True,
        "fetch_navigation": False,
        "include_breadcrumb": True,
        "generated_id_prefix": "__DOCUMENT__",
        "exclude_heads_contains": COMMON_EXCLUDED_HEADS,
    },
    validate=True,
    verbose=True,
    concurrency=6,
    request_timeout=10.0,
    retries=2,
    backoff_ms=300,
    output_path=OUTPUT_JSON,
    cache_csv_path=CACHE_CSV,
    use_cache=False,
)

td_full.fetch()
full_results = td_full.results()
summarize_results(full_results)
pp.pprint(full_results.get("validation"))

td_full = ThunderDots( endpoint_dts=ENDPOINT_DTS, collection_params={ "collection_id": COLLECTION_ID, "metadata_dublincore": ["title"], }, resource_params={ "metadata_dublincore": ["identifier", "title", "creator", "date"], "metadata_extensions": ["dct:coverage"], "fragment_mode": "tei_xpath", "fragment_xpath": ".//tei:text/tei:body/tei:div", "title_xpath": "./tei:head", "remove_fragment_heads": True, "add_head_to_content": False, "fetch_document": True, "fetch_navigation": False, "include_breadcrumb": True, "generated_id_prefix": "__DOCUMENT__", "exclude_heads_contains": COMMON_EXCLUDED_HEADS, }, validate=True, verbose=True, concurrency=6, request_timeout=10.0, retries=2, backoff_ms=300, output_path=OUTPUT_JSON, cache_csv_path=CACHE_CSV, use_cache=False, ) td_full.fetch() full_results = td_full.results() summarize_results(full_results) pp.pprint(full_results.get("validation"))

⚡ ThunderDots ✔ Done  elapsed=3.02s  http_errors=0

Ressources : 24
================================================================================
ID        : ENCPOS_1972_01
Titre     : Les statuts d’une colonie génoise en Corse : Bonifacio à la fin du Moyen Âge
Fragments : 6
id   : r950666
head      : Introduction
Aperçu    : Pour se maintenir dans l’île de Corse, enjeu principal de l’antagonisme politique et commercial qui opposait en Méditerranée occidentale Pisans et Génois, la République de Gênes avait fondé deux villes-forteresses sur des lieux qu’elle considérait comme les positions clés de l’île : Bonifacio au sud…
================================================================================
ID        : ENCPOS_1972_05
Titre     : Le Conseil d’État sous la Restauration
Fragments : 5
id   : r953340
head      : Introduction
Aperçu    : Le Conseil d’État est une de nos plus anciennes institutions, et une de celles qui se sont le plus transformées au cours de leur histoire. Issu de la curia regis, devenu un élément essentiel du Conseil du roi sous la monarchie centralisée, il a connu, avec le Consulat et l’Empire, dans une organisat…
================================================================================
ID        : ENCPOS_1972_07
Titre     : Aspects économiques et sociaux de la vie rurale en Nivernais : la paroisse de Saint-Parize-le-Châtel au milieu du xviiie siècle
Fragments : 4
id   : r954136
head      : Introduction le cadre historique et géographique
Aperçu    : Le Nivernais est un pays coutumier qui se trouve dans le ressort du Parlement de Paris et fait partie de la généralité de Moulins. La seigneurie de Saint-Parize-le-Châtel est connue depuis le xiiie siècle. Saint-Parize-le-Châtel est situé dans le pays d’entre Loire et Allier, au sud de Nevers. Cette…
================================================================================
ID        : ENCPOS_1972_03
Titre     : La Madeleine de Châteaudun : étude archéologique
Fragments : 3
id   : r951964
head      : Première partie Les données historiques
Aperçu    : Chapitre premier des origines au xiie siècle Situation, ecclésiastique de Châteaudun aux temps mérovingiens. – En 511, au concile d’Orléans, saint Aventin, évêque de Chartres, s’intitula évêque de Châteaudun. Un demi-siècle plus tard, Sigebert fit sacrer évêque de Châteaudun Promotus, qui fut déposé…
================================================================================
ID        : ENCPOS_1972_02
Titre     : Le prieuré de Saint-Martin-des-Champs à Paris : étude historique et archéologique
Fragments : 5
id   : r951205
head      : Introduction les origines du prieuré
Aperçu    : En 1060, le roi Henri Ier fonda le monastère et y installa des chanoines réguliers. Les termes mêmes de la charte royale laissent entendre qu’il existait antérieurement une abbaye de Saint-Martin et qu’elle fut détruite de fond en comble par les Normands. Un diplôme de Childebert III, du 7 décembre …
================================================================================
ID        : ENCPOS_1972_04
Titre     : Les pélerinages à Jérusalem et au mont Sinaï du xive au xvie siècle
Fragments : 5
id   : r952741
head      : Avant-propos
Aperçu    : Nous avons voulu rattacher les pèlerinages en Terre Sainte et au Sinaï à l’histoire des explorations, en les situant à l’intérieur de la phase de repliement sur l’Afrique, et en particulier sur l’Afrique orientale, qui fit suite à la fermeture de la Chine aux Occidentaux, et à la prise de Saint-Jean…
================================================================================
ID        : ENCPOS_1972_13
Titre     : Le développement historique de la ville d’Amboise des origines jusqu’à la fin du xviiie siècle
Fragments : 5
id   : r957805
head      : Introduction
Aperçu    : Située sur les bords de la Loire, presque à mi-chemin entre Blois et Tours, au pied d’un éperon rocheux, la ville d’Amboise offre une position privilégiée, tant sur le plan stratégique qu’économique. A ceci s’ajoute la douceur du climat, qui favorisa le séjour des grands personnages du royaume.
================================================================================
ID        : ENCPOS_1972_10
Titre     : Le couvent des Grands Carmes de Toulouse (1264-1810)
Fragments : 4
id   : r956108
head      : Introduction
Aperçu    : L’ordre des Carmes est apparu à la fin du xiie siècle, au moment où des Occidentaux venus pour la croisade se retirèrent sur le mont Carmel pour y mener une vie solitaire et contemplative. A la différence des autres ordres religieux, il n’existe aucun fondateur juridique de l’ordre. La tradition sel…
================================================================================
ID        : ENCPOS_1972_08
Titre     : Les routes de la généralité de Châlons-sur-Marne au xviiie siècle
Fragments : 13
id   : r954768
head      : Introduction
Aperçu    : Le dix-huitième siècle a été véritablement le « grand siècle » des routes. Au cours de cette période s’est élaboré un système organisé des voies de communications terrestres qui s’est maintenu jusqu’à nos jours et sur lequel le réseau routier actuel s’est modelé. Cette réalisation a été rendue possi…
================================================================================
ID        : ENCPOS_1972_06
Titre     : Les plus anciennes chartes en langue française de l’Aube et de la Seine-et-Marne
Fragments : 4
id   : r953815
head      : Introduction
Aperçu    : La connaissance de la langue médiévale, et en particulier des dialectes régionaux, s’appuie de plus en plus sur l’étude des documents d’archives, qui ont l’avantage sur les textes littéraires de pouvoir être localisés et datés de manière beaucoup plus précise. C’est dans le cadre de la publication s…
{'output': {'ok': True, 'issues': []}, 'resources': {'total': 24, 'valid': 24, 'invalid': 0, 'issues': 0}}

Conclusion¶

ThunderDots fournit une couche légère entre un endpoint DTS et vos chaînes d’exploitation documentaire.

Le point important est de choisir la bonne unité de travail :

• ressource entière avec document ;
• structure publiée avec navigation ;
• granularité personnalisée avec tei_xpath.

Une fois les résultats produits, ils peuvent être validés, sauvegardés, exportés vers n'importe quels systèmes d'indexation, ou transformés en documents plats pour n’importe quel pipeline de recherche, d’annotation, de RAG ou d’analyse de corpus.

In [ ]:

In [ ]:

In [ ]:

In [ ]:

In [ ]: