scraper-fr

Scraper vos Roms avec ARRM

Avant de vous lancer dans votre premier scrape avec ARRM, je vous invite à lire les paragraphes précédents (Paramètrage de l'application, et Présentation de l'interface) afin de bien comprendre le mécanisme d'ARRM.

Les différents options d'ARRM doivent être paramétrées avant de continuer.

Video Tutorial


Voir video


BatoceraNation a fait un tutoriel video en anglais sur la façon d'utiliser ARRM pour scraper : https://www.youtube.com/watch?v=fzMPB--STsw&ab_channel=BatoceraNation


Voir le tutoriel video de BatoceraNation

Depuis la version 1.9.0.3 beta 11 vous pouvez scraper uniquement les media (artworks) manquants en cochant sans media uniquement dans l'onglet Scrape Options. Seuls les media (artworks) manquants, cochés dans l'onglet Images options seront récupérés.
Dans les moteurs de scrape, seuls ces media (artworks) manquant seront présentés et sélectionnables.
Voir : Scraper uniquement les Artworks (media) manquants

Le scrape Multi-Sytèmes

Pour enclencher ce mode, il suffit de sélectionner plus d'1 système dans la liste des systèmes présents sur votre Recalbox/Batocera

Lorsque plusieurs systèmes sont sélectionnés, le bouton 'Afficher' se transforme en un bouton 'Multi Systems'. Depuis la version 1.9.1.3 Beta 9, ce mode fonctionne avec tous les moteurs de scrape disponible dans ARRM.

Assignation automatique d'un template


Si vous souhaitez qu'ARRM applique un template différent en fonction des systèmes, pensez à cocher la case 'Template auto association'. ARRM se base sur le fichier %appdata%\Nexouille Soft\arrm\database\template_association.txt (que vous pouvez modifier via l'interface de sélection de template) afin de déterminer quel template appliquer à tel ou tel système.

Pour choisir votre modèle, consultez cette section: Choisir Template

Lancement du scrape

Lorsque vous appuyez sur le bouton Multi Systems, un pop-up apparaitra, vous demandant de choisir le moteur de scrape que vous souhaitez :

ARRM traitera chacun des systèmes sélectionnés et se chargera de :

  • Charger la gamelist.xml existante, ou en crée une nouvelle avec les roms trouvées
  • Cherchera sur la base de données choisie les informations du jeu
  • Appliquera les différentes options choisies dans les paramétrages
  • Sauvegardera la gamelist.xml une fois les recherches terminées pour un système
  • Passera au système suivant

A tout moment vous pouvez stopper le scrape, en appuyant sur le bouton 'Stop'.

Lorsque tous les systèmes on été traités, un récapitulatif apparaît, indiquant le nombre de jeux trouvés par système et le temps passé.

Appliquer un filtre global pour ne traiter que ceraines Roms

Vous pouvez ne traiter que certaines Roms, par exemple celles dont vous ne possédez pas de description ou pas de boxart. Pour appliquer ce filtre global, avant de cliquer sur le bouton “Multi Systems”, il faut entrer le filtre/requête dans la textbox “Global Filter”.

Les chaines recherchées doivent être entourées de simple quote (') et non pas par des double quotes (“) Si une chaine recherchée contient une simple quote ('), il faut mettre deux simple quote dans la requête

Exemples :

description_rom is null or boxart_rom is null
favoris_rom=true and (image_rom is null and manual_rom<>'')

Les champs disponibles pour les conditions sont les suivants :

adult_rom
annee_rom
arcadesystemname_rom
boxart_rom
boxback_rom
cache_rom
cartridge_rom
core_rom
description_rom
developer_rom
emulator_rom
fanart_rom
favoris_rom
fichier_rom
gameid_rom
gametime_rom
genre_rom
genreid_rom
hash_rom
image_rom
kid_rom
lang_rom
lastplayed_rom
manual_rom
map_rom
marquee_rom
md5_rom
mix_rom
nomjeu_rom
numauto_rom
playcount_rom
players_rom
publisher_rom
rating_rom
region_rom
screenshot_rom
temporary_rom
thumbnail_rom
titleshot_rom
video_rom
wheel_rom



Le Mono-Sytème et scrape de jeux

Pour choisir votre modèle de Mix (template), consultez cette section: Choisir Template

ARRM vous permet de scraper un système entier, ou uniquement certains jeux d'un système.

Pour cela il vous faut sélectionner 1 seul système dans l'écran systèmes :

Cliquer sur le bouton 'Afficher' pour faire apparaître les Roms trouvées. ARRM charge la gamelist.xml existante et vérifie l'existence des fichiers Roms. Si le fichier n'existe pas, la Rom n'apparaîtra pas dans la database. Et inversement si un jeu est présent sur le disque mais non présent dans la gamelist.xml existante, il sera ajouté à la Database.

Une fois la Database remplie avec les Roms trouvées, vous pouvez

  • appliquer des filtres sur la Database pour ne traiter que certaines roms

Si vous souhaitez ne scraper que les Roms ne possédant pas d'image ou de description, il vous suffit de cocher, dans l'onglet Filtres : Image, Description, sans, ou puis cliquer sur le bouton Filtrer.
Les Roms sans image ou description seront affichées dans la database.
Vous pourrez ainsi les sélectionner et lancer un scrape sur ces Roms.
A la fin du scrape, cliquer sur Aucun Filtre pour retirer le filtre et retrouver toutes vos roms, puis enregistrer votre gamelist via le bouton Créer gamelist.xml

  • Sélectionner tout ou partie des éléments de la Database
  • Exécuter des actions sur les éléments sélectionnés

  • Lancer un scrape en utilisant un des scrapers proposés. Vous pouvez arrêter à tout moment un scrape en appuyant sur le bouton 'Stop'

Voir sur le wiki les spécificités pour

Lorsque vous en avez terminé avec les manipulations de la Database, pensez à sauvegarder son contenu dans la gamelist.xml en cliquant sur le bouton 'Créer gamelist.xml'

Vous pouvez également consulter après chaque opération un compte rendu (log) en cliquant sur le bouton 'Voir Log'

Les scrapes non trouvés sont listés dans des fichiers log situés dans %appdata%\Nexouille Soft\Arrm\temp , au format :


_missing_arrm_%SYSTEM%_%SCRAPE_DATABASE%.txt

exemple : _missing_arrm_ZXSPECTRUM_screenscraper.txt



Récupérer les données suite à un crash pendant le scrape

ARRM est doté d'un système de récupération de données lorsqu'un crash applicatif se produit. Lors du chargement d'un système, si ARRM détecte qu'un crash à eu lieu, il propose de restaurer les infos récupérées jusqu'à l'instant du crash.

Voir wiki : Récupérer la gamelist.xml après un crash ARRM

Vous pouvez également récupérer les données via l'utilisation du cache : Comment utiliser le cache d'ARRM



Scraper en multi-threads avec ARRM sur Screenscraper

Depuis la version 1920 Beta 11, il est possible d'utiliser le multi-thread lors du scrape sur Screenscraper.

Cette fonctionnalité est réservée aux Donateurs ARRM

Le nombre de threads utilisables dépend de votre status sur Screenscraper.

Pour avoir des threads supplémentaires sur Screenscraper, , il faut participer à la base de données, ou faire un don sur Screenscraper. Pour plus de renseignement, voir la FAQ Screenscraper

L'usage mémoire/cpu augmente avec le nombre de thread.

Le multi-thread d'ARRM n'a d'intérêt que si vous scrapez plusieurs ROMs. Un scrape unitaire n'utilisera pas le multi-thread.

Afin de pouvoir utiliser le Multi-Thread d'ARRM sur Screenscraper, il faut au préalable renseigner le paramètre Screenscraper Threads Limit disponible dans l'onglet Scrape Option.

Il indique le maximum de threads que vous souhaitez utiliser.
Ce nombre doit être inférieur ou égal au nombre threads maximum que vous avez sur Screenscraper.
Vous pouvez consulter cette information via le bouton Check Screenscraper en haut à droite sur la page d'ARRM.

Si votre compte Screenscraper est renseigné (voir : S'identifier sur Screenscraper, ARRM récupérera la valeur maximale que Screenscraper vous autorise. Vous pouvez cependant la diminuer en changeant la valeur.

Si vous souhaitez retrouver votre valeur maximale, tapez un chiffre important comme 99, ARRM ajustera automatiquement à la valeur maximale que Screenscraper vous autorise.


Le choix des images suit le processus habituel de scrape sur Screenscraper.



Vous pouvez suivre l'avancement des scrapes (nombre de media récupérés) en faisant un “undock” de la database avant de lancer le scrape. Une zone de texte au dessus de la fenêtre de log, indique les différents éléments récupérés.



LIMITATIONS :

Certaines fonctionnalités ARRM ne sont pas disponibles en mode multi-thread afin d'optimiser la vitesse:

  • Pas de recherche d'image en local.
  • Pas de création de gamelist temporaire (en cas de crash). Mais vous pouvez activer la mise en cache. Voir :Comment utiliser le cache d'ARRM
Les scrapes introuvables avec les multi-threads sont répertoriés dans les fichiers log situés dans %appdata%\Nexouille Soft\Arrm\temp, au format :


_missing_arrm_%SYSTEM%_screenscraper.txt

exemple : _missing_arrm_ZXSPECTRUM_screenscraper.txt


scraper-fr.txt · Dernière modification : 2022/11/27 10:26 de nexusone13