Bonjour,
Je cherche a comprendre comment Zygrib récupére les Grib du NOAAA dans le but d'automatiser la récupération de Grib.
J'ai trouvé cette page:http://www.cpc.ncep.noaa.gov/products/w ... _grib.html mais j'ai
du mal à comprendre comment l'extraction des données est faites. Je cherche donc une explication simple. Pourriez vous m'aidez ?
merci d'avance.
Recupération grib du Noaa
Moderator: jza
Forum rules
Ici on parle français ou anglais, comme on veut, comme on peut, mais on n'oublie jamais que l'on discute entre humains.
Il ne faut surtout pas oublier les mots magiques: bonjour, salut, merci, etc.
Les messages impolis sont rejetés et restent sans réponse.
Il faut souvent être patient, car il y a plein d'autres activités encore plus passionantes dans notre vie.
Here we speak french or english, as we want, as we can, but we never forget that we discuss between humans.
Do not forget the magic words: hello, hi, thank you, etc.
Rude messages are rejected and remain unanswered.
It is often necessary to be patient because there are many other activities even more exciting in our life.
Ici on parle français ou anglais, comme on veut, comme on peut, mais on n'oublie jamais que l'on discute entre humains.
Il ne faut surtout pas oublier les mots magiques: bonjour, salut, merci, etc.
Les messages impolis sont rejetés et restent sans réponse.
Il faut souvent être patient, car il y a plein d'autres activités encore plus passionantes dans notre vie.
Here we speak french or english, as we want, as we can, but we never forget that we discuss between humans.
Do not forget the magic words: hello, hi, thank you, etc.
Rude messages are rejected and remain unanswered.
It is often necessary to be patient because there are many other activities even more exciting in our life.
-
- Site Admin
- Posts: 303
- Joined: 23 Jan 2009 09:03
Re: Recupération grib du Noaa
Hello,ERWAN56 wrote:Bonjour,
Je cherche a comprendre comment Zygrib récupére les Grib du NOAAA dans le but d'automatiser la récupération de Grib.
J'ai trouvé cette page:http://www.cpc.ncep.noaa.gov/products/w ... _grib.html mais j'ai
du mal à comprendre comment l'extraction des données est faites. Je cherche donc une explication simple. Pourriez vous m'aidez ?
merci d'avance.
Pour être simple, les fichiers grib contiennent quelques centaines de paramètres utilisés par les météorologues, les prévisionistes, en bref tous ceux qui s'intéressent au temps qu'il fait et qu'il va faire.
Le format du fichier est décrit (et en principe standardisé). C'est un format binaire, donc illisible avec un outil d'édition (simple ou complexe). Il faut donc savoir quelle donnée on veut, la récupérer et la rendre "visible" de manière compréhensible à l'oeil humain.
C'est ce que fait l'outil zyGrib en récupérant des données et en les rendant visible sous forme de cartes.
zyGrib est d'ailleurs le seul outil disponible librement à ce jour qui permette de voir autant de données extraites de ces fichiers.
Il y en a d'autres, mais aucun qui fait mieux pour cette mise à disposition sans avoir à débourser des centaines de francs, d'euros, de dollars, de yens... pour avoir des données certes non interprétées mais précieuses à plus d'un titre pour se faire une idée du temps qu'il risque de faire dans les prochains jours.
L'outil ne fait pas la prévision, mais permet à celui qui l'utilise de la faire avec plus de données à disposition que la dernière page de son quotidien favori.
Merci de l'apprécier et d'en faire la promotion.
Excellente journée et mes voeux les meilleurs pour 2012.
Bonne journée ou bonne soirée (vous pouvez choisir)
Have a nice day or good night (you can choose)
Guten Morgen oder gute Nacht (Sie können wählen)
DomH
Have a nice day or good night (you can choose)
Guten Morgen oder gute Nacht (Sie können wählen)
DomH
-
- Posts: 5
- Joined: 18 Jan 2012 16:25
Re: Recupération grib du Noaa
Merci de votre réponse. Zygrib recupère directement les données du noaa ?
-
- Posts: 5
- Joined: 18 Jan 2012 16:25
Re: Recupération grib du Noaa
Est-il possible de disposer du code source utilisé pour la récupération des données sur le serveur du noaa?
-
- Site Admin
- Posts: 601
- Joined: 19 Jan 2009 00:22
Re: Recupération grib du Noaa
Bonjour,
Le lien que vous donnez est un bon point de départ. Il faut regarder ce que font les scripts d'exemple, ça donne des idées.
Je ne diffuse pas d'information précise sur la partie serveur de zyGrib (c'est important de garder des petits jardins secrets ),
et ça serait vraiment trop long à expliquer.
Il faut fouiller dans les serveurs publics du NOAA. C'est le bazar, mais il y a des trésors (on ne leur dira jamais assez merci).
Disons en résumé que je récupère les data du monde entier dès qu'elles disponibles (2 GO 4 fois par jour),
puis que je les transforme en un format maison avec lequel je peux reconstituer à la demande les gribs pour une zone donnée
en un minimum de temps, le tout étant complètement automatisé.
Bon courage,
Le lien que vous donnez est un bon point de départ. Il faut regarder ce que font les scripts d'exemple, ça donne des idées.
Je ne diffuse pas d'information précise sur la partie serveur de zyGrib (c'est important de garder des petits jardins secrets ),
et ça serait vraiment trop long à expliquer.
Il faut fouiller dans les serveurs publics du NOAA. C'est le bazar, mais il y a des trésors (on ne leur dira jamais assez merci).
Disons en résumé que je récupère les data du monde entier dès qu'elles disponibles (2 GO 4 fois par jour),
puis que je les transforme en un format maison avec lequel je peux reconstituer à la demande les gribs pour une zone donnée
en un minimum de temps, le tout étant complètement automatisé.
Bon courage,
A+
Jacques
Jacques
-
- Posts: 2
- Joined: 26 Nov 2011 14:32
Re: Recupération grib du Noaa
Si ça peut aider :
J'ai un peu exploité la piste du http://www.cpc.ncep.noaa.gov/products/w ... _grib.html (attention : il faut lire l'autre fichier en plus de ce lien) et j'ai obtenu quelques résultats avec la piste get_gfs / grep et get_grib : le fichier d'une analyse qui fait +- 30 Mo sur le site d'archive du NOAA http://nomads.ncdc.noaa.gov/data/gfsanl/ ne fait plus que 1 Mo avant transfert.
Dois-je préciser que je m'intéresse à des archives d'analyse portant sur des phénomènes météo limités dans le temps et l'espace, et que zygrib est un outil fabuleux pour faire ça.
La solution à coup de get_gfs et get_grb consiste à interroger le serveur NOMADS avec le mode "partial transfert" de http supporté par les serveurs du NOMAD en lui précisant les champs à retenir, le boulot de filtrage/extraction étant fait par le serveur lui-même avant le transfert. Par contre, dans ma compréhension ce filtrage ne peut porter que sur un seul fichier, et comme il y a un fichier par date d'analyse il faut répéter le processus pour toutes les dates d'intérêt
Dans mon cas c'est uniquement ce qui concerne le sol et 500 pour les champs de valeurs vent et isobares/isohypses, et peut-être température et l'humidité.
Je peux préciser la méthode ou donner un exemple si ça intéresse quelqu'un.
Par contre ce partial mode ne permet pas, dans l'état actuel de ma connaissance, de ne rapatrier que les données d'une zone géographique restreinte, dans mon cas 10° x 10° centré sur la méditerranée. Est-ce du à la méthode spectrale de prévision de GFS mais la zone couverte rapatriée est immense et met à rude épreuve mon PC et j'entend distinctement la mémoire et le disque de zygrib racler sur des fonds mal pavés, et le pauvre zygrib tenter de s'arracher de ces fonds lorsque je passe du globe x 8 et focalise sur ma zone d'intérêt (toute option goinfre désactivée, bien sur)
Il semble qu'une piste autour de wgrib2 (mais pas autour de wgrib qui mange, lui, directement du grib1) soit possible pour restreindre, sur mon PC local, la zone géographique couverte mais je crains d'ouvrir une boite de pandore : il faut passer de grib1 à grib2, faire l'extraction avec wgrib2 puis repasser en format grib1 (cnvgrb je crois) supporté par zygrib. Autant de sources possibles d'erreurs.
Quelqu'un a-t-il fait des progrès de ce coté ?
Ah, j'allais oublier le disclaimer jamais assez répété : encore merci pour cet outil fabuleux qui fait - bien - plus que ce qu'on imagine, et encore merci pour les nouveautés à venir
Yves.
J'ai un peu exploité la piste du http://www.cpc.ncep.noaa.gov/products/w ... _grib.html (attention : il faut lire l'autre fichier en plus de ce lien) et j'ai obtenu quelques résultats avec la piste get_gfs / grep et get_grib : le fichier d'une analyse qui fait +- 30 Mo sur le site d'archive du NOAA http://nomads.ncdc.noaa.gov/data/gfsanl/ ne fait plus que 1 Mo avant transfert.
Dois-je préciser que je m'intéresse à des archives d'analyse portant sur des phénomènes météo limités dans le temps et l'espace, et que zygrib est un outil fabuleux pour faire ça.
La solution à coup de get_gfs et get_grb consiste à interroger le serveur NOMADS avec le mode "partial transfert" de http supporté par les serveurs du NOMAD en lui précisant les champs à retenir, le boulot de filtrage/extraction étant fait par le serveur lui-même avant le transfert. Par contre, dans ma compréhension ce filtrage ne peut porter que sur un seul fichier, et comme il y a un fichier par date d'analyse il faut répéter le processus pour toutes les dates d'intérêt
Dans mon cas c'est uniquement ce qui concerne le sol et 500 pour les champs de valeurs vent et isobares/isohypses, et peut-être température et l'humidité.
Je peux préciser la méthode ou donner un exemple si ça intéresse quelqu'un.
Par contre ce partial mode ne permet pas, dans l'état actuel de ma connaissance, de ne rapatrier que les données d'une zone géographique restreinte, dans mon cas 10° x 10° centré sur la méditerranée. Est-ce du à la méthode spectrale de prévision de GFS mais la zone couverte rapatriée est immense et met à rude épreuve mon PC et j'entend distinctement la mémoire et le disque de zygrib racler sur des fonds mal pavés, et le pauvre zygrib tenter de s'arracher de ces fonds lorsque je passe du globe x 8 et focalise sur ma zone d'intérêt (toute option goinfre désactivée, bien sur)
Il semble qu'une piste autour de wgrib2 (mais pas autour de wgrib qui mange, lui, directement du grib1) soit possible pour restreindre, sur mon PC local, la zone géographique couverte mais je crains d'ouvrir une boite de pandore : il faut passer de grib1 à grib2, faire l'extraction avec wgrib2 puis repasser en format grib1 (cnvgrb je crois) supporté par zygrib. Autant de sources possibles d'erreurs.
Quelqu'un a-t-il fait des progrès de ce coté ?
Ah, j'allais oublier le disclaimer jamais assez répété : encore merci pour cet outil fabuleux qui fait - bien - plus que ce qu'on imagine, et encore merci pour les nouveautés à venir
Yves.
Who is online
Users browsing this forum: No registered users and 3 guests