Cómo utilizar los datos de Observation.org para análisis científicos

  • 0 Respuestas
  • 761 Vistas
*

Coordinación Observado.es

  • Administrador
  • Usuario Habitual
  • *****
  • 212
  • +3/-0
  • Si no se comparte, no existe
    • Ver Perfil
¿Cómo descargar los datos?
¿Cómo trabajar con los datos de observaciones que podemos obtener en bruto de la web Observation.org (Observado en España), para procesarlos después con R utilizando una base de datos como intermediario? En colaboración con la Universidad de Burgos hemos realizado un cursillo sobre el manejo de datos de Ciencia Ciudadana, que podéis ver en nuestro canal de YouTube: https://www.youtube.com/watch?v=zlAeO8PpKhk&list=PLBulBnVr1-h4V-pL-PAysl-gjOlYINx8M

En este pequeño artículo os vamos a explicar una primera parte del curso que tenéis en vídeo, en el que veremos la estructura de la información que nos descargamos de Observation.org.

En este artículo vamos a ver el formato del sitio antiguo de Observation.org o, lo que es lo mismo, en spain.observation.org y cualquiera de los portales regionales.

Si lo que queremos es trabajar con nuestras propias observaciones, podemos ir al menú “Mi observation.org > Exportar/backup” . Seleccionamos los filtros que queramos aplicar para la descarga, como el grupo de especies, nivel de rareza, o un rango de fechas.

Es importante que marquemos la opción “Archivo CSV”, que nos dará el máximo de información.

Formulario de descarga de observaciones propias





Una vez pulsemos el botón “Actualizar” se mostrará justo debajo del botón el enlace que deberemos seguir para descargar la información.



Si lo que queremos es obtener observaciones de todos los usuarios de Observation.org enviaremos un correo a info@observation.org con el detalle de la información que queremos descargar, y nos enviarán el paquete de datos directamente.

¿Qué formato tienen los datos?

Como resultado de ambas operaciones obtendremos un CSV muy similar, con todos los detalles de cada una de las observaciones.

Estos ficheros CSV descargados están en formato UTF-16, idioma español, y con los valores separados por tabuladores. Se pueden abrir de manera directa con LibreOffice o MS Excel, aunque es recomendable usar LibreOffice porque maneja mejor los ficheros CSV que MS Excel.

En la tabla siguiente podemos consultar las columnas presentes en el CSV que se descarga al consultar las observaciones personales desde el portal Observation.org, y qué información se incluye en cada una de ellas:

NombreValores
Nivel  “+” para observación principal
“-” para observación secundaria
Id   Identificador único de la observación (principal)
Nombre científico  Nombre científico de la especie observada
Nombre    Nombre común en el idioma seleccionado
Euring  Código EURING de la especie -si tiene-
Species id  Identificador único de la especie
Familia   Familia taxonómica
Grupo de especies   Grupo de especies al que pertenece la observación
Status de la especie  Status de la especie en el área observada (nativa o exótica)
Fecha   Fecha de la observación
Hora   Hora de la observación
Fecha de envío   Fecha de envío de la observación
timestamp   Fecha y hora de envío de la observación
Tipo de observación   Orígen de la observación: ObsMapp, iObs, Sitio Web, copiada de otro observador, importada de eBird, etc.
Registros   Número de individuos observados
sexo   Valor seleccionado
Método de conteo  Valor seleccionado
Aspecto   Valor seleccionado
Actividad   Valor seleccionado
X   Coordenada decimal X (longitud) en datum WGS84, con precisión de 5 decimales
Y   Coordenada decimal Y (latitud) en datum WGS84, con precisión de 5 decimales
lat/Lat Latitud en decimal con datum WGS84, a máxima precisión
lng/Lon   Longitud en decimal con datum WGS84, a máxima precisión
Biotopo   Siempre en “onbekend”, ignorar
Área   Nombre del polígono más pequeño donde se encuentra la observación
Término   Provincia donde se encuentra la observación
País   País donde se encuentra la observación
correctamente identificado   ATENCIÓN: A percepción del observador.
Valores:
“Y” si el observador está seguro de la observación
“N” si la marcó como “Con dudas”
Individuo escapado   “N” si es una observación un individuo silvestre
“Y” si es una observación de un individuo escapado de una colección
link   URL a la observación
precisie   Precisión en metros de la ubicación
loc_methode   Método de ubicación
status   Estado de validación de la observación.
Valores:
“O” -> Observación sin evaluar por un experto
“A” -> Observación aprobada automáticamente en base al conocimiento previo
“J”-> Observación aprobada manualmente por un experto
“N” -> Observación marcada como incorrecta por un experto
“P” -> Observación aprobada por un experto, basada en conocimiento previo
“U” -> Observación con dudas y que no se puede validar apropiadamente
“I” -> Observación bajo estudio
Fotos    “1” si adjunta fotos. “0” en caso contrario
Nº de muestra  Valor introducido
Planta nutricia    Especie secundaria de la observación
Substrato    Valor introducido
Método    Valor introducido
Observaciones   Comentarios adicionales del observador
Transectos/Listas   Identificador de lista/muestreo asociada

Las columnas cambian un poco en caso de que hayamos solicitado información general de otros usuarios. En este caso se agregan las siguientes columnas:

NombreValores
HIDDEN_UNTILFecha de embargo de la observación
25830-XCoordenada E en sistema EPSG:25830
25830-YCoordenada N en sistema EPSG:25830
UsuarioNombre de usuario del observador
AdministradoresNombre de usuario del administrador que realiza la validación

¿Cómo analizo los datos?
   
Podríamos empezar a trabajar con estos dicheros directamente en R, pero en esta serie de artículos vamos a explicar cómo manejar ficheros grandes, de varios cientos de megas, de manera óptima. En vez de introducir directamente los ficheros en R o filtrarlos con AWK, como hacen otras bibliotecas de manejo de datos, vamos a avanzar un paso más utilizando un motor de base de datos real, tal como se explica en el curso de análisis de Ciencia Ciudadana de Observation.org:  https://www.youtube.com/watch?v=zlAeO8PpKhk&list=PLBulBnVr1-h4V-pL-PAysl-gjOlYINx8M

« Última modificación: Agosto 06, 2021, 11:43:05 am por Coordinación Observado.es »
Julio Rabadán González
Coordinador de Observado.org España