Realice estudios de investigación web visionarios utilizando datos web profundos y consultas web de Excel

Anuncio

¿Qué diría si le dijera que tiene las herramientas a su disposición para realizar investigaciones innovadoras y devastadoras? Bueno, sí, y te mostraré cómo.

Los gobiernos, las instituciones académicas y las organizaciones de investigación sin fines de lucro publican tablas llenas de datos al dominio público. Sin que nadie use esta información, su verdadero valor nunca será conocido. Desafortunadamente, pocas personas tienen el conocimiento, las habilidades o las herramientas para tomar los datos y hacer correlaciones interesantes entre información aparentemente no conectada.

Antecedentes

Gran parte de la investigación que hago para mi propio blog implica investigar lo que se conoce como web invisible Los 12 mejores motores de búsqueda para explorar la web invisibleGoogle o Bing no pueden buscarlo todo. Para explorar la web invisible, debe utilizar estos motores de búsqueda especiales. Lee mas , para descubrir datos que se han publicado al público, pero que están ocultos para los motores de búsqueda

Los 5 motores de búsqueda más avanzados en la web Lee mas dentro de una base de datos en línea. Este es el red profunda TorSearch pretende ser el Google para la web profundaTor es un servicio oculto y parte de la Web profunda. TorSearch es un nuevo motor de búsqueda anónimo que su fundador Chris MacNaughton quiere hacer el "Google de Tor". Lee mas , y está plagado de datos valiosos. Muy a menudo, me encuentro con páginas web repletas de algunos de los datos más valiosos sobre temas que abarcan desde los datos del censo hasta los estudios epidemiológicos sobre enfermedades raras. Constantemente tengo nuevas ideas sobre cómo intentar y correlacionar esas fuentes de datos dispares usando varios herramientas, y una de las herramientas más valiosas que he encontrado es la consulta web dentro de Microsoft Sobresalir.

Encontrar correlaciones de datos interesantes

Lo que les voy a mostrar hoy es un ejemplo de cómo puede hacer uso de las consultas web de Excel para obtener datos de diferentes sitios web y trazarlos uno contra el otro para buscar posibles correlaciones entre datos.

La forma de comenzar un ejercicio como este es presentar una hipótesis interesante. Por ejemplo, para mantener las cosas interesantes aquí, voy a postular al azar que las tasas de autismo se disparan en los Estados Unidos son causadas por inoculaciones de vacunas o por la presencia creciente de campos electromagnéticos en y alrededor de los niños, como las células Los telefonos. Es una hipótesis loca como la que encontrarás en la mayoría de los sitios web de teoría de la conspiración, pero eso es lo que hace que esto sea divertido. Entonces, comencemos, ¿de acuerdo?

Primero, abra Excel, vaya al elemento del menú de datos y busque el icono "Desde la Web" en la cinta de menú.

Esto es lo que usará para importar las diferentes tablas de datos de los muchos sitios web que las han publicado.

Importar datos web a Excel

Entonces, en los viejos tiempos, tenía que intentar copiar los datos de esa tabla en una página web, pegarlos en Excel y luego lidiar con todos los problemas de formato locos involucrados en eso. Total molestia, y muchas veces simplemente no vale la pena el dolor de cabeza. Bueno, con Excel Web Queries, esos días se han ido. Por supuesto, antes de que pueda importar los datos, deberá navegar por la Web en Google para encontrar los datos que necesita en formato de tabla. En mi caso, encontré un sitio web que había publicado las estadísticas del Departamento de Educación para el número de estudiantes de escuelas públicas de EE. UU. Que fueron identificados como autistas. Una buena tabla allí proporcionó números desde 1994 hasta 2006.

Por lo tanto, simplemente haga clic en "Desde la Web", pegue la URL de la página web en el campo de dirección de consulta y luego desplácese hacia abajo de la página hasta que vea la flecha amarilla al lado de la tabla con los datos que desea importar.

Haga clic en la flecha para que se convierta en una marca de verificación verde.

Finalmente, dígale a Excel en qué campo desea pegar los datos de la tabla dentro de su nueva hoja de cálculo.

Entonces - ¡Voila! Los datos fluyen automáticamente a su hoja de cálculo.

Entonces, con una tendencia de tasas de autismo en las escuelas públicas de 1996 a 2006, es hora de salir en busca de vacunas y tendencias de uso de teléfonos celulares también.

Afortunadamente, rápidamente encontré tendencias para los suscriptores de teléfonos celulares en los EE. UU. Desde 1985 hasta 2012. Excelentes datos para este estudio en particular. Nuevamente, utilicé la herramienta Excel Web Query para importar esa tabla.

Importé esa tabla en una hoja nueva y limpia. Luego, descubrí las tendencias de vacunación para el porcentaje de escolares vacunados contra diferentes enfermedades. Importé esa tabla usando la herramienta de consulta web en una tercera hoja. Entonces, finalmente, tenía tres hojas con las tres tablas llenas con los datos aparentemente desconectados que había descubierto en la Web.

El siguiente paso es usar Excel para analizar los datos e intentar identificar cualquier correlación. Ahí es donde entra en juego una de mis herramientas de análisis de datos favoritas: la tabla dinámica.

Análisis de datos en Excel con la tabla dinámica

Es mejor crear su tabla dinámica en una hoja nueva y vacía. Desea utilizar el asistente para lo que está a punto de hacer. Para habilitar el asistente de tabla dinámica en Excel, debe presionar Alt-D al mismo tiempo hasta que aparezca una ventana de notificación. Luego suelte esos botones y presione la tecla "P". Luego, verás aparecer al asistente.

En la primera ventana del asistente, desea seleccionar "Múltiples rangos de consolidación", que le permite seleccionar los datos de todas las hojas que ha importado. Al hacer esto, puede consolidar todos esos datos aparentemente no relacionados en una sola tabla dinámica poderosa. En algunos casos, es posible que necesite masajear algunos de los datos. Por ejemplo, tuve que arreglar el campo "Año" en la tabla de autismo para que mostrara "1994" en lugar de "1994-95" - haciendo que se alinee mejor con las tablas en las otras hojas, que también tuvieron el año primario campo.

Ese campo común entre los datos es lo que necesita para intentar y correlacionar la información, así que tenga esto en cuenta cuando busque sus datos en la Web.

Una vez que se realiza la tabla dinámica y se muestran todos los diferentes valores de datos en una tabla, es hora de hacer un análisis visual para ver si hay alguna conexión obvia que salte a la vista.

Visualizar datos es clave

Tener un montón de números en una tabla es genial si eres economista, pero es la forma más rápida y fácil de tener que "aha!" momento en el que intentas encontrar conexiones como una aguja en un pajar, es a través de gráficos y gráficos Una vez que tenga su gráfico dinámico en su lugar con todos los conjuntos de datos que ha recopilado, es hora de crear su gráfico. Por lo general, un gráfico lineal funcionará mejor, pero depende de los datos. Hay momentos en que un gráfico de barras funciona mucho mejor. Intente comprender qué tipo de datos está viendo y qué comparaciones de formularios funcionan mejor.

En este caso, estoy mirando los datos a lo largo del tiempo, por lo que un gráfico lineal es realmente la mejor manera de ver las tendencias a lo largo de los años. Graficando las tasas de autismo (verde) contra las tasas de vacunación reducidas (azul oscuro), vacunas contra la varicela (azul claro) y el uso del teléfono celular (púrpura), de repente apareció una extraña correlación en este conjunto de datos de muestra que estaba reproduciendo con.

Por extraño que parezca, la tendencia en el uso de teléfonos celulares desde 1994 hasta 2006 coincidió casi perfectamente con la subida de las tasas de autismo durante el mismo período de tiempo. Si bien el patrón fue completamente inesperado, es un ejemplo perfecto de cómo vincular datos interesantes puede revelar pistas fascinantes: proporcionándole una mayor comprensión y motivación para seguir avanzando y buscando más datos que puedan reforzar aún más su hipótesis.

Una correlación como la anterior no prueba nada. Hay muchas tendencias que aumentan con el tiempo: el patrón podría ser una coincidencia, pero también podría ser una pista importante en su búsqueda continua de más datos en Internet. Afortunadamente, tiene una herramienta poderosa llamada Excel Web Queries que hará que esa búsqueda sea un poco más fácil.

Autor de la foto: Kevin Dooley vía fotopinacc