Web scraping with R

Lise Vaudor / Sébastien Rey-Coyrehourcq / Fabien Pfaender

Today !

Webscraping

Ethics, some elements of reflexion.

In two words

In more than two words …

Packages

A theoretical example of Web scraping

HTML Document

Understanding html documents’ structure

Tools SelectorGadget or html inspector

Package rvest: hexlogo_rvest

To collect the contents of a web page, one has to:

html tags

<html>
<style>
h1 {background-color: powderblue;}
.image {margin-left:50%;}
.comment{border-style:solid; background-color:LemonChiffon;}
.comment-author{font-style: italic;}
</style>
<h1> MA VIE A LA FERME </h1>
<div class="ingredients">
  <b> INGREDIENTS</b>
  <ul>
    <li> >1 cochon(s) </li>
    <li> >1 légume(s) </li>
  </ul>
</div>
<div class="right"><div class="image"><img src='images/cochon.png'></div></div>
<p> Je fais de la bouillie pour mes petits cochons.</p>
<p> Pour un cochon, pour deux cochons, pour trois cochons, pour quatre, puis pour cinq, pour six, pour sept, pour huit, pour neuf, boeuf! </p>
<b>comments</b>
<div class="comment">Et pour une poule sur un mur qui picoterait du pain dur?
</div>
<div class="comment-author">Emma, 22 ans, Limoges</div>
<div class="comment">Je vois que vous êtes, telle la petite poule rousse, bien aimable. Avez-vous pu compter sur l'aide du chat et du canard pour semer vos 5 grains de blé?</div>
<div class="comment-author">Michel, 56 ans, Rennes</div>
</html>

Read an html page

<html>
<style>
h1 {background-color: powderblue;}
.image {margin-left:50%;}
.comment{border-style:solid; background-color:LemonChiffon;}
.comment-author{font-style: italic;}
</style>
<h1> MA VIE A LA FERME </h1>
<div class="ingredients">
  <b> INGREDIENTS</b>
  <ul>
    <li> >1 cochon(s) </li>
    <li> >1 légume(s) </li>
  </ul>
</div>
<div class="right"><div class="image"><img src='images/cochon.png'></div></div>
<p> Je fais de la bouillie pour mes petits cochons.</p>
<p> Pour un cochon, pour deux cochons, pour trois cochons, pour quatre, puis pour cinq, pour six, pour sept, pour huit, pour neuf, boeuf! </p>
<b>comments</b>
<div class="comment">Et pour une poule sur un mur qui picoterait du pain dur?
</div>
<div class="comment-author">Emma, 22 ans, Limoges</div>
<div class="comment">Je vois que vous êtes, telle la petite poule rousse, bien aimable. Avez-vous pu compter sur l'aide du chat et du canard pour semer vos 5 grains de blé?</div>
<div class="comment-author">Michel, 56 ans, Rennes</div>
</html>

Read html page in R:

library(rvest)
html=read_html("data/blog_de_ginette.htm", encoding="UTF-8")
html
## {xml_document}
## <html>
## [1] <head>\n<meta http-equiv="Content-Type" content="text/html; charset= ...
## [2] <body>\n<h1> MA VIE A LA FERME </h1>\n<div class="ingredients">\n  < ...

Extract some elements in the html page

<html>
<style>
h1 {background-color: powderblue;}
.image {margin-left:50%;}
.comment{border-style:solid; background-color:LemonChiffon;}
.comment-author{font-style: italic;}
</style>
<h1> MA VIE A LA FERME </h1>
<div class="ingredients">
  <b> INGREDIENTS</b>
  <ul>
    <li> >1 cochon(s) </li>
    <li> >1 légume(s) </li>
  </ul>
</div>
<div class="right"><div class="image"><img src='images/cochon.png'></div></div>
<p> Je fais de la bouillie pour mes petits cochons.</p>
<p> Pour un cochon, pour deux cochons, pour trois cochons, pour quatre, puis pour cinq, pour six, pour sept, pour huit, pour neuf, boeuf! </p>
<b>comments</b>
<div class="comment">Et pour une poule sur un mur qui picoterait du pain dur?
</div>
<div class="comment-author">Emma, 22 ans, Limoges</div>
<div class="comment">Je vois que vous êtes, telle la petite poule rousse, bien aimable. Avez-vous pu compter sur l'aide du chat et du canard pour semer vos 5 grains de blé?</div>
<div class="comment-author">Michel, 56 ans, Rennes</div>
</html>

Extract some elements (“nodes” or “nodesets”):

html_nodes(html,"b")
## {xml_nodeset (2)}
## [1] <b> INGREDIENTS</b>
## [2] <b>Commentaires</b>
html_nodes(html,".comment-author") 
## {xml_nodeset (2)}
## [1] <div class="comment-author">Emma, 22 ans, Limoges</div>
## [2] <div class="comment-author">Michel, 56 ans, Rennes</div>
html_nodes(html,".ingredients") %>% 
  html_children()
## {xml_nodeset (2)}
## [1] <b> INGREDIENTS</b>
## [2] <ul>\n<li> &gt;1 cochon(s) </li>\n    <li> &gt;1 légume(s) </li>\n   ...

Extract the type of some elements

<html>
<style>
h1 {background-color: powderblue;}
.image {margin-left:50%;}
.comment{border-style:solid; background-color:LemonChiffon;}
.comment-author{font-style: italic;}
</style>
<h1> MA VIE A LA FERME </h1>
<div class="ingredients">
  <b> INGREDIENTS</b>
  <ul>
    <li> >1 cochon(s) </li>
    <li> >1 légume(s) </li>
  </ul>
</div>
<div class="right"><div class="image"><img src='images/cochon.png'></div></div>
<p> Je fais de la bouillie pour mes petits cochons.</p>
<p> Pour un cochon, pour deux cochons, pour trois cochons, pour quatre, puis pour cinq, pour six, pour sept, pour huit, pour neuf, boeuf! </p>
<b>comments</b>
<div class="comment">Et pour une poule sur un mur qui picoterait du pain dur?
</div>
<div class="comment-author">Emma, 22 ans, Limoges</div>
<div class="comment">Je vois que vous êtes, telle la petite poule rousse, bien aimable. Avez-vous pu compter sur l'aide du chat et du canard pour semer vos 5 grains de blé?</div>
<div class="comment-author">Michel, 56 ans, Rennes</div>
</html>

Extract the type of nodes or nodesets:

html_nodes(html,".image") %>% 
  html_name()
## [1] "div"

Extract the content of some elements

<html>
<style>
h1 {background-color: powderblue;}
.image {margin-left:50%;}
.comment{border-style:solid; background-color:LemonChiffon;}
.comment-author{font-style: italic;}
</style>
<h1> MA VIE A LA FERME </h1>
<div class="ingredients">
  <b> INGREDIENTS</b>
  <ul>
    <li> >1 cochon(s) </li>
    <li> >1 légume(s) </li>
  </ul>
</div>
<div class="right"><div class="image"><img src='images/cochon.png'></div></div>
<p> Je fais de la bouillie pour mes petits cochons.</p>
<p> Pour un cochon, pour deux cochons, pour trois cochons, pour quatre, puis pour cinq, pour six, pour sept, pour huit, pour neuf, boeuf! </p>
<b>comments</b>
<div class="comment">Et pour une poule sur un mur qui picoterait du pain dur?
</div>
<div class="comment-author">Emma, 22 ans, Limoges</div>
<div class="comment">Je vois que vous êtes, telle la petite poule rousse, bien aimable. Avez-vous pu compter sur l'aide du chat et du canard pour semer vos 5 grains de blé?</div>
<div class="comment-author">Michel, 56 ans, Rennes</div>
</html>

Extract the content of nodes or nodesets:

html_nodes(html,"b") %>% 
  html_text() 
## [1] " INGREDIENTS" "Commentaires"

Extract the attributes of some elements

<html>
<style>
h1 {background-color: powderblue;}
.image {margin-left:50%;}
.comment{border-style:solid; background-color:LemonChiffon;}
.comment-author{font-style: italic;}
</style>
<h1> MA VIE A LA FERME </h1>
<div class="ingredients">
  <b> INGREDIENTS</b>
  <ul>
    <li> >1 cochon(s) </li>
    <li> >1 légume(s) </li>
  </ul>
</div>
<div class="right"><div class="image"><img src='images/cochon.png'></div></div>
<p> Je fais de la bouillie pour mes petits cochons.</p>
<p> Pour un cochon, pour deux cochons, pour trois cochons, pour quatre, puis pour cinq, pour six, pour sept, pour huit, pour neuf, boeuf! </p>
<b>comments</b>
<div class="comment">Et pour une poule sur un mur qui picoterait du pain dur?
</div>
<div class="comment-author">Emma, 22 ans, Limoges</div>
<div class="comment">Je vois que vous êtes, telle la petite poule rousse, bien aimable. Avez-vous pu compter sur l'aide du chat et du canard pour semer vos 5 grains de blé?</div>
<div class="comment-author">Michel, 56 ans, Rennes</div>
</html>

Extract the attributes of nodes or nodesets:

html_nodes(html,"div") %>% 
  html_attrs()
## [[1]]
##         class 
## "ingredients" 
## 
## [[2]]
##   class 
## "right" 
## 
## [[3]]
##   class 
## "image" 
## 
## [[4]]
##     class 
## "comment" 
## 
## [[5]]
##            class 
## "comment-author" 
## 
## [[6]]
##     class 
## "comment" 
## 
## [[7]]
##            class 
## "comment-author"

Rectangular format, and function-ization

Extract data and make it into a table:

page="data/blog_de_ginette.htm"
html=read_html(page, encoding="UTF-8")
texte=html %>% html_nodes(".comment") %>% html_text()
auteur=html %>% html_nodes(".comment-author") %>% html_text()
tib_comments=tibble(texte,auteur)
tib_comments
## # A tibble: 2 x 2
##   texte                                                         auteur    
##   <chr>                                                         <chr>     
## 1 Et pour une poule sur un mur qui picoterait du pain dur? c'e… Emma, 22 …
## 2 Je vois que vous êtes, telle la petite poule rousse, bien ai… Michel, 5…

It is actually a good idea to make all this into a fonction that would have the page’s url as intput and the tibble as output:

extract_comments=function(page){
  html=read_html(page, encoding="UTF-8")
  texte=html %>% html_nodes(".comment") %>% html_text()
  auteur=html %>% html_nodes(".comment-author") %>% html_text()
  tib_comments=tibble(doc=rep(page,length(texte)),
                          texte,
                          auteur)
  return(tib_comments)
}

extract_comments("data/blog_de_ginette.htm")
## # A tibble: 2 x 3
##   doc                      texte                                  auteur  
##   <chr>                    <chr>                                  <chr>   
## 1 data/blog_de_ginette.htm Et pour une poule sur un mur qui pico… Emma, 2…
## 2 data/blog_de_ginette.htm Je vois que vous êtes, telle la petit… Michel,…
extract_comments("data/blog_de_jean-marc.htm")
## # A tibble: 6 x 3
##   doc                        texte                            auteur      
##   <chr>                      <chr>                            <chr>       
## 1 data/blog_de_jean-marc.htm Les thons, avec un t comme croc… "Eddie, 76 …
## 2 data/blog_de_jean-marc.htm Pourquoi ces thons ne préféraie… Yves, 40 an…
## 3 data/blog_de_jean-marc.htm Tout ça me fait penser au blog … Roberta, 18…
## 4 data/blog_de_jean-marc.htm Je préfère la chanson qui parle… Eduardo, 29…
## 5 data/blog_de_jean-marc.htm On ne comprend pas trop cette p… Lise, 35 an…
## 6 data/blog_de_jean-marc.htm Et pendant ce temps-là, le roi … Nadia, 43 a…

Iteration

Now, let’s imagine that we actually have to deal with several pages with a common structure.

We would like to apply extract_comments() iteratively to all these pages.

The purrr package enables us to apply a function iteratively to all elements of a list or of a vector (… of course this is just a more straightforward way to loop through a for structure…).

Iteration with purrr

pages=c("data/blog_de_ginette.htm",
        "data/blog_de_jean-marc.htm",
        "data/blog_de_norbert.htm")

list_comments=map(pages, extract_comments)
list_comments
## [[1]]
## # A tibble: 2 x 3
##   doc                      texte                                  auteur  
##   <chr>                    <chr>                                  <chr>   
## 1 data/blog_de_ginette.htm Et pour une poule sur un mur qui pico… Emma, 2…
## 2 data/blog_de_ginette.htm Je vois que vous êtes, telle la petit… Michel,…
## 
## [[2]]
## # A tibble: 6 x 3
##   doc                        texte                            auteur      
##   <chr>                      <chr>                            <chr>       
## 1 data/blog_de_jean-marc.htm Les thons, avec un t comme croc… "Eddie, 76 …
## 2 data/blog_de_jean-marc.htm Pourquoi ces thons ne préféraie… Yves, 40 an…
## 3 data/blog_de_jean-marc.htm Tout ça me fait penser au blog … Roberta, 18…
## 4 data/blog_de_jean-marc.htm Je préfère la chanson qui parle… Eduardo, 29…
## 5 data/blog_de_jean-marc.htm On ne comprend pas trop cette p… Lise, 35 an…
## 6 data/blog_de_jean-marc.htm Et pendant ce temps-là, le roi … Nadia, 43 a…
## 
## [[3]]
## # A tibble: 4 x 3
##   doc                      texte                          auteur          
##   <chr>                    <chr>                          <chr>           
## 1 data/blog_de_norbert.htm "A quel moment faut-il claque… Jonas, 37 ans, …
## 2 data/blog_de_norbert.htm Norbert, mon petit chat, ça f… Julie, 34 ans, …
## 3 data/blog_de_norbert.htm L'ambiance doit être sympa qu… Mickaël, 23 ans…
## 4 data/blog_de_norbert.htm Vous devez avoir un grain pou… Viviane, 58 ans…
tibtot_comments <- list_comments %>%
  bind_rows()
tibtot_comments
## # A tibble: 12 x 3
##    doc                        texte                             auteur    
##    <chr>                      <chr>                             <chr>     
##  1 data/blog_de_ginette.htm   Et pour une poule sur un mur qui… Emma, 22 …
##  2 data/blog_de_ginette.htm   Je vois que vous êtes, telle la … Michel, 5…
##  3 data/blog_de_jean-marc.htm Les thons, avec un t comme croco… "Eddie, 7…
##  4 data/blog_de_jean-marc.htm Pourquoi ces thons ne préféraien… Yves, 40 …
##  5 data/blog_de_jean-marc.htm Tout ça me fait penser au blog d… Roberta, …
##  6 data/blog_de_jean-marc.htm Je préfère la chanson qui parle … Eduardo, …
##  7 data/blog_de_jean-marc.htm On ne comprend pas trop cette pa… Lise, 35 …
##  8 data/blog_de_jean-marc.htm Et pendant ce temps-là, le roi d… Nadia, 43…
##  9 data/blog_de_norbert.htm   "A quel moment faut-il claquer d… Jonas, 37…
## 10 data/blog_de_norbert.htm   Norbert, mon petit chat, ça fait… Julie, 34…
## 11 data/blog_de_norbert.htm   L'ambiance doit être sympa quand… Mickaël, …
## 12 data/blog_de_norbert.htm   Vous devez avoir un grain pour é… Viviane, …

Manipulate strings: package stringr

Package stringr Blog post (in French) here.

Strings: concatenate, replace pattern

str_c() to combine strings

str_c("abra","ca","dabra")
## [1] "abracadabra"
str_c("Les jeux","de mots laids","sont pour","les gens bêtes", sep=" ")
## [1] "Les jeux de mots laids sont pour les gens bêtes"

str_detect() detects a pattern

str_detect(c("Quarante","carottes","crues",
             "croient","que","croquer",
             "crée","des","crampes."),
           pattern="cr")
## [1] FALSE FALSE  TRUE  TRUE FALSE  TRUE  TRUE FALSE  TRUE

Strings: replace pattern, extract pattern

str_replace() replaces a pattern with another

str_replace(c("All we hear is",
              "Radio ga ga",
              "Radio goo goo",
              "Radio ga ga"),
            pattern="goo",
            replacement="ga")
## [1] "All we hear is" "Radio ga ga"    "Radio ga goo"   "Radio ga ga"

str_extract() extracts the pattern (if it’s there!)