Mulai Menggunakan Chrome Headless

TL;DR (Ringkasan)

Headless Chrome akan hadir di Chrome 59. Ini adalah cara untuk menjalankan browser Chrome dalam lingkungan headless. Pada dasarnya, menjalankan Chrome tanpa chrome! Plugin ini menghadirkan semua fitur platform web modern yang disediakan oleh Chromium dan mesin rendering Blink ke command line.

Mengapa hal itu berguna?

Browser headless adalah alat yang hebat untuk pengujian otomatis dan lingkungan server saat Anda tidak memerlukan shell UI yang terlihat. Misalnya, Anda mungkin ingin menjalankan beberapa pengujian terhadap halaman web sebenarnya, membuat PDF-nya, atau hanya memeriksa cara browser merender URL.

Memulai Headless (CLI)

Cara termudah untuk mulai menggunakan mode headless adalah dengan membuka biner Chrome dari command line. Jika Anda telah menginstal Chrome 59+, mulai Chrome dengan tanda --headless:

chrome \
--headless \                   # Runs Chrome in headless mode.
--disable-gpu \                # Temporarily needed if running on Windows.
--remote-debugging-port=9222 \
https://www.chromestatus.com   # URL to open. Defaults to about:blank.

chrome akan mengarah ke penginstalan Chrome Anda. Lokasi persisnya akan bervariasi dari satu platform ke platform lain. Karena menggunakan Mac, saya membuat alias yang mudah untuk setiap versi Chrome yang telah saya instal.

Jika Anda menggunakan saluran stabil Chrome dan tidak bisa mendapatkan versi Beta, sebaiknya gunakan chrome-canary:

alias chrome="/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome"
alias chrome-canary="/Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary"
alias chromium="/Applications/Chromium.app/Contents/MacOS/Chromium"

Download Chrome Canary di sini.

Fitur command line

Dalam beberapa kasus, Anda mungkin tidak perlu membuat skrip Chrome Headless secara terprogram. Ada beberapa tanda command line yang berguna untuk melakukan tugas umum.

Mencetak DOM

Flag --dump-dom mencetak document.body.innerHTML ke stdout:

    chrome --headless --disable-gpu --dump-dom https://www.chromestatus.com/

Membuat PDF

Flag --print-to-pdf akan membuat PDF halaman:

chrome --headless --disable-gpu --print-to-pdf https://www.chromestatus.com/

Mengambil screenshot

Untuk mengambil screenshot halaman, gunakan tanda --screenshot:

chrome --headless --disable-gpu --screenshot https://www.chromestatus.com/

# Size of a standard letterhead.
chrome --headless --disable-gpu --screenshot --window-size=1280,1696 https://www.chromestatus.com/

# Nexus 5x
chrome --headless --disable-gpu --screenshot --window-size=412,732 https://www.chromestatus.com/

Menjalankan dengan --screenshot akan menghasilkan file bernama screenshot.png di direktori kerja saat ini. Jika Anda mencari {i>screenshot<i} sehalaman penuh, semuanya sedikit lebih rumit. Ada posting blog bagus dari David Schnurr yang telah membantu Anda. Lihat Menggunakan Chrome headless sebagai alat screenshot otomatis .

Mode REPL (loop baca-eval-print)

Flag --repl menjalankan Headless dalam mode tempat Anda dapat mengevaluasi ekspresi JS di browser, langsung dari command line:

$ chrome --headless --disable-gpu --repl --crash-dumps-dir=./tmp https://www.chromestatus.com/
[0608/112805.245285:INFO:headless_shell.cc(278)] Type a Javascript expression to evaluate or "quit" to exit.
>>> location.href
{"result":{"type":"string","value":"https://www.chromestatus.com/features"}}
>>> quit
$

Men-debug Chrome tanpa UI browser?

Saat Anda menjalankan Chrome dengan --remote-debugging-port=9222, instance dengan protokol DevTools diaktifkan. Protokol ini digunakan untuk berkomunikasi dengan Chrome dan mendorong instance browser headless. Menu ini juga digunakan oleh alat seperti Sublime, VS Code, dan Node untuk men-debug aplikasi dari jarak jauh. #synergy

Karena Anda tidak memiliki UI browser untuk melihat halaman, buka http://localhost:9222 di browser lain untuk memastikan semuanya berfungsi. Anda akan melihat daftar halaman yang dapat diperiksa, tempat Anda dapat mengkliknya dan melihat apa yang sedang dirender Headless:

Remote DevTools
UI proses debug jarak jauh DevTools

Dari sini, Anda dapat menggunakan fitur DevTools yang sudah dikenal untuk memeriksa, men-debug, dan menyesuaikan halaman seperti biasanya. Jika Anda menggunakan Headless secara terprogram, halaman ini juga merupakan alat proses debug yang canggih untuk melihat semua perintah protokol DevTools mentah yang melewati kabel, dan berkomunikasi dengan browser.

Menggunakan secara terprogram (Node)

Pemain boneka

Puppeteer adalah library Node yang dikembangkan oleh tim Chrome. Library ini menyediakan API level tinggi untuk mengontrol Chrome headless (atau penuh). Library ini mirip dengan library pengujian otomatis lainnya seperti Phantom dan NightmareJS, tetapi hanya berfungsi pada Chrome versi terbaru.

Di antara alat lainnya, Puppeteer dapat digunakan untuk mengambil screenshot, membuat PDF, membuka halaman, dan mengambil informasi tentang halaman tersebut dengan mudah. Sebaiknya gunakan library ini jika Anda ingin mengotomatiskan pengujian browser dengan cepat. Fungsi ini menyembunyikan kerumitan protokol DevTools dan menangani tugas yang berlebihan seperti meluncurkan instance debug Chrome.

Instal aplikasi:

npm i --save puppeteer

Contoh - cetak agen pengguna

const puppeteer = require('puppeteer');

(async() => {
  const browser = await puppeteer.launch();
  console.log(await browser.version());
  await browser.close();
})();

Contoh - mengambil screenshot halaman

const puppeteer = require('puppeteer');

(async() => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://www.chromestatus.com', {waitUntil: 'networkidle2'});
  await page.pdf({path: 'page.pdf', format: 'A4'});

  await browser.close();
})();

Lihat dokumentasi Puppeteer untuk mempelajari API lengkap lebih lanjut.

Library CRI

chrome-remote-interface adalah library dengan tingkat yang lebih rendah daripada API Puppeteer. Saya merekomendasikannya jika Anda ingin dekat dengan logam dan menggunakan protokol DevTools secara langsung.

Meluncurkan Chrome

{i>chrome-remote-interface<i} tidak meluncurkan Chrome untuk Anda, sehingga Anda harus menanganinya sendiri.

Di bagian CLI, kami memulai Chrome secara manual menggunakan --headless --remote-debugging-port=9222. Namun, untuk mengotomatiskan pengujian sepenuhnya, Anda mungkin ingin membuat Chrome dari aplikasi Anda.

Salah satu caranya adalah dengan menggunakan child_process:

const execFile = require('child_process').execFile;

function launchHeadlessChrome(url, callback) {
  // Assuming MacOSx.
  const CHROME = '/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome';
  execFile(CHROME, ['--headless', '--disable-gpu', '--remote-debugging-port=9222', url], callback);
}

launchHeadlessChrome('https://www.chromestatus.com', (err, stdout, stderr) => {
  ...
});

Namun, segalanya akan menjadi rumit jika Anda menginginkan solusi portabel yang berfungsi di beberapa platform. Lihat jalur hard code ke Chrome :(

Menggunakan ChromeLauncher

Lighthouse adalah alat yang luar biasa untuk menguji kualitas aplikasi web Anda. Modul andal untuk meluncurkan Chrome dikembangkan di dalam Lighthouse dan kini diekstrak untuk penggunaan mandiri. Modul NPM chrome-launcher akan menemukan lokasi Chrome diinstal, menyiapkan instance debug, meluncurkan browser, dan menghentikannya saat program Anda selesai. Bagian terbaiknya adalah library ini berfungsi lintas platform berkat Node.

Secara default, chrome-launcher akan mencoba meluncurkan Chrome Canary (jika sudah diinstal), tetapi Anda dapat mengubahnya untuk memilih Chrome mana yang akan digunakan secara manual. Untuk menggunakannya, instal terlebih dahulu dari npm:

npm i --save chrome-launcher

Contoh - menggunakan chrome-launcher untuk meluncurkan Headless

const chromeLauncher = require('chrome-launcher');

// Optional: set logging level of launcher to see its output.
// Install it using: npm i --save lighthouse-logger
// const log = require('lighthouse-logger');
// log.setLevel('info');

/**
 * Launches a debugging instance of Chrome.
 * @param {boolean=} headless True (default) launches Chrome in headless mode.
 *     False launches a full version of Chrome.
 * @return {Promise<ChromeLauncher>}
 */
function launchChrome(headless=true) {
  return chromeLauncher.launch({
    // port: 9222, // Uncomment to force a specific port of your choice.
    chromeFlags: [
      '--window-size=412,732',
      '--disable-gpu',
      headless ? '--headless' : ''
    ]
  });
}

launchChrome().then(chrome => {
  console.log(`Chrome debuggable on port: ${chrome.port}`);
  ...
  // chrome.kill();
});

Menjalankan skrip ini tidak berpengaruh banyak, tetapi Anda akan melihat instance Chrome aktif di pengelola tugas yang memuat about:blank. Ingat, tidak akan ada UI browser. Kita tanpa kepala.

Untuk mengontrol browser, kita memerlukan protokol DevTools!

Mengambil informasi tentang halaman

Mari kita instal library:

npm i --save chrome-remote-interface
Contoh

Contoh - cetak agen pengguna

const CDP = require('chrome-remote-interface');

...

launchChrome().then(async chrome => {
  const version = await CDP.Version({port: chrome.port});
  console.log(version['User-Agent']);
});

Hasil dalam sesuatu seperti: HeadlessChrome/60.0.3082.0

Contoh - periksa apakah situs memiliki manifes aplikasi web

const CDP = require('chrome-remote-interface');

...

(async function() {

const chrome = await launchChrome();
const protocol = await CDP({port: chrome.port});

// Extract the DevTools protocol domains we need and enable them.
// See API docs: https://chromedevtools.github.io/devtools-protocol/
const {Page} = protocol;
await Page.enable();

Page.navigate({url: 'https://www.chromestatus.com/'});

// Wait for window.onload before doing stuff.
Page.loadEventFired(async () => {
  const manifest = await Page.getAppManifest();

  if (manifest.url) {
    console.log('Manifest: ' + manifest.url);
    console.log(manifest.data);
  } else {
    console.log('Site has no app manifest');
  }

  protocol.close();
  chrome.kill(); // Kill Chrome.
});

})();

Contoh - ekstrak <title> halaman menggunakan DOM API.

const CDP = require('chrome-remote-interface');

...

(async function() {

const chrome = await launchChrome();
const protocol = await CDP({port: chrome.port});

// Extract the DevTools protocol domains we need and enable them.
// See API docs: https://chromedevtools.github.io/devtools-protocol/
const {Page, Runtime} = protocol;
await Promise.all([Page.enable(), Runtime.enable()]);

Page.navigate({url: 'https://www.chromestatus.com/'});

// Wait for window.onload before doing stuff.
Page.loadEventFired(async () => {
  const js = "document.querySelector('title').textContent";
  // Evaluate the JS expression in the page.
  const result = await Runtime.evaluate({expression: js});

  console.log('Title of page: ' + result.result.value);

  protocol.close();
  chrome.kill(); // Kill Chrome.
});

})();

Menggunakan Selenium, WebDriver, dan ChromeDriver

Saat ini, Selenium membuka instance penuh Chrome. Dengan kata lain, ini adalah solusi otomatis tetapi bukan sepenuhnya headless. Namun, Selenium dapat dikonfigurasi untuk menjalankan Chrome headless dengan sedikit upaya. Sebaiknya Menjalankan Selenium dengan Headless Chrome jika Anda ingin petunjuk lengkap tentang cara menyiapkan semuanya sendiri, tetapi kami memberikan beberapa contoh di bawah ini untuk membantu Anda memulai.

Menggunakan ChromeDriver

ChromeDriver 2.32 menggunakan Chrome 61 dan berfungsi baik dengan Chrome headless.

Instal:

npm i --save-dev selenium-webdriver chromedriver

Contoh:

const fs = require('fs');
const webdriver = require('selenium-webdriver');
const chromedriver = require('chromedriver');

const chromeCapabilities = webdriver.Capabilities.chrome();
chromeCapabilities.set('chromeOptions', {args: ['--headless']});

const driver = new webdriver.Builder()
  .forBrowser('chrome')
  .withCapabilities(chromeCapabilities)
  .build();

// Navigate to google.com, enter a search.
driver.get('https://www.google.com/');
driver.findElement({name: 'q'}).sendKeys('webdriver');
driver.findElement({name: 'btnG'}).click();
driver.wait(webdriver.until.titleIs('webdriver - Google Search'), 1000);

// Take screenshot of results page. Save to disk.
driver.takeScreenshot().then(base64png => {
  fs.writeFileSync('screenshot.png', new Buffer(base64png, 'base64'));
});

driver.quit();

Menggunakan WebDriverIO

WebDriverIO adalah API dengan level yang lebih tinggi selain Selenium WebDriver.

Instal:

npm i --save-dev webdriverio chromedriver

Contoh: memfilter fitur CSS di chromestatus.com

const webdriverio = require('webdriverio');
const chromedriver = require('chromedriver');

const PORT = 9515;

chromedriver.start([
  '--url-base=wd/hub',
  `--port=${PORT}`,
  '--verbose'
]);

(async () => {

const opts = {
  port: PORT,
  desiredCapabilities: {
    browserName: 'chrome',
    chromeOptions: {args: ['--headless']}
  }
};

const browser = webdriverio.remote(opts).init();

await browser.url('https://www.chromestatus.com/features');

const title = await browser.getTitle();
console.log(`Title: ${title}`);

await browser.waitForText('.num-features', 3000);
let numFeatures = await browser.getText('.num-features');
console.log(`Chrome has ${numFeatures} total features`);

await browser.setValue('input[type="search"]', 'CSS');
console.log('Filtering features...');
await browser.pause(1000);

numFeatures = await browser.getText('.num-features');
console.log(`Chrome has ${numFeatures} CSS features`);

const buffer = await browser.saveScreenshot('screenshot.png');
console.log('Saved screenshot...');

chromedriver.stop();
browser.end();

})();

Aset lainnya

Berikut adalah beberapa referensi yang berguna untuk membantu Anda memulai:

Dokumen

Alat

  • chrome-remote-interface - modul node yang menggabungkan protokol DevTools
  • Lighthouse - alat otomatis untuk menguji kualitas aplikasi web; banyak menggunakan protokol
  • chrome-launcher - modul node untuk meluncurkan Chrome, siap untuk otomatisasi

Demo

  • "The Headless Web" - Postingan blog yang bagus dari Paul Kinlan tentang penggunaan Headless dengan api.ai.

FAQ

Apakah saya memerlukan flag --disable-gpu?

Hanya di Windows. Platform lain tidak lagi memerlukannya. Flag --disable-gpu adalah solusi sementara untuk beberapa bug. Anda tidak akan memerlukan tanda ini di versi Chrome mendatang. Lihat crbug.com/737678 untuk mengetahui informasi selengkapnya.

Jadi saya masih memerlukan Xvfb?

Tidak. Chrome Headless tidak menggunakan jendela sehingga server tampilan seperti Xvfb tidak lagi diperlukan. Anda dapat menjalankan pengujian otomatis tanpa masalah.

Apa itu Xvfb? Xvfb adalah server tampilan dalam memori untuk sistem seperti Unix yang memungkinkan Anda menjalankan aplikasi grafis (seperti Chrome) tanpa memasang layar fisik. Banyak orang menggunakan Xvfb untuk menjalankan versi Chrome sebelumnya guna melakukan pengujian "headless".

Bagaimana cara membuat container Docker yang menjalankan Headless Chrome?

Lihat mercusuar-ci. Aplikasi ini memiliki contoh Dockerfile yang menggunakan node:8-slim sebagai image dasar, menginstal + menjalankan Lighthouse di App Engine Flex.

Dapatkah saya menggunakan ini dengan Selenium / WebDriver / ChromeDriver?

Ya. Lihat Menggunakan Selenium, WebDriver, dan ChromeDriver.

Bagaimana kaitannya dengan PhantomJS?

Chrome Headless mirip dengan alat seperti PhantomJS. Keduanya dapat digunakan untuk pengujian otomatis di lingkungan headless. Perbedaan utama antara keduanya adalah Phantom menggunakan WebKit versi lama sebagai mesin renderingnya, sementara Headless Chrome menggunakan Blink versi terbaru.

Saat ini, Phantom juga menyediakan API dengan level yang lebih tinggi daripada protokol DevTools.

Di mana saya dapat melaporkan bug?

Untuk bug di Headless Chrome, laporkan bug di crbug.com.

Untuk bug dalam protokol DevTools, laporkan di github.com/ChromeDevTools/devtools-protocol.