scrapping html table menjadi data json dengan library pandas

Berikut salah satu cara menscrapping data tabel dari sebuah web yang kemudian di ubah menjadi data json, dengan data json kita akan lebih mudah mengolahnya untuk keperluan lainnya. Selain dengan library pandas kita bisa menggunakan cara lain, dengan hasil json yang sama.

Misal kita akan menscrapping data table seperti gambar dibawah:

Dari tabel seperti gambar diatas kita bisa mengcovert ke json dengan cara sebagai berikut:

import pandas as pd
import requests
from bs4 import BeautifulSoup

res = requests.get("https://xxxx.com")
soup = BeautifulSoup(res.content,'lxml')
table = soup.find_all('table')[0] 
df = pd.read_html(str(table))
print(df[0].to_json(orient='records'))

Adapun hasilnya yang kita dapat seperti data dibawah ini

[{"Nomor":1,"Nomor Seri":"JT","Nomor Porporasi":101322468,"Tanggal Masuk":"19 - Aug - 2021","Status":"Sudah Digunakan","Tanggal Update":"19 - Aug - 2021","Keterangan":null,"Aksi":null},{"Nomor":2,"Nomor Seri":"JT","Nomor Porporasi":103835304,"Tanggal Masuk":"20 - Oct - 2021","Status":"Sudah Digunakan","Tanggal Update":"20 - Oct - 2021","Keterangan":null,"Aksi":null}...]

html json pandas python scrapping table Oktober 20, 2021