I learn new things everyday. Now focusing on AI and NLP.
Public
Edited
Jan 24, 2023
// table(dict) เป็น native, column-based
dt = aq.table({
u: ['a', 'a', 'b', 'b'],
x: Int32Array.of(1, 2, 3, 4), // read-only
y: Float64Array.of(5, 6, 7, 8)
})
dt.view() // เทียบกับ ._repr_html_() ของ python
[dt.numCols(), dt.numRows()]
dt._nrows // private
dt.columnNames()
dt.get('y', 2) // [col, row]
dt.array('y') // dt.y
// export as row-based
dt.objects()
{ // iterate as rows
let uu = ''
for (let row of dt) {
uu += row.u
}
return uu
}
[...dt] // spread as rows
// from() จะ copy ต่างจาก table() ที่ไม่ copy
aq.from([{a: 1, b: 0.2}, {a: 4, b: 0.3}])
.view()
// หัด object shorthand
{
let a = 'A'
let b = 'B'
return {a, b} // {a:a, {b:b}
}
// ถ้า input เป็น dict จะได้ 2 columns
aq.from({a:1, b:2, c:3})
.view()
// map ก็ด้วย
aq.from(new Map([['d', 4], ['e', 5], ['f', 6]]))
.view()
// Arrow Format ดีที่ efficient ไม่ต้อง copy
flights = aq.loadArrow('https://vega.github.io/vega-datasets/data/flights-200k.arrow')
flights.view({ limit: 5 }) // or view(5)
// JSON รับ dict ของ colname หรือ json string ก็ได้
aq.fromJSON('{"id":[1,2],"date":["2020-06-01","2020-09-01"]}')
.view()
// ใช้ table() กับ JSON.parse จะไม่แปลง date
aq.table(JSON.parse(
'{"id":[1,2],"date":["2020-06-01","2020-09-01"]}'
)).view()
// dt.toJSON() จะแปลงกลับเป็น string
// aq.loadJSON() จะทั้ง load url และ parse
// ใช้แบบปกติ
FileAttachment("beer.csv").csv()
// load และแสดงผลพร้อมกัน ด้วย viewof
viewof beers = aq // viewof shows the table view, but assigns the table value
.fromCSV(await FileAttachment('beer.csv').text())
.view({ height: 240 }) // set maximum height of table viewer in pixels
beer_csv = FileAttachment('beer.csv')
aq.fromCSV(await beer_csv.text())
beers.view(10) // ถ้าจะ scroll ใช้ {height: 200}
beers
// orderby
beers
.orderby('abv') // least alcoholic
.view(5)
// desc เพื่อหาที่มากสุด
beers
.orderby(aq.desc('abv')) // most ลดลง
.view(5)
// select เพื่อเลือก col เทียบ .array()
beers
.orderby(aq.desc('ibu')) // ความขม
.select('name', 'style', 'ibu') // [..] ก็ได้
.view(5)
// all(), not(...), range(start, stop)
beers
.orderby(aq.desc('ibu'))
.select(aq.not('brewery_id')) // ไม่เอาอันนี้
.view(5)
// filter เพื่อเลือก row
// ใช้ op.includes เพื่อหา substr
// แต่ละ row จะอ้างถึง d.colname ได้
beers
.filter(d=> op.includes(op.lower(d.name), 'hop'))
.view({height: 200})
// derive สร้าง col ใหม่
// สร้างเป็น table ใหม่ เพิ่ม col ใหม่ (หรือแทนที่ถ้าซ้ำ)
// นิยาม intensity = 3 * abv + 1/3 * log10(ibu)
beers
.derive({intensity:
d=> 3*d.abv + op.log10(d.ibu)/3
}).orderby(aq.desc('intensity'))
.view(10)
// rollup, groupby คล้ายๆ d3
// คล้าย derive แต่ต้องเป็น agg op
beers
.rollup({
mean_abv: d=>op.mean(d.abv),
mean_ibu: d=>op.mean(d.ibu),
mean_intensity: d=>
op.mean(3*d.abv + op.log10(d.ibu)/3),
corr_abv_ibu: d=> op.corr(d.abv, d.ibu),
count: d=>op.count()
}).
view()
// groupby แยกคำนวณให้แต่ละกลุ่ม
beers
.groupby('style')
.rollup({
mean_abv: d => op.mean(d.abv),
mean_ibu: d => op.mean(d.ibu),
mean_intensity: d =>
op.mean(3 * d.abv + op.log10(d.ibu) / 3),
count: op.count()
})
.filter(d=> d.count > 20) // ข้ามที่ข้อมูลน้อย
.orderby(aq.desc('mean_intensity'))
.view(10)
// count() ใช้บ่อย แทน rollup + op.count()
beers
.groupby('style')
.count()
.view(10)
// group ตามสูตรคำนวณก็ได้
beers.groupby({ type: d=> op.lower(d.style)})
// window op ก็มี แต่ข้ามไปละกัน
// brewery_id โยงไปที่ข้อมูลในอีก table
viewof breweries = aq
.fromCSV(await FileAttachment("breweries.csv").text())
.view(10)
[breweries.numCols(), breweries.numRows()]
// join ง่ายๆ ให้มันฉลาดหา col เองจากชื่อ col
// จากนั้นมันก็เอามาเติมให้หมด
// default เป็น inner join
beers
.join(breweries)
.view(5)
beers
.join(breweries, 'brewery_id')
// หรือเต็มๆ ว่า ['brewery_id', 'brewery_id']
.view(5)
// join ดึงมาแค่บาง column เขียนแบบเต็ม
beers
.join(breweries, 'brewery_id',
[aq.all(), aq.not('brewery_id')])
.view(5)
// แต่ละ style มีกี่ brewery ไม่นับซ้ำ
beers
.join(breweries, 'brewery_id')
.groupby('style')
.rollup({ breweries: op.distinct('brewery_id') } )
.orderby(aq.desc('breweries'))
.view(10)
// semijoin เอาเฉพาะที่ match
// antijoin เอาเฉพาะที่ไม่ match
Purpose-built for displays of data
Observable is your go-to platform for exploring data and creating expressive data visualizations. Use reactive JavaScript notebooks for prototyping and a collaborative canvas for visual data exploration and dashboard creation.
