盤點線上協作資料(庫)方案
資料欄位:Google Spreadsheet、Airtable、Evernote
地圖介面:TGOS地圖...等
Google Spreadsheet
匯入資料
- 無痛爬梳自己來,用 Google Spreadsheet 爬取網頁資料
- Listly 幫你自動抓取網頁資料轉成Excel表格
- https://www.thenewslens.com/article/87299
- Google 文件試算表跨檔案取資料
- http://fireball-catcher.blogspot.tw/2012/08/google.html
內容協作
- 貢獻者於 spreadsheet 頁面協作,輸入內容
- 2020 總統候選人事實查核計畫為 READr 所發起的候選人言談檢視平台
- https://www.readr.tw/post/2019
- 摘:候選人資料的蒐集則是透過群眾協作(影音轉成逐字稿的工人智慧)達成。所以除了讀者以外,還得串起協作的鄉民、查核的媒體。而我們使用 Google spreadsheet 串起整個流程,這篇筆記是獻給沒有時間自己架資料庫、希望開放使用者進行協作網頁內容的人們。
- 也可以透過「表單」讓使用者填報單筆資料
- 免費簡單架設報名徵選傳檔網頁, Google 表單上傳檔案開放了
- http://www.playpcesor.com/2017/07/google-forms-file-uploader.html
- Google 表單外掛 Email Notifications for Forms (用來寄出通知信件)
- https://chrome.google.com/webstore/detail/email-notifications-for-f/acknfdkglemcidajjmehljifccmflhkm?utm_source=permalink
- formRecycler 外掛,把 A 表單已經設計過的單一問題,複製到 B、 C 等更多表單中
- http://www.playpcesor.com/2018/01/google-form-formrecycler.html
- 「 Typeform 」後台可以透過[Integrate],自動同步匯出成 Google 試算表
- https://www.facebook.com/playpc/posts/10155183225032108
- 「Email Notifications for Google Forms」 2018 年還保持更新,可以根據表單內容,客製化確認郵件,並且自動寄信給填寫成功的填表者
- http://www.playpcesor.com/2018/01/google-forms-email-notifications.html
- GOOGLE表單有更新就自動LINE你
- 團訂與菜單
- https://www.facebook.com/groups/f2e.tw/permalink/1505341129503247/
- 用 google apps script + google sheet,可以直接讓 google host,並把訂單結果輸出到在 google 雲端硬碟的表單
- 運用 Google API 製作空間提報工具
表格範本
- 試算表範本下載百種專業工作表格
- https://www.playpcesor.com/2015/12/excel-google-templates-download.html
資料延伸的功能
- Google 試算表樞紐分析表範例教學
- http://www.playpcesor.com/2017/06/google-spreadsheet-excel-PivotTable.html
- 錄製巨集
- https://www.inside.com.tw/2018/04/12/google-sheet-update
- Google 試算表外掛 Calendar Events Creator (用來把紀錄寫進 Google 日曆,但免費版只能使用10次把活動寫進日曆,若要繼續使用必須付費)
提供 API / 內嵌入網頁
- Google 資料庫方案–Spreadsheet–(1)資料呈現
- Turn a Google Spreadsheet into a REST API
- 超簡單網頁表格製作!免語法用 Google 試算表教學
- http://www.playpcesor.com/2016/02/html-web-table-google-sheet.html
- 利用 Google 試算表 (Google Sheet) 作為外部資料來源
- https://kuro.tw/posts/2018/08/27/%E5%88%A9%E7%94%A8-Google-%E8%A9%A6%E7%AE%97%E8%A1%A8-Google-Sheet-%E4%BD%9C%E7%82%BA%E5%A4%96%E9%83%A8%E8%B3%87%E6%96%99%E4%BE%86%E6%BA%90/
- Sheetgo
發布流通
展示
Geocoding in Google Docs: GeoJSON boundaries with Koordinates
https://schoolofdata.org/2013/10/31/geocoding-geojson-boundaries-koordinates/
時間地圖
- TimeMapper
- http://timemapper.okfnlabs.org/
- Spreadsheet 必備的欄位是Title還有Start。
- 如果只是建立地圖,Start可以不需要。 記得在TimeMmapper使用的欄位之外,你可以加任意數量的其他欄位
- Spreadsheet 與地圖,內容會即時連動
- 若欄位放 polygon 的 geojson,可以讀出呈現於地圖,但無法點擊呈現額外文字類資訊
- Geoevent
- http://0media.tw/t/geoevent/
- 時間軸 storyliner
- https://technow.com.hk/business/832505/
- 更多工具蒐集
資料地圖化
- Google 試算表地理小工具
- Google My Map
- 圖層 import 選擇 Drive 檔案,參考影片:https://youtu.be/R2X0oRiMtWE
- 課題探討
- [內容是否連動?] 若在 Google My Map 新增點位或是移動、編輯內容等動作,Google Spreadsheet 內容是否會一起修改?
- polygon 能否呈現?
- Google Fusion Tables
- https://youtu.be/5l7IyS3u4w8
- https://kuro.tw/posts/2015/10/15/using-google-fusion-table-without-writing-code-or-topic-maps/
- Plotdb
- BatchGeo
- https://tw.batchgeo.com/
- 課題探討
- Awesome Table - a tool that allows users to visualise Google sheets into maps, tables, graphics, cards, etc. without coding skills.
- https://sites.google.com/site/scriptsexamples/available-web-apps/awesome-tables/add-ons
- 操作說明文章
- How to: create maps with interactive tables from Google spreadsheets
- https://dinfografia.wordpress.com/2016/08/03/maps-with-interactive-tables-from-google-spreadsheets/
- Demo: 社區營造資料
- 欄位篩選的指令 整理在 這個頁面中:https://bit.ly/2lJ6qId
- 例如:同欄位內的交集或聯集
- 例如:該欄位資料內容是顯示在上方地圖或下方table
- 課題
- [內容是否連動?]
- 如果不是用地址定位,而是資料集內即有經緯度,Awesome Table 仍需要透過再定位的方式,但新的位置有偏差
- 原始:25.124804, 121.530661
- 新定位:25.1248835, 121.5307158
![](https://hackpad-tw.s3-ap-southeast-1.amazonaws.com/g0v.hackpad.tw_5Ofw64qSz7P_p.30153_1547802876678_96369.JPG)
時序歷程
圖文網頁
- 《報導者》新聞小工具上線公測part 3:左右互搏版型
幫歷史角色創建一個 FB 訊息牆
Crossfilter
- IsotopeFilter & sort magical layouts
- Crossfilter is a JavaScript library for exploring large multivariate datasets in the browser.
- Falcon SQL Client
- 滾動敘事+互動 database
- sheet2site,提供分類標籤功能
- https://www.sheet2site.com/
- 使用建議:若內容會使用到經緯度,又不想 Card 與 Map 重複編輯兩個頁面
- 以 Cards 作為持續編修頁面,Map 分頁的欄位內容都用連動公式 call 出 Cards 分頁內的內容。
- 以 Map 作為持續編修頁面,Card 分頁的欄位內容都用連動公式 call 出 Map 分頁內的內容。在 Map 分頁依照順序增加以下欄位
- Image Link
- Filter by this
- Button Text
- Detailed Description
- Card 分頁的欄位內容都用連動公式
- =IMPORTRANGE(" sheet的特有ID字串 ", "Map!A8:A60")
- 檢查
- 網址不要斷行,特別是「地圖 Map 分頁」的欄位內容
- 使用情境:若該主題同步於 Airtable 蒐集編修中,能否從 Airtable call 出內容?
- 路徑構想:
- Airtable 作為持續編修頁面
- Airtable ---> Airtable Importer ---> Sheet 資料清單
- Airtable ---> Airtable Importer ---> Sheet 標籤清單
- Sheet 資料清單 ---> Sheet2site-Card 分頁 & Map 分頁
- Sheet 標籤清單 ---> Sheet2site-Filters 分頁
- Site
- 已知課題
- Filters
- sheet2site 的標籤清單,要另外有一個 sheet 來取得 Airtable 的標籤清單
- sheet2site 的標籤區隔,要用 ",",但是 Airtable 匯入後,Airtable Importer by Railsware 採用斷行
- 目前作法:
- Airtable 的每一個標籤字詞後方,加上","
- 這樣至少 sheet2site 後台的 Card 分頁裡的 Filter 欄位,不需手動加工
- 但要手動調整 sheet2site 後台的 Filter 分頁裡的字詞,手動刪去","
- 試做
- Airtable
- Airtable2Sheet
- Sheet2Site
圖表視覺化
- RAW Graphs - The missing link between spreadsheets and data visualization.
- Dashboard
- 在 Google 文件插入同步更新的資料庫圖表!步驟教學
圖片類
- List Google Drive or Google Photos pictures in a beautiful photo gallery
App / Line
- https://www.glideapps.com/
- https://www.appsheet.com/
- No matter the plan, you can prototype your app for FREE. To get started, sign up for the free plan — you can use all the data sources and platform features for up to 10 app-users while your app is in testing mode. Also, if your app is for Personal Use (will be used only by you and isn’t for a business) then you can always use it for FREE.
- Line 相關
- 摘:今天要來帶給大家的是一個用 Bottender 實作的 LINE Bot 範例程式,核心功能是當用戶在 LINE 上發送訊息時,就將訊息儲存至 Google Sheets 上。
把 spreadsheet 當成網頁後台
- 把 spreadsheet 當成網頁後台,讓不會 html 的編輯也能更換專題內容!google script
- Spreadsheet & google apps script操作分享
- Spreadsheet 當 CMS + Python Flask 架輕量專題網站
翻譯
- Google spreadsheet 可以直接用 function 接 google 翻譯
Try: form+timemap
- 目標
- 運用表單,作為分散式圖片回報機制,並且後台資料,透過時間地圖的功能展示於公開網頁。
- 試作網址
- 課題
- 經度,緯度數字,需要人工取得
- 照片,目前 Timemap 的頁面上是有呈現出照片檔案的雲端連結,不過對於 Timemap 來說,需要圖檔的位址才能顯示於網頁中
- 時間,若有月份好像就無法正常顯示出起迄區間
- 同樣的後台資料表,可以試試看用 Google My Map 呈現
注意事項與課題討論
關於資料集內容
- 依據主題內容,可以先參考 schema.org 對於同類型資料的定義、欄位架構
- http://standards.theodi.org/
- 若使用套裝展示方案,需要配合調整資料集的欄位項目,例如若要使用 TimeMapper,則 Spreadsheet 必備的欄位是 Title 還有 Start
- polygon
- 資料內容如果需要呈現 polygon,在 spreadsheet 的架構下有可能實現嗎?
- 如果不行,有可能在展示環節、或是其他方式呈現嗎?
- 針對誤刪、防呆、歷史版本是否能記錄?
- 如何 Google 試算表多人共用不出錯?保護儲存格工作表範圍技巧
- http://www.playpcesor.com/2016/10/google-sheet-protect.html
- Spreadsheet 能否將更新動作都寄通知到信箱?
- 採用 Google Spreadsheet 做為應用程式資料庫(如問卷調查或線上系統) 目前的儲存限制為 :
- 對 CSV 資料下 SQL 指令
- https://www.facebook.com/TajfunInsulo/posts/1424071467628992
促進良好的協作
- Spreadsheet 的內容協作規則要明確
- 資料授權
- 要如何讓想要協作的人,了解本資料的授權狀況?
- 要如何在 spreadsheet 註明資料的授權狀況?
- 在協作歷程中,如果希望變更資料授權狀況,例如從 cc0 變成 cc-by,這要如何決定?
- 是否選擇 Odbl 或是其他資料集應用的授權條款會更適合 spreadsheet 協作所需要的授權選擇?
- 可以考慮設立網路社團,提供參與該資料協作的貢獻者進行交流溝通。
#### 試算表:從生活中找到共筆主題
- Google Sheet
- 共筆主題
- 如何串聯全台蔬菜箱的共筆:\ 宅在家買菜共筆 /
- 外帶外送打折的店家或便當店
- Sheet2____
- Sheet2site:以 Google sheet 作為資料後台,提供標籤式查找的網頁
- 使用案例:遠距心理諮詢訊息彙整 http://bit.ly/g0vpsymap
- BUT 是否適合公開介紹?評估:以前有免費版,但近年官網已沒有免費版,但掛上 sheetID 仍可以顯示
- glide:把 Google sheet 呈現為 App 樣式
- https://taiwan2020.glideapp.io
- https://www.facebook.com/groups/g0v.general/permalink/2622132134529843/
- 其他各式各樣的蒐集:https://g0v.hackpad.tw/5Ofw64qSz7P
Airtable
操作簡介
- Airtable 最強大線上表格製作,免費資料庫重整任何事
- http://www.playpcesor.com/2016/06/airtable.html
- Airtable 可以把不同分頁的資料表互相連結,把資料表單變成一個知識資料百科
- 案例參考:https://airtable.com/shremVilYEwWXU05c
- 影片:https://youtu.be/7aeqnzZYrdI
- 演講:https://youtu.be/BP3otFMLwm0
特色版型
- 問卷
- https://airtable.com/templates/product-design-and-ux/expoiiRjvXfMHtXtC/user-surveys
- Airtable2site
- Softr
課題待確認
- 欄位列上限數量?
- 測試後發現將 CSV 檔的編碼方式由 ANSI 改為 UTF-8 可解匯入中文亂碼問題
- 資料地圖化
- 收費版本有提供內建的地圖化方案
- Airlift: Mapbox + Vega-Lite 多邊形地理資料
- https://community.airtable.com/t/custom-app-mapbox-vega-lite/35880
- use Zapier and the Google Maps API
- https://community.airtable.com/t/zapier-map-entire-table-of-addresses-with-latitude-longitude-via-google-maps-api/1871/4
- 匯出
- 能否有「Airtable→GoogleSpreadsheet→Map」的方案?
匯出匯入類
- Standard API https://airtable.com/api
- Howard> 如果使用量越來越大,已經超過 5 req/sec,那麼也能用 proxy 的方式來簡單處理,用 cloudflare workers 可以很容易地處理,例如這個 https://github.com/portable-cto/airtable-proxy-worker
- 想請問 Airtable 的欄位資料能匯入至 Googlespreadsheet 嗎?
- 採用 coupler.io 可以每小時更新資料
- https://gsuite.google.com/marketplace/app/couplerio/532272210531
- Airtable Importer by Railsware
- 其他
- 連動
- Trello:https://airtable.com/integrations/trello
- 可以用 Trello 的卡片新增一條 Airtable 的資料
- 可以用 Airtable 的資料創一張 Trello 卡片
- 跟其他平台的連動還有 https://airtable.com/integrations
- 不同 bases 之間能否相互建立關聯?
- We do not support linking records across bases at this time.
- https://support.airtable.com/hc/en-us/articles/223299927-Can-I-link-between-different-bases-
- 免費版僅能同步數量一個分頁
- 觸發自動化流程
- https://airtable.com/using_automations
- 可以考慮自架
各類使用經驗
- 書單
- 島島阿學
- https://resources.daoedu.tw/developer/
- Cofacts 初期使用
- g0v summit 2020
- https://github.com/g0v/summit2020
- 延伸小工具 Couple.io:
- 這是 googlesheet 的外掛,可以設定自動從 Airtable 匯出資料到 sheet
NocoDB
- https://www.nocodb.com/
- github:https://github.com/nocodb/nocodb
List Box
List Box 清單力量 OPEN SOURCE:跟網友一起蒐集清單資料的系統
採用 facebook 社團 作為蒐集區
即時連動?
備份
- ArchiveFB 這是一個可以備份 Facebook 資料的Firefox 附加元件
- 備份以下項目 (1) Photos 相片 (2) Messages 訊息 (3) Activity Stream 塗鴉牆 (4) Friends List 朋友名單 (5) Notes 網誌 (6) Events 活動 (7) Groups 社團 (8) Info 資訊
- https://blog.hsdn.net/1398.html
- 將 facebook 社團貼文爬出來
內政部資訊中心:TGOS地圖協作平台
MapStory.org
GitHub
- 協作案例:台糖鐵路路線
- https://www.facebook.com/louisliufb/posts/1974497915898204
- 特點:
- 資料儲存格式用 GeoJSON 也是為了能夠讓 git 追蹤,可以使用和修改
- 提供「授權」設定
- 可以轉換成其他常用格式,如 GPX、KML
Ragic
- https://www.ragic.com/intl/zh-TW/about
- Ragic:台灣開發 Excel 式企業雲端資料庫,取代 Excel、 ERP
- https://www.playpcesor.com/2017/10/ragic-excel-excel-erp.html
Evernote
- Evernote 整理三部曲系列文章:
- Evernote, Onenote, Google keep 雲端筆記完整比較表
- https://www.playpcesor.com/2016/02/evernote-onenote-google-keep.html
- 特點註記
- 不能多人同時編輯,但是可以共用筆記,不同時間可以多人共同編輯
- 可共用單則筆記,或整個筆記本
- 可把單則筆記發布成公開網頁
討論
工具或方案列舉
- 盤點各種協作工具與方案
- 初探人文學的數位研究工具類型與案例 陳淑君 中央研究院
- 各種公民科學計畫,所使用的工具
資料主題舉例
基於彙整型專案經驗
大概的模樣 Scope
- user ---> one page ---> permalinks
- tags for user
- 資料共筆工具選擇,列舉特色經驗
- tags 如果很多很複雜會變動與用字修改,Airtable 優於 Googlesheet,紓困措施
- 總資料儲存格數量不多,例如:AZ 75 歲以上,22 縣市乘以 20 欄位,一頁表格 Googlesheet 可處理完
- 回報內容
- 會有一些但不會很多
- 工具:Google 表單、FB 貼文留言區
- 使用量
- Airtable 在操作、資料內容、串接上比較彈性方便,但有 rate limit per second,每秒上限是 5 requests,如果是熱門或者短時間內會有大量的 request 狀況,則需要注意到這個限制,不然服務會直接掛在那邊QQ,嘗試過解決的方案,就是掛一台 proxy 加上 cache 機制。
- page 的宣傳方式,尚待建立更好的方式
- 後勤中心社團張貼
- g0v 粉絲頁 與 sns 機制
- 其他?
民間
公共政策類 常見 permalinks
- 中繼 permalinks:
- 案例:紓困中的縣市政府資訊,採用 hackmd 標題區來彙整,且可以輸入描述文字 新竹縣紓困
- 首長或縣市局處 FB:疫情類訊息
- 各個局處自己官網的網址