資料從哪來

seh 的資料來自 79 個公開來源, 共 72,031 筆原始記錄。 這一頁的每個數字都是實際算出來的,不是估計值。

最後更新

來源

20 個近 24 小時有更新、27 個抓了但內容沒變、18 個還沒到重抓時間。等待中是正常的

活動33

場館23

文化資產4

團體9

人物10

處理

  1. 正規化72,031 72,031把 70 種格式統一成一種。這一步不篩掉任何東西。
  2. 過濾6,349 3,141去掉已經結束的活動。
  3. 合併重複3,141 2,674同一個活動常常有好幾個來源同時提供,合併成一筆。
  4. 建立關聯5,765 5,765把活動連到場地、場地連到縣市。場地連上 96.8%、 演出者 3.5%。 連不上的 909 條沒有丟掉—— 頁面上照樣寫出地點名稱,只是點不進去。
  5. 品質判定5,765 1,896判斷內容夠不夠請搜尋引擎收錄。不夠的頁面照樣存在、照樣連得到,只是不收錄。每天重算。活動結束就退出收錄、網址保留;一個場地今天沒活動、明天有了, 隔天就會自己進來。進出用不同門檻,避免在搜尋引擎那邊進進出出。

合併重複是這裡最值得看的一步

同一場活動常常同時出現在文化部、場館官網、縣市文化局三個地方。 文化部給了完整的場次與座標,縣市文化局給了活動介紹與票價,場館給了另一個票價寫法。 seh 把它們合併成一筆,每個欄位各自挑最可信的來源,落選的值也留著—— 沒有它就答不出「為什麼這個活動是三場而不是一場」。

實測 3,141 筆 合併成 2,674 個活動。

產出

左邊的數字是實際建立的網址數。認識的資料筆數比這個多—— 只有內容足夠的才建頁,這個判定會隨資料改變:一個場地今天沒有活動、明天有了, 它就會有自己的頁面。

場地那 10,474 個裡面, 有 609 個不是來自任何場館名錄, 而是從活動資料自己長出來的:活動說「這場在國家音樂廳」, 而國家音樂廳不在政府開放資料裡,系統就依活動附帶的地址與座標把它建起來。

一個來源不是只生出一種頁面

文化部 iCulture 文化地圖 POI(場館/景點/文化資產) 為例,它那 14,381 筆資料同時生出了:

點左欄任何一個來源,可以看到它各自生出了什麼。

為什麼有些來源「等待中」

每支來源的重抓間隔不一樣,而且會自己調整:抓到內容有變就縮短間隔,連續沒變就拉長, 連續十次沒變就允許拉到 30 天。所以一支一年才更新一次的名錄不會被天天打擾, 而每天在動的活動來源會被抓得很勤。

官方宣告的更新頻率不能直接當間隔用——實測有來源宣告「不定期更新」但九個月沒有新資料, 也有宣告「每半年」但實際天天在動。宣告值只當起點,實際間隔由抓到的結果決定。

近 24 小時共有 61 次抓取。 排程是分散的,不是每天凌晨一次全部抓完。

資料的限制