資料從哪來

seh 的資料來自 79 個公開來源, 共 78,320 筆原始記錄。 這一頁的每個數字都是實際算出來的,不是估計值。

最後更新

來源

16 個近 24 小時有更新、12 個抓了但內容沒變、46 個還沒到重抓時間。等待中是正常的。

活動33

場館23

文化資產4

團體9

人物10

處理

  1. 正規化78,320 → 78,320把 70 種格式統一成一種。這一步不篩掉任何東西。
  2. 過濾8,368 → 2,596去掉已經結束的活動。
  3. 合併重複2,596 → 2,102同一個活動常常有好幾個來源同時提供,合併成一筆。
  4. 建立關聯7,350 → 7,350把活動連到場地、場地連到縣市。場地連上 96.1%、 演出者 3.8%。 連不上的 1,008 條沒有丟掉—— 頁面上照樣寫出地點名稱,只是點不進去。
  5. 品質判定7,350 → 3,846判斷內容夠不夠請搜尋引擎收錄。不夠的頁面照樣存在、照樣連得到,只是不收錄。每天重算。活動結束就退出收錄、網址保留;一個場地今天沒活動、明天有了, 隔天就會自己進來。進出用不同門檻,避免在搜尋引擎那邊進進出出。

合併重複是這裡最值得看的一步

同一場活動常常同時出現在文化部、場館官網、縣市文化局三個地方。 文化部給了完整的場次與座標,縣市文化局給了活動介紹與票價,場館給了另一個票價寫法。 seh 把它們合併成一筆,每個欄位各自挑最可信的來源,落選的值也留著—— 沒有它就答不出「為什麼這個活動是三場而不是一場」。

實測 2,596 筆 合併成 2,102 個活動。

產出

左邊的數字是實際建立的網址數。認識的資料筆數比這個多—— 只有內容足夠的才建頁,這個判定會隨資料改變:一個場地今天沒有活動、明天有了, 它就會有自己的頁面。

場地那 10,584 個裡面, 有 711 個不是來自任何場館名錄, 而是從活動資料自己長出來的:活動說「這場在國家音樂廳」, 而國家音樂廳不在政府開放資料裡,系統就依活動附帶的地址與座標把它建起來。

一個來源不是只生出一種頁面

以 文化部 iCulture 文化地圖 POI(場館/景點/文化資產) 為例,它那 14,386 筆資料同時生出了:

點左欄任何一個來源,可以看到它各自生出了什麼。

為什麼有些來源「等待中」

每支來源的重抓間隔不一樣,而且會自己調整:抓到內容有變就縮短間隔,連續沒變就拉長, 連續十次沒變就允許拉到 30 天。所以一支一年才更新一次的名錄不會被天天打擾, 而每天在動的活動來源會被抓得很勤。

官方宣告的更新頻率不能直接當間隔用——實測有來源宣告「不定期更新」但九個月沒有新資料, 也有宣告「每半年」但實際天天在動。宣告值只當起點,實際間隔由抓到的結果決定。

近 24 小時共有 31 次抓取。 排程是分散的,不是每天凌晨一次全部抓完。

資料的限制