有效匯出分段後，中文字為何損了？

先核來源與已訂規則

本例把「你」的 UTF-8 拆成 [E4,BD]、[A0]。每段另開解碼器，會把碎段各當完整輸入。匯入須承接狀態，最後仍未成字就拒收。

已填假設輸入
紀錄	輸入 JSON
原例輸入	{"chunks":[[228,189],[160]]}

下載可編輯 CSV ↓

比較兩條實際路徑

承接解碼才得一個「你」。逐段用 stream=true，末尾再完成；尾段缺字節會在這步被查出。

錯誤與更正路徑的輸出
路徑	輸出 JSON
錯誤路徑	{"accepted":true,"text":"\uFFFD\uFFFD"}
更正路徑	{"accepted":true,"text":"你"}

下載可編輯 CSV ↓

本地 Node.js 程序：22.23.3 或 24.14.1

import {DatabaseSync} from 'node:sqlite';
import {TextDecoder} from 'node:util';
import {inflateSync} from 'node:zlib';
import {posix} from 'node:path';
import {createHash} from 'node:crypto';
const rows=(db,sql)=>db.prepare(sql).all().map(r=>({...r}));
const failed=(action)=>{try{action();return null;}catch(e){return {code:e.errcode??e.code??e.name};}};

import assert from 'node:assert/strict';
const run=function run(i,corrected=true){
    try{
      if(!corrected)return {accepted:true,text:i.chunks.map(b=>new TextDecoder().decode(Uint8Array.from(b))).join('')};
      const decoder=new TextDecoder('utf-8',{fatal:true});let text='';
      for(const chunk of i.chunks)text+=decoder.decode(Uint8Array.from(chunk),{stream:true});
      return {accepted:true,text:text+decoder.decode()};
    }catch{return {accepted:false,error:'incomplete-or-invalid-utf8'};}
  };
const cases=[{"label":"misleading base","input":{"chunks":[[228,189],[160]]},"expected":{"accepted":true,"text":"\uFFFD\uFFFD"},"corrected":false},{"label":"corrected base","input":{"chunks":[[228,189],[160]]},"expected":{"accepted":true,"text":"你"},"corrected":true},{"label":"one complete chunk","input":{"chunks":[[228,189,160]]},"expected":{"accepted":true,"text":"你"},"corrected":true},{"label":"incomplete final chunk","input":{"chunks":[[228,189]]},"expected":{"accepted":false,"error":"incomplete-or-invalid-utf8"},"corrected":true}];
for(const test of cases){
  const actual=run(test.input,test.corrected);
  assert.deepEqual(actual,test.expected,test.label);
  console.log(test.label,actual);
}

下載可執行例子 ↓

下次載入前核邊界

整塊輸入與分段結果一致；最後不足字節要拒收，不顯成貌似已修字。

可編輯邊界紀錄及預期輸出
情況	輸入 JSON	預期輸出 JSON
一塊完整 UTF-8	{"chunks":[[228,189,160]]}	{"accepted":true,"text":"你"}
尾字尚未完整	{"chunks":[[228,189]]}	{"accepted":false,"error":"incomplete-or-invalid-utf8"}

下載可編輯 CSV ↓

分段是否已證明來源編碼無效？

查看參考答案

不是，合起是有效字節，可解成「你」。問題是兩段之間丟了解碼狀態。

先核來源與已訂規則

比較兩條實際路徑

下次載入前核邊界

相關資源