【Power Automate】クラウドフローでShift_JISをUTF-8に変換する方法

例：「こんにちは」という文字列の場合

Shift-JIS：
こ: 0x82B1
ん: 0x82F1  
に: 0x82C9
ち: 0x82BF
は: 0x82CD

UTF-8：
こ: 0xE3 0x81 0x93
ん: 0xE3 0x82 0x93
に: 0xE3 0x81 0xAB
ち: 0xE3 0x81 0xA1
は: 0xE3 0x81 0xAF

元データ: "こん" (0x82 0xB1 0x82 0xF1)
バイナリ: 10000010 10110001 10000010 11110001
6ビット分割: 100000 101011 000110 000010 111100 01????
パディング追加: 100000 101011 000110 000010 111100 010000
Base64: g r G C 8 Q
実際のBase64: "grGC8Q=="

function main(workbook: ExcelScript.Workbook, base64String: string) {
    try {
        // Base64文字列をバイナリデータにデコード
        const binaryString = atob(base64String);

        // バイナリ文字列をUint8Arrayに変換
        const bytes = new Uint8Array(binaryString.length);
        for (let i = 0; i < binaryString.length; i++) {
            bytes[i] = binaryString.charCodeAt(i);
        }

        // TextDecoderを使ってShift_JISとしてデコード
        const decoder = new TextDecoder('shift_jis');
        const decodedText = decoder.decode(bytes);

        console.log("Shift_JISデコード結果:", decodedText);

        // 結果を返す
        return decodedText;

    } catch (error) {
        console.log("Base64デコードエラー:", error);
        return null;
    }
}

string(base64(body('ファイル_コンテンツの取得')))

function main(workbook: ExcelScript.Workbook) {
    // 新しいワークシートを作成または既存のシートを取得
    let worksheet = workbook.getWorksheet("Shift_JIS文字コード表");
    if (!worksheet) {
        worksheet = workbook.addWorksheet("Shift_JIS文字コード表");
    }

    worksheet.getUsedRange()?.clear();

    // ヘッダーを設定
    worksheet.getCell(0, 0).setValue("Shift_JISバイト(16進)");
    worksheet.getCell(0, 1).setValue("Shift_JISバイト(10進)");
    worksheet.getCell(0, 2).setValue("文字");
    worksheet.getCell(0, 3).setValue("Unicode(16進)");
    worksheet.getCell(0, 4).setValue("文字分類");

    // ヘッダーのスタイルを設定
    let headerRange = worksheet.getRange("A1:E1");
    headerRange.getFormat().getFill().setColor("#4472C4");
    headerRange.getFormat().getFont().setColor("white");
    headerRange.getFormat().getFont().setBold(true);

    let row = 1;

    // 1バイト文字: ASCII文字 (0x20-0x7E)
    console.log("ASCII文字を処理中...");
    for (let sjis = 0x20; sjis <= 0x7E; sjis++) {
        let char = String.fromCharCode(sjis);
        worksheet.getCell(row, 0).setValue("0x" + sjis.toString(16).toUpperCase().padStart(2, '0'));
        worksheet.getCell(row, 1).setValue(sjis);
        worksheet.getCell(row, 2).setValue(char);
        worksheet.getCell(row, 3).setValue("0x" + sjis.toString(16).toUpperCase().padStart(4, '0'));
        worksheet.getCell(row, 4).setValue(getCharDescription(char, sjis));
        row++;
    }

    // 1バイト文字: 半角カタカナ (0xA1-0xDF)
    console.log("半角カタカナを処理中...");
    for (let sjis = 0xA1; sjis <= 0xDF; sjis++) {
        let unicode = sjis - 0xA1 + 0xFF61;
        let char = String.fromCharCode(unicode);
        worksheet.getCell(row, 0).setValue("0x" + sjis.toString(16).toUpperCase());
        worksheet.getCell(row, 1).setValue(sjis);
        worksheet.getCell(row, 2).setValue(char);
        worksheet.getCell(row, 3).setValue("0x" + unicode.toString(16).toUpperCase());
        worksheet.getCell(row, 4).setValue("半角カタカナ");
        row++;
    }

    // 2バイト文字の処理
    console.log("2バイト文字を処理中...");

    // Shift_JIS 2バイト文字の範囲
    let sjisRanges = [
        // 第1バイトが0x81-0x9F
        { firstStart: 0x81, firstEnd: 0x9F, secondStart: 0x40, secondEnd: 0xFC },
        // 第1バイトが0xE0-0xFC  
        { firstStart: 0xE0, firstEnd: 0xFC, secondStart: 0x40, secondEnd: 0xFC }
    ];

    for (let range of sjisRanges) {
        for (let first = range.firstStart; first <= range.firstEnd; first++) {
            for (let second = range.secondStart; second <= range.secondEnd; second++) {
                // 0x7F は使用しない
                if (second === 0x7F) continue;

                try {
                    // Shift_JISバイト配列を作成
                    let sjisBytes = new Uint8Array([first, second]);

                    // TextDecoderでShift_JISからUnicodeに変換を試行
                    let decoder = new TextDecoder('shift_jis', { fatal: true });
                    let char = decoder.decode(sjisBytes);

                    // 有効な文字が得られた場合
                    if (char && char.length > 0 && char !== '�') {
                        let unicode = char.charCodeAt(0);
                        let sjisHex = "0x" + first.toString(16).toUpperCase().padStart(2, '0') +
                            second.toString(16).toUpperCase().padStart(2, '0');
                        let sjisDecimal = (first << 8) | second;

                        worksheet.getCell(row, 0).setValue(sjisHex);
                        worksheet.getCell(row, 1).setValue(sjisDecimal);
                        worksheet.getCell(row, 2).setValue(char);
                        worksheet.getCell(row, 3).setValue("0x" + unicode.toString(16).toUpperCase().padStart(4, '0'));
                        worksheet.getCell(row, 4).setValue(getUnicodeCharType(unicode));
                        row++;

                        // 進捗表示（1000文字ごと）
                        if ((row - 1) % 1000 === 0) {
                            console.log(`処理済み: ${row - 1}文字`);
                        }
                    }
                } catch (e) {
                    // デコードエラーの場合はスキップ
                }
            }
        }
    }

    worksheet.getRange("A:E").getFormat().autofitColumns();

    // フィルターを追加
    let dataRange = worksheet.getRange("A1:E" + (row - 1));
    worksheet.getAutoFilter().apply(dataRange);

    console.log(`Shift_JIS文字コード表を作成しました。合計${row - 1}文字を処理しました。`);
}

// ASCII文字の説明を取得する補助関数
function getCharDescription(char: string, code: number): string {
    if (code >= 0x20 && code <= 0x2F) return "記号・句読点";
    if (code >= 0x30 && code <= 0x39) return "数字";
    if (code >= 0x3A && code <= 0x40) return "記号";
    if (code >= 0x41 && code <= 0x5A) return "大文字アルファベット";
    if (code >= 0x5B && code <= 0x60) return "記号";
    if (code >= 0x61 && code <= 0x7A) return "小文字アルファベット";
    if (code >= 0x7B && code <= 0x7E) return "記号";
    return "ASCII文字";
}

// Unicode文字種別を判定する補助関数
function getUnicodeCharType(unicode: number): string {
    if (unicode >= 0x3000 && unicode <= 0x303F) return "CJK記号・句読点";
    if (unicode >= 0x3040 && unicode <= 0x309F) return "ひらがな";
    if (unicode >= 0x30A0 && unicode <= 0x30FF) return "カタカナ";
    if (unicode >= 0x3100 && unicode <= 0x312F) return "注音記号";
    if (unicode >= 0x3200 && unicode <= 0x32FF) return "囲みCJK文字・月";
    if (unicode >= 0x3300 && unicode <= 0x33FF) return "CJK互換文字";
    if (unicode >= 0x4E00 && unicode <= 0x9FFF) return "CJK統合漢字";
    if (unicode >= 0xFF00 && unicode <= 0xFF60) return "全角ASCII・記号";
    if (unicode >= 0xFF61 && unicode <= 0xFF9F) return "半角カタカナ";
    if (unicode >= 0xFFA0 && unicode <= 0xFFEF) return "半角ハングル";
    if (unicode >= 0x2000 && unicode <= 0x206F) return "一般句読点";
    if (unicode >= 0x2100 && unicode <= 0x214F) return "文字様記号";
    if (unicode >= 0x2190 && unicode <= 0x21FF) return "矢印";
    if (unicode >= 0x2200 && unicode <= 0x22FF) return "数学記号";
    if (unicode >= 0x2300 && unicode <= 0x23FF) return "その他技術記号";
    if (unicode >= 0x2500 && unicode <= 0x257F) return "罫線素片";
    if (unicode >= 0x2580 && unicode <= 0x259F) return "ブロック要素";
    if (unicode >= 0x25A0 && unicode <= 0x25FF) return "幾何学図形";
    if (unicode >= 0x2600 && unicode <= 0x26FF) return "その他記号";
    return "その他";
}

function base64ToBytes(base64: string): Uint8Array {
    const chars = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/';

    // パディング文字を除去
    let str = base64.replace(/=+$/, '');

    // 出力サイズの計算（Base64の4文字で3バイトを表現）
    let outputLength = Math.floor(str.length * 3 / 4);
    let output = new Uint8Array(outputLength);

    let p = 0;
    for (let i = 0; i < str.length; i += 4) {
        // Base64文字をインデックスに変換
        let n1 = chars.indexOf(str[i]);
        let n2 = chars.indexOf(str[i + 1]);
        let n3 = (i + 2 < str.length) ? chars.indexOf(str[i + 2]) : 64;
        let n4 = (i + 3 < str.length) ? chars.indexOf(str[i + 3]) : 64;

        // 3バイトに復元
        if (p < outputLength) output[p++] = (n1 << 2) | (n2 >> 4);
        if (p < outputLength) output[p++] = ((n2 & 15) << 4) | (n3 >> 2);
        if (p < outputLength) output[p++] = ((n3 & 3) << 6) | n4;
    }

    return output;
}

function convertShiftJisToUtf8(bytes: Uint8Array, codeTable: Map<number, string>): string {
    let result = '';
    let i = 0;

    while (i < bytes.length) {
        let byte1 = bytes[i];

        // 1バイト文字の判定
        if ((byte1 >= 0x20 && byte1 <= 0x7E) || (byte1 >= 0xA1 && byte1 <= 0xDF)) {
            let char = codeTable.get(byte1);
            result += char || (byte1 >= 0x20 && byte1 <= 0x7E ? String.fromCharCode(byte1) : '?');
            i++;
        }
        // 2バイト文字の判定
        else if (((byte1 >= 0x81 && byte1 <= 0x9F) || (byte1 >= 0xE0 && byte1 <= 0xFC)) &&
                 i + 1 < bytes.length) {
            let byte2 = bytes[i + 1];

            if ((byte2 >= 0x40 && byte2 <= 0x7E) || (byte2 >= 0x80 && byte2 <= 0xFC)) {
                let twoByteValue = (byte1 << 8) | byte2;
                let char = codeTable.get(twoByteValue);
                result += char || '?';
                i += 2;
            } else {
                result += '?';
                i++;
            }
        }
        // 制御文字の処理
        else {
            if (byte1 === 0x0D) result += '\r';
            else if (byte1 === 0x0A) result += '\n';
            else if (byte1 === 0x09) result += '\t';
            else result += '?';
            i++;
        }
    }

    return result;
}

function parseCSVLines(csvString: string): string[] {
    let lines: string[] = [];
    let currentLine = '';
    let inQuotes = false;
    let i = 0;

    while (i < csvString.length) {
        let char = csvString[i];
        // セル内改行を見分けるためにダブルクォーテーションで分岐させる
        if (char === '"') {
            inQuotes = !inQuotes;
            currentLine += char;
        } else if (!inQuotes && char === '\r' && i + 1 < csvString.length && csvString[i + 1] === '\n') {
            // クォーテーション外でCRLFを検出（行区切り）
            lines.push(currentLine);
            currentLine = '';
            i++; // LFもスキップ
        } else if (!inQuotes && char === '\n') {
            // クォーテーション外でLFを検出（行区切り）
            lines.push(currentLine);
            currentLine = '';
        } else {
            // 通常の文字またはクォーテーション内の改行
            currentLine += char;
        }
        i++;
    }

    // 最後の行を追加
    if (currentLine !== '') {
        lines.push(currentLine);
    }

    return lines;
}

import pandas as pd
import os

os.chdir("OneDrive - 個人\ドキュメント\SJIS_変換")

df_sjis = pd.read_csv('テスト用SJISデータ_2000行ver.csv', encoding='shift_jis')
df_utf8 = pd.read_csv('output_utf8.csv', encoding='utf-8')

# データフレームが同じかチェック
if df_sjis.equals(df_utf8):
    print('2つのファイルの内容は一致しています')

else:
    print('ファイルに差分があります：')
    # 形状の比較
    print(f"Shape - SJIS: {df_sjis.shape}, UTF-8: {df_utf8.shape}")

    # セル単位での比較
    comparison = df_sjis.compare(df_utf8)
    print(comparison)