FF8TextEncodingCodepage.cs 20 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240
  1. using System;
  2. using System.Collections.Generic;
  3. using System.Diagnostics;
  4. using System.Globalization;
  5. using System.Linq;
  6. namespace OpenVIII.Encoding
  7. {
  8. // ReSharper disable once InconsistentNaming
  9. public sealed class FF8TextEncodingCodepage
  10. {
  11. #region Fields
  12. private static HashSet<ushort> unsupporedCharacters = new HashSet<ushort>();
  13. /// <summary>
  14. /// Characters not in the codepage but have alternative characters that can be used.
  15. /// </summary>
  16. private readonly Dictionary<char, char> _alts;
  17. private readonly Dictionary<char, byte> _bytes;
  18. private readonly char[] _chars;
  19. #endregion Fields
  20. #region Constructors
  21. public FF8TextEncodingCodepage(char[] chars, Dictionary<char, byte> bytes)
  22. {
  23. _chars = chars ?? throw new ArgumentNullException(nameof(chars));
  24. _bytes = bytes ?? throw new ArgumentNullException(nameof(bytes));
  25. _alts = GetAlts();
  26. }
  27. #endregion Constructors
  28. #region Indexers
  29. public char this[byte b]
  30. {
  31. get
  32. {
  33. var c = _chars[b];
  34. return c == '\0' ? '�' : c;
  35. }
  36. }
  37. public byte this[char c]
  38. {
  39. get
  40. {
  41. if (_bytes.ContainsKey(c))
  42. return _bytes[c];
  43. else if (_alts.ContainsKey(c))
  44. return _bytes[_alts[c]];
  45. else
  46. {
  47. //Debug.WriteLine(
  48. // $@"Character 0x{(ushort) c:x4} '{c}' is unsupported. please add to alts or codepage");
  49. unsupporedCharacters.Add(c);
  50. Debug.WriteLine(
  51. $@"All Unsupported Characters, please add to alts or codepage '{ string.Join(", ", unsupporedCharacters.Select(x => $"0x{x:x4} '{(char)x}'"))}'");
  52. }
  53. return _bytes[' '];
  54. }
  55. }
  56. #endregion Indexers
  57. #region Methods
  58. public static FF8TextEncodingCodepage Create()
  59. {
  60. var chars = CreateDefaultEncoding();
  61. var bytes = new Dictionary<char, byte>(chars.Length);
  62. for (var i = chars.Length - 1; i >= 0; i--)
  63. {
  64. var ch = chars[i];
  65. switch (ch)
  66. {
  67. case '¥':
  68. case '☻':
  69. case 'ⱷ':
  70. chars[i] = '\0';
  71. continue;
  72. case '\0':
  73. continue;
  74. }
  75. bytes[chars[i]] = (byte)i;
  76. }
  77. return new FF8TextEncodingCodepage(chars, bytes);
  78. }
  79. public void GetParameters(out char[] chars, out HashSet<char>[] bytes)
  80. {
  81. chars = (char[])_chars.Clone();
  82. bytes = new HashSet<char>[256];
  83. for (var i = 0; i < 256; i++)
  84. bytes[i] = new HashSet<char>();
  85. foreach (var pair in _bytes)
  86. bytes[pair.Value].Add(pair.Key);
  87. }
  88. public byte? TryGetByte(char c)
  89. {
  90. if (_bytes.TryGetValue(c, out var b))
  91. return b;
  92. else if (_alts.ContainsKey(c) && _bytes.TryGetValue(_alts[c], out b))
  93. return b;
  94. return null;
  95. }
  96. public char? TryGetChar(byte b)
  97. {
  98. var c = _chars[b];
  99. if (c == '\0')
  100. return null;
  101. return c;
  102. }
  103. private static char[] CreateDefaultEncoding()
  104. {
  105. switch (CultureInfo.CurrentCulture.TwoLetterISOLanguageName)
  106. {
  107. case "jp":
  108. return CreateJapaneseCodepage();
  109. case "ru":
  110. return CreateRussianCodepage();
  111. default:
  112. return CreateEuropeanCodepage();
  113. }
  114. }
  115. private static char[] CreateEuropeanCodepage() => new[] {
  116. '\0', '\0', '\n', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0',
  117. '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '®', '®', '®', '®', '\0', '\0', '\0',
  118. ' ', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', '%', '/', ':', '!', '?',
  119. '…', '+', '-', '=', '*', '&', '「', '」', '(', ')', '·', '.', ',', '~', '“', '”',
  120. '‘', '#', '$', '"', '_', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K',
  121. 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z', 'a',
  122. 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q',
  123. 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'À', 'Á', 'Â', 'Ä', 'Ç', 'È', 'É',
  124. 'Ê', 'Ë', 'Ì', 'Í', 'Î', 'Ï', 'Ñ', 'Ò', 'Ó', 'Ô', 'Ö', 'Ù', 'Ú', 'Û', 'Ü', 'Œ',
  125. 'ß', 'à', 'á', 'â', 'ä', 'ç', 'è', 'é', 'ê', 'ë', 'ì', 'í', 'î', 'ï', 'ñ', 'ò',
  126. 'ó', 'ô', 'ö', 'ù', 'ú', 'û', 'ü', 'œ',
  127. 'Ⅷ', '[', ']', '■', '◎', '♦', '〖', '〗',
  128. '□', '★', '『', '』', '▽', ';', '▼', '‾', '⨯', '☆', '¥', '↓', '°', '¡', '¿', '─',
  129. '«', '»', '±', '♬', '¥', '↑', '¥', '¥', '¥', '™', '<', '>', '¥', '¥', '¥', '¥',
  130. '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '\0', '\0',
  131. '¥', '¥', '¥', '☻', '☻', '☻', '☻', '☻', '☻', '☻', '☻', '\0', '\0', '☻', '☻', '☻',
  132. '☻', '☻', '☻', '☻', '☻', '☻', '☻', '☻', '☻', '\0', '☻', '\0', '☻', 'ⱷ', 'ⱷ', 'ⱷ'
  133. };
  134. private static char[] CreateJapaneseCodepage() => new[]
  135. {
  136. '\0', '\0', '\n', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0',
  137. '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '®', '®', '®', '®', '\0', '\0', '\0',
  138. 'バ','ば','ビ','び','ブ','ぶ','ベ','べ','ボ','ぼ','ガ','が','ギ','ぎ','グ','ぐ',
  139. 'ゲ','げ','ゴ','ご','ザ','ざ','ジ','じ','ズ','ず','ゼ','ぜ','ゾ','ぞ','ダ','だ',
  140. 'ヂ','ぢ','ヅ','づ','デ','で','ド','ど','ヴ','パ','ぱ','ピ','ぴ','プ','ぷ','ペ',
  141. 'ぺ','ポ','ぽ','0','1','2','3','4','5','6','7','8','9','、','。',' ',
  142. 'ハ','は','ヒ','ひ','フ','ふ','ヘ','へ','ホ','ほ','カ','か','キ','き','ク','く',
  143. 'ケ','け','コ','こ','サ','さ','シ','し','ス','す','セ','せ','ソ','そ','タ','た',
  144. 'チ','ち','ツ','つ','テ','て','ト','と','ウ','う','ア','あ','イ','い','エ','え',
  145. 'オ','お','ナ','な','ニ','に','ヌ','ぬ','ネ','ね','ノ','の','マ','ま','ミ','み',
  146. 'ム','む','メ','め','モ','も','ラ','ら','リ','り','ル','る','レ','れ','ロ','ろ',
  147. 'ヤ','や','ユ','ゆ','ヨ','よ','ワ','わ','ン','ん','ヲ','を','ッ','っ','ャ','ゃ',
  148. 'ュ','ゅ','ョ','ょ','ァ','ぁ','ィ','ぃ','ゥ','ぅ','ェ','ぇ','ォ','ぉ','A','B','C',
  149. 'D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R',
  150. 'S','T','U','V','W','X','Y','Z','!','?','…','+','-','=','*','/',
  151. '%','&','「','」','(',')','収','容','所','駅','・','.',',',':','~','ー'
  152. };
  153. private static char[] CreateRussianCodepage() => new[]
  154. {
  155. '\0', '\0', '\n', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0',
  156. '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '\0', '®', '®', '®', '®', '\0', '\0', '\0',
  157. ' ', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', '%', '/', ':', '!', '?',
  158. '…', '+', '-', '=', '*', '&', '「', '」', '(', ')', '∙', '.', ',', '~', '”', '“',
  159. '‘', '#', '$', '’', '_', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K',
  160. 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z', 'a',
  161. 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q',
  162. 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'Б', 'Г', 'Д', 'Ё', 'Ж', 'З', 'И',
  163. 'Й', 'Л', 'П', 'У', 'Ф', 'Ц', 'Ч', 'Ш', 'Щ', 'Ъ', 'Ы', 'Ь', 'Э', 'Ю', 'Я', 'б',
  164. 'в', 'г', 'д', 'ж', 'з', 'й', 'к', 'л', 'м', 'н', 'п', 'т', 'ф', 'ц', 'ч', 'ш',
  165. 'щ', 'ъ', 'ы', 'ь', 'э', 'ю', 'я', 'ё',
  166. 'Ⅷ', '[', ']', '■', '◎', '♦', '〖', '〗',
  167. '□', '★', '『', '』', '▽', ';', '▼', '‾', '⨯', '☆', '¥', '↓', '°', '¡', '¿', '─',
  168. '«', '»', '±', '♬', '¥', '↑', '¥', '¥', '¥', '™', '<', '>', '¥', '¥', '¥', '¥',
  169. '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '¥', '\0', '\0',
  170. '¥', '¥', '¥', '☻', '☻', '☻', '☻', '☻', '☻', '☻', '☻', '\0', '\0', '☻', '☻', '☻',
  171. '☻', '☻', '☻', '☻', '☻', '☻', '☻', '☻', '☻', '\0', '☻', '\0', '☻', 'ⱷ', 'ⱷ', 'ⱷ'
  172. };
  173. private static Dictionary<char, char> GetAlts()
  174. {
  175. switch (CultureInfo.CurrentCulture.TwoLetterISOLanguageName)
  176. {
  177. case "jp":
  178. return new Dictionary<char, char>
  179. {
  180. { '\'','・' },
  181. { '{','「' },
  182. { '}','」' },
  183. { '\\', '/' },
  184. { '\t', ' ' }
  185. };
  186. case "ru":
  187. return new Dictionary<char, char>
  188. {
  189. { '\'','‘' },
  190. { '{','「' },
  191. { '}','」' },
  192. { '\\', '/' },
  193. { '\t', ' ' }
  194. };
  195. default:
  196. return new Dictionary<char, char>
  197. {
  198. { '\'','‘' },
  199. { '{','「' },
  200. { '}','」' },
  201. { '\\', '/' },
  202. { '\t', ' ' }
  203. };
  204. }
  205. }
  206. #endregion Methods
  207. }
  208. }