7.8.7. TokenBigramSplitSymbol¶
7.8.7.1. 概要¶
TokenBigramSplitSymbol は TokenBigram と似ています。違いは記号の扱いです。
7.8.7.2. 構文¶
TokenBigramSplitSymbol には、引数がありません。
TokenBigramSplitSymbol
7.8.7.3. 使い方¶
TokenBigramSplitSymbol は記号のトークナイズ方法にバイグラムを使います。
実行例:
tokenize TokenBigramSplitSymbol "100cents!!!" NormalizerAuto
# [
# [
# 0,
# 1337566253.89858,
# 0.000355720520019531
# ],
# [
# {
# "position": 0,
# "force_prefix": false,
# "value": "100"
# },
# {
# "position": 1,
# "force_prefix": false,
# "value": "cents"
# },
# {
# "position": 2,
# "force_prefix": false,
# "value": "!!"
# },
# {
# "position": 3,
# "force_prefix": false,
# "value": "!!"
# },
# {
# "position": 4,
# "force_prefix": false,
# "value": "!"
# }
# ]
# ]