7.8.11. TokenDelimitNull¶
7.8.11.1. 概要¶
TokenDelimitNull は TokenDelimit に似ています。違いは区切り文字です。 TokenDelimit は空白文字（ U+0020 ）を使いますが、 TokenDelimitNull はNUL文字（ U+0000 ）を使います。
7.8.11.2. 構文¶
TokenDelimitNull には、引数がありません。
TokenDelimitNull
7.8.11.3. 使い方¶
TokenDelimitNull もタグテキストに適切です。
以下は TokenDelimitNull の例です。
実行例:
tokenize TokenDelimitNull "Groonga\u0000full-text-search\u0000HTTP" NormalizerAuto
# [
# [
# 0,
# 1337566253.89858,
# 0.000355720520019531
# ],
# [
# {
# "position": 0,
# "force_prefix": false,
# "value": "groongau0000full-text-searchu0000http"
# }
# ]
# ]